
모닝에디션 팟캐스트를 매일 자동으로 다운로드 받고 싶습니다. 저는 사과 제품을 가지고 있지 않습니다. Flareget을 다운로드하여 설치했지만 이를 수행하는 방법을 알 수 없습니다. 나는 그 도구에 갇혀 있지 않습니다. 저는 오랫동안 Firefox를 사용하고 있지만 현재는 Chrome을 테스트하고 있습니다.
프로그램의 URL은 다음과 같습니다. http://www.npr.org/programs/morning-edition/
RSS 주소는 다음과 같습니다.http://www.npr.org/rss/rss.php?id=3
문제는 RSS에 mp3 링크 대신 개별 스토리에 대한 웹페이지 링크가 포함되어 있다는 것입니다.
<rss xmlns:npr="http://www.npr.org/rss/" xmlns:nprml="http://api.npr.org/nprml" xmlns:itunes="http://www.itunes.com/dtds/podcast-1.0.dtd" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" version="2.0">
<channel>
<title>
Morning Edition : NPR
</title>
<link>
http://www.npr.org/templates/story/story.php?storyId=3
</link>
<description>
Morning Edition gives its audience news, analysis, commentary, and coverage of arts and sports. Stories are told through conversation as well as full reports. It's up-to-the-minute news that prepares listeners for the day ahead.
</description>
<language>en</language>
<copyright>Copyright 2015 NPR - For Personal Use Only</copyright>
<generator>NPR API RSS Generator 0.94</generator>
<lastBuildDate>Fri, 06 Nov 2015 12:45:00 -0500</lastBuildDate>
<image>
<url>http://media.npr.org/images/podcasts/primary/npr_generic_image_300.jpg?s=200</url>
<title>Morning Edition</title>
<link>http://www.npr.org/templates/story/story.php?storyId=3</link>
</image>
<item>
<title>Russian Airliner Crash Update</title>
<description>
The latest information on the Russian airliner that crashed in Egypt. All 224 people on board were killed.
</description>
<pubDate>Fri, 06 Nov 2015 12:45:00 -0500</pubDate>
<link>
http://www.npr.org/2015/11/06/455019224/russian-airliner-crash-update?utm_medium=RSS&utm_campaign=morningedition
</link>
<guid>
http://www.npr.org/2015/11/06/455019224/russian-airliner-crash-update?utm_medium=RSS&utm_campaign=morningedition
</guid>
<content:encoded>
<![CDATA[
<p>The latest information on the Russian airliner that crashed in Egypt. All 224 people on board were killed.</p>
]]>
</content:encoded>
<dc:creator>Corey Flintoff</dc:creator>
</item>
...
브라우저에서 열면 http://www.npr.org/2015/11/06/455019224/russian-airliner-crash-update?utm_medium=RSS&utm_campaign=morningedition
페이지에 해당 스토리의 mp3 파일 링크가 있습니다.
http://pd.npr.org/anon.npr-mp3/npr/me/2015/11/20151106_me_egypt_plane_crash_probe_russia.mp3?dl=1
사용할 수 있는 쉽게 식별할 수 있는 패턴이 있다는 것을 알 수 있지만 어떤 도구를 사용할지, 원하는 작업을 수행하도록 만드는 방법을 알 수 없습니다.
모든 스토리의 오디오 파일은 다음으로 시작됩니다.
http://pd.npr.org/anon.npr-mp3/npr/me/
그런 다음 해당 연도에 대한 폴더를 추가하십시오.
http://pd.npr.org/anon.npr-mp3/npr/me/2015
그리고 한 달 동안 하나
http://pd.npr.org/anon.npr-mp3/npr/me/2015/11
오늘 쇼의 모든 mp3는
yyyymmdd_me*.mp3
후행은 ?dl=1
필요하지 않은 것 같습니다.
답변1
다운로드하려는 .mp3 URL을 찾을 때까지 사이트를 탐색한 다음 해당 URL을 정확하게 다운로드하는 웹 로봇을 작성해야 합니다.
의 경우 perl
확실한 해결책은 다음을 사용하는 것입니다.libwww-perl패키지(일명 LWP
).
의 경우 python
다음을 추천하겠습니다.기계화하다또는긁는파이썬 라이브러리.
이 Python 라이브러리는 모두 Debian 및 Ubuntu용으로 python-mechanize
및 으로 패키지되어 있으므로 패키지를 설치하십시오( 웹 사이트의 지침을 python-scrapy
따르지 마십시오 ).pip install
다른 언어에도 유사한 라이브러리가 있습니다.