☰

Как скачать файлы с помощью wget, если страница заставляет вас ждать загрузки?

tag-icon • tag-icon wget
Как скачать файлы с помощью wget, если страница заставляет вас ждать загрузки?

Я пытаюсь загрузить файл с SourceForge с помощью Wget, но, как мы все знаем, для этого нужно нажать кнопку загрузки и дождаться автоматической загрузки. Как загрузить этот тип файла с помощью Wget?

Я пытаюсь скачать это:http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.1/bitcoin-0.8.1-linux.tar.gz/download

Но выполнение wget по этой ссылке не даст мне доступ к файлу, поскольку файл автоматически загружается через браузер.

решение1

Я бы предложил использовать curlдля этого вместо wget. Он может следовать перенаправлению с помощью переключателей -L, -J, и -O.

curl -O -J -L http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.1/bitcoin-0.8.1-linux.tar.gz/download

определения переключателей

-O/--remote-name
  Write output to a local file named like the remote file we get. 
  (Only the file part of the remote  file  is  used, the path is cut off.)

-L/--location
  (HTTP/HTTPS)  If  the  server  reports that the requested page has moved 
  to a different location (indicated with a Location: header and a 3XX 
  response code), this option will make curl redo the request on the new 
  place.  If  used together  with  -i/--include  or -I/--head, headers from 
  all requested pages will be shown. When authentication is used, curl only 
  sends its credentials to the initial host. If a redirect takes curl to a 
  different host, it  won't be  able  to  intercept  the  user+password. 
  See also --location-trusted on how to change this. You can limit the
  amount of redirects to follow by using the --max-redirs option.

-J/--remote-header-name
  (HTTP) This option tells the -O/--remote-name option to  use  the  
  server-specified  Content-Disposition  filename instead of extracting a 
  filename from the URL.

Смотритестраница руководства curlБольше подробностей.

решение2

Вы wgetможете использовать --content-dispositionопцию, которая полезна для некоторых CGI-программ загрузки файлов, которые используют заголовки «Content-Disposition» для описания того, каким должно быть имя загружаемого файла.

Например:

wget --user-agent=Mozilla --content-disposition -E -c http://example.com/

Для более сложных решений (например, требующих авторизации) используйте файл cookie ( --load-cookies file) для имитации сеанса.

решение3

Я не уверен, какая версия wgetОС и какие прокси-серверы существуют между вами и SourceForge, но wgetя загрузил файл, удалив «/download» и оставив его в расширении файла.

Я не хочу засорять пост или pastebin на протяжении всей сессии, но я получил коды статуса 302, а затем 200 до начала передачи. Что произойдет, если вы попробуете wget?

Resolving downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... connected.
HTTP request sent, awaiting response... 302 Found

[snipped for brevity]

HTTP request sent, awaiting response... 200 OK
Length: 13432789 (13M) [application/x-gzip]
Saving to: `download'

Связанный контент