wget を使用して、Cookie の設定が必要なサイトから PDF ファイルをダウンロードする

Question 1

セッションクッキーを保存するには、両方必要--keep-session-cookiesというより、を使用する必要があると思います。--save-cookies

基本的に、あなたは

wget --keep-session-cookies --save-cookies ..... url

ログインしてセッション Cookie を取得します。

それから

wget --load-cookie ...... url

PDFをダウンロードしてください。

Answer

セッションクッキーを保存するには、両方必要--keep-session-cookiesというより、を使用する必要があると思います。--save-cookies

基本的に、あなたは

wget --keep-session-cookies --save-cookies ..... url

ログインしてセッション Cookie を取得します。

それから

wget --load-cookie ...... url

PDFをダウンロードしてください。

Question 2

おそらくこれが役に立つでしょう。ログインしようとしていたサイトには、正常にログインする前に取得する必要のある隠しフィールドがいくつかありました。そのため、最初の wget はログインページを取得して追加フィールドを見つけ、2 番目の wget はサイトにログインして Cookie を保存し、3 番目の wget はそれらの Cookie を使用して目的のページを取得します。

#!/bin/bash

# get the login page to get the hidden field data
wget -a log.txt -O loginpage.html http://foobar/default.aspx
hiddendata=`cat loginpage.html | grep value | grep foobarhidden | tr '=' ' ' | awk '{print $9}' | sed s/\"//g`
rm loginpage.html

# login into the page and save the cookies
postData=user=fakeuser'&'pw=password'&'foobarhidden=${hiddendata}
wget -a log.txt -O /dev/null --post-data ${postData} --keep-session-cookies --save-cookies cookies.txt http://foobar/default.aspx

# get the page you're after
wget -a log.txt -O results.html --load-cookies cookies.txt http://foobar/lister.aspx?id=42
rm cookies.txt

役に立つ情報がいくつかありますこの他のSO投稿:

Answer

おそらくこれが役に立つでしょう。ログインしようとしていたサイトには、正常にログインする前に取得する必要のある隠しフィールドがいくつかありました。そのため、最初の wget はログインページを取得して追加フィールドを見つけ、2 番目の wget はサイトにログインして Cookie を保存し、3 番目の wget はそれらの Cookie を使用して目的のページを取得します。

#!/bin/bash

# get the login page to get the hidden field data
wget -a log.txt -O loginpage.html http://foobar/default.aspx
hiddendata=`cat loginpage.html | grep value | grep foobarhidden | tr '=' ' ' | awk '{print $9}' | sed s/\"//g`
rm loginpage.html

# login into the page and save the cookies
postData=user=fakeuser'&'pw=password'&'foobarhidden=${hiddendata}
wget -a log.txt -O /dev/null --post-data ${postData} --keep-session-cookies --save-cookies cookies.txt http://foobar/default.aspx

# get the page you're after
wget -a log.txt -O results.html --load-cookies cookies.txt http://foobar/lister.aspx?id=42
rm cookies.txt

役に立つ情報がいくつかありますこの他のSO投稿:

wget を使用して、Cookie の設定が必要なサイトから PDF ファイルをダウンロードする

編集1

答え1

答え2

関連情報