を使用するとwget、異なる資格情報を持つ複数のパスワード保護領域を持つ Web サイトをミラーリングするときに、複数のユーザー/パスワードのペアを指定できますか?
保護された領域が複数ある Web サイト全体をミラーリングしたいと思います。単純化した例として、次の構造を考えてみましょう。
example.com/protected_area_1/ (user=alice, password=cat)
example.com/protected_area_2/ (user=bob, password=dog)
を使用するときにwget --mirror example.com、パラメータ--userとを追加で指定できるようになりました--passwordが、ユーザー/パスワードのペアを 1 つだけ指定した場合、 のために 2 つの保護領域のうち 1 つをダウンロードできませんでした401 Authorization Required。
次のようなことを行う方法はありますかwget --user=alice --password=cat --user=bob --password=dog (...)? 自然言語では:パスワードで保護された領域に遭遇した場合は、提供された資格情報をすべて順番に試してアクセスを試みてください。
答え1
これを次のように実行する必要がある場合wget:
ユーザー名とパスワードの組み合わせの数が少なく、ダウンロードが過剰でない場合は、各組み合わせでツリー全体を繰り返し実行し (
--userおよびを使用--password)、結果を結合できます。異なるユーザー名/パスワードの組み合わせがドメインによって異なる場合は、
wgetのオプション--ask-passwordと を試してexpect、適切なタイミングで適切な組み合わせを提供できます。
より複雑なダウンロード状況では、私は常に専用の Selenium ベースのプログラムを使用していました。このプログラムは、JavaScript を使用してページの一部を読み込む現在の方法や、wget が処理できる基本認証以外のログイン スキームを正しく処理します。