友人がパブリック サーバーに多数の mkv ファイルを置いていますが、1 つの wget コマンドでそれらをすべてダウンロードするにはどうすればよいでしょうか?
私が試してみました
wget -r [path]
これは単純にインデックスファイルrobots.txtを取得し、mkvsをスキップします。また、
wget -r -A.mkv
個々のファイルを直接取得しようとすると正常に動作しますが、何が間違っているのでしょうか? man ページは非常に長いので、関連するオプションをスキップした可能性があります。その場合はお詫び申し上げます。
答え1
私の推測：答えはここにあります：http://www.robotstxt.org/
wgetのマニュアルページには回避策が記載されていますが、robots.txtを無視するのは良いことではないため、お勧めしません（自分で調べてください）。これが実際の問題であるかどうかを確認するには、次のテキストを参照してください。
curl http://somedomain.com/robots.txt