最大 100 個の URL を含むテキスト ファイルがあります。次のコードを使用して、それらのページ ソースを curl できます。
cat /path/to/url.txt|xargs curl -o /path/to/output.txt
output.txtこれにより、すべての URL のページ ソースがダウンロードされます (コマンド ラインでこれが行われているのを確認できます)。ただし、リストの先頭にある URL のページ ソースのみが保存されます ( )。
各 URL のページ ソースを同じテキスト ファイルに保存するか、必要に応じて個別のテキスト ファイルに保存するにはどうすればよいでしょうか。
ありがとう、
答え1
GNU Parallel を使用すると、複数の URL を並列に取得でき、出力が混在することを心配する必要がありません。
cat /path/to/url.txt | parallel curl > /path/to/output.txt
答え2
for i in $(cat urls.txt); do curl "$i" >> output.txt; done
答え3
各行に URL の簡単なリストを記述すれば、これですべてが 1 つのファイルに出力されます。
while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt