Curl-Seitenquelle aus Textdatei mit URLs

Question

Ich habe eine Textdatei mit bis zu 100 URLs. Ich kann die Seitenquelle daraus extrahieren, indem ich Folgendes verwende:

cat /path/to/url.txt|xargs curl -o /path/to/output.txt

Dadurch wird die Seitenquelle für alle URLs heruntergeladen (ich sehe, dass dies in der Befehlszeile geschieht), aber es wird nur output.txtdie Seitenquelle für die URL oben in der Liste gespeichert.

Wie gehe ich vor, um die Seitenquelle für jede URL zu speichern, entweder in derselben Textdatei oder bei Bedarf in einzelnen Textdateien.

Danke,

Answer 1

Mit GNU Parallel können Sie mehrere URLs parallel abrufen und müssen sich keine Sorgen machen, dass die Ausgaben vermischt werden:

cat /path/to/url.txt | parallel curl > /path/to/output.txt

Answer 2

for i in $(cat urls.txt); do curl "$i" >> output.txt; done

Answer 3

mit einer einfachen Liste von URLs in jeder Zeile sollte dies funktionieren und alles in einer einzigen Datei ausgeben:

while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt