origen de la página curl a partir de un archivo de texto que contiene URL

Question

Tengo un archivo de texto que contiene hasta 100 URL. Puedo rizar la fuente de la página usando:

cat /path/to/url.txt|xargs curl -o /path/to/output.txt

Esto descargará la fuente de la página para todas las URL (como puedo ver que esto sucede en la línea de comando), pero solo guardará (en output.txt) la fuente de la página para la URL en la parte superior de la lista.

¿Cómo haría para guardar el origen de la página para cada URL, ya sea en el mismo archivo de texto o, si es necesario, en archivos de texto individuales?

Gracias,

Answer 1

Con GNU Parallel puedes obtener múltiples URL en paralelo y no necesitas preocuparte de que las salidas se mezclen:

cat /path/to/url.txt | parallel curl > /path/to/output.txt

Answer 2

for i in $(cat urls.txt); do curl "$i" >> output.txt; done

Answer 3

con una lista simple de URL en cada línea, esto debería hacer el trabajo y generar todo en un solo archivo:

while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt