fonte da página curl do arquivo de texto contendo URLs

Question

Tenho um arquivo de texto contendo até 100 URLs. Consigo enrolar o código-fonte da página usando:

cat /path/to/url.txt|xargs curl -o /path/to/output.txt

Isso fará o download da fonte da página para todos os URLs (como posso ver isso acontecendo na linha de comando), mas salvará apenas (em output.txt) a fonte da página para o URL no topo da lista.

Como eu salvaria a fonte da página para cada URL, seja no mesmo arquivo de texto ou, se necessário, em arquivos de texto individuais.

Obrigado,

Answer 1

Com o GNU Parallel você pode obter vários URLs em paralelo e não precisa se preocupar com a mistura das saídas:

cat /path/to/url.txt | parallel curl > /path/to/output.txt

Answer 2

for i in $(cat urls.txt); do curl "$i" >> output.txt; done

Answer 3

com uma lista simples de URLs em cada linha, isso deve funcionar e gerar tudo em um único arquivo:

while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt