최대 100개의 URL을 포함하는 텍스트 파일이 있습니다. 다음을 사용하여 페이지 소스를 컬링할 수 있습니다.
cat /path/to/url.txt|xargs curl -o /path/to/output.txt
이렇게 하면 모든 URL에 대한 페이지 소스가 다운로드되지만(명령줄에서 볼 수 있듯이) output.txt목록 맨 위에 있는 URL에 대한 페이지 소스만 저장됩니다.
동일한 텍스트 파일에 있든 필요한 경우 개별 텍스트 파일에 있든 각 URL의 페이지 소스를 저장하려면 어떻게 해야 합니까?
감사해요,
답변1
GNU Parallel을 사용하면 여러 URL을 병렬로 얻을 수 있으며 출력이 혼합되는 것에 대해 걱정할 필요가 없습니다.
cat /path/to/url.txt | parallel curl > /path/to/output.txt
답변2
for i in $(cat urls.txt); do curl "$i" >> output.txt; done
답변3
각 줄에 간단한 URL 목록을 사용하면 작업을 수행하고 모든 것을 단일 파일로 출력해야 합니다.
while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt