
Tengo varios archivos de texto como a0001.txt
,, a0002.txt
hastaa0900.txt
contienen enlaces directos a imágenes.https://ejemplo.com/fotos/ejemplo.jpg.
Quiero descargar por lotes todos los enlaces de a0001.txt
una a0001
carpeta y así sucesivamente en los nombres de las carpetas respectivas como archivo de texto.
Los enlaces deben descargarse en orden para que las imágenes cambien de nombre con prefijo para fines de clasificación.
Lo que probé estaba a continuación, pero la descarga de un archivo a la vez es muy lenta, ¿hay alguna otra forma de hacerlo en paralelo?
#! /usr/bin/env
bashif [ -z $1 ] || egrep -qv '^https?:\/\/[^[:space:]]+' $1; then
echo "Usage: $0 FILE"
echo "FILE must be a newline-separated list of URLs."
exit
fi
INPUT_FILE=$1
OUTPUT_DIRECTORY="${INPUT_FILE%.*}"
mkdir -p $OUTPUT_DIRECTORY
i=1
while read URL; do
FILENAME="${URL##*/}"
curl -L $URL > "${OUTPUT_DIRECTORY}/${i}_${FILENAME}"
i=$(($i+1))
done < $INPUT_FILE