☰

Как скачать файлы из текстового файла

tag-icon • tag-icon command-line bash scripts
Как скачать файлы из текстового файла

У меня есть несколько текстовых файлов, таких как a0001.txt, a0002.txt, и т. д., a0900.txtсодержащих прямые ссылки на изображения.https://example.com/photos/example.jpg.

Я хочу загрузить все ссылки из папки a0001.txtв a0001папку и т. д. в соответствующих именах папок в виде текстового файла.

Ссылки необходимо загружать в указанном порядке, чтобы изображения были переименованы с префиксом для сортировки.

Я попробовал сделать следующее, но загрузка одного файла за раз происходит очень медленно. Есть ли другой способ сделать это параллельно?

#! /usr/bin/env
bashif [ -z $1 ] || egrep -qv '^https?:\/\/[^[:space:]]+' $1; then
  echo "Usage: $0 FILE"
  echo "FILE must be a newline-separated list of URLs."
  exit
fi

INPUT_FILE=$1
OUTPUT_DIRECTORY="${INPUT_FILE%.*}"

mkdir -p $OUTPUT_DIRECTORY

i=1
while read URL; do
  FILENAME="${URL##*/}"
  curl -L $URL > "${OUTPUT_DIRECTORY}/${i}_${FILENAME}"
  i=$(($i+1))
done < $INPUT_FILE

Связанный контент