So laden Sie Dateien aus einer Textdatei herunter

So laden Sie Dateien aus einer Textdatei herunter

Ich habe mehrere Textdateien wie a0001.txt, a0002.txt, bis zu , die a0900.txtdirekte Bildlinks enthaltenhttps://example.com/fotos/example.jpg.

Ich möchte alle Links aus Ordnern usw. in den jeweiligen Ordnernamen stapelweise a0001.txtals a0001Textdatei herunterladen.

Links müssen in der richtigen Reihenfolge heruntergeladen werden, daher werden Bilder zu Sortierungszwecken mit einem Präfix umbenannt.

Ich habe das Folgende versucht, aber das Herunterladen einer Datei nach der anderen ist superlangsam. Gibt es eine andere Möglichkeit, dies parallel zu tun?

#! /usr/bin/env
bashif [ -z $1 ] || egrep -qv '^https?:\/\/[^[:space:]]+' $1; then
  echo "Usage: $0 FILE"
  echo "FILE must be a newline-separated list of URLs."
  exit
fi

INPUT_FILE=$1
OUTPUT_DIRECTORY="${INPUT_FILE%.*}"

mkdir -p $OUTPUT_DIRECTORY

i=1
while read URL; do
  FILENAME="${URL##*/}"
  curl -L $URL > "${OUTPUT_DIRECTORY}/${i}_${FILENAME}"
  i=$(($i+1))
done < $INPUT_FILE

verwandte Informationen