☰

方法: cURL の同時ダウンロード?

tag-icon • tag-icon linux ubuntu bash shell bash-scripting
方法: cURL の同時ダウンロード?

curl を使用して複数のファイルを同時にダウンロードするにはどうすればよいでしょうか? 複数の curl プロセスを生成する必要がある場合でも、コマンド ラインまたはシェル関数からそれを実行するにはどうすればよいですか? たとえば、次のようになります。

$ multiCurl <download 1> <download 2> <download 3>

multiCurl () {
  curl <download 1>
  curl <download 2>
  curl <download 3>
}

または

for link in $(cat download.list); do
  curl <link 1>
  curl <link 2>
  curl <link 3>
  curl <link 4>
done

答え1

コマンドを使用して複数のファイルを同時にダウンロードすることもできますparallel。

ここでは元のファイル名を予約すると仮定します

#!/usr/bin/env bash

funcDownloadOperation(){
    link="${1:-}"
    curl -fsSL -O "${link}"
    if [[ -s "${link##*/}" ]]; then
        echo "file ${link##*/} download successfully!"
    else
        echo "fail to download link ${link}"
    fi
}

export -f funcDownloadOperation
cat download.list | parallel -k -j 0 funcDownloadOperation

parallelLinux システムにユーティリティを手動でインストールする必要があります。

答え2

&各コマンドの最後に以下を追加するだけで、バックグラウンドで実行されます。

curl <link 1>&

結局のところ、これらのコマンドがいつ終了し、その戻りコードが何であるかを知りたいかどうかによって異なります。そうであれば、次のようなことを試してください。

set -a pids # Array of the process ids of background commands
for url in $whatever_the_list_of_urls 
do
    curl $url&  # start CURL in background
    pids[${#pids[*]}]=$! # remember PID 
done

# all started, now wait for them
for pid in ${pids[*]}
do
    wait $pid 
    print "Sensed end of $pid, rc:=$?"
done

関連情報