
S3 オブジェクト ストレージの前に Nginx プロキシをセットアップしましたが、今のところ問題なくファイルをダウンロードできています。
ただし、たとえば 30 台の異なるサーバーから同時に同じファイルをダウンロードしようとすると、最初の 10 ~ 11 台のサーバーのみがダウンロードを続行でき、残りのサーバーは次のエラーでキャンセルされます。
gzip: stdin: unexpected end of file
tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now
これはファイルをダウンロードするために実行しているコマンドです。
sudo curl -f -Ls https://cdn.mydomain.com/files/somefile.tar.gz | tar xvz
そして、これは私の nginx 設定ファイルです/etc/nginx/sites-enabled/cdn.conf
。
server {
listen 80;
server_name cdn.mydomain.com;
if ($host != "cdn.mydomain.com") {
return 444;
}
access_log /var/log/nginx/reverse-access.log;
error_log /var/log/nginx/reverse-error.log;
location /files {
proxy_pass https://myBucket.s3.nl-ams.scw.cloud/files;
proxy_set_header X-Real-IP $remote_addr;
}
}
これはnginx.conf
、サーバーに nginx を最初にインストールしたときに生成されるデフォルトのファイルです。
何が制限されているのか分かりませんが、この設定で同時ダウンロードをさらに許可するにはどうすればよいでしょうか?