☰

불안정한 연결에서 S3에 큰 파일을 업로드하는 방법은 무엇입니까?

tag-icon • tag-icon internet-connection upload amazon-s3
불안정한 연결에서 S3에 큰 파일을 업로드하는 방법은 무엇입니까?

S3 버킷에 업로드해야 하는 파일(500MB에서 7GB 사이)이 많이 있습니다. 내 연결이 매우 불안정합니다.

를 통해 500MB 파일 업로드를 시도했지만 s3cmd91% 완료된 후 시간이 초과되었습니다(16시간 소요).

CyberDuck으로 시도했지만 마찬가지였습니다. 20% 정도 지나서 실패했고, 전송을 재시도하려고 했더니 처음부터 다시 시작되더라구요. CyberDuck은 멀티파트 지원이 있어야 하는데 그렇지 않은 것 같아요...

다음과 같이 파일을 더 작은 파일로 분할할 수 있습니다..zip 파일을 여러 세그먼트로 분할하려면 어떻게 해야 합니까?, 그러나 그것이 나의 유일한 선택이 아니라면 나는 그렇게 하고 싶지 않습니다. 이력서 지원을 통해 S3에 큰 파일을 업로드할 수 있는 좋은 프로그램은 무엇입니까?

답변1

방금 s3tools(s3cmd-1.5.0-rc1)를 사용해 보았습니다. FAQ에서 이 힌트를 얻었습니다.http://s3tools.org/kb/item13.htm. 아래를 참조하세요.

s3cmd는 멀티파트 업로드를 지원합니까?

예, 최신 버전의 s3cmd는 Amazon S3 멀티파트 업로드를 지원합니다.

멀티파트 업로드는 업로드할 파일이 15MB보다 큰 경우 자동으로 사용됩니다. 이 경우 파일은 각 부분의 크기가 15MB인 여러 부분으로 분할됩니다(마지막 부분은 더 작을 수 있음). 그런 다음 각 부분은 별도로 업로드된 다음 전송이 완료되면 대상에서 재구성됩니다.

이 새로운 기능을 사용하면 부분 업로드에 실패할 경우 이미 업로드된 다른 부분에 영향을 주지 않고 다시 시작할 수 있습니다.

s3cmd에는 멀티파트 업로드와 관련된 두 가지 옵션이 있습니다. 그들은:

--disable-다중 부분

모든 파일에 대해 멀티파트 업로드 비활성화

그리고

--다중 부분-청크-크기-mb=크기

멀티파트 업로드의 각 청크 크기입니다. SIZE보다 큰 파일은 멀티스레드-멀티파트로 자동 업로드되고, 더 작은 파일은 기존 방법을 사용하여 업로드됩니다. SIZE는 메가바이트 단위이며 기본 청크 크기는 15MB, 허용되는 최소 청크 크기는 5MB, 최대 청크 크기는 5GB입니다.

그래서 업로드할 때 가장 작은 청크 크기를 선택합니다. 아래에서 업로드 분할 및 재개를 볼 수 있습니다.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

그런 다음 재개합니다.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

답변2

저는 전송 창에서 Cyberduck을 믿습니다. 마우스 오른쪽 버튼을 클릭하고 재개를 선택하면 됩니다.

그래도 작동하지 않으면클라우드베리업로드 재개 지원

답변3

FileZilla Pro를 사용하여 S3 버킷과 파일을 주고받을 수 있습니다. FileZilla Pro는 멀티파트 업로드를 지원하며 실패할 경우 전송을 재개합니다.

기록의 경우 대용량 파일 지원, 대량 전송, 필터, 디렉터리 비교, 원격 파일 검색, 드래그 앤 드롭, 속도 제한 구성 등 다양한 기능이 함께 제공됩니다.

저는 FileZilla Pro 팀의 구성원입니다.

자세히 알아보기https://filezillapro.com그리고 에https://youtube.com/c/FileZillaPro

관련 정보