☰

¿Cómo cargar archivos grandes a S3 con una conexión inestable?

tag-icon • tag-icon internet-connection upload amazon-s3
¿Cómo cargar archivos grandes a S3 con una conexión inestable?

Tengo un montón de archivos (entre 500 MB y 7 GB) que necesito cargar en un depósito S3. Mi conexión es muy inestable.

Intenté cargar un archivo de 500 MB, s3cmdpero se agotó el tiempo de espera después de haber completado el 91 % (lo que llevó 16 horas).

Lo intenté con CyberDuck, pero sucedió lo mismo. Falló después del 20% aproximadamente, y cuando intenté volver a intentar la transferencia, empezó de nuevo desde el principio. Se supone que CyberDuck tiene soporte multiparte, pero supongo que no...

Podría dividir los archivos en archivos más pequeños como este:¿Cómo divido un archivo .zip en varios segmentos?, pero preferiría no hacerlo a menos que fuera mi única opción. ¿Cuál es un buen programa que puedo usar y que me permitirá cargar archivos grandes a S3 con soporte para currículums?

Respuesta1

Intenté usar s3tools (s3cmd-1.5.0-rc1). Obtuve esta pista de sus preguntas frecuentes.http://s3tools.org/kb/item13.htm. Vea abajo.

¿S3cmd admite cargas de varias partes?

Sí, la última versión de s3cmd admite cargas multiparte de Amazon S3.

Las cargas de varias partes se utilizan automáticamente cuando un archivo a cargar tiene más de 15 MB. En ese caso, el archivo se divide en varias partes, cada una de las cuales tiene un tamaño de 15 MB (la última parte puede ser más pequeña). Luego, cada parte se carga por separado y luego se reconstruye en el destino cuando se completa la transferencia.

Con esta nueva característica, si falla la carga de una parte, se puede reiniciar sin afectar ninguna de las otras partes ya cargadas.

Hay dos opciones relacionadas con las cargas de varias partes en s3cmd. Ellos son:

--disable-multipart

Deshabilitar cargas de varias partes para todos los archivos

y

--multipart-chunk-size-mb=TAMAÑO

Tamaño de cada fragmento de una carga de varias partes. Los archivos más grandes que TAMAÑO se cargan automáticamente como multiproceso y varias partes, los archivos más pequeños se cargan utilizando el método tradicional. El TAMAÑO está en megabytes, el tamaño de fragmento predeterminado es 15 MB, el tamaño de fragmento mínimo permitido es 5 MB y el máximo es 5 GB.

Entonces, cuando subo, elijo el tamaño de fragmento más pequeño. Debería ver a continuación dividir y reanudar la carga.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Luego retomo.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

Respuesta2

Creo en Cyberduck en la ventana de transferencias, puedes hacer clic derecho y seleccionar reanudar.

Si eso no funciona,mora de los pantanosadmite la reanudación de cargas

Respuesta3

Puede utilizar FileZilla Pro para transferir archivos hacia y desde un depósito S3. FileZilla Pro admite la carga de varias partes y, en caso de falla, reanudará la transferencia.

Para que conste, viene con muchas otras características: soporte para archivos grandes, transferencias masivas, filtros, comparación de directorios, búsqueda remota de archivos, arrastrar y soltar, configuración de límites de velocidad.

Soy miembro del equipo FileZilla Pro.

Obtenga más información enhttps://filezillapro.comy enhttps://youtube.com/c/FileZillaPro

información relacionada