Ich habe eine Menge Dateien (zwischen 500 MB und 7 GB), die ich in einen S3-Bucket hochladen muss. Meine Verbindung ist sehr instabil.
Ich habe versucht, eine 500 MB große Datei hochzuladen, s3cmdaber die Zeitüberschreitung trat ein, nachdem 91 % der Datei fertig waren (was 16 Stunden gedauert hat).
Dann habe ich es mit CyberDuck versucht, aber das Gleiche ist passiert. Es schlug nach etwa 20 % fehl, und als ich versuchte, die Übertragung erneut zu versuchen, begann sie von vorne. CyberDuck sollte Multipart-Unterstützung haben, aber ich glaube nicht ...
Ich könnte die Dateien wie folgt in kleinere Dateien aufteilen:Wie teile ich eine ZIP-Datei in mehrere Segmente auf?, aber ich würde es lieber nicht tun, es sei denn, es wäre meine einzige Option. Welches gute Programm kann ich verwenden, mit dem ich große Dateien mit Fortsetzungsunterstützung auf S3 hochladen kann?
Antwort1
Ich habe gerade versucht, s3tools (s3cmd-1.5.0-rc1) zu verwenden. Ich habe diesen Hinweis aus deren FAQ erhaltenhttp://s3tools.org/kb/item13.htm. Siehe unten.
Unterstützt s3cmd mehrteilige Uploads?
Ja, die neueste Version von s3cmd unterstützt mehrteilige Amazon S3-Uploads.
Mehrteilige Uploads werden automatisch verwendet, wenn eine hochzuladende Datei größer als 15 MB ist. In diesem Fall wird die Datei in mehrere Teile aufgeteilt, wobei jeder Teil 15 MB groß ist (der letzte Teil kann kleiner sein). Jeder Teil wird dann separat hochgeladen und am Zielort wiederhergestellt, wenn die Übertragung abgeschlossen ist.
Mit dieser neuen Funktion kann der Upload eines Teils, wenn er fehlschlägt, neu gestartet werden, ohne dass dies Auswirkungen auf andere, bereits hochgeladene Teile hat.
Für mehrteilige Uploads in s3cmd gibt es zwei Optionen. Diese sind:
--disable-multipart
Deaktivieren Sie mehrteilige Uploads für alle Dateien
Und
--multipart-chunk-size-mb=GRÖSSE
Größe jedes Blocks eines mehrteiligen Uploads. Dateien, die größer als SIZE sind, werden automatisch als Multithread-Multipart hochgeladen, kleinere Dateien werden mit der herkömmlichen Methode hochgeladen. SIZE wird in Megabyte angegeben, die Standardblockgröße beträgt 15 MB, die minimal zulässige Blockgröße beträgt 5 MB, die maximale 5 GB.
Deshalb wähle ich beim Hochladen die kleinste Blockgröße. Unten sollten Sie die Aufteilung und Fortsetzung des Uploads sehen.
$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
some_video.mp4 -> s3://some_bucket/some_video.mp4 [part 1 of 52, 5MB]
5242880 of 5242880 100% in 164s 31.08 kB/s done
some_video.mp4 -> s3://some_bucket/some_video.mp4 [part 2 of 52, 5MB]
5242880 of 5242880 100% in 193s 26.46 kB/s done
some_video.mp4 -> s3://some_bucket/some_video.mp4 [part 3 of 52, 5MB]
2023424 of 5242880 38% in 135s 14.59 kB/s^CERROR:
some_video.mp4' part 3 failed. Use
/usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!
Dann mache ich weiter.
/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
Antwort2
Ich glaube, bei Cyberduck können Sie im Übertragungsfenster mit der rechten Maustaste klicken und „Fortsetzen“ auswählen.
Wenn das nicht funktioniert,Moltebeereunterstützt die Wiederaufnahme von Uploads
Antwort3
Mit FileZilla Pro können Sie Dateien von und zu einem S3-Bucket übertragen. FileZilla Pro unterstützt mehrteilige Uploads und setzt die Übertragung im Fehlerfall fort.
Für die Aufzeichnungen bietet es zahlreiche weitere Funktionen: Unterstützung großer Dateien, Massenübertragungen, Filter, Verzeichnisvergleich, Remote-Dateisuche, Drag & Drop, Konfiguration von Geschwindigkeitsbegrenzungen.
Ich bin Mitglied des FileZilla Pro-Teams.
Mehr erfahren unterhttps://filezillapro.comund beihttps://youtube.com/c/FileZillaPro