Wie übertrage ich komprimierte Daten mit einer Datenmenge von 35 GB vom lokalen auf einen Remote-Server?

Wie übertrage ich komprimierte Daten mit einer Datenmenge von 35 GB vom lokalen auf einen Remote-Server?

Bitte nennen Sie mir den SCHNELLSTEN Weg, um 35 GB komprimierte (mit 7zip) Daten von meinem Laptop auf einen Remote-Server zu übertragen. Bitte posten Sie auch den Befehl. Ich habe SCP verwendet, aber es ist furchtbar langsam. Rsync ist besser, aber mit seiner Geschwindigkeit von ungefähr 1 MB/min kann es sehr, sehr lange dauern. Gibt es einen besseren Weg?

Antwort1

FTP und HTTP sind am schnellsten. FTP ist schneller für eine kleinere Anzahl großer Dateien und HTTP schneller für eine größere Anzahl kleiner Dateien (keine Überraschung angesichts der Natur des HTTP-Verkehrs).

Sehenhttps://stackoverflow.com/questions/9707900/was-ist-der-schnellste-weg-um-dateien-über-ein-netzwerk-zu-übertragen-ftp-http-rsync-etc

Zusätzliche Benchmarks -https://www.disk91.com/2014/technology/networks/compare-performance-of-different-file-transfer-protocol-over-latency/

Hinweis: Ihr Internetprovider kann die Upload-Geschwindigkeit je nach Anbieter begrenzen. Wenn Ihr Provider eine Geschwindigkeits- oder Datenbegrenzung festlegt, spielt das möglicherweise keine Rolle.

Möglicherweise können Sie auch andere Methoden verwenden, siehehttp://moo.nac.uci.edu/~hjm/HOWTO_move_data.html

Antwort2

35 GiB benötigen bei 1 MB/Minute (17 kB/s) etwa 25 Tage. Da es lange dauern wird, würde ich mich auf eine Methode konzentrieren, mit der Sie problemlos fortfahren können. Soweit mir bekannt ist, schließt dies scp aus, und ich würde mir die folgenden Kandidaten ansehen:

Einen Webserver zum Bereitstellen einer einzelnen Datei einzurichten ist relativ einfach; eine Standardinstallation von Ubuntu kann dies ohne Konfiguration tun, solange der Rechner über das Internet erreichbar ist. Platzieren Sie die Datei einfach dort /var/www/html/(oder verlinken Sie sie dort).

Verwenden Sie wget -c http://example.com/file.tardiese Option, um den Download fortzusetzen, wenn er unterbrochen wurde. Dies funktioniert recht zuverlässig. Da es sich um eine einmalige Sache handelt, können Sie SSL-Zertifikate weglassen – verschlüsseln und signieren Sie die Daten, wenn Sie sich um Sicherheit und Integrität sorgen.

Rsync wird über SSH übertragen und ist daher sicher. Es unterstützt eine nahtlose Fortsetzung. sollte die Fortsetzung unterstützen und die Datei problemlos übertragen.rsync -P localfile [email protected]:remotefile

Aber 25 Tage sind eine lange Zeit. Sie können das Laufwerk wahrscheinlich auf ein USB-Laufwerk kopieren und es schneller per Post verschicken. 64-GiB-USB-Laufwerke sind für etwa 20 USD erhältlich. Wenn Sie es per DHL verschicken, ist es innerhalb von 3-4 Tagen fast überall.

Kurz gesagt: Die schnellste Option bei dieser Datenmenge und der angezeigten Verbindungsgeschwindigkeit besteht wahrscheinlich darin, die Daten einfach auf ein externes Laufwerk zu speichern und per E-Mail zu versenden.

Oder gehen Sie an einen Ort mit einer anständigen Verbindung – 35 GiB bei einer 100-Mbit/s-Verbindung dauern weniger als eine Stunde.

Zum Verschlüsseln und Signieren der Datei können Sie gpg verwenden. Richten Sie ein Schlüsselpaar ein, verschlüsseln Sie die Datei und signieren Sie sie. Auf der Remote-Seite überprüfen Sie die Signatur und entschlüsseln sie. Dies gewährleistet Sicherheit und Integrität beim Transport über einen nicht vertrauenswürdigen Kanal wie E-Mail oder HTTP. Wenn Sie rsync verwenden, übernimmt ssh dies für Sie.

Antwort3

Wie Panther bereits sagte, sind unverschlüsselte Optionen wie FTPoder HTTPam schnellsten. Wenn Sie jedoch etwas lieber nicht öffentlich im Internet haben möchten, empfehle ich Ihnen, eine verschlüsselte Methode zu verwenden. Sie könnten beispielsweise versuchen, eine einfache PHP-Anmeldeseite zu erstellen (mit einer if-Anweisung), nginxoder apachefür HTTPS zu installieren und zu konfigurieren und einen Download-Link einzurichten, auf den nur Sie zugreifen können. HTTPS sollte schnell sein, da es Komprimierung verwendet, und Sie können ein Programm wie verwenden, um axeldiese Datei über mehrere Verbindungen zu installieren.

Die einfachste Lösung, vorausgesetzt, Ihre Internetverbindung und nicht die CPU ist der Engpass, wäre, SFTPdas -CFlag zu verwenden, um die Komprimierung zu aktivieren. Da Sie die Dateien jedoch bereits komprimiert haben, ist die Menge, die noch weiter komprimiert werden kann, eher gering. Am einfachsten ist es, die Dateien mit einer effizienteren Methode erneut zu komprimieren.

verwandte Informationen