如何將35GB資料壓縮資料從本地傳輸到遠端伺服器?

如何將35GB資料壓縮資料從本地傳輸到遠端伺服器?

請建議我將 35GB 壓縮(使用 7zip)資料從筆記型電腦傳輸到遠端伺服器的最快方法。請也發布命令。我使用過 SCP,但它非常慢,rsync 更好,但其速度大約為 1MB/min,可能需要非常非常長的時間。還有更好的辦法嗎?

答案1

ftp 和 http 是最快的,對於少量大文件,ftp 更快,而對於大量小文件,http 更快(考慮到 http 流量的性質,這並不奇怪)。

https://stackoverflow.com/questions/9707900/what-is-the-fastest-way-to-transfer-files-over-a-network-ftp-http-rsync-etc

附加基準 -https://www.disk91.com/2014/technology/networks/compare-performance-of- Different-file-transfer-protocol-over-latency/

注意:您的網路供應商可能會限制上傳速度,具體取決於您的供應商。如果您的提供者施加速度或資料上限,則可能並不重要。

您也可以使用其他方法,請參閱http://moo.nac.uci.edu/~hjm/HOWTO_move_data.html

答案2

以 1MB/分鐘 (17kB/s) 的速度,35GiB 大約需要 25 天。由於這需要很長時間,所以我將專注於一種讓您輕鬆恢復的方法。據我所知,這排除了 scp,我會研究以下候選人:

設定一個網頁伺服器來提供單一檔案是相當容易的;只要機器可透過網路訪問,標準的 Ubuntu 安裝無需任何配置即可完成此操作。只需將文件放入/var/www/html/(或連結到那裡)即可。

用於wget -c http://example.com/file.tar中斷時恢復下載。這工作起來相當可靠。由於它是一次性的,因此不必擔心 ssl 憑證 - 如果您擔心安全性和完整性,請對資料進行加密和簽署。

Rsync透過SSH傳輸,因此是安全的。它支援無縫延續。應支持續傳,傳輸文件無憂。rsync -P localfile [email protected]:remotefile

但25天是一個很長的時間。您可以將驅動器複製到 USB 驅動器,然後更快地透過郵件發送。 64GiB USB 隨身碟的價格約為 20 美元。如果您使用 DHL,它幾乎可以在 3-4 天內送達任何地方。

簡而言之 - 對於如此大量的數據以及您所看到的連接速度,最快的選擇可能是將其填充到外部驅動器上,然後郵寄。

或去一個連接良好的地方 - 100Mb/s 連接速度下的 35GiB 將需要不到一個小時。

為了對文件進行加密和簽名,您可以使用 gpg。設定密鑰對,加密檔案並對其進行簽名。在遠端,您驗證簽名並解密它。這可以確保透過郵件或 http 等不受信任的通道進行傳輸時的安全性和完整性。如果您使用 rsync,ssh 將為您處理這個問題。

答案3

正如 Panther 所說,未加密的選項(例如FTP或 )HTTP將是最快的。但是,如果您不想在網路上公開任何內容,我建議您使用加密方法。您可以嘗試建立一個簡單的 PHP 登入頁面(使用 if 語句),安裝並設定nginxHTTPS apache,並擁有一個只有您可以存取的下載連結。 HTTPS 應該很快,因為它使用壓縮,並且您可以使用諸如axel使用多個連接來安裝該檔案之類的程式。

最簡單的答案是,假設您的網路連線是瓶頸,而不是 CPU,則使用SFTP-C標誌來啟用壓縮,儘管由於您已經對其進行了壓縮,所以可以進一步壓縮的量相當小。最簡單的方法是使用更有效的方法再次壓縮檔案。

相關內容