傳輸檔案不重複

Question

假設我正在託管用戶放置文件的伺服器，並且最終所有這些文件都會被檢索到儲存伺服器中。

問題是很多文件都是重複的，我想避免複製 10 次相同的文件。

我正在考慮為每個傳輸的文件獲取一個哈希值，以確保每個文件都是唯一的，但也許有更好的解決方案。

Answer 1

一種選擇是將其分為 2 個任務。

首先，在來源電腦上尋找重複檔案並建立符號連結、捷徑或類似內容，以便表示重複項但不佔用磁碟空間。我發現對於查找重複項非常有效的一種選擇是一個經過精心調整的 Python 腳本就這樣。它可能需要根據您的用例進行修改。

當然，第二步是以保留符號連結或快捷方式連結的方式將檔案複製到另一台電腦。