合併多個文件副本備份

Question

我有一系列包含重複資訊的備份（手動製作），是否有任何程式/腳本/命令可以迭代目錄結構，透過 MD5 哈希識別重複文件，然後刪除其中一個文件？

Windows/Linux 解決方案都可以運作。

Answer 1

我個人使用尋找為了這。正如連結頁面中提到的，還有很多其他工具可以實現這一點，我已經嘗試了其中的大多數，但是rdfind 具有首先掃描每個文件的前幾個字節和最後幾個字節的優化，並且僅計算MD5 和，如果這些是相同的，這在我的備份中使這種方式比我嘗試過的任何其他方式都要快。

對於您要求的用途，您需要運行

rdfind --deleteduplicates backup_a backup_b

不過，我建議您使用 -makehardlinks 選項來運行它。這將用硬連結取代重複的檔案（假設您將資料儲存在正常的檔案系統上），以便每個備份看起來像現在一樣，但重複的資料僅儲存一次。