將相同的檔案轉換為硬連結

Question 1

以下命令用於md5為目前目錄或以下目錄中的所有檔案產生 MD5 摘要：

find . -type f -exec md5 {} +

如果您沒有 BSD實用程序，請替換md5為。md5sum --tagmd5

讓我們建立一個簡單的腳本來在目錄上執行此操作：

#!/bin/bash

tmpdir=${TMPDIR:-/tmp}

if (( $# != 2 )); then
    echo 'Expected two directories as arguments' >&2
    exit 1
fi

i=0
for dir in "$@"; do
    (( ++i ))
    find "$dir" -type f -exec md5 {} + | sort -t '=' -k2 -o "$tmpdir/md5.$i"
done

這需要命令列上的兩個目錄並產生名為md5.1和的文件md5.2，每個目錄對應一個文件，位於/tmp（或$TMPDIR指向的任何位置）。這些文件按照 MD5 摘要排序。

這些文件看起來像

MD5 (<path>) = <MD5 digest>

每個文件都有這樣一行。

然後，在同一腳本中，比較兩個檔案之間的校驗和：

join -t '=' -1 2 -2 2 "$tmpdir"/md5.[12]

這使用校驗和作為連接欄位在兩個檔案之間執行關係“連接”操作。兩個欄位中具有相同校驗和的任何行都將合併並輸出。

如果兩個檔案中的任何校驗和相同，則會輸出：

<space><MD5 digest>=MD5 (<path1>) =MD5 (<path2>)

這可以直接傳遞到awk解析出兩條路徑：

awk -F '[()]' 'BEGIN { OFS="\t" } { print $2, $4 }'

這-F [()]只是一種表達方式，我們希望將每一行劃分為基於(和的欄位)。這樣做會讓我們留下欄位 2 和 4 中的路徑。

這將輸出

<path1><tab><path2>

然後只需讀取這些製表符分隔的路徑對並發出正確的命令來建立連結即可：

while IFS=$'\t' read -r path1 path2; do
    echo ln -f "$path1" "$path2"
done

總之：

#!/bin/bash

tmpdir=${TMPDIR:-/tmp}

if (( $# != 2 )); then
    echo 'Expected two directories as arguments' >&2
    exit 1
fi

i=0
for dir in "$@"; do
    (( ++i ))
    find "$dir" -type f -exec md5 {} + | sort -t '=' -k2 -o "$tmpdir/md5.$i"
done

join -t '=' -1 2 -2 2 "$tmpdir"/md5.[12] |
awk -F '\\)|\\(' 'BEGIN { OFS="\t" } { print $2, $4 }' |
while IFS=$'\t' read -r path1 path2; do
    echo ln -f "$path1" "$path2"
done

rm -f "$tmpdir"/md5.[12]

在循環echo中while是為了安全。運行一次看看會發生什麼，如果您確信它正在做正確的事情，請將其刪除並再次運行它。

請記住，硬連結不能跨越分割區。這意味著兩個目錄需要位於同一分割區上。文件位於第二如果發現重複目錄將被覆蓋。將原件的備份保存在某處，直到您對結果感到滿意為止！

請注意，如果任何檔案的檔案名稱中包含(或或製表符，則此解決方案將無法正常運作。)

Answer