変更されたファイルをバックアップしながら、rsync でソースディレクトリへのハードリンクを作成するにはどうすればよいでしょうか?

Question

上で述べたように、私は最終的に 2 つのステップでプロセスを実行しました。

src = the "live" clone directory, a mirror of my laptop = primary backup
dst = the weekly snapshot of important parts clone
trashdir = the items from src that don't exist in dst, because they have since been deleted, sorted into date-stamped directories

cmd = ("rsync -avumb --stats --delete --delete-excluded --filter='merge %s' --backup-dir=%s %s %s" %
       (filterfile, trashdir, src, dst))

cmd = ("rsync -avum --stats --delete --delete-excluded --filter='merge %s' --link-dest=%s %s %s" %
       (filterfile, src, src, dst))

最初のステップでは、クローンの重要な部分のバックアップを作成し、最後のバックアップ以降に削除されたファイルを trashdir に保存します。(選択したファイルのみのこの中間バックアップが必要で、毎週のみ更新する必要があるのには理由があります。)

2 番目のステップでは、バックアップ内のファイルをクローンを指すハードリンクに変換します。その結果、バックアップは実際のスペースをまったく占有しなくなります。trashdir は、クローンおよびバックアップから削除されたファイルのみで構成されているため、定義上、ハードリンクファイルではありません。

--delete-excluded フラグが必要かどうかはよくわかりません (特に 2 番目のコマンド)。バックアップを作成するときにクローンのどの部分を無視するかを定義する filterfile を変更した場合に備えて、フラグを残しておきました。

5 年間で、trashdir はクローンとほぼ同じサイズにまで成長したことがわかりました。つまり、合計サイズ = クローン x2 となり、削除されたファイルの履歴が 6 年分あり、日付によって簡単に整理できることを考えると、これは私にとって許容できる範囲です。

上記に加えて、cp -alクローンを約 1 か月分の日付スタンプ付きのローテーションハードリンクスナップショットにコピーするスクリプトがあります。これにより、削除されたファイルではなく変更されたファイルがカバーされます。1 か月分の合計サイズは、クローンの約半分のサイズになるようです。

したがって、合計ディスク容量はクローンの約 2.5 倍になり、次のようになります。

クローン自体は毎晩更新される
1週間安定した選択されたファイルのバックアップ
1か月分のバージョン付きクローンスナップショット
6年間分の削除されたファイル

これは、元のディスクの損失、ファイルの上書きによる古いバージョンの必要性、ファイルの削除による後からの必要性などに対する、かなり優れた保護であると感じています。

これは少し複雑で、サードパーティのソフトウェアでも実現できたかもしれませんが、私にとってはうまく機能し、消えたり機能が大幅に変更される可能性が低い低レベルのツール上に構築されています。

(@gsl - 実際のところ、アップデートをリクエストしていただきありがとうございます。Python3 にアップデートしたときにスクリプトの 1 つが壊れ、数か月間実行されていなかったことがわかりました。エラーログにもっと注意を払う必要があります!)

ただし、これを効率化する方法にはまだ間違いなく興味があります。したがって、私が行っていることをもっと簡単な方法で実現できる場合は、遠慮なくコメントしてください。

Answer 1