Squashfs для резервного копирования? Или tar.gz? (У меня есть всякая всячина, которую я сохранил на своем старом ПК, и, вероятно, есть дубликаты... стоит ли использовать squashfs?

Question

Итак, у меня есть старая папка с кучей всего. Я думаю, что тут и там есть дубликаты файлов.

Стоит ли сначала сделать резервную копию squashfs? Или мне просто 7zip?

Вот мой запасной метод:

apt install -y squashfs-tools ; 
cd /mnt/BackupDrive
mksquashfs /mnt/OldSourceDrive/ Backup-Deduped.squashfs
-keep-as-directory

Answer 1

Предыдущий ответ, в котором говорится, что Squashfs не выполняет обнаружение дубликатов, неверен. Squashfs выполняет явное обнаружение дубликатов файлов и сохраняет данные только один раз. Это предшествует сжатию и полностью отделено от него.

Кстати, вывод Mksquashfs покажет вам, сколько существует дубликатов файлов.

Вы также меняете алгоритм сжатия по умолчанию и размер блока с gzip на 128K. Это позволит достичь лучшего сжатия.

mksquashfs /mnt/OldSourceDrive/ Резервная копия-Deduped.squashfs -keep-as-directory -comp xz -b 1M

Answer 2

Вы специально упомянули, что у вас есть дубликаты файлов, поэтому стоит отметить, что в целом форматы сжатия файловой системы или архива не удаляют избыточность между дубликатами файлов. Исключением является tar.gz, но даже в этом случае он не окажет большого влияния на пространство, занимаемое дубликатами файлов. Если дубликаты файлов являются основной причиной, по которой вы хотите выполнить сжатие, лучше сделать что-то вроде запуска поиска дубликатов файлов и удалить или жестко связать все дубликаты (см.здесь).

Если вам нужно просто единожды сжать кучу вещей, и вам не понадобится постоянный доступ для записи новых файлов в этот архив, проще всего просто заархивировать его (можно использовать 7-zip). Обратите внимание, что на дисках большинства людей в наши дни большую часть места занимают форматы файлов, которые не сжимаются (например, фильмы, фотографии).