TL;DR

TL;DR

Я использую его rsyncдля копирования всех файлов с одного внешнего диска объемом 3 ТБ, отформатированного как HFS+, на другой внешний диск объемом 3 ТБ, отформатированный как exFAT.

Я дважды проверил, что оба диска имеют одинаковый размер, и отформатировал целевой диск непосредственно перед началом копирования. На самом деле на исходном диске 38 ГБ свободного места, так что на нем около 2962 ГБ файлов (1 ТБ = 1000 ГБ в моей системе).

rsyncвышел из строя примерно на 90% пути, заполнив целевой диск. Можно ли это объяснить различиями между HFS+ и exFAT? Является ли exFAT намного более расточительным по сравнению с HFS+ при хранении файлов?

решение1

TL;DR

Причина в большом размере блока по умолчанию в exFAT. Просто переформатируйте его с меньшим размером блока и все заработает

Однако также обратите внимание, что macOS создаст много скрытых ._файлов при копировании с использованием Finder для хранения метаданных файла, что занимает еще больше места по сравнению с HFS+. Вам следует копировать с помощью командной строки, чтобы избежать создания этих файлов


На самом деле exFAT настолько прост, чтогораздо эффективнеепо использованию диска, чем другие более продвинутые файловые системы, такие как NTFS, ext4, APFS, HFS+...предоставлениеразмер блоката же, потому что чем сложнее файловая система, тем больше метаданных ей требуется. Просто отформатируйте новый раздел в любой из этих файловых систем, и вы увидите, что используемое пространство на пустом диске намного больше, чем exFAT:

Однако дело в том, чтоexFAT имеет гораздо большеразмер блокапо умолчанию. Диск объемом 3 ТБ будет иметь размер блока 1 МиБ по сравнению с 4 КиБ в других файловых системах. См.1-байтовый файл занимает 2 МБ (да, мегабайт) на томе exFAT Veracrypt объемом 6 ТБ. Почему?для размеров кластера по умолчанию в exFAT:

Volume size   Cluster size
  500 GiB          128 KiB
 1000 GiB          256 KiB
 1500 GiB          512 KiB
 2000 GiB          512 KiB
 3000 GiB            1 MiB
 4000 GiB            1 MiB
 5000 GiB            2 MiB
 8000 GiB            2 MiB
10000 GiB            4 MiB
20000 GiB            8 MiB

Это означает, что если у вас есть файл размером 640 КБ, вы не тратите ничего в HFS+, а 384 КБ при сохранении его в exFAT. В результате диск exFAT будет заполняться гораздо быстрее по умолчанию. Вы должныпереформатировать раздел exFAT и выбрать меньший размер блокачтобы тратить меньше места

Смотрите также

решение2

> much more wasteful of disk space- всегда будут различия в эффективности между файловыми системами. И это неизбежно проявится по мере приближения к максимальной емкости дисков схожего размера.

Разница в размере выделяемого блока может иметь огромное влияние, например, меньшая эффективность, когда у вас многомаленькийфайлов и сравнительно большой размер блока распределения.

Связанный контент