mdadm ремонт одного куска/сектора

Question 1

Я не могу найти способ заставить mdadm исправить этот конкретный фрагмент.

Это происходит потому, что при скрытом повреждении данных у md недостаточно информации, чтобы определить, какой блок скрытно поврежден.

Я приглашаю вас прочитать моюответ на вопрос №4 («Почему mdпродолжают использовать устройство с недействительными данными?») здесь, который объясняет это более подробно.

Чтобы усугубить ситуацию с предлагаемой вами компоновкой,Если блок четности страдает от скрытого повреждения данных, то расположенный выше уровень Btrfs не может этого увидеть! Когда диск с соответствующим блоком данных выходит из строя и вы пытаетесь заменить его, md будет использовать поврежденную четность и необратимо испортит ваши данные. Только когда этот диск выйдет из строя, Btrfs распознает повреждение, но вы уже потеряете данные.

Это связано с тем, что md не считывает данные из блоков четности, если только массив не деградировал.

Так есть ли способ сказать mdadm восстановить один кусок (который не является четностью) и, возможно, даже пометить сектор диска как плохой? Может быть, создать ошибку чтения ввода-вывода?

С поврежденными секторами, которые жесткий диск обнаружил самостоятельно, md может справиться легко, поскольку поврежденный сектор идентифицируется md.

Технически вы можете создать плохой сектор с помощью hdparm --make-bad-sector, но как узнать, на каком диске блок затронут скрытым повреждением данных?

Рассмотрим этот упрощенный пример:

Формула четности:PARITY = DATA_1 + DATA_2

+--------+--------+--------+
| DATA_1 | DATA_2 | PARITY |
+--------+--------+--------+
|      1 |      1 |      2 | # OK
+--------+--------+--------+

Теперь давайте молча испортим каждый из блоков значением 3:

+--------+--------+--------+
| DATA_1 | DATA_2 | PARITY |
+--------+--------+--------+
|      3 |      1 |      2 | # Integrity failed – Expected: PARITY = 4
|      1 |      3 |      2 | # Integrity failed – Expected: PARITY = 4
|      1 |      1 |      3 | # Integrity failed – Expected: PARITY = 2
+--------+--------+--------+

Если бы у вас не было первой таблицы, на которую можно было бы посмотреть, как бы вы узнали, какой блок был поврежден?
Вы не можете знать наверняка.

Вот почему Btrfs и ZFS оба используют блоки контрольной суммы. Это занимает немного больше места на диске, но эта дополнительная информация позволяет системе хранения данных выяснить, какой блок лежит.

ОтСтатья в блоге Джеффа Бонвика "RAID-Z":

Всякий раз, когда вы читаете блок RAID-Z, ZFS сравнивает его с контрольной суммой. Если диски данных не вернули правильный ответ, ZFS считывает четность, а затем выполняет комбинаторную реконструкцию, чтобы выяснить, какой диск вернул неверные данные.

Чтобы сделать это с Btrfs на md, вам придется пересчитывать каждый блок до тех пор, пока контрольная сумма в Btrfs не совпадет, что является трудоемким процессом, не имеющим простого интерфейса, доступного пользователю/скрипту.

Я знаю, что ZFS может делать все это сама по себе, но я не хочу использовать память ECC.

Ни ZFS, ни Btrfs через md не зависят от памяти ECC и даже не знают о ней. Память ECC обнаруживает только скрытые повреждения данных в памяти, поэтому она не зависит от системы хранения.

Я рекомендовал ZFS вместо Btrfs для RAID-5 и RAID-6 (аналогично ZFS RAID-Z и RAID-Z2 соответственно) ранее вBtrfs через mdadm raid6?иСбой устройства в md RAID, когда ATA перестает отвечать, но я хотел бы воспользоваться этой возможностью, чтобы описать еще несколько преимуществ ZFS:

Когда ZFS обнаруживает скрытое повреждение данных, оно автоматически и немедленно исправляется на месте без какого-либо вмешательства человека.
Если вам необходимо перестроить весь диск, ZFS выполнит «перезапись» только реальных данных, вместо того чтобы без необходимости выполнять ее по всему блочному устройству.
ZFS — это комплексное решение для логических томов и файловых систем, что упрощает управление им по сравнению с Btrfs поверх md.
RAID-Z и RAID-Z2 надежны и стабильны, в отличие от
- Btrfs на md RAID-5/RAID-6, которая обеспечивает обнаружение ошибок только в скрытых поврежденных блоках данных (плюс скрытые поврежденные блоки четности могут оставаться необнаруженными, пока не станет слишком поздно) и не имеет простого способа исправления ошибок, и
- Btrfs RAID-5/RAID-6, который "имеет несколько серьезных ошибок, приводящих к потере данных".
Если бы я незаметно испортил весь диск с ZFS RAID-Z2, я бы вообще не потерял никаких данных, тогда как на md RAID-6,На самом деле я потерял 455 681 инодов.

Answer