Оптимальный массив raid на Centos 6

Оптимальный массив raid на Centos 6

У меня есть 4 диска по 2 ТБ, и я хочу создать высокопроизводительный массив RAID5 (сервер — микросервер HP N40L с 8 ГБ ОЗУ, загрузка с 64 ГБ SSHD). Операционная система — Centos 6.3, x86_64.

Я создал raid-массив с помощью этой команды:

mdadm --create --verbose /dev/md0 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

Когда я затем делаю:

mdadm --examine /dev/sda1

...Мне сообщили, что мой «Размер фрагмента» составляет 512 Кб (судя по всему, это новое значение mdadm по умолчанию).

Теперь я хочу отформатировать массив с помощью XFS. Мне сказали (вhttp://www.mythtv.org/wiki/Оптимизация_Производительности#Оптимизация_XFS_на_RAID_массивах) что "sunit" равно моему размеру фрагмента, выраженному в виде количества блоков по 512 байт, то есть в моем случае 512 КБ = 1024 блока по 512 байт. Аналогично, "swidth" - это количество эффективных дисков в моем массиве, умноженное на sunit. В моем случае у меня 4 диска в raid 5, то есть 3 эффективных диска и 3x1024=3072. Поэтому я отформатировал свой новый массив с помощью команды:

mkfs.xfs -b size=4096 -d sunit=1024,swidth=3072 /dev/md0

У меня теперь два вопроса. Команда выше дала мне эту ошибку:

mkfs.xfs -b size=4096 -d sunit=1024,swidth=3072 /dev/md0
log stripe unit (524288 bytes) is too large (maximum is 256KiB)
log stripe unit adjusted to 32KiB [...]

...и я хочу знать, означает ли это, что я сделал что-то неправильно, или в конечном итоге у меня будет неоптимальная файловая система, или я могу просто проигнорировать эту ошибку по какой-то причине.

Второй вопрос заключается в том, правильно ли я рассчитал параметры XFS или я лезу не в то дерево (если это поможет, массив будет хранить большие музыкальные и видеофайлы, в основном). Понял ли я, например, "размер фрагмента" и "размер полосы"? Является ли размер блока 4096 в моей команде mkfs оптимальным? И так далее.

Буду признателен за любые советы по этому поводу.

решение1

XFS не поддерживает блоки полос размером более 256k, поэтому просто переделайте свой массив RAID с полосой размером 256k. Это --chunkпараметр mdadm.

Размер блока 4k может быть слишком мал для предполагаемого использования. Если вы храните много маленьких файлов, то 4k, вероятно, будет более идеальным. XFS может работать с блоками вплоть до 64k. Это быстрее для чтения и записи смежных блоков, но вы теряете часть пространства из-за накладных расходов больших размеров блоков.

Вы можете выделять только блоками, поэтому выбирайте размер блока на основе размера файлов, с которыми вы собираетесь работать. При размере блока 4k файл размером 1kb занимает 4kb пространства (1 блок), а файл размером 65kb занимает 68kb пространства (17 блоков). При размере блока 64kb файл размером 1kb занимает 64kb (один блок), а файл размером 65kb занимает 128kb (2 блока).

Если вы имеете дело с небольшими файлами, то вы потратите много места с большим размером блока. Если вы имеете дело с видеофайлами в сотни гигабайт, то вас, вероятно, не волнуют 64kb здесь или там, и преимущество производительности большего размера блока имеет большее значение.

Еще одна вещь, которую нужно понять, это Группы распределения. Каждая AG получает отдельный поток ввода-вывода. Распределитель XFS пытается поместить каждый каталог в отдельную AG. Базовая теория — одна AG на физическое устройство.

Прочитайте документацию XFS и поймите, как устроена файловая система:

Сделайте несколько обоснованных предположений и решите, какие факторы наиболее важны для вас. Получите несколько файлов, которые представляют ваши производственные данные (или копию фактических производственных данных), и запустите несколько тестов на том, что важно для вас. Выберите метрику, например, насколько быстро ваше видео- или аудиопрограммное обеспечение считывает и записывает файлы на основе разных размеров блоков? Как наличие нескольких аудио-/видеоинженеров, одновременно получающих доступ к файлам, влияет на пропускную способность с разными AG?

XFS разработана для огромных файловых систем в сотни терабайт, живущих на SAN, которые стоят больше, чем дом, и хранящих огромные несжатые медиафайлы, которые нужны профессиональным киностудиям. Если вы используете это для хранения пиратской музыки и телешоу на дешевой Linux-системе, то просто используйте ext4, так будет намного проще находить и устранять неполадки, если вы когда-нибудь столкнетесь с ними.

Связанный контент