У меня есть 3 сервера, которые я буду использовать для нового кластера Ceph. Это моя первая «игровая площадка» Ceph... Каждый сервер имеет 2x1 ТБ и 6x2 ТБ HDD, подключенных к двум отдельным 4-канальным контроллерам SAS, каждый с 1 ГБ кэша + BBU, поэтому я планирую оптимизировать их для пропускной способности.
Первые два диска будут использоваться как массив RAID-1 для ОС и, возможно, журналов (этот вопрос все еще исследуется).
Диски с 3 по 8 будут представлены как отдельные устройства RAID-0 для использования кэшей контроллера. Однако я не знаю, какой размер будет наилучшим, и поскольку я не могу изменить его позже без потери данных, я решил спросить здесь. Может кто-нибудь объяснить? По умолчанию для контроллеров (LSI 9271-4i) установлено значение 256k. Я вижу некоторые документы, в которых упоминается stripe width(например,здесь) по умолчанию 64kb, но я все еще не уверен в этом. Интересно, что нет никаких обсуждений на эту тему. Может быть, потому, что многие запускают такие настройки в режиме JBOD или потому, что это просто не так важно...
Поскольку это будет мой первый кластер, я постараюсь максимально придерживаться настроек по умолчанию.
решение1
Год назад нам пришлось принять такое же решение. СогласноЭта статья, использование RAID 0 может повысить производительность в некоторых случаях.Согласно рекомендациям CEPH по жесткому диску и файловой системе, предлагается отключить кэш жесткого диска. Поэтому я думаю, что основные моменты из этих двух статей вместе: лучше использовать JBOD и отключить кэш записи жестких дисков.
решение2
MaksaSila в основном права, но немного не понимает. Сами кэши дисков должны иметь отключенный кэш записи, поскольку он не имеет резервного питания от батареи. Использование контроллера SAS с резервным питанием от батареи для кэша записи RAID0 допустимо и повысит производительность, это отличается от собственного внутреннего кэша записи диска (который, я согласен, должен быть отключен).