Я пытаюсь найти хорошие практики для создания большого массива на 300 ТБ. Производительность не является приоритетом, только целевое полезное хранилище в 300 ТБ плюс избыточность. И да, я буду делать резервные копии. Мое запланированное оборудование имеет 18 слотов для HDD и 12 слотов для HDD. Возможно, мне удастся получить еще 12 слотов для HDD.
Прямо сейчас я думаю о массиве 16 ТБ x 16 RAID 60 + 2 горячих резерва для 192 ТБ и 16 ТБ x 10 RAID 6 + 2 горячих резерва для 128 ТБ.
Для общего объема полезного пространства 320 ТБ
Я читал, что RAID-массивы с большими дисками не рекомендуются из-за времени перестройки.
решение1
RAID-массивы с большими дисками вполне подходят, да, могут быть задержки при перестроениях, но это нормально, если вы используете что-то вроде R6/60, где во время перестроений сохраняется четность.
Больше всего меня беспокоит, что все яйца в одной корзине с одним сервером — вы вообще не рассматривали возможность использования распределенной файловой системы вроде Ceph? В итоге у вас будет больше серверов, но меньшего размера, и вы сможете распределить их по стойкам для дополнительной устойчивости — в любом случае, это просто идея.
Что я думаю о вашем главном вопросе, так это взять обычный сервер 2U и использовать один или два внешних дисковых корпуса SAS, подключенных к одному или двум контроллерам PCIe SAS RAID - таким образом вы можете обновить свой сервер - или хранилище - не влияя на другой. Это не должно стоить слишком дорого, и есть много вариантов, один большой корпус со всеми вашими дисками или два, возможно, поменьше, а затем разделить 0-й бит вашего R60 по корпусам - вы даже можете сделать "двойное соединение" с RAID-массивами для дополнительной устойчивости.
О, и горячее резервирование тоже хорошая идея, обязательно сделайте это.
И последнее, что следует учесть — очень внимательно посмотрите на те диски, которые вы хотите использовать. Убедитесь, что у них «100% рабочий цикл» (т. е. они могут работать 24 часа в сутки в течение многих лет). Не все из них таковы. И убедитесь, что вы не используете «черепичные» диски. Они хороши для домашнего использования, но их скорость записи просто ужасна в серверной среде.