У нас есть 3 сервера Hadoop HDFS на физических машинах DELL HW, все серверы работают под управлением RHEL версии 7.2.
Каждый сервер включает 3 HDFS-диска, при этом каждый диск имеет объем 1 ТБ.
Теперь мы хотим добавить еще 3 сервера Hadoop с 3 дисками на машину.
Проблема в том, что мы не нашли дисков на 1 ТБ, а купить можно только диски на 2 ТБ.
Вторая проблема заключается в том, что когда мы имеем дело с дисками HDFS, то все диски HDFS должны быть одинакового размера.
Поскольку диски на старых серверах могут достигать 100% используемого пространства, в то время как новые серверы с 3 дисками по 2 ТБ будут занимать половину используемого пространства.
Поэтому в принципе все HDFS-диски должны быть одинакового размера.
Итак, мой вопрос: можем ли мы манипулировать дисками на новых серверах с помощью RAID таким образом, чтобы Linux определял диск объемом 2 ТБ как диск объемом 1 ТБ?
решение1
Я не знаю многого об Apache Hadoop. И я не знаю многого отвойНастройка RAID, но даже если у вас диски объемом 2 ТБ, вы можете просто управлять размером в Linux напрямую с помощью LVM или даже простых разделов с помощью fdisk.
Я бы просто убедился, что у меня есть столько же места, чтобы имитировать вашу другую машину. Вы можете пойти дальше и установить те же числа блоков на раздел, что и на других дисках, если это необходимо.
Я бы посоветовал вам провести лабораторную работу с управлением дисками LVM. Существует множество руководств по LVM.
Вот хорошая документация, с которой можно начать, если она вам нужна. Она от RedHat и для версии 7.x.