Wir haben 3 Hadoop HDFS-Server auf physischen DELL HW-Maschinen, wobei alle Server mit der RHEL 7.2-Version laufen
Jeder Server enthält 3 HDFS-Festplatten, wobei jede Platte 1 TB groß ist
Jetzt wollen wir noch 3 weitere Hadoop-Server mit jeweils 3 Festplatten pro Maschine hinzufügen.
Das Problem ist, dass wir keine 1TB-Festplatten gefunden haben und nur Festplatten mit 2TB kaufen können.
Das zweite Problem ist, dass beim Umgang mit HDFS-Festplatten alle HDFS-Festplatten die gleiche Größe haben müssen
Denn die Festplatten auf den alten Servern können 100 % des Speicherplatzes nutzen, während die neuen Server mit den 3 Festplatten mit je 2 TB nur die Hälfte des genutzten Speicherplatzes nutzen.
Grundsätzlich sollten alle HDFS-Festplatten die gleiche Größe haben
Meine Frage lautet also: Können wir die Festplatten auf den neuen Servern durch RAID so manipulieren, dass Linux die 2-TB-Festplatte als 1-TB-Festplatte erkennt?
Antwort1
Ich weiß nicht viel über Apache Hadoop. Und ich weiß nicht viel überdeinRAID-Setup, aber selbst wenn Sie 2-TB-Festplatten haben, können Sie die Größe in Linux direkt mit LVM oder sogar einfachen Partitionen mit fdisk verwalten.
Ich würde nur sicherstellen, dass ich genauso viel Speicherplatz habe, um Ihre andere Maschine nachzuahmen. Sie können sogar so weit gehen, die gleiche Anzahl von Blöcken pro Partition festzulegen, wie Sie sie auf Ihren anderen Festplatten haben, falls dies erforderlich ist.
Ich würde vorschlagen, dass Sie ein Labor mit der LVM-Datenträgerverwaltung durchführen. Es gibt zahlreiche Tutorials zu LVM.
Hier ist eine gute Dokumentation für den Anfang, falls Sie sie benötigen. Sie ist von RedHat und für Version 7.x.