у нас есть следующие диски из lsblk
, все диски не являются lvm
sdc 8:32 0 80G 0 disk /var/hadoop1
sdd 8:48 0 80G 0 disk /var/hadoop2
sde 8:64 0 80G 0 disk
sdf 8:80 0 80G 0 disk
sdc
и sdd
диски заполнены (использованы на 100%)
статус такой sdc
и sdd
диски заполнены и мы можем их использовать
но у нас есть новые диски sde и sdf, каждый диск размером20G
так
можно ли добавить sde
диск, sdc
чтобы выделить еще 20 Гб для sdc?
решение1
Вместо добавления дисков на уровне операционной системы вы можете сделать это напрямую в hadoop. Вы можете добавить их в dfs.datanode.data.dir
свойство. Формат такой:
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///disk/c0t2,/disk/c0t3,/dev/sde,/dev/sdf</value>
</property>
Я не уверен на 100%, что hadoop может работать с RAW-дисками. В таком случае вы можете создать на каждом новом диске один большой раздел, отформатировать его, смонтировать /var/hadoop3
и /var/hadoop4
использовать format:
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///disk/c0t2,/disk/c0t3,/var/hadoop3,/var/hadoop4</value>
</property>