У меня есть кластер ceph с 2 узлами и 3 osd на каждом. Каждый osd находится на одном разделе на диске 8 ТБ. Сервер ограничен по объему диска, поэтому у меня даже система находится на тех же дисках.
При установке я использовал подготовку и активацию на разделе, и все запустилось нормально.
ceph-deploy osd подготовить burk11:/dev/sda2 burk11:/dev/sdb2 burk11:/dev/sdd2
ceph-deploy osd активировать burk12:/dev/sda2 burk12:/dev/sdb2 burk12:/dev/sdd2
Работает отлично. Но после небольшого тестирования я собирался его использовать, начал копировать на него данные, и он очень быстро заполнился, а если посмотреть на размер, то он всего 60 ГБ, и я не могу понять, почему.
ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
61440M 19593M 41846M 68.11
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
cinder-backup 1 0 0 1851M 0
cinder-volumes 2 0 0 1851M 0
glance-images 3 0 0 1851M 0
.rgw.root 4 1113 0 1851M 4
default.rgw.control 5 0 0 1851M 8
default.rgw.meta 6 1661 0 1851M 10
default.rgw.log 7 0 0 1851M 207
default.rgw.buckets.index 8 0 0 1851M 2
default.rgw.buckets.data 9 14109M 88.40 1851M 38929
Но диск почти пуст.
df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sdc2 7.3T 4.0G 7.3T 1% /var/lib/ceph/osd/ceph-4
/dev/sdd2 7.3T 8.4G 7.3T 1% /var/lib/ceph/osd/ceph-5
/dev/sda2 7.3T 8.2G 7.3T 1% /var/lib/ceph/osd/ceph-3
root@burk11:~# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.05878 root default
-3 0.02939 host burk11
0 hdd 0.00980 osd.0 up 1.00000 1.00000
1 hdd 0.00980 osd.1 up 0.95001 1.00000
2 hdd 0.00980 osd.2 up 1.00000 1.00000
-5 0.02939 host burk12
3 hdd 0.00980 osd.3 up 1.00000 1.00000
4 hdd 0.00980 osd.4 up 1.00000 1.00000
5 hdd 0.00980 osd.5 up 0.95001 1.00000
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS TYPE NAME
-1 0.05878 - 966G 954G 11905M 98.80 1.00 - root default
-3 0.02939 - 30720M 21579M 9140M 70.24 0.71 - host burk11
0 hdd 0.00980 1.00000 10240M 5650M 4589M 55.18 0.56 172 osd.0
1 hdd 0.00980 0.95001 10240M 8380M 1859M 81.84 0.83 139 osd.1
2 hdd 0.00980 1.00000 10240M 7548M 2691M 73.72 0.75 153 osd.2
-5 0.02939 - 936G 933G 2764M 99.71 1.01 - host burk12
3 hdd 0.00980 1.00000 10240M 9589M 650M 93.65 0.95 163 osd.3
4 hdd 0.00980 1.00000 10240M 9309M 930M 90.91 0.92 144 osd.4
5 hdd 0.00980 0.95001 916G 914G 1183M 99.87 1.01 157 osd.5
TOTAL 966G 954G 11905M 98.80
MIN/MAX VAR: 0.56/1.01 STDDEV: 22.15
(И нет, я не использую 914G на OSD.5 Я пытался расширить файл блока с помощью dd, мне удалось увеличить OSD, но даже если он не использует больше данных, я заполнил его, должно использоваться около 9-10G)
Так как же мне заставить ceph использовать весь раздел?