我有一個 ceph 集群,每個集群有 2 個節點和 3 個 osd。每個 osd 位於 8TB 磁碟的一個分割區上。伺服器的磁碟數量有限,所以我甚至在相同的磁碟上安裝了系統。
安裝時,我在分區上使用了準備和激活,一切都啟動正常。
ceph-deploy osd 準備 burk11:/dev/sda2 burk11:/dev/sdb2 burk11:/dev/sdd2
ceph-deploy osd 啟動 burk12:/dev/sda2 burk12:/dev/sdb2 啟動 burk12:/dev/sda2 burk12:/dev/sdb2 burk12:/dev/ssd
效果很好。但經過一番測試後,我打算使用它,開始將資料複製到其中,它很快就滿了,當我查看它的大小時,它只有 60GB,我不明白為什麼。
ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
61440M 19593M 41846M 68.11
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
cinder-backup 1 0 0 1851M 0
cinder-volumes 2 0 0 1851M 0
glance-images 3 0 0 1851M 0
.rgw.root 4 1113 0 1851M 4
default.rgw.control 5 0 0 1851M 8
default.rgw.meta 6 1661 0 1851M 10
default.rgw.log 7 0 0 1851M 207
default.rgw.buckets.index 8 0 0 1851M 2
default.rgw.buckets.data 9 14109M 88.40 1851M 38929
但磁碟幾乎是空的
df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sdc2 7.3T 4.0G 7.3T 1% /var/lib/ceph/osd/ceph-4
/dev/sdd2 7.3T 8.4G 7.3T 1% /var/lib/ceph/osd/ceph-5
/dev/sda2 7.3T 8.2G 7.3T 1% /var/lib/ceph/osd/ceph-3
root@burk11:~# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.05878 root default
-3 0.02939 host burk11
0 hdd 0.00980 osd.0 up 1.00000 1.00000
1 hdd 0.00980 osd.1 up 0.95001 1.00000
2 hdd 0.00980 osd.2 up 1.00000 1.00000
-5 0.02939 host burk12
3 hdd 0.00980 osd.3 up 1.00000 1.00000
4 hdd 0.00980 osd.4 up 1.00000 1.00000
5 hdd 0.00980 osd.5 up 0.95001 1.00000
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS TYPE NAME
-1 0.05878 - 966G 954G 11905M 98.80 1.00 - root default
-3 0.02939 - 30720M 21579M 9140M 70.24 0.71 - host burk11
0 hdd 0.00980 1.00000 10240M 5650M 4589M 55.18 0.56 172 osd.0
1 hdd 0.00980 0.95001 10240M 8380M 1859M 81.84 0.83 139 osd.1
2 hdd 0.00980 1.00000 10240M 7548M 2691M 73.72 0.75 153 osd.2
-5 0.02939 - 936G 933G 2764M 99.71 1.01 - host burk12
3 hdd 0.00980 1.00000 10240M 9589M 650M 93.65 0.95 163 osd.3
4 hdd 0.00980 1.00000 10240M 9309M 930M 90.91 0.92 144 osd.4
5 hdd 0.00980 0.95001 916G 914G 1183M 99.87 1.01 157 osd.5
TOTAL 966G 954G 11905M 98.80
MIN/MAX VAR: 0.56/1.01 STDDEV: 22.15
(不,我不在OSD.5 上使用914G,我嘗試用dd 擴展塊文件,我確實使osd 更大,但即使它沒有使用更多數據,我也得到了它的完整值,應該有大約9 的使用量-10G)
那麼要如何讓 ceph 使用完整分割區呢?