Ceph 已滿但磁碟幾乎為空

Ceph 已滿但磁碟幾乎為空

我有一個 ceph 集群,每個集群有 2 個節點和 3 個 osd。每個 osd 位於 8TB 磁碟的一個分割區上。伺服器的磁碟數量有限,所以我甚至在相同的磁碟上安裝了系統。

安裝時,我在分區上使用了準備和激活,一切都啟動正常。

ceph-deploy osd 準備 burk11:/dev/sda2 burk11:/dev/sdb2 burk11:/dev/sdd2
ceph-deploy osd 啟動 burk12:/dev/sda2 burk12:/dev/sdb2 啟動 burk12:/dev/sda2 burk12:/dev/sdb2 burk12:/dev/ssd

效果很好。但經過一番測試後,我打算使用它,開始將資料複製到其中,它很快就滿了,當我查看它的大小時,它只有 60GB,我不明白為什麼。

ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    61440M     19593M       41846M         68.11 
POOLS:
    NAME                          ID     USED       %USED     MAX AVAIL     OBJECTS 
    cinder-backup                 1           0         0         1851M           0 
    cinder-volumes                2           0         0         1851M           0 
    glance-images                 3           0         0         1851M           0 
    .rgw.root                     4        1113         0         1851M           4 
    default.rgw.control           5           0         0         1851M           8 
    default.rgw.meta              6        1661         0         1851M          10 
    default.rgw.log               7           0         0         1851M         207 
    default.rgw.buckets.index     8           0         0         1851M           2 
    default.rgw.buckets.data      9      14109M     88.40         1851M       38929 

但磁碟幾乎是空的

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc2       7.3T  4.0G  7.3T   1% /var/lib/ceph/osd/ceph-4
/dev/sdd2       7.3T  8.4G  7.3T   1% /var/lib/ceph/osd/ceph-5
/dev/sda2       7.3T  8.2G  7.3T   1% /var/lib/ceph/osd/ceph-3


root@burk11:~# ceph osd tree
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF 
-1       0.05878 root default                            
-3       0.02939     host burk11                         
 0   hdd 0.00980         osd.0       up  1.00000 1.00000 
 1   hdd 0.00980         osd.1       up  0.95001 1.00000 
 2   hdd 0.00980         osd.2       up  1.00000 1.00000 
-5       0.02939     host burk12                         
 3   hdd 0.00980         osd.3       up  1.00000 1.00000 
 4   hdd 0.00980         osd.4       up  1.00000 1.00000 
 5   hdd 0.00980         osd.5       up  0.95001 1.00000 
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS TYPE NAME       
-1       0.05878        -   966G   954G 11905M 98.80 1.00   - root default    
-3       0.02939        - 30720M 21579M  9140M 70.24 0.71   -     host burk11 
 0   hdd 0.00980  1.00000 10240M  5650M  4589M 55.18 0.56 172         osd.0   
 1   hdd 0.00980  0.95001 10240M  8380M  1859M 81.84 0.83 139         osd.1   
 2   hdd 0.00980  1.00000 10240M  7548M  2691M 73.72 0.75 153         osd.2   
-5       0.02939        -   936G   933G  2764M 99.71 1.01   -     host burk12 
 3   hdd 0.00980  1.00000 10240M  9589M   650M 93.65 0.95 163         osd.3   
 4   hdd 0.00980  1.00000 10240M  9309M   930M 90.91 0.92 144         osd.4   
 5   hdd 0.00980  0.95001   916G   914G  1183M 99.87 1.01 157         osd.5   
                    TOTAL   966G   954G 11905M 98.80                          
MIN/MAX VAR: 0.56/1.01  STDDEV: 22.15

(不,我不在OSD.5 上使用914G,我嘗試用dd 擴展塊文件,我確實使osd 更大,但即使它沒有使用更多數據,我也得到了它的完整值,應該有大約9 的使用量-10G)

那麼要如何讓 ceph 使用完整分割區呢?

相關內容