☰

Ceph はいっぱいですが、ディスクはほぼ空です

tag-icon • tag-icon disk-space-utilization ceph
Ceph はいっぱいですが、ディスクはほぼ空です

2 つのノードとそれぞれ 3 つの OSD を持つ Ceph クラスターがあります。各 OSD は 8TB ディスクの 1 つのパーティションにあります。サーバーのディスク容量には制限があるため、同じディスク上にシステムを配置しています。

インストール時にパーティションで準備とアクティブ化を使用し、すべて正常に起動しました。

ceph-deploy osd は、burk11:/dev/sda2、burk11:/dev/sdb2、
burk11:/dev/sdd2 を準備し、ceph-deploy osd は、burk12:/dev/sda2、burk12:/dev/sdb2、burk12:/dev/sdd2 をアクティブ化します。

正常に動作します。しかし、少しテストした後、使用しようと考え、データをコピーし始めたところ、すぐにいっぱいになってしまいました。サイズを見ると、たった 60 GB しかなく、その理由がわかりません。

ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    61440M     19593M       41846M         68.11 
POOLS:
    NAME                          ID     USED       %USED     MAX AVAIL     OBJECTS 
    cinder-backup                 1           0         0         1851M           0 
    cinder-volumes                2           0         0         1851M           0 
    glance-images                 3           0         0         1851M           0 
    .rgw.root                     4        1113         0         1851M           4 
    default.rgw.control           5           0         0         1851M           8 
    default.rgw.meta              6        1661         0         1851M          10 
    default.rgw.log               7           0         0         1851M         207 
    default.rgw.buckets.index     8           0         0         1851M           2 
    default.rgw.buckets.data      9      14109M     88.40         1851M       38929

しかしディスクはほとんど空です

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc2       7.3T  4.0G  7.3T   1% /var/lib/ceph/osd/ceph-4
/dev/sdd2       7.3T  8.4G  7.3T   1% /var/lib/ceph/osd/ceph-5
/dev/sda2       7.3T  8.2G  7.3T   1% /var/lib/ceph/osd/ceph-3


root@burk11:~# ceph osd tree
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF 
-1       0.05878 root default                            
-3       0.02939     host burk11                         
 0   hdd 0.00980         osd.0       up  1.00000 1.00000 
 1   hdd 0.00980         osd.1       up  0.95001 1.00000 
 2   hdd 0.00980         osd.2       up  1.00000 1.00000 
-5       0.02939     host burk12                         
 3   hdd 0.00980         osd.3       up  1.00000 1.00000 
 4   hdd 0.00980         osd.4       up  1.00000 1.00000 
 5   hdd 0.00980         osd.5       up  0.95001 1.00000 
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS TYPE NAME       
-1       0.05878        -   966G   954G 11905M 98.80 1.00   - root default    
-3       0.02939        - 30720M 21579M  9140M 70.24 0.71   -     host burk11 
 0   hdd 0.00980  1.00000 10240M  5650M  4589M 55.18 0.56 172         osd.0   
 1   hdd 0.00980  0.95001 10240M  8380M  1859M 81.84 0.83 139         osd.1   
 2   hdd 0.00980  1.00000 10240M  7548M  2691M 73.72 0.75 153         osd.2   
-5       0.02939        -   936G   933G  2764M 99.71 1.01   -     host burk12 
 3   hdd 0.00980  1.00000 10240M  9589M   650M 93.65 0.95 163         osd.3   
 4   hdd 0.00980  1.00000 10240M  9309M   930M 90.91 0.92 144         osd.4   
 5   hdd 0.00980  0.95001   916G   914G  1183M 99.87 1.01 157         osd.5   
                    TOTAL   966G   954G 11905M 98.80                          
MIN/MAX VAR: 0.56/1.01  STDDEV: 22.15

(そして、私は OSD.5 で 914G は使用していません。dd を使用してブロック ファイルを拡張しようとしましたが、OSD は大きくなりましたが、より多くのデータを使用していなくてもいっぱいになり、使用量は 9～10G 程度になるはずです)

では、ceph にパーティション全体を使用させるにはどうすればよいでしょうか?

関連情報