☰

Ceph는 꽉 찼지만 디스크는 거의 비어 있습니다.

tag-icon • tag-icon disk-space-utilization ceph
Ceph는 꽉 찼지만 디스크는 거의 비어 있습니다.

2개의 노드와 3개의 OSD가 각각 있는 ceph 클러스터가 있습니다. 각 OSD는 8TB 디스크의 한 파티션에 있습니다. 서버의 디스크 양이 제한되어 있으므로 동일한 디스크에 시스템을 둘 수도 있습니다.

설치 시 해당 파티션에서 준비 및 활성화를 사용했고 모든 것이 잘 시작되었습니다.

ceph-deploy osd 준비 burk11:/dev/sda2 burk11:/dev/sdb2 burk11:/dev/sdd2
ceph-deploy osd 활성화 burk12:/dev/sda2 burk12:/dev/sdb2 burk12:/dev/sdd2

잘 작동합니다. 하지만 약간의 테스트 후에 사용하려고 계획 중이었고 데이터 복사를 시작했는데 매우 빨리 가득 차서 크기를 보면 60GB에 불과하고 이유를 알 수 없습니다.

ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    61440M     19593M       41846M         68.11 
POOLS:
    NAME                          ID     USED       %USED     MAX AVAIL     OBJECTS 
    cinder-backup                 1           0         0         1851M           0 
    cinder-volumes                2           0         0         1851M           0 
    glance-images                 3           0         0         1851M           0 
    .rgw.root                     4        1113         0         1851M           4 
    default.rgw.control           5           0         0         1851M           8 
    default.rgw.meta              6        1661         0         1851M          10 
    default.rgw.log               7           0         0         1851M         207 
    default.rgw.buckets.index     8           0         0         1851M           2 
    default.rgw.buckets.data      9      14109M     88.40         1851M       38929

하지만 디스크가 거의 비어 있습니다.

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc2       7.3T  4.0G  7.3T   1% /var/lib/ceph/osd/ceph-4
/dev/sdd2       7.3T  8.4G  7.3T   1% /var/lib/ceph/osd/ceph-5
/dev/sda2       7.3T  8.2G  7.3T   1% /var/lib/ceph/osd/ceph-3


root@burk11:~# ceph osd tree
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF 
-1       0.05878 root default                            
-3       0.02939     host burk11                         
 0   hdd 0.00980         osd.0       up  1.00000 1.00000 
 1   hdd 0.00980         osd.1       up  0.95001 1.00000 
 2   hdd 0.00980         osd.2       up  1.00000 1.00000 
-5       0.02939     host burk12                         
 3   hdd 0.00980         osd.3       up  1.00000 1.00000 
 4   hdd 0.00980         osd.4       up  1.00000 1.00000 
 5   hdd 0.00980         osd.5       up  0.95001 1.00000 
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS TYPE NAME       
-1       0.05878        -   966G   954G 11905M 98.80 1.00   - root default    
-3       0.02939        - 30720M 21579M  9140M 70.24 0.71   -     host burk11 
 0   hdd 0.00980  1.00000 10240M  5650M  4589M 55.18 0.56 172         osd.0   
 1   hdd 0.00980  0.95001 10240M  8380M  1859M 81.84 0.83 139         osd.1   
 2   hdd 0.00980  1.00000 10240M  7548M  2691M 73.72 0.75 153         osd.2   
-5       0.02939        -   936G   933G  2764M 99.71 1.01   -     host burk12 
 3   hdd 0.00980  1.00000 10240M  9589M   650M 93.65 0.95 163         osd.3   
 4   hdd 0.00980  1.00000 10240M  9309M   930M 90.91 0.92 144         osd.4   
 5   hdd 0.00980  0.95001   916G   914G  1183M 99.87 1.01 157         osd.5   
                    TOTAL   966G   954G 11905M 98.80                          
MIN/MAX VAR: 0.56/1.01  STDDEV: 22.15

(그리고 아니요, 저는 OSD에서 914G를 사용하지 않습니다.5 dd로 블록 파일을 확장하려고 시도했고 osd를 더 크게 만들었지만 더 많은 데이터를 사용하지 않더라도 가득 차서 약 9 정도의 사용량을 가져야 합니다. -10G)

그렇다면 ceph가 전체 부분을 사용하도록 하려면 어떻게 해야 할까요?

관련 정보