어제 우리 서버(Ubuntu 18.04)가 저장 용량 100%에 도달했습니다.
파일 시스템 중 하나를 읽기 전용 모드로 설정합니다. 다음을 참조하세요 /dev/md3 / ext4 ro,relatime,errors=remount-ro,data=ordered 0 0. serverfault에 대한 다른 답변에서 여러 솔루션을 시도했지만 내 경우에 맞는 솔루션은 없습니다.
예를 들어, 다음 명령을 실행하려고 시도했지만 sudo mount -o remount,rw /dev/md3 /그 결과는 다음과 같습니다.mount: /: cannot remount /dev/md3 read-write, is write-protected.
파일 시스템을 다시 읽고 쓸 수 있도록 이 문제를 해결하려면 어떻게 해야 합니까?
감사해요!
디버그 정보로 업데이트:
mdadm --detail /dev/md3
/dev/md3:
Version : 0.90
Creation Time : Fri Nov 10 10:07:34 2017
Raid Level : raid1
Array Size : 20478912 (19.53 GiB 20.97 GB)
Used Dev Size : 20478912 (19.53 GiB 20.97 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 3
Persistence : Superblock is persistent
Update Time : Sat Sep 18 09:15:35 2021
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Consistency Policy : unknown
UUID : 4b632ac4:ae1a7c2b:a4d2adc2:26fd5302
Events : 0.861
Number Major Minor RaidDevice State
0 8 3 0 active sync /dev/sda3
1 8 19 1 active sync /dev/sdb3
그리고 dmesg를 사용하면:
dmesg | grep "md3"
[67448453.830094] EXT4-fs error (device md3): ext4_remount:4840: Abort forced by user
실행됨 tune2fs:
tune2fs -l /dev/md3
tune2fs 1.44.1 (24-Mar-2018)
Filesystem volume name: /
Last mounted on: /
Filesystem UUID: d1a985c4-8c5e-4034-93e0-629b8e65f161
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags: signed_directory_hash
Default mount options: user_xattr acl
Filesystem state: clean with errors
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 1281120
Block count: 5119728
Reserved block count: 255986
Free blocks: 445848
Free inodes: 1001361
First block: 0
Block size: 4096
Fragment size: 4096
Reserved GDT blocks: 1022
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 8160
Inode blocks per group: 510
Flex block group size: 16
Filesystem created: Fri Nov 10 10:07:39 2017
Last mount time: Tue Jul 30 17:51:41 2019
Last write time: Thu Sep 16 20:06:05 2021
Mount count: 7
Maximum mount count: -1
Last checked: Fri Nov 10 10:07:39 2017
Check interval: 0 (<none>)
Lifetime writes: 4013 GB
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
First orphan inode: 663035
Default directory hash: half_md4
Directory Hash Seed: ae316af1-086d-470f-af27-0c10ca25f3c8
Journal backup: inode blocks
FS Error count: 8
First error time: Thu Sep 16 20:06:04 2021
First error function: ext4_lookup
First error line #: 1607
First error inode #: 930317
First error block #: 0
Last error time: Sat Sep 18 09:15:35 2021
Last error function: ext4_remount
Last error line #: 4840
Last error inode #: 685456
Last error block #: 0
다음을 사용하여 디버그 정보 e2fsck -n /dev/md3:
e2fsck -n /dev/md3
e2fsck 1.44.1 (24-Mar-2018)
Warning: skipping journal recovery because doing a read-only filesystem check.
/ contains a file system with errors, check forced.
Pass 1: Checking inodes, blocks, and sizes
Inodes that were part of a corrupted orphan linked list found. Fix? no
Inode 101 was part of the orphaned inode list. IGNORED.
Inode 117 was part of the orphaned inode list. IGNORED.
Inode 292 was part of the orphaned inode list. IGNORED.
Inode 460 was part of the orphaned inode list. IGNORED.
Inode 465 was part of the orphaned inode list. IGNORED.
Inode 471 was part of the orphaned inode list. IGNORED.
Inode 487 was part of the orphaned inode list. IGNORED.
Inode 529 was part of the orphaned inode list. IGNORED.
Inode 562 was part of the orphaned inode list. IGNORED.
Inode 564 was part of the orphaned inode list. IGNORED.
Inode 707 was part of the orphaned inode list. IGNORED.
Inode 723 was part of the orphaned inode list. IGNORED.
Inode 918 was part of the orphaned inode list. IGNORED.
...
Deleted inode 402614 has zero dtime. Fix? no
...
Inode 783370, end of extent exceeds allowed value
(logical block 1024, physical block 3068928, len 76)
Clear? no
Inode 783370, i_blocks is 8784, should be 8200. Fix? no
Inode 783470, end of extent exceeds allowed value
(logical block 2708, physical block 1322783, len 193)
Clear? no
Inode 783470, i_blocks is 23200, should be 21672. Fix? no
Inode 1047956 was part of the orphaned inode list. IGNORED.
Pass 2: Checking directory structure
Entry 'tmp' in /tmp/systemd-private-bb09aae54cab4e12844e5844d11ca5eb-certbot.service-VSBnVY (685456) has deleted/unused inode 685457. Clear? no
Entry '1159_key-certbot.pem' in /etc/letsencrypt/keys (930317) has deleted/unused inode 920168. Clear? no
Entry '1159_key-certbot.pem' in /etc/letsencrypt/keys (930317) has an incorrect filetype (was 1, should be 0).
Fix? no
Entry '1110_csr-certbot.pem' in /etc/letsencrypt/csr (930318) has deleted/unused inode 920176. Clear? no
Entry '1110_csr-certbot.pem' in /etc/letsencrypt/csr (930318) has an incorrect filetype (was 1, should be 0).
Fix? no
Entry '1106_key-certbot.pem' in /etc/letsencrypt/keys (930317) has deleted/unused inode 920166. Clear? no
Entry '1106_key-certbot.pem' in /etc/letsencrypt/keys (930317) has an incorrect filetype (was 1, should be 0).
Fix? no
Entry '1109_key-certbot.pem' in /etc/letsencrypt/keys (930317) has deleted/unused inode 920173. Clear? no
Entry '1109_key-certbot.pem' in /etc/letsencrypt/keys (930317) has an incorrect filetype (was 1, should be 0).
Fix? no
Entry '1146_csr-certbot.pem' in /etc/letsencrypt/csr (930318) has deleted/unused inode 920172. Clear? no
Entry '1146_csr-certbot.pem' in /etc/letsencrypt/csr (930318) has an incorrect filetype (was 1, should be 0).
Fix? no
...
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Inode 685456 ref count is 3, should be 2. Fix? no
Pass 5: Checking group summary information
Block bitmap differences: -34565 -(53721--53734) -(59721--59761) -(59981--59983) -(61106--61184) -(61540--61544) -(70964--71007) -(71274--71313) -(84938--84989) -(85084--85107) -(85592--85599) -(116400--116408) -(116423--116436) -(128700--128703) -(128708--128721) -(138904--138914) -(165045--165150) -(169691--169713) -(169717--169742) -(464896--471464) -(471552--471989) -(472928--472947) -(499200--499612) -(501408--501434) -(503808--504070) -(513024--513301) -(513408--513491) -(589477--589480) -(711431--711441) -(747968--748030) -(838733--838740) -(838755--838758) -(838772--838783) -(838791--838800) -(838805--838816) -(838824--838835) -(848384--848972) -(875840--875880) -(1032187--1033031) -(1083840--1083878) -(1120110--1120132) -(1322783--1322975) -(1631196--1631251) -(1635150--1635169) -(1635360--1635391) -(1635571--1635575) -(1635848--1635855) -(1635996--1636001) -1648860 -1648880 -(1715533--1715536) -(1740800--1741311) -(1746432--1746573) -(1750528--1750729) -(1867776--1867880) -(1870717--1871294) -(1880576--1880791) -(1888256--1888258) -1888260 -(1888272--1888273) -(1888275--1888767) -(2226402--2226405) -(2235495--2235719) -(2266304--2266332) -(2301560--2301629) -(2528723--2528753) -(2589088--2589117) -(2597312--2597374) -(2597696--2597757) -(2614784--2615295) -(2619392--2619458) -(2619904--2620297) -2636181 -(2671360--2671491) -(2687328--2687350) -(3068928--3069003) -(3196998--3197002) -(3228728--3228738) -(3236697--3236703) -(3252961--3252970) -(3264276--3264277) -(3264287--3264298) -(3285164--3285170) -(3299518--3299524) -(3399680--3400062) -(3441024--3441129) -(3574080--3574142) -(3601664--3601795) -(3659648--3659724) -(3660672--3660755) -(3704233--3704234) -(3704237--3704242) -3707626 -3708898 -3709310 -3709356 -3709398 -3709984 -(3751694--3751696) -(3751707--3751711) -(3751767--3751768) -(3751774--3751775) -(3751800--3751814) -(3771264--3771343) -(3830025--3830040) -(3860480--3867203) -(3867616--3867644) -(3868160--3868618) -(3869696--3870139) -(4045457--4045483) -(4087936--4088023) -(4088032--4088055) -(4088320--4088780) -(4088960--4089064) -(4089088--4089126) -(4091136--4091324) -(4091392--4092119) -(4092928--4094514) -(4094976--4095854) -(4097088--4097120) -(4097536--4097816) -(4109312--4110157) -(4250368--4250378) -(4278497--4278513) -(4296960--4297014) -(4325486--4325616) -(4325632--4325707) -(4326688--4327074) -(4328826--4328961) -(4329202--4329314) -(4329600--4329666) -(4329764--4329804) -(4332027--4332178) -(4332406--4332476) -(4333568--4333942) -(4334372--4334454) -(4334564--4335227) -(4621153--4621176) -(4669781--4670170) -(4696470--4696548) -(4697074--4697429) -(4697662--4697711) -(4726778--4727894) -(5055921--5056185) -(5056648--5056667) -(5106412--5106620) -(5106668--5107034)
Fix? no
Free blocks count wrong for group #76 (3374, counted=3375).
Fix? no
Free blocks count wrong (445848, counted=445849).
Fix? no
Inode bitmap differences: -101 -117 -292 -460 -465 -471 -487 -529 -562 -564 -707 -723 -918 -(1837--1838) -2041 -2714 -3593 -3654 -3659 -3894 -3976 -4336 -4425 -5193 -5244 -5252 -5930 -5951 -5967 -(7066--7069) -7431 -8492 -8651 -9298 -9583 -9592 -14261 -14270 -18093 -19214 -21301 -(27843--27844) -27847 -27849 -(27853--27856) -(27868--27869) -(27872--27873) -27875 -27879 -27883 -27885 -(27889--27890) -27892 -162842 -391708 -391741 -391759 -391763 -(391800--391802) -(391804--391805) -(391812--391814) -(391831--391833) -391870 -391873 -391878 -391900 -391902 -(391910--391911) -391915 -391919 -391927 -391956 -392493 -392719 -393759 -393795 -395132 -395134 -395161 -395165 -395221 -395234 -395267 -395289 -(395312--395313) -395315 -395325 -395336 -395387 -395630 -396550 -396589 -(396699--396700) -402594 -(402596--402598) -402601 -(402604--402606) -402608 -(402611--402614) -407918 -413872 -413874 -413881 -413885 -413897 -413900 -413908 -421042 -421202 -421226 -426391 -652905 -(652931--652935) -663035 -685457 -920162 -(920164--920176) -1047956
Fix? no
Directories count wrong for group #84 (17, counted=16).
Fix? no
Free inodes count wrong for group #96 (80, counted=82).
Fix? no
Free inodes count wrong for group #112 (486, counted=487).
Fix? no
Free inodes count wrong (1001361, counted=1001364).
Fix? no
/: ********** WARNING: Filesystem still has errors **********
/: 279759/1281120 files (0.7% non-contiguous), 4673880/5119728 blocks
답변1
이 스위치를 읽기 전용 모드로 전환한 것은 오버플로가 아니라 정확히 mount 옵션을 따르는 파일 시스템 손상 때문입니다 errors=remount-ro.
중요한 데이터와 구성을 백업하고 어딘가에 다운로드하세요. 부팅에 중요한 것이 손상된 경우에 대한 복구 계획을 준비하십시오. 가능하다면 중요한 서비스를 다른 컴퓨터로 옮기세요. 약간의 가동 중지 시간이 있을 예정입니다.
이 시스템이 자주 재부팅되지 않는 것으로 나타났습니다(2017년 이후 7번만 마운트되었으며 마지막 재부팅은 2019년이었습니다). 그래서 설정을 제안합니다최대 마운트 수1로 설정하면 부팅할 때마다 확인됩니다.
tune2fs -c 1 /dev/md3
그런 다음 재부팅하십시오. Init 스크립트는 부팅 중에 파일 시스템을 확인하고 수정해야 합니다. 그러나 손상이 너무 심해서 수동 상호 작용이 필요할 수 있으므로 누군가가 서버 근처에 있고 도움을 줄 준비가 되어 있는지 확인하십시오. 그리고 이러한 부패로 인해 중요한 것이 건드리면 이상한 문제가 발생할 수 있습니다.
최악의 경우에는 시스템을 다시 설치해야 합니다. 그러나 최대 마운트 수를 다시 1로 설정하는 것을 잊지 마십시오.
파일 시스템이 손상된 이유는 무엇입니까? 그냥 그런 일이 일어납니다. 블록은 메모리에 저장되며 우주선으로 인해 손상이 발생했을 수 있습니다. 아주 드문 경우, 가끔 발생합니다. 그러면 디스크도 이상적이지 않으며 모든 오류를 감지할 수 없습니다. 0이 아닌 비트 오류율이 있으므로(장치 데이터시트에서 실제 값을 찾아보세요) 데이터가 깨져서 읽힐 가능성은 매우 낮지만 여전히 가능합니다. 메타데이터 블록에서 이런 일이 발생하면 문제가 누적될 수 있습니다(잘못된 정보로 지시된 파일 시스템 드라이버가 잘못된 가정을 하고 파일 시스템을 더욱 손상시킬 수 있음). 따라서 수시로 확인하는 것이 중요합니다.