.png)
解決されていない oom&panic 状況が継続的に発生しています。システムがすべての RAM (36 GB) をいっぱいにしているかどうかはわかりません。このシステムがなぜこの oom 状況を引き起こしたのでしょうか? 32 ビット Linux システムの lowmem ゾーンに関連しているのではないかと考えています。カーネル パニックと oom-killer のログを分析するにはどうすればよいですか?
よろしくお願いします、
カーネル 3.10.24
Dec 27 09:19:05 2013 kernel: : [277622.359064] squid invoked oom-killer: gfp_mask=0x42d0, order=3, oom_score_adj=0
Dec 27 09:19:05 2013 kernel: : [277622.359069] squid cpuset=/ mems_allowed=0
Dec 27 09:19:05 2013 kernel: : [277622.359074] CPU: 9 PID: 15533 Comm: squid Not tainted 3.10.24-1.lsg #1
Dec 27 09:19:05 2013 kernel: : [277622.359076] Hardware name: Intel Thurley/Greencity, BIOS 080016 10/05/2011
Dec 27 09:19:05 2013 kernel: : [277622.359078] 00000003 e377b280 e03c3c38 c06472d6 e03c3c98 c04d2d96 c0a68f84 e377b580
Dec 27 09:19:05 2013 kernel: : [277622.359089] 000042d0 00000003 00000000 e03c3c64 c04abbda e42bd318 00000000 e03c3cf4
Dec 27 09:19:05 2013 kernel: : [277622.359096] 000042d0 00000001 00000247 00000000 e03c3c94 c04d3d5f 00000001 00000042
Dec 27 09:19:05 2013 kernel: : [277622.359105] Call Trace:
Dec 27 09:19:05 2013 kernel: : [277622.359116] [<c06472d6>] dump_stack+0x16/0x20
Dec 27 09:19:05 2013 kernel: : [277622.359121] [<c04d2d96>] dump_header+0x66/0x1c0
Dec 27 09:19:05 2013 kernel: : [277622.359127] [<c04abbda>] ? __delayacct_freepages_end+0x3a/0x40
Dec 27 09:19:05 2013 kernel: : [277622.359131] [<c04d3d5f>] ? zone_watermark_ok+0x2f/0x40
Dec 27 09:19:05 2013 kernel: : [277622.359135] [<c04d2f27>] check_panic_on_oom+0x37/0x60
Dec 27 09:19:05 2013 kernel: : [277622.359138] [<c04d36d2>] out_of_memory+0x92/0x250
Dec 27 09:19:05 2013 kernel: : [277622.359144] [<c04dd1fa>] ? wakeup_kswapd+0xda/0x120
Dec 27 09:19:05 2013 kernel: : [277622.359148] [<c04d6cee>] __alloc_pages_nodemask+0x68e/0x6a0
Dec 27 09:19:05 2013 kernel: : [277622.359155] [<c0801c1e>] sk_page_frag_refill+0x7e/0x120
Dec 27 09:19:05 2013 kernel: : [277622.359160] [<c084b8c7>] tcp_sendmsg+0x387/0xbf0
Dec 27 09:19:05 2013 kernel: : [277622.359166] [<c0469a2f>] ? put_prev_task_fair+0x1f/0x350
Dec 27 09:19:05 2013 kernel: : [277622.359173] [<c0ba7d8b>] ? longrun_init+0x2b/0x30
Dec 27 09:19:05 2013 kernel: : [277622.359177] [<c084b540>] ? tcp_tso_segment+0x380/0x380
Dec 27 09:19:05 2013 kernel: : [277622.359182] [<c086d0da>] inet_sendmsg+0x4a/0xa0
Dec 27 09:19:05 2013 kernel: : [277622.359186] [<c07ff3a6>] sock_aio_write+0x116/0x130
Dec 27 09:19:05 2013 kernel: : [277622.359191] [<c0457acc>] ? hrtimer_try_to_cancel+0x3c/0xb0
Dec 27 09:19:05 2013 kernel: : [277622.359197] [<c050b208>] do_sync_write+0x68/0xa0
Dec 27 09:19:05 2013 kernel: : [277622.359202] [<c050caa0>] vfs_write+0x190/0x1b0
Dec 27 09:19:05 2013 kernel: : [277622.359206] [<c050cbb3>] SyS_write+0x53/0x80
Dec 27 09:19:05 2013 kernel: : [277622.359211] [<c08f72ba>] sysenter_do_call+0x12/0x22
Dec 27 09:19:05 2013 kernel: : [277622.359213] Mem-Info:
Dec 27 09:19:05 2013 kernel: : [277622.359215] DMA per-cpu:
Dec 27 09:19:05 2013 kernel: : [277622.359218] CPU 0: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359220] CPU 1: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359222] CPU 2: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359224] CPU 3: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359226] CPU 4: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359228] CPU 5: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359230] CPU 6: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359232] CPU 7: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359234] CPU 8: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359236] CPU 9: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359238] CPU 10: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359240] CPU 11: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359242] CPU 12: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359244] CPU 13: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359246] CPU 14: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359248] CPU 15: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359250] CPU 16: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359253] CPU 17: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359255] CPU 18: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359258] CPU 19: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359260] CPU 20: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359262] CPU 21: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359264] CPU 22: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359266] CPU 23: hi: 0, btch: 1 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359268] Normal per-cpu:
Dec 27 09:19:05 2013 kernel: : [277622.359270] CPU 0: hi: 186, btch: 31 usd: 34
Dec 27 09:19:05 2013 kernel: : [277622.359272] CPU 1: hi: 186, btch: 31 usd: 72
Dec 27 09:19:05 2013 kernel: : [277622.359274] CPU 2: hi: 186, btch: 31 usd: 40
Dec 27 09:19:05 2013 kernel: : [277622.359276] CPU 3: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359279] CPU 4: hi: 186, btch: 31 usd: 39
Dec 27 09:19:05 2013 kernel: : [277622.359281] CPU 5: hi: 186, btch: 31 usd: 49
Dec 27 09:19:05 2013 kernel: : [277622.359283] CPU 6: hi: 186, btch: 31 usd: 50
Dec 27 09:19:05 2013 kernel: : [277622.359285] CPU 7: hi: 186, btch: 31 usd: 25
Dec 27 09:19:05 2013 kernel: : [277622.359286] CPU 8: hi: 186, btch: 31 usd: 42
Dec 27 09:19:05 2013 kernel: : [277622.359289] CPU 9: hi: 186, btch: 31 usd: 39
Dec 27 09:19:05 2013 kernel: : [277622.359290] CPU 10: hi: 186, btch: 31 usd: 155
Dec 27 09:19:05 2013 kernel: : [277622.359293] CPU 11: hi: 186, btch: 31 usd: 56
Dec 27 09:19:05 2013 kernel: : [277622.359295] CPU 12: hi: 186, btch: 31 usd: 2
Dec 27 09:19:05 2013 kernel: : [277622.359297] CPU 13: hi: 186, btch: 31 usd: 162
Dec 27 09:19:05 2013 kernel: : [277622.359299] CPU 14: hi: 186, btch: 31 usd: 67
Dec 27 09:19:05 2013 kernel: : [277622.359301] CPU 15: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359303] CPU 16: hi: 186, btch: 31 usd: 68
Dec 27 09:19:05 2013 kernel: : [277622.359305] CPU 17: hi: 186, btch: 31 usd: 38
Dec 27 09:19:05 2013 kernel: : [277622.359307] CPU 18: hi: 186, btch: 31 usd: 56
Dec 27 09:19:05 2013 kernel: : [277622.359308] CPU 19: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359310] CPU 20: hi: 186, btch: 31 usd: 54
Dec 27 09:19:05 2013 kernel: : [277622.359312] CPU 21: hi: 186, btch: 31 usd: 35
Dec 27 09:19:05 2013 kernel: : [277622.359314] CPU 22: hi: 186, btch: 31 usd: 2
Dec 27 09:19:05 2013 kernel: : [277622.359316] CPU 23: hi: 186, btch: 31 usd: 60
Dec 27 09:19:05 2013 kernel: : [277622.359318] HighMem per-cpu:
Dec 27 09:19:05 2013 kernel: : [277622.359320] CPU 0: hi: 186, btch: 31 usd: 32
Dec 27 09:19:05 2013 kernel: : [277622.359322] CPU 1: hi: 186, btch: 31 usd: 52
Dec 27 09:19:05 2013 kernel: : [277622.359324] CPU 2: hi: 186, btch: 31 usd: 9
Dec 27 09:19:05 2013 kernel: : [277622.359326] CPU 3: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359328] CPU 4: hi: 186, btch: 31 usd: 125
Dec 27 09:19:05 2013 kernel: : [277622.359330] CPU 5: hi: 186, btch: 31 usd: 116
Dec 27 09:19:05 2013 kernel: : [277622.359332] CPU 6: hi: 186, btch: 31 usd: 126
Dec 27 09:19:05 2013 kernel: : [277622.359333] CPU 7: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359336] CPU 8: hi: 186, btch: 31 usd: 79
Dec 27 09:19:05 2013 kernel: : [277622.359338] CPU 9: hi: 186, btch: 31 usd: 34
Dec 27 09:19:05 2013 kernel: : [277622.359340] CPU 10: hi: 186, btch: 31 usd: 111
Dec 27 09:19:05 2013 kernel: : [277622.359341] CPU 11: hi: 186, btch: 31 usd: 144
Dec 27 09:19:05 2013 kernel: : [277622.359343] CPU 12: hi: 186, btch: 31 usd: 15
Dec 27 09:19:05 2013 kernel: : [277622.359345] CPU 13: hi: 186, btch: 31 usd: 166
Dec 27 09:19:05 2013 kernel: : [277622.359347] CPU 14: hi: 186, btch: 31 usd: 185
Dec 27 09:19:05 2013 kernel: : [277622.359349] CPU 15: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359351] CPU 16: hi: 186, btch: 31 usd: 58
Dec 27 09:19:05 2013 kernel: : [277622.359353] CPU 17: hi: 186, btch: 31 usd: 122
Dec 27 09:19:05 2013 kernel: : [277622.359356] CPU 18: hi: 186, btch: 31 usd: 170
Dec 27 09:19:05 2013 kernel: : [277622.359358] CPU 19: hi: 186, btch: 31 usd: 0
Dec 27 09:19:05 2013 kernel: : [277622.359360] CPU 20: hi: 186, btch: 31 usd: 30
Dec 27 09:19:05 2013 kernel: : [277622.359362] CPU 21: hi: 186, btch: 31 usd: 33
Dec 27 09:19:05 2013 kernel: : [277622.359364] CPU 22: hi: 186, btch: 31 usd: 28
Dec 27 09:19:05 2013 kernel: : [277622.359366] CPU 23: hi: 186, btch: 31 usd: 44
Dec 27 09:19:05 2013 kernel: : [277622.359371] active_anon:658515 inactive_anon:54399 isolated_anon:0
Dec 27 09:19:05 2013 kernel: : [277622.359371] active_file:1172176 inactive_file:323606 isolated_file:0
Dec 27 09:19:05 2013 kernel: : [277622.359371] unevictable:0 dirty:0 writeback:0 unstable:0
Dec 27 09:19:05 2013 kernel: : [277622.359371] free:6911872 slab_reclaimable:29430 slab_unreclaimable:34726
Dec 27 09:19:05 2013 kernel: : [277622.359371] mapped:45784 shmem:9850 pagetables:107714 bounce:0
Dec 27 09:19:05 2013 kernel: : [277622.359371] free_cma:0
Dec 27 09:19:05 2013 kernel: : [277622.359382] DMA free:2332kB min:36kB low:44kB high:52kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15968kB managed:6960kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:8kB slab_unreclaimable:288kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359384] lowmem_reserve[]: 0 573 36539 36539
Dec 27 09:19:05 2013 kernel: : [277622.359393] Normal free:114488kB min:3044kB low:3804kB high:4564kB active_anon:0kB inactive_anon:0kB active_file:252kB inactive_file:256kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:894968kB managed:587540kB mlocked:0kB dirty:0kB writeback:0kB mapped:4kB shmem:0kB slab_reclaimable:117712kB slab_unreclaimable:138616kB kernel_stack:11976kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:982 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359395] lowmem_reserve[]: 0 0 287725 287725
Dec 27 09:19:05 2013 kernel: : [277622.359404] HighMem free:27530668kB min:512kB low:48272kB high:96036kB active_anon:2634060kB inactive_anon:217596kB active_file:4688452kB inactive_file:1294168kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:36828872kB managed:36828872kB mlocked:0kB dirty:0kB writeback:0kB mapped:183132kB shmem:39400kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:430856kB unstable:0kB bounce:367564104kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Dec 27 09:19:05 2013 kernel: : [277622.359406] lowmem_reserve[]: 0 0 0 0
Dec 27 09:19:05 2013 kernel: : [277622.359410] DMA: 3*4kB (U) 2*8kB (U) 4*16kB (U) 5*32kB (U) 2*64kB (U) 0*128kB 0*256kB 0*512kB 0*1024kB 1*2048kB (R) 0*4096kB = 2428kB
Dec 27 09:19:05 2013 kernel: : [277622.359422] Normal: 5360*4kB (UEM) 3667*8kB (UEM) 3964*16kB (UEMR) 13*32kB (MR) 0*64kB 1*128kB (R) 1*256kB (R) 0*512kB 0*1024kB 0*2048kB 0*4096kB = 115000kB
Dec 27 09:19:05 2013 kernel: : [277622.359435] HighMem: 6672*4kB (M) 74585*8kB (UM) 40828*16kB (UM) 17275*32kB (UM) 3314*64kB (UM) 1126*128kB (UM) 992*256kB (UM) 585*512kB (UM) 225*1024kB (UM) 78*2048kB (UMR) 5957*4096kB (UM) = 27529128kB
Dec 27 09:19:05 2013 kernel: : [277622.359452] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
Dec 27 09:19:05 2013 kernel: : [277622.359454] 1505509 total pagecache pages
Dec 27 09:19:05 2013 kernel: : [277622.359457] 4 pages in swap cache
Dec 27 09:19:05 2013 kernel: : [277622.359459] Swap cache stats: add 13, delete 9, find 0/0
Dec 27 09:19:05 2013 kernel: : [277622.359460] Free swap = 35318812kB
Dec 27 09:19:05 2013 kernel: : [277622.359462] Total swap = 35318864kB
Dec 27 09:19:05 2013 kernel: : [277622.450529] 9699327 pages RAM
Dec 27 09:19:05 2013 kernel: : [277622.450532] 9471490 pages HighMem
Dec 27 09:19:05 2013 kernel: : [277622.450533] 342749 pages reserved
Dec 27 09:19:05 2013 kernel: : [277622.450534] 2864256 pages shared
Dec 27 09:19:05 2013 kernel: : [277622.450535] 1501243 pages non-shared
Dec 27 09:19:05 2013 kernel: : [277622.450538] Kernel panic - not syncing: Out of memory: system-wide panic_on_oom is enabled
Dec 27 09:19:05 2013 kernel: : [277622.450538]
そして
# cat /proc/meminfo
MemTotal: 37426312 kB
MemFree: 28328992 kB
Buffers: 94728 kB
Cached: 6216068 kB
SwapCached: 0 kB
Active: 6958572 kB
Inactive: 1815380 kB
Active(anon): 2329152 kB
Inactive(anon): 170252 kB
Active(file): 4629420 kB
Inactive(file): 1645128 kB
Unevictable: 0 kB
Mlocked: 0 kB
HighTotal: 36828872 kB
HighFree: 28076144 kB
LowTotal: 597440 kB
LowFree: 252848 kB
SwapTotal: 35318864 kB
SwapFree: 35318860 kB
Dirty: 0 kB
Writeback: 8 kB
AnonPages: 2463512 kB
Mapped: 162296 kB
Shmem: 36332 kB
Slab: 208676 kB
SReclaimable: 120872 kB
SUnreclaim: 87804 kB
KernelStack: 6320 kB
PageTables: 42280 kB
NFS_Unstable: 0 kB
Bounce: 124 kB
WritebackTmp: 0 kB
CommitLimit: 54032020 kB
Committed_AS: 3191916 kB
VmallocTotal: 122880 kB
VmallocUsed: 27088 kB
VmallocChunk: 29312 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 10232 kB
DirectMap2M: 901120 kB
sysctl:
vm.oom_dump_tasks = 0
vm.oom_kill_allocating_task = 1
vm.panic_on_oom = 1
vm.admin_reserve_kbytes = 8192
vm.block_dump = 0
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 20
vm.dirty_writeback_centisecs = 500
vm.drop_caches = 0
vm.highmem_is_dirtyable = 0
vm.hugepages_treat_as_movable = 0
vm.hugetlb_shm_group = 0
vm.laptop_mode = 0
vm.legacy_va_layout = 0
vm.lowmem_reserve_ratio = 256 32 32
vm.max_map_count = 65530
vm.min_free_kbytes = 3084
vm.mmap_min_addr = 4096
vm.nr_hugepages = 0
vm.nr_overcommit_hugepages = 0
vm.nr_pdflush_threads = 0
vm.overcommit_memory = 0
vm.overcommit_ratio = 50
vm.page-cluster = 3
vm.percpu_pagelist_fraction = 0
vm.scan_unevictable_pages = 0
vm.stat_interval = 1
vm.swappiness = 30
vm.user_reserve_kbytes = 131072
vm.vdso_enabled = 1
vm.vfs_cache_pressure = 100
そして
# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 292370
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 36728
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 292370
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
答え1
ただし、ゾーンのレイアウトが異なるため、64 ビット O/S (これは 32 ビット) にアップグレードするという「大胆な」アプローチが必要になります。
さて、ここで OOM が発生した理由についてお答えします。ここではいくつかの要因が関係しています。
- リクエストの注文サイズとカーネルが特定の注文サイズを処理する方法。
- 選択されているゾーン。
- このゾーンが使用する透かし。
- ゾーン内の断片化。
OOM 自体を見ると、明らかに空きメモリがたくさんあるのに、OOM-killer が呼び出されました。なぜでしょうか?
リクエストの注文サイズとカーネルが特定の注文サイズをどのように処理するか
カーネルはメモリを順序に従って割り当てます。「順序」とは、リクエストが機能するために満たさなければならない連続した RAM の領域です。順序は、アルゴリズムを使用して大きさの順序 (したがって順序と呼ばれます) で並べられます2^(ORDER + 12)
。したがって、順序 0 は 4096、順序 1 は 8192、順序 2 は 16384 というようになります。
カーネルには、「高位」(> PAGE_ALLOC_COSTLY_ORDER
) と見なされるハードコードされた値があります。これは 4 位以上です (64kb 以上が高位です)。
ページの割り当てについては、高次順序は低次順序とは異なります。高次順序の割り当てでは、メモリの取得に失敗した場合、最新のカーネルではメモリの取得が行われます。
- メモリをデフラグするためにメモリ圧縮ルーチンを実行してみてください。
- 一度もない要求を満たすために OOM-killer を呼び出します。
ご注文のサイズはここに記載されています
Dec 27 09:19:05 2013 kernel: : [277622.359064] squid invoked oom-killer: gfp_mask=0x42d0, order=3, oom_score_adj=0
順序 3 は低順序要求の中で最も高いものであり、(ご覧のとおり) それを満たすために OOM キラーを呼び出します。
ほとんどのユーザー空間割り当てでは高次リクエストは使用されないことに注意してください。通常、連続したメモリ領域を必要とするのはカーネルです。ユーザー空間が hugepages を使用している場合は例外となる可能性がありますが、ここではそうではありません。
あなたの場合、順序 3 の割り当ては、パケットをネットワーク スタックにキューに入れようとするカーネルによって呼び出され、そのためには 32kb の割り当てが必要です。
選択されているゾーン。
カーネルはメモリ領域をゾーンに分割します。この分割は、x86では特定のメモリ領域が特定のハードウェアでのみアドレス指定可能であるために行われます。たとえば、古いハードウェアは「DMA」ゾーンのメモリしかアドレス指定できない場合があります。メモリを割り当てたい場合、まずゾーンが選択され、のみ割り当てを決定する際には、このゾーンの空きメモリが考慮されます。
ゾーン選択アルゴリズムについて完全には理解していませんが、一般的な使用例では DMA から割り当てることはなく、通常は要求を満たすことができる最も低いアドレス指定可能なゾーンを選択します。
OOM 中には大量のゾーン情報が吐き出され、 からも収集できます/proc/zoneinfo
。
Dec 27 09:19:05 2013 kernel: : [277622.359382] DMA free:2332kB min:36kB low:44kB high:52kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15968kB managed:6960kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:8kB slab_unreclaimable:288kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359393] Normal free:114488kB min:3044kB low:3804kB high:4564kB active_anon:0kB inactive_anon:0kB active_file:252kB inactive_file:256kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:894968kB managed:587540kB mlocked:0kB dirty:0kB writeback:0kB mapped:4kB shmem:0kB slab_reclaimable:117712kB slab_unreclaimable:138616kB kernel_stack:11976kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:982 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359404] HighMem free:27530668kB min:512kB low:48272kB high:96036kB active_anon:2634060kB inactive_anon:217596kB active_file:4688452kB inactive_file:1294168kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:36828872kB managed:36828872kB mlocked:0kB dirty:0kB writeback:0kB mapped:183132kB shmem:39400kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:430856kB unstable:0kB bounce:367564104kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
DMA、Normal、HighMem の各ゾーンは 32 ビット プラットフォームを示しています。これは、HighMem ゾーンが 64 ビットには存在しないためです。また、64 ビット システムでは、Normal は 4GB 以上にマップされますが、32 ビットでは最大 896Mb にマップされます (ただし、この場合、カーネルはこれよりも小さい部分のみを管理していると報告します:- managed:587540kB
。)
最初の行をもう一度見れば、この割り当てがどこから来たのかがわかりますgfp_mask=0x42d0
。割り当ての種類がわかります。最後のバイト (0) は、これが通常のゾーンからの割り当てであることを示しています。GFP の意味は、インクルード/linux/gfp.h。
このゾーンが使用する透かし。
メモリが少ない場合、それを再利用するためのアクションはウォーターマークによって指定されます。これらはここに表示されます: min:3044kB low:3804kB high:4564kB
。空きメモリが「low」に達すると、「high」しきい値を超えるまでスワッピングが発生します。メモリが「min」に達すると、OOM-killer を介してメモリを解放するために、何かを強制終了する必要があります。
ゾーン内の断片化。
特定のメモリ オーダーの要求が満たされるかどうかを確認するために、カーネルは各オーダーの空きページ数と使用可能ページ数を計算します。これは で確認できます/proc/buddyinfo
。OOM-killer レポートでは、次に示すように、buddyinfo も出力されます。
Normal: 5360*4kB (UEM) 3667*8kB (UEM) 3964*16kB (UEMR) 13*32kB (MR) 0*64kB 1*128kB (R) 1*256kB (R) 0*512kB 0*1024kB 0*2048kB 0*4096kB = 115000kB
メモリ割り当てが満たされるためにはしなければならない要求されたオーダー サイズまたはより高い割り当てで空きメモリが利用可能である必要があります。下位オーダーに大量の空きデータがあり、上位オーダーに空きデータがない場合、メモリが断片化されていることを意味します。非常に高いオーダーの割り当てを取得すると、(空きメモリが大量にある場合でも) 上位ページが利用できないために満たされない可能性があります。カーネルは、アドレス指定可能な RAM スペースにギャップが残らないように、多数の下位オーダー ページを移動することによってメモリをデフラグできます (これをメモリ コンパクションと呼びます)。
OOM-killer が呼び出されましたか? なぜですか?
したがって、これらのことを考慮すると、次のことが言えます。
- 32kB の連続割り当てが試行されました。通常ゾーンから。
- 選択したゾーンには十分な空きメモリがありました。
- 3、5、6番目のメモリが利用可能でした
13*32kB (MR) 1*128kB (R) 1*256kB (R)
だから、もしだった空きメモリ、その他の注文できた要求を満たします。何が起こったのですか?
そうですね、オーダーから割り当てるには、そのオーダー以上の使用可能な空きメモリの量をチェックするだけではありません。カーネルは、空きメモリの合計ラインからすべての下位オーダーのメモリを効果的に減算し、残ったメモリに対して最小ウォーターマーク チェックを実行します。
あなたのケースでは、実行する必要があるゾーンの空きメモリを確認することになります。
115000 - (5360*4) - (3667*8) - (3964*16) = 800
この空きメモリの量は、ウォーターマーク (3044) に対してチェックされますmin
。したがって、技術的に言えば、要求した割り当てを行うための空きメモリが残っていません。これが、OOM-killer を呼び出した理由です。
修正
修正方法は 2 つあります。64 ビットにアップグレードすると、ゾーンのパーティション分割が変更され、「通常」が 4 GB から 36 GB までになるため、メモリ割り当てが「デフォルト」になり、非常に断片化される可能性のあるゾーンに設定されることはありません。アドレス指定可能なメモリが増えたからといってこの問題が解決するわけではありません (PAE を既に使用しているため)。選択したゾーンのアドレス指定可能なメモリが増えるだけです。
2 番目の方法 (私はまだテストしていませんが) は、カーネルにメモリをより積極的に圧縮させることです。
の値をvm.extfrag_threshold
500 から 100 に変更すると、高次の割り当てを尊重するためにメモリを圧縮する可能性が高くなります。ただし、この値はこれまで変更したことがありません。これは、 で使用可能な断片化インデックスによっても異なります/sys/kernel/debug/extfrag/extfrag_index
。現時点では、これ以上の性能を発揮できるほど新しいカーネルを搭載したボックスを所有していません。
あるいは、何らかの cron ジョブ (これは非常に醜い) を実行して、 に書き込むことで手動でメモリを圧縮することもできます/proc/sys/vm/compact_memory
。
しかし、正直に言うと、この問題を回避するためにシステムを調整する方法は実際にはないと思います。これはメモリ アロケータがこのように動作することの性質によるものです。使用しているプラットフォームのアーキテクチャを変更することが、おそらく唯一の根本的な解決方法です。
答え2
始めに:あなたはすべきです本当に64 ビット オペレーティング システムを選択してください。ここで 32 ビットのままにする正当な理由はありますか?
システムをもっと詳しく調べなければ、できれば障害が発生したときの状況を調べなければ、この問題を診断するのは難しいため、私の (簡単な) 投稿は、多かれ少なかれ一般的な 32 ビット システムのメモリ問題を対象としています。64 ビットにすると、この問題はすべて解消されると言いましたか?
あなたの問題は3つあります。
まず、PAE カーネルでも、プロセスごとのアドレス空間は 4GiB[1] に制限されています。つまり、squid インスタンスはプロセスごとに 4GiB を超える RAM を消費することはできません。私は squid にそれほど詳しくありませんが、これがメインのプロキシ サーバーである場合、いずれにしても十分ではない可能性があります。
2 番目に、膨大な量の RAM を搭載した 32 ビット システムでは、ZONE_NORMAL と呼ばれるメモリの大部分が、ZONE_HIGHMEM のメモリを使用するために必要なデータ構造を格納するために使用されます。これらのデータ構造自体は ZONE_HIGHMEM に移動できません。カーネルが自身の目的で使用するメモリは常に ZONE_NORMAL (つまり最初の 1GiB 程度) にある必要があるためです。ZONE_HIGHMEM のメモリが多ければ多いほど (この場合は多ければ多いほど)、この問題は大きくなります。カーネルは ZONE_HIGHMEM を管理するために ZONE_NORMAL からさらに多くのメモリを必要とするためです。ZONE_NORMAL の空きメモリがなくなると、システムが一部のタスクで失敗する可能性があります。ZONE_NORMAL は、多く32 ビット システムではさまざまなことが起こります。たとえば、カーネル関連のメモリ操作などです。
3 番目に、ZONE_NORMAL にいくらかのメモリが残っていたとしても (ログを詳しく調べていません)、一部のメモリ操作では断片化されていないメモリが必要になります。たとえば、すべてのメモリが非常に小さな断片に断片化されている場合、それ以上のメモリを必要とする操作は失敗します。[3] ログをざっと見ると、ZONE_DMA と ZONE_NORMAL にかなりの量の断片化があることがわかります。
編集: 上記の Mlfe の回答には、これがどのように詳細に機能するかについての優れた説明があります。
繰り返しますが、64 ビット システムでは、すべてのメモリは ZONE_NORMAL にあります。64 ビット システムには HIGHMEM ゾーンはありません。問題は解決しました。
編集: ここ [4] を見て、oom-killer に重要なプロセスをそのままにしておくように指示できるかどうかを確認してください。これですべてが解決するわけではありませんが (解決するかどうかはわかりませんが)、試してみる価値はあるかもしれません。
[1]http://en.wikipedia.org/wiki/Physical_address_extension#デザイン
[2]http://www.redhat.com/archives/rhelv5-list/2008-9月/msg00237.htmlそしてhttps://access.redhat.com/site/documentation/en-US/Red_Hat_Enterprise_Linux/5/html/Tuning_and_Optimizing_Red_Hat_Enterprise_Linux_for_Oracle_9i_and_10g_Databases/sect-Oracle_9i_and_10g_Tuning_Guide-Hardware_Architectures_and_Linux_Kernels-a32_bit_Architecture_and_the_hugemem_Kernel.html
答え3
@MIfeはすでに提供しているカーネル内のメモリ割り当てがどのように処理されるかについての優れた記述また、64 ビット OS への切り替えや、 を介した手動メモリ圧縮などの厄介なハックなどの適切なソリューションも提供されまし/proc/sys/vm/compact_memory
たcron
。
私の2セントは、あなたを助けるかもしれない別の回避策です:カーネルバックトレースに次の
ものがあることに気づいたので、次のようにします:tcp_tso_segment
# ethtool -K ethX tso off gso off lro off
mm
より低い順序の使用を強制することで、圧力を軽減できます。
追伸すべてのオフロードのリストは以下から取得できます。# ethtool -k ethX
答え4
パニックは、sysctl の「vm.panic_on_oom = 1」が設定されているために発生します。これは、システムを再起動すると正常な状態に戻るという考え方です。これは sysctl.conf で変更できます。
一番上に、squid が oom killer を呼び出しましたと書かれています。squid の設定と最大メモリ使用量を確認してください (または、64 ビット OS に移行してください)。
/proc/meminfo には、使用中のメモリ ゾーンが多数表示されています。つまり、36 GB のメモリを搭載した 32 ビット カーネルが動作していることになります。また、通常ゾーンでは、Squid のメモリ要求を満たすために、カーネルが 982 ページをスキャンしましたが、成功しなかったことがわかります。
pages_scanned:982 all_unreclaimable? yes