Estou avaliando E/S de disco simultâneo de vários processos e obtenho resultados muito diferentes ao gravar no mesmo arquivo ou em arquivos diferentes. Como estou usando O_DIRECT, não esperava essa diferença.
O script que foi usado:
#!/bin/sh
set -eu
nprocs=$1
for i in $(seq $nprocs)
do
target=test_file$i
[[ "${2:-}" == "same" ]] && target=test_file
echo $(date) - Run $i/$nprocs $(dd if=/dev/zero of=$target bs=2k count=128000 oflag=direct 2>&1) &
done
Os resultados:
# iostat while running: sh mkfile.sh 10
vg-cpu: %user %nice %system %iowait %steal %idle
0.39 0.00 9.62 12.09 0.00 77.89
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.00 11016.00 0.00 33409.50 6.07 81.36 0.12 0.00 0.12 0.09 100.00
# iostat while running: sh mkfile.sh 10 same
vg-cpu: %user %nice %system %iowait %steal %idle
0.51 0.00 7.95 4.87 0.00 86.67
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.00 7780.00 0.00 16362.00 4.21 0.75 0.10 0.00 0.10 0.10 74.90
A diferença pode ser vista no W/S, 11016,00 (multifile) e 7780,00 (singlefile). Como dd está usando O_DIRECT, independentemente de gravar na mesma área física, não espero ter nenhum tipo de bloqueio no nível do kernel, avgqu-sz é baixo e% util não atinge 100%, então não consigo contenção de E/S física qualquer.
Devo estar faltando algo realmente trivial aqui :)
Alguma ideia do motivo da taxa de IOPS muito mais baixa?