Ich führe Benchmarks für gleichzeitige Festplatten-E/A mehrerer Prozesse durch und erhalte sehr unterschiedliche Ergebnisse, wenn ich in dieselbe Datei oder in verschiedene Dateien schreibe. Da ich O_DIRECT verwende, habe ich diesen Unterschied nicht erwartet.
Das verwendete Skript:
#!/bin/sh
set -eu
nprocs=$1
for i in $(seq $nprocs)
do
target=test_file$i
[[ "${2:-}" == "same" ]] && target=test_file
echo $(date) - Run $i/$nprocs $(dd if=/dev/zero of=$target bs=2k count=128000 oflag=direct 2>&1) &
done
Die Ergebnisse:
# iostat while running: sh mkfile.sh 10
vg-cpu: %user %nice %system %iowait %steal %idle
0.39 0.00 9.62 12.09 0.00 77.89
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.00 11016.00 0.00 33409.50 6.07 81.36 0.12 0.00 0.12 0.09 100.00
# iostat while running: sh mkfile.sh 10 same
vg-cpu: %user %nice %system %iowait %steal %idle
0.51 0.00 7.95 4.87 0.00 86.67
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.00 7780.00 0.00 16362.00 4.21 0.75 0.10 0.00 0.10 0.10 74.90
Der Unterschied ist auf W/S zu sehen, 11016.00 (mehrere Dateien) und 7780.00 (einzelne Dateien). Da dd O_DIRECT verwendet, gehe ich unabhängig vom Schreiben in denselben physischen Bereich nicht davon aus, dass es zu Sperren auf Kernelebene kommt. Der avgqu-sz-Wert ist niedrig und %util erreicht nicht 100 %, sodass ich auch keine physischen E/A-Konflikte verursachen kann.
Ich muss hier etwas ganz Triviales übersehen haben :)
Irgendeine Idee, was der Grund für die viel niedrigere IOPS-Rate ist?