調整 mdadm RAID 5 效能?

調整 mdadm RAID 5 效能?

我有一個雙系統英特爾 E5-2620 v3 @ 2.40GHz, 64 GB 內存, 一個LSI 3008 HBA, 8x1.6 TB 英特爾 S3510 固態硬碟。我一直在使用 fio 在不同的配置中對其進行基準測試,並且得到了一些有趣的結果。單獨對每個原始磁碟進行基準測試,我發現每個裝置的隨機寫入速度約為 450 MB/s。在 RAID0(無奇偶校驗的條帶)中,我看到~3500MB/秒隨機寫入 - 基本上是 450 * 8 磁碟。

然而,當我嘗試 RAID 5 時,效能完全下降。我意識到 raid5 應該明顯比 raid0 差,但是使用相同測試的 RAID5 性能大約是50MB/秒。我以前使用過 RAID 5,雖然效能一直不是很好,但我從未見過 99% 的損失。我正在運行的 fio 測試有 600 個執行緒在 512k 區塊中寫入隨機資料。對於所有這些測試,設備上的檔案系統都是 xfs。

設定/sys/block/md0/md/stripe_cache_size為 32768(最大可能值)將總體吞吐量增加到約 130 MB/秒,讓我假設問題是缺少像硬體 RAID 控制器中那樣的回寫快取。但我想知道是否可以採取任何措施來提高 mdadm raid 5 的性能。知道什麼可能導致此問題,或如何提高 raid 5 效能嗎?

有趣的是,我還嘗試了16 磁碟RAID-10(相同的磁碟加上第二個LSI HBA),效能約為2400 MB/s - 比RAID 0 下降了33%。預計效能會如此與 RAID 0 幾乎相同。

對於任何有興趣的人,這裡是 fio 設定檔:

[global]
rw=randwrite
direct=1
numjobs=600
group_reporting
bs=512k
runtime=120
ramp_time=5
size=10G


[raid]
new_group
directory=/raid/

相關內容