私は、3 つの RAIDZ1 vdev で構成された 24 ドライブの zpool を持っています。これは、vdev ごとに 8 つの Seagate Exos X18 16TB ドライブを実行しています。これは、64 コア (128 スレッド) AMD Threadripper Pro と 256GB ECC RAM を搭載した Supermicro MB 上にあります。
スクラブ中のシステム使用率は、一度に最大 2 つの CPU が使用されていることを示し、合計スクラブ時間は 5 日から 7 日かかる可能性があります。
スクラブを高速化するために、すべての CPU コアを並行して動作させる方法はありますか?
答え1
おそらく CPU はパフォーマンスの制限要因ではありません。7200 RPM スピンドルはランダム IOPS が約 60 ～ 70 です。24 個のディスクでも、優先度の低い整合性チェックに十分な余裕はありません。
現在のパフォーマンスでは、おそらく週に 1 回のスクラブを計画してください。リカバリ ポイントの目標が夜間のバックアップである場合、復元ソースは完全にスクラブされません。スナップショットがいくつかあるかもしれません。これは許容できるかもしれません。
バックアップをスクラブに合わせて調整することを検討してください。毎週フル バックアップを取り、その時点でスクラブを開始すると、次の週のフル バックアップの前に終了する可能性があります。アレイの整合性、およびプロキシ バックアップの整合性をさらに保証します。ただし、これは、適切なファイル システムの整合性チェックを備えたバックアップを用意するには十分な時間ではありません。複数のフル バックアップを便利に保持することを検討してください。復元の目的に対して何日前のアーカイブがどれだけ役立つかはあなた次第ですが、少なくとも関連するスクラブは完了している必要があります。
答え2
ZFS のディスク読み取り/書き込み操作の並列化に関する作業が進行中のようですが、テストの準備はまだ整っていません。
応答を導くためのパラメータと少しの数学:
ドライブあたりの容量: 16,000,000,000,000 バイト (16TB ではありません)。
持続読み取り/書き込み: 270MB/秒 (258 MiB/秒)。
平均故障間隔: 285 年。
ビット読み取りあたりの回復不可能なセクター読み取りエラー: 116,415 TB のデータ読み取りあたり 1 ビット エラー。
ランダム読み取り 4K QD16 QCD: 170 IOPS。
ランダム書き込み 4K QD16 QCD: 550 IOPS。
各 8 ドライブ RAIDZ1 vdev は、接続されたドライブごとに 512 MB/秒の持続スループットをサポートする 8 チャネル PCIe 3.0x HBA に接続されます。
HBA は、128 レーンのマザーボード上の PCI4.0 x16 スロットに接続されます。
並行して実行されるシステムは、22 時間で 24 台の 16 TB ドライブすべてを完全に読み取ることができます。
私の予想では、スクラブは 24 時間以内に完了するはずなので、ボトルネックとなるのはチェックサム検証の CPU 使用率です。ドライブあたり 5 つの計算スレッドが利用できることを考えると (これは 128 スレッド/24 ドライブのシステムです)、チェックサムの並列化によってボトルネックの問題が解決されるはずです。
信頼性ごとに：
確率論では、メーカーの MTBF が 285 年で、信頼区間が 6 標準偏差であると仮定すると、ドライブが故障する可能性は低いと予測されます。それでも、エラー訂正と災害復旧のために 4 つのドライブを用意しています。
ビット ロット (ビット読み取りあたりの回復不可能なセクター読み取りエラー) は別の懸念事項であり、これが私がスクラブ操作を懸念している理由です。予想されるエラー率は、116,415 TB のデータ読み取りあたり 1 ビット エラーです。これは、14 年間に 1 ビットの読み取りエラーが発生することを示唆しており、270 MB/秒のフル スループットでの IFF 連続読み取りが 14 年間 24 時間 365 日維持されます。
このマシンは、ホット フェイルオーバー 1024 ノード、1 ペタバイト クラスターの一部です。