ファイルをサーバー内の1つのフォルダに保存するつもりです。ファイルの量が200万各ファイルサイズの範囲は5MB - 100MB。
その量のデータを適切に処理できるファイルシステムは何でしょうか?
XFS は非常に大きな単一ファイルを処理できることは知っていますが、大量のファイルを処理できますか?
答え1
XFS はそれを処理できますが、使用ケースを計画すると、より適切に処理できます。OS がデータを取得するために処理する inode が少ないほど、そのデータへのアクセス (STAT および OPEN 操作) が速くなります。特定のディレクトリ内のファイル/ディレクトリが、たとえば 30K 未満であれば、この最適化を気にする必要はありません。
しかし、もっと大きくしたい場合は、-i size=512より大きな inode サイズを提供するオプションの使用を検討してください。これにより、inode ごとにより多くのディレクトリ エントリが許可されるため、OS がツリーをトラバースするために参照するエントリが少なくなります。最近の SSD を考えると、これによって改善されるのは、回転する Rust の時代ほどではありませんが、検討する価値のある最適化です。
私はかつて、2,000 万以上のファイルがあり、平均ファイル サイズが約 100 KB の XFS ベースのファイルシステムを管理していました。私はその特定のファイルシステムを 1 億を優に超えるファイルを処理できるように設計し、私がその会社を辞めるときにはその目標に達する予定でした。これは、ここで説明したシステムの製品版です。XFS におけるディレクトリ対ファイル比率の高さの影響
XFSはこれに最適な選択でしょうか？難しいですね。しかし、私はXFSを信頼しています。拡張子4あなたが説明したような大規模なファイルシステムの場合。btrfs受け入れることができるかもしれないが、システム運用者のより保守的な派閥は、まだ実稼働の準備ができていないと考えている。