我將把文件儲存在伺服器的一個資料夾中。文件數量將超過200萬。每個檔案大小的範圍介於5MB - 100MB。
什麼樣的檔案系統可以很好地處理這麼大量的資料？
我知道XFS可以處理非常大的單一文件，它可以處理大量文件嗎？
答案1
XFS 可以做到這一點，但如果您針對您的用例進行規劃，效果會更好。如果作業系統需要透過較少的索引節點來獲取數據，則存取該數據（STAT 和 OPEN 操作）將會更快。如果給定目錄中的檔案/目錄少於 30K，則無需費心進行此最佳化。
但如果您想要更大，您可能需要考慮使用該-i size=512選項來提供更大的索引節點大小。這將允許每個 inode 有更多的目錄條目，因此作業系統必須遍歷更少的目錄條目才能遍歷樹。考慮到如今的 SSD，這將比旋轉生鏽時代的情況有所改善。但這是需要考慮的優化。
我曾經管理過一個基於 XFS 的文件系統，其中包含超過 2000 萬個文件，平均文件大小約為 100KB。我設計的特定檔案系統可以處理超過 1 億個數據，當我離開那家公司時，它已經步入了實現這一目標的軌道。這是我在這裡描述的系統的產品版本：高目錄與檔案比率對 XFS 的影響
XFS 是最好的選擇嗎？很難說。但我更相信它外部4對於像您所描述的大型檔案系統。BTFS也許能夠接受它，但更保守的系統運營商派別認為它尚未準備好投入生產。