Glusterfs分散式複製小檔案效能

Glusterfs分散式複製小檔案效能

我已經在 hyperv 伺服器(動態 vhdx)虛擬磁碟上的 xfs 分割區之上設定了 4 個帶有 glusterfs 的分散式複製伺服器。 NIC 為 6x1Gbit(在 hyperv 上組合)。我透過 samba 將其共用給 Windows 用戶端。我遇到的問題是,當有大量小檔案(讀取和寫入)時,我的效能非常差,當有大量10k 檔案時,我的傳輸速率約為300kb(並且在本機客戶端上也沒有那麼快)。這個問題有什麼解決方法嗎?還是我的配置不好?大檔案傳輸很好(利用所有頻寬)

答案1

我嘗試使用 GlusterFS 進行 Web 應用程式部署,並在多個伺服器之間共用大量使用者上傳的檔案。我大概花了 4 個月的時間試圖獲得合理的速度,但我從來沒有做到過。如果你真的嘗試的話,你可以將其調整為大約 25-40% 的速度提升,但它仍然不夠快。

我忘記了確切的技術細節,但 GlusterFS 協定非常冗長,即使在唯讀系統上也是如此。正如 Danila 所說,如果您想要小文件共享,最好透過 gluster 使用 NFS 協定。其最大的缺點是 NFS。

另一個值得關注的選擇是 Ceph。它發展很快,並且在最新的 Ubuntu 核心上非常有用。

但說實話,如果可以的話,我建議放棄共享 FS。以後你會感謝我的。

答案2

GlusterFS 原生 FUSE 用戶端對於大量小檔案來說非常糟糕。您也可以嘗試將 NFS 與 GlusterFS 一起使用。另外,我認為 xfs 分割區在此設定中根本不會比本機 EXT4 提供任何優勢。您可以在本文中閱讀更多:

http://lwn.net/Articles/476263/

相關內容