我正在建立家庭集群，其中將有大約 16 個可以使用 1G 連接埠的節點，但我希望在文件伺服器和中央節點上有 10GE。都是本地的，因此不需要超過 3-5m 的電纜。當然，我想花盡可能少的錢（不會花費超過整個集群成本）:-)
我有什麼選擇？
- 傳統的解決方案是採用一些 24-48 連接埠 1GE 交換機，並透過 4-8 聚合鏈路連接到檔案/中央節點。我想這會起作用，成本是非常可以接受的，但我不確定使用那麼多聚合連結是否可以。當然，在需要時很難將頻寬加倍......:-D
- 具有多個 10GE 上行鏈路「連接埠」的交換器。據我所知，它們都需要花費大約 1000 美元的模組，所以我需要 4 個 10G 模組和 2 個 10GE 卡...聞起來超過 5000 美元+...
- 透過2塊10G卡直接連接檔案和中心節點，並在檔案伺服器上放置4個四埠1GE網卡。我節省了 2 個 10G 模組和一個交換機，文件伺服器將必須執行封包路由，但它仍然會剩下大量 CPU :-)
- 還有其他選擇嗎？無限寬頻？
- MyriNet 轉接器運作正常嗎？我想沒有更便宜的選擇嗎？
- 嗯...報廢檔案伺服器，將其全部放在中央節點上，並為每個節點提供專用的 1GE 連接埠...這很可悲...
答案1
我不認為你沒有看到這裡的全貌。
您想要以 10Gbps 的速度連接檔案伺服器，這聽起來可能是一個很性感的想法。您沒有看到的是該伺服器產生從磁碟讀取的流量的能力。如今，從檔案伺服器獲得 1GBps 是一項非常好的成就。 10Gbps 不僅會像您自己意識到的那樣昂貴，而且至少 90% 是無用的。
如果需要提供如此大量的 IO，您最好的選擇是開始在檔案伺服器中放入一些速度極快的磁碟。我堅信「經濟實惠」（注意引號）的途徑是採用快速 RAID 配置（即 RAID10）的 SSD 硬碟。
至於網絡，4x1Gbps 聚合可以很好地完成任務，您甚至可以稍後添加更多。請注意內部匯流排（讀取 PCI*）並不總是能夠處理多千兆位元速度。如果您不使用伺服器級主機板，則尤其如此。
我相信這是您在這裡唯一“負擔得起”的選擇。 Infiniband 卡並不是非常昂貴。我相信你可以找到一些大約 150 美元的開關，但這個開關會非常昂貴。
答案2
如果您想節省一些昂貴的第 3 層交換器的費用，您可能需要考慮基於乙太網路的 ATA。這是低成本但高效能解決方案的首選協議，比我今天所知的任何其他檔案系統都要好。但不存在 10Gb 普通交換器（沒有 L3 交換）。
考慮作為 POC：Ubuntu 伺服器 10.x 和 AOE 工具項目 http://sourceforge.net/projects/aoetools/files