1G 포트와 함께 사용할 수 있는 약 16개의 노드를 가질 홈 클러스터를 구축 중이지만 파일 서버 및 중앙 노드에 10GE를 갖고 싶습니다. 모두 로컬이므로 3~5m보다 긴 케이블이 필요하지 않습니다. 그리고 물론 가능한 한 적은 돈을 쓰고 싶습니다(전체 클러스터 비용보다 더 많이 지출하지는 않을 것입니다) :-)
내 옵션은 무엇입니까?
- 기존 솔루션은 24~48개의 포트 1GE 스위치를 사용하고 4~8개의 통합 링크를 통해 파일/중앙 노드에 연결하는 것입니다. 제 생각에는 이것이 효과가 있을 것 같습니다. 비용은 매우 수용 가능하지만 그렇게 많이 집계된 링크를 사용해도 괜찮은지 잘 모르겠습니다. 물론 필요할 때 대역폭을 두 배로 늘리는 것은 어려울 것입니다... :-D
- 여러 개의 10GE 업링크 '포트'로 전환합니다. 제가 보기에는 모두 약 1000$의 모듈이 필요하므로 10G 모듈 4개와 10GE 카드 2개가 필요합니다... 5000$+보다 훨씬 더 많은 냄새가 납니다...
- 2개의 10G 카드를 통해 파일과 중앙 노드를 직접 연결하고 4개의 쿼드 포트 1GE NIC를 파일 서버에 배치합니다. 2개의 10G 모듈과 스위치를 절약하고 있습니다. 파일 서버는 패킷 라우팅을 수행해야 하지만 여전히 CPU가 많이 남아 있습니다 :-)
- 다른 옵션이 있나요? 인피니밴드?
- MyriNet 어댑터가 제대로 작동합니까? 더 저렴한 옵션은 없을 것 같은데요?
- 흠... 파일 서버를 스크랩하고 중앙 노드에 모두 넣고 각 노드에 전용 1GE 포트를 제공합니다... 안타깝네요...
답변1
나는 당신이 여기서 전체 그림을 보지 못하고 있다고 생각하지 않습니다.
10Gbps 속도로 파일 서버를 연결하려고 하는데 이는 섹시한 아이디어처럼 들릴 수 있습니다. 당신이 보지 못하는 것은 디스크에서 읽는 트래픽 양을 생성하는 서버의 능력입니다. 오늘날 파일 서버에서 1GBps를 얻는 것은 매우 좋은 성과입니다. 10Gbps는 여러분이 알고 있듯이 비용이 많이 들 뿐만 아니라 최소한 90%는 쓸모가 없습니다.
가장 좋은 방법은 엄청난 양의 IO를 제공해야 하는 경우 파일 서버에 초고속 디스크를 설치하는 것입니다. 저는 이에 대한 "저렴한"(인용문 참고) 경로가 빠른 RAID 구성(즉, RAID10)의 SSD 드라이브라고 강력히 믿습니다.
네트워킹의 경우 4x1Gbps 집합이 훌륭하게 작동하며 나중에 더 추가할 수도 있습니다. 내부 버스(PCI* 읽기)가 항상 멀티 기가비트 속도를 처리할 수 있는 것은 아니라는 점에 유의하십시오. 서버급 마더보드를 사용하지 않는 경우 특히 그렇습니다.
나는 이것이 여기서 유일한 "저렴한" 옵션이라고 믿습니다. Infiniband 카드는 그다지 비싸지 않습니다. ~150$ 정도에 찾을 수 있을 거라 생각하지만 스위치는 매우 비쌀 것입니다.
답변2
값비싼 레이어 3 스위치 비용을 절약하고 싶다면 이더넷을 통한 ATA를 고려하는 것이 좋습니다. 이것은 현재 내가 알고 있는 다른 어떤 파일 시스템보다 저렴하지만 성능이 뛰어난 솔루션을 위한 chioce의 프로토콜입니다. 그러나 10Gb 바닐라 스위치는 없습니다(L3 스위칭 없음).
POC로 고려: Ubuntu 서버 10.x 및 AOE 도구 프로젝트 http://sourceforge.net/projects/aoetools/files