☰

Rede 10GE: ainda é mortalmente cara? Alguma opção?

tag-icon • tag-icon 10gbethernet
Rede 10GE: ainda é mortalmente cara? Alguma opção?

Estou construindo um cluster doméstico onde terei cerca de 16 nós que podem funcionar com portas 1G, mas quero ter 10GE no servidor de arquivos e no nó central. É tudo local, portanto não há necessidade de cabos com mais de 3 a 5 m. E é claro que quero gastar o mínimo possível (não vou gastar mais do que os custos do cluster inteiro) :-)

Quais são minhas opções?

  1. A solução legada é usar um switch 1GE de 24 a 48 portas e conectar-se a nós de arquivo/centrais por meio de 4 a 8 links agregados. Acho que isso vai funcionar, o custo é muito aceitável, mas não tenho certeza se não há problema em usar tantos links agregados. E é claro que seria difícil dobrar a largura de banda quando necessário... :-D
  2. Switch com várias 'portas' de uplink 10GE. Pelo que vejo, todos eles exigem módulos que custam cerca de 1.000$, então vou precisar de 4 módulos 10G e 2 placas 10GE... Cheira a muito mais de 5.000$+...
  3. Conecte o arquivo e o nó central diretamente por meio de 2 placas 10G e coloque 4 NICs 1GE de quatro portas no servidor de arquivos. Estou economizando em 2 módulos 10G e um switch, o servidor de arquivos terá que fazer o roteamento de pacotes, mas ainda terá muita CPU sobrando :-)
  4. Alguma outra opção? Infinibanda?
  5. Os adaptadores MyriNet funcionam bem? Eu acho que não há opções mais baratas?
  6. Hmm... Descarte o servidor de arquivos, coloque tudo no nó central e forneça uma porta 1GE dedicada para cada um dos nós... Isso é triste...

Responder1

Não acho que você não esteja vendo a imagem inteira aqui.

Você deseja conectar um servidor de arquivos com velocidade de 10 Gbps, o que pode parecer uma ideia sexy. O que você não está vendo é a capacidade desse servidor de gerar essa quantidade de tráfego lendo discos. Obter 1 GBps de um servidor de arquivos é, hoje, uma conquista muito boa. 10 Gbps não será apenas caro, como você mesmo percebeu, mas no mínimo 90% inútil.

Sua melhor opção é começar a colocar alguns discos extremamente rápidos em seus servidores de arquivos se for necessário fornecer grandes quantidades de IOs. Eu acredito fortemente que o caminho "acessível" (observe as aspas) para isso são unidades SSD em configurações RAID rápidas (ou seja, RAID10).

Quanto à rede, um agregado de 4x1 Gbps resolverá o problema e você poderá adicionar mais posteriormente. Cuidado com o fato de que os barramentos internos (leia-se PCI*) nem sempre são capazes de lidar com velocidades de vários gigabits. Isto é especialmente verdadeiro se você não estiver usando placas-mãe de nível de servidor.

Acredito que esta seja sua única opção "acessível" aqui. Os cartões Infiniband não são terrivelmente caros. Acredito que você possa encontrar alguns por ~150$, mas a troca será muito cara.

Responder2

você pode considerar o ATA over Ethernet, se quiser economizar em alguns switches caros da camada 3. este é o protocolo de chioce para solução de baixo custo, mas de alto desempenho do que qualquer outro sistema de arquivos que conheço hoje. Mas não existem switches vanilla de 10 Gb (sem comutação L3).

considerar como um POC: servidor Ubuntu 10.x e projeto de ferramentas AOE http://sourceforge.net/projects/aoetools/files

https://help.ubuntu.com/community/ATAOverEthernet

informação relacionada