Ich baue einen Heimcluster mit etwa 16 Knoten, die mit 1G-Ports auskommen, aber ich möchte 10GE auf dem Dateiserver und dem zentralen Knoten haben. Es ist alles lokal, also sind keine Kabel länger als 3-5 m erforderlich. Und natürlich möchte ich so wenig Geld wie möglich ausgeben (nicht mehr als die Kosten für den gesamten Cluster) :-)
Welche Möglichkeiten habe ich?
- Die herkömmliche Lösung besteht darin, einen 1GE-Switch mit 24-48 Ports zu verwenden und ihn über 4-8 aggregierte Links mit Datei-/Zentralknoten zu verbinden. Ich denke, das wird funktionieren, die Kosten sind durchaus akzeptabel, aber ich bin mir nicht sicher, ob es in Ordnung ist, so viele aggregierte Links zu verwenden. Und natürlich wäre es schwierig, die Bandbreite bei Bedarf zu verdoppeln ... :-D
- Switch mit mehreren 10GE-Uplink-Ports. Soweit ich weiß, benötigen sie alle Module, die etwa 1000 $ kosten. Ich brauche also 4 10G-Module und 2 10GE-Karten ... Das riecht nach weit über 5000 $ + ...
- Verbinden Sie Datei und zentralen Knoten direkt über 2 10G-Karten und platzieren Sie 4 Quad-Port-1GE-NICs auf dem Dateiserver. Ich spare an 2 10G-Modulen und einem Switch, der Dateiserver muss das Paketrouting übernehmen, hat aber trotzdem noch viele CPUs übrig :-)
- Irgendwelche anderen Optionen? Infiniband?
- Funktionieren MyriNet-Adapter einwandfrei? Ich vermute, es gibt keine günstigeren Alternativen?
- Hmm ... Dateiserver verschrotten, alles auf einem zentralen Knoten platzieren und für jeden Knoten einen dedizierten 1GE-Port bereitstellen ... Das ist traurig ...
Antwort1
Ich glaube nicht, dass Sie hier das Gesamtbild nicht sehen.
Sie möchten einen Dateiserver mit einer Geschwindigkeit von 10 Gbit/s anschließen, was sich vielleicht nach einer attraktiven Idee anhört. Was Sie jedoch nicht sehen, ist die Fähigkeit dieses Servers, diese Menge an Datenverkehr durch Lesen von Festplatten zu generieren. 1 Gbit/s von einem Dateiserver zu erhalten, ist heutzutage eine sehr gute Leistung. 10 Gbit/s sind nicht nur teuer, wie Sie selbst erkannt haben, sondern zu mindestens 90 % nutzlos.
Ihre beste Option ist, einige blitzschnelle Festplatten in Ihre Dateiserver einzubauen, wenn diese so viele IOs bereitstellen müssen. Ich bin fest davon überzeugt, dass der „erschwingliche“ (beachten Sie die Anführungszeichen) Weg hierzu SSD-Laufwerke in schnellen RAID-Konfigurationen (also RAID10) sind.
Was die Vernetzung betrifft, reicht ein 4x1Gbps-Aggregat vollkommen aus und Sie können später sogar noch mehr hinzufügen. Beachten Sie, dass interne Busse (sprich PCI*) nicht immer in der Lage sind, Multi-Gigabit-Geschwindigkeiten zu verarbeiten. Dies gilt insbesondere, wenn Sie keine Server-Motherboards verwenden.
Ich glaube, das ist hier Ihre einzige „erschwingliche“ Option. Infiniband-Karten sind nicht schrecklich teuer. Ich glaube, Sie können welche für ~150 $ finden, aber der Wechsel wird sehr teuer.
Antwort2
Sie sollten ATA über Ethernet in Betracht ziehen, wenn Sie sich teure Layer-3-Switches sparen möchten. Dies ist das Protokoll der Wahl für eine kostengünstige, aber leistungsstarke Lösung im Vergleich zu jedem anderen Dateisystem, das ich heute kenne. Es gibt jedoch keine 10-GB-Vanilla-Switches (ohne L3-Switching).
als POC in Betracht ziehen: Ubuntu Server 10.x und AOE Tools-Projekt http://sourceforge.net/projects/aoetools/files