Ich baue gerade ein kleines Rechenzentrum von Grund auf auf und denke über 10GbE nach. Ich brauche Ratschläge zu dieser Entscheidung.
Ich habe Infiniband, FC, 10GbE und LACP mit GigE verglichen und letztendlich scheint 10GbE im Moment die beste Lösung zu sein.
Apropos Rechenzentrum: Es wird ein oder zwei Speicher haben (zwei für den Fall eines Failover-Szenarios) und drei 1U-Maschinen, auf denen ein Hypervisor läuft (XenServer ist mein Favorit). Die VMs werden im Speicher sein, sodass die Hypervisoren vom Speicher booten, oder ich werde einige kleine SSDs in die 1U-Maschinen einbauen, nur um den Hypervisor zu laden.
Das Problem hier ist also: Ich bin etwas verwirrt, was ich kaufen muss, um das Netzwerk aufzubauen. Ich habe mir einige teure Switches angesehen, wie den Cisco Nexus 5000/7000 mit vielen Funktionen, aber ich weiß nicht, ob ich diese wirklich brauche.
Ich habe kein FC, kann ich also bedenkenlos einzelne 10GbE-Switches ohne „Converged Networking“-Technologien kaufen? Oder sollte ich einen davon nehmen, um FCoE zum Laufen zu bringen?
Noch eine Frage: Wäre iSCSI über 10 GbE besser als FCoE? (Ich denke, FCoE ist besser, weil wir den IP-Stack in FCoE nicht verwenden).
Vielen Dank im Voraus und ich freue mich sehr über einige Meinungen hier.
Antwort1
Da stimme ich Tom zu! IB (sogar das alte) ist im Vergleich zu 10 GbE günstiger und schneller.
Die Leute erzielen mit der im Grunde billigen Ausrüstung gute Zahlen:
http://forums.servethehome.com/networking/1758-$67-ddr-infiniband-windows-1-920mb-s-43k-iops.html
Das Problem ist, dass TCP-over-IB Mist ist (verschlechtert die Leistung durch enorme Latenz) und die native IB-Unterstützung sehr begrenzt ist. SMB Direct mit Windows Server 2012 R2 ist großartig (wenn es funktioniert).
Antwort2
Die Entscheidung zwischen den Technologien sollte auf Grundlage Ihrer Anforderungen/Ihres Budgets/Ihrer Fachkenntnisse getroffen werden. Natürlich hängt Ihre Wahl stark von der Art der Speicherhardware ab, die Sie haben oder kaufen werden, sowie von Ihrer Netzwerkinfrastruktur. Traditionell haben SANs aufgrund ihrer hohen Geschwindigkeit Fibre Channel verwendet, aber mit dem Aufkommen von 10GbE ist Ethernet zu einem ernstzunehmenden Konkurrenten geworden. Je nach Auslastungsgrad Ihres Rechenzentrums können Sie möglicherweise sogar mit 1GbE und MPIO auskommen und später skalieren. Die meisten großen Anbieter bieten Ihnen die Wahl zwischen iSCSI-, FCoE- und FC-Angeboten, und die Wahl zwischen diesen sollte auf Ihrer aktuellen (oder gewünschten) Infrastruktur basieren und die Fachkenntnisse Ihrer Mitarbeiter berücksichtigen.
Ich kann nichts zur Verwendung von Infiniband sagen, da ich es selbst nie verwendet habe. Es ist jedoch weniger verbreitet als diese anderen Technologien und dementsprechend weniger Anbieter zur Auswahl. Das Nebenrisiko besteht darin, Personal zu finden, das weniger gängige Geräte unterstützen kann.
Wenn Sie (und Ihre Mitarbeiter) keine Erfahrung mit Fibre Channel haben (oder keine vorhandene Infrastruktur), würde ich Ihnen persönlich empfehlen, sich für ein iSCSI-Angebot zu entscheiden, da Ihre Lernkurve (und möglicherweise auch Ihre Implementierungskosten) viel niedriger sein werden. Die meisten Leute vergessen, dass die Hardwarekosten im Vergleich zu den Arbeitskosten gering sind. Ich gebe zehnmal mehr für Personalkosten aus als für mein Hardwarebudget. Wenn also eine Art von Hardware etwas teurer ist, aber von meinen Mitarbeitern gut verstanden wird (oder ich leichter jemanden finden kann, der daran arbeitet), ist das die naheliegende Wahl. Es sei denn natürlich, Sie suchen nach einer neuen Lernmöglichkeit. :P
Antwort3
FCoE ist sinnvoll, wenn Sie eine vorhandene FC-Infrastruktur haben und FC-LUNs an Ihre neuen Server senden müssen und diese keine FC-HBAs haben (oder Ihnen die lizenzierten FC-Ports an Ihren FC-Switches ausgehen – das ist dasselbe). Sie nehmen also 10 GbE und führen FCoE aus, um die Kosten für FC-Ausrüstung zu senken. FCoE von Grund auf neu aufzubauen ist sinnlos, führen Sie iSCSI (oder SMB Direct mit RDMA, wenn Sie auf der „dunklen Seite“ sind) über 10 GbE aus und seien Sie glücklich. Mit aktuellen und anständigen Multi-GHz- und Multi-Core-CPUs und sowohl TCP als auch iSCSI, die zumindest teilweise auf NIC-ASICs ausgelagert sind, gibt es keinen Unterschied zwischen Storage-over-TCP und Storage-over-Raw-Ethernet. Viel Glück, mein Freund!
Antwort4
Warum?
Angesichts der hohen Preise und der geringen Bandbreite würde ich Infiniband immer 10 G vorziehen. Plus ein 1 G-basierter Outlink – es sei denn, Sie haben mehr als 1 G Uplink-Bandbreite.
Aufgrund anderer Einschränkungen verwende ich auf einigen Servern 10 G (meistens – fast alle sind 1 G und der Netgear TXS 752, den wir als Backbone verwenden, hat 4x10 G SPF+) und der Preisfaktor der Netzwerkkarten ist – autsch. Im Vergleich zum viel schnelleren Infiniband.