Dies ist ein neues Setup von ESXi 4.0, das VMs auf einem Cybernetics miSAN D iSCSI SAN ausführt.
Bei einem Test mit hoher Datenmenge auf einer VM dauerte es 8 Minuten, verglichen mit 1,5 Minuten auf derselben VM auf einem langsameren VMWare Server 1.0-Host, wobei sich die VMs auf der lokalen Festplatte befanden. Ich beobachte meine Lesegeschwindigkeiten vom SAN und sie erreichen maximal etwas über 3 MB/s beim Lesen, und die Festplattennutzung auf der VM entspricht dem mit etwas über 3 MB/s... furchtbar langsam.
Der Server und das SAN sind beide mit demselben 1GB-Switch verbunden. Ich habe diese Anleitung befolgt
virtualgeek.typepad.com/virtual_geek/2009/09/a-multivendor-post-on-using-iscsi-with-vmware-vsphere.html
um Multipathing richtig einzurichten, aber ich erziele mit meinen VMs immer noch keine gute Leistung. Ich weiß, dass das SAN und das Netzwerk über 100 MB/s verarbeiten können sollten, aber ich bekomme es einfach nicht hin. Ich habe zwei GB-NICs auf dem SAN, die mit zwei GB-NICs auf dem ESXi-Host multipathiert sind. Eine NIC pro VMkernel. Gibt es noch etwas, das ich überprüfen oder tun kann, um meine Geschwindigkeit zu verbessern? Vielen Dank im Voraus für alle Tipps.
Antwort1
Diese SAN-Hardware ist für Vmware zertifiziert, also lassen Sie sich das von Ihrem Support ansehen. Häufige Ursachen für schlechte Leistung sind eine Überlastung der Schnittstelle der SAN-Hardware, denn wenn Sie mehrere Verbindungen zum selben SAN haben, können nicht alle mit der maximalen Geschwindigkeit bedient werden.
Außerdem wird Ihre lokale Festplatte in Ihrem Setup immer schneller sein als Ihr SAN, da selbst eine SATA-Festplatte eine maximale Bandbreite von 3 Gb/s hat, sodass Ihr SAN nie die Geschwindigkeit Ihrer lokalen Festplatten erreichen wird. Sie verwenden wahrscheinlich auch Ethernet statt Glasfaser, was der Leistung ebenfalls nicht zuträglich ist.
Sie verwenden ein SAN nicht nur wegen der Geschwindigkeit, sondern auch, um einen zentral verwalteten Ort zu haben, an dem Sie alle wichtigen Daten speichern und sicherstellen können, dass ein geeigneter RAID-Level angewendet wird. Es gibt auch bestimmte Funktionen wie Replikation, was einer der Vorteile eines SAN ist.
Antwort2
Diese Konfiguration sollte eine angemessene Leistung liefern können, und soweit ich weiß, kann dieses Array selbst bei kleinen zufälligen IO-Blöcken etwa 60–70 Megabyte pro Sekunde aufrechterhalten. Ich habe keine Erfahrung damit, aber die Spezifikation zeigt, dass es Ihren Anforderungen problemlos gerecht werden sollte, und die wenigen Rezensionen, die bei der Suche angezeigt werden, belegen dies.
Jedenfalls würde ich an Ihrer Stelle zunächst einen Schritt zurücktreten. Beseitigen Sie Multipathing (zunächst) und stellen Sie sicher, dass Sie einen einzelnen Pfad (auf der VMware-Seite) erhalten, um eine respektable Leistung aufrechtzuerhalten. Angenommen, Sie haben eine Einheit mit 8 Laufwerken, die vollständig mit 10.000 SAS-Laufwerken und einem Hotspare bestückt ist, und ein RAID 5-Paket mit 7 Laufwerken, sollte es problemlos >100 MBit/s sequentielles Lesen oder Schreiben über eine einzelne Schnittstelle in einem guten, dedizierten Gbit-LAN liefern können, selbst wenn der gesamte IP\TCP- und iSCSI-Overhead berücksichtigt wird. Führen Sie einfache Massentests großer Dateikopien (etwas deutlich Größeres als der Schreibcache auf dem Array) zum oder vom SAN durch, um zu überprüfen, ob Sie dies sehen. Wenn Sie auf dem SAN-Volume lesen und schreiben, beträgt die Leistung übrigens nicht mehr als die Hälfte. Wenn nicht, sollten Sie sich alle üblichen Verdächtigen ansehen:
- Stellen Sie zunächst sicher, dass der SAN-Cache richtig konfiguriert ist
- Stellen Sie sicher, dass alle Laufwerke in Ordnung sind, d. h. dass Sie nicht gegen einen RAID-Neuaufbau kämpfen.
- Stellen Sie sicher, dass der Switch einwandfrei funktioniert und nicht mit anderen Dingen ausgelastet ist. Idealerweise sollten Sie Ihren SAN-Verkehr auf einem eigenen Switch isolieren. Wenn das nicht möglich ist, platzieren Sie ihn in einem eigenen VLAN.
- Bauen Sie es auf keinen Fall auf einen billigen Switch ein, der mit anderen Dingen stark ausgelastet ist.
- Überprüfen Sie die Duplex- und Geschwindigkeitseinstellungen an allen Ports (ESX, Switch und SAN).
- Vermeiden Sie es, mit Jumbo Frames und ESX herumzuspielen, bis Sie sicher sind, dass alles andere funktioniert
- Aktivieren Sie unbedingt die Hardware-Flusskontrolle auf dem Switch
Stellen Sie beim Testen sicher, dass weder der ESX-Host noch das SAN mit etwas anderem beschäftigt sind.
Sobald Sie erfolgreich >100 MBit/s für sequentiellen Datenverkehr auf einem einzigen Uplink erreichen, können Sie prüfen, ob Multipathing einen Unterschied macht. Mit iSCSI auf ESX4 kann dies der Fall sein, aber es ist unwahrscheinlich, es sei denn, das Speicherarray unterstützt es korrekt in Verbindung mit ESX 4. Ich würde mich diesbezüglich an den Array-Anbieter wenden.
Antwort3
Ihr Problem könnte durch Multipathing verursacht werden. Können Sie Multipathing deaktivieren und haben Sie es schon versucht, um nur eine 1-GB-Verbindung zu Ihrem SAN zu haben? VMware kann bei Belastung aufgrund einer schlechten Verbindung oder einer Verzögerung bei der Paketübermittlung zu einem Path Thrashing führen ...
Übrigens, Ihr maximaler Durchsatz mit einer 1-GB-Verbindung beträgt ca. 30 MByte/s, wenn Ihr SAN- und ESXi-Host die einzigen beiden Geräte auf dieser Verbindung wären ...
Antwort4
Denken Sie daran, dass der native Multi-Pathing IO-Treiber (MPIO) in VMware nur Active/Passive ist und daher nur einen Pfad pro LUN verwendet. Wenn Ihr gesamter Datenverkehr also an eine einzelne LUN geht, verwenden Sie nur einen Pfad, um den Datenverkehr dorthin zu leiten. Der einzige unterstützte MPIO-Treiber von Drittanbietern (den ich kenne) ist PowerPath von EMC, ein Active/Active MPIO-Treiber, der jedoch die Enterprise Plus-Edition von vSphere erfordert.
Einige Dinge, die man sich ansehen sollte.
Haben Sie Jumbo Frames auf dem SAN, Switch und Host aktiviert? Zeigt das SAN über seine Überwachungstools Leistungsprobleme an? Wie viele Festplatten befinden sich hinter der betreffenden LUN? Wie viele andere Dinge belasten diese Festplatten?