Ich habe eine ESX-Box zur besseren Verwaltung zusammengestellt, aber ihre Leistung ist ein WTF-Thema. Ich bin ein Neuling im Umgang mit ESX und suche daher nach einer langen Liste mit Lesematerial, das mir dabei hilft, das in Ordnung zu bringen, damit ich zur .NET-Programmierung zurückkehren kann.
Aktuelles Speichersystem:
Wir betreiben Raid5+Hotspare (8x500 GB Spindeln) auf einem PERC6i auf einem Dell 2910. Aufgrund von ESX-Einschränkungen zeigt der PERC den Speicher als 1x2TB + 1x800GB „Partitionen“ an. Ich bin mir über die Konfiguration des Setups (Stride / Stripe / ???) überhaupt nicht sicher.
Unsere Anwendungen
Wir haben einen SBS-Server sowie einen kleineren (2 x 50 GB, wächst aber um 10 GB/Monat) Datenbankserver ...
Unsere Anwendung, die auf der Datenbank-VM läuft, ist im eigentlichen Sinne CPU- und I/O-belastend; es handelt sich um eine Datenbank-Aufwandsübung, gemischt mit vielen Berechnungen der Daten (die Verbesserung dieser Leistung ist eigentlich meine Aufgabe) …
Leistungsproblem
Wenn ich ein Backup, eine Wiederherstellung oder Schlimmeres durchführe (ein Backup von einer VM auf eine andere kopiere, um es auf die QA-VM zu verschieben), kommt das gesamte System nur noch sehr langsam voran (sogar bei „nicht verwandten“ VMs).
Ursprünglich dachte ich, eine DASD-Situation wäre ganz gut, da man über PCI-x-Bandbreite verfügt, aber die systemweite Verlangsamung geht zu Lasten der Produktivität.
Fragen
- Was muss ich tun, um eine intelligente Entscheidung zwischen NAS, RAID, SAN und DASD zu treffen?
- Gibt es gute/schlechte Stellen im Speicher-Setup?
- Können Sie in ESX eine SSD-PCI-X-Karte für die Tempdb verwenden? Gute/schlechte Idee?
- Gibt es eine Möglichkeit, ein Image per Copy-on-Write zu „teilen“? Der Großteil des „Backup-Copy-Restore“ besteht darin, „ein sauberes Image auf die Entwicklungsboxen zu legen“; wenn ich sie das Master-Image „teilen“ lassen könnte, müsste die „große Kopie“ (2 x 50 GB) nur einmal pro Woche statt einmal pro Entwickler pro Woche erstellt werden … [Die Laufzeitleistung ist bei den Entwicklungsboxen kein Problem, aber das Backup/Kopieren/Wiederherstellen zerstört die Produktion, SBS und alles andere auf der Box]
Antwort1
Sie geben keine Details zu den ESX-Serverspezifikationen an – Anzahl der CPUs, RAM-Menge, Anzahl der ausgeführten VMs und deren Konfiguration und erwartete Leistungsanforderungen. Ich gehe also davon aus, dass das alles im Moment in Ordnung ist und Ihr Problem definitiv nur mit der Speicher-E/A zusammenhängt. Sie sollten mindestens über genügend Kerne und RAM verfügen, um alle Ihre aktiven VMs ohne Konflikte auszuführen, und über genügend Reserven, um sicherzustellen, dass genügend Kapazität vorhanden ist, damit der Hypervisor alles tun kann, was er tun muss, ohne die VMs anzuhalten oder sie zu zwingen, auf die Festplatte auszulagern. Wie Frederic erwähnt hat, müssen Sie außerdem VMware Tools installiert haben. Wenn Sie den paravirtualisierten SCSI-Adapter für Ihre Datenlaufwerke verwenden können, ist das hilfreich.
Frage [1] - DAS\RAID\NAS\SAN
Sie müssen mehr IO und mehr unabhängige IO bereitstellen, um die Arbeitslasten voneinander zu trennen. Unabhängig davon, ob Sie sich für NAS\DAS\SAN entscheiden, müssen Sie separate RAID-Pakete einrichten, vorzugsweise in RAID 10. Für Ihren IO-Stil sind die Leistungsvorteile von RAID 10 gegenüber RAID 5 (doppelte Schreib-IO-Leistung bei gleicher Anzahl von Fisks) ratsam. Sie möchten sicherstellen, dass die primäre IO-intensive VM von einem separaten Datenspeicher zum QA-System ausgeführt wird, insbesondere wenn die QA-Verfahren den Speicher wahrscheinlich stark belasten, was ich annehme. Es würde sehr helfen, Ihr aktuelles 8-Laufwerk-Paket in 2 separate RAID 10-Pakete zu je 4 aufzuteilen. Es wäre besser, das vorhandene 8-Laufwerk-RAID-5-Paket in RAID 10 umzuwandeln und separaten unabhängigen Speicher für das QA-System hinzuzufügen. Sie können all dies mit direkt angeschlossenem Speicher tun, aber die Leistung wird mit SANs und High-End-NAS-Systemen besser skaliert. Diese werden jedoch auch viel mehr kosten.
Frage [2] Sweet Spots/Ugly Spots bei vorhandenem Speicher
Sie haben genug Festplatten, um etwa 10 bis 15 durchschnittliche Windows-Server zu betreiben (durchschnittlich sind das Datei-, Druck-, DC- und Anwendungsboxen mit geringer IO, nicht SQL, SBS oder Exchange), aber nicht genug, um in der aktuellen Konfiguration viel mehr als eine wirklich IO-intensive Maschine zu betreiben. Das Hässliche ist, dass Sie für alles ein einziges RAID 5-Paket haben. Wenn Ihre vorhandenen Laufwerke SATA sind, ist das nicht gut, da sie wahrscheinlich bestenfalls 7200 U/min haben. Der Wechsel zu 10kSAS-Laufwerken wird die Leistung bei gleicher Spindelanzahl mehr oder weniger verdoppeln, und 15k-Laufwerke werden sie verdreifachen.
Frage[3] Verwendung von PCI-X SSDs
ESX unterstützt meines Wissens nach keine PCI-X/PCI-e-SSDs, aber wenn doch, wäre das ein hilfreicher Speicherort für alle Ihre IO-intensiven VM-Volumes. Was die Ausführung von tempDB betrifft, sollten Sie es idealerweise auf einem VMDK ablegen, das auf einem schnellen Speicher liegt, aber Sie sollten zuerst sicherstellen, dass die VM über so viel RAM verfügt, wie sie gewinnbringend nutzen kann.
Frage [4] Optionen für freigegebene Bilder
VMware Lab Manager erledigt diese Aufgaben für Sie, erfordert jedoch eine vollständig lizenzierte VI-Infrastruktur und eine CPU-Lizenz pro Server in Ihrem Cluster. Dies hilft bei der Verwaltung und hat einige potenzielle Vorteile für Ihren QA-Kopieranwendungsfall, es ist jedoch auch möglich, dass dies nicht zur Lösung von Leistungsproblemen beiträgt. Wenn das QA-System aus IO-Sicht stark beansprucht wird, hilft der Copy-On-Write\Delta-Kopieransatz, der zum Bereitstellen mehrerer Systeme aus einem einzigen Basisimage verwendet wird, nicht bei Ihren allgemeinen Leistungsproblemen und wird diese wahrscheinlich verschlimmern. Das Erstellen der Kopien wird dadurch jedoch viel einfacher und schneller.
Antwort2
Ihr Problem hängt nicht mit DAS oder NAS zusammen, sondern mit CRAP DISCS. Viele VMs haben viel mehr IO als ein normaler Computer. Die Verwendung von FAST-Disks ist hier obligatorisch, es sei denn, Sie haben wirklich geringe Nutzungsmuster.
- Ein kleineres Setup mit einem DAS-System reicht Ihnen aus, wenn Sie über einen guten RAID-Controller (Adaptec-Reihe) und eine ausreichende Anzahl an Festplatten verfügen.
- SAN (nicht NAS) hat den Vorteil, dass es von mehreren Boxen gemeinsam genutzt werden kann (Failover, Clustering usw.).
Wie dem auch sei, Sie benötigen eine MENGE an möglichem IO. Die Regeln lauten:
- VMs sollten die Auslagerungsdatei nicht verwenden. Das Auslagern belastet die Festplatte – und Festplatten sind sowieso Ihre brutale Einschränkung.
- RAID 5 ist viel langsamer als RAID 10 ;)
- 500-GB-Festplatten haben höchstwahrscheinlich maximal 7.200 U/min – und das ist langsam. Nehmen Sie mindestens 10.000 U/min, SAS-Infrastruktur. Ich habe wirklich gute Erfahrungen mit einem RAID 10 von 300-GB-Velociraptoren gemacht (obwohl die neuen 600 GB etwas schneller sind).
Sie benötigen wirklich VIEL IO-Kapazität. Ihr RAID 5 ist nur geringfügig schneller als zwei Festplatten (wenn überhaupt – ich müsste das ausrechnen) und eine einzelne Festplatte ist in bestimmten Szenarien schon nicht gerade schnell. Das Ergebnis ist, dass Ihr IO-Setup einfach abstürzt. Normal.
Wenn Sie ein RAID 10 mit 8 Festplatten (bei 500 GB sind das 2 TB) installieren würden, würden Sie VIEL mehr unabhängige IO-Kapazität erhalten als mit einem RAID 5.
Antwort3
(1) und (2): Wenn Sie einen lokalen Speicher verwenden, können Sie nicht alle VMware-Funktionen (ha, ft, vmotion usw.) nutzen. Ich verwende iSCSI auf einem EQL-SAN: Die Leistung ist aufgrund einer schlechten iSCSI-Implementierung (ca. 2 Gbit/s beim Schreiben) und des verwendeten Raid6 wirklich schlecht. Mit Raid10 sollte die IO-Leistung wirklich besser sein. Wenn Sie also Geld haben, verwenden Sie ein FC-SAN ... oder warten Sie auf FCoE-SAN :) mit Raid10 ... Meiner Meinung nach sollten Sie für intensive IO kein kostengünstiges SAN verwenden ...
(3) Ich weiß nicht
Haben Sie versucht, die Gasttools einzurichten, um die Verlangsamung zu reduzieren? Wir hatten dasselbe Problem mit einer Oracle-Datenbank und die Einrichtung der Gasttools hat die Leistung wirklich verbessert. Wir haben auch die paravirtualisierten SCSI-Treiber in unserem RHEL verwendet, um die Leistung zu steigern!
Frederic
Antwort4
Könnte das Ihr Problem sein?
Aktualisieren Sie auf jeden Fall alle BIOS. Sind die Festplatten SATA oder SAS? Dem Platz nach würde ich SATA sagen... nicht die schnellsten Festplatten. Wenn Sie die beste Leistung wollen, sollten Sie RAID 10 statt 5 ausprobieren. NAS, SAN und DAS sind eine Sache... RAID ist die Basis für fast alle. Kurz:
NAS: Exportieren eines Dateisystems (NFS, SMB)
SAN: Exportieren eines Blockgeräts (ISCSI, LUN, AOE)
DAS: Alle direkt mit dem Server verbundenen Speicherboxen (SCSI, eSATA)
RAID: ist eine Möglichkeit, die Verfügbarkeit des Systems im Falle eines Festplattenabsturzes zu erhöhen.