Ich habe 3 Server, die ich für einen neuen Ceph-Cluster verwenden werde. Es ist mein erster Ceph-„Spielplatz“ … Jeder Server hat 2 x 1 TB und 6 x 2 TB Festplatten, die an zwei separate 4-Kanal-SAS-Controller angeschlossen sind, jeder mit 1 GB Cache + BBU, also plane ich, diese für den Durchsatz zu optimieren.
Die ersten beiden Festplatten werden als RAID-1-Array für das Betriebssystem und vermutlich auch für Journale verwendet (die Forschung hierzu läuft noch).
Die Laufwerke 3 bis 8 werden als separate RAID-0-Geräte freigegeben, um die Controller-Caches zu nutzen. Ich bin mir jedoch nicht sicher, welche die beste Dreifachgröße ist, und da ich das später nicht ändern kann, ohne Daten zu verlieren, habe ich mich entschlossen, hier zu fragen. Kann mir das bitte jemand erklären? Der Standardwert für die Controller (LSI 9271-4i) beträgt 256 KB. Ich sehe einige Dokumente, in denen Folgendes erwähnt wird stripe width(z. B.Hier) standardmäßig auf 64 KB, aber da bin ich mir immer noch nicht sicher. Interessanterweise gibt es keine Diskussionen zu diesem Thema. Vielleicht, weil viele Leute solche Setups im JBOD-Modus ausführen oder weil es einfach nicht so wichtig ist ...
Da dies mein erster Cluster sein wird, werde ich versuchen, so weit wie möglich bei den Standardeinstellungen zu bleiben.
Antwort1
Vor einem Jahr standen wir vor derselben Entscheidung.Dieser Artikel, die Verwendung von RAID 0 kann in einigen Fällen die Leistung steigern.Gemäß den CEPH-Festplatten- und FS-Empfehlungen, es wird empfohlen, den Festplattencache zu deaktivieren. Ich denke also, die wichtigsten Punkte aus diesen beiden Artikeln sind: Es ist besser, JBOD zu verwenden und den Schreibcache der Festplatten zu deaktivieren.
Antwort2
MaksaSila hat größtenteils recht, versteht aber einiges falsch. Die Laufwerks-Caches selbst sollten den Schreibcache deaktivieren, da dieser nicht batteriegepuffert ist. Die Verwendung des batteriegepufferten SAS-Controllers für den RAID0-Schreibcache ist jedoch in Ordnung und verbessert die Leistung. Dies unterscheidet sich vom internen Schreibcache des Laufwerks (der meiner Meinung nach deaktiviert werden sollte).