Frage

Question

Vorausgesetzt, dass freie Speicherplatz Beratung fürZEVOwird sich nicht von den Ratschlägen für andere moderne Implementierungen von ZFS unterscheiden …

Frage

Bitte wasProzentsätzeoderBeträgefreier Speicherplatz ist für Festplatten der folgenden Größen ratsam?

• 640 GB
• 2 TB

Gedanken

Eine Standardantwort für moderne Implementierungen von ZFS könnte lauten: „nicht mehr als 96 Prozent voll“. Wenden wir dies jedoch auf (sagen wir) einen 640 GB großen Einzeldatensatz an, auf dem einige der am häufigsten (von VirtualBox) verwendeten Dateienjeweils größer als 15 GB, dann vermute ich, dass die Blöcke für diese Dateiensuboptimale Ausbreitungüber die Platten mit rund26 GB frei.

Ich habe gelesen, dass Fragmentierung und Defragmentierung bei ZFS in den meisten Fällen kein Problem darstellen sollten. Trotzdem gefällt mir die Vorstellung, dass die meisten Fragmente einer großen .vdi-Datei relativ nah beieinander liegen. (Ist dieser Wunsch nach Nähe aufgrund der Funktionen von ZFS zu altmodisch?)

Randbemerkung: Es könnte die Frage aufkommen, wie die Leistung optimiert werden kann (für große Dateien in einem Datensatz mit relativ wenig freiem Speicherplatz).nacheine Schwelle ist „gebrochen“. Wenn sie auftritt, werde ich sie gesondert behandeln.

Hintergrund

Auf einem 640 GB StoreJet Transcend (Produkt-ID 0x2329) habe ich in der Vergangenheit wahrscheinlich einen empfehlenswerten Grenzwert überschritten. Derzeit ist die größte Datei etwa 17 GB groß – 

– und ich bezweifle, dass eine .vdi- oder andere Datei auf dieser Festplatte über 40 GB hinauswachsen wird. (Ignorieren Sie die violetten Massen, das sind Bündel von 8 MBBandDateien.)

Ohne HFS Plus: Die Schwellenwerte vonzwanzig, zehn und fünf Prozent, die ich mit dem Dateisystem Mobile Time Machine verbinde, müssen nicht zutreffen.

Ich verwende derzeit die ZEVO Community Edition 1.1.1 mit Mountain Lion, OS X 10.8.2, möchte aber, dass die Antworten nicht zu versionsspezifisch sind.

Referenzen, chronologische Reihenfolge

ZFS-Blockzuweisung (Jeff Bonwicks Blog)(04.11.2006)

Weltraumkarten (Jeff Bonwicks Blog)(13.09.2007)

Verdoppelung der Exchange-Performance (Bizarr! Ist das bizarr?)(11.03.2010)

… Um dieses Problem zu lösen, haben wir in der Softwareversion 2010/Q1 mehrere Maßnahmen ergriffen. Das Wichtigste ist: Wir haben den Schwellenwert, bei dem wir von „First Fit“ (schnell) auf „Best Fit“ (dicht packen) umgestiegen sind, von 70 % auf 96 % erhöht. Bei TB-Laufwerken ist jede Platte mindestens 5 GB groß und 4 % sind immer noch 200 MB, also jede Menge Platz, und vorher müssen keine radikalen Maßnahmen ergriffen werden. Das war der größte Knaller. Zweitens haben wir uns entschieden, der primären Platte diese bevorzugte Behandlung zu ersparen, sobald die größte Zuweisung, die von einer Platte erfüllt werden konnte, auf 128 KB gesunken war ( metaslab_df_alloc_threshold), anstatt zu versuchen, dieselben primären Platten wiederzuverwenden, bis eine Zuweisung fehlschlug. An diesem Punkt waren wir bereit, auf eine andere Platte mit mehr freiem Platz umzusteigen. Wir haben uns auch entschieden, den SMO-Bonus zu reduzieren. Zuvor wurde eine Platte, die zu 50 % leer war, Platten vorgezogen, die noch nie verwendet worden waren. Um mehr Schreibaggregation zu fördern, haben wir den Schwellenwert auf 33 % Leerraum gesenkt. Das bedeutet, dass eine zufällige Schreibarbeitslast nun auf mehr Slabs verteilt wird, von denen jeder über mehr freien Speicherplatz verfügt, was zu mehr Schreibaggregation führt. Schließlich haben wir auch festgestellt, dass das Laden von Slabs zu einer geringeren Leistung beiträgt, und haben einen Slab-Prefetch-Mechanismus implementiert, um die mit diesem Vorgang verbundene Ausfallzeit zu reduzieren.

Die Kombination all dieser Änderungen führt zu 50 % verbessertem OLTP und 70 % reduzierter Variabilität von Lauf zu Lauf …

OLTP-Verbesserungen in Sun Storage 7000 2010.Q1 (Leistungsprofile)(11.03.2010)

Alasdair über Alles » ZFS läuftWirklichlangsam, wenn die freie Festplattennutzung über 80 % steigt (18.07.2010) mit Kommentaren wie:

… OpenSolaris hat dies in der onnv-Revision 11146 geändert …

[CFT] Verbesserter ZFS-Metaslab-Code (schnellere Schreibgeschwindigkeit)(22.08.2010)

Answer 1

Achtzig Prozent voll (zwanzig Prozent frei)

http://www.ustream.tv/recorded/25859777hörbar bei 33:00 auf der Timeline, als Reaktion aufDer Fall Eric Sproul:

… das Delphix-Produkt … an den Benutzer war 80 Prozent. Also, ich meine, es hängt viel von der Arbeitsbelastung ab, aber wir würden definitiv … ich denke, vier Prozent wärenextremfür irgendwelche …

 

… Unddie Leistung wäre beschissen.

- hört sich an wieMatt Ahrens(Moderation) bei den Illumos 2012ZFS-Tag.

Plus: von mir kürzlich wiederentdeckt, von vor zwei Jahren:

• Leistung von Oracle Solaris ZFS: 10 einfache Tipps(28.04.2010)

Unter#8 Lassen Sie genügend freien Speicherplatz:

… Als Faustregel gilt: Lassen Sie Ihren Pool nicht mehr als etwa 80 % seiner Kapazität füllen. Sobald dieser Punkt erreicht ist, sollten Sie weitere Festplatten hinzufügen, damit ZFS genügend freie Blöcke hat, aus denen es in der sequenziellen Schreibreihenfolge auswählen kann.

Answer 2

Etwa fünfundachtzig Prozent belegt (fünfzehn Prozent frei)

http://www.ustream.tv/recorded/25859777ungefähr bei 32:20 auf der Zeitleiste:

… vier Prozent frei? … Das scheint … ein bisschen grenzwertig. Wir versuchen, eine Auslastung von etwa fünfundachtzig Prozent anzustreben, bevor wir darüber nachdenken, die Kapazität zu erweitern oder etwas zu unternehmen, um diesen Druck zu verringern … wir sind ziemlich konservativ …

Dann gegen 33:20, als Reaktion auf dieachtzig Prozent Kommentar:

Ja, wenn Sie versuchen würden,DasAuf einem System, das zu 96 % ausgelastet ist, würde Ihnen wahrscheinlich der Speicherplatz ausgehen, bevor Sie mit Ihrer Arbeit fertig wären … weil sich der Speicherplatz anhäufen würde; und durch das Vorhandensein dieses Snapshots würden Daten gespeichert, die sonst durch die normale Aktivität wieder für den Pool freigegeben würden …

 

… UndDie Leistung wäre schlecht. Da ZFS mit einem Slab-Allocator arbeitet … wenn es wirklich voll ist, müssen Sie zusätzliche Zeit damit verbringen, Plätze zu finden, an denen Dinge unterschiedlicher Größe Platz haben, und es wird wirklich langsam.

–Eric Sproulbei den Illumos 2012ZFS-Tag.