☰

Literaturverzeichnis

tag-icon • tag-icon hard-drive ssd performance filesystems operating-systems
Literaturverzeichnis

In der informellen (d. h. journalistischen) Technologiepresse und in Online-Technologieblogs und Diskussionsforen stößt man häufig auf anekdotische Ratschläge, auf Festplatten oder Solid-State-Laufwerken etwas Speicherplatz frei zu lassen. Dafür werden verschiedene Gründe genannt, manchmal aber auch gar keine. Diese Behauptungen mögen zwar in der Praxis vernünftig sein, haben aber einen mythischen Anstrich. Zum Beispiel:

  • „Sobald Ihre Festplatte(n) zu 80 % voll ist/sind, sollten Sie sievoll, und Sie sollten sofort entweder Dinge löschen oder aktualisieren. Wenn sie treffen90 %voll, sollten Sie davon ausgehen, dass Ihre eigene Hose tatsächlich brennt, und mit der entsprechenden Unmittelbarkeit reagieren, um Abhilfe zu schaffen.“ (Quelle.)

  • „Um die Garbage Collection mit maximaler Effizienz laufen zu lassen, wird traditionell empfohlen, 20 bis 30 Prozent Ihres Laufwerks leer zu halten.“ (Quelle.)

  • „Mir wurde gesagt, ich sollte für eine bessere Leistung etwa 20 % auf einer Festplatte frei lassen, da eine Festplatte wirklich langsamer wird, wenn sie fast voll ist.“ (Quelle.)

  • „Sie sollten Platz für die Auslagerungsdateien und temporären Dateien lassen. Ich lasse derzeit 33 % frei und gelobe, nicht unter 10 GB freien Festplattenspeicher zu kommen.“ (Quelle.)

  • „Ich würde sagen, normalerweise 15 %, aber bei der Größe der heutigen Festplatten sind Sie technisch gesehen auf der sicheren Seite, solange Sie genug für Ihre temporären Dateien und die Auslagerungsdatei haben.“ (Quelle.)

  • „Unter Windows würde ich 10 % oder mehr empfehlen, da die Defragmentierung nicht ausgeführt wird, wenn beim Ausführen nicht ungefähr so ​​viel freier Speicherplatz auf dem Laufwerk vorhanden ist.“ (Quelle.)

  • „Um eine Fragmentierung zu vermeiden, sollten Sie im Allgemeinen etwa 10 % frei lassen.“ (Quelle.)

  • „Wenn Ihr Laufwerk dauerhaft zu mehr als 75 oder 80 Prozent voll ist, lohnt es sich, ein Upgrade auf eine größere SSD in Betracht zu ziehen.“ (Quelle.)

Gibt es eine Studie, vorzugsweise in einer Fachzeitschrift mit Peer-Review, die sich mit dem Prozentsatz oder der absoluten Menge an freiem Speicherplatz befasst, die von bestimmten Kombinationen von Betriebssystemen, Dateisystemen und Speichertechnologien (z. B. Magnetplatten vs. Festkörper) benötigt wird? (Idealerweise würde eine solche Studie auch den Grund dafür erklären, die bestimmte Menge an belegtem Speicherplatz nicht zu überschreiten, z. B. um zu verhindern, dass dem System der Speicher ausgeht.Swap-Platz, oder um Leistungseinbußen zu vermeiden.)

Wenn Sie von einer solchen Studie wissen, wäre ich Ihnen dankbar, wenn Sie mir mit einem Link dazu und einer kurzen Zusammenfassung der Ergebnisse antworten könnten. Danke!

Antwort1

Gibt es entsprechende Forschungsarbeiten, vorzugsweise veröffentlicht in einer Fachzeitschrift mit Peer-Review […]?

Dazu muss man viel weiter zurückgehen als 20 Jahre Systemadministration oder andere Bereiche. Zumindest in der Welt der PC- und Workstation-Betriebssysteme war dies vor über 30 Jahren ein heißes Thema; zu der Zeit, als die BSD-Leute das Berkeley Fast File System und Microsoft und IBM das High Performance File System entwickelten.

Die Literatur zu beiden von ihren Schöpfern diskutiert die Art und Weise, wie diese Dateisysteme organisiert wurden, so dass dieBlockzuweisungsrichtlinieführte zu einer besseren Leistung, indem versucht wurde, aufeinanderfolgende Dateiblöcke zusammenhängend zu machen. Diskussionen hierzu und zur Tatsache, dass die Menge und Lage des freien Speicherplatzes, der zum Zuweisen von Blöcken übrig bleibt, die Blockplatzierung und damit die Leistung beeinflusst, finden Sie in den aktuellen Artikeln zu diesem Thema.

Aus der Beschreibung des Blockzuweisungsalgorithmus des Berkeley FFS sollte beispielsweise ziemlich offensichtlich sein, dass, wenn in der aktuellen und sekundären Zylindergruppe kein freier Speicherplatz vorhanden ist und der Algorithmus somit den Fallback der vierten Ebene erreicht („eine umfassende Suche auf alle Zylindergruppen anwenden“), die Leistung bei der Zuweisung von Plattenblöcken ebenso darunter leidet wie die Fragmentierung der Datei (und damit die Leseleistung).

Auf diesen und ähnlichen Analysen (dies waren bei weitem nicht die einzigen Dateisystemdesigns, die darauf abzielten, die Layoutrichtlinien der damaligen Dateisystemdesigns zu verbessern) basiert die allgemeine Auffassung der letzten 30 Jahre.

Beispiel: Der im Originalartikel enthaltene Ausspruch, dass FFS-Volumes weniger als 90 % gefüllt werden sollten, damit die Leistung nicht leidet, und der auf Experimenten der Entwickler beruhte, wird sogar in Büchern über Unix-Dateisysteme, die in diesem Jahrhundert veröffentlicht wurden, unkritisch wiederholt (z. B. Pate2003, S. 216) . Nur wenige stellen dies in Frage, obwohl Amir H. Majidimehr dies im Jahrhundert davor tat und sagte, dass xe in der Praxis keinen merklichen Effekt beobachtet hat; nicht zuletzt aufgrund des üblichen Unix-Mechanismus, der die letzten 10 % für die Verwendung durch Superuser reserviert, was bedeutet, dass eine zu 90 % gefüllte Festplatte für Nicht-Superuser effektiv zu 100 % gefüllt ist.Trotzdem (Majidimehr1996, S. 68) . Dasselbe gilt für Bill Calkins, der angibt, dass man bei Festplattengrößen des 21. Jahrhunderts in der Praxis bis zu 99 % füllen kann, bevor man die Leistungseffekte von geringem freien Speicherplatz bemerkt, weil selbst 1 % der Festplattengröße moderner Bauart ausreicht, um noch jede Menge unfragmentierten freien Speicherplatz zum Spielen zu haben (Calkins2002, S. 450) .

Letzteres ist ein Beispiel dafür, wie sich eine gängige Meinung als falsch erweisen kann. Es gibt noch weitere Beispiele dafür. Genau wie die SCSI- und ATA-Welten vonlogische BlockadressierungUndZonenbitaufzeichnungwarf vielmehr alle sorgfältigen Berechnungen über BordRotationslatenzim BSD-Dateisystemdesign, sodass die physikalische Mechanik von SSDs die allgemeine Meinung über freien Speicherplatz, die für Winchester-Disks gilt, ziemlich über den Haufen wirft.

Bei SSDs ist die Menge an freiem Speicherplatzauf das Gerät als Ganzes, d. h. über alle Volumes auf der Discund dazwischen, hat Auswirkungen sowohl auf die Leistung als auch auf die Lebensdauer. Und die Grundlage für die Idee, dass eine Datei in Blöcken mit zusammenhängenden logischen Blockadressen gespeichert werden muss, wird durch die Tatsache untergraben, dass SSDs keine Platten zum Rotieren und keine Köpfe zum Suchen haben. Die Regeln ändern sich erneut.

Bei SSDs beträgt die empfohlene Mindestmenge an freiem Speicherplatz eigentlichmehrals die traditionellen 10 %, die aus Experimenten mit Winchester-Discs und Berkeley FFS vor 33 Jahren stammen. Anand Lal Shimpi gibt beispielsweise 25 % an. Dieser Unterschied wird noch dadurch verstärkt, dass es sich um freien Speicherplatz handeln mussüber das gesamte Gerät, während die Zahl von 10 %innerhalb jedes einzelnen FFS-Volumensund wird somit davon beeinflusst, ob das Partitionierungsprogramm weiß, dass der gesamte Speicherplatz, der von der Partitionstabelle keinem gültigen Datenträger zugewiesen ist, getrimmt werden muss.

Hinzu kommen Komplexitäten wie TRIM-fähige Dateisystemtreiber, die freien Speicherplatz TRIMmen können.innerhalbDisk-Volumes und die Tatsache, dass SSD-Hersteller selbst auchbereitsunterschiedliche Grade vonreservierter Platzdas für verschiedene Zwecke wie Garbage Collection und Wear Levelling außerhalb des Geräts (d. h. für den Host) nicht einmal sichtbar ist.

Literaturverzeichnis

Antwort2

Obwohl ich nicht über die Veröffentlichung von „Forschungsergebnissen“ in „Peer-Review-Zeitschriften“ sprechen kann – und ich möchte mich bei meiner täglichen Arbeit auch nicht auf diese verlassen –, kann ich über die Realität von Hunderten von Produktionsservern unter einer Vielzahl von Betriebssystemen über viele Jahre hinweg sprechen:

Es gibt drei Gründe, warum eine volle Festplatte die Leistung beeinträchtigt:

  • Mangel an freiem Speicherplatz: Denken Sie an temporäre Dateien, Updates usw.
  • Verschlechterung des Dateisystems: Bei den meisten Dateisystemen ist die optimale Anordnung der Dateien beeinträchtigt, wenn nicht genügend Platz vorhanden ist.
  • Verschlechterung auf Hardwareebene: SSDs und SMR-Festplatten ohne ausreichend freien Speicherplatz weisen einen verringerten Durchsatz und – noch schlimmer – eine erhöhte Latenz auf (manchmal um viele Größenordnungen).

Der erste Punkt ist trivial, insbesondere da kein vernünftiges Produktionssystem jemals Swap-Speicherplatz in dynamisch wachsenden und verkleinerten Dateien verwenden würde.

Der zweite Punkt unterscheidet sich stark zwischen Dateisystemen und Arbeitslast. Für ein Windows-System mit gemischter Arbeitslast erweist sich ein Schwellenwert von 70 % als durchaus brauchbar. Für ein Linux-ext4-Dateisystem mit wenigen, aber großen Dateien (z. B. Videoübertragungssysteme) kann dieser Wert auf über 90 % steigen.

Der dritte Punkt ist hardware- und firmwareabhängig, aber insbesondere SSDs mit einem Sandforce-Controller können bei hohen Schreiblasten auf die Free-Block-Löschung zurückgreifen, was zu Schreiblatenzen führt, die um Tausende von Prozent ansteigen. Wir lassen normalerweise 25 % auf Partitionsebene frei und beobachten dann eine Füllrate von unter 80 %.

Empfehlungen

Mir ist klar, dass ich erwähnt habewie manStellen Sie sicher, dass eine maximale Füllrate durchgesetzt wird. Einige zufällige Gedanken, keiner davon „peer-reviewed“ (bezahlt, gefälscht oder echt), aber alle aus Produktionssystemen.

  • Dateisystemgrenzen verwenden: /vargehört nicht in das Root-Dateisystem.
  • Überwachung, Überwachung, Überwachung. Verwenden Sie eine vorgefertigte Lösung, wenn sie für Sie geeignet ist, andernfalls analysieren Sie die Ausgabe df -hund lassen Sie im Notfall die Alarmglocken schrillen. Dies kann Ihnen 30 Kernel auf einem Root-FS mit installierten und laufenden automatischen Upgrades ohne die Option „Autoremove“ ersparen.
  • Wägen Sie die möglichen Störungen durch einen FS-Überlauf gegen die Kosten ab, die entstehen, wenn er überhaupt vergrößert wird: Wenn Sie kein eingebettetes Gerät verwenden, können Sie diese 4G für Root einfach verdoppeln.

Antwort3

Wurden Untersuchungen zum Prozentsatz oder zur absoluten Menge an freiem Speicherplatz durchgeführt, die bestimmte Kombinationen aus Betriebssystemen, Dateisystemen und Speichertechnologien erfordern?

In meinen 20 Jahren als Systemadministrator bin ich noch nie auf eine Studie gestoßen, in der der freie Speicherplatzbedarf verschiedener Konfigurationen detailliert beschrieben wurde. Ich vermute, das liegt daran, dass Computer so unterschiedlich konfiguriert sind, dass dies aufgrund der schieren Anzahl möglicher Systemkonfigurationen schwierig wäre.

Um zu bestimmen, wie viel freien Speicherplatz ein System benötigt, müssen zwei Variablen berücksichtigt werden:

  1. Der Mindestraumbedarf, um unerwünschtes Verhalten zu verhindern,was selbst eine fließende Definition haben kann.

    Beachten Sie, dass es nicht hilfreich ist, den erforderlichen Freiraum ausschließlich anhand dieser Definition zu bestimmen, denn das käme der Aussage gleich, dass man ohne Bedenken mit 80 Meilen pro Stunde auf eine Mauer zufahren kann, bis man mit ihr kollidiert.

  2. Die Geschwindigkeit, mit der Speicher verbraucht wird,Dies erfordert die Reservierung einer zusätzlichen variablen Speichermenge, damit die Systemleistung nicht abnimmt, bevor der Administrator Zeit zum Reagieren hat.

Die spezifische Kombination aus Betriebssystem, Dateisystemen, zugrunde liegender Speicherarchitektur sowie Anwendungsverhalten, virtueller Speicherkonfiguration usw. stellt eine große Herausforderung für jemanden dar, der definitive Anforderungen an den freien Speicherplatz angeben möchte.

Deshalb gibt es so viele „Nuggets“ an Ratschlägen. Sie werden feststellen, dass viele davon Empfehlungen für eine bestimmte Konfiguration enthalten. Beispiel: „Wenn Sie eine SSD haben, die bei Erreichen der Kapazitätsgrenze Leistungsprobleme hat, halten Sie über 20 % freien Speicherplatz.“

Da es auf diese Frage keine einfache Antwort gibt, ist der richtige Ansatz zur IdentifizierungdeinDer Mindestfreispeicherbedarf Ihres Systems besteht darin, die verschiedenen allgemeinen Empfehlungen im Lichte der spezifischen Konfiguration Ihres Systems zu berücksichtigen, dann einen Schwellenwert festzulegen, ihn zu überwachen und bereit zu sein, ihn nach Bedarf anzupassen.

Oder Sie halten einfach mindestens 20 % des Speicherplatzes frei.Es sei denn, Sie verfügen über ein 42 TB RAID 6-Volume, das durch eine Kombination aus SSDs und herkömmlichen Festplatten und einer vorab zugewiesenen Auslagerungsdatei unterstützt wird ... (das ist ein Witz für die ernsthaften Leute.)

Antwort4

Bei SSDs sollte etwas Platz übrig bleiben, da sich sonst die Überschreibrate erhöht und die Schreibleistung der Festplatte negativ beeinflusst. 80 % belegt sind wahrscheinlich für alle SSD-Festplatten ein sicherer Wert, einige aktuelle Modelle funktionieren möglicherweise sogar mit 90–95 % belegter Kapazität einwandfrei.

https://www.howtogeek.com/165542/warum-solid-state-drives-slow-down-as-you-fill-them-up/

verwandte Informationen