Erstens bin ich neu im Festplattenbereich, ich kenne nur die Grundlagen. Ich versuche, die Leistung einer Software mit hohem I/O zu verbessern, und ich muss verstehen, wie meine SAS-Festplatten in Bezug auf Lese- und Schreibgeschwindigkeit funktionieren.
Ich habe sehr einfache Lese-/Schreibtests durchgeführt und dabei etwas bemerkt, das wie ein „Schreibabsturz“ aussieht. Die Festplatten haben mehrere TB Speicherkapazität und die Maschine, an die sie angeschlossen sind, hat 630 GB RAM. Meine Tests zeigen, dass nach ~200 GB intensivem Schreiben die Schreibgeschwindigkeit von ~2000 MB/s auf ~300 MB/s sinkt.
Ich vermute, dass es eine Art großen Puffer oder Cache gibt, der sich irgendwann füllt und dadurch die Schreibgeschwindigkeit verringert. Wie funktioniert das eigentlich? Wie kann ich seine Größe berechnen? Ist es konfigurierbar?
Antwort1
300 M/s ist eine völlig normale Schreibgeschwindigkeit für ein direkt angeschlossenes SAS-Array. Alles darüber ist ein Artefakt der Zwischenspeicherung durch das Betriebssystem.
Dies lässt sich nur schwer sagen, ohne zu wissen, was Ihre Anwendung macht. In vielen Fällen O_DIRECTführt die Verwendung des Flags beim Öffnen einer Datei jedoch zu einem realistischeren Verhalten: Das System umgeht den Cache und geht direkt zum Festplattencontroller. Dadurch werden die Cache-Artefakte und der Schreibabbruch beseitigt.
Natürlich geschieht dies auf Kosten einer Reduzierung Ihrer Schreibleistung auf das tatsächliche Niveau Ihrer E/A-Hardware – aber genau das ist der Punkt: Sie können nicht schneller schreiben, als es Ihr Festplattensubsystem auf nachhaltige Weise zulässt: Der Cache wird bei stoßweisen Schreiblasten eine große Hilfe sein, kann die Beschränkungen der zugrunde liegenden Hardware jedoch nicht für immer überwinden.