Ich habe einen i5-Prozessor der 6. Generation mit 8 GB RAM, eine 4 TB große sekundäre Festplatte und eine 500 GB große primäre Festplatte. Die 4 TB große Festplatte ist mit NTFS formatiert. Mein Ziel ist es, eine große Menge an Dateien auf die Festplatte zu schreiben. Die Festplatte ist eine SATA-Festplatte mit 7200 U/min und ich muss den Komprimierungsalgorithmus an den geschriebenen Dateien testen. Die Dateien, die auf die Festplatte geschrieben werden, sind, wenn sie kleiner und mit zlib komprimiert werden, etwa 12-20 KB groß. Ich habe ein Bash-Skript geschrieben, um zu Testzwecken 500.000 Kopien davon zu erstellen, habe jedoch festgestellt, dass 7-8 Dateien pro Sekunde in dieses Verzeichnis geschrieben wurden, was 100 kB/s entspricht, während die angegebene Geschwindigkeit viel höher ist. Ich möchte etwa 100 Dateien pro Sekunde erreichen. Ich weiß nicht, was ich tun soll. Bitte geben Sie mir Tipps, wie ich die höchste Schreibgeschwindigkeit erreichen kann.
Antwort1
Ihr Engpass ist das Dateisystem, nicht die Festplatte. Wie gut das Dateisystem (und seine Implementierung) bei Dateioperationen (Erstellen/Löschen usw.) skaliert, hängt stark von der Implementierung und dem Design ab. Sie erzielen wahrscheinlich bereits einen deutlich besseren Durchsatz, wenn Sie sequenziell in eine einzelne Datei schreiben, anstatt dieselbe Datenmenge in verschiedene Dateien zu schreiben, was viele Dateisystemoperationen (Öffnen/Erstellen) erfordert.
Wenn Sie viele Dateivorgänge ausführen müssen, müssen Sie ein Dateisystem wählen, das unter Linux besser skaliert als NTFS. XFS oder EXT4 sind solide Optionen mit guter Leistung.
Es gibt genügend vonBenchmarksVergleichen Sie die Leistungsunterschiede, die auf das Gleiche hinweisen.
Antwort2
Wenn Sie kleine Dateien schreiben, testen Sie hauptsächlich die Geschwindigkeit, mit der das Dateisystem Dateien öffnen/schließen kann (und möglicherweise eine gewisse Latenz bei Kopfbewegungen). Und wenn Sie NTFS unter Linux verwenden, nutzen Sie nicht das leistungsstärkste Dateisystem überhaupt. Wenn Sie die Geschwindigkeit Ihres Algorithmus testen möchten, verwenden Sie ein natives Dateisystem (ext4...) und große Dateien. Wenn Sie dann unter NTFS langsamere Ergebnisse erhalten, wissen Sie, woher diese kommen.