Ich werde Dateien in einem Ordner auf meinem Server speichern. Die Anzahl der Dateien wird überschreiten2 Millionen. Jede Dateigröße liegt im Bereich zwischen5–100 MB.
Welche Art von Dateisystem kann diese Datenmenge gut verarbeiten?
Ich weiß, dass XFS sehr große einzelne Dateien verarbeiten kann. Kann es auch große Dateimengen verarbeiten?
Antwort1
XFS kann das, aber es kommt besser damit zurecht, wenn Sie es für Ihren Anwendungsfall planen. Der Zugriff auf diese Daten (STAT- und OPEN-Vorgänge) geht schneller, wenn das Betriebssystem weniger Inodes hat, die es durchsuchen muss, um die Daten abzurufen. Wenn Sie weniger als, sagen wir, 30.000 Dateien/Verzeichnisse in einem bestimmten Verzeichnis haben, brauchen Sie sich mit dieser Optimierung nicht zu beschäftigen.
Wenn Sie jedoch eine größere Größe wählen, sollten Sie die -i size=512Option zur Erhöhung der Inode-Größe in Betracht ziehen. Dadurch sind mehr Verzeichniseinträge pro Inode möglich, sodass das Betriebssystem weniger Einträge durchsuchen muss, um einen Baum zu durchlaufen. Angesichts der heutigen SSDs wird dies die Dinge weniger verbessern als damals in den Tagen des rotierenden Rust; es ist jedoch eine Optimierung, die in Betracht gezogen werden sollte.
Ich habe einmal ein XFS-basiertes Dateisystem verwaltet, das über 20 Millionen Dateien enthielt, mit einer durchschnittlichen Dateigröße von etwa 100 KB. Ich habe dieses spezielle Dateisystem so konzipiert, dass es weit über 100 Millionen verarbeiten kann, und es war auf dem besten Weg, dieses Ziel zu erreichen, als ich die Firma verließ. Dies ist die Produktionsversion des Systems, das ich hier beschrieben habe:Die Auswirkungen eines hohen Verzeichnis-zu-Datei-Verhältnisses auf XFS
Ist XFS dafür die beste Wahl? Schwer zu sagen. Aber ich vertraue ihm mehr alsext4für große Dateisysteme, wie Sie sie beschreiben.btrfskönnte es vielleicht schaffen, aber die konservativere Fraktion der Systembetreiber hält es noch nicht für produktionsreif.