☰

Ist es am besten, die Festplatte mit 512-KB-Blöcken oder mit kleineren bzw. größeren Blöcken auf exFAT neu zu formatieren?

tag-icon • tag-icon filesystems formatting windows-media-center exfat
Ist es am besten, die Festplatte mit 512-KB-Blöcken oder mit kleineren bzw. größeren Blöcken auf exFAT neu zu formatieren?

Ich kann ein brandneues 2TB WD Passport-Laufwerk auf exFAT neu formatieren und habe dabei die Wahl zwischen zahlreichen „Allocation Unit Sizes“:

128kb
256kb
512kb
1024kb
4096kb
16384kb
32768kb

welches ist am besten, wenn dieses Laufwerk hauptsächlich zum Aufzeichnen von HDTV-Programmen mit Media Center unter Windows 7 verwendet wird? Danke.

Dies hängt mit der Frage zusammen: Ist es am besten, unsere externe Festplatte für die Kompatibilität mit dem Mac auf exFAT neu zu formatieren?

Antwort1

Sie sollten zunächst verstehen, was

Größe der Zuordnungseinheit (AUS)

bedeutet.

Es ist der kleinste Datenblock auf der Festplatte. Ihre eigentlichen Daten werden beim Speichern auf der Festplatte in Einheiten dieser Größe aufgeteilt. Wenn Sie beispielsweise eine Datei mit der Größe512 KBund du hast128 KBZuordnungseinheitsgröße, Ihre Datei wird gespeichert in4 Einheitenauf der Festplatte (512 KB/128 KB).

Wenn die Größe Ihrer Datei500 KBund du hast128KB AUS, Ihre Datei wirdnoch in 4 Einheiten gespeichert werdenauf der Festplatte, da wie oben erwähnt 128 KB die kleinste Größe einer Zuordnungseinheit ist.384 KB werden in 3 Einheiten zugeteilt, die restlichen 116 KB werden in einer letzten Einheit zugeteilt und 12 KB dieser Einheit bleiben leer. Sie können dieses Verhalten im Dateieigenschaftendialogfeld unter Windows beobachten. Die Größe Ihrer Datei und wie viel Speicherplatz diese Datei tatsächlich auf der Festplatte einnimmt, sind zwei verschiedene Konzepte. Das Betriebssystem liest bei einem Festplattenlesevorgang auf niedriger Ebene nur die Daten im Umfang der Zuordnungseinheit.

Allerdings reduziert die Verwendung einer großen AUS die Nutzung des freien Speicherplatzes erheblich, da die letzte Zuordnungseinheit nicht vollständig genutzt wird. Als Nebeneffekt verringert sich die Anzahl der auf der Festplatte zu speichernden Dateien aufgrund desselben Problems: Die letzte Zuordnungseinheit wird nicht vollständig genutzt. Aber hier ist der Kompromiss: Die Verwendung einer großen AUS verbessert die Leseleistung der Festplatte erheblich. Das Betriebssystem kann mehr Daten bei einem Lesevorgang lesen. Stellen Sie sich vor, das Betriebssystem müsste nur ein paar Festplatten-Lesevorgänge durchführen, um eine GB-große Datei vollständig zu lesen!

Die Verwendung kleiner AUS verbessert die Nutzung des freien Speicherplatzes, verringert jedoch die Leseleistung der Festplatte. Denken Sie daran, große AUS umgekehrt zu verwenden. Die gleichen Kategorieprobleme und Verbesserungen, aber umgekehrt ...

Was ist also die Schlussfolgerung hier? Wenn Sie große (ich meine große!) Dateien auf der Festplatte speichern, wird ein höherer AUS eine spürbare Steigerung der Leseleistung bringen und gleichzeitig die Anzahl der Dateien und den freien Speicherplatz reduzieren.

Welchen AUS sollten Sie verwenden? Dies hängt von Ihrer durchschnittlichen Dateigröße ab. Sie können auch die freie Speicherplatzauslastung entsprechend Ihrer Dateigrößen berechnen.

Antwort2

Da es sich bei HD-Aufzeichnungen um große Dateien handelt, bietet eine große Zuordnungseinheit (16384 oder 32768 KB) eine bessere Leistung. Die Auswirkungen von ungenutztem Speicherplatz (Speicherplatzverschwendung aufgrund nicht vollständig genutzter Zuordnungseinheiten – Dateien werden in Zuordnungseinheiten gespeichert, die als ganze Einheiten genutzt werden müssen) sind bei einer kleinen Anzahl von Dateien begrenzt. Wenn Sie hingegen viele kleinere Dateien haben, verwenden Sie eine kleinere Zuordnungseinheit, um den verschwendeten Speicherplatz zu reduzieren.

Antwort3

Für Dateisysteme mit vielen kleinen Dateien verwenden Sie8 KiBClustergrößen. Für Dateisysteme mit nur großen Dateien, wie Medien, verwenden Sie128 KiBCluster. Wenn Sie nicht sicher sind, verwenden Sie8 KiBClustergrößen. Bei Clustern mit mehr als 128 KiB ist die Geschwindigkeitsverbesserung vernachlässigbar (siehe Diagramm oben links in der Diagrammgruppe unten), aber bei größeren Clustern besteht die Möglichkeit einer enormen Festplattennutzung.

Beispiel: für meinen Fall mit vielen kleinen Dateien (knapp über 1 Million Dateien, insgesamt 74 GB):

  1. 8 KiB Clustergröße-->82 GB Speicherplatzmeine 74 GB Daten sind aufgebraucht.
    1. 338 MBSchreibgeschwindigkeit
  2. 128 KiB Clustergröße-->194 GB Speicherplatzfür meine gleichen 74 GB Daten verbraucht
    1. 390 MBSchreibgeschwindigkeit
  3. 32 MiB Clustergröße-->32768 GB (32,8 TB) (nein! kein Fehler) Speicherplatzmeine 74 GB Daten sind aufgebraucht.
    1. 428 MBSchreibgeschwindigkeit

Die Standardwerte von Microsoft für die Clustergröße betragen ebenfalls maximal 128 KiB. Siehe die Tabelle am Ende meiner Antwort von Microsoft.

Studieren Sie diese Diagramme, die ich sorgfältig erstellt habe. Die Trends im Diagramm oben links gelten unabhängig davon, wie viele kleine Dateien Sie haben, da ich diese Tests durchgeführt habe, indem ich eine 5,3 GB große Datei per Rsync auf die externe exFAT-SSD synchronisiert habe. Bei den anderen drei Diagrammen wird dies jedoch durch die Menge der kleinen Dateien, die ich habe, noch verschärft. Der logarithmisch-lineare Trend unten rechts gilt für alle, aber seine Steigung und damit die Werte auf der Y-Achse hängen davon ab, wie viele kleine Dateien Sie haben.

Bildbeschreibung hier eingeben

Bei Interesse habe ich hier auf meiner Website einen ausführlichen Bericht dazu:https://gabrielstaples.com/exfat-clusters/

Der vollständige Python-Code zum Plotten von Matplotlib/Numpy finden Sie hier:https://github.com/ElectricRCAircraftGuy/eRCaGuy_hello_world/blob/master/stack_exchange/format_exFAT_PLOTS.py

Ich beantworte nicht die Frage des OP zum „Aufzeichnen von HDTV-Programmen“. Ich antworte für Leute mit vielen kleinen Dateien, einschließlich der Durchführung einer vollständigen Festplattensicherung, da sie sicherlich auch auf dieser Seite landen werden.

Wenn Sie viele kleine Dateien haben, würde ich die kleinstmögliche Zuordnungseinheit wählen. So vermeiden Sie Platzverschwendung für winzige Dateien.Beispiel: Verwenden Sie auf exFAT eine Zuordnungseinheitsgröße von 4 KiB statt 128 KiB.

Ich habe gerade ein Backup erstellt74 GBvon Daten von einem Apple APFS-Dateisystem auf eine externe SSD mit einem exFAT-Dateisystem mitZuordnungseinheitsgröße von 128 KB(die Standardeinstellung anscheinend beim Formatieren auf exFAT mit Gnome Disks in Linux Ubuntu) und auf dem externen Laufwerk dieehemals-74 GBder Daten im APFS-Dateisystem beanspruchen nun satteFestplatteauf dem exFAT-Dateisystem! Das ist verrückt! Das ist2,62-fachmehr Platz beansprucht, für nichts!

Das liegt daran, dass ich Tausende und Abertausende kleiner Dateien habe, die zum Beispiel nur ein paar hundertBytes. Auf dem alten Laufwerk mit dem APFS-Dateisystem würden diese einen einzigen512 ByteCluster, und auf dem neuen externen Laufwerk mit dem exFAT-Dateisystem belegen dieselben 90-Byte-Dateien satte128 KBCluster, das ist 128KiB * 1024 bytes/KiB / 512 bytes=256 mal größerSpeicherplatz, der auf dem exFAT-Laufwerk für kleine Dateien benötigt wird. Die Reduzierung dieser 128-KiB-Zuordnungseinheit auf nur 4 KiB würde beispielsweise 128/4 =32x weniger Platz!

Siehe auch

  1. Meine Antwort:Unix und Linux: Erstellen und formatieren Sie eine exFAT-Partition unter Linux– Ich zeige die Befehle sowohl für Linux Ubuntu 20.04 mit mkexfatfsals auch für Linux Ubuntu 22.04 mit mkfs.exfat.

  2. Meine Antwort zur Ermittlung der Clustergröße eines beliebigen Dateisystems:Serverfehler: So finden Sie die Clustergröße vonbeliebigDateisystem, ob NTFS, Apple APFS, ext4, ext3, FAT, exFAT usw.

  3. [SEHR NÜTZLICH]Support.Microsoft.com: Standardclustergröße für NTFS, FAT und exFAT:

    Standardclustergrößen für exFAT

    Die folgende Tabelle beschreibt die Standardclustergrößen für exFAT.

    Volumengröße Windows 7, Windows Server 2008 R2, Windows Server 2008,
    Windows Vista, Windows Server 2003, Windows XP
    7 MB–256 MB 4 KB
    256 MB–32 GB 32 KB
    32 GB–256 TB 128 KB
    > 256 TB Nicht unterstützt

Antwort4

Grundsätzlich gilt: Je größer die Dateien sind, die Sie behalten möchten, desto größer sollte die Größe der Zuordnungseinheit sein, die Sie verwenden möchten – aber nicht zu groß oder zu klein! Ich denke, DragonLord hat das ziemlich gut erklärt.

Wenn Sie also Platzverschwendung stört, sollten Sie vielleicht über die Verwendung eines anderen Dateisystems nachdenken. Vielleicht etwas wie EXT4. Das Problem dabei ist, dass Microsoft-Betriebssysteme (eigentlich Windows) nicht besonders gut mit anderen Formaten als FAT (vFAT, FAT32 usw.) oder NTFS funktionieren. Und wenn Sie jemals Dateien haben, die größer als 4 GB sind, werden Sie möglicherweise jedes FAT-System verfluchen, das Sie verwenden. Daher würde ich empfehlen, das NTFS-Dateisystem mit der empfohlenen Zuordnungseinheitsgröße zu verwenden (ich glaube, das sind 4 KB). Auf diese Weise können Sie Ihre Monsterdateien, wenn Sie Dateien haben, die größer als 4 GB sind, zumindest so lange speichern, bis Sie sie aufteilen oder in kleinere Dateien umwandeln können. (Ich gehe davon aus, dass wir über riesige Multimediadateien sprechen, weshalb ich „Umcodierung“ erwähne, da ich beim Umcodieren scheinbar immer Wege finde, Dateien kleiner zu machen, insbesondere wenn sie mit MCE aufgezeichnet wurden.)

Der einzige Grund, den ich für die Verwendung von FAT (vFAT, FAT32, FAT16 usw.) sehe, ist, dass andere Betriebssysteme Dateien auf dem Speichergerät lesen/schreiben können. FAT ist so universell akzeptiert wie nur möglich. Ansonsten empfehle ich nicht, FAT zu verwenden (es sei denn, die Kapazität des Geräts beträgt 4 GB oder weniger) – verwenden Sie zumindest für Windows NTFS. Sie können jederzeit eine weitere Partition mit einem anderen Dateisystem erstellen, selbst wenn sie sich auf demselben physischen Laufwerk befindet. Ich hoffe, das hilft.

verwandte Informationen