Ich habe ein 77 GB großes Partitions-Backup-Image in einer einzigen Datei und möchte es schnell komprimieren. Es sollte selbst bei den schlechtesten Einstellungen sehr gut komprimierbar sein, aber die Auswahl von GZIP mit der Einstellung „Schnellste“ dauert etwa 1 Stunde. Wie kann ich den Vorgang beschleunigen?
Weitere Details: Die Image-Datei ist eine rohe, binäre Kopie der Partitionen (Ausgabe des Linux-Tools ddrescue). Ich speichere die Datei auf einer WD-Festplatte, die über USB 3 angeschlossen ist.
Antwort1
In Bezug auf die Verbesserung der Komprimierungsgeschwindigkeit:
- Parallelisieren Sie es.http://blog.codinghorror.com/Dateikompression im Multi-Core-Zeitalter/.
- Verschiedene Komprimierungsalgorithmen (wie lzop) sind sehr schnell.
- Holen Sie sich optimierte Zlib-Implementierungen. Beispielsweise Google Intel Zlib.
Zur Verbesserung der Lesegeschwindigkeit:
- Sie erreichen Ihren angegebenen Festplattendurchsatz nur dann, wenn Sie eine SSD verwenden oder wenn Sie im „Block“-Modus von Ihrer Festplatte lesen. Dies hängt mit den Dateisuchvorgängen zusammen, die beim Lesen kleiner Dateien auftreten.
- Unter Linux würden Sie etwas wie
dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop