У меня есть резервная копия раздела размером 77 ГБ в одном файле, и я хотел бы быстро сжать ее. Она должна сжиматься очень хорошо даже при худших настройках, но выбор GZIP с настройкой "Самый быстрый" занимает около ~1 часа. Как ускорить процесс?
Подробнее: Файл образа — это необработанная двоичная копия разделов (выход инструмента linux ddrescue). Я храню файл на жестком диске WD, подключенном через USB 3.
решение1
Что касается улучшения скорости сжатия:
- Проведите параллель.http://blog.codinghorror.com/file-compression-in-the-multi-core-era/.
- Различные алгоритмы сжатия (например, lzop) работают очень быстро.
- Получите оптимизированные реализации zlib. Например, Google Intel zlib.
Что касается улучшения скорости чтения:
- Вы приблизитесь к номинальной пропускной способности диска только если используете SSD или читаете с диска в режиме «блок». Это связано с поиском файлов, связанным с чтением небольших файлов.
- В Linux вы бы использовали что-то вроде
dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop