단일 파일에 77GB의 큰 파티션 백업 이미지가 있는데 이를 빠르게 압축하고 싶습니다. 최악의 설정에서도 매우 잘 압축되지만 "가장 빠른" 설정으로 GZIP을 선택하면 약 1시간 정도 걸립니다. 프로세스 속도를 어떻게 높일 수 있나요?
자세한 내용: 이미지 파일은 파티션의 원시 바이너리 복사본입니다(Linux ddrescue 도구의 출력). USB 3으로 연결된 WD 하드 드라이브에 파일을 저장합니다.
답변1
압축 속도 향상과 관련하여:
- 병렬화하세요.http://blog.codinghorror.com/file-compression-in-the-multi-core-era/.
- 다른 압축 알고리즘(예: lzop)은 매우 빠릅니다.
- 최적화된 zlib 구현을 얻으세요. 예를 들어 Google Intel zlib.
읽기 속도 향상과 관련하여:
- SSD를 사용하거나 "차단" 모드에서 디스크를 읽는 경우에만 정격 디스크 처리량에 가까워집니다. 이는 작은 파일 읽기와 관련된 파일 검색과 관련이 있습니다.
- 리눅스에서는 다음과 같은 것을 사용합니다
dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop