(오프라인imap의) 이메일 백업 파일로 가득 찬 폴더가 있습니다. 그러한 폴더 중 하나에는 87,000개의 파일이 있으며 그 중 68,000개의 파일 크기는 512-1024바이트입니다. (이 폴더는 나머지 폴더를 꽤 대표합니다.) 전체 크기 분포는 다음과 같습니다.
Size bin % by count % by space
512 0.08% 0.00%
1024 77.37% 74.58%
2048 1.65% 1.62%
4096 3.92% 4.05%
8192 6.11% 6.78%
16384 3.68% 4.25%
32768 3.07% 3.66%
65536 1.77% 2.15%
131072 0.75% 0.92%
262144 0.36% 0.44%
524288 0.33% 0.41%
1048576 0.30% 0.37%
2097152 0.21% 0.27%
4194304 0.20% 0.25%
8388608 0.11% 0.14%
16777216 0.08% 0.10%
내 질문은: 이 데이터에 사용하기에 가장 좋은 레코드 크기는 무엇입니까? 1k라고 생각하고 싶지만 이는 일반적인 권장 값보다 훨씬 작으며 메타데이터로 인한 오버헤드가 걱정됩니다.
나는 이 문제를 다루는 몇 가지 기사를 읽었지만 어떤 결론에도 도달하지 못했습니다. 예를 들어,기사 하나평균 파일보다 작은 레코드 크기를 사용하여 저장 효율성을 검사합니다. 그의 평균 최소 파일 크기는 128k였으며 압축을 사용하면 블록 크기가 512k에서 128k로 증가함에 따라 저장 효율성이 증가한다는 것을 발견했지만 파일보다 큰 블록 크기를 테스트하지 않았으므로 전체 추세는 명확하지 않습니다.
또 다른 좋은 읽기는이 레딧 스레드레코드 크기와 블록 크기의 차이를 설명하고 SSD 성능 튜닝에 대해 설명합니다.
답변1
나는 결국 @ewwhite가 말한 대로 하고 빠른 벤치마크를 수행했습니다. 내 결론은 128k가 괜찮다는 것입니다.
BlockSize CompRatio du-s
1 0 50747244
2 1 26001757
4 1 13487472
8 1.04 12690656
16 1.06 9560063
32 1.08 8011524
64 1.09 7872713
128 1.1 7822344
256 1.11 7804225
512 1.14 7799985
1024 1.16 7801688
답변2
ZFS 풀의 레코드 크기를 거의 변경하지 않습니다. 기본값인 128K는 대부분의 워크로드에 적합합니다.
다양한 레코드 크기에서 이를 쉽게 벤치마킹할 수 있습니다.
스토리지 성능이 우려되는 경우 다른 곳에서 최적화할 수 있는 더 많은 기회가 있습니다. OS/하드웨어/요구사항에 대한 세부정보가 있나요?