Tengo una carpeta llena de archivos de respaldo de correo electrónico (de offlineimap). Una de esas carpetas tiene 87k archivos, de los cuales 68k tienen un tamaño de entre 512 y 1024 bytes. (Esta carpeta es bastante representativa del resto). La distribución de tamaño completo se ve así:
Size bin % by count % by space
512 0.08% 0.00%
1024 77.37% 74.58%
2048 1.65% 1.62%
4096 3.92% 4.05%
8192 6.11% 6.78%
16384 3.68% 4.25%
32768 3.07% 3.66%
65536 1.77% 2.15%
131072 0.75% 0.92%
262144 0.36% 0.44%
524288 0.33% 0.41%
1048576 0.30% 0.37%
2097152 0.21% 0.27%
4194304 0.20% 0.25%
8388608 0.11% 0.14%
16777216 0.08% 0.10%
Mi pregunta es: ¿cuál es el mejor tamaño de registro para usar con estos datos? Me sentiría tentado a pensar en 1k, pero esto es mucho más pequeño que los valores recomendados normales y me preocupa la sobrecarga de los metadatos.
He leído algunos artículos que tocan este tema, pero no he llegado a ninguna conclusión. Por ejemplo,un articuloexamina la eficiencia del almacenamiento al utilizar tamaños de registro más pequeños que el archivo promedio. El tamaño mínimo promedio de su archivo era 128k y descubrió que con la compresión, la eficiencia del almacenamiento aumentaba a medida que el tamaño del bloque aumentaba de 512 a 128k, pero no probó tamaños de bloque mayores que sus archivos, por lo que la tendencia completa no está clara.
Otra buena lectura fueeste hilo de redditque describe la diferencia entre tamaños de registros y bloques, y profundiza en el ajuste del rendimiento de SSD.
Respuesta1
Terminé haciendo lo que dijo @ewwhite e hice una evaluación comparativa rápida. Mi conclusión es que 128k está bien.
BlockSize CompRatio du-s
1 0 50747244
2 1 26001757
4 1 13487472
8 1.04 12690656
16 1.06 9560063
32 1.08 8011524
64 1.09 7872713
128 1.1 7822344
256 1.11 7804225
512 1.14 7799985
1024 1.16 7801688
Respuesta2
Rara vez cambio el tamaño del registro en los grupos ZFS. El valor predeterminado de 128K es adecuado para la mayoría de las cargas de trabajo.
Puede comparar esto fácilmente con diferentes tamaños de registros...
Si le preocupa el rendimiento del almacenamiento, existen más oportunidades para optimizar en otros lugares. ¿Tiene detalles sobre el sistema operativo/hardware/requisitos?