Tengo un procesador i5 de sexta generación con 8 gb de ram, disco duro secundario de 4 tb y disco duro primario de 500 gb. El disco duro de 4tb está formateado con ntfs. Mi objetivo es escribir una gran cantidad de archivos en el disco. El disco es SATA 7200RPM y hay que probar el algoritmo de compresión en los mismos archivos escritos. Los archivos que se escribirán en el disco son, si se comprimen en un tamaño más pequeño con j zlib, el rango será de alrededor de 12 a 20 KB. Escribí un script bash para hacer 500000 copias del mismo con fines de prueba, pero descubrí que se escribían entre 7 y 8 archivos por segundo en ese directorio, que es de 100 kB/s, mientras que la velocidad mencionada es mucho mayor. Quiero lograr como 100 archivos por segundo. No se que hacer. Sugiérame que alcance la velocidad de escritura más alta.
Respuesta1
Su cuello de botella es el sistema de archivos, no el disco. La escala del sistema de archivos (y su implementación) en las operaciones de archivos (creación/eliminación/etc.) varía mucho, dependiendo de la implementación y el diseño. Probablemente ya archive un rendimiento significativamente mejor al escribir en un solo archivo de forma secuencial en lugar de escribir la misma cantidad de datos en diferentes archivos que requieren muchas operaciones del sistema de archivos (abrir/crear).
Si debe realizar muchas operaciones con archivos, debe elegir un sistema de archivos que se escale mejor en Linux que NTFS. XFS o EXT4 son opciones sólidas con buen rendimiento.
Hay un montón depuntos de referenciacomparando las diferencias de rendimiento que señalan lo mismo.
Respuesta2
Si escribe archivos pequeños, principalmente está probando la velocidad a la que el sistema de archivos puede abrir/cerrar archivos (y posiblemente cierta latencia de movimiento de la cabeza). Y al usar NTFS en Linux no estás usando el sistema de archivos con mejor rendimiento que existe. Si desea probar la velocidad de su algoritmo, utilice un sistema de archivos nativo (ext4...) y archivos grandes. Entonces, si obtiene resultados más lentos en NTFS, sabrá de dónde provienen.