Voy a almacenar archivos en una carpeta en mi servidor. La cantidad de archivos excederá2 millones. Cada tamaño de archivo tendrá un rango entre5 MB - 100 MB.
¿Qué tipo de sistema de archivos puede manejar bien esa cantidad de datos?
Sé que XFS puede manejar archivos individuales muy grandes, ¿puede manejar una gran cantidad de archivos?
Respuesta1
XFS puede soportar eso, pero lo hará mejor si planifica su caso de uso. El acceso a esos datos (operaciones STAT y OPEN) será más rápido si el sistema operativo tiene menos inodos que recorrer para obtener los datos. Si va a tener menos de, digamos, 30 000 archivos/directorios en un directorio determinado, no necesita preocuparse por esta optimización.
Pero si va a ser más grande, es posible que desee considerar usar la -i size=512opción para obtener un tamaño de inodo más grande. Eso permitirá más entradas de directorio por inodo, por lo que el sistema operativo tendrá que revisar menos para atravesar un árbol. Teniendo en cuenta los SSD de hoy en día, esto mejorará menos las cosas que en los días de óxido; pero es una optimización a considerar.
Una vez administré un sistema de archivos basado en XFS que tenía más de 20 millones de archivos, con un tamaño de archivo promedio de aproximadamente 100 KB. Diseñé ese sistema de archivos en particular para manejar más de 100 millones y estaba en camino de llegar allí cuando dejé esa empresa. Esa es la versión de producción del sistema que describí aquí:El impacto de una alta proporción de directorio a archivo en XFS
¿XFS es la mejor opción para esto? Difícil de decir. Pero confío en ello más queext4para sistemas de archivos grandes como el que usted describe.btrfspodría aceptarlo, pero la facción más conservadora de los operadores del sistema no lo considera listo para la producción todavía.