Estoy configurando una granja de almacenamiento a gran escala y, para evitar la necesidad de fscks de un mes de duración, mi plan es dividir el almacenamiento en numerosos sistemas de archivos más pequeños (esto está bien, ya que tengo un árbol de archivos bien organizado). , por lo que puedo tener fácilmente sistemas de archivos separados montados en 1/, 2/, 3/, 4/etc.).
Mi dificultad es encontrar una enumeración de lo que es un tamaño "razonable" para un sistema de archivos, para mantener los tiempos de fsck igualmente "razonables". Si bien soy plenamente consciente de que el tiempo absoluto para un tamaño determinado dependerá en gran medida del hardware, parece que no puedo encontrar ninguna descripción de la forma de la curva para los tiempos de fsck de ext3 con diferentes tamaños de sistemas de archivos y cuáles son las otras variables ( ¿un sistema de archivos lleno de archivos en un solo directorio toma más tiempo que uno con 10 archivos en cada uno de los miles de directorios en un árbol?
¿Alguien tiene referencias a números bien investigados sobre esto? En su defecto, cualquier anécdota sobre estos temas debería al menos ayudar a guiar mi propia experimentación, en caso de que sea necesario.
EDITAR: Para aclarar: independientemente del sistema de archivos, si algo sale mal con los metadatos, será necesario verificarlo. Si los re-fscks basados en tiempo o montaje están habilitados o son necesarios no es un problema, y la única razón por la que pido números específicamente relacionados con ext3 es porque ese es el sistema de archivos más probable que se elija. Si conoce un sistema de archivos que tiene un proceso fsck particularmente rápido, estoy abierto a sugerencias, pero debe ser una opción sólida (las afirmaciones de que "¡el sistema de archivos X nunca necesita fscking!" serán objeto de burla y burla durante mucho tiempo) . También soy consciente de la necesidad de realizar copias de seguridad, y el deseo de realizar fsck no sustituye a las copias de seguridad; sin embargo, simplemente descartar el sistema de archivos y restaurar desde la copia de seguridad cuando falla, en lugar de realizar fsck, parece una opción realmente buena.en realidadcompensación tonta.
Respuesta1
De acuerdo a unartículo de Mathur et al.(p. 29), el tiempo de e2fsck crece linealmente con la cantidad de inodos en un sistema de archivos después de cierto punto. Si nos guiamos por el gráfico, será más efectivo con sistemas de archivos de hasta 10 millones de inodos.
Cambiar a ext4 ayudaría, bajo la condición de que su sistema de archivos no esté cargado hasta el borde, donde la ganancia de rendimiento (debido a no verificar los inodos marcados como no utilizados) no tiene ningún efecto perceptible.
Respuesta2
Creo que tendrás que hacer tu propia evaluación comparativa. Una búsqueda rápida en Google no reveló nada, excepto que ext4 fscks es mucho más rápido que ext3.
Entonces, cree algunas particiones ext3, 100 GB, 200 GB, etc. hasta el tamaño del disco que utilizará. Luego llénelos con datos. Si puede utilizar datos que se parezcan a sus datos de producción (archivos por directorio, distribución del tamaño de los archivos, etc.), será lo mejor. Tenga en cuenta que simplemente copiar archivos desde otra partición o dispositivo de copia de seguridad los colocará en el disco perfectamente distribuidos y desfragmentados, por lo que a sus pruebas les faltarán muchos de los tiempos de búsqueda del cabezal del disco que surgirán de muchas escrituras, modificaciones y eliminaciones.
También deberás pensar un poco en los fscks paralelos. Vea los últimos campos en /etc/fstab. Las particiones en el mismo disco físico deben realizarse en secuencia; Se pueden utilizar varios discos en el mismo controlador en paralelo, pero tenga cuidado de no sobrecargar el controlador y ralentizarlos.
Respuesta3
http://lmgtfy.com/?q=fsck+benchmark
Parece que fsck en sistemas de archivos ext4 es significativamente más rápido que en ext3, y algunos informes indican que ext4 fsck es 10 o incluso más veces más rápido que ext3.
Dos artículos bastante interesantes de esa búsqueda son:
http://thunk.org/tytso/blog/2008/08/08/fast-ext4-fsck-times/yhttp://thunk.org/tytso/blog/2009/02/26/fast-ext4-fsck-times-revisited/
Respuesta4
¿Hay alguna razón por la que no puedas usar un sistema de archivos que no te fuerce el tiempo o los fscks basados en el recuento de montaje cuando reinicias?
(Los fscks basados en tiempo realmente me molestan; para un servidor con un tiempo de funcionamiento prolongado, prácticamente garantiza que tendrás que realizar un fsck completo cada vez que actualices el kernel).
de todos modos, XFS es uno de los sistemas de archivos de registro que no fuerzan un fsck. digno de una mirada.