Para responder a la pregunta del título, y TL;DR

Question

Estoy considerando FreeNAS; y quiero confirmar de antemano que mi comprensión de lo que puedo o no puedo hacer con el almacenamiento es correcta.

1. Construcción inicial: 1 grupo de almacenamiento con 2 unidades de 6 TB que se reflejan entre sí; para una capacidad efectiva total de 6 TB (sin tener en cuenta el redondeo y los gastos generales).

2. Primera expansión (entre 2,5 y 3 años): agregue 2 unidades de 12 TB al servidor. Configúrelos como un segundo par reflejado y agréguelos al grupo de almacenamiento existente; aumentando mi almacenamiento disponible a 18 TB.

3. Segunda fase de expansión 1 (entre 5,5 y 7,5 años): agregue 2 unidades de 24 TB al servidor. Configúrelos como un par reflejado y agréguelos al grupo de almacenamiento existente; aumentando mi almacenamiento disponible a 42 TB.

4. Segunda fase de expansión 2 (inmediatamente después de la fase 1): reequilibre todos los datos de las unidades de 6 TB, elimínelas del grupo y luego físicamente del servidor. Almacenamiento disponible restante 36 TB.

Mis pensamientos aquí son:

• Duplicar la capacidad de almacenamiento necesaria cada menos de 3 años es una continuación de mis experiencias con servidores WHS desde 2008 hasta el presente.

• Después de agregar las unidades de 24 TB, las de 6 TB solo proporcionarán una fracción insignificante del almacenamiento total (1/7) y están envejeciendo lo suficiente como para que la confiabilidad se convierta en una preocupación más importante si las dejo adentro (lado equivocado de la curva de la bañera) . Si sobrevivieran, a mi ritmo de crecimiento sólo extendería el tiempo antes de necesitar comprar unidades de 48 TB en poco más de medio año; así que realmente no me darían mucho tiempo.

• Limitarme a 4 unidades me permite usar un factor de forma mini-ITX compacto para mi nas. Superar eso significa una configuración más grande y costosa. (2 unidades ubicadas en la parte superior de una caja abierta con cables serpenteantes son aceptables durante uno o dos días de transición, pero no a más largo plazo).

• También asumo que todo sigue igual para la disponibilidad de unidades más grandes, como lo fueron en mis actualizaciones anteriores de aproximadamente 3 años: 1,5-3 TB (2012) y 3-6 TB (ahora/futuro cercano). Y que cualquier unidad nueva que esté disponible será lo suficientemente confiable como para poder usarse (es decir, el apocalipsis de las incursiones nunca ocurre).

Answer 1

Antes que nada:No voy a especular sobre el desarrollo dentro de 6 o 7 años.Se trata del presente y del futuro más cercano. Para elTL;DR, vea la parte inferior de esta respuesta.

Actualmente, ZFS no le permite eliminar un vdev de un grupo. Tampoco tiene ninguna funcionalidad nativa de "reequilibrio" (busquereescritura de puntero de bloque,reescribir pboreescritura bpopara aprender más sobre esto). ZFShacele permite reducir el nivel de redundancia de un vdev reflejado, pero no de raidzN, pero eso no es lo que desea. (En ZFS, la creación de bandas es lo que obtienes cuando no dices nada).

Básicamente, los pools pueden considerarse como conjuntos divididos formados por uno o más dispositivos de almacenamiento cada uno, de los cuales sólo el último (vdevs) puede organizarse en una configuración redundante. Puede configurar cada vdev para niveles arbitrariamente altos de redundancia, perocadavdev en el grupo debe permanecer por encima de su umbral de redundancia para que el grupo sea completamente funcional. Si un vdev falla,a lo mejorsolo se pierden los datos que se almacenaron en ese vdev y no hay forma de controlar activamente qué datos se almacenan en qué vdev (aparte de colocarlos en grupos separados, lo que tiene otros inconvenientes).

Cuando tiene un grupo "reflejado" como el que describe después de la primera expansión, lo que realmente tiene son dos vdev, cada uno compuesto por un par reflejado de dispositivos de almacenamiento físico, donde los dos vdev están divididos para formar el grupo. Un grupo de dos vdev, dos unidades por espejo, puede verse afectado por una unidad fallida yunoerror desafortunado en la otra unidad de ese conjunto de espejos, incluso si el otro conjunto de espejos funciona perfectamente. En caso de tal falla, pase lo que pase, perderá algunos datos.

La forma normal de aumentar la capacidad en un grupo ZFS esreemplace las unidades en su lugarcon los más grandes, permita que el grupo se vuelva a colocar en la nueva unidad y luego retire físicamente la unidad anterior que ya no se usa. Normalmente, se desea utilizar zpool replaceesto con la unidad antigua y la nueva conectadas, para mantener el nivel de redundancia deseado durante todo el proceso. La alternativa normal es agregar vdevs con el mismo nivel de redundancia que los vdevs existentes en el grupo. Nuevamente, tenga en cuenta que, dado que ZFS no admite la eliminación de una parte de un conjunto seccionado y los grupos se componen estrictamente de vdev seccionados, no puede eliminar un vdev una vez que lo haya agregado. Muchos recién llegados a ZFS caen en esta trampa, y es fácil equivocarse si no prestas atención a los comandos exactos que utilizas.

Debido a cómo funcionan los resilver ZFS, el resilvering es terriblemente doloroso para las unidades involucradas. Mientras que los resilvers RAID tradicionales suelen ser en su mayoría secuenciales con pequeñas cantidades de E/S aleatorias intercaladas de la actividad del usuario, los resilvers ZFS son casi completamente E/S aleatorias intercaladas con E/S aleatorias de la actividad del usuario. Un juego de espejos ha experimentado prácticamente la misma actividad a lo largo de su vida; Si un impulso es marginal, o incluso ha muerto, es muy posible que el otro impulso también sea, en el mejor de los casos, marginal. Hacer que sufra la terrible experiencia de recuperar la plata durante días y días puede fácilmente llevarlo al límite. (Basado en mi experiencia personal, calculo que, para recuperar 6 TB de datos, se necesita un proceso de recuperación de aproximadamente una semana. Incluso si gira todas las perillashasta 11, basado en un rendimiento secuencial puro, lo cual es totalmente irreal dado el formato en disco y la estrategia de recuperación de ZFS, está viendoal menosunas 17 horas de puro terror durante el viaje. Mi mejor suposición es que no habría manera de reducir un resiliver de 6 TB a menos del doble, o un día y medio, de abuso absoluto del disco).

También tendría serias dudas sobre una configuración espejo de 2x24TB o incluso de 2x12TB, suponiendo que dichas unidades se materialicen; Ya estamos superando un poco los límites de la física (sin juego de palabras) con los tamaños de unidades actuales. Suponiendo que la unidad sea confiable, en términos deURE, sigue siendo similar a hoy (10 ^ -14 a 10 ^ -15 errores de sector por bit leído, que es donde ha estado rondando por siempre en las hojas de datos del fabricante), estadísticamente no podrá hacer una lectura completa de su Unidad de 12 TB sin encontrar al menos un error (12 TB son aproximadamente 9 × 10 ^ 13 bits, lo que se redondea muy bien a 10 ^ 14). Para cuando lleve esto a unidades de 24 TB, estadísticamente alcanzaráal menosuno o dos errores de sector completo en una pasada de lectura completa (porque estás leyendo aproximadamente 2*10^14 bits). Incluso si opta por unidades URE de 10 ^ -15, eso no le permitirá comprar mucho (entonces estará viendo cinco pases de lectura, en lugar de medio pase de lectura). Esto, por supuesto, son estadísticas y especificaciones; en la práctica, los errores de lectura tienden a agruparse, y una unidad puede brindar un servicio sin problemas durante muchas, muchas lecturas completas antes de que, en algún momento, comience a arrojar errores de izquierda a derecha y al centro.

Dado que la mayoría de los hilanderos que no son de servidor tienen una garantía solo de 1 a 3 años, no contaría con que ningún conjunto siga funcionando por mucho más tiempo, mientras que su plan exige que sigan funcionando durante al menos seis años antes de ser reemplazados. . Incluso los servidores giratorios normalmente solo tienen una garantía de cinco años, aunque normalmente son cinco años de funcionamiento 24 horas al día, 7 días a la semana. Mi experiencia personal es que las unidades de consumo de alta gama, como la serie Constellation ES de Seagate, pueden proporcionar casi este nivel de servicio antes de rendirse e ir al cielo de los datos. (Anécdota personal: un Constellation ES.2 de 1 TB. Tenía alrededor de 4 años y 9 a 10 meses en su haber cuando comenzó a comportarse de manera extraña, aunque nunca lo ejecuté hasta que fallara).

En general, tenga en cuenta que muchas personas que ejecutan ZFS optan por la doble redundancia una vez que los tamaños de los giradores alcanzan la marca de 3 a 4 TB, o menos para datos más importantes. Hay una buena razón para esto:los dispositivos de almacenamiento fallany esosucede con una frecuencia alarmante. En el caso de ZFS, también está buscando servicios de recuperación de datos mucho más costosos si desea algo más que devolverle los bits sin procesar que aún se pueden leer en los platos, y no conozco ningún software de recuperación de datos que puede incluso manejar de forma remota grupos ZFS. Si ZFS no puede importar su grupo, la respuesta más práctica suele ser considerar perdido cualquier dato del que no haya realizado una copia de seguridad.en otra parte.

Para responder a la pregunta del título, y TL;DR

¿Me permitirá FreeNAS/ZFS administrar mi almacenamiento de esta manera?

En un sentido estrictamente técnico, sí debería. Sin embargo, yoen realidadNo lo recomendaría en absoluto.Estás forzando demasiado el ámbito operativo del hardware.sentirme cómodo con él, y mucho menos respaldarlo. (Tenga en cuenta que esta respuesta sería prácticamente la misma independientemente del sistema de archivos sobre el que estuviera preguntando).