Estoy desarrollando un sistema de videovigilancia que graba y transmite muchas transmisiones de video desde muchas cámaras IP remotas.
Un servidor se ejecutaría en una máquina que maneja alrededor de 500 transmisiones de video (250 kbps por transmisión de video). Un servidor sería parte de una gran granja de servidores controlada por un servidor simple (aquí no tiene importancia).
Ahora soy ingeniero de software y me han puesto a cargo de encontrar el hardware adecuado para ejecutar mis servidores... ¡Y no tengo ni idea de lo que necesito!
¿Puedo instalar Linux y configurar un par de discos duros rápidos en RAID y puedo tener el mismo rendimiento que alguna solución de almacenamiento costosa?
¿Cuántas CPU necesito, placa base u otras?
¿Cuál es la mejor marca de HDD para esto?
¿Existe refrigeración por agua para los discos duros?
Perdón por hacer preguntas estúpidas, pero me gusta escribir software, usola computadoray esos son todos los detalles del hardware que necesito saber en mi trabajo...:)
Respuesta1
1. ¿Puedo instalar Linux y configurar un par de discos duros rápidos en RAID y puedo tener el mismo rendimiento que alguna solución de almacenamiento costosa?
No. Al menos elegiría un controlador raid de hardware decente (mi apuesta es Adaptec). La razón principal es que su instalación de Linux apesta en términos de ajuste simplemente porque carece de hardware optimizado. Es decir: no puede utilizar de forma segura el almacenamiento en caché de reescritura porque si falla la energía, los discos pueden volverse locos. PUEDES hacerlo en un Adaptec 5805Z o un 5805 con BBU porque si falla la energía, el caché integrado es seguro (por un tiempo o más: el BBU funciona durante 2 días, el modelo Z escribe los datos en un módulo flash). Técnicamente, por cierto, todavía estoy ejecutando Linux (en el controlador).
2. ¿Cuántas CPU necesito, placa base u otras?
Bastante irrelevante. No estás vinculado a la CPU a menos que hagas compresión. Cualquier CPU debería ser suficiente, incluso un ATOM. Nuevamente, a menos que haga mucho más que simplemente pasar las transmisiones a través del disco, no es probable que tenga un problema de CPU.
3. ¿Cuál es la mejor marca de discos duros para esto?
Occidente digital. Más específico: Velociraptors, si necesita un rendimiento decente a un precio decente. La única unidad de 10.000 RPM menos que una unidad SAS mucho más cara. Dependiendo de su necesidad de IO, podría salirse con la suya con unidades más grandes y más lentas. Esto debe probarse y mucho depende de su codificación.
Obtenga un servidor de SuperMicro: 2 unidades de rack de alto, lugar para 24 discos duros (factor de forma 2,5). Mucho espacio para expandirse. Posiblemente comenzaría con 8 discos en una configuración RAID 10. Se pueden unir varias jaulas entre sí. Requiere un controlador RAID SAS (como los Adaptecs mencionados anteriormente).
4. ¿Existe refrigeración por agua para los discos duros?
Sí, pero es totalmente irrelevante para el servidor. Esto es principalmente para osmoen crear una PC silenciosa con refrigeración líquida total y querer deshacerse del calor HD sin ventilador.
Respuesta2
Me retracto de mi respuesta original, ya que confundí 125 Megabit con 125 Gigabit. Me avergüenza.
Pero claro, esto lo hace todo un poquito más fácil :)
Entonces, para tus preguntas:
Algo así como. Puede obtener un rendimiento bastante bueno, que debería ser más que suficiente para este caso. Sin embargo, recomendaría utilizar tantos discos como sea posible y posiblemente un controlador raid de hardware. Esto permite, entre otras ventajas, un fácil intercambio en caliente de discos rotos sin problemas por parte del sistema operativo. Y, por cierto, consiga un estuche con bahías de unidades intercambiables en caliente.
Esto depende principalmente de lo que quieras hacer. Una placa base de calidad de servidor con dos zócalos para CPU de 4 núcleos y CPU apropiadas debería ser suficiente solo para almacenamiento. Sin embargo, recomendaría mucha RAM para tener un búfer para cuando, por cualquier motivo, la escritura en el disco se detenga por un corto tiempo. Piense en al menos 16 o 24 GB.
El tiempo de acceso es importante en este escenario, por lo que debería optar por discos HD de calidad de servidor con al menos 10 k RPM o más, tal vez incluso 15 k. La capacidad depende de cuánto tiempo desea conservar los datos (a 125Megabit/s total para su transmisión, terminará con alrededor de 50 GB/hora).
¿Por qué refrigeración por agua? No conozco ningún sistema que ofrezca refrigeración por agua para bahías de unidades intercambiables en caliente.
Respuesta3
¿Cuánto tiempo tienes que conservar las grabaciones?
Impulsará aproximadamente 16 MB por segundo de manera sostenida, o alrededor de 1,25 TB por día.
Su matriz de discos deberá ser grande y no muy rápida. Si su software de grabación almacena un poco en el buffer, ni siquiera tendrá muchos iops. Puedo ver fácilmente que un raid de software de Linux como el que mencionas maneja esta carga, especialmente si le das un par de GB de RAM para almacenar en el buffer. Esto supone un software decente.
Si no está transcodificando el video a un formato diferente, no necesitará mucha CPU para esto, cualquier Intel/AMD moderno servirá. Necesitará una red gigabit.
Elmarcaes difícil de responder, obtendría algo de redundancia (raid5) y compraría discos SATA baratos de cualquier marca de renombre.
Para refrigeración (y confiabilidad), obtendría un chasis de servidor que albergue la cantidad requerida de discos. El chasis proporcionará el flujo de aire necesario para mantener los discos fríos. Con la información actual veo poca necesidad de pasar a la refrigeración por agua.
Respuesta4
Sugiero preguntarles a estos chicos del MIT: http://www.media.mit.edu/cogmac/projects/hsp.html
En el Human Speechome Project grabaron durante 3 años con 11 cámaras de alta calidad y 14 micrófonos en una casa. Había una matriz de discos de 5 TB en la casa con un clúster de 10 nodos. Después de la compresión, se acumulan 300 GB cada día. Periódicamente, los datos se transfirieron a la granja de servidores del MIT a través de unidades portátiles.
Tienes alrededor de 100 veces más transmisiones de video que ellos, pero aún así podrían tener información importante que probablemente puedas obtener a través de una rápida conversación por correo electrónico. Su hardware tiene más de 5 años y medio.
Aquí hay una charla de Ted de 20 minutos sobre el proyecto: http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (Si tiene poco tiempo, desplácese hasta el punto 1m 00s y observe durante un par de minutos).
Publicación:http://www.media.mit.edu/cogmac/publications/cogsci06.pdf