☰

Cómo construir un registrador de tráfico de red de alto rendimiento sin cuellos de botella (20 Gbps)

tag-icon • tag-icon linux raid software-raid hardware-raid bottleneck
Cómo construir un registrador de tráfico de red de alto rendimiento sin cuellos de botella (20 Gbps)

Necesito construir un servidor que sea capaz de capturar tráfico de red de 20 Gigabit/segundo (2 adaptadores de red de 10 g - 99 % de utilización) y almacenarlos en un disco sin pérdida de paquetes. El requisito es proporcionar la capacidad de registrar entre 20 y 30 minutos de tráfico continuo.

Al no ser un "experto en hardware", busqué en la red los discos duros más rápidos de la actualidad y se me ocurrió la siguiente opción: Configurar Raid-0 (banda) en 6 x 600 GBUnidades SATA VelociRaptor de WD, que afirma ser la unidad (sata) más rápida del mundo (interfaz de 6 Gb/s), que proporcionaría una velocidad de escritura de 36 Gbps.

Mis preguntas son básicamente, tener resuelto el problema del disco duro,

  1. ¿Qué pasa con las otras partes de la máquina? ¿Qué tipo de placa base necesitaría?
  2. ¿Qué tipo de CPU?
  3. ¿Cuántas CPU?
  4. ¿Cuánta RAM se necesita dado que los datos no se manipulan sino que se escriben en los discos duros?

Me gustaría agradecerles a todos de antemano por su ayuda y consejos.

Respuesta1

Si bien tengo dudas sobre qué tan realista es este tipo de cosas con el hardware OTS; Aquí están mis pensamientos:

Cada una de esas unidades puede funcionar aproximadamente 1 Gbps (máximo); necesitaría una matriz de al menos 20 para obtener el rendimiento de escritura que necesita. De manera realista, probablemente necesitaría más de 30 unidades para obtener un rendimiento continuo y algún tipo de redundancia; aunque no creo que haya muchos RAID SAS que puedan alcanzar 2,5 GBps con RAID5 o 6; por lo que es posible que se quede atrapado con RAID10.

Necesitará de 3 a 4,5 TB de almacenamiento utilizable para esa cantidad de datos. Con las unidades Raptor tendrás eso fácilmente, incluso con RAID10 (que probablemente sea tu mejor opción aquí).

La CPU, las líneas PCIe y la RAM no deberían ser demasiadas consideraciones; aparte de lo que necesiten la tarjeta RAID y las NIC. Preferiría una CPU rápida antes que una con muchos núcleos. No hace mucho por sí solo, solo coordina las transferencias DMA en su mayor parte. Tomaría al menos 4 GB de RAM; aunque más será prácticamente mejor en todos lados.

información relacionada