Me refiero a sitios web para compartir archivos como megaupload.com, rapidshare.com y sitios web de descarga de software como download.com, filehippo.com.
Necesitan almacenar toneladas de terabytes de datos y también ese ancho de banda. No los comparo con empresas como Google, Yahoo, Amazon porque son empresas enormes y tienen su propia configuración de hardware personal.
¿Cómo almacenan (megaupload/filehippo) cantidades tan grandes de datos? ¿Qué tecnologías y arquitectura de hardware utilizan?
PD: Mi interés es que quiero iniciar mi propio sitio de descarga de software como filehippo.com.
Respuesta1
En realidad, lo que ves, no es lo que es en realidad :)
Los sitios para compartir archivos no tienen TONELADAS de terabytes, sino entre 10 y 500 TB de datos. Es posible que hayas escuchado que hay muchas empresas de hosting que te brindan espacio ilimitado, lo cual es una GRAN MENTIRA. porque no existen tales cosas con espacio ILIMITADO. Solo tienen unos pocos cientos de terabytes de espacio de almacenamiento, y es seguro que no todos los usuarios tienen terabytes de datos para almacenar en el espacio web. La mayoría de los usuarios alojan entre 100 MB y 2-5 GB de datos/sitios web. el número de usuarios intensivos de datos es considerablemente bajo.
Yendo al grano ¿qué usan? Simplemente tienen SAN (redes de área de almacenamiento), donde cada servidor tiene entre 4 TB y 20 TB de espacio en disco. Y todos están conectados a través de Fibre Channel o Gigabit Ethernet. En el front-end, tienen una aplicación web que utiliza el espacio de esta red SAN.
Como va a comenzar desde cero, para la aplicación web front-end puede usar cualquier servidor de alta gama que sea adecuado para usted y, en el backend, puede crear su propio NAS/SAN usando FreeNAS (que es un servidor gratuito de código abierto de clase empresarial). SO de gestión de almacenamiento). puede agregarle un montón de terabytes de unidades económicas y su pequeña red de unos pocos terabytes estará lista. Según el tráfico y el uso, puede continuar agregando más espacio, según sea necesario.
Respuesta2
Bueno, tienen... muchos discos duros.
ElBlog de Backblazeanaliza cómo hacen algo similar (venden almacenamiento de respaldo ilimitado).