Amazon, Facebook y Google deben aceptar TB, si no PB, por día, entonces, ¿eso significa que tienen gente instalando continuamente nuevos discos duros y cables en nuevos bastidores de la misma manera que se podría construir un servidor normal, o se utiliza una tecnología diferente? ¿Para conectar unidades en masa?
Respuesta1
No sé si alguno de ellos realmente está instalando hardware en un servidor a la vez. De nuevo en2008MS comenzó a construir sus centros de datos entregando servidores en contenedores de envío sellados y precableados que solo necesitaban descargar de un camión y enchufar las conexiones de red/alimentación. Si bien la construcción de 08 fue una mezcla de contenedores y tradicional para su versión más recientecentro de datosDesde entonces, optaron por un diseño prefabricado personalizado que es resistente a la intemperie y no necesita alojarse dentro de edificios separados.
AmbosHP e IBMvenda paquetes similares con contenedores prediseñados llenos de servidores que solo necesitan conexiones de alimentación/datos para implementarse.
Respuesta2
Google tiene varias tecnologías que desarrolló internamente para almacenar estas enormes masas de datos. Al utilizar estas tecnologías, pueden agregar toneladas de discos duros a su clúster sin ningún tiempo de inactividad, pero sí, todavía necesitan gente que lo haga.
Hasta donde sé por el blog de Google, las dos partes principales son el sistema de archivos de Google, que es un sistema de archivos distribuido que puede ampliarse a una escala realmente grande:Sistema de archivos de Google
Y además del sistema de archivos de Google, tienen Big Table, que es una especie de base de datos de valores clave y también se amplía a escalas enormes:Mesa grande
Para garantizar una alta disponibilidad, todo es redundante muchas veces, más de 3 veces en la mayoría de los casos.
Respuesta3
Eso es precisamente correcto. Recuerdo que en un momento, los centros de datos de Facebook agregaban tres camiones llenos de discos duros y servidores montados en bastidor en un día normal. Por supuesto, tienen esquemas complicados para hacer que el almacenamiento sea escalable y redundante. Google, por ejemplo, tieneSGF. Facebook tiene tres centros de datos sólo para sus equipos, cada uno más grande que dos Wal-Mart y uno nuevo planeado cuatro veces más grande que sus centros existentes.
Respuesta4
Aquí hay una publicación de blog interesante de BackBlaze sobre cómo hacen esto (probablemente no necesitan tantos discos como Google o Facebook, pero aún así son muchos), y qué tenían que hacer cuando hubo inundaciones en Tailandia que hicieron que el disco duro caro y más difícil de conseguir:
http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/