Amazon, Facebook e Google devem receber TBs, se não PBs, por dia, o que significa que eles têm pessoas instalando continuamente novos discos rígidos e cabos em novos racks, da mesma forma que você construiria um servidor normal, ou há uma tecnologia diferente usada? para conectar unidades em massa?
Responder1
Não sei se algum deles está realmente instalando hardware em um servidor por vez. De volta2008A MS começou a construir seus data centers entregando servidores em contêineres de servidores selados e pré-conectados, que eles só precisavam descarregar de um caminhão e conectar conexões de energia/rede. Embora a versão 08 fosse uma mistura de contêineres e tradicional para seus mais recentesCentro de dadosdesde então, eles adotaram um design pré-fabricado personalizado que é à prova de intempéries e não precisa ser alojado em edifícios separados.
AmbosHP e IBMvenda pacotes semelhantes com contêineres pré-construídos cheios de servidores que só precisam de conexões de energia/dados para serem implantados.
Responder2
O Google possui várias tecnologias que desenvolveu internamente para armazenar essas enormes massas de dados. Usando essas tecnologias, eles podem realmente adicionar caminhões de discos rígidos ao seu cluster sem qualquer tempo de inatividade, mas sim, eles ainda precisam de pessoas fazendo isso.
Pelo que eu sei no Blog do Google, as duas partes principais são o Google File System, que é um sistema de arquivos distribuído que pode ser ampliado em grande escala:Sistema de arquivos do Google
E além do sistema de arquivos do Google, eles têm o Big Table, que é uma espécie de banco de dados de valores-chave e também pode ser expandido em grandes escalas:Mesa grande
Para garantir alta disponibilidade tudo é redundante muitas vezes, mais de 3 vezes na maioria dos casos.
Responder3
Isso está precisamente correto. Lembro-me de que, certa vez, os datacenters do Facebook adicionavam três reboques cheios de discos rígidos e servidores montados em rack num dia normal. É claro que eles têm esquemas complicados para tornar o armazenamento escalonável e redundante. O Google, por exemplo, temGFS. O Facebook tem três data centers apenas para seus equipamentos, cada um maior que dois Wal-Marts e um novo planejado quatro vezes maior que seus centros existentes.
Responder4
Aqui está uma postagem interessante no blog do BackBlaze sobre como eles fazem isso (provavelmente não precisam de tantos discos quanto o Google ou o Facebook, mas ainda assim um lt inteiro) e o que eles precisavam fazer quando houve inundações na Tailândia que destruíram o disco rígido caro e mais difícil de sobreviver:
http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/