Estou me referindo a sites de compartilhamento de arquivos como megaupload.com, rapidshare.com e sites de download de software como download.com, filehippo.com.
Eles precisam armazenar toneladas de terabytes de dados e também dessa largura de banda. Eu não os comparo a empresas como Google, Yahoo, Amazon porque são empresas enormes e têm sua própria configuração de hardware enorme.
Como eles (megaupload/filehippo) armazenam quantidades tão grandes de dados? Quais tecnologias e arquitetura de hardware eles usam?
PS: Meu interesse é iniciar meu próprio site de download de software como filehippo.com.
Responder1
Na verdade, o que você vê não é o que é na realidade :)
Os sites de compartilhamento de arquivos não têm TONELADAS de terabytes, mas cerca de 10 a 500 TB de dados. Você deve ter ouvido falar que existem muitas empresas de hospedagem que oferecem espaço ilimitado, o que é uma GRANDE MENTIRA. porque não existe espaço ILIMITADO para essas coisas. Eles têm apenas algumas centenas de terabytes de espaço de armazenamento, e é certo que nem todo usuário possui terabytes de dados para armazenar no espaço web. A maioria dos usuários hospeda de 100 MB a 2-5 GB de dados/sites. o número de grandes utilizadores de dados é consideravelmente baixo.
Chegando ao ponto, o que eles usam? Eles simplesmente possuem SAN (redes de área de armazenamento), onde cada servidor possui cerca de 4 TB a 20 TB de espaço em disco. E todos eles estão conectados através de Fibre Channel ou Gigabit Ethernet. No front-end, possuem aplicação web, que utiliza espaço desta rede SAN.
Como você vai iniciá-lo do zero, para aplicativos da web front-end você pode usar qualquer servidor de ponta que seja adequado para você e, no back-end, você pode construir seu próprio NAS/SAN usando FreeNAS (que é uma classe empresarial de código aberto gratuito sistema operacional de gerenciamento de armazenamento). você pode adicionar vários terabytes de unidades baratas e sua pequena rede de alguns terabytes estará pronta. Com base no tráfego e no uso, você pode continuar adicionando mais espaço conforme a necessidade.
Responder2
Bem, eles têm... muitos discos rígidos.
OBlog Backblazediscute como eles fazem algo semelhante (vendem armazenamento de backup ilimitado).