Я имею в виду сайты обмена файлами, такие как megaupload.com, rapidshare.com, и сайты загрузки программного обеспечения, такие как download.com, filehippo.com.
Им нужно хранить тонны терабайт данных, и им нужна такая пропускная способность. Я не сравниваю их с такими компаниями, как Google, Yahoo, Amazon, потому что это огромные компании, и у них есть свои собственные огромные аппаратные установки.
Как они (megaupload/filehippo) хранят такие огромные объемы данных? Какие технологии и аппаратную архитектуру они используют?
PS: Я хочу создать свой собственный сайт для загрузки программного обеспечения, например filehippo.com.
решение1
На самом деле, то, что вы видите, не является тем, что есть на самом деле :)
Файлообменные сайты не имеют ТОНН терабайт, но около 10-500 ТБ данных. Вы могли слышать, что есть много хостинговых компаний, которые предоставляют вам неограниченное пространство, что является БОЛЬШОЙ ЛОЖЬЮ. потому что нет такого понятия, как НЕОГРАНИЧЕННОЕ пространство. У них просто есть несколько сотен терабайт дискового пространства, и наверняка не у каждого пользователя есть терабайты данных для хранения в веб-пространстве. Большинство пользователей размещают от 100 МБ до 2-5 ГБ данных/веб-сайтов. количество пользователей с большим объемом данных значительно невелико.
Переходя к сути, что они используют? У них просто SAN (сети хранения данных), где каждый сервер имеет около 4-20 ТБ дискового пространства. И все они подключены либо через Fiber Channel, либо через Gigabit Ethernet. На front-End у них есть веб-приложение, которое использует пространство из этой сети SAN.
Поскольку вы собираетесь начать с нуля, для front-end веб-приложения вы можете использовать любой подходящий вам сервер высокого класса, а на back-end вы можете создать свой собственный NAS/SAN с помощью FreeNAS (это бесплатная ОС с открытым исходным кодом для управления хранилищем корпоративного класса). Вы можете добавить в него кучу терабайт дешевых дисков, и ваша небольшая сеть в несколько терабайт готова. Исходя из трафика и использования, вы можете продолжать добавлять больше места, исходя из потребностей.
решение2
Ну, у них... много жестких дисков.
TheБлог Backblazeобсуждает, как они делают нечто подобное (продают неограниченное хранилище резервных копий).