Amazon, Facebook и Google должны поглощать терабайты, если не петабайты данных в день. Означает ли это, что у них есть люди, которые постоянно устанавливают новые жесткие диски и кабели в новые стойки так же, как вы собираете обычный сервер, или для массового подключения дисков используется другая технология?
решение1
Я не знаю, устанавливают ли они на самом деле оборудование на одном сервере за раз. Назад в2008MS начала строить свои дата-центры, поставляя серверы в запечатанных и предварительно подключенных контейнерах для транспортировки серверов, которые им нужно было просто выгрузить из грузовика и подключить к ним питание/сетевые соединения. В то время как сборка 08 представляла собой смесь контейнеров и традиционных для их последнихДата центрС тех пор они перешли на индивидуальную сборную конструкцию, которая устойчива к погодным условиям и не требует размещения в отдельных зданиях.
ОбаHP и IBMпродают аналогичные пакеты с готовыми контейнерами, заполненными серверами, для развертывания которых требуется только подключение к электропитанию и данным.
решение2
У Google есть несколько технологий, которые они разработали внутри компании для хранения этих огромных массивов данных. Используя эти технологии, они могут добавлять грузовики с жесткими дисками в свой кластер без какого-либо простоя, но да, им все еще нужны люди, которые этим занимаются.
Насколько мне известно из блога Google, две основные части — это файловая система Google, которая представляет собой распределенную файловую систему, способную масштабироваться до очень больших масштабов:Файловая система Google
А поверх файловой системы Google есть Big Table, которая представляет собой своего рода базу данных Key Value, также масштабируемую до огромных масштабов:Большой стол
Для обеспечения высокой доступности все избыточно многократно, в большинстве случаев более чем в 3 раза.
решение3
Это совершенно верно. Я помню, что когда-то центры обработки данных Facebook добавляли три тягача с жесткими дисками и стоечными серверами в среднем за день. Конечно, у них есть сложные схемы, чтобы сделать хранилище масштабируемым и избыточным. Например, у Google естьГФС. У Facebook есть три центра обработки данных только для своего оборудования, каждый из которых больше двух магазинов Wal-Mart, а новый запланированный центр будет в четыре раза больше существующих центров.
решение4
Вот интересная запись в блоге BackBlaze о том, как они это делают (им, вероятно, не нужно столько дисков, как Google или Facebook, но все равно целый литраж), и что им пришлось делать, когда в Таиланде случились наводнения, из-за которых жесткие диски стали дорогими и их стало сложнее достать:
http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/