☰

取り込み速度の速いサービスでは、どうすれば十分なハードディスクを十分な速さでインストールできるのでしょうか?

tag-icon • tag-icon hard-drive scaling
取り込み速度の速いサービスでは、どうすれば十分なハードディスクを十分な速さでインストールできるのでしょうか?

Amazon、Facebook、Google は 1 日あたり PB とは言わないまでも TB 単位のデータを取り込んでいるはずです。つまり、通常のサーバーを構築するのと同じように、新しいハードディスクとケーブルを新しいラックに継続的にインストールする人がいるということでしょうか。それとも、ドライブを大量に接続するために別のテクノロジーが使用されているのでしょうか。

答え1

実際にサーバーごとにハードウェアをインストールしている人がいるかどうかは分かりません。2008MSは、サーバーを密閉され配線済みの輸送コンテナで配送してもらうことでデータセンターの構築を開始し、トラックから降ろして電源やネットワーク接続を差し込むだけで済みました。2008年の構築ではコンテナと従来の方法を組み合わせた最新のものとなりましたが、データセンターそれ以来、彼らは耐候性があり、別の建物内に収容する必要のない特注のプレハブ設計に移行しました。

両方HPとIBM展開するには電源とデータ接続のみを必要とするサーバーが満載の、構築済みのコンテナを備えた同様のパッケージを販売します。

プレハブモジュールが風雨にさらされているマイクロソフトのバージニア州ボイデンデータセンター。

答え2

Google には、こうした膨大な量のデータを保存するために社内で開発した技術がいくつかあります。これらの技術を使用すると、ダウンタイムなしでトラック 1 台分のハードディスクをクラスタに追加できますが、それを実行するにはやはり人手が必要です。

Google ブログから私が知る限り、2 つの主要な部分は、非常に大規模に拡張できる分散ファイル システムである Google ファイル システムです。Google ファイル システム

また、Google ファイル システムの上には、ある種のキー値データベースであり、巨大なスケールに拡張可能な Big Table があります。大きなテーブル

高可用性を保証するために、すべてが何度も冗長化され、ほとんどの場合 3 回以上冗長化されます。

答え3

まさにその通りです。かつてFacebookのデータセンターでは、1日平均3台のトレーラーにハードドライブとラックマウントサーバーを積み込んでいました。もちろん、ストレージを拡張可能かつ冗長化するための複雑な仕組みがあります。たとえばGoogleは、GFSFacebook には自社の設備専用のデータセンターが 3 つあり、それぞれがウォルマート 2 軒分の大きさで、新しいセンターは既存のセンターの 4 倍の大きさになる予定です。

答え4

BackBlaze の興味深いブログ記事では、彼らがこれをどのように実現したか (Google や Facebook ほど多くのディスクは必要ないかもしれませんが、それでもかなりの量です)、また、タイで洪水が発生してハードディスクが高価になり入手が困難になったときに何をする必要があったかについて説明しています。

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/

関連情報