私が言っているのは、megaupload.com、rapidshare.com などのファイル共有 Web サイトや、download.com、filehippo.com などのソフトウェア ダウンロード Web サイトです。
彼らは何トンものテラバイトのデータを保存する必要があり、また、そのような帯域幅も必要とします。私は彼らを Google、Yahoo、Amazon のような企業と比較しません。なぜなら、彼らは巨大な企業であり、独自の巨大なハードウェア セットアップを持っているからです。
それら (megaupload/filehippo) はどのようにしてこのような膨大な量のデータを保存するのでしょうか? どのようなテクノロジーとハードウェア アーキテクチャを使用しているのでしょうか?
PS: 私の興味は、filehippo.com のような独自のソフトウェア ダウンロード サイトを立ち上げることです。
答え1
実際、あなたが見ているものは現実のものではありません:)
ファイル共有サイトには、何テラバイトものデータはありませんが、10～500 TB 程度のデータがあります。無制限のスペースを提供するホスティング会社がたくさんあると聞いたことがあるかもしれませんが、これは大きな嘘です。無制限のスペースなど存在しないからです。数百テラバイトのストレージ スペースしかなく、すべてのユーザーが Web スペースにテラバイトのデータを保存できるわけではないことは確かです。大多数のユーザーは、100 MB から 2～5 GB のデータ/Web サイトをホストしています。大量のデータを使用するユーザーの数は非常に少ないです。
では、彼らが何を使用しているかと言うと、彼らは単純に SAN (ストレージ エリア ネットワーク) を使用しており、各サーバーには約 4TB から 20TB のディスク容量があります。そして、それらはすべてファイバー チャネルまたはギガビット イーサネットを介して接続されています。フロントエンドには、この SAN ネットワークのスペースを利用する Web アプリケーションがあります。
ゼロから始めるので、フロントエンドの Web アプリケーションには、自分に適したハイエンド サーバーを使用できます。バックエンドでは、FreeNAS (無料のオープンソース エンタープライズ クラス ストレージ管理 OS) を使用して独自の NAS/SAN を構築できます。そこに数テラバイトの安価なドライブを追加すれば、数テラバイトの小規模ネットワークが準備できます。トラフィックと使用状況に基づいて、必要に応じてさらにスペースを追加し続けることができます。
答え2
ええと、彼らは...たくさんのハードドライブを持っています。
のBackblaze ブログ彼らが同様のことをどのように行っているかについて説明します（無制限のバックアップ ストレージを販売しています）。