文件共享網站如何儲存如此海量的資料?

文件共享網站如何儲存如此海量的資料?

我指的是檔案分享網站(如 megaupload.com、rapidshare.com)和軟體下載網站(如 download.com、filehippo.com)。

他們需要儲存大量 TB 的數據,也需要這樣的頻寬。我不會將它們與Google、雅虎、亞馬遜等公司進行比較,因為它們是大公司,並且擁有自己的龐大硬體設定。

他們(megaupload/filehippo)如何儲存如此大量的資料?這些使用了什麼技術和硬體架構?

PS:我的興趣是我想創建自己的軟體下載網站,例如 filehippo.com。

答案1

事實上,你所看到的並不是現實:)

文件共享網站沒有大量 TB 的數據,但約有 10-500 TB 的數據。您可能聽說過有許多託管公司為您提供無限的空間,這是一個彌天大謊。因為沒有無限空間這樣的東西。他們只有幾百 TB 的儲存空間,可以肯定的是,並不是每個使用者都有 TB 的資料可以儲存在網路空間中。大多數用戶託管 100MB 到 2-5GB 的資料/網站。大量的數據用戶數量相當少。

說到他們用什麼?他們只是擁有 SAN(儲存區域網路),其中每台伺服器都有大約 4TB 到 20TB 的磁碟空間。它們都透過光纖通道或千兆位元乙太網路連接。在前端,他們有 Web 應用程序,利用該 SAN 網路的空間。

由於您將從頭開始,對於前端 Web 應用程序,您可以使用任何適合您的高階伺服器,而在後端,您可以使用 FreeNAS(免費開源企業級)建立自己的 NAS/SAN儲存管理作業系統)。您可以在其中添加大量 TB 的廉價驅動器,您的幾 TB 的小型網路就已準備就緒。根據流量和使用情況,您可以根據需要繼續添加更多空間。

答案2

嗯,他們有……很多硬碟。

Backblaze 博客討論他們如何做類似的事情(他們出售無限的備份儲存)。

相關內容