Ich beziehe mich auf Filesharing-Websites wie megaupload.com, rapidshare.com und Software-Download-Websites wie download.com, filehippo.com.
Sie müssen Tonnen von Terabyte an Daten speichern und sie brauchen auch eine solche Bandbreite. Ich vergleiche sie nicht mit Unternehmen wie Google, Yahoo oder Amazon, denn das sind riesige Unternehmen und sie haben ihre eigene riesige Hardware-Ausstattung.
Wie speichern sie (Megaupload/Filehippo) so große Datenmengen? Welche Technologien und Hardwarearchitektur verwenden sie?
PS: Mein Interesse besteht darin, dass ich meine eigene Software-Download-Site wie filehippo.com starten möchte.
Antwort1
Tatsächlich ist das, was Sie sehen, nicht die Realität :)
Filesharing-Sites haben nicht TONNENWEISE Terabyte, sondern etwa 10-500 TB an Daten. Sie haben vielleicht gehört, dass es viele Hosting-Unternehmen gibt, die Ihnen unbegrenzten Speicherplatz anbieten, was eine GROSSE LÜGE ist, denn es gibt keinen UNBEGRENZTEN Speicherplatz. Sie haben nur ein paar hundert Terabyte an Speicherplatz, und es ist sicher, dass nicht jeder Benutzer Terabyte an Daten hat, die er im Webspace speichern kann. Die Mehrheit der Benutzer hostet zwischen 100 MB und 2-5 GB an Daten/Websites. Die Anzahl der Benutzer mit großem Datenvolumen ist beträchtlich gering.
Kommen wir nun zu dem Punkt, was sie verwenden? Sie haben einfach SAN (Storage Area Networks), bei denen jeder Server über etwa 4 bis 20 TB Festplattenspeicher verfügt. Und sie sind alle entweder über Glasfaserkanal oder Gigabit-Ethernet verbunden. Am Front-End haben sie eine Webanwendung, die Speicherplatz aus diesem SAN-Netzwerk nutzt.
Da Sie von Grund auf neu beginnen, können Sie für die Front-End-Webanwendung jeden für Sie geeigneten High-End-Server verwenden und im Backend mit FreeNAS (einem kostenlosen Open-Source-Speicherverwaltungsbetriebssystem der Enterprise-Klasse) Ihr eigenes NAS/SAN erstellen. Sie können mehrere Terabyte an billigen Laufwerken hinzufügen und schon ist Ihr kleines Netzwerk mit wenigen Terabyte fertig. Je nach Datenverkehr und Nutzung können Sie bei Bedarf weiteren Speicherplatz hinzufügen.
Antwort2
Nun, sie haben... viele Festplatten.
DerBackblaze Blogbespricht, wie sie etwas Ähnliches machen (sie verkaufen unbegrenzten Backup-Speicher).