Amazon, Facebook und Google müssen täglich mehrere TB, wenn nicht sogar PB, verarbeiten. Bedeutet das, dass dort ständig Leute beschäftigt sind, die neue Festplatten und Kabel in neue Racks einbauen, so wie man auch einen normalen Server bauen würde, oder wird für den Massenanschluss von Laufwerken eine andere Technologie verwendet?
Antwort1
Ich weiß nicht, ob einer von ihnen tatsächlich Hardware installiert, einen Server nach dem anderen. Damals in2008MS begann mit dem Bau seiner Rechenzentren, indem es Server in versiegelten und vorverdrahteten Versandcontainern lieferte, die sie nur noch von einem LKW entladen und an Strom-/Netzwerkverbindungen anschließen mussten. Während der Build von 2008 eine Mischung aus Containern und traditionellen Servern für ihre jüngsteRechenzentrumSie sind inzwischen zu einem maßgeschneiderten Fertigdesign übergegangen, das wetterfest ist und nicht in separaten Gebäuden untergebracht werden muss.
BeideHP und IBMVerkaufen Sie ähnliche Pakete mit vorgefertigten Containern voller Server, die zum Einsatz nur Strom-/Datenanschlüsse benötigen.
Antwort2
Google verfügt über mehrere intern entwickelte Technologien, um diese riesigen Datenmengen zu speichern. Mithilfe dieser Technologien können sie tatsächlich haufenweise Festplatten ohne Ausfallzeiten in ihren Cluster einbinden, aber ja, sie brauchen dafür immer noch Leute.
Soweit ich aus dem Google-Blog weiß, sind die beiden Hauptteile das Google File System, ein verteiltes Dateisystem, das sich sehr weit skalieren lässt:Google-Dateisystem
Und zusätzlich zum Google File System haben sie Big Table, eine Art Key-Value-Datenbank, die sich ebenfalls auf große Skalen skalieren lässt:Großer Tisch
Um eine hohe Verfügbarkeit zu gewährleisten, ist alles mehrfach redundant, in den meisten Fällen mehr als dreimal.
Antwort3
Das ist genau richtig. Ich erinnere mich, dass Facebooks Rechenzentren früher einmal an einem durchschnittlichen Tag drei Sattelschlepper voller Festplatten und Rack-Mount-Server hinzufügten. Natürlich haben sie komplizierte Systeme, um den Speicher skalierbar und redundant zu machen. Google zum Beispiel hatGFSFacebook verfügt nur für seine Geräte über drei Rechenzentren, von denen jedes größer ist als zwei Wal-Marts, und ein neues soll viermal größer sein als die bestehenden Zentren.
Antwort4
Hier ist ein interessanter Blog-Beitrag von BackBlaze dazu, wie sie das machen (sie brauchen wahrscheinlich nicht so viele Festplatten wie Google oder Facebook, aber immer noch eine ganze Menge) und was sie tun mussten, als es in Thailand Überschwemmungen gab, die Festplatten teuer und schwerer zu bekommen machten:
http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/