Ich entwickle ein Videoüberwachungssystem, das viele Videostreams von vielen entfernten IP-Kameras aufzeichnet und zurückstreamt.
Ein Server würde auf einer Maschine laufen, die etwa 500 Videostreams (250 kbps pro Videostream) verarbeitet. Ein Server wäre Teil einer großen Serverfarm, die von einem einfachen Server gesteuert wird (hier unwichtig).
Jetzt bin ich Softwareentwickler und wurde damit beauftragt, die richtige Hardware für den Betrieb meiner Server zu finden … Und ich habe keine Ahnung, was ich alles brauche!
Kann ich Linux installieren und einige schnelle Festplatten im RAID konfigurieren und kann ich dabei die gleiche Leistung wie bei einer teuren Speicherlösung erzielen?
Wie viele CPUs benötige ich, Motherboard, Sonstiges?
Welche Festplattenmarke ist hierfür am besten geeignet?
Gibt es Wasserkühlung für Festplatten?
Entschuldigen Sie die dummen Fragen, aber ich schreibe gerne Software. Ich benutzeder PCund das sind alle Hardwaredetails, die ich für meine Arbeit wissen muss …:)
Antwort1
1. Kann ich Linux installieren und einige schnelle Festplatten im RAID konfigurieren und kann ich dabei die gleiche Leistung wie bei einer teuren Speicherlösung erzielen?
Nein. Ich würde zumindest einen ordentlichen Hardware-RAID-Controller nehmen (ich tippe auf Adaptec). Der Hauptgrund ist, dass Ihre Linux-Installation beim Tuning schlecht ist, einfach weil es an optimierter Hardware mangelt. Nämlich: Sie können Write-Back-Caching nicht sicher verwenden, denn wenn der Strom ausfällt, könnten die Festplatten durchdrehen. Sie KÖNNEN dies bei einem Adaptec 5805Z oder einem 5805 mit BBU tun, denn wenn der Strom ausfällt, ist der Onboard-Cache sicher (für eine gewisse oder längere Zeit – die BBU läuft 2 Tage, das Z-Modell schreibt die Daten auf ein Flash-Modul). Technisch läuft hier übrigens immer noch Linux (auf dem Controller).
2. Wie viele CPUs benötige ich, Motherboards usw.?
Ziemlich irrelevant. Sie sind nicht an die CPU gebunden, es sei denn, Sie komprimieren. Jede CPU sollte ausreichen, sogar ein ATOM. Auch hier gilt: Sofern Sie nicht viel mehr tun, als die Streams einfach über die Festplatte zu leiten, ist es unwahrscheinlich, dass Sie ein CPU-Problem haben.
3.Welche Festplattenmarke ist hierfür am besten geeignet?
Western Digital. Genauer gesagt: Velociraptors, wenn Sie eine ordentliche Leistung zu einem ordentlichen Preis benötigen. Das einzige Laufwerk mit 10.000 U/min, das neben einem viel teureren SAS-Laufwerk steht. Je nach Ihrem IO-Bedarf könnten Sie mit größeren und langsameren Laufwerken auskommen. Dies muss getestet werden und hängt stark von Ihrer Codierung ab.
Holen Sie sich einen Server von SuperMicro – 2 Rack-Einheiten hoch, Platz für 24 Festplatten (2,5-Zoll-Formfaktor). Viel Platz zum Erweitern. Ich würde möglicherweise mit 8 Festplatten in einer RAID-10-Konfiguration beginnen. Mehrere Käfige können als Slaves miteinander verbunden werden. Erfordert einen SAS-RAID-Controller (wie die oben erwähnten Adaptecs).
4. Gibt es Wasserkühlung für Festplatten?
Ja, aber für Server ist das völlig irrelevant. Das ist hauptsächlich für Osmoen gedacht, die einen geräuscharmen PC mit vollständiger Wasserkühlung bauen und die Hitze der Festplatte ohne Lüfter abführen wollen.
Antwort2
Ich ziehe meine ursprüngliche Antwort zurück, da ich 125 Megabit mit 125 Gigabit verwechselt habe. Schande über mich.
Aber natürlich macht das alles ein bisschen einfacher :)
Also, zu Ihren Fragen:
Irgendwie schon. Sie können eine recht gute Leistung erzielen, die für dieses Gehäuse mehr als ausreichend sein sollte. Ich würde jedoch empfehlen, so viele Festplatten wie möglich und möglicherweise einen Hardware-RAID-Controller zu verwenden. Dies ermöglicht unter anderem den einfachen Hotswap defekter Festplatten ohne Probleme mit dem Betriebssystem. Und übrigens, besorgen Sie sich ein Gehäuse mit Hotswap-Laufwerkschächten.
Dies hängt hauptsächlich davon ab, was Sie tun möchten. Ein Server-Mainboard mit zwei Sockeln für 4-Core-CPUs und entsprechenden CPUs sollte nur für die Speicherung ausreichen. Ich würde jedoch viel RAM empfehlen, um einen Puffer zu haben, falls das Schreiben auf die Festplatte aus irgendeinem Grund für kurze Zeit ins Stocken gerät. Denken Sie an mindestens 16 oder 24 GB.
Die Zugriffszeit ist in diesem Szenario wichtig, daher sollten Sie sich für Server-HDs mit mindestens 10.000 U/min oder besser entscheiden, vielleicht sogar 15.000. Die Kapazität hängt davon ab, wie lange Sie die Daten aufbewahren möchten (bei 125MegaBit/s insgesamt für Ihren Stream, Sie kommen am Ende auf etwa 50 GB/Stunde).
Warum Wasserkühlung? Mir sind keine Systeme bekannt, die eine Wasserkühlung für Hotswap-Laufwerksschächte bieten.
Antwort3
Wie lange müssen Sie die Aufzeichnungen aufbewahren?
Sie übertragen dauerhaft ca. 16 MB pro Sekunde oder rund 1,25 TB pro Tag.
Ihr Festplatten-Array muss groß sein, aber nicht sehr schnell. Wenn Ihre Aufnahmesoftware ein wenig puffert, werden Sie nicht einmal viele IOPS haben. Ich kann mir gut vorstellen, dass ein Linux-Software-RAID wie das von Ihnen erwähnte diese Last bewältigen kann, insbesondere wenn Sie ihm ein paar GB RAM zum Puffern geben. Dies setzt eine anständige Software voraus.
Wenn Sie das Video nicht in ein anderes Format umwandeln, benötigen Sie hierfür keine große CPU-Leistung, jeder moderne Intel/AMD reicht aus. Sie benötigen ein Gigabit-Netzwerk.
DerMarkeist schwer zu beantworten. Ich würde für Redundanz (RAID 5) sorgen und billige SATA-Festplatten einer namhaften Marke kaufen.
Zur Kühlung (und Zuverlässigkeit) würde ich mir ein Servergehäuse besorgen, das die benötigte Anzahl an Festplatten beherbergt. Das Gehäuse sorgt für den erforderlichen Luftstrom, um die Festplatten kühl zu halten. Nach den aktuellen Informationen sehe ich kaum Bedarf für eine Wasserkühlung.
Antwort4
Ich schlage vor, diese MIT-Leute zu fragen: http://www.media.mit.edu/cogmac/projects/hsp.html
Im Rahmen des Human Speechome Project zeichneten sie 3 Jahre lang mit 11 hochwertigen Kameras und 14 Mikrofonen in einem Haus auf. Im Haus befand sich ein 5TB-Disk-Array mit einem 10-Knoten-Cluster. Nach der Komprimierung kamen täglich 300 GB zusammen. In regelmäßigen Abständen wurden die Daten über tragbare Laufwerke auf die MIT-Serverfarm übertragen.
Sie verfügen zwar über etwa 100-mal mehr Video-Feeds als sie, aber sie könnten dennoch wichtige Erkenntnisse haben, die Sie höchstwahrscheinlich über eine kurze E-Mail-Konversation erhalten können. Ihre Hardware ist mehr als 5 1/2 Jahre alt.
Hier ist ein 20-minütiger Ted-Talk über das Projekt: http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (Wenn Sie wenig Zeit haben, scrollen Sie zur Stelle bei 1 Minute und 00 Sekunden und schauen Sie ein paar Minuten lang zu.)
Veröffentlichung:http://www.media.mit.edu/cogmac/publications/cogsci06.pdf