Ich bin ein SEHR neuer Systemadministrator (Jahrgang 2016) und wurde gebeten, einen Big-Data-Cluster mit 3 Bare-Metal-PowerEdge-Servern zu erstellen. Ich habe die folgende Anfrage für den Cluster:
*Hadoop2 *YARN *Java 7&8 *Spark *SBT *Maven *Scala *P7zip *Pig *Hive *R (Bibliotheken für Spark und Hadoop) *Zeppelin *Cassandra
Ich würde gerne wissen, ob diese alle „gut zusammenarbeiten“ können, da ich sehr wenig über Big Data weiß und die Suchvorgänge viele „x VS y“-Seiten ergeben, anstatt „x UND y“. Und gibt es einen bevorzugten Industriestandard?
Vielen Dank im Voraus für Ihren Rat!
Antwort1
Natürlich können sie auf diesen Servern koexistieren, aber normalerweise würden Sie einen Servertyp verwenden, um die eigentlichen Daten zu speichern, und einen anderen, um die rechenintensive Arbeit zu erledigen. Es ist auch nicht ganz normal, dann auch noch eine Cassandra-Datenbank auf denselben Servern laufen zu lassen, aber Sie können das alles machen, es wird funktionieren, es ist nur nicht genau so, wie ich es machen würde.
Falls die Server noch nicht bestellt wurden und Sie Einfluss auf ihre Spezifikation haben, würde ich versuchen, eine Reihe großer, langsamer Festplatten für Daten (normalerweise 3,5-Zoll-Festplatten mit mehreren TB und 7,2.000 U/min) und dann einige SSD- oder 10.000-U/min-Festplatten für Datenbank- und Rechenarbeiten zu haben. Das Ganze auf einem Festplattentyp laufen zu lassen, ist oft nicht sinnvoll. Dies wird auch ziemlich speicherintensiv sein, sparen Sie daran nicht. Außerdem benötigen Sie wahrscheinlich eine vernünftige Anzahl von CPU-Kernen, ich würde sagen, mindestens 12 oder mehr pro Server für all diese Arbeit.
Wie dem auch sei, ich hoffe, das hilft. Sehen Sie sich sowohl Cloudera als auch Ambari wegen ihrer Hadoop-Umgebungen an. Sie sind nicht kostenlos, können Ihnen aber eine Menge Ärger ersparen.