Ich versuche, ein Tool zu finden, das mir einen Überblick über mein Hadoop-Ökosystem gibt – Status, Integrität, laufende Aufgaben usw. Ich habe es bei Google versucht, aber nichts gefunden. Gibt es ein nettes, nützliches Tool?
Antwort1
Laufende Aufgaben, Status/Integrität des Mapred-Knotens:
http://example.com:50030/jobtracker.jsp
HDFS-Integrität und Knotenstatus:
http://example.com:50070/dfshealth.jsp
Ersetzen Sie example.com durch die IP oder den Hostnamen Ihres Job-Trackers/Namensknotens.
Wenn diese Ports nicht korrekt sind, überprüfen Sie Ihre mapred-site.xml und hdfs-site.xml auf den definierten Port.
Antwort2
Cloudera bietet ein proprietäres Tool, das genau das tut, was Sie beschreiben, und mehr namensCloudera Manager. Es ist kein F/OSS, aber es gibt eine kostenlose Edition, mit der Sie es auf einer begrenzten Anzahl von Knoten ausführen können. Es ist als Produkt für den gesamten Lebenszyklus gedacht, daher ist es für Ihre Anforderungen möglicherweise etwas übertrieben.
Vollständige Offenlegung: Ich habe es selbst nie verwendet. Wir haben es in meiner Firma in Betracht gezogen, es aber letztendlich nicht verwendet.
Antwort3
Eine weitere Alternative ist dieAmbariProjekt. Es befindet sich derzeit bei Apache im Inkubationsstatus, aber ich glaubeHortonworksist einer der Haupttreiber dafür. Es ist in erster Linie ein Bereitstellungs- und Überwachungsframework. Sie können sehenBeispieleauf der Website von Hortonworks. Sie haben einen Blog-Beitrag verfasst, in dem sieSo richten Sie es ein.
Wenn Sie nach einer "hübscheren" Schnittstelle zum Jobtracker oder Namenode suchen,Clouderahat dieHadoop-Benutzerumgebung (HUE), das einige der von Ihnen gesuchten Funktionen bietet. Es richtet sich jedoch größtenteils an Nicht-Administratoren.