Estoy tratando de encontrar una herramienta que me muestre una descripción general de mi ecosistema Hadoop: estado, estado, tareas en ejecución, etc. Intenté buscar en Google, pero no encontré ninguna. ¿Existe alguna buena herramienta útil?
Respuesta1
Tareas en ejecución, estado/salud del nodo mapeado:
http://ejemplo.com:50030/jobtracker.jsp
Salud de HDFS y estado del nodo:
http://ejemplo.com:50070/dfshealth.jsp
Reemplace example.com con la IP o el nombre de host de su rastreador de trabajos/nodo de nombre.
Si esos puertos no son correctos, verifique mapred-site.xml y hdfs-site.xml para ver el puerto definido.
Respuesta2
Cloudera ofrece una herramienta patentada que hace lo que usted describe y más se llamaGerente de nube. No es F/OSS, pero tienen una edición gratuita que le permite ejecutarlo en un número limitado de nodos. Está pensado como un producto de ciclo de vida completo, por lo que puede ser un poco excesivo para lo que necesita.
Revelación completa: yo nunca lo he usado. Lo consideramos en mi empresa, pero al final no lo utilizamos.
Respuesta3
Otra alternativa es laAmbaríproyecto. Actualmente está en estado de incubación en Apache, pero creoHortonworkses uno de los principales impulsores de ello. Es principalmente un marco de aprovisionamiento y monitoreo. Puedes verejemplosen el sitio web de Hortonworks. Hicieron una publicación de blog que describeCómo configurarlo.
Si está buscando una interfaz "más bonita" para jobtracker o namenode,nubeeratiene elEntorno de usuario de Hadoop (HUE), que proporciona algunas de las funciones que busca. Sin embargo, en su mayor parte está dirigido a no administradores.