Я пытаюсь найти инструмент, который показал бы мне обзор моей экосистемы Hadoop - состояние, работоспособность, запущенные задачи и т. д. Я пытался гуглить, но ничего не нашел. Есть ли какой-нибудь хороший полезный инструмент?
решение1
Выполняемые задачи, состояние/здоровье узла mapred:
http://example.com:50030/jobtracker.jsp
Состояние HDFS и узла:
http://example.com:50070/dfshealth.jsp
Замените example.com на IP-адрес или имя хоста вашего трекера заданий/имя узла.
Если эти порты неверны, проверьте файлы mapred-site.xml и hdfs-site.xml на наличие определенного порта.
решение2
Cloudera предлагает фирменный инструмент, который делает то, что вы описываете, и даже больше, называетсяМенеджер Cloudera. Это не F/OSS, но у них есть бесплатная версия, которая позволяет вам работать на ограниченном количестве узлов. Это подразумевается как продукт полного жизненного цикла, поэтому это может быть немного избыточно для того, что вам нужно.
Полное раскрытие информации: я сам никогда этим не пользовался. Мы рассматривали это в моей компании, но в итоге не стали этим пользоваться.
решение3
Другой альтернативой являетсяАмбарипроект. В настоящее время он находится в стадии инкубации в Apache, но я считаю,Хортонворксявляется одним из основных драйверов для этого. Это в первую очередь фреймворк обеспечения и мониторинга. Вы можете увидетьПримерына сайте Hortonworks. Они сделали пост в блоге, описывающийкак это настроить.
Если вы ищете «более симпатичный» интерфейс для jobtracker или namenode,КлаудеримеетПользовательская среда Hadoop (HUE), который предоставляет некоторые из функций, которые вы ищете. Хотя он в основном ориентирован на не-администраторов.