Hadoop 生態系統網路儀表板

Question

我正在嘗試找到一個工具，它可以向我展示我的 Hadoop 生態系統的概述 - 狀​​態、運行狀況、正在運行的任務等。有什麼好用的工具嗎？

Answer 1

正在運行的任務，mapred節點狀態/健康狀況：

http://example.com:50030/jobtracker.jsp

HDFS 健康狀況與節點狀態：

http://example.com:50070/dfshealth.jsp

將 example.com 替換為作業追蹤器/名稱節點的 IP 或主機名稱。

如果這些連接埠不正確，請檢查您的 mapred-site.xml 和 hdfs-site.xml 中定義的連接埠。

Answer 2

Cloudera 提供了一個專有工具，可以執行您所描述的操作，更稱為Cloudera管理器。它不是 F/OSS，但它們確實有一個免費版本，可以讓您在有限數量的節點上運行。它是一個完整生命週期的產品，因此對於您的需求來說可能有點過分了。

完全披露：我自己從未使用過它。我們在我的公司考慮過它，但最終沒有使用它。

Answer 3

另一個選擇是安巴里專案.它目前在 Apache 處於孵化狀態，但我相信霍頓工廠是其主要驅動力之一。它主要是一個配置和監控框架。你可以看到例子在 Hortonworks 的網站上。他們發表了一篇部落格文章描述如何設定。

如果您正在尋找 jobtracker 或 namenode 的“更漂亮”介面，雲端時代有Hadoop 使用者環境 (HUE)，它提供了您正在尋找的一些功能。不過，它在很大程度上是針對非管理員。