Hadoop エコシステム Web ダッシュボード

Question

Hadoop エコシステムの概要 (状態、健全性、実行中のタスクなど) を表示するツールを探しています。Google で検索してみましたが、見つかりません。何か便利なツールはありますか?

Answer 1

実行中のタスク、mapred ノードの状態/健全性:

http://example.com:50030/jobtracker.jsp

HDFS の健全性とノードの状態:

http://example.com:50070/dfshealth.jsp

example.com をジョブ トラッカー/名前ノードの IP またはホスト名に置き換えます。

これらのポートが正しくない場合は、定義されているポートについて mapred-site.xml と hdfs-site.xml を確認してください。

Answer 2

Clouderaは、あなたが説明したこととそれ以上のことを行う独自のツールを提供しています。クラウドエラマネージャーこれは F/OSS ではありませんが、限られた数のノードで実行できる無料版があります。これは完全なライフサイクル製品として意図されているため、必要なものに対して少し過剰かもしれません。

正直に言うと、私自身は一度も使ったことがありません。会社でも検討しましたが、結局使わなかったのです。

Answer 3

もう一つの選択肢はアンバリプロジェクトです。現在はApacheでインキュベーション段階ですが、ホートンワークスは、その主な推進力の1つです。これは主にプロビジョニングと監視のフレームワークです。例Hortonworksのウェブサイトで、ブログ記事で説明されています設定方法。

ジョブトラッカーやネームノードの「より美しい」インターフェースを探しているなら、クラウドラはHadoop ユーザー環境 (HUE)は、あなたが探している機能の一部を提供します。ただし、大部分は管理者以外のユーザー向けに作られています。