CDH 4.1 と今後のHadoopのメトリクスインターフェースに関するメモ書き

以下のJIRAの議論を見ると、Hadoopの各種メトリクスを取得するインターフェースは、現在はJMXおよびJMXサーブレット（http://namenode.example.com:50070/jmx などからJMXの値が取得できるインターフェース）*1が基本となってきているみたい。

https://issues.apache.org/jira/browse/HADOOP-7144

以前のメトリクスは「org.apache.hadoop.metrics」が基本だった。それに以下のようなインターフェースがあった。

• org.apache.hadoop.metrics
  • Ganglia
  • ファイル
  • 「/metrics」のサーブレット　など

「org.apache.hadoop.metrics」の後継となる「org.apache.hadoop.metrics2」では機能として重なっている「/metrics」のサーブレットは開発されない方向。そのほかmetrics2は現状では微妙なところ。

現時点では、CDH4 + MRv1を使っていると、以下が一番情報が取れる。

• HDFS：JMXかJMX サーブレット
• MRv1：hadoop.metrics
• HBase：hadoop.metrics

でもHBaseのメトリクスは、JMX中心になる流れじゃなくて、「org.apache.hadoop.metrics2」を使うのかな。最新の実装が終えていないので、こちらは自分でよくわからないところ。

https://issues.apache.org/jira/browse/HADOOP-9180
https://issues.apache.org/jira/browse/HBASE-4050

ちなみに、JournalNodeもJMXサーブレットにて情報取得可能。また、Namenode HAを組むとNamenodeのJMXメトリクスに「IPC～」のメトリクスが追加されるので、そこでJournalNodeへの書き込み遅延などが監視可能。
ZKFCのデーモンには、まだこのようなインターフェースは実装されていなさそう。まあ、プロセスが落ちてなければ問題ないということか。

*1:全部は追えてないけど、JIRA見る限り、Tomcat Managerからソースを引っ張ってきているっぽい。なのでこちらの方が開発の手間がかからないみたい。