双六工場日誌

平凡な日常を淡々と綴ります。

CDH 4.1 と今後のHadoopのメトリクスインターフェースに関するメモ書き

以下のJIRAの議論を見ると、Hadoopの各種メトリクスを取得するインターフェースは、現在はJMXおよびJMXサーブレットhttp://namenode.example.com:50070/jmx などからJMXの値が取得できるインターフェース)*1が基本となってきているみたい。

https://issues.apache.org/jira/browse/HADOOP-7144

以前のメトリクスは「org.apache.hadoop.metrics」が基本だった。それに以下のようなインターフェースがあった。

「org.apache.hadoop.metrics」の後継となる「org.apache.hadoop.metrics2」では機能として重なっている「/metrics」のサーブレットは開発されない方向。そのほかmetrics2は現状では微妙なところ。



現時点では、CDH4 + MRv1を使っていると、以下が一番情報が取れる。


でもHBaseのメトリクスは、JMX中心になる流れじゃなくて、「org.apache.hadoop.metrics2」を使うのかな。最新の実装が終えていないので、こちらは自分でよくわからないところ。

https://issues.apache.org/jira/browse/HADOOP-9180
https://issues.apache.org/jira/browse/HBASE-4050

ちなみに、JournalNodeもJMXサーブレットにて情報取得可能。また、Namenode HAを組むとNamenodeのJMXメトリクスに「IPC~」のメトリクスが追加されるので、そこでJournalNodeへの書き込み遅延などが監視可能。
ZKFCのデーモンには、まだこのようなインターフェースは実装されていなさそう。まあ、プロセスが落ちてなければ問題ないということか。

*1:全部は追えてないけど、JIRA見る限り、Tomcat Managerからソースを引っ張ってきているっぽい。なのでこちらの方が開発の手間がかからないみたい。