双六工場日誌

平凡な日常を淡々と綴ります。

Zabbix向けのHadoopメトリクス取得用スクリプトとテンプレート

先週からZabbix向けのHadoopメトリクス取得用スクリプトとテンプレートをこっそり公開していました。

プログラムとしてはかなり荒削りな状態なので、これまでGithubに上げただけにしていましたが、それだけではあまり意味が無いので、今さらブログで取り上げてみる次第です。

URLは以下。

今上がっているものは、HadoopとHBaseのメトリクスを取得する外部チェックスクリプトとZabbixテンプレート生成スクリプト、生成済みテンプレートのセットです。
監視の観点では、しきい値の設定やグラフの設定など、まだ追加しないといけない要素があるのですが、まずは基本のところのみ上げています。
こちらはすべて /jmxJMXサーブレットのインターフェースを使用します。

/metrics のメトリクスサーブレットを使うスクリプトもアップしていますが、これは参考扱いで。

これらのインターフェースの違いについては、以下を参照してください。


まずはアップしてある監視テンプレートをZabbixサーバにインポートして、どのようなアイテムが登録されているのか見てもらえると取れるメトリクスの雰囲気がつかめるのではないかなと思います。

普段ごりごりプログラムを書いている人から見ると、スクリプトには変なところも多々あると思いますが、その際はお手柔らかにご指導いただけると嬉しいです。


また、HBaseの情報取得は試験中としていますが、これは 0.94 になってメトリクスが非常に増えていて、その扱いが判断しきれていないことが主な理由です。今アップしているテンプレートは、手元の環境で取れたメトリクスすべてから生成していますが、その状態だとRegionserver向けの監視アイテムだけで722個。情報の取捨選択は悩ましいところです…。

これはちゃんと精査して、環境に合わせたテンプレート生成を行わないとなかなか実用にならないと思いますが、今のところは使う方が必要、不要をより分けていただければと思います。