ShibUIについての情報まとめ

Hadoop Conference Japan 2013 Winterで@tagomorisさんが紹介していたShibUIが気になったので、情報を集めてみました。

ShibUIとは？

'ShibUI' はHiveクエリについて日々の運用を行うためのツールです。以下のような機能があります。
Hiveクエリの登録・実行、スケジュールに従っての実行
クエリ結果のグラフ(HRForecast)への登録
クエリ条件の選択によるHiveクエリの生成
主に定期的に実行したいクエリの管理・結果の可視化を行うために有用でしょう。クエリ生成はHiveクエリを直接書けない人が使う場合に便利かもしれません。

NHN JapanではFluentdをつかってHadoop/HDFSに保存したデータを、ShibUIを使ってHiveクエリを自動実行して可視化しているそうです。

GitHub shibui
https://github.com/tagomoris/shibui

ShibUIを公開した
http://d.hatena.ne.jp/tagomoris/20120824/1345798357

Log analysis with Hadoop in livedoor 2013
by SATOSHI TAGOMORI on Jan 21, 2013
http://www.slideshare.net/tagomoris/log-analysis-with-hadoop-in-livedoor-2013

OSSで支えられるライブドアの巨大ログ集計 #nhntech
by SATOSHI TAGOMORI on Aug 18, 2012
http://www.slideshare.net/tagomoris/oss-nhntech

Hive Tools in NHN Japan #hadoopreading
by SATOSHI TAGOMORI on May 30, 2012
http://www.slideshare.net/tagomoris/hive-tools-in-nhn-japan-hadoopreading

開発者がオススメするFluentdの解説記事まとめ
※Fluentdのまとめはこちら
http://matome.naver.jp/odai/2135872216875462301