LogManagement/Splunk

• ログデータ分析基盤。商用だが無料版もある。使う機会が多いのでまとめた

インストール†

無料版でも有料版でもバイナリはいっしょ。 rpmが用意されているので実行する。splunkユーザーが追加されるので。splunkユーザになる。

設定ファイルの場所†

起動†

su - splunk
splunk start 
splunk stop

splunkユーザーだと8000ポートで起動するので、nginxでproxy設定をして80アクセス可能とした。

       location / {
               proxy_pass   http://127.0.0.1:8000/;
       }

設定ファイルによるカスタムフィールドの定義†

デフォルトの検索時間設定†

• $SPLUNK_HOME/etc/system/local/ui-prefs.conf

[search]
dispatch.earliest_time = -24h
dispatch.latest_time = now
            
[default]
dispatch.earliest_time = -24h
dispatch.latest_time = now

インデックス†

splunkのインデックスはその単位で物理ファイルに分かれている。 インデックスの状態はhot,warm,coldなどなど。設定は indexes.confで行う。

オペレーション†

ソースごとの使用量†

index=_internal source=*license_usage.log type=Usage earliest=-20d
| eval MB = b/1024/1024
| rename s AS source
| timechart span=1d sum(b) AS "Total MB used" by source

• 一日単位の使用量

index=_internal sourcetype="splunkd" group="per_sourcetype_thruput" series!=splunk* | eval mb=kb/1024 | timechart limit=20 minspan=1d sum(mb) by series

• 一時間単位の使用量

index=_internal sourcetype="splunkd" group="per_sourcetype_thruput" series!=splunk* | eval mb=kb/1024 | timechart limit=20 minspan=1h sum(mb) by series

Emailの送信履歴†

index=_internal ( sourcetype=scheduler alert_actions="email" ) OR ( sourcetype=splunk_python "sendemail" )

出力フィールドを絞る†

サーチ文字列 | fields column1,column2

出力フィールドをテーブル形式にする。†

サーチ文字列 | table column1,column2

消す(権限が必要)†

サーチ文字列 | delete

アラート送信時のカスタムスクリプト†

http://docs.splunk.com/Documentation/Splunk/latest/Alert/Configuringscriptedalerts

トラブルシューティング†

構成要素†

Splunk Forwarder†

データ転送エージェントいくつか種類があるが、単なる転送だけであれば、universal forwarderでよい。heavy forwarderはsplunk本体から転送機能に特化したアーカイブであり、フィルタリングなどの高度なことを実施したい場合に選択する。light forwarderは単純なことしかできないのでuniversal forwarderにとってかわられた。

Splunk indexer†

生データをindexに投入する役割。

*メニュー編集

コンピュータ関係

• DataBase
• Linux
• PC-UNIX
• Programming
• PC情報

その他趣味系(別wiki)

• 自動車
• 温泉
• スキー情報

外部リンク

• 旧　技術メモブログ
• 新　技術メモブログ
• ランチブログ
• NIFTYにあるHP
• 旅行記写真館

今日の訪問 1

オンライン人数 5

最新の20件

人気の20件

今日の20件