LogManagement/Splunk の履歴(No.6)

ログデータ分析基盤。商用だが無料版もある。使う機会が多いのでまとめた

インストール†

無料版でも有料版でもバイナリはいっしょ。 rpmが用意されているので実行する。splunkユーザーが追加されるので。splunkユーザになる。

設定ファイルの場所†

/opt/splunk/etc/system/default	設定ファイルデフォルトディレクトリ。バージョンアップで上書きされる可能性があるので変更するならローカル上書きフォルダ
/opt/splunk/etc/system/local	ローカルで上書きする場合のファイル

↑

起動†

su - splunk
splunk start 
splunk stop

splunkユーザーだと8000ポートで起動するので、nginxでproxy設定をして80アクセス可能とした。

       location / {
               proxy_pass   http://127.0.0.1:8000/;
       }

↑

設定ファイルによるカスタムフィールドの定義†

transforms.conf	正規表現を定義する
props.conf	ソースタイプごとの設定を行う。文字コードや上記正規表現の適用など
fields.conf	フィールドごとにINDEXEDの有無を設定

↑

オペレーション†

↑

ソースごとの使用量†

index=_internal source=*license_usage.log type=Usage earliest=-20d
| eval MB = b/1024/1024
| rename s AS source
| timechart span=1d sum(b) AS "Total MB used" by source

↑

Emailの送信履歴†

index=_internal ( sourcetype=scheduler alert_actions="email" ) OR ( sourcetype=splunk_python "sendemail" )

↑

出力フィールドを絞る†

サーチ文字列 | fields column1,column2

↑

消す(権限が必要)†

サーチ文字列 | delete

↑

アラート送信時のカスタムスクリプト†

http://docs.splunk.com/Documentation/Splunk/latest/Alert/Configuringscriptedalerts

↑

トラブルシューティング†

サーチしたら「waiting for queued job to start...」とでる

同時実行数をこえてサーチが実行された。ひたすら待つかパラメータの調整を