-ログ収集ツール *インストール [#k58a704b] -AmazonLinuxなら楽勝。 http://dev.classmethod.jp/cloud/td-agent2-amazon-linux/ 上記ページに沿って行った。CentOSでも同じ手順。 手動で実行するならば以下の通りに実行する **yum.repositoryの追加 [#ne69bde8] - vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 **td-agentのインストール [#z0dbacbe] yum install td-agent *設定ファイル [#wb9dd2c6] sourceで入力を定義して、matchで処理を行う。 **設定ファイルのインクルード [#y077ffd5] include conf.d/*.conf **httpポート8888で待ち受け [#g838a180] # http://localhost:8888/<tag>?json=<json> <source> type http port 8888 </source> type forwardの場合はhttpアクセスはできないがそのポートで待ち受けすることになる。 **type(subtype)の説明 [#y81ab9e0] |type名|簡単な概要| |null|転送せずに捨てる| |forest|タグ名を置換変数化できるので、まとめて同じような設定をしたいときに使う| |rewrite_tag_filter|正規表現でタグづけできる| |record_modifier|新たに属性を追加できる。たとえばApacheログにホスト名を付与したりとか| **ローカルのファイルを転送する。 [#ed3e1947] <source> type tail format apache path /var/log/httpd/*_access_log tag apache.access pos_file /tmp/fluentd-apache.pos </source> <match apache.access> type s3 aws_key_id aws_sec_key s3_bucket bucket_name s3_endpoint bucket_name.s3-website-ap-northeast-1.amazonaws.com path logs/ buffer_path /var/tmp/fluentd time_slice_format %Y%m%d/%H_apache.log time_slice_wait 30m flush_interval 60s // この感覚でS3にputするので一日1440リクエストで危うくクラウド破産! </match> <source> type tail path /var/log/httpd/error_log format apache_error tag apache.error pos_file /tmp/apache_error.pos </source> # 送り先を Fluentd の標準ログへ出力します <match apache.error> type stdout </match> <source> type tail path /var/log/httpd/access_log pos_file /var/tmp/access_log.pos tag httpd format none </source> # 送り先を Fluentd の標準ログへ出力します <match httpd> type stdout </match> *実行 [#eedf55e8] **トラブルシューティング [#u0d6c6ea] +読み込みファイルの指定にワイルドカードが使えないわかがない!→後で修正 +読み込みにはtd-agentグループ権限が付与されていないとエラー +combinedがパターンマッチされない・・これはカスタマイズしている可能性もあるので今後調査。→カスタマイズしてたら取り込まれない!