embulk の履歴(No.7)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• embulk へ行く。
  • 1 (2016-06-02 (木) 14:30:49)
  • 2 (2016-06-06 (月) 18:51:36)
  • 3 (2016-06-07 (火) 16:08:10)
  • 4 (2016-06-07 (火) 18:17:56)
  • 5 (2016-06-07 (火) 22:59:32)
  • 6 (2016-06-10 (金) 18:05:07)
  • 7 (2019-08-12 (月) 15:33:57)

• fluentdのバッチデータロード版

インストール†

jarファイルに実行権限をつけるのみ。公式サイトの通りにやると楽だが、curlがエラーとなってしまったので、手動でダウンロードした

Elasticsearchへの連携†

http://qiita.com/handa/items/6ba0bc0678b0be95a1be

設定ファイル†

fluentdのApacheログをS3にためて、それをElasticSearchに流す設定†

in:
  type: s3
  bucket: バケット名
  path_prefix:
  endpoint: s3-ap-northeast-1.amazonaws.com
  access_key_id: 
  secret_access_key: 
  decoders:
  - {type: gzip}
  parser:
    type: json
    root: $.Records
    schema:
      - {name: host, type: string}
      - {name: user, type: string}
      - {name: method, type: string}
      - {name: path, type: string}
      - {name: code, type: integer}
      - {name: size, type: integer}
      - {name: referer, type: string}
      - {name: agent, type: string}
 out:
   type: elasticsearch
   cluster_name: 
   nodes:
     - {host: "localhost", port: 9300}
   index: logstash-2016.06.04
   index_type: apache

cluster_nameを間違えると通信ができてもNo Node Available Exceptionが出てしまうので注意。

プラグインインストール†

embulk gem install embulk-input-mysql
embulk gem install embulk-output-elasticsearch

実行†

embulk preview config.yml
embulk run config.yml

JSONのパースでエラー！guessコマンドを利用しても同様。クソですか？ td-agentの形式に対応していないというオチ。別のプラグインを入れる。 ようやくパースに成功したと思ったら、 「None of the configured nodes are available」だとcluster_nameを設定していないのが原因だった。環境変数が使えないという問題はあったものの素のElasticsearchには投入成功。ポートは9300じゃないとだめ

out:
  type: elasticsearch
  cluster_name: "elasticsearch"
  nodes:
    - {host: "IPV4 ADDRESS", port: 9300}
  index: logstash-2016.06.09
  index_type: apache

ElasticSearchServiceとの連携†

だめっぽい

http://stackoverflow.com/questions/33412635/how-to-connect-to-aws-elasticsearch

設定ファイルに変数を使う†

liquidという拡張子にすると環境変数を展開してくれる。