embulk
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
#contents
-fluentdのバッチデータロード版
*インストール [#v01a7ae5]
jarファイルに実行権限をつけるのみ。公式サイトの通りにやる...
curl --create-dirs -o ~/.embulk/bin/embulk -L "https://d...
chmod +x ~/.embulk/bin/embulk
echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc
**plugin [#ta36a7cc]
-一覧表示
embulk gem list
-各種プラグインインストール
embulk gem install embulk-output-elasticsearch
embulk gem install
*Elasticsearchへの連携 [#h7654bca]
http://qiita.com/handa/items/6ba0bc0678b0be95a1be
*設定ファイル [#ucac0ae4]
**fluentdのApacheログをS3にためて、それをElasticSearchに...
in:
type: s3
bucket: バケット名
path_prefix:
endpoint: s3-ap-northeast-1.amazonaws.com
access_key_id:
secret_access_key:
decoders:
- {type: gzip}
parser:
type: json
root: $.Records
schema:
- {name: host, type: string}
- {name: user, type: string}
- {name: method, type: string}
- {name: path, type: string}
- {name: code, type: integer}
- {name: size, type: integer}
- {name: referer, type: string}
- {name: agent, type: string}
out:
type: elasticsearch
cluster_name:
nodes:
- {host: "localhost", port: 9300}
index: logstash-2016.06.04
index_type: apache
cluster_nameを間違えると通信ができてもNo Node Available E...
**プラグインインストール [#h258a185]
embulk gem install embulk-input-mysql
embulk gem install embulk-output-elasticsearch
**実行 [#g0ff0d95]
embulk preview config.yml
embulk run config.yml
JSONのパースでエラー！guessコマンドを利用しても同様。クソ...
td-agentの形式に対応していないというオチ。別のプラグイン...
ようやくパースに成功したと思ったら、
「None of the configured nodes are available」だとcluster...
out:
type: elasticsearch
cluster_name: "elasticsearch"
nodes:
- {host: "IPV4 ADDRESS", port: 9300}
index: logstash-2016.06.09
index_type: apache
**ElasticSearchServiceとの連携 [#raf458a9]
だめっぽい
http://stackoverflow.com/questions/33412635/how-to-connec...
*設定ファイルに変数を使う [#c47ccb2f]
liquidという拡張子にすると環境変数を展開してくれる。
#counter
終了行:
#contents
-fluentdのバッチデータロード版
*インストール [#v01a7ae5]
jarファイルに実行権限をつけるのみ。公式サイトの通りにやる...
curl --create-dirs -o ~/.embulk/bin/embulk -L "https://d...
chmod +x ~/.embulk/bin/embulk
echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc
**plugin [#ta36a7cc]
-一覧表示
embulk gem list
-各種プラグインインストール
embulk gem install embulk-output-elasticsearch
embulk gem install
*Elasticsearchへの連携 [#h7654bca]
http://qiita.com/handa/items/6ba0bc0678b0be95a1be
*設定ファイル [#ucac0ae4]
**fluentdのApacheログをS3にためて、それをElasticSearchに...
in:
type: s3
bucket: バケット名
path_prefix:
endpoint: s3-ap-northeast-1.amazonaws.com
access_key_id:
secret_access_key:
decoders:
- {type: gzip}
parser:
type: json
root: $.Records
schema:
- {name: host, type: string}
- {name: user, type: string}
- {name: method, type: string}
- {name: path, type: string}
- {name: code, type: integer}
- {name: size, type: integer}
- {name: referer, type: string}
- {name: agent, type: string}
out:
type: elasticsearch
cluster_name:
nodes:
- {host: "localhost", port: 9300}
index: logstash-2016.06.04
index_type: apache
cluster_nameを間違えると通信ができてもNo Node Available E...
**プラグインインストール [#h258a185]
embulk gem install embulk-input-mysql
embulk gem install embulk-output-elasticsearch
**実行 [#g0ff0d95]
embulk preview config.yml
embulk run config.yml
JSONのパースでエラー！guessコマンドを利用しても同様。クソ...
td-agentの形式に対応していないというオチ。別のプラグイン...
ようやくパースに成功したと思ったら、
「None of the configured nodes are available」だとcluster...
out:
type: elasticsearch
cluster_name: "elasticsearch"
nodes:
- {host: "IPV4 ADDRESS", port: 9300}
index: logstash-2016.06.09
index_type: apache
**ElasticSearchServiceとの連携 [#raf458a9]
だめっぽい
http://stackoverflow.com/questions/33412635/how-to-connec...
*設定ファイルに変数を使う [#c47ccb2f]
liquidという拡張子にすると環境変数を展開してくれる。
#counter
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
