Elasticsearch の履歴(No.11)

Elasticsearchを独立させた。Solrと同じくLuceneベース

構成†

INDEX	RDBのDatabaseに相当。この単位でSHADE数が決まるので、更新頻度が違うものはINDEXを分ける
シャード	インデックスを何分割するか？作成時のみしか指定できず
DOCUMENT	RDBの1レコード
FIELD	列定義
CLUSTER	NODEの集合
NODE	ESの1プロセス

更新は苦手なのでINDEX単位で日付を付与して、古くなったものはINDEX毎すてていく

RDB	Elasticsearch
Databases	Indices
Tables	Types
Rows	Documents
Fields	Columns

↑

AWS Elasticserach Service†

基本的なプラグインはインストール済みだが、カスタムプラグインはインストールできない。
バージョンが古い

↑

Elastic Cloud(旧Found)†

バージョン選択可能
基本プラグイン導入済み
リージョンも選択可能
高い！

↑

投入までの流れ†

INDEX作成(curl -XPUT "${ES_URL}/${INDEX_NAME}")
検索で使う型を定義するmappingをJSONで指定(curl -XPUT "${ES_URL}/${INDEX_NAME}/_mapping/default" -d @${MAPPING_FILE})

↑

クラスターの可視化†

elasticsearch-head

インストール後以下のURLで参照可能。

http://133.18.30.106:9200/_plugin/head/

↑

プラグインインストール†

インストール済みプラグイン確認

curl -XGET 'http://localhost:9200/_nodes?plugin=true&pretty'

yumの場合はコマンドは以下の場所にある

/usr/share/elasticsearch/bin

plugin install プラグイン名
# kuromojiインストール
/usr/share/elasticsearch/bin/plugin install analysis-kuromoji
# watcherのためのライセンスプラグイン
/usr/share/elasticsearch/bin/plugin install elasticsearch/license/latest
# watcher
/usr/share/elasticsearch/bin/plugin install elasticsearch/watcher/latest
# bigdisk
/usr/share/elasticsearch/bin/plugin install lukas-vlcek/bigdesk

↑

アラート†

無料ならelastalert(Yelp開発)。有料ならWatcher(サブスクリプション契約必要)

https://github.com/Yelp/elastalert

↑

情報†

パフォーマンスチューニングの注意点

http://qiita.com/rjkuro/items/e79eec7ffb0511b7c678

↑

td-agentとの連携†

fluent-plugin-elasticsearchのインストール。1.0系だとfluent-gemのパスが違うので注意。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch

↑

Elasticsearch 2.2†

デフォルトはローカルからのみ接続可能なので、以下の変更を入れる。

/etc/elasticsearch/elasticsearch.yml
```
network.host: 0.0.0.0
```

↑

Kibana4.4†

解凍して、host変えて、起動して5601ポートでアクセス。

↑

Beats†

エージェント型だが、マシンの情報を定期的に送ってくれる上にダッシュボードのテンプレートも併せて提供されている。

↑

トラブルシューティング†

↑

fluentd + ElasticSearchServiceで時折「Cannot get new connection from pool」†

以下のパラメータを入れることにより再接続をするようになる。
```
reload_connections false
```