-Elasticsearchを独立させた。Solrと同じくLuceneベース *構成 [#k746709d] |INDEX|RDBのDatabaseに相当。この単位でSHADE数が決まるので、更新頻度が違うものはINDEXを分ける| |シャード|インデックスを何分割するか?作成時のみしか指定できず| |DOCUMENT|RDBの1レコード| |FIELD|列定義| |CLUSTER|NODEの集合| |NODE|ESの1プロセス| -更新は苦手なのでINDEX単位で日付を付与して、古くなったものはINDEX毎すてていく |RDB|Elasticsearch| |Databases|Indices| |Tables|Types| |Rows|Documents| |Fields|Columns| *AWS Elasticserach Service [#i8eac1c7] -基本的なプラグインはインストール済みだが、カスタムプラグインはインストールできない。 -バージョンが古い *Elastic Cloud(旧Found) [#xadb022d] -バージョン選択可能 -基本プラグイン導入済み -リージョンも選択可能 -高い! **投入までの流れ [#f9fd33ac] +INDEX作成(curl -XPUT "${ES_URL}/${INDEX_NAME}") +検索で使う型を定義するmappingをJSONで指定(curl -XPUT "${ES_URL}/${INDEX_NAME}/_mapping/default" -d @${MAPPING_FILE}) **クラスターの可視化 [#u022dd5d] -elasticsearch-head インストール後以下のURLで参照可能。 http://133.18.30.106:9200/_plugin/head/ *プラグインインストール [#l778eff3] yumの場合はコマンドは以下の場所にある /usr/share/elasticsearch/bin plugin install プラグイン名 # kuromojiインストール /usr/share/elasticsearch/bin/plugin install analysis-kuromoji # watcherのためのライセンスプラグイン /usr/share/elasticsearch/bin/plugin install elasticsearch/license/latest # watcher /usr/share/elasticsearch/bin/plugin install elasticsearch/watcher/latest # bigdisk /usr/share/elasticsearch/bin/plugin install lukas-vlcek/bigdesk *アラート [#d37153b6] 無料ならelastalert(Yelp開発)。有料ならWatcher(サブスクリプション契約必要) https://github.com/Yelp/elastalert *情報 [#s19a4767] パフォーマンスチューニングの注意点 http://qiita.com/rjkuro/items/e79eec7ffb0511b7c678 **td-agentとの連携 [#t82cc0fa] -fluent-plugin-elasticsearchのインストール。1.0系だとfluent-gemのパスが違うので注意。 /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch *Elasticsearch 2.2 [#ta64c66a] デフォルトはローカルからのみ接続可能なので、以下の変更を入れる。 -/etc/elasticsearch/elasticsearch.yml network.host: 0.0.0.0 *Kibana4.4 [#p135a5c4] 解凍して、host変えて、起動して5601ポートでアクセス。 *Beats [#xc90fcfb] エージェント型だが、マシンの情報を定期的に送ってくれる上にダッシュボードのテンプレートも併せて提供されている。