Elasticsearch の履歴(No.35)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Elasticsearch へ行く。
  • 1 (2016-04-14 (木) 16:03:05)
  • 2 (2016-04-14 (木) 16:18:53)
  • 3 (2016-04-15 (金) 14:17:38)
  • 4 (2016-04-15 (金) 19:54:20)
  • 5 (2016-04-18 (月) 11:31:27)
  • 6 (2016-04-18 (月) 17:43:57)
  • 7 (2016-04-18 (月) 18:25:23)
  • 8 (2016-04-18 (月) 21:51:09)
  • 9 (2016-04-19 (火) 11:50:45)
  • 10 (2016-04-22 (金) 15:43:23)
  • 11 (2016-04-26 (火) 17:02:38)
  • 12 (2016-04-27 (水) 16:59:09)
  • 13 (2016-04-27 (水) 17:51:20)
  • 14 (2016-04-28 (木) 04:30:11)
  • 15 (2016-05-09 (月) 05:16:18)
  • 16 (2016-05-09 (月) 08:16:30)
  • 17 (2016-05-10 (火) 02:58:33)
  • 18 (2016-05-11 (水) 08:57:26)
  • 19 (2016-05-12 (木) 04:15:02)
  • 20 (2016-05-13 (金) 06:55:10)
  • 21 (2016-05-16 (月) 03:42:54)
  • 22 (2016-05-17 (火) 02:46:09)
  • 23 (2016-05-18 (水) 02:39:08)
  • 24 (2016-05-18 (水) 08:37:14)
  • 25 (2016-05-20 (金) 06:30:31)
  • 26 (2016-05-24 (火) 02:11:33)
  • 27 (2016-05-24 (火) 09:17:49)
  • 28 (2016-05-25 (水) 02:18:00)
  • 29 (2016-05-27 (金) 19:19:51)
  • 30 (2016-06-02 (木) 18:48:34)
  • 31 (2016-06-08 (水) 19:04:41)
  • 32 (2016-06-10 (金) 10:47:32)
  • 33 (2016-06-13 (月) 12:37:48)
  • 34 (2016-08-04 (木) 22:22:05)
  • 35 (2018-10-25 (木) 07:52:41)
  • 36 (2019-01-25 (金) 10:13:42)
  • 37 (2019-08-12 (月) 15:33:57)
  • 38 (2020-03-06 (金) 08:10:20)
  • 39 (2020-03-19 (木) 07:51:19)
  • 40 (2020-04-06 (月) 10:28:03)
  • 41 (2020-04-26 (日) 11:54:41)
  • 42 (2020-06-03 (水) 16:00:04)
  • 43 (2020-06-03 (水) 20:38:39)

---

• Elasticsearchを独立させた。Solrと同じくLuceneベース

• Elasticsearch
• Elasticsearch/elasticdump
• Elasticsearch/スキーマ設計
• Elasticsearch/物理設計

構成†

シャードの数はノードの数に合わせておくと良いらしい。ノードが少ないのにシャードを増やしても早くならない。

• 更新は苦手なのでINDEX単位で日付を付与して、古くなったものはINDEX毎すてていく

ノードの種類†

• マスターノード(Master-eligible node) node_master: trueになっているものがマスターノードになれる。デフォルトtrue。マスターノードはクラスターをコントロールするノードである。
• データノード(node_data: true) CRUDに関する動作を請け負うノード
• クライアントノード(masterでもなくdataでもない) データも保持せず、マスターにも昇格しない。検索時の負荷分散など

シャードはノード数と同じにしておくと良いのだが、将来的にノードを増やすことで負荷分散することを考えているのであればノード数以上にシャードを設定しておくのもあり。

シャードの数†

https://qbox.io/blog/optimizing-elasticsearch-how-many-shards-per-index

INDEX設計†

一つのINDEXでシャードの数が決まるので、スケールさせる前提であればINDEXを分ける。また親子関係がある場合は一つのINDEXにする必要がある。INDEX名を適当に決めるとINDEX TEMPLATEが適用できなくなってしまうので、きちんと命名規約を決めておくこと！

AWS Elasticserach Service†

• 基本的なプラグインはインストール済みだが、カスタムプラグインはインストールできない。
• バージョンが古い(2.1が出ている時期に1.5.2)
• S3 Pluginを利用すればES on EC2 to ElasticSearchServiceのimportは可能
• 2016/08ようやく2.3がでた！

ElasticSearchServiceへCloudWatchから流す†

VPCFlowLogやCloudTrailをElasticSearchServiceに流しているが、これは裏でLambdaを自動で作成してくれているだけである。そのLambdaをカスタマイズすれば任意の場所へ送信可能。

Elastic Cloud(旧Found)†

• バージョン選択可能
• 基本プラグイン導入済み
• リージョンも選択可能
• 高い！

参考ページ†

dstat投入

http://qiita.com/yumatz/items/debbc6d6063c85531fd1

運用†

本番環境向け推奨マシンスペック†

実験用途で2GBのマシンに入れたが、結構な割合でOomKillerを発動させたり、落ちてたりする。

• メモリは64gbが理想だが、32−16GBでも大丈夫。8GB以下はインスタンスをたくさん用意しなければならぬ羽目に陥るので結局損。64GB以上でも問題があるので推奨範囲にとどめておくこと。
• CPUのスペックはマルチコアであれば特にハイスペックは要求しない。もしコアあたりの性能アップかコアを増やすかの選択に迫られた時はコアを増やす方向がベターである。
• ディスクはSSDベースにしておけばベター。NASはダメ！
• ネットワークはデータセンター内部にとどめておき、仮に早い専用線があったとしても地理的に離れた場所に配置しない。
• HEAPは初期設定では実運用には適さない。マシンの実メモリの半分程度を最大としつつ、32GBは超えないように設定する。

設定†

投入までの流れ†

1. INDEX作成(curl -XPUT "${ES_URL}/${INDEX_NAME}")
2. 検索で使う型を定義するmappingをJSONで指定(curl -XPUT "${ES_URL}/${INDEX_NAME}/_mapping/default" -d @${MAPPING_FILE})

Mappingの定義†

スキーマレスとはいえ、集計や検索などを考えると事前にMappingの定義は必須である。 単なる型以外にも、入れ子になっているもの(Nested Type)やRDBの親子関係に近いParent-Childなどのデータ構造のバリエーションがある。同じインデックスの同じフィールド名は同じ定義にしなければいけないので、一つのインデックスに複数のタイプが存在する場合でデータ型も違うなら、名前を分けるように（titleではなくblog_title,post_title）

クラスターの可視化†

• elasticsearch-head

インストール後以下のURLで参照可能。

http://133.18.30.106:9200/_plugin/head/

プラグインインストール†

• インストール済みプラグイン確認

  curl -XGET 'http://localhost:9200/_nodes?plugin=true&pretty'

yumの場合はコマンドは以下の場所にある

/usr/share/elasticsearch/bin

plugin install プラグイン名
# kuromojiインストール
/usr/share/elasticsearch/bin/plugin install analysis-kuromoji
# watcherのためのライセンスプラグイン
/usr/share/elasticsearch/bin/plugin install elasticsearch/license/latest
# watcher
/usr/share/elasticsearch/bin/plugin install elasticsearch/watcher/latest
# bigdisk
/usr/share/elasticsearch/bin/plugin install lukas-vlcek/bigdesk

有償プラグイン†

• サブスクリプション加入が必要である。30日間無料でトライアル可能。

Graph Deep Dive†

Sinificant Term Aggrigation

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-significantterms-aggregation.html

Graphの利点

関連性を見て分析 。

404のエラーからさらにドリルダウンして、各ブラウザを表示させることができる。

トライアルは３０日 データが入っていればすぐ利用可能。

アラート†

無料ならelastalert(Yelp開発)。有料ならWatcher(サブスクリプション契約必要)

https://github.com/Yelp/elastalert

情報†

パフォーマンスチューニングの注意点

http://qiita.com/rjkuro/items/e79eec7ffb0511b7c678

td-agentとの連携†

• fluent-plugin-elasticsearchのインストール。1.0系だとfluent-gemのパスが違うので注意。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch

Elasticsearch 2.2†

デフォルトはローカルからのみ接続可能なので、以下の変更を入れる。

• /etc/elasticsearch/elasticsearch.yml

  network.host: 0.0.0.0

Kibana4.4†

解凍して、host変えて、起動して5601ポートでアクセス。

Beats†

エージェント型だが、マシンの情報を定期的に送ってくれる上にダッシュボードのテンプレートも併せて提供されている。

トラブルシューティング†

fluentd + ElasticSearchServiceで時折「Cannot get new connection from pool」†

• 以下のパラメータを入れることにより再接続をするようになる。

  reload_connections false

利用事例†

1. MySQL Slow Query Log
2. Apache Log

運用履歴†

Kagoya 2G†

限界ぎりぎりまでメモリを使う。何もしてなくても自然に落ちるという・・

Apr 27 02:19:53 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue. Apr 28 09:11:22 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue. Apr 28 13:01:44 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue.

Azure A2†

3.5Gあるので通常のサーバー用途と共存させてもなんとか耐えられる。 5/12 3:55AMを境にpacket&top beatsが勝手に停止していた。

5/24 4:05AMを境にElasticSearchが落ちていた。その近辺でoom-killerが発動していた。

そしてkibana has broken completely! plugin:elasticsearch Elasticsearch is still initializing the kibana index.

全部のインデックスを消去して、わけわからんけど復旧。

Kibana†

視覚化ツールの標準。認証機能が単体ではまだ実装されておらず、SearchGuardなどのプラグイン頼み

プラグイン†

kibana単体にもプラグインインストール可能。RPMインストールの場合は以下の場所からインストール可能。下記例はtimelionをインストールする。

/opt/kibana/bin/kibana plugin -i kibana/timelion

検索†

Visualize†

単一の値の平均値を出す。metrics

時系列での特定の値の変化を出す。†

1. Line Chartを選択
2. X-axisにDate Histgramを選択して、@Timestampを選択
3. Y-axisに任意のフィールドを出す。countはフィールド選べないので注意

timelionプラグイン†

kibanaとは別アプローチで流れるSQLのように関数でグラフを作成できるツール。まだ出たばっかりだが、プログラマー的にはこちらの方が再利用しやすいのではないかな？

ElastAlert†

無料のアラート検知＆通知ツール。コマンドラインで実行する。

インストール†

大量投入†

http://ameblo.jp/fcv-system/entry-11950051736.html

API†

https://medium.com/hello-elasticsearch/elasticsearch-api-83760ce1424b#.igvw3frk5

Kibana クエリー†

_type: road_times AND road_id: 1
_type: marcket_records AND marcket_id: 1