Elasticsearch の履歴(No.19)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Elasticsearch へ行く。
  • 1 (2016-04-14 (木) 16:03:05)
  • 2 (2016-04-14 (木) 16:18:53)
  • 3 (2016-04-15 (金) 14:17:38)
  • 4 (2016-04-15 (金) 19:54:20)
  • 5 (2016-04-18 (月) 11:31:27)
  • 6 (2016-04-18 (月) 17:43:57)
  • 7 (2016-04-18 (月) 18:25:23)
  • 8 (2016-04-18 (月) 21:51:09)
  • 9 (2016-04-19 (火) 11:50:45)
  • 10 (2016-04-22 (金) 15:43:23)
  • 11 (2016-04-26 (火) 17:02:38)
  • 12 (2016-04-27 (水) 16:59:09)
  • 13 (2016-04-27 (水) 17:51:20)
  • 14 (2016-04-28 (木) 04:30:11)
  • 15 (2016-05-09 (月) 05:16:18)
  • 16 (2016-05-09 (月) 08:16:30)
  • 17 (2016-05-10 (火) 02:58:33)
  • 18 (2016-05-11 (水) 08:57:26)
  • 19 (2016-05-12 (木) 04:15:02)
  • 20 (2016-05-13 (金) 06:55:10)
  • 21 (2016-05-16 (月) 03:42:54)
  • 22 (2016-05-17 (火) 02:46:09)
  • 23 (2016-05-18 (水) 02:39:08)
  • 24 (2016-05-18 (水) 08:37:14)
  • 25 (2016-05-20 (金) 06:30:31)
  • 26 (2016-05-24 (火) 02:11:33)
  • 27 (2016-05-24 (火) 09:17:49)
  • 28 (2016-05-25 (水) 02:18:00)
  • 29 (2016-05-27 (金) 19:19:51)
  • 30 (2016-06-02 (木) 18:48:34)
  • 31 (2016-06-08 (水) 19:04:41)
  • 32 (2016-06-10 (金) 10:47:32)
  • 33 (2016-06-13 (月) 12:37:48)
  • 34 (2016-08-04 (木) 22:22:05)
  • 35 (2018-10-25 (木) 07:52:41)
  • 36 (2019-01-25 (金) 10:13:42)
  • 37 (2019-08-12 (月) 15:33:57)
  • 38 (2020-03-06 (金) 08:10:20)
  • 39 (2020-03-19 (木) 07:51:19)
  • 40 (2020-04-06 (月) 10:28:03)
  • 41 (2020-04-26 (日) 11:54:41)
  • 42 (2020-06-03 (水) 16:00:04)
  • 43 (2020-06-03 (水) 20:38:39)

---

• Elasticsearchを独立させた。Solrと同じくLuceneベース

構成†

• 更新は苦手なのでINDEX単位で日付を付与して、古くなったものはINDEX毎すてていく

AWS Elasticserach Service†

• 基本的なプラグインはインストール済みだが、カスタムプラグインはインストールできない。
• バージョンが古い(2.1が出ている時期に1.5)

Elastic Cloud(旧Found)†

• バージョン選択可能
• 基本プラグイン導入済み
• リージョンも選択可能
• 高い！

運用†

本番環境向け推奨マシンスペック†

実験用途で2GBのマシンに入れたが、結構な割合でOomKillerを発動させたり、落ちてたりする。

• メモリは64gbが理想だが、32−16GBでも大丈夫。8GB以下はインスタンスをたくさん用意しなければならぬ羽目に陥るので結局損。64GB以上でも問題があるので推奨範囲にとどめておくこと。
• CPUのスペックはマルチコアであれば特にハイスペックは要求しない。もしコアあたりの性能アップかコアを増やすかの選択に迫られた時はコアを増やす方向がベターである。
• ディスクはSSDベースにしておけばベター。NASはダメ！
• ネットワークはデータセンター内部にとどめておき、仮に早い専用線があったとしても地理的に離れた場所に配置しない。
• HEAPは初期設定では実運用には適さない。マシンの実メモリの半分程度を最大としつつ、32GBは超えないように設定する。

設定†

投入までの流れ†

1. INDEX作成(curl -XPUT "${ES_URL}/${INDEX_NAME}")
2. 検索で使う型を定義するmappingをJSONで指定(curl -XPUT "${ES_URL}/${INDEX_NAME}/_mapping/default" -d @${MAPPING_FILE})

Mappingの定義†

スキーマレスとはいえ、集計や検索などを考えると事前にMappingの定義は必須である。 単なる型以外にも、入れ子になっているもの(Nested Type)やRDBの親子関係に近いParent-Childなどのデータ構造のバリエーションがある。同じインデックスの同じフィールド名は同じ定義にしなければいけないので、一つのインデックスに複数のタイプが存在する場合でデータ型も違うなら、名前を分けるように（titleではなくblog_title,post_title）

クラスターの可視化†

• elasticsearch-head

インストール後以下のURLで参照可能。

http://133.18.30.106:9200/_plugin/head/

プラグインインストール†

• インストール済みプラグイン確認

  curl -XGET 'http://localhost:9200/_nodes?plugin=true&pretty'

yumの場合はコマンドは以下の場所にある

/usr/share/elasticsearch/bin

plugin install プラグイン名
# kuromojiインストール
/usr/share/elasticsearch/bin/plugin install analysis-kuromoji
# watcherのためのライセンスプラグイン
/usr/share/elasticsearch/bin/plugin install elasticsearch/license/latest
# watcher
/usr/share/elasticsearch/bin/plugin install elasticsearch/watcher/latest
# bigdisk
/usr/share/elasticsearch/bin/plugin install lukas-vlcek/bigdesk

有償プラグイン†

• サブスクリプション加入が必要である。30日間無料でトライアル可能。

アラート†

無料ならelastalert(Yelp開発)。有料ならWatcher(サブスクリプション契約必要)

https://github.com/Yelp/elastalert

情報†

パフォーマンスチューニングの注意点

http://qiita.com/rjkuro/items/e79eec7ffb0511b7c678

td-agentとの連携†

• fluent-plugin-elasticsearchのインストール。1.0系だとfluent-gemのパスが違うので注意。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch

Elasticsearch 2.2†

デフォルトはローカルからのみ接続可能なので、以下の変更を入れる。

• /etc/elasticsearch/elasticsearch.yml

  network.host: 0.0.0.0

Kibana4.4†

解凍して、host変えて、起動して5601ポートでアクセス。

Beats†

エージェント型だが、マシンの情報を定期的に送ってくれる上にダッシュボードのテンプレートも併せて提供されている。

トラブルシューティング†

fluentd + ElasticSearchServiceで時折「Cannot get new connection from pool」†

• 以下のパラメータを入れることにより再接続をするようになる。

  reload_connections false

運用履歴†

Kagoya 2G†

限界ぎりぎりまでメモリを使う。何もしてなくても自然に落ちるという・・

Apr 27 02:19:53 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue. Apr 28 09:11:22 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue. Apr 28 13:01:44 v9215 elasticsearch: # There is insufficient memory for the Java Runtime Environment to continue.

Azure A2†

3.5Gあるので通常のサーバー用途と共存させてもなんとか耐えられる。 5/12 3:55AMを境にpacket&top beatsが勝手に停止していた。

Kibana†

検索†

Visualize†

単一の値の平均値を出す。metrics

時系列での特定の値の変化を出す。†

1. Line Chartを選択
2. X-axisにDate Histgramを選択して、@Timestampを選択
3. Y-axisに任意のフィールドを出す。countはフィールド選べないので注意