Elasticsearch/スキーマ設計 の履歴(No.5)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Elasticsearch/スキーマ設計 へ行く。
  • 1 (2016-06-10 (金) 10:48:47)
  • 2 (2016-06-10 (金) 10:58:40)
  • 3 (2016-06-13 (月) 11:45:05)
  • 4 (2016-06-15 (水) 11:37:44)
  • 5 (2016-06-15 (水) 18:04:04)
  • 6 (2016-06-16 (木) 13:48:39)
  • 7 (2016-06-20 (月) 02:13:25)

---

• Indexやらanalyzerやらmappingやらのお話

analyzer†

• analyzerとはtokenizer,filterなどをひとまとまりに定義したもの。tokenizerはluceneのものもある

tokenizer一覧†

NGram Tokenizer†

nGram

Whitespace Tokenizer†

空白区切り

Pattern Tokenizer†

Lowercase Tokenizer†

Letter Tokenizerの後にLower case Token Filterをかけたものと全く一緒だが、パフォーマンス場はこちらが有利。

Letter Tokenizer†

テキストじゃない部分(空白やらピリオドやら)で分割する。ほとんどのヨーロッパ言語ではうまくいくがアジア系の言語だとひどいことになる。

Keyword Tokenizer†

keywordが全入力を一つの単位として扱う。

analyzerの挙動確認†

• インデックスtestのデフォルトアナライザー

 curl 'localhost:9200/test/_analyze?pretty' -d 'こんにちは世界'

• アナライザーの指定も可能

curl 'localhost:9200/test/_analyze?pretty=1&analyzer=my_ngram_analyzer' -d 'Database + fulltext=search'

参考サイト†

1. http://christina04.hatenablog.com/entry/2015/02/02/225734
2. http://createfield.com/Elasticsearch%E3%81%AE%E3%82%A2%E3%83%8A%E3%83%A9%E3%82%A4%E3%82%B6%E3%83%BC%E3%82%92%E8%A9%A6%E3%81%99%E6%96%B9%E6%B3%95

mapping†

mappingの基礎†

UserAgentなどの用に空白で区切られた文字列をデフォルトで取り込むと解析されてしまい、ブラウザごとのシェアなどが正しく判定できない。全文一致のみ利用するのであればnot_analyzedを指定する。ただしそれだけだと今後は部分一致ができなくなるので部分一致用の設定も入れてあげる必要がある。Multi-Fieldと呼ばれていたが2.0以降ではやり方が違う。

• フィールドごとに型定義をし、analyzerの設定も行う

"mappings": {
   "company": {
     "_source": {
       "enabled": true
     },
     "_all": {
       "enabled": true,
       "analyzer": "kuromoji_analyzer"
     },
     "properties": {
       "id": {
         "type": "integer",
         "index": "not_analyzed"
       },
       "name": {
         "type": "string",
         "index": "analyzed",
         "analyzer": "ngram_analyzer"
       },
       "location": {
         "type": "string",
         "index": "analyzed",
         "analyzer": "kuromoji_analyzer"
       }
     }
   },
   "project": {
     "_source": {
       "enabled": true
     },
     "_all": {
       "enabled": true,
       "analyzer": "kuromoji_analyzer"
     },
     "_parent": {
       "type": "company"
     },
     "properties": {
       "id": {
         "type": "integer",
         "index": "not_analyzed"
       },
       "title": {
         "type": "string",
         "index": "analyzed",
         "analyzer": "kuromoji_analyzer"
       }
     }
   }
 }

参考サイト†

1. http://engineer.wantedly.com/2014/02/25/elasticsearch-at-wantedly-1.html