ElasticSearch suggester

Suggesters就是一款基于用于提供的文本给出一些相似性的东西,即在用户输入搜索的过程中,进行自动补全或者纠错。 通过协助用户输入更精准的关键词,提高后续全文搜索阶段文档匹配的程度

POST twitter/_search

{

 "query" : {

   "match": {

     "message": "tring out Elasticsearch"

    }

  },

 "suggest" : {

   "my-suggestion" : {

     "text" : "trying out Elasticsearch",

     "term" : {

       "field" : "message"

      }

    }

  }

}

每一个请求体内,都可以指定多个suggestions,每一个suggestion都可以随意命名,如:

POST _search

{

 "suggest": {

   "my-suggest-1" : {

     "text" : "tring out Elasticsearch",

     "term" : {

       "field" : "message"

      }

    },

   "my-suggest-2" : {

     "text" : "kmichy",

     "term" : {

       "field" : "user"

      }

    }

  }

}

ES中,Suggester主要分为四种类型:term, phrase,completion以及context。

 

 

一 Term Suggester

在建议之前,会对用户提供的输入进行分词,然后进行suggest,只是针对单个term进行suggest,并不会考虑多个term之间的关系。

流程如下:

给一点数据:

PUT /website/news/1

{

   "title":"China strives to improve products,services",

   "content":"President said China will strive to providethe world with better products and services in a congratulatory letter to theChina Quality Conference, which opened on Friday in Shanghai"

}

 

PUT /website/news/2

{

   "title":"COMAC eyes 750 orders for C919 jet",

    "content":"Ordersfor the C919, the first large passenger aircraft produced in China inaccordance with international civil aviation regulations, are expected to reach750 by year's end, corporate officials told China Daily"

}

比如你提供两个单词:strave aircreft

# 将这个文本进行分词,拆分成strave和aircreft两个tokens

# 再suggest搜索中指定term suggest方式

POST /website/news/_search

{

   "suggest":{

       "news-suggestion":{

           "text":"strave aircreft",

           "term":{

               "field":"content"

            }

        }

    }

}

# 返回建议的terms,并不会将该字段全部返回

ElasticSearch suggester_第1张图片

参数选项:

text:要进行suggest的文本,必须的

field:即从哪一个字段去获取suggest term,必须的

analyzer:指定分析text中文本的分词器,默认是field字段的分词器

size:最多返回多少个纠正,不是每一种类型都支持

sort:纠正的term如何排序,两个选项:score和frequency

suggest_mode:纠正或者建议模式:

# missing: 只对那些在索引里没有term给出建议,默认选项,如果已经有了,表示已经很精准了,不需要

# popular: 即使可能已经很精准了,但是如果存在一个词频更高的相似项,这个相似项可能是更合适的

# always:是不管token是否存在于索引词典里都要给出相似项。

prefix_length:前缀匹配的时候,必须满足的最少字符

min_word_length:最少包含的单词数量

min_doc_freq:最少的文档频率

max_term_freq:最大的词频

 

 

二 Phrase Suggester

我们知道,term suggester可以对单个term进行建议或者纠错,不会考虑多个term之间的关系,但是phrase suggester在term suggester的基础上,考虑多个term之间的关系,比如是否同时出现一个索引原文中,相邻程度以及词频等等

PUT /website/phrase/1

{

   "title":"Spark uses Hadoop client libraries for HDFS andYARN."

}

 

PUT /website/phrase/2

{

   "title":"Downloads are pre-packaged for a handful ofpopular Hadoop versions"

}

 

PUT /website/phrase/3

{

   "title":"Users can also download a “Hadoop free” binaryand run Spark with any Hadoop version by augmenting Sparks classpath"

}

 

 

PUT /website/phrase/4

{

    "title":"deploy Sparks on top of Hadoop NextGen"

}

开始进行搜索spaek and hadop

POST /website/phrase/_search

{

   "suggest":{

       "news-suggestion":{

           "text":"spaek and hadop",

           "phrase":{

               "field":"title",

               "size":3,

               "highlight":{

                   "pre_tag": "

",

                   "post_tag": "

"

               }

            }

        }

    }

}

首先返回的是一个phrase列表,我们加了highlight选项,被建议的term会被高亮。另外如果被建议的词以前是在同一个索引原文里,那么他的分数最高。

ElasticSearch suggester_第2张图片

参数选项:

field: 针对哪一个字段进行短语纠正

gram_size: 如果字段不包含n-grams,那么可以略过此参数,此参数设置gram级别

confidence:置信水平定义了一个应用于输入词组分数的因子,它被用作其他建议候选人的阈值。只有得分高于阈值的候选人才会被包括在结果中。例如,1.0的置信级别只会返回高于输入的提示。如果设置为0.0,则返回前N个候选项。缺省值是1.0。

separator:用于在bigram字段中分离term的分隔符

size:返回的结果个数

analyzer:指定分词器,默认和字段分词器一样

text:提供的输入文本

highlight:高亮显示

collate:检查针对指定查询的每个建议,以删除索引中不存在匹配文档的建议。

 

三 Completion Suggester

这就是我们经常说的auto completion,即自动补全。在用户输入的时候,给用户一些导航性质的结果,以提升搜索精度,但是他不是拼写检查或者did you mean这种功能或者像单词或者短语建议一样。

一般理想的讲,自动补全功能希望是越快越好,所以自动completion suggester主要在速度上做了优化,它所使用的数据结构能够使得快速查询,但是成本就是基于内存的。

索引并非通过倒排来完成,而是将分词过的数据编码成FST和索引一起存放。对于一个open状态的索引,FST会被ES整个装载到内存里的,进行前缀查找速度极快。但是FST只能用于前缀查找,这也是CompletionSuggester的局限所在。

 

要使用自动补全,我们需要在mapping中为该字段指定一些属性:

PUT /ecommerce/_mapping/mf

{

    "properties":{

       "description":{

           "type":"completion"

        }

    }

}

或者

PUT /ecommerce/_mapping/mf

{

   "properties":{

       "description":{

           "type":"text",

           "analyzer": "ik_max_word",

           "fields": {

                "suggest" : {

                 "type" : "completion",

                 "analyzer": "ik_max_word"

               }

            }

        }

    }

}

 

PUT /ecommerce/mf/1

{

   "description":"Premium Faring Hinges"

}

 

PUT /ecommerce/mf/2

{

   "description":"Premium Round Sunglasses"

}

 

PUT /ecommerce/mf/3

{

   "description":"Premium Fashion Full-Rim Frame"

}

PUT /ecommerce/mf/4

{

   "description":"Premium Rectangular Fashionable  Eyeglasses"

}

POST /ecommerce/mf/_search

{

   "suggest":{

       "completion-suggest":{

           "prefix":"Premium R",

           "completion":{

               "field":"description"

            }

        }

    }

}


ElasticSearch suggester_第3张图片

参数选项:

analyzer:分词器,默认是simple,我们也可以修改为其他分词器

POST /ecommerce/mf/_search

{

   "suggest":{

       "completion-suggest":{

           "prefix":"雅马哈电",

           "completion":{

               "field":"description",

               "analyzer":"ik_max_word"

            }

        }

    }

}

search_analyzer:默认就是analyzer

max_input_length: 限制单个输入的长度,默认为50.这个限制只在索引时使用,以减少每个输入字符串的字符总数

preserve_separators:保留的分隔符,如果我们设置为false,那么你可能找foof的时候找到了Foo Fighters,即中间有空格的也出现了

 

我们还可以向其他字段一样对suggestions进行索引,它是由input字段和weight字段组成,input是预期的文本,与suggestion查询匹配,权重决定建议如何得分

input: 可以是一个数组

weight: input里面的值的权重

PUT music/song/1?refresh

{

   "suggest" : [

        {

           "input": "Nevermind",

           "weight" : 10

        },

        {

           "input": "Nirvana",

           "weight" : 3

        }

    ]

}

查询相关的参数

field: 指定从哪一个字段进行completion

size: 指定返回个数

prefix:指定前缀

POST music/_search?pretty

{

   "suggest": {

       "song-suggest" : {

           "prefix" : "nir",

           "completion" : {

               "field" : "suggest"

            }

        }

    }

}

 

如果是模糊匹配,即fuzzy query:

POST music/_search?pretty

{

   "suggest": {

       "song-suggest" : {

           "prefix" : "nor",

           "completion" : {

               "field" : "suggest",

               "fuzzy" : {

                   "fuzziness" : 2

               }

            }

        }

    }

}

fuzziness:表示模糊因子

min_length:在返回模糊建议之前,输入最小长度,默认值为3

prefix_length:最小长度的输入,没有检查的模糊选择,默认为1

 

如果正则查询:

POST music/_search?pretty

{

   "suggest": {

       "song-suggest" : {

           "regex" : "n[ever|i]r",

           "completion" : {

               "field" : "suggest"

            }

        }

    }

}

flags: ALL(默认),ANYSTRING,COMPLEMENT,EMPTY,

INTERSECTION, INTERVAL, or NONE

max_determinized_states:正则表达式很危险,因为很容易意外地创建一个看起来无害的外观,它需要一个指数级的内部决定自动化状态(以及相应的RAM和CPU)来执行Lucene。Lucene通过使用max_UNK minized_states设置(默认为10000)来防止这些错误。您可以提高这个限制,允许执行更复杂的正则表达式。


你可能感兴趣的:(ElasticSearch suggester)