Elasticsearch学习笔记(15) - 相关性算分

简介

在Elasticsearch中，相关性算分描述了一个文档和查询语句的匹配程度。Elasticsearch会对每个匹配查询条件的结果进行相关性分数的计算，即：_score。

算分的本质是为了排序，需要把最符合用户需求的文档排列在最前面。在Elasticsearch5.0以前，默认的相关性算分为TF-IDF。5.0及之后的版本采用的是BM25。

词频 - TF

词频，英文缩写为TF，英文全写为Term Frequency。词频用于描述检索词在一篇文档中出现的频率。即：检索词出现的次数除以文档的总字数。

衡量一条查询语句和结果文档相关性的简单方法：简单地将搜索语句中的每一个词的TF进行相加。

例如，我的苹果，即为：TF(我) + TF(的) + TF(苹果)。

停用词，英文名为Stop Word，例如我的苹果中的的在文档中可能出现很多次，但贡献的相关度却几乎没有用处，因此不应该考虑他们的词频。

逆文档频率 - IDF

相对于逆文档频率，我们先来说说文档频率。

文档频率，英文缩写为DF，英文全写为Document Frequency，用于检索词在所有文档中出现的频率。

• 苹果 在相对较少的文档中出现
• 我 在相对较多的文档中出现
• 的 在大量的文档中出现

逆文档频率，英文全写为：Inverse Document Frequency。简单说也就是：

log(全部文档数 / 检索词出现过的文档总数)。

TF-IDF

TF-IDF的本质就是将TF求和变成了加权求和。

TF(我) * IDF(我) + TF(的) * IDF(的) + TF(苹果) * IDF(苹果)。

	出现的文档数	总文档数	IDF
我	5亿	10亿	log(2) = 1
的	10亿	10亿	log(1) = 0
苹果	200万	10亿	log(500) = 8.96

TF-IDF的概念

1. 被公认为信息检索领域最重要的发明
2. 除了在信息检索领域，在文献分类和其他相关领域都有着非常广泛的应用
3. 关于其历史及精确定义，参考维基百科的TF-IDF
4. 现代搜索引擎，对TF-IDF进行了大量细微的优化

Lucene的TF-IDF相关性算分公式

TF-IDF

BM25

1. 从Elasticsearch5.0开始，默认算法由TF-IDF改为BM25
2. 和经典的TF-IDF相比，当TF无限增加时，BM25计算的相关性分数会趋于一个固定数值。

BM25

Explain API

在查询语句时，我们可通过explain查看TF-IDF。

# 创建索引
PUT testscore
{
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text"
      }
    }
  }
}

# 写入数据
PUT testscore/_bulk
{ "index": { "_id": 1 }}
{ "content":"we use Elasticsearch to power the search" }
{ "index": { "_id": 2 }}
{ "content":"we like elasticsearch" }
{ "index": { "_id": 3 }}
{ "content":"The scoring of documents is caculated by the scoring formula" }
{ "index": { "_id": 4 }}
{ "content":"you know, for search" }

# 查询语句。
# 查询的时间，我们发现id为2的文档却排列在第一位。
# 原因在于，相对于id为1的文档，id为2的文档单词数更少。
POST /testscore/_search
{
  "explain": true,
  "query": {
    "match": {
      //"content":"you"
      "content": "elasticsearch"
      //"content":"the"
      //"content": "the elasticsearch"
    }
  }
}

Boosting

Boosting是一种控制相关性分数的手段，可作用于索引、字段或查询子条件。

1. 当boost > 1时，算分的相关度相关性会增加
2. 当0 < boost < 1时，算分的相关度相对性会降低
3. 当boost < 0时，贡献负分

POST testscore/_search
{
    "query": {
        "boosting" : {
            "positive" : {
                "term" : {
                    "content" : "elasticsearch"
                }
            },
            "negative" : {
                 "term" : {
                     "content" : "like"
                }
            },
            "negative_boost" : 0.2
        }
    }
}

总结

1. 什么是相关性，相关性分数计算的简单介绍，主要为：TF-IDF / BM25
2. 如何在Elasticsearch中定制相关度算法的参数
3. Elasticsearch可以对索引、字段和查询语句设置boosting参数

参考链接

• Elasticsearch中的相似度模型
• 极客时间 - 阮一鸣老师的《Elasticsearch核心技术与实战》