elasticsearch学习4--倒排索引与分词

一、倒排索引

1.正向索引

ID	作者	文章标题	文章内容
1	Cape1	es索引	努力学习倒排索引
2	Cape2	mysql索引	学习普通索引

以上述内容为例，构建id正向索引和文章标题正向索引

索引	文章内容
1	努力学习倒排索引
2	学习普通索引
es索引	努力学习倒排索引
mysql索引	学习普通索引

当我们知道文章id或者文章题目的时候，可以很容易的检索到文章的内容。但是，如果我们只知道文章中的某个关键词，例如需要检索到与“倒排索引”有关的文章时，就只能对文章内容进行全文检索了。当文章内容很大，数据量很多的时候就没有办法保证效率了。对于这类需求，关系型数据库的索引就不太合适了，最好使用基于倒排索引的数据库。

2.倒排索引

同样以上述内容为例构建倒排索引

Token	ID为1 的文章	ID为2的文章
努力	√
学习	√	√
倒排	√
普通		√
索引	√	√

上表倒排序索引包含两个部分：

单词词典：记录所有文档单词，记录单词到倒排列表的关联关系
倒排列表：记录单词与对应文档结合，由倒排索引项组成

每个Token为一个倒排索引项，包含以下4个内容

文档：Doc Id - 包含此Token的文档id
词频：TF - 单词在文档中出现的次数，用于相关性评分
位置：Position - 单词在文档中分词的位置，用于phrase query
偏移：Offset - 记录单词开始结束的位置，实现高亮显示

例如

单词	Doc Id	TF	Position	Offset
学习	1	1	1	<2,4>
	2	1	0	<0,2>

二、Analysis 分词

Analysis：即文本分析，是把全文本转化为一系列单词（term/token）的过程，也叫分词；在Elasticsearch中可通过分词器（Analyzer）实现分词，分词器可以是内置的也可以是定制分词器。

Analyzer 分词过程简介

1）字符过滤器 character filter
首先，字符串按顺序通过每个字符过滤器 。他们的任务是在分词前整理字符串。一个字符过滤器可以用来去掉HTML，或者将 & 转化成 and。

2）分词器 tokenizer
其次，字符串被 分词器 分为单个的词条。一个 whitespace的分词器遇到空格和标点的时候，可能会将文本拆分成词条。

3）令牌过滤器token filter
最后，词条按顺序通过每个 token 过滤器 。这个过程可能会改变词条，例如，lowercase token filter 小写化（将ES转为es）、stop token filter 删除词条（例如， 像 a， and， the 等无用词），或者synonym token filter 增加词条（例如，像 jump 和 leap 这种同义词）。