无论是solr还是elasticsearch,其底层都是通过lucene来实现的，我们首先学下lucene的原理。
一、lucene简介
Lucene最初是由Doug Cutting开发的，在SourceForge的网站上提供下载。在2001年9月作为高质量的开源Java产品加入到Apache软件基金会的 Jakarta家族中。
它是一个全文检索引擎的架构，提供了完整的创建索引和查询索引，以及部分文本分析的引擎，Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎，Lucene在全文检索领域是一个经典的祖先，现在很多检索引擎都是在其基础上创建的，思想是相通的。
二、索引原理
2.1 数据的查询方式
通常来说，我们在查询数据的时候都是通过顺序扫描的方式，我们需要对每个文档从头到尾进行查看，直到找到我们需要的数据为止。但是这种效率是极低的，需要进行全部文档的扫描。
但是顺序扫描也有其优点：数据准确；缺点也是同样的明显：随着数据量也来越大，效率会越来越低。
渐渐的出现了更加快速的索引方式：mysql使用的B+tree，HashMap使用的拉链法（又叫开散列法），以及在redis的set类型中使用的跳跃表（lucene中也有使用），以及全文检索技术使用的倒排索引。本文我们主要讲解倒排索引。
2.1.2 倒排索引
lucene使用倒排索引的方式去建立文档和查询数据。
当存储数据时，将数据中的关键词拆分并提取建立索引（就像词典的目录一样）；
当查询的时候，会根据查询的内容在目录中寻找，直到找到查询内容所在的文档。
优点:
1）准确率高
2）不会因为数据量的增加导致查询速度大幅下降。（无论是中文还是英文词典而言，作为目录的数量是固定的，基本没有变化，即使数据量增大了，目录还是那么多）
缺点：
索引文件占用额外的硬盘空间。
使用场景：
适合海量数据的查询。
2.2 索引过程
2.3 文档和索引文档
2.3.1 文档
如下图所示是文档集合的逻辑图：分别表示两条文档记录，id分别是1和2，每个文档有自己的field属性。
2.3.2 索引文档
如上面的文档所指示，我们在存储时会对以上的文档内容进行分词，从而建立索引文档。
分词结构如下所示：
1、2、张三、李四、黑龙江、省、黑龙江省、双鸭山、哈尔滨、市、双鸭山市、哈尔滨市。
左侧表示关键字，右侧是存储文档数据的id。
2.4 底层存储结构
其存储结构如下图所示：在上图中，Segment作文数据文件是真实存在的，索引与文档作为其内部的逻辑结构。
上图中还有个lock，这是控制并发写时，保证数据正确性的措施。
在以上的存储结构中，有几个关键点：
索引（index）
在lucene中，一个索引存放在一个文件夹当中。
段（segment）
一个索引由多个段组成。多个段可以合并，减少磁盘的io。
lucene的数据写入会先写如到缓存（buffer）中，当达到一定数量以后，会flush成文一个segment，写入到磁盘当中。每个segement有自己独立的索引，可以单独查询。
segment不会被修改，数据的的写入都是进行批量的追加，避免了随机写的存在，提高了吞吐量。segement可以被删除，但也不是修改segement文件，而是由另外的文件记录需要被删除的documentId。
index的查询是对多个segement文件的查询，其中也包含了处理被删除文件的处理，并对查询结果进行合并。为了进行查询优化，lucene有策略对多个segment进行优化。
文档（document）
文档是我们建立索引的基本单位。不同的文档保存在不同的段当中。一个段中可以包含多篇文档。
新添加的文档是保存在一个新的段中的，随着段的合并策略的执行，最终会被合并到同一个段当中。
域（feild）
一个文档可以包含很多不同类型的信息，它们有着不同的索引方式，可以分开索引。比如文本，时间，数值等类型。不同域的索引方式可以不同。
2.5 词典数据结构
词典数据结构指的是前面我们提到的的倒排索引，我们将文档的关键字拆分，最终组成了这个词典一样的索引结构。
下面看下常见的词典结构：
| 名称 | 特点 |
|---|---|
| 跳跃表 | 占用内存小，可调整，对模糊查询不友好；关于跳跃表原理可以参考我的redis类型的文章，zset在大数据量时的存储结构就是跳跃表：https://www.jianshu.com/p/47f431c641e1 |
| 排序列表（数组、list） | 使用二分查找，不平衡 |
| 字典树 | 查询效率与字符串长度有关，只适合英文字典。https://baike.baidu.com/item/%E5%AD%97%E5%85%B8%E6%A0%91/9825209?fr=aladdin |
| 哈希表 | 效率高，内存消耗大 |
| 双数组字典树 | 内存占用小，适合做中文字典https://baike.baidu.com/item/%E5%8F%8C%E6%95%B0%E7%BB%84trie%E6%A0%91/12508646?fr=aladdin |
| FST（Finite State Transducers） | 有限状态转移机，lucene使用此方法 |
| B树 | 磁盘索引，多用于关系型数据库 |
2.5.1 FST简单介绍
优点：内存占用率低，压缩率较高（2到30倍），查询快，对模糊查询支持好。
缺点：结构复杂，输入要求有序，更新不易。
举个例子：
有abd、abc、acf、ace，那么其插入的方式大致如下所示：
2.6 效率优化
优化方式可以通过如下两种方式
1）通过设置缓存区大小，减少flush次数，调节磁盘大量io的问题。
2）索引存放位置：目前有三种方式如下所示：推荐使用MMap
| 名称 | 特点 |
|---|---|
| SimpleFSDirectory | 实现简单，并发能力差 |
| NIOFSDirectory | 并发能力强，windows平台有bug |
| MmapFSDirectory | 读写操作基于内存 |