ElasticSearch学习笔记 | 分词、IK分词器和自定义分词
一个 tokenizer（分词器）接收一个字符流，将之割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens流。
例如，whitespace tokenizer遇到空白字符时分割文。它会将文本 "Quick brown fox!“ 分割为 [Quick, brown, fox]。该 tokenizer（分词器）还负责记录各个term（词条）的顺序或 position 位置（用于 phrase短语和 word proximity 词近邻查询），以及term（词条）所代表的原始word（单词）的 start（起始）和end（结束）的 character offsets（字符偏移量）（用于高亮显示搜索的内容）。
ElasticSearch 提供了很多内置的分词器，可以用来构建 custom analyzers（自定义分词器）
一、分词预览查询
POST _analyze
{
"analyzer": "standard",
"text": "Note however that storage is optimized based on the actual values that are stored"
}返回结果
{
"tokens" : [
{
"token" : "note",
"start_offset" : 0,
"end_offset" : 4,
"type" : "",
"position" : 0
},
{
"token" : "however",
"start_offset" : 5,
"end_offset" : 12,
"type" : "",
"position" : 1
},
{
"token" : "that",
"start_offset" : 13,
"end_offset" : 17,
"type" : "",
"position" : 2
},
{
"token" : "storage",
"start_offset" : 18,
"end_offset" : 25,
"type" : "",
"position" : 3
},
... 但是如果是中文场景下就会出现一些问题：
POST _analyze
{
"analyzer": "standard",
"text": "更改其他索引的字段的映射"
}返回结果如下，可见将每一个汉字进行了分割，明显不符合实际情况。
{
"tokens" : [
{
"token" : "更",
"start_offset" : 0,
"end_offset" : 1,
"type" : "",
"position" : 0
},
{
"token" : "改",
"start_offset" : 1,
"end_offset" : 2,
"type" : "",
"position" : 1
},
{
"token" : "其",
"start_offset" : 2,
"end_offset" : 3,
"type" : "",
"position" : 2
},
... 二、安装 IK分词器
在es目录下的plugins目录下创建一个新文件夹，命名为ik，然后把上面的压缩包中的内容解压到该目录中。
把解压出来的内容放到es/plugins/ik中。之后，需要重新启动es。
再次测试：
POST _analyze
{
"analyzer": "ik_smart",
"text": "你是列文虎克吗"
}
结果：
{
"tokens" : [
{
"token" : "你",
"start_offset" : 0,
"end_offset" : 1,
"type" : "CN_CHAR",
"position" : 0
},
{
"token" : "是",
"start_offset" : 1,
"end_offset" : 2,
"type" : "CN_CHAR",
"position" : 1
},
{
"token" : "列",
"start_offset" : 2,
"end_offset" : 3,
"type" : "CN_CHAR",
"position" : 2
},
{
"token" : "文虎",
"start_offset" : 3,
"end_offset" : 5,
"type" : "CN_WORD",
"position" : 3
},
{
"token" : "克",
"start_offset" : 5,
"end_offset" : 6,
"type" : "CN_CHAR",
"position" : 4
},
{
"token" : "吗",
"start_offset" : 6,
"end_offset" : 7,
"type" : "CN_CHAR",
"position" : 5
}
]
}三、自定义分词
从上面的例子中可以看到 列文虎克 被拆开了，因为ik分词器依旧不支持部分内容，我们可以自定义分词词库
在elasticsearch-5.6.8\plugins\ik\config下
新增一个z_SelfAdd.dic文件，在里面加上新的单词，保存为UTF-8
然后在当前目录下的IKAnalyzer.cfg.xml配置文件中下加上
将刚才命名的文件加入
重启就生效了