ElasticSearch 7的映射
映射是Elasticsearch中一个非常重要的概念，因为它定义了搜索的方式
引擎应处理文档及其字段。
搜索引擎执行以下两个主要操作：
- 索引：这是接收文档并对其进行处理的操作，并且将其存储在索引中
- 搜索：这是从索引中检索数据的操作
这两个部分是严格连接的； 索引步骤中的错误导致不必要或丢失的搜索结果。
Elasticsearch在索引级别具有显式映射。 索引时，如果映射是未提供，则创建一个默认值，并从数据字段中猜测结构文件组成的。 然后，此新映射将自动传播到所有群集节点。
默认类型映射具有合理的默认值，但是当您要更改时，他们的行为或自定义索引的其他几个方面（存储，忽略，完成等），您需要提供一个新的映射定义。
我们将研究记录映射的所有可能的映射字段类型组成。
本章将介绍以下：
- 使用显式映射创建
- 映射基本类型
- 映射数组
- 映射对象
- 管理嵌套对象
- 使用联接字段管理子文档
2.1 使用显式映射创建
如果我们将索引视为SQL世界中的数据库，则映射类似于表定义。
Elasticsearch能够了解您所使用的文档的结构索引（反射）并自动创建映射定义（明确映射创建）。
1.做好准备
需要一个正在运行的Elasticsearch安装，要执行这些命令，可以使用任何HTTP客户端，例如curl（https://curl.haxx.se/），postman（https://www.getpostman.com/）或其他类似的平台。 我建议使用Kibana控制台提供更好的代码完成功能Elasticsearch的字符转义。
2.怎么做…
您可以通过在Elasticsearch中添加新文档来显式创建映射。 对于
为此，我们将执行以下步骤：
1.像这样创建一个索引：
PUT test
获得回复如下：
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "test"
}
2.将文档放入索引，如以下代码所示：
PUT test/_doc/1
{
"name":"Paul",
"age":35
}
获得回复如下：
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
3.使用以下代码获取映射：
GET test/_mapping
4.Elasticsearch自动创建的结果映射应为如下：
{
"test" : {
"mappings" : {
"properties" : {
"age" : {
"type" : "long"
},
"name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
}
}
}
5.要删除索引，可以调用以下命令：
DELETE test
获得回复如下：
{
"acknowledged" : true
}
3.这个怎么运作…
第一个命令行创建一个索引，在此我们将配置类型/映射和插入文件。
第二个命令在索引中插入一个文档（我们将看到索引的创建在第3章，基本操作中的创建索引得文档操作在第3章，基本操作中的索引文档操作介绍）。
在文档索引阶段，Elasticsearch在内部检查_doc类型存在，否则将动态创建一个。
Elasticsearch读取映射字段的所有默认属性，并开始处理它们如下：
- 如果该字段已经存在于映射中，并且该字段的值为有效（匹配正确的类型），Elasticsearch无需更改当前的映射。
- 如果该字段已经存在于映射中，但是该字段的值为同的类型，它将尝试升级字段类型（即从整数升级为长）。 如果类型不兼容，则会引发异常，并且索引处理失败。
- 如果不存在该字段，它将尝试自动检测字段的类型。 它更新
具有新字段映射的映射。
4.还有更多…
在Elasticsearch中，按类型分隔文档是逻辑的，而不是物理的。 Elasticsearch核心引擎透明地对此进行管理。 从物理上来说，所有文件
类型使用相同的Lucene索引，因此它们之间没有完全分隔的，类型的概念纯属逻辑，由Elasticsearch强制执行。 用户不是对此内部管理感到困扰，但在某些情况下，数量的记录，这会影响读写性能记录，因为所有记录都存储在相同的索引文件中。
每个文档都有一个唯一的标识符，称为索引的UID，该标识符存储在
文档的特殊_uid字段。 这是通过将_id的文档类型。 在我们的示例中，_uid将是_doc＃1。
可以在索引时间提供_id，也可以由_id自动分配Elasticsearch（如果缺少）。
创建或更改映射类型时，Elasticsearch自动传播将更改映射到集群中的所有节点，以便将所有分片对齐处理该特定类型
每个索引只能包含一个类型。 类型的名称Elasticsearch的先前版本可能会有所不同。 因为类型是在7.x中已弃用，最佳做法是调用_doc类型。
2.2 映射基本类型
使用显式映射可以更快地开始提取数据，使用无模式方法，而不必担心字段类型。 因此，取得更好的索引结果和性能，则需要手动定义映射。
微调映射带来了一些优势，例如：
- 减少磁盘上的索引大小（禁用自定义功能字段）
- 仅对需要的字段建立索引（一般加快）
- 预处理数据以进行快速搜索或实时分析（例如构面）
- 正确定义一个字段是否必须使用多个标记分析或被视为单个令牌
Elasticsearch允许您使用具有配置的广泛基础字段。
1.怎么做…
让我们使用类似eBay的商店的车间订单的半现实示例：
1.首先，我们定义一个表格：
| Name | Type | Description |
|---|---|---|
| id | identifier | 订单识别码 |
| date | date(time) | 订购日期 |
| customer_id | id reference | 客户编号 |
| name | string | 商品的名称 |
| quantity | integer | 商品的数量 |
| price | double | 商品的价格 |
| vat | double | 商品的增值税 |
| sent | boolean | 订单状态 |
2.我们的订单记录必须转换为Elasticsearch映射定义如下：
#前提是索引存在，不然会报错，解决办法：PUT test
PUT test/_mapping
{
"properties" : {
"id" : {"type" : "keyword"},
"date" : {"type" : "date"},
"customer_id" : {"type" : "keyword"},
"sent" : {"type" : "boolean"},
"name" : {"type" : "keyword"},
"quantity" : {"type" : "integer"},
"price" : {"type" : "double"},
"vat" : {"type" : "double", "index":"false"}
}
}
# 如果索引不存在就创建索引及其对应映射
PUT test
{
"mappings": {
"properties": {
"id":{"type": "keyword"},
"date":{"type": "date"},
"customer_id":{"type": "long"},
"name":{"type": "keyword"},
"quantity":{"type": "integer"},
"price":{"type": "double"},
"vat":{"type": "double","index":"false"},
"sent":{"type": "boolean"}
}
}
}
现在，可以将映射放入索引中了。 我们将在在第4章“基本操作”中，将映射放入索引配置中。
2.这个怎么运作…
字段类型必须映射到Elasticsearch基本类型之一，并且有关的选项
需要添加字段必须如何编制索引。
下表是映射类型的参考：
| Type | ES-Type | Description |
|---|---|---|
| String, VarChar | keyword | 这是一个不可标记的文本字段：CODE001 |
| String, VarChar，Text | text | 这是一个需要标记的文本字段：一个漂亮的文本 |
| Integer | integer | 这是一个整数（32位）：1、2、3或4 |
| long | long | 这是一个长值（64位） |
| float | float | 这是一个浮点数（32位）：1.2或4.5 |
| double | double | 这是一个浮点数（64位） |
| boolean | boolean | 这是一个布尔值：true或false |
| date/datetime | date | 这是日期或日期时间值：2013-12-25，2013-12-25T22：21：20 |
| bytes/binary | binary | 这包括一些用于二进制的字节数据，例如文件或字节流 |
根据数据类型，可以向Elasticsearch给出明确的指令处理以进行更好的管理时。 最常用的选项是如下：
- store（默认为false）：标记要存储在单独索引中的字段片段以便快速检索。 存储字段会消耗磁盘空间，但会减少磁盘空间计算是否需要从文档中提取（即在脚本中）和聚合）。 此选项的可能值为false和true。在聚合中，存储的字段比其他字段快。
- index：定义是否应为字段建立索引。 的此参数的可能值为true和false。 索引字段不是可搜索的（默认为true）。
- null_value：如果字段为null，则定义默认值。
- boost：用于更改字段的重要性（默认为1.0）。
- search_analyzer：这定义了要在搜索过程中使用的分析器。如果未定义，则使用父对象的分析器（默认为null）。
- analyser：这将设置要使用的默认分析器（默认为null）。
- include_in_all：这标志着当前字段要在特殊索引中
_all字段（包含所有字段的串联文本的字段）（默认真正）。 - norms:控制Lucene规范。此参数用于更好得分查询。如果该字段仅用于过滤，则最佳做法是禁用它以减少资源使用（对于分析字段默认为true，对于not_analyzed的结果为false）。
- copy_to：这允许您将一个字段的内容复制到另一个实现功能，类似于_all字段。
- ignore_above：这使您可以跳过更大的索引字符串比它的价值。这对于处理字段以进行精确过滤非常有用，聚合和排序。它还可以防止单个术语令牌变得太大并防止由于Lucene术语字节长度而导致的错误限制为32766（默认2147483647）。
Boost仅在术语级别上工作，因此主要用于术语，术语，并匹配查询。
3.还有更多…
在Elasticsearch的先前版本中，字符串的标准映射为字符串。 在版本5.x中，不建议使用字符串映射并将其迁移到关键字和文本映射。
- 在Elasticsearch 6.x版中，如使用显式映射创建配置中所示，字符串的显式推断类型是多字段映射：默认处理为文本。 此映射允许文本查询（即是，字词，匹配和跨度查询）。 在使用中提供的示例中显式映射创建配置，这就是名称。
- 关键字子字段用于关键字映射。 该字段可以使用用于精确的术语匹配以及聚合和排序。 在这个例子中使用显式映射创建食谱中提供的内容，所引用的字段为关键字名称。
仅适用于文本映射的另一个重要参数是term_vector（组成字符串的术语的向量。请参阅Lucene文档以了解有关更多详细信息，请参见http://lucene.apache.org/core/6_1_0/core/org/apache/lucene/index/Terms.html）。
term_vector可以接受以下值：
- no：这是默认值，跳过术语向量
- yes：这是存储字词向量
- with_offsets：这是带有标记偏移量（开始，结束的术语向量）
字符块中的位置） - with_positions：用于存储令牌在术语中的向量位置
- with_positions_offsets：存储所有项向量数据
词项向量允许快速突出显示，但由于存储其他文本信息而占用磁盘空间。 最佳做法是仅在需要突出显示的字段（例如标题或文档内容）中激活。
2.3 映射数组
数组或多值字段在数据模型中非常常见（例如多个电话号码，地址，姓名，别名等），但本机不支持传统的SQL解决方案。
在SQL中，多值字段要求创建必须连接的附件表收集所有值，导致记录基数降低时的影响性能很大
1.怎么做…
1.每个字段都自动作为数组进行管理。 例如，存储标签对于文档，映射将如下所示：
{
"properties" : {
"name" : {"type" : "keyword"},
"tag" : {"type" : "keyword", "store" : "yes"},
...
}
}
2.此映射对两个文档都有效。 以下是文档1的代码：
{"name": "document1", "tag": "awesome"}
3.以下是document2的代码：
{"name": "document2", "tag": ["cool", "awesome", "amazing"] }
2.这个怎么运作…
Elasticsearch透明地管理数组：如果声明一个a，则没有区别,由于其Lucene核心性质，因此是单一值或多值。
字段的多值是在Lucene中管理的，因此您可以将它们添加到具有相同字段名称的文档。 对于具有SQL背景的人来说，行为可能很奇怪，但这是NoSQL世界中的关键点，因为它减少了对联接查询的需求，并创建了不同的表来管理多值。 嵌入式对象数组的行为与简单字段相同。
2.4 映射对象
对象是基本结构（类似于SQL中的记录）。 Elasticsearch扩展了传统上使用对象，因此允许递归嵌入对象。
1.怎么做…
我们可以使用来重写上一个示例配置中找到的映射代码项目数据：
PUT test
PUT test/_mapping
{
"properties" : {
"id" : {"type" : "keyword"},
"date" : {"type" : "date"},
"customer_id" : {"type" : "keyword", "store" : "yes"},
"sent" : {"type" : "boolean"},
"item" : {
"type" : "object",
"properties" : {
"name" : {"type" : "text"},
"quantity" : {"type" : "integer"},
"price" : {"type" : "double"},
"vat" : {"type" : "double"}
}
}
}
}
或者
PUT test/_mapping?include_type_name=true
{
"properties" : {
"id" : {"type" : "keyword"},
"date" : {"type" : "date"},
"customer_id" : {"type" : "keyword", "store" : "yes"},
"sent" : {"type" : "boolean"},
"item" : {
"type" : "object",
"properties" : {
"name" : {"type" : "text"},
"quantity" : {"type" : "integer"},
"price" : {"type" : "double"},
"vat" : {"type" : "double"}
}
}
}
}
遇见问题：
Types cannot be provided in put mapping requests, unless the include_type_name parameter is set to t...
这个是因为elasticsearch7.0 之后不支持type导致的…
原因是由于写法是低版本的elasticsearch的，高版本要求传入一个include_type_name参数，值为true。所以加上一个参数即可。如下：
PUT 192.168.2.121:9200/cs_company/doc/_mapping?include_type_name=true
2.这个怎么运作…
Elasticsearch使用本机JSON，因此可以映射每个复杂的JSON结构进去。当Elasticsearch解析对象类型时，它将尝试提取字段和进程它们作为其定义的映射。如果不是，它将使用以下命令学习对象的结构反射。对象的最重要属性如下：
- properties：这是字段或对象的集合（我们可以考虑它们作为SQL世界中的列）。
- enabled：确定是否应处理对象。如果设置为false，对象中包含的数据未编制索引，因此无法被搜索（默认为true）。
- dynamic：这允许Elasticsearch向对象添加新的字段名称使用对插入数据值的反映。如果设置为false，当您尝试索引包含新字段类型的对象时，该对象将可能被拒绝。如果将其设置为strict，则当对象中存在新的字段类型时，引发错误，跳过索引过程。动态参数使您可以安全地更改文档结构（默认true）。
- include_in_all：这会将对象值添加到特殊的_all字段中（用于汇总所有文档字段的文本）（默认为true）。
最常用的属性是properties，它允许您映射Elasticsearch字段中的对象。
禁用文档的索引部分会减小索引的大小；但是，那无法搜索数据。换句话说，最终在磁盘上的文件较小，但是功能上要付出代价。
2.5 管理嵌套对象
有一种特殊类型的嵌入式对象：嵌套对象。 这样可以解决问题与Lucene索引架构有关，其中嵌入式对象的所有字段被视为单个对象。 在搜索过程中，在Lucene中无法区分值和同一多值中的不同嵌入对象数组。
如果考虑上一个订购示例，则无法区分商品名称和数量与相同的查询相同，就像Lucene将它们放在相同的Lucene中一样文档对象。 我们需要将它们编入不同的文档中，然后再加入它们。整个行程由嵌套对象和嵌套查询管理。
为什么要有嵌入对象：
这是因为Lucene底层其实没有内部对象的概念，所以ES会利用简单的列表储存字段名和值，将object类型的对象层次摊平，再传给Lucen。
如果需要索引对象数组并维护数组中每个对象的独立性，则应使用nested数据类型而不是object数据类型。 在内部，嵌套对象将数组中的每个对象作为单独的隐藏文档进行索引，这意味着每个嵌套对象都可以使用嵌套查询nested query独立于其他对象进行查询：
参考案例：
#采用object的方式
curl -XPUT 'localhost:9200/my_index/my_type/1?pretty' -H 'Content-Type: application/json' -d'
{
"group" : "fans",
"user" : [
{
"first" : "John",
"last" : "Smith"
},
{
"first" : "Alice",
"last" : "White"
}
]
}
#在内部其转换成一个看起来像下面这样的文档
{
"group" : "fans",
"user.first" : [ "alice", "john" ],
"user.last" : [ "smith", "white" ]
}
#采用nested
curl -XPUT 'localhost:9200/my_index?pretty' -H 'Content-Type: application/json' -d'
{
"mappings": {
"my_type": {
"properties": {
"user": {
"type": "nested"
}
}
}
}
}
curl -XPUT 'localhost:9200/my_index/my_type/1?pretty' -H 'Content-Type: application/json' -d'
{
"group" : "fans",
"user" : [
{
"first" : "John",
"last" : "Smith"
},
{
"first" : "Alice",
"last" : "White"
}
]
}
'
1.怎么做…
嵌套对象定义为具有嵌套类型的标准对象。从映射对象配方的示例中，我们可以更改对象的类型嵌套如下：
PUT test
PUT test/_mapping
{
"properties" : {
"id" : {"type" : "keyword"},
"date" : {"type" : "date"},
"customer_id" : {"type" : "keyword", "store" : "yes"},
"sent" : {"type" : "boolean"},
"item" : {
"type" : "nested",
"properties" : {
"name" : {"type" : "text"},
"quantity" : {"type" : "integer"},
"price" : {"type" : "double"},
"vat" : {"type" : "double"}
}
}
}
}
2.这个怎么运作…
对文档建立索引后，如果将嵌入式对象标记为嵌套，则该对象为由原始文档提取，然后在新的外部索引中文档，保存在父文档附近的特殊索引位置。
在前面的示例中，我们重用了“映射对象”配方的映射，但是我们将项目的类型从对象更改为嵌套。 无需其他任何操作必须将嵌入式对象转换为嵌套对象。
嵌套的对象是特殊的Lucene文档，它们保存在父文档的数据-这种方法允许与父文档快速连接。
嵌套对象不能用标准查询搜索，只能用嵌套对象搜索。 他们不会显示在标准查询结果中。
嵌套对象的生命与其父对象有关：删除/更新父对象自动删除/更新所有嵌套子代。 改变父母的手段Elasticsearch将执行以下操作：
- 将旧文档标记为已删除
- 将所有嵌套文档标记为已删除
- 索引新文档版本
- 索引所有嵌套文档
3.还有更多…
有时，需要将嵌套对象的信息传播到其父对象或根对象。 这主要是为了建立有关父母的简单查询（例如术语查询而不使用嵌套查询）。 为了实现这个目标，有两个特殊的必须使用的嵌套对象的属性：
- include_in_parent：这样可以自动添加嵌套字段到直接父级
- include_in_root：这会将嵌套对象字段添加到根对象这些设置增加了数据冗余，但它们降低了某些查询的复杂性，从而提高性能。
2.6 通过联接管理子文档领域
在上一个cookbook中，我们了解了如何管理之间的关系具有嵌套对象类型的对象。 嵌套对象的缺点是它们的嵌套来自父母的依赖。 如果您需要更改嵌套对象的值，则可以需要重新索引父级（如果嵌套，这会带来潜在的性能开销对象变化太快）。 为了解决这个问题，Elasticsearch允许您定义子文件。
父子档的原因：
嵌套文档来说，父-子关系的主要优势有：
更新父文档时，不会重新索引子文档。
创建，修改或删除子文档时，不会影响父文档或其他子文档。这一点在这种场景下尤其有用：子文档数量较多，并且子文档创建和修改的频率高时。
子文档可以作为搜索结果独立返回。
1.怎么做…
在下面的示例中，我们有两个相关的对象：一个Order和一个Item。
它们的UML表示如下：
最终的映射应该是Order和Item的字段定义的合并，加上一个特殊字段（在此示例中为join_field），该字段接受父/子关系。
映射将如下所示：
PUT test1/_mapping
{
"properties": {
"join_field": {
"type": "join",
"relations": {
"order": "item"
}
},
"id": {
"type": "keyword"
},
"date": {
"type": "date"
},
"customer_id": {
"type": "keyword"
},
"sent": {
"type": "boolean"
},
"name": {
"type": "text"
},
"quantity": {
"type": "integer"
},
"vat": {
"type": "double"
}
}
}
前面的映射与前面的配方非常相似。
如果要存储联接的记录，则需要先保存父记录，然后再保存子文档信息这样：
PUT test1/_doc/1?refresh
{
"id": "1",
"date": "2018-11-16T20:07:45Z",
"customer_id": "100",
"sent": true,
"join_field": "order"
}
PUT test1/_doc/c1?routing=1&refresh
{
"name": "tshirt",
"quantity": 10,
"price": 4.3,
"vat": 8.5,
"join_field": {
"name": "item",
"parent": "1"
}
}
子项需要特殊管理，因为我们需要添加与父母id的关联。 此外，在对象中，我们需要指定父名称和它的ID。
2.这个怎么运作…
如果在同一索引中存在多个项目关系，则需要进行映射计算为所有其他映射字段的总和。
对象之间的关系必须在join_field中定义。只能有一个join_field进行映射； 如果你需要付出很多关系，可以在关系对象中提供它们。
子文档必须在父文档的同一分片中建立索引； 所以，当建立索引后，必须传递一个额外的参数，该参数用于路由（我们将看看如何做在下一章的索引文档配方中对此进行说明）。
当我们想要子文档不需要重新索引父文档时更改其值。 因此，它在建立索引，重新建立索引（更新）和删除。
3.还有更多…
在Elasticsearch中，我们有不同的方法来管理对象之间的关系，例如
如下：
- 用type = object嵌入：这是由隐式管理的Elasticsearch并认为嵌入是主文档的一部分。速度很快，但是您需要重新索引主文档以更改值嵌入式对象。
- 使用type = nested嵌套：这样可以更精确地搜索和使用对子项的嵌套查询对父项进行过滤。 一切正常对于嵌入式对象（查询除外）（必须使用嵌套查询搜索它们）。
- 外部子文档：这里，子是外部文档，使用join_field属性将它们绑定到父级。 他们一定是索引在与父级相同的分片中。 与父母的加入有点
比嵌套对象慢，因为嵌套对象在同一数据中Lucene索引中父级的块，并且它们已加载了父级，否则，子文档需要更多的读取操作。
选择如何从对象建模关系取决于您的应用程序场景。
还有另一种方法可以使用，但是在大数据文档中，它带来了表现不佳-连接关系脱钩。 您可以通过两个步骤来执行联接查询：首先，您收集子文档/其他文档的ID，然后搜索它们在他们父母的领域。