(1)ElasticSearch基本概念介绍

一、文档和索引

1、文档(Document)
(1)ElasticSearch是面向文档的,文档是所有可能搜索数据的最小单位

  • 日志文件中的日志项
  • 一本电影的具体信息/一张唱片的详细信息
  • MP3播放器里的一首歌/一篇PDF文档中的具体内容

(2)文档会被序列化成JSON格式,保存在ElasticSearch中

  • JSON对象由字段组成
  • 每个字段都有相应的字段类型(字符串/数值/布尔/日期/二级制/范围类型)

(3)每个文档都有一个Unique ID

  • 你可以自己指定ID
  • 或者通过ElasticSearch自动生成

2、JSON文档
(1)一篇文档包含了一系列的字段。类似于数据库表中的一条记录。
(2)JSON文档,格式灵活,不需要预先定义格式。

  • 字段类型可以指定或者通过ElasticSearch自动推算
  • 支持数值/支持嵌套

以下就是cvs文件中的一条数据,把他存储在es中,如下格式
在这里插入图片描述
(1)ElasticSearch基本概念介绍_第1张图片
3、文档的元数据

  • _index:文档所属的索引名
  • _type:文档所属的类型名
  • _id:文档唯一id
  • _source:文档的原始JSON数据
  • _all:整合所有字段内容到该字段,已被废除
  • _version:文档的版本信息
  • _score:相关性打分

(1)ElasticSearch基本概念介绍_第2张图片

4、索引

(1)index:索引是文档的容器,是一类文档的结合

  • index体现了逻辑空间的概念:每个索引都有自己的Mapping定义,用于定义包含的文档的字段名和字段类型
  • Shard体现了物理空间的概念:索引中的数据分散在Shard上

(2)索引的Mapping与Setting

  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布

(1)ElasticSearch基本概念介绍_第3张图片
(2)索引的不同语义

  • 名称:一个ElasticSearch集群中,可以创建很多不同的索引
  • 动词:保存一个文档到ElasticSearch的过程也叫做索引(indexing),es中,创建一个倒排索引的过程
  • 名词:一个B树索引,一个倒排索引
    (1)ElasticSearch基本概念介绍_第4张图片

5、Type
(1)在7.0之前,一个index可以设置多个types。每个Type的底下拥有一些相同结构的文档。
(2)6.0开始,Type已经被Deprecate。7.0开始,一个索引只能创建一个Type(_doc)。

6、抽象与类比
(1)传统关系型数据库和ElasticSearch的区别

  • ElasticSearch-Schemaless /相关性/高性能全文检索
  • RDMS-事务性/Join
    (1)ElasticSearch基本概念介绍_第5张图片

二、节点、集群、分片及副本

1、节点
(1)节点是一个ElasticSearch的实列

  • 本质就是一个Java进程
  • 一台机器可以运行多个ElasticSearch进程,但是生产环境一般建议一台机器上只运行一个ElasticSearch实列

(2)每个节点都有名字,通过配置文件配置,或者启动时候 -E node.name=node1指定
(3)每一个节点在启动之后,会分配一个UID,保存在data目录下

2、Master-eligible nodes和Master Node
(1)每个节点启动之后,默认就是一个Master eligible节点

  • 可以设置node.master:false禁止

(2)Master-eligible节点可以参加选主流程,成为Master节点
(3)当第一个节点启动的时候,它会将自己选举成Master节点
(4)每个节点都保存了集群的状态,只有Master节点才能修改集群的状态信息

  • 集群状态(Cluster State),维护了一个集群中必要的信息
  • 所有的节点信息
  • 所有的索引和其相关的Mapping与Setting信息
  • 分片的路由信息
  • 任意节点都能修改信息会导致数据的不一致性

3、Data Node和Coordinating Node
(1)Data Node可以保存数据的节点,叫做Data Node。负责保存分片的数据。在数据扩展上起到了至关重要的作用

(2)Coordinating Node

  • 负责接受Client的请求,将请求分发到合适的节点,最总把结果汇总到一起
  • 每一个节点默认都起到Coordinating Node的职责

4、其他节点类型
(1)Hot和Warm Node(冷热节点)

  • 不同硬件配置的Data Node,用来实现Hot和Warm架构,降低集群部署的成本

(2)Machine Learning Node

  • 负责跑机器学习的Job,用来做异常检测

(3)Tribe Node

  • (5.3开始使用Cross Cluster Search)Tribe Node连接到不同的ElasticSearch集群,并且支持将这些集群当作一个单独的集群处理。

4、配置节点类型
(1)开发环境一个节点可以承担多种角色
(2)生产环境中,应该设置单一的角色节点(dedicated node)
(1)ElasticSearch基本概念介绍_第6张图片

5、分片(Primary Shard和Replica Shard)
(1)主分片,用以解决数据水平扩展的问题。通过主分片,可以将数据分布到集群内的所有节点之上

  • 一个分片是一个运行的Lucene的实列

  • 主分片数在索引创建时指定,后续不允许修改,处分Reindex

  • (2)副本,用以解决数据高可用的问题。分片是主分片的拷贝

  • 副本分片数,可用动态调整

  • 增加副本数,还可以一定程度上提供服务的可用性(读取的吞吐)

(3)一个节点的集群中,blogs索引的分片分布情况

(1)ElasticSearch基本概念介绍_第7张图片
6、分片的设定
(1)对于生产环境中分片的设定,需要提前做好容量规划
(2)分片设置过小

  • 导致后续无法增加节点实现水平扩展
  • 单个分片的数据量太大,导致数据重新分配耗时
    (3)分片数设置过大,7.0开始,默认主分片设置从5变成了1,解决了over-sharding的问题
  • 影响搜索结果的相关性打分,影响统计结果的准确性
  • 每个节点过多的分片,会导致资源浪费,同时也会影响性能

7、查看集群的健康状况
(1)Green:主分片与副本都正常分配
(2)Yellow:主分片全部正常分配,有副本分片未能正常分配
(3)Red:有主分片未能分配

  • 例如,当服务器的磁盘容量超过85%时,去创建了一个新索引
    (1)ElasticSearch基本概念介绍_第8张图片

你可能感兴趣的:(elasticsearch,elasticsearch)