编程随笔-ElasticSearch知识导图(1):全景

1. 由ElasticSearch开始的思考

  官方介绍Elasticsearch(以下简称ES)是一个基于Apache Lucene(TM)的开源搜索引擎。但我最初了解ES却是从NoSQL数据库开始,在使用、研究了ES一段时间后,我发现这是一个优秀的分布式部署软件,不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。
  在ES之前我们习惯使用关系数据库(RDBMS)来进行现实数据世界的建模,将现实世界中的领域模式表示为实体-关系模型(E-R模型)。但现实世界的领域本体(Ontology)是如此复杂,领域对象中的关系不止是关联关系,可能还有父子(从属)关系,依赖关系等一些更复杂的关系。在软件世界中,我们一直在苦苦探索如何有效表达现实世界领域本体的软件模型,对象数据库一直是数据库界希冀用来表达领域模型的利器,但时至今日,仍缺乏具有口碑的产品。
  十几年前,我还在攻读计算机科学博士学位,研究领域本体的知识表达与软件建模。那时XML和RDF(Resource Description Framework, 资源描述框架)是流行的领域本体表达形式,因而也催生了XML数据库,XML柔性查询(或半柔性查询)之类的技术与一些不太成熟的产品。当时感觉最需要的就是一个能够存储,快速检索领域知识的数据库,但主流的关系数据库产品在这方面存在一些天然的缺陷。
  ES是我使用过的NoSQL数据库产品中被认为最适合用于领域本体建模的系统(如内置父子关系的映射),同时也是学习分布式软件架构的最好示例系统。

2. 知识导图全景

  ES的知识点众多,发展到今天,已经release到7.0版本。从6.0版本开始,ES在数据模型上做了一个重大变化:基于查询和存储效率考虑,ES在index中删除了type的概念,即在一个index中只有一个type,而在6.0之前的版本,一个index中允许创建多个type。
  ES的生态也在逐渐发展,ES与Logstash及Kibana构成应用栈,可轻松构建一个采集大数据,多维度分析大数据的数据仓库系统。
  在这里,我把ES中一些主要的知识点以导图的形式(还会不断完善)展现出来,如图1所示。
编程随笔-ElasticSearch知识导图(1):全景_第1张图片
  图1中的知识点简单描述如下:

  • 分布式构架:ES采用典型的主/从(master/slave)分布式架构。ES集群中只有一个主节点(node,最小的可用主节点数目可设置),主从节点通过选举机制产生。在ES中,一个index可使用多个分片(shard)来存贮,分片同样使用主/从方式,主从分片在读写数据的权限不同。
  • 映射(mapping):如同XML使用XML Schema作为元数据来描述XML数据对象的框架一样,ES中的映射本质是描述index中数据对象的元数据,它定义了数据对象的结构、格式已经各个字段(field)对应的数据类型。ES中的映射可以在创建index时自行创建,也可以由系统实现动态映射。
  • 集群数据管理:对于ES中的数据对象:index和document(在ES中,将一个使用JSON对象表示的数据对象称为一个文档),ES提供访问接口实现对index和document的增删改查操作(支持批量操作)。对于集群中的其它元数据,ES也提供访问接口对集群,节点进行操作。
  • 搜索(search):全文搜索时ES的核心功能,ES提供了专用于查询的DSL(Domain Specified Language,领域专用语言),也提供了基于URL的简易搜索形式。在搜索的同时ES也提供聚合(Aggregation)和排序对数据进行处理。
  • SQL访问:ES提供了xpack插件形式的SQL访问形式,用户可以使用Rest API访问接口使用SQL语言像使用关系数据库一样对数据进行查询。

    3. 参考文献

    1. https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
    2. Clinton Gormley &Zachary Tong, Elasticsearch: The Definitive Guide,2015

转载于:https://blog.51cto.com/solarboy/2347314

你可能感兴趣的:(数据库,大数据,json)