华为云FusionInsight MRS ClickHouse 增强特性介绍

ClickHouse是Yandex开发的用于联机分析(OLAP)的DBMS。 2016年根据Apache 2.0许可证开源。功能上支持DDL、DML、数据备份恢复、权限控制、分布式管理等完备的DBMS功能,SQL基本与标准SQL兼容,支持丰富的函数和数据类型,具有强大的MergeTree表引擎,列式存储支持LZ4压缩,支持数据分片、数据分区、主键稀疏索引、二级跳数索引,支持数据多副本、TTL等,支持向量化执行、分布式多核并行计算、动态代码生成,性能卓越;适用于网络/APP流量分析、用户行为记录分析、商业智能(BI)、监控系统等实时分析场景。该引擎一经面世,便备受瞩目,其性能大幅超越了很多商业MPP计算框架,比如Vertica、InfiniDB,相比同类竞品,ClickHouse查询性能要快百倍以上,被称为最快的数据库。自Hadoop诞生以来,经过多年发展,整个生态体系已经非常成熟,但其最大短板还在于数据处理的时效性,ClickHouse的诞生一定意义上弥补了这个短板。

目前ClickHouse在国内外社区十分火热,大批厂家纷纷跟进并大规模投入使用,贡献大量成功案例。ClickHouse也在华为云内部多个产品中投入使用,如集团IT的自助分析和行为分析业务,电商平台等,集群总规模已经达到数千节点(多套物理集群)。同时,华为云FusionInsight MRS提供ClickHouse实时OLAP服务,其基于开源版本进行了多个方面的性能优化和功能增强,主要如下:

ClickHouse增强介绍

1.可视化运维,包含安装、卸载、启停、配置、客户端、监控、告警、健康检查、日志等
华为云FusionInsight MRS ClickHouse 增强特性介绍_第1张图片

2.监控覆盖CPU、内存、zookeeper、任务执行情况、数据库状态、数据副本等70+项
华为云FusionInsight MRS ClickHouse 增强特性介绍_第2张图片

3.日志级别可视化配置动态生效、可视化下载、可视化检索、审计日志

3.1 日志级别可视化配置、实时动态生效:当前支持配置5种日志级别、日志文件大小、日志路径、修改后保存配置即时生效,无需重启服务
华为云FusionInsight MRS ClickHouse 增强特性介绍_第3张图片

3.2 可视化日志下载:通过FI manager运维页面,可以选择日志下载、并可以选择下载的节点,以及下载的日志时间段,无需登录后台下载日志。
华为云FusionInsight MRS ClickHouse 增强特性介绍_第4张图片

3.3 华为增加审计日志:社区只有一个运行日志文件,华为增加审计日志,针对DDL、安全、业务操作等内容记录审计。
华为云FusionInsight MRS ClickHouse 增强特性介绍_第5张图片

3.4 支持日志在线检索:日志在线检索,可以选择节点、关键词、时间范围、日志级别、过滤条件等
华为云FusionInsight MRS ClickHouse 增强特性介绍_第6张图片
华为云FusionInsight MRS ClickHouse 增强特性介绍_第7张图片

4. ClickHouse Balancer路由访问负载均衡器
华为云FusionInsight MRS ClickHouse 增强特性介绍_第8张图片

5. 在线扩容&可视化数据迁移,支持单表按节点、支持网络限速、支持进度查看、结果查看
华为云FusionInsight MRS ClickHouse 增强特性介绍_第9张图片

6. 滚动升级&滚动重启
华为云FusionInsight MRS ClickHouse 增强特性介绍_第10张图片

7.安全加固、用户认证支持kerberos、兼容社区方式
华为云FusionInsight MRS ClickHouse 增强特性介绍_第11张图片

8.可视化权限管理、无需后台命令行操作、支持库表级别读写权限控制
华为云FusionInsight MRS ClickHouse 增强特性介绍_第12张图片

9.多集群管理,一个Manager管理系统支持管理多个clickhouse集群,最大支持10000节点管理
华为云FusionInsight MRS ClickHouse 增强特性介绍_第13张图片

10.客户端访问,通道加密、kerberos认证、兼容社区方式

10.1 命令行客户端clickhouse-client
华为云FusionInsight MRS ClickHouse 增强特性介绍_第14张图片

10.2 HTTP 客户端Curl ‘http://’
华为云FusionInsight MRS ClickHouse 增强特性介绍_第15张图片

10.3 JDBC 业务应用
华为云FusionInsight MRS ClickHouse 增强特性介绍_第16张图片

10.4 第三方IDE/可视化界面Tabix/HouseOps/LightHouse/Dbeaver/Grafana
华为云FusionInsight MRS ClickHouse 增强特性介绍_第17张图片

11. 在原生的能力上、增强remote认证、Flink对接、Loader对接、Hetu对接
华为云FusionInsight MRS ClickHouse 增强特性介绍_第18张图片

11.1 支持可视化FlinkSQL实时数据写入clickhouse
华为云FusionInsight MRS ClickHouse 增强特性介绍_第19张图片
华为云FusionInsight MRS ClickHouse 增强特性介绍_第20张图片

11.2 历史数据通过loader可视化界面定义任务,批量导入clickhouse,数据源如oracle、mysql、gaussdb、postgreSQL、HDFS
华为云FusionInsight MRS ClickHouse 增强特性介绍_第21张图片
华为云FusionInsight MRS ClickHouse 增强特性介绍_第22张图片

11.3 周边对接——对接Grafana和DBeaver
华为云FusionInsight MRS ClickHouse 增强特性介绍_第23张图片
华为云FusionInsight MRS ClickHouse 增强特性介绍_第24张图片

12.默认采用两副本方式、自动生成集群分片拓扑、zk防过载、阈值告警
华为云FusionInsight MRS ClickHouse 增强特性介绍_第25张图片

13.界面化慢SQL查询、慢SQL的阈值配置、慢SQL的杀停
华为云FusionInsight MRS ClickHouse 增强特性介绍_第26张图片

本文由华为云发布

你可能感兴趣的:(程序员)