E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
doris
手把手教你快速在生产环境搭建
Doris
集群附集群启停管理脚本
手把手教你快速在生产环境搭建
Doris
集群一、部署规划组件分布规划节点node4node5node6node7node8Node9Node10Node11服务FE(follower)BEFE(follower
薛定谔的猫不吃猫粮
·
2023-11-04 06:24
大数据组件
大数据
hadoop
分布式
Doris
MPP
Apache
Doris
开源最顶级基于MPP架构的高性能实时分析数据库
背景介绍ApacheDoris是一个基于MPP架构的易于使用,高性能和实时的分析数据库,以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间,不仅可以支持高并发点查询场景,还可以支持高通量复杂分析场景。这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上,用户可以构建各种应用,如用户行为分析、AB测试平台
yue_stack
·
2023-11-04 05:32
apache
开源
架构
doris
Doris
:StreamLoad导入数据
.请求参数3.2.返回参数4.StreamLoad实践4.1.使用curl命令4.2.使用Java代码Streamload是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到
Doris
m0_37559973
·
2023-11-03 22:24
Doris
Doris
Apache
Doris
系列之:数据模型
ApacheDoris系列之:数据模型一、数据模型基本概念二、聚合模型Aggregate模型1.导入数据聚合2.保留明细数据3.导入数据与已有数据聚合三、Unique模型四、Duplicate模型五、聚合模型的局限性六、数据模型的选择建议一、数据模型基本概念数据以表的形式进行逻辑上的描述。一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段。
最笨的羊羊
·
2023-11-03 18:38
大数据
Apache
Doris系列
数据模型
5分钟搞定 PostgreSQL 到
Doris
数据迁移和同步
本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到
Doris
数据同步链路。技术点基于StreamLoad的导入方式
Doris
提供了多种导入方式。
ClouGence
·
2023-11-03 18:05
CloudCanal
数据迁移
数据同步
canal
Apache
Doris
导出数据到HDFS
部署broker配置文件为apache_hdfs_broker/conf/apache_hdfs_broker.conf注意:Broker没有也不需要priority_networks参数,Broker的服务默认绑定在0.0.0.0上,只需要在ADDBROKER时,填写正确可访问的BrokerIP即可。如果有特殊的hdfs配置,复制线上的hdfs-site.xml到conf目录下启动:./apac
贾斯汀玛尔斯
·
2023-11-03 18:04
hadoop
Doris
hdfs
doris
Doris
之数据导出
数据导出数据导出(Export)是
Doris
提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据,以文本的格式,通过Broker进程导出到远端存储上,如HDFS/BOS等。
墨卿风竹
·
2023-11-03 18:32
big
data
hadoop
java
备份
doris
数据到minio
CREATEREPOSITORY`minio`WITHS3ONLOCATION"s3://
doris
"PROPERTIES("AWS_ENDPOINT"="http:
陕西小伙伴网络科技有限公司
·
2023-11-03 18:50
doris
Flink 统计接入的数据量-滚动窗口和状态的使用
1、概述在生产场景值,经常需要和上游、下游对数,离线场景可以直接groupby再count,但是实时场景中,如果使用kafka作为中间件,中间经过几个job的过滤转化后,再对照像
Doris
或Clickhouse
猫猫爱吃小鱼粮
·
2023-11-03 17:37
flink
大数据
Doris
分区表使用
一、动态分区官网链接动态分区是在
Doris
0.12版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL),减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。
有语忆语
·
2023-11-03 13:54
大数据之Doris
java
数据库
大数据
Doris
Apache
Doris
系列:基础篇-创建动态分区表
文章目录动态分区的重要参数使用案例查看分区插入和查看数据动态分区的重要参数dynamic_partition.enable是否启用动态分区true|false,默认为true,即启用动态分区dynamic_partition.time_unit动态分区的时间单位,HOUR|DAY|WEEK|MONTH,可根据配置的时间单位创建或者删除时间分区dynamic_partition.replicatio
修破立生
·
2023-11-03 00:31
Apache
Doris
数据库
分布式
大数据
doris
表唯一模型如何自由选择字段删除数据
Doris
唯一模型,只能根据首个字段(主键位)删除数据。并且条件值要写死具体值。。有时为了满足需求,不得不把表做出复制模型。但是,一定要删除唯一模型的数据还是办法的。
斑鸠同学
·
2023-11-03 00:29
doris
大数据
数据处理
大数据
sql
数据库
Doris
--数据表基本概念和字段类型
文章目录1.
doris
表基本概念1.1.1Row&Column1.1.2Partition&Tablet2.
doris
字段类型1.
doris
表基本概念在
Doris
中,数据都以关系表(Table)的形式进行逻辑上的描述
韩家小志
·
2023-11-03 00:58
doris
大数据
doris
Apache
Doris
(二十) :
Doris
索引详细内容
目录1.前缀索引2.Bitmap索引2.1Bitmap位图索引原理2.2Bitmap位图索引语法
IT贫道
·
2023-11-03 00:27
Apache
Doris
大数据OLAP体系技术栈
doris
olap
大数据
实时数据仓库
数据仓库
分布式数据库
大数据
Doris
(十五):
Doris
表的字段类型
文章目录
Doris
表的字段类型一、TINYINT数据类型二、SMALLINT数据类型三、INT数据类型
Lansonli
·
2023-11-03 00:54
大数据OLAP技术体系
大数据
Doris
【文档笔记】
doris
数据仓库-数据表设计:数据模型及数据划分
数据表设计:数据模型及数据划分一、
Doris
的数据模型在
Doris
中,数据以表(Table)的形式进行逻辑上的描述。一张表包括行(Row)和列(Column)。Row即用户的一行数据。
KevinBrain
·
2023-11-03 00:54
大数据
数据仓库
big
data
数据库
doris
大数据
Apache
Doris
(二十六):
Doris
数据导入(四)Broker Load -2 案例及注意事项
目录1.BrockerLoad案例1.1导入HDFS数据到
Doris
表1.2通配符导入HDFS数据,并指定列顺序
IT贫道
·
2023-11-02 12:46
大数据OLAP体系技术栈
doris
olap
实时数仓
数据仓库
大数据
分布式数据库
分布式数据库Apache
Doris
HA集群部署
哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】!中国DBA联盟(ACDU)成员,目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】,欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱!❤️❤️
IT邦德
·
2023-11-02 12:13
数据库
CDH大数据平台
分布式
数据库
apache
Doris
:物化视图
自动匹物化视图4.1.总数据量4.2.可以使用EXPLAIN检查sql是否使用物化视图4.3.统计各省年度数据4.4.统计某年各月数据物化视图是将预先计算(根据定义好的SELECT语句)好的数据集,存储在
Doris
m0_37559973
·
2023-11-02 08:26
Doris
数据库
大数据
Apache
Doris
系列之:深入认识实时分析型数据库Apache
Doris
ApacheDoris系列之:深入认识实时分析型数据库ApacheDoris一、什么是ApacheDoris二、ApacheDoris优势三、ApacheDoris1.1Release四、ApacheDoris下载链接一、什么是ApacheDorisApacheDoris是一个基于MPP的现代化、高性能、实时的分析型数据库,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询
最笨的羊羊
·
2023-11-01 18:55
大数据
Apache
Doris系列
实时分析型数据库
Doris
SQL日志审计部署,以及sql收集输出kafka,后续血缘分析
1,介绍
Doris
的审计日志插件是一个可选插件。
黄瓜炖啤酒鸭
·
2023-11-01 18:19
apache
doris
kafka
doris
sql血缘分析
doris
sql审核日志
doris
日志输出
最佳实战|Apache
Doris
SQL日志审计功能
一.功能介绍SQL日志审计是一个可插拔的插件,旨在将logs/fe.audit.log中的sql查询信息记录到
doris
集群中,方便用户对sql进行分析。
spark大数据玩家
·
2023-11-01 18:49
doris
apache
doris
审计日志
基于Apache
doris
的元数据管理系统
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星这里我们要先搞懂什么是元数据?元数据和数据的区别是什么?
hf200012
·
2023-11-01 18:45
Doris
apache
数据库
big
data
Apache
Doris
整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
1.概览这篇教程将展示如何使用FlinkCDC+Iceberg+
Doris
构建实时湖仓一体的联邦查询分析,
Doris
1.1版本提供了Iceberg的支持,本文主要展示
Doris
和Iceberg怎么使用,
hf200012
·
2023-11-01 18:45
Doris
apache
flink
hive
doris
big
data
峰会倒计时 3 天!互联网与文娱论坛演讲亮点预告!
峰会官网已上线,最新议程请关注:
doris
-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会,由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队
·
2023-11-01 18:13
数据库
大数据
数据仓库
数据分析
apache
本周六,Apache
Doris
年度技术盛会相约北京!
峰会官网已上线,最新议程请关注:
doris
-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会,由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队
·
2023-11-01 18:13
apache
数据库
大数据
数据仓库
数据分析
与创新者同行,
Doris
Summit Asia 2023 线下技术峰会圆满落幕!
10月21日,由飞轮科技主办、阿里云与腾讯云联合主办的ApacheDoris社区首届线下技术峰会DorisSummitAsia2023在一片热潮中落下帷幕。本届峰会以「与创新者同行」为主题,设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱4个平行论坛,来自美团、银联商务、中国邮政储蓄银行、阿里云、腾讯、小米、华为、网易、平安、众安保险、无锡锡商银行、中国联通、中国电信、爱
SelectDB技术团队
·
2023-11-01 18:13
apache
数据库
大数据
数据分析
数据仓库
查询平均提速 700%,奇安信基于 Apache
Doris
升级日志安全分析系统
本文导读:数智时代的到来使网络安全成为了不可忽视的重要领域。奇安信作为一家领先的网络安全解决方案领军者,致力于为企业提供先进全面的网络安全保护,其日志分析系统在网络安全中发挥着关键作用,通过对运行日志数据的深入分析,能够对漏洞和异常行为生成关键见解,帮助企业建立有效的防御策略。本文将深入探讨奇安信在网络安全与日志分析解决方案的关键优势,了解基于ApacheDoris构建的全新一体化日志存储分析平台
SelectDB技术团队
·
2023-11-01 18:39
apache
数据库
大数据
数据仓库
数据分析
Doris
中tablet节点分布不均匀问题
问题描述
Doris
集群有3个BE和1个FE节点,一个机器上同时部署了FE和BE。在
Doris
中创建一张表,这张表默认就一个分区,按照“车牌号”字段做分桶,默认桶副本数为3。
IT贫道
·
2023-11-01 10:58
随笔
doris
tablet
Apache
Doris
(四十九):
Doris
表结构变更-动态分区(1)
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-11-01 10:58
大数据OLAP体系技术栈
Apache
Doris
doris
Apache
Doris
(五十):
Doris
表结构变更-动态分区(2)
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-11-01 10:19
大数据OLAP体系技术栈
Apache
Doris
doris
技术解析|
Doris
Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入
本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交,实现MySQL数据库分库分表实时高效接入,并实现ExactlyOnce。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题,我们通常采用分库分表的方式对库表进行拆分,以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦,这个时候我们通常试将业务数据
Apache Flink
·
2023-10-31 20:03
大数据
分布式
Flink
【遇见
Doris
】Spark
Doris
Connector的最佳实践
Doris
线下沙龙完美收官!本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注
Doris
官方公众号。公众号后台回复“1222”立即get现场录像及嘉宾PPT。
ApacheDoris
·
2023-10-31 20:32
大数据
数据库
java
hive
spark
生态扩展Spark
Doris
Connector
生态扩展SparkDorisConnectordoris官网去查找相匹配的sparkspark的安装:tar-zxvfspark-3.1.2-bin-hadoop3.2.tgzmvspark-3.1.2-bin-hadoop3.2/opt/sparkspark环境配置:vim/etc/profileexportSPARK_HOME=/opt/sparkexportPATH=$PATH:$SPARK
墨卿风竹
·
2023-10-31 20:30
spark
大数据
分布式
doris
Apache
Doris
在蜀海供应链的实践
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星概述最早接触
doris
是在2020年初,当时是为了解决在海量数据上实时高并发查询的问题,当时调研了很多框架
hf200012
·
2023-10-31 20:59
Doris
apache
big
data
数据挖掘
一个人可能走得更快,但一群人会走得更远[
Doris
社区的访谈]
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星「社区人物志」是ApacheDoris社区推出的系列专栏,我们关注每一个对
Doris
做出过贡献的Contributor
hf200012
·
2023-10-31 20:59
Doris
big
data
人工智能
数据挖掘
生态扩展:Flink
Doris
Connector
生态扩展:FlinkDorisConnector官网地址:https://
doris
.apache.org/zh-CN/docs/dev/ecosystem/flink-
doris
-connectorflink
墨卿风竹
·
2023-10-31 20:56
flink
大数据
doris
Apache
Doris
(四十七):
Doris
表结构变更-Schema变更
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-10-31 07:52
大数据OLAP体系技术栈
Apache
Doris
doris
Apache
Doris
(四十八):
Doris
表结构变更-替换表
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-10-31 07:17
大数据OLAP体系技术栈
doris
Doris
扩容缩容
一、FE扩缩容
Doris
集群FE分为三个角色:Leader、Follower、Observer,默认只有一个Leader和多个Follower和Observer,当Leader宕机后,Followr会参与选举
爱过java
·
2023-10-30 10:06
大数据
Doris
开发手记2:用SIMD指令优化存储层的热点代码
最近一直在进行
Doris
的向量化计算引擎的开发工作,在进行CPU热点排查时,发现了存储层上出现的CPU热点问题。于是尝试通过SIMD的指令优化了这部分的CPU热点代码,取得了较好的性能优化效果。
LeeHappen
·
2023-10-30 07:28
一文教你玩转 Apache
Doris
分区分桶新功能|新版本揭秘
数据分片(Sharding)是分布式数据库分而治之(DivideAndConquer)这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和IO的限制,而分布式数据库则通过数据划分的规则,将数据打散分布至不同的机器或节点上,形成分布式存储,因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展。数据分片主要有范围分片或哈希分片这两种方式,而在实际数据库的实现中,往往呈现为分区和分桶两
hf200012
·
2023-10-30 06:58
Doris
数据库
apache
java
分布式数据库Apache
Doris
简易体验
哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】!中国DBA联盟(ACDU)成员,目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】,欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱!❤️❤️
IT邦德
·
2023-10-30 06:24
CDH大数据平台
分布式
数据库
apache
doris
Table[xxxx]‘s state is not NORMAL. Do not allow doing ALTER ops问题
问题:
doris
建好表后对表结构进行修改,使用alter语句修改,但多个alter执行就会报Table[xxxx]'sstateisnotNORMAL.DonotallowdoingALTERops。
今朝花落悲颜色
·
2023-10-29 08:09
数据库
doris
修改列名
1.
Doris
是否支持修改列名?在1.2.0版本之后,开启"light_schema_change"="true"选项时,可以支持修改列名。
今朝花落悲颜色
·
2023-10-29 08:39
数据库
Apache
Doris
(七) :
Doris
分布式部署(四) BE扩缩容
目录1.BE扩容(创建BE与FE关系)2.BE缩容3.BE扩缩容注意问题进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!
IT贫道
·
2023-10-28 17:35
Apache
Doris
大数据OLAP体系技术栈
sql
database
大数据
数据仓库
etl
墨天轮访谈 | SelectDB 衣国垒:Apache
Doris
(incubating)1.0版本特性解析与未来规划
分享嘉宾:衣国垒ApacheDorisCommitter、SelectDB联合创始人&CTO整理:墨天轮社区导读大家好,我是来自ApacheDoris社区的衣国垒,也是SelectDB的联合创始人,今天为大家分享的内容是《ApacheDoris(incubating)1.0版本特性解析与未来规划》。ApacheDoris介绍1、ApacheDoris发展历程ApacheDoris(incubati
MoMoSQL666
·
2023-10-28 17:02
apache
big
data
java
下一代实时数据库:Apache
Doris
【四】扩容缩容
2.5扩容和缩容
Doris
可以很方便的扩容和缩容FE、BE、Broker实例。2.5.1FE扩容和缩容可以通过将FE扩容至3个以上节点来实现FE的高可用。
大模型Maynor
·
2023-10-28 17:32
#
Doris
数据库
apache
《Python编程:从入门到实践》组织列表课后习题:宴会名单
names=['Sally','Jason','
Doris
','Aimee']print(names[0]+"wou
甜茸
·
2023-10-28 16:38
Flink将数据写入MySQL(JDBC)
一、写在前面在实际的生产环境中,我们经常会把Flink处理的数据写入MySQL、
Doris
等数据库中,下面以MySQL为例,使用JDBC的方式将Flink的数据实时数据写入MySQL。
文文鑫
·
2023-10-28 13:19
#
Flink
flink
大数据
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他