E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris
【Apache
Doris
】审计日志插件 | 快速体验
【ApacheDoris】审计日志插件|快速体验一、环境信息1.1硬件信息1.2软件信息二、审计日志插件介绍三、快速体验3.1AuditLoader配置3.1.1下载AuditLoader插件3.1.2解压安装包3.1.3修改plugin.conf3.2创建库表3.3初始化3.4验证一、环境信息1.1硬件信息CPU:48CCPU型号:x86_64内存:185GB1.2软件信息系统:CentOSAp
乙真仙人
·
2023-11-15 13:29
Apache
Doris
大数据
apache
大数据
数据库
运维
记-从
Doris
大表整成csv文件到本地的过程
任务明细任务是需要同步服务器上的一张大表里面的数据整理成csv的方式到本地,表数据量1.7个亿。跑数因为连接公司内网不稳定,故使用公司服务器跑数因为数据量和csv大小不成线性关系,更像指数递增,故切分为小文件来做代码java代码如下importjava.io.FileWriter;importjava.io.IOException;importjava.sql.*;publicclasshello
要努力学习啊男神
·
2023-11-13 18:28
java
doris
sql
Doris
学习--1、
Doris
简介、操作
Doris
、
Doris
架构(数据模型)
星光下的赶路人star的个人主页 心之所向,剑之所往文章目录1、
Doris
简介1.1快速开始1.2安装配置1.2.1
星光下的赶路人star
·
2023-11-13 12:06
Doris
学习
架构
Doris
大数据
Apache
Doris
系列: 基础篇-Flink DataStream 读写
Doris
简介本文介绍Flink如何流式写入ApacheDoris,分为一下几个部分:FlinkDorisconnectorDorisFE节点配置FlinkDataStream写DorisFlinkDorisconnectorFlinkDorisconnector本质是通过StreamLoad来时实现数据的查询和写入功能。支持二阶段提交,可实现ExatlyOnce的写入。DorisFE节点配置1)需在apa
修破立生
·
2023-11-13 12:42
Apache
Doris
Flink
flink
大数据
Apache
Doris
Doris
hdfs数据导入
doris
动态分区表
@羲凡——只为了更好的活着Dorishdfs数据导入
doris
动态分区表本文重点1.动态分区表创建2.读取路径作为分区参数3.预聚合增加count列——set(cnt=1)4.brokerload的hdfsHA
羲凡丞相
·
2023-11-13 12:11
doris
hdfs
数据导入
动态分区表
broker
load
Doris
系列12-数据导入之Broker Load
文章目录一.BrokerLoad概述二.基本操作2.1创建导入2.1.1Label2.1.2数据描述类参数2.1.3导入作业参数2.1.4strictmode与sourcedata的导入关系2.2查看导入2.3取消导入三.相关系统配置3.1FE配置四.案例4.1导入Hiveorc格式表4.2导入Hivetext格式表参考:一.BrokerLoad概述Brokerload是一个异步的导入方式,支持的
只是甲
·
2023-11-13 12:39
大数据和数据仓库
#
Doris
Doris导入数据
Doris
HDFS
Doris
Hive
Doris
load
data
Doris
系列11-数据导入之Stream load
文章目录一.Streamload概述1.1基本原理1.2支持数据格式1.3基本操作1.3.1创建导入1.3.1.1签名参数1.3.1.2导入任务参数1.3.1.3strictmode与sourcedata的导入关系1.3.2返回结果1.3.3取消导入1.4相关系统配置1.4.1FE配置1.4.2BE配置二.导入实例参考:一.Streamload概述Streamload是一个同步的导入方式,用户通过
只是甲
·
2023-11-13 12:09
大数据和数据仓库
#
Doris
Doris
load
Doris加载数据
Doris
load
数据
Doris
系列5-
Doris
数据模型
文章目录基本概念一.Aggregate模型1.1Aggregate模型介绍1.2案例一:导入数据聚合1.3案例2:保留明细数据二.Uniq模型三.Duplicate模型四.数据模型的选择建议参考:基本概念在
Doris
只是甲
·
2023-11-13 12:08
大数据和数据仓库
#
Doris
Doris数据模型
Doris数据结构
Doris建表
spark sql读取hive数据直接写入
doris
,离线批量导入
一,sparksql读取hive表这里通过catalog查询表的字段信息,然后查询出来的字段colStr要给下面的
doris
使用。注意:我这里是直接拿取的hive表所有的字段。
黄瓜炖啤酒鸭
·
2023-11-13 12:36
apache
doris
sparkSql写入doris
spark
写入
doris
doris
spark
doris
DORIS
文件读取(研究中)
前言该文章用于记录研究
doris
1.1.1版本的后端文件读取流程。目前还只有部分流程。正在完善中。
innersense
·
2023-11-13 12:05
olap
doris
c++
c++
doris
Apache
Doris
系列: 入门篇-数据导入及查询
数据导入及查询本文档主要介绍
Doris
的数据导入及数据查询。
hf200012
·
2023-11-13 12:34
hive
数据库
hadoop
apache
doris
doris
broker方式从hdfs导入数据到
doris
LOADLABELdb1.label1(DATAINFILE("hdfs://abc.com:8888/user/palo/test/ml/file1")INTOTABLEtbl1COLUMNSTERMINATEDBY","(tmp_c1,tmp_c2)SET(id=tmp_c2,name=tmp_c1),DATAINFILE("hdfs://abc.com:8888/user/palo/test
gegeyanxin
·
2023-11-13 12:33
工具
doris
导入数据
broker
hdfs
kerberos
Doris
为数据分析而生的olap数据库:数据模型和数据分区使用详解
数据模型:
Doris
中的字段类型:TINYINT1字节范围:-2^7+1~2^7-1SMALLINT2字
HD0do(迪答数据)
·
2023-11-13 12:02
Doris
实时大数据
数据库
Doris
:读取
Doris
数据的N种方法
SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议,高度兼容MySQL语法,支持标准SQL,用户可以通过各类客户端工具来访问
Doris
m0_37559973
·
2023-11-13 12:59
Doris
doris
Doris
:多源数据目录(Multi-Catalog)
JDBCCatalog4.1上传mysql驱动包4.2创建mysqlcatalog4.3.读取mysql数据1.基本概念多源数据目录(Multi-Catalog)功能,旨在能够更方便对接外部数据目录,以增强
Doris
m0_37559973
·
2023-11-12 11:38
Doris
Doris
Apache SeaTunnel &
Doris
7月联合Meetup,从数据集成到分析实践
随着大数据时代的来临,数据的处理对企业的技术团队挑战越来越高,数据在同步时能否支持各种数据源?应对海量的增量数据实例如何拥有更好的性能?数据聚合平台是否能开箱即用/方便二次开发?应对数据采集多场景和工具的是否具备良好的拓展性等,都是数据开发工程师关心的切实痛点问题,而对于企业来说,海量数据如何更好更快的分析应用,数据如何驱动业务更好的发展,成为相当重要的一环。而庞大的数据增量以及业务多变的数据分析
SeaTunnel
·
2023-11-12 09:29
大数据
Doris
0.15-Broker Load
Broker以插件的形式,独立于
Doris
部署。如果需要从第三方存储系统导入数据,需要部署相应的Broker,默认提供了读取HDFS、百度云BOS及AmazonS3的fs_broker。
如是我闻.春风不渡
·
2023-11-12 09:58
doris
大数据
etl
Doris
Broker Load入门实战
BrokerLoad原理Brokerload是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。用户在提交导入任务后,FE会生成对应的Plan并根据目前BE的个数和文件的大小,将Plan分给多个BE执行,每个BE执行一部分导入数据。BE在执行的过程中会从Broker拉取数据,在对数据transform之后将数据导入系统。所有BE均完成导入,由FE最终决定导入是否成功。+|1.us
wangleigiser
·
2023-11-12 09:28
Doris
hadoop
大数据
hdfs
Apache
Doris
入门教程16:数据导入之S3 Load
S3Load从0.14版本开始,
Doris
支持通过S3协议直接从支持S3协议的在线存储系统导入数据。本文档主要介绍如何导入AWSS3中存储的数据。
sunjian286
·
2023-11-12 09:58
大数据
数据库
数据仓库
数据分析
Apache
Doris
入门教程10:数据导入之Broker Load
因为
Doris
表里的数据是有序的,所以Brokerload在导入数据的时是要利用
doris
集群资源对数据进行排序,相对于Sparkload来完成海量历史数据迁移,对
Doris
的集群资源占用要比较大,这种方式是在用户没有
sunjian286
·
2023-11-12 09:57
apache
数据库
大数据
数据仓库
Apache
Doris
入门教程11:数据导入之Routine Load
例行导入(RoutineLoad)功能,支持用户提交一个常驻的导入任务,通过不断的从指定的数据源读取数据,将数据导入到
Doris
中。本文主要介绍该功能的实现原理、使用方式以及最佳实践。
sunjian286
·
2023-11-12 09:57
大数据
数据库
数据仓库
数据分析
Apache
Doris
入门教程12:数据导入之Spark Load
SparkLoad通过外部的Spark资源实现对导入数据的预处理,提高
Doris
大数据量的导入性能并且节省
Doris
集群的计算资源。主要用于初次迁移,大数据量导入
Doris
的场景。
sunjian286
·
2023-11-12 09:57
spark
大数据
数据库
数据仓库
database
apache
与创新者同行,Apache
Doris
in 2023
在刚刚过去的DorisSummitAsia2023峰会上,ApacheDorisPMC成员、飞轮科技技术副总裁衣国垒带来了“与创新者同行”的主题演讲,回顾了ApacheDoris在过去一年所取得的技术突破与社区发展,重新思考了在面对海量数据实时分析上的挑战与机遇,全面介绍了ApacheDoris在未来的迭代计划与演进方向。以下为衣国垒在峰会上的演讲节选,以衣国垒第一人称叙述,经编辑。非常高兴可以看
SelectDB技术团队
·
2023-11-10 17:51
apache
数据库
大数据
数据仓库
数据分析
平安人寿基于 Apache
Doris
统一 OLAP 技术栈实践
导读:平安人寿作为保险行业领军企业,坚持技术创新,以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求;以深挖数据价值、保障业务用数效率为目标持续升级大数据产品体系。自2022年起平安人寿开始引入开源实时数据仓库ApacheDoris并基于此统一OLAP技术栈,通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期,并满足了业务方
SelectDB技术团队
·
2023-11-10 17:46
数据库
大数据
数据仓库
数据分析
apache
治理效率提升77%!揭秘基于DataLeap实时健康分的最佳实践
目前该实时数仓团队已运行了上万的实时任务,依赖的组件繁多(例如:Flink、Yarn、Abase、
Doris
等)、开发人员众多、开发习惯和经验程度参差不齐等各类主客观因素,导致任务稳定性、资源浪
字节数据平台
·
2023-11-10 11:50
大数据
数据库
数据安全
数据治理
数据研发
Doris
:Binlog Load导入数据
BinlogLoad提供了一种使
Doris
增量同步用户在Mysql数据库的对数据更新操作的CDC(ChangeDataCapture)功能。
m0_37559973
·
2023-11-09 08:22
Doris
Doris
大数据
Doris
(十九):数据导入(Load)
文章目录数据导入(Load)一、Brokerload二、Streamload三、Insert四、Multiload
Lansonli
·
2023-11-08 22:59
大数据OLAP技术体系
大数据
Doris
Doris
:MySQL数据同步到
Doris
的N种方式
1.2导入数据2.JDBC编码方式3.JDBCCatalog方式3.1上传mysql驱动包3.2创建mysqlcatalog3.3.插入数据4.BinlogLoad方式1.CSV文件方式当mysql与
doris
m0_37559973
·
2023-11-08 03:53
Doris
Doris
Apache
Doris
是什么
Doris
的主要特点包括:高性能:通过MPP架构,
Doris
能够在多个节点上并行处理查询,从而提供快速的数据分析能力。实时分析:
Doris
支持实时的数据更新和查询,适用于需要频繁更新和即时分析的场景。
舒一笑
·
2023-11-07 18:14
一笑的代码架构道途
apache
Apache
Doris
Doris
-02-数据表的操作(建表、数据模型Aggregate-Uniq-Duplicate、动态分区、临时分区、Rollup、物化视图等)
文章目录数据表的操作创建用户和数据库基本概念Row&ColumnPartition&Tablet建表语句语法和示例列定义分区与分桶PartitionBucketPROPERTIESENGINE数据模型Aggregate模型Uniq模型Duplicate模型数据模型的选择建议动态分区原理和使用方式动态分区规则参数示例临时分区使用场景操作导入和查询Rollup基本概念Aggregate和Uniq模型中
迷雾总会解
·
2023-11-07 16:35
大数据
数据库
hadoop
大数据
doris
Doris
学习
doris
简介由百度大数据部研发之前叫百度palo,2018年共享到apache社区,改名dorisMPP分析型数据库产品亚秒级响应架构非常简洁,易于运维支持10pb以上的超大数据集满足多种数据分析需求固定历史报表实时数据分析交互式数据分析探索式数据分析流批一体架构
Flakej
·
2023-11-07 16:34
学习
大数据
【大数据入门核心技术-
Doris
】(三)
Doris
基础使用
一、安装部署参考:【大数据入门核心技术-
Doris
】(二)
Doris
安装部署二、用户相关使用1、用户登录启动完
Doris
程序之后,可以通过root或admin用户连接到
Doris
集群。
forest_long
·
2023-11-07 16:02
大数据技术入门到21天通关
大数据
bigdata
hadoop
doris
hive
hbase
mpp
Apache
Doris
(五十三):
Doris
Join类型 - Shuffle Join
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.shuffleJoin的原理
IT贫道
·
2023-11-07 08:10
大数据OLAP体系技术栈
Apache
Doris
doris
Doris
--基础--08--Broadcast/Shuffle Join
Doris
–基础–08–Broadcast/ShuffleJoin1、介绍
doris
在join操作的时候时候,默认使用broadcast的方式进行join,即将小表通过广播的方式广播到大表所在的节点,形成内存
勤径苦舟
·
2023-11-07 03:58
Doris
数据库
java
mysql
Apache
Doris
的Bucket Shuffle Join实现
目录1.介绍2.原理3.使用1.介绍两个表进行join时,让右表根据左边的数据分布,进行数据的shuffle,再进行join。减少跨节点的数据传输。加速查询2.原理SQL语句为A表joinB表,并且join的等值表达式命中了A的数据分布列。而BucketShuffleJoin会根据A表的数据分布信息,将B表的数据发送到对应的A表的数据存储节点。BucketShuffleJoin的网络开销和内存开销
Bulut0907
·
2023-11-07 03:27
#
Apache
Doris
doris
shuffle
join
bucket
join
bucket
shuffle
join优化
Apache
Doris
的性能优化之Runtime Filter
目录1.介绍2.原理3.使用3.参数说明4.注意事项1.介绍当进行tb1jointb2时,tb2的数据非常小,将tb2数据经过计算得到一个过滤条件,发送到tb1所在的节点,利用索引的功能,直接对tb1的数据进行过滤。来减少扫描的数据量,避免不必要的I/O和网络传输,从而加速查询2.原理RuntimeFilter在查询规划时生成,在HashJoinNode中构建,在ScanNode中应用T1表的数据
Bulut0907
·
2023-11-07 03:27
#
Apache
Doris
doris
runtime
filter
性能优化
join优化
bloom
filter
Apache
Doris
入门教程04:连接方式与使用指南
使用指南
Doris
采用MySQL协议进行通信,用户可通过MySQLclient或者MySQLJDBC连接到
Doris
集群。
sunjian286
·
2023-11-07 03:26
apache
数据库
mysql
系统架构
算法
大数据
【浅谈 Apache
Doris
FE 处理查询 SQL 源码解析】
Doris
查询语句和市面主流的数据库处理阶段都差不多,需要经过Parse,Analyz
齐木木9406
·
2023-11-07 03:56
Apache
Doris
spark
apache
sql
数据库架构
数据库开发
数据库
【转】最佳实践|Apache
Doris
Join 实现与调优实践
【转】https://mp.weixin.qq.com/s/YNGdTbnG6iBjT1qtsK912wDoris简介首先简单介绍一下
Doris
。
lehsyh
·
2023-11-07 03:25
java
数据库
数据仓库
Doris
初步使用2
使用命令查看创建表语句:HELPCREATETABLE;创建表完整语句:CREATE[EXTERNAL]TABLE[IFNOTEXISTS][database.]table_name(column_definition1[,column_definition2,...][,index_definition1[,ndex_definition12,]])[ENGINE=[olap|mysql|bro
黄瓜炖啤酒鸭
·
2023-11-07 03:25
apache
doris
doris多表join
doris使用
doris实操
Apache
Doris
在美团外卖数仓中的应用实践
本文将介绍
Doris
在美团外卖数仓的实践。序言本文侧重于以
Doris
引擎为“发动机”的数仓生产架构的改进与思考。
架构师小秘圈
·
2023-11-07 03:25
Apache
Doris
(五十二):
Doris
Join类型 - Broadcast Join
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.BroadcastJoin原理
IT贫道
·
2023-11-07 03:53
大数据OLAP体系技术栈
Apache
Doris
doris
Doris
Manager集群的工具,运维更顺畅
哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】!中国DBA联盟(ACDU)成员,目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】,欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱!❤️❤️
IT邦德
·
2023-11-06 11:55
CDH大数据平台
数据库
运维
Apache
Doris
系列: 基础篇-清理垃圾数据
垃圾数据如何产生delete/drop/truncate等操作只是在逻辑上删除了数据,并没有进行物理删除数据文件合并完成后没有物理删除旧的数据清理所有BE节点的垃圾数据ADMINCLEANTRASH;清理指定BE节点的垃圾数据ADMINCLEANTRASH[ON("BackendHost1:BackendHeartBeatPort1","BackendHost2:BackendHeartBeatP
修破立生
·
2023-11-06 02:48
Apache
Doris
apache
doris
大数据
big
data
技术实现 | Apache
Doris
冷热数据存储(一)
1.前言对于任何一种数据库类软件来说,无论其基于传统数据库模型还是基于分布式结构,作为核心的永远是数据本身。而数据的生命周期,则体现在CRUD操作(创建、查询、更新、删除)上。任何一条数据从其生成的时刻开始,数据价值随着时间的推移而逐渐降低,直至成为无用数据,最终删除。作为使用数据的主体——用户,对于各种数据的需求程度是不同的,人们往往对重要的数据有更高效、稳定的访问需求;而对于不重要的数据则没有
ApacheDoris
·
2023-11-06 02:17
apache
数据库
数据仓库
hadoop
大数据
Apache
Doris
整体架构、FE元数据管理及数据组织
目录1.
Doris
整体架构2.FE元数据管理3.
Doris
数据组织1.
Doris
整体架构
Doris
主要分为FE和BE两个组件,FE主要负责查询的编译,分发和元数据管理(基于内存,类似HDFSNN);BE
国林哥
·
2023-11-06 02:47
Doris
架构
database
大数据
数据仓库
etl
Apache
Doris
入门教程08:建立和使用索引
目前
Doris
主要支持两类索引:内建的智能索引,包括前缀索引和ZoneMap索引。
sunjian286
·
2023-11-06 02:17
apache
数据库
算法
大数据
数据仓库
Apache
Doris
: 一个开源 MPP 数据库的架构与实践
ApacheDoris:一个开源MPP数据库的架构与实践一、
Doris
背景介绍1.1
Doris
1.2
Doris
定位二、适用场景&案例介绍2.1适用场景2.1.1对数据分析、统计2.1.2报表2.1.3多维分析
明月清风,良宵美酒
·
2023-11-06 02:16
java后端技术栈
数据库
apache
架构
Apache
Doris
(五十一):
Doris
数据缓存
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.
IT贫道
·
2023-11-06 02:12
大数据OLAP体系技术栈
Apache
Doris
doris
官宣:Apache
Doris
顺利毕业,成为 ASF 顶级项目!
|作者:ApacheDoris|编辑:朱天瑜|责编:金心悦|设计:马丽娜2022年6月16日,Apache软件基金会(ASF)官方宣布ApacheDoris顺利毕业,成为顶级项目(TLP)。01关于ApacheDorisApacheDoris源于百度自研的MPP分析型数据库,旨在解决百度凤巢高并发、高吞吐、低延迟的报表问题。2017年正式在GitHub进行开源,并于2018年8月正式捐献给全球顶级
开源社
·
2023-11-05 07:44
百度
数据库
大数据
人工智能
java
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他