E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
实时计算
ChunJun(OldNameIsFlinkX)
序言ChunJun主要是基于Flink
实时计算
框架,封装了不同数据源之间的数据导入与导出功能.我们只需要按照ChunJun的要求提供原始与目标数据源的相关信息给Chunjun,然后它会帮我们生成能运行与
cuiyaonan2000
·
2023-09-21 05:45
Big
Data
Computing
ETL
ChunJun
FlinkX
用 flink 插件chunjun实现全量+增量同步-达梦数据库到postgresql
纯钧下载地址:纯钧纯钧是一款稳定、易用、高效、批流一体的数据集成框架,目前基于
实时计算
引擎Flink实现多种异构数据源之间的数据同步与计算,已在上千家公司部署且稳定运行。
恬毅
·
2023-09-20 09:32
flink
flink
数据库
大数据
7.1、如何理解Flink中的时间语义
目录1、如何理解Flink中的时间语义2、
实时计算
时,应该如何选择时间语义?
广阔天地大有可为
·
2023-09-20 08:53
#
Flink
API
使用技巧
flink
大数据
大数据开发工程师是做什么的?
大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据
实时计算
平台及业务开发、平台建设及维护等工作内容。
我想去吃ya
·
2023-09-20 01:05
大数据
hadoop
hive
python
分布式
DolphinDB 加入 NVIDIA 初创加速计划
DolphinDB专注于为客户提供集高性能存储、复杂分析能力和流处理于一体的
实时计算
平台及解决方案,可用于海量结构化数据的存储、查询、分析、
实时计算
,实现PB级数据查询毫秒级响应以及复杂分析任
DolphinDB智臾科技
·
2023-09-18 17:47
时序数据库
数据库
数据分析
database
云计算
虚幻4学习笔记(11) 蓝图实现AI移动、AI树实现移动、看见后寻找玩家
www.bilibili.com/video/BV164411Y732蓝图实现AI移动导航网格体添加导航网格体边界体积(AI可活动的区域)按P键可以显示/隐藏区域范围导航网格体边界体积分为静态、动态动态会
实时计算
导航网格内
M行者X
·
2023-09-17 06:33
ue4
学习
笔记
黑马头条 热点文章
实时计算
、kafkaStream
热点文章-
实时计算
1今日内容1.1定时计算与
实时计算
1.2今日内容kafkaStream什么是流式计算kafkaStream概述kafkaStream入门案例Springboot集成kafkaStream
软工菜鸡
·
2023-09-16 05:51
spring
cloud
java-ee
kafka
iNeuOS工业互联网操作系统,增加算法分析平台,包括快速傅里叶变换、包络分析、倒频谱和自相关等算法
目录1.概述...12.平台演示...23.算法分析功能介绍...21.概述增加算法分析平台后,iNeuOS工业互联网操作系统具备了物联网、视图建模、
实时计算
、机器学习和算法分析等全家桶式的应用体验。
iNeuOS工业互联网
·
2023-09-12 07:37
iNeuOS工业互联网
算法
物联网
c#
大数据Spark性能优化指南基础
Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/
实时计算
、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。
金光闪闪耶
·
2023-09-11 21:31
基于flink实时数据仓库-第一讲基本情况介绍
实时数据仓库1、电商实时数仓分层介绍1.1普通
实时计算
和实时数据仓库比较1.2实时数据仓库,项目分层2.实时需求概述2.1离线计算和
实时计算
比较2.2实时需求种类3.统计架构分析3.1离线架构3.2实时架构
大数据学习爱好者
·
2023-09-10 15:34
Flink
开发
java
flink
时序数据库 TimescaleDB 基础概念
时序数据在许多领域中具有广泛的应用,例如金融市场分析、气象预测、交通流量监测、生产过程监控等,时序数据通常是大规模的、高维度的、需要
实时计算
和分析,针对时序数据的特点与其所带来的挑战,针对时序数据处理所面临的挑战
王清欢Randy
·
2023-09-09 12:23
数据库
时序数据库
数据库
postgresql
timescaledb
JavaWeb_LeadNews_Day11-KafkaStream实现
实时计算
文章分数
JavaWeb_LeadNews_Day11-KafkaStream实现
实时计算
文章分数KafkaStream概述案例-统计单词个数SpringBoot集成
实时计算
文章分值来源GiteeKafkaStream
Y_cen
·
2023-09-09 07:51
JavaWeb开发
#
java
spring
boot
spring
cloud
kafka
redis
kafkastream
后端
UAV无人机(三):飞控系统
它接收传感器数据,并根据预设的飞行指令进行
实时计算
和控制。传感器系统:为了感知无人机的姿态、位置和环境
corlin工作室
·
2023-09-09 02:50
无人机
java-流式API:Stream API
Stream和List也不一样,List存储的每个元素都是已经存储在内存中的某个Java对象,而Stream输出的元素可能并没有预先存储在内存中,而是
实时计算
出来的。Strea
你曹浩东大爷
·
2023-09-08 00:10
java
大数据之MapReduce
缺点:不擅长
实时计算
不能进行流式计算,MapReduce的输入数据集是静态的,不能
十七✧ᐦ̤
·
2023-09-07 08:42
大数据
mapreduce
2万字50张图玩转Flink面试体系
本期将介绍大数据
实时计算
利器Flink面试体系,全文内容已制作成PDF。一基础篇1简单介绍下Flink及使用场景ApacheFlink是开源的大数据
实时计算
框架,具有分布式、高性能、内存计算等特点。
大数据兵工厂
·
2023-09-04 22:46
大数据
大数据
flink
面试
LabVIEW液压支架控制系统的使用与各种配置的预测模型的比较分析
控制对象模型用于有限时间范围内最优控制的
实时计算
。所使用的数学设备允许从具有单输入和单输出的简单系统切换到具有多输入和多输出的多通道系统。
LabVIEW开发
·
2023-09-03 12:12
LabVIEW开发案例
LabVIEW开发
LabVIEW
LabVIEW模拟
LabVIEW编程
液压
Flink
实时计算
中台Kubernates功能改造点
背景平台为数据开发人员提供基本的实时作业的管理功能,其中包括jar、sql等作业的在线开发;因此中台需要提供一个统一的SDK支持平台能够实现flinkjar作业的发布;绝大多数情况下企业可能会考虑FlinkOnYarn的这个发布模式,但是伴随云原生的呼声越来越大,一些企业不希望部署一套YARN繁重的基座平台作为资源调度平台,期望使用容器的特性实现存储分离的架构;还有很多其他的原因…不在赘述改造步骤
麦田里的守望者·
·
2023-09-03 06:26
Flink实时计算
flink
linq
大数据
基于日志的CDC方案(Binlog)
从ETL的角度进行分析,一般采集的都是业务库数据,这里使用MySQL作为需要采集的数据库,通过Debezium把MySQLBinlog进行采集后发送至Kafka消息队列,然后对接一些
实时计算
引擎或者APP
xhh199090
·
2023-09-02 21:12
大数据专业毕业能从事什么工作
大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、
实时计算
和流式计算以及数据可视化等技术的研发和
我想去吃ya
·
2023-09-02 16:36
大数据
学习
人工智能
python
开发语言
MQ-面试题
RabbitMQ,RocketMQ优缺点activeMQ使用不多,没有大规模吞吐量场景,社区不活跃,不建议RabbitMQ:小型公司可以考虑,支持稳定,活跃度高RocketMQ:大公司,基础架构比较强kafka:
实时计算
liwsh
·
2023-09-02 12:42
如何分析及处理 Flink 反压?
反压(backpressure)是
实时计算
应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。
zhaowei121
·
2023-09-02 06:15
让快更快,火山引擎ByteHouse为ClickHouse提速
联合举办以“OLAP计算引擎”为主题的直播活动,来自火山引擎数智平台VeDI的产品专家从技术选型、能力分析、性能优化以及应用场景落地多个角度,介绍火山引擎ByteHouse如何基于ClickHouse实现
实时计算
能力升级
字节数据平台
·
2023-09-01 16:08
clickhouse
大数据
数据库
云原生
go 、rust、python 语言 编码效率、性能比较
1、Rust适合内存使用苛刻、无GC、超高性能的场景,如果是
实时计算
系统,那rust的吞吐量对于Go还是有一定优势的,基于线程和goroutine的调度模式还是有差别的。
handsome1234
·
2023-09-01 14:37
golang
开发语言
后端
说说Lambda架构
Lambda架构整合离线计算和
实时计算
,融合不可变性(Im
学一次
·
2023-09-01 07:28
大数据
架构
大数据
kafka
SpringCloud微服务项目实战 - 3.App端文章
吃好吃的系列文章目录项目搭建App登录及网关App文章自媒体平台(博主后台)自媒体文章审核延迟任务kafka及文章上下架App端文章搜索后台系统管理Long类型精度丢失问题定时计算热点文章(xxl-Job)热点文章-
实时计算
后海 0_o
·
2023-09-01 07:44
Java
java
spring
spring
boot
spring
cloud
完整大数据学习路线,看了就会有所收获
基本命令操作3.Hadoop生态学习(体系结构、原理、编程)3.1第一阶段3.2第二阶段3.3第三阶段4.Spark生态学习4.1第一阶段4.2第二阶段4.3第三阶段4.4第四个阶段5.Storm学习——
实时计算
白振峰
·
2023-09-01 04:07
学习路线
大数据
hadoop
spark
分布式
数据库
流式大处理的三种框架对比:Storm,Spark和Flink
ApacheStorm在Storm中,先要设计一个用于
实时计算
的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master
往事随风_h
·
2023-08-31 07:18
Flink
Spark
流式计算
sparkStreaming
storm
对比
flink
DolphinDB 携手白鲸开源 WhaleStudio 打造高效敏捷的 DataOps 解决方案
DolphinDB专注于为用户提供集高性能存储、复杂分析能力和流处理于一体的
实时计算
平台及解决方案,可用于海量结构化数据的存储、查询、分析、
实时计算
,实现PB级数据查询毫秒级响应以及复杂分析任务秒级响应
DolphinDB智臾科技
·
2023-08-31 01:48
大数据
云原生
DataOps
数据库
让快更快,火山引擎ByteHouse为ClickHouse提速
联合举办以“OLAP计算引擎”为主题的直播活动,来自火山引擎数智平台VeDI的产品专家从技术选型、能力分析、性能优化以及应用场景落地多个角度,介绍火山引擎ByteHouse如何基于ClickHouse实现
实时计算
能力升级
·
2023-08-30 12:57
大数据云原生数据库
让快更快,火山引擎ByteHouse为ClickHouse提速
联合举办以“OLAP计算引擎”为主题的直播活动,来自火山引擎数智平台VeDI的产品专家从技术选型、能力分析、性能优化以及应用场景落地多个角度,介绍火山引擎ByteHouse如何基于ClickHouse实现
实时计算
能力升级
·
2023-08-30 12:26
大数据云原生数据库
Spring redis使用报错Read timed out排查解决
文章目录使用场景报错信息解决方式使用场景我们使用redis作为缓存服务,缓存一些业务数据,如路口点位信息、渠化信息、设备信息等有一些需要
实时计算
的数据,缓存在redis里,如实时信号周期相位、周期内过车数量等有需要不同服务访问的数据
坚持是一种态度
·
2023-08-30 07:59
java
spring
redis
bootstrap
生产事故:flink任务造成kafka连接泄漏导致kafka集群挂了!!!
2、问题现象1》压测期间产生大量事后数据流向flink
实时计算
环节,flink任务消费的kafka出现堆积而产生告警。
MCpang
·
2023-08-30 04:06
kafka
JAVA
flink
kafka
flink
java
jar包冲突
大数据
流式数据湖平台—Paimon视频教程
ApachePaimon是一个流数据湖平台,是Streaming
实时计算
能力和Lakehouse新架构优势的结合,具有高速数据摄取、变更日志跟踪和高效的实时分析能力。
尚硅谷铁粉
·
2023-08-30 03:50
big
data
大数据
【Siggraph2009】Light Propagation Volumes in CryEngine 3
总结LPV是一种
实时计算
的间接光方案,其实现总共分为四个步骤,分别是:RSM的生成,用作SecondaryLightSourc
离原春草
·
2023-08-30 00:19
实训笔记8.28
实训笔记8.288.28笔记一、大数据计算场景主要分为两种1.1离线计算场景1.2
实时计算
场景二、一般情况下大数据项目的开发流程2.1数据采集存储阶段2.2数据清洗预处理阶段2.3数据统计分析阶段2.4
cai-4
·
2023-08-29 22:31
实训
笔记
大数据
大数据Flink
实时计算
技术
1、架构2、应用场景Flink功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。在启用高可用选项的情况下,它不存在单点失效问题。事实证明,Flink已经可以扩展到数千核心,其状态可以达到TB级别,且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在Flink之上。核心点:1、高吞吐,低延迟
BUG指挥官
·
2023-08-29 07:47
flink
数据库
oracle
向阳而生的智慧光伏设施
光伏发电太阳花装配双轴自动追踪器,会根据当前的经纬度和时间,
实时计算
太阳的方位角和高度角,计算出光伏板应当运行的角度,于倾角传感器的当前角度比较,当二者的误差超过1°时,发出电机运转指令,使、设备实时跟踪太阳
wanzehongsheng
·
2023-08-26 18:02
人工智能
能源
Textarea 计数 兼容版
实时计算
input字符数量window.onload=function(){varoT=document.getElementById('text');vartextBox=document.getElementById
我是一个前端
·
2023-08-26 03:34
Apache Flink 在移动云
实时计算
的实践
本篇内容主要分为四个部分:
实时计算
平台建设中移信令业务优化稳定性实践未来方向的探索Tips:点击「阅读原文」查看原文视频&演讲PDF~中移(苏州)软件技术有限公司是中国移动通信有限公司的全资子公司,公司定位为中国移动云设施的构建者
Apache Flink
·
2023-08-25 07:40
网络
大数据
分布式
编程语言
hadoop
基于Spark框架的新闻推荐系统的设计与实现
1.摘要离线ALS算法,以及基于内容的推荐算法进行结合.
实时计算
部分,使用Spark平台上的SparkStreaming流处理技术,处理日志收集框架Flume收集的日志信息.2.需要的技术jieba
Wzideng
·
2023-08-25 06:12
科研--论文--实验
大数据学习
求职
算法
大数据
论文研究
新闻推荐
推荐算法
HBase--技术文档--基本概念--《快速扫盲》
它基于Hadoop,采用列式存储方式,可以提供
实时计算
和分布式访问。HBase的数据模型是稀疏排序映射表,其中键由行关键字、列关键字和时间戳构成。HBase的
一单成
·
2023-08-25 04:00
Hbash
hbase
数据库
大数据
React Native
实时计算
TextInput输入文字的高度
TextInput的onContentSizeChange属性可以
实时计算
输入文字的高度onContentSizeChange={(event)=>{this.setState({textHeight
风铃浅语
·
2023-08-25 02:02
【黑马头条之热点文章kafkaStream】
本笔记内容为黑马头条项目的热点文章-
实时计算
部分目录一、实时流式计算1、概念2、应用场景3、技术方案选型二、KafkaStream1、概述2、KafkaStreams的关键概念3、KStream4、KafkaStream
蛋饼吧
·
2023-08-24 09:42
黑马头条
kafka
笔记
java
基于阿里云 Flink+Hologres 搭建实时数仓
摘要:本文作者阿里云Hologres高级研发工程师张高迪&阿里云Flink技术内容工程师张英男,本篇内容将为您介绍如何通过
实时计算
Flink版和实时数仓Hologres搭建实时数仓。
Apache Flink
·
2023-08-23 07:33
阿里云
flink
云计算
大数据
Apache Flink
实时计算
在美的多业务场景下的应用与实践
摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在FlinkForwardAsia2022主会场的分享。本篇内容主要分为四个部分:实时生态系统在美的的发展和建设现状核心传统业务场景Flink实时数字化转型实践新兴业务场景Flink实时数字化应用实践未来展望Tips:点击「阅读原文」查看原文视频&演讲ppt01实时生态系统在美的的发展和建设现状纵观过去几年美的的实时大数据建设之路,在实时
Apache Flink
·
2023-08-23 07:03
Flink
大数据
实时计算
flink
大数据
spark
scala
hbase
MySQL 虚拟列虚拟类型分类
虚拟列的值是
实时计算
的,不占用额外的存储空间。适用于那些能够通过其他列计算得出的值,而且计算开销较小的情况。以下是一个示例,说明如何创建和使用VIRTUAL
半桶水专家
·
2023-08-22 10:32
mysql
数据库
阿里巴巴开源的 Blink
实时计算
框架真香
imageBlink开源了有一段时间了,竟然没发现有人写相关的博客,其实我已经在我的知识星球里开始写了,今天来看看Blink为什么香?我们先看看Blink黑色版本:image对比下Flink版本你就知道黑色版本多好看了。image你上传jar包的时候是这样的:image我们来看看Blink运行的job长啥样?image再来对比一下Flink的样子:image查看JobTask的详情,可以看到开始时
zhisheng_blog
·
2023-08-21 13:07
82、Spark Streaming之与Storm的对比分析
SparkStreaming与Storm的对比对比点StormSparkStreaming
实时计算
模型纯实时,来一条数据,处理一条数据准实时,对一个时间段内的数据收集起来,作为一个RDD再处理
实时计算
延迟度毫秒级秒级吞吐量低高事务机制支持完善支持
ZFH__ZJ
·
2023-08-21 10:37
【大数据】Flink 详解(五):核心篇 Ⅳ
反压(backpressure)是
实时计算
应用开发中,特别
G皮T
·
2023-08-21 07:27
大数据
大数据
flink
分布式计算
流计算
分布式
内存管理
资源管理
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他