E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
实时计算
Flink 本地安装 & 构建Flink应用
Flink本地安装&构建Flink应用环境要求Flink本地模式安装下载解压与启动退出构建Java应用完整pom.xml静态计算
实时计算
提交FlinkJob打包项目运行任务环境要求Maven3.0.4(
ximu_sunny
·
2023-08-20 07:16
java
flink
java
大数据
Apache Flink 和 Apache Kafka 两者之间的集成架构 Flink and Apache Kafka: A Winning Partnership
在这次合作中,ApacheKafka将提供强大的消息存储能力、Flink将作为一个分布式数据流处理平台来对其进行
实时计算
和分析。ApacheKafka在设计之初就考虑到大规模数据的实时处理,它支持
禅与计算机程序设计艺术
·
2023-08-20 05:31
大数据AI人工智能
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
BLINK-DataStream开发
com.alibaba.flinkdatahub-connector0.1-SNAPSHOTjar-with-dependencies此依赖需要手动加载到maven仓库,具体方式参见:读取DataHub数据示例-
实时计算
大数据00
·
2023-08-19 05:14
阿里云
flink
阿里云
flink
数据仓库
场景应用题目常见面试真题详解
采取
实时计算
金额的考虑,是因为
Redemption&
·
2023-08-19 04:11
知识点总结
秋招
面试
java
后端
GAMES101-计算机图形学基础 1-4
入门课程主页:https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html计算机图形学分四块:1、光栅化2、几何造型3、光线追踪4、动画和仿真
实时计算
机图形学
qq_43133135
·
2023-08-18 09:18
计算机图形学
Flink学习笔记(一)概述
一、什么是Flink1.Flink是一个分布式流处理框架,它能够在大规模的数据流上进行
实时计算
和批处理。
缘来如此09
·
2023-08-18 06:20
flink
大数据
flink
学习
大数据
数据库厂商智臾科技加入龙蜥社区,打造多样化的数据底座
DolphinDB作为一款基于高性能时序数据库,支持复杂分析与流处理的
实时计算
平台,集成了功能强大的编程语言和高吞吐率的流数据分析系统,为海量结构化数据的快速存储、检索、分析及计算提供一站式解决方案,特别适用于量化金融与物
OpenAnolis小助手
·
2023-08-18 01:30
龙蜥开源
数据库
智臾科技
龙蜥社区
生态加入
开源
OceanBase X Flink 基于原生分布式数据库构建
实时计算
解决方案
摘要:本文整理自OceanBase架构师周跃跃,在FlinkForwardAsia2022实时湖仓专场的分享。本篇内容主要分为四个部分:分布式数据库OceanBase关键技术解读生态对接以及典型应用场景OceanBaseXFlink在游戏行业实践未来展望点击查看原文视频&演讲PPT一、分布式数据库OceanBase关键技术解读作为一款历经12年的纯自研国产分布式数据库,从产品立项到核心交易业务上线
·
2023-08-16 13:31
后端flink大数据实时计算
中电金信:技术实践|Flink多线程实现异构集群的动态负载均衡
●1.前言●2.出现的问题与解决方案●2.1出现问题●2.2分析思路●2.3解决方案●3.技术架构●4.建设成效●5.结语前言在
实时计算
应用场景中
中电金信
·
2023-08-16 12:35
大数据
人工智能
Kylin
早期使用Hadoop的MapReduce计算模型,太慢了,只能做离线计算,无法做
实时计算
与迭代式计算。
_Levi__
·
2023-08-16 09:48
小米基于 Flink 的
实时计算
资源治理实践
摘要:本文整理自小米高级软件工程师张蛟,在FlinkForwardAsia2022生产实践专场的分享。本篇内容主要分为四个部分:发展现状与规模框架层治理实践平台层治理实践未来规划与展望点击查看原文视频&演讲PPT一、发展现状与规模如上图所示,下层是基础服务,包括:统一元数据服务、统一权限管理、统一任务调度、统一数据集成。在此之上是各类分布式引擎,包括数据源、数据采集、消息中间件、数据计算和数据查询
·
2023-08-15 18:32
后端flink大数据实时计算
日常节省 30%计算资源:阿里云
实时计算
Flink 自动调优实践
摘要:本文整理自阿里云开发工程师,ApacheFlinkContributor钟旭阳,在FlinkForwardAsia2022生产实践的分享。本篇内容主要分为四个部分:历史背景框架简介案例介绍未来规划点击查看原文视频&演讲PPT一、历史背景批作业在算子实际处理数据时,可以提前感知到要处理的这部分数据有多大。从而可以根据数据量的大小,选择合适的资源处理数据。但流作业是一种long-running的
·
2023-08-15 18:46
后端flink大数据实时计算
Apache Flink
实时计算
在美的多业务场景下的应用与实践
摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在FlinkForwardAsia2022主会场的分享。本篇内容主要分为四个部分:本篇内容主要分为四个部分:实时生态系统在美的的发展和建设现状核心传统业务场景Flink实时数字化转型实践新兴业务场景Flink实时数字化应用实践未来展望点击查看直播回放&演讲PPT一、实时生态系统在美的的发展和建设现状纵观过去几年美的的实时大数据建设之路,在
·
2023-08-15 18:40
后端flink大数据实时计算
关于 Apache Flink 和
实时计算
的最新动态、未来方向,你想知道的都在这里
FlinkForwardAsia2021即将于1月8日开启,除了80+干货议题,还有哪些内容值得关注?本文带你一探究竟!主要内容包括:大会直播圆桌论坛有奖问答HackathonFlink中文学习网站https://flink-learning.org.cn大会直播1月8-9日,FlinkForwardAsia2021即将重磅启动。作为开源大数据领域的顶级盛会之一,FlinkForward持续集结最
·
2023-08-15 18:02
阿里云
实时计算
Flink 版线下训练营北京站来啦!
阿里云
实时计算
Flink版线下训练营北京站来啦!专家老师现场教学,真实还原
实时计算
业务和实时数仓场景,现场有机会领取Flink最新周边礼包!
·
2023-08-15 18:43
后端flink大数据实时计算
小米基于 Flink 的
实时计算
资源治理实践
摘要:本文整理自小米高级软件工程师张蛟,在FlinkForwardAsia2022生产实践专场的分享。本篇内容主要分为四个部分:发展现状与规模框架层治理实践平台层治理实践未来规划与展望点击查看原文视频&演讲PPT一、发展现状与规模如上图所示,下层是基础服务,包括:统一元数据服务、统一权限管理、统一任务调度、统一数据集成。在此之上是各类分布式引擎,包括数据源、数据采集、消息中间件、数据计算和数据查询
Apache Flink
·
2023-08-11 13:03
Flink
大数据
实时计算
flink
java
数据库
大数据
开发语言
同花顺l2数据接口到底有什么用?
有如下帮助:1、可以
实时计算
沪深所有股票数据。全推的股票软件有同花顺l2数据接口后,目前在市场上的有股票池功能的就一两款。方便公式的引用和计算,及时的进入股票池。
QQ2037696191
·
2023-08-10 16:55
l2接口
大数据
区块链
服务器
开发语言
Go 语言中 Context 的作用和使用方法详解
在开发数据服务平台的
实时计算
组件时,可能会遇到这样的问题:
实时计算
组件向用户提供自定
KaiwuDB
·
2023-08-10 11:35
KaiwuDB
golang
context
Apache Paimon 学习笔记
1概述1.1简介Flink社区希望能够将Flink的Streaming
实时计算
能力和Lakehouse新架构优势进一步结合,推出新一代的StreamingLakehouse技术,促进数据在数据湖上真正实时流动起来
第一片心意
·
2023-08-10 10:55
paimon
flink
apache
学习
笔记
OceanBase X Flink 基于原生分布式数据库构建
实时计算
解决方案
摘要:本文整理自OceanBase架构师周跃跃,在FlinkForwardAsia2022实时湖仓专场的分享。本篇内容主要分为四个部分:1.分布式数据库OceanBase关键技术解读2.生态对接以及典型应用场景3.OceanBaseXFlink在游戏行业实践4.未来展望Tips:点击「阅读原文」免费领取5000CU*小时Flink云资源01分布式数据库OceanBase关键技术解读作为一款历经12
Apache Flink
·
2023-08-10 07:01
oceanbase
flink
分布式
数据库
大数据
5 小时玩转阿里云 Flink 实时湖仓,速速报名!
阿里云Flink专家与传智教育高级顾问联合出品,5小时玩转阿里云Flink实时湖仓,项目依托于传智教育博学谷线上教育平台数字化建设场景,真实还原
实时计算
业务细节,学完后掌握基于阿里云的FlinkCDC,
Apache Flink
·
2023-08-10 07:31
flink
大数据
Nebula Graph 在大规模数据量级下的实践和定制化开发
图数据库在微信的应用本文作者系微信技术专家李本利图数据在社交推荐、多跳
实时计算
、风控和安全等领域有可期待的前景。如何用图数据库高效存储和查询大规模异构图数据,是一个重大挑战。
NebulaGraph
·
2023-08-10 06:59
大屏
实时计算
深度剖析(Flink 入门 技术体系剖析 实战 数据处理设计方案 核心技术点)
大屏
实时计算
深度剖析大屏
实时计算
深度剖析1.
实时计算
应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink
Ybb_studyRecord
·
2023-08-10 05:25
大数据
flink
big
data
人工智能
实时计算
从0到1搭建大数据平台之调度系统
大家好,我是脚丫先生(o^^o)大数据平台核心之一在于数据计算,分为离线计算和
实时计算
任务。然而任务是离不开调度的。
大数据指北
·
2023-08-07 02:29
#
---
大数据
大数据
hive
spark
领券次数的设计(from 深圳-小明)
分析当每一个用户领券时,
实时计算
当前用户可以领取的数量,查询量大。如果提前计算好,每个用户当前优惠券数量。就可以在逻辑层判断出,用户是否可以领券。
youthcity
·
2023-08-06 14:15
Apache Flink 进阶(六):Flink 作业执行深度解析
作者:岳猛整理:平凡的世界-zkx本文根据ApacheFlink系列直播课程整理而成,由ApacheFlinkContributor、网易云音乐
实时计算
平台研发工程师岳猛分享。
bigdata张凯翔
·
2023-08-06 08:27
Flink SQL on Zeppelin - 打造自己的可视化Flink SQL开发平台
本文是蘑菇街
实时计算
负责人狄杰发表在网络上的作品,小编进行了整理。小编之前也写过Flink对接Zeppelin的方案和引用。本文提炼出来一个完整的Fl
王知无(import_bigdata)
·
2023-08-05 22:56
大数据成神之路
mysql
java
大数据
hadoop
数据库
数据资产治理:元数据采集那点事
元数据需要覆盖到数据全链路,包括离线计算平台、
实时计算
平台
傅一平
·
2023-08-03 11:11
大数据
分布式
编程语言
数据仓库
数据分析
一文带你学会如何基于Flink构建
实时计算
平台
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!github开源项目:https://github.com/DTStack/flinkxgitee
袋鼠云数栈
·
2023-08-02 21:42
flink
实时计算
flinkstreamsql
数据中台
大数据
用于永磁同步电机驱动器的自适应SDRE非线性无传感器速度控制(Matlab&Simulink实现)
本文目录如下:目录1概述2运行结果3参考文献4Matlab代码&Simulink仿真实现1概述本文方法基于状态依赖的里卡蒂方程(SDRE)控制技术及其梯度型神经网络的
实时计算
方法,允许在线控制PMSM。
长安程序猿
·
2023-08-02 21:03
matlab
算法
开发语言
数据治理实践:元数据管理架构的演变
我们开始意识到,虽然我们构建了高度可扩展的数据存储,
实时计算
等等能力,但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。也就是我们缺乏对数据资产的管理。
产品经理自我修养
·
2023-08-02 09:59
数据库
大数据
Spark笔记(3):一行代码处理key相同时value相加
spark问题描述在商品推荐的业务逻辑计算时,遇到一个计算商品偏好权重的问题:实时权重要和离线权重结合,其中key相同的商品权重求和,不相同的保留实时和离线的权重不变,由于业务代码是
实时计算
,只能用scala
御驾闲人
·
2023-07-31 06:49
助力秋招-独孤九剑荡剑式 | Java语言&基础面试题
By大数据技术与架构场景描述:整个大数据开发技术栈我们从实时性的角度来看,主要包含了离线计算和
实时计算
两大部分,而整个大数据生态中的框架绝大部分都是用Java开发或者兼容了Java的API调用,那么作为基于
王知无(import_bigdata)
·
2023-07-30 05:36
flink中watermaker的理解
的例子二,代码演习1,简易版本2,自定义watermaker类一,watermaker的概念1,什么是watermakerwatermaker又称水位线,它是一个带时间戳的DataStream,是为了解决
实时计算
中的数据乱序问题
一杯拿铁go
·
2023-07-29 20:04
flink
大数据
Apache Flink 理论与实战精解
今年Flink在技术方面取得两大新突破:一是Flink流批一体技术在阿里双11核心数据业务场景规模化成功应用;二是Flink
实时计算
峰值首次突破40亿条/秒。
运维朱工
·
2023-07-29 04:56
Dinky简介与部署(Docker形式)
Dinky是一个开箱即用、易扩展,以ApacheFlink为基础,连接OLAP和数据湖等众多框架的一站式
实时计算
平台,致力于流批一体和湖仓一体的探索与实践。
HuaWei&&WeiHua
·
2023-07-29 03:02
docker
Linux部署
docker
容器
运维
用于永磁同步电机驱动器的自适应SDRE非线性无传感器速度控制(Matlab&Simulink实现)
目录1概述2运行结果3参考文献4Matlab代码&Simulink仿真实现1概述本文方法基于状态依赖的里卡蒂方程(SDRE)控制技术及其梯度型神经网络的
实时计算
方法,允许在线控制PMSM。
然哥依旧
·
2023-07-27 11:19
matlab
算法
开发语言
大数据开发:消息队列如何处理重复消息
消息队列是越来越多的
实时计算
场景下得到应用,而在
实时计算
场景下,重复消息的情况也是非常常见的,针对于重复消息,如何处理才能保证系统性能稳定,服务可靠?
成都加米谷大数据
·
2023-07-27 07:24
流式计算引擎 —— Storm
一、ApacheStorm简介1、基本概念 Storm为分布式
实时计算
提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列和工作者集群的另一种方式。
小胡_鸭
·
2023-07-26 19:34
Flink调研(一)
前段时间调研了一下
实时计算
相关技术,因为后期会搭建我们的数据分析平台,由于近期精力有限,没有做过多深入了解,在我们测试库上搭建flink服务,做了一些常规的job提交等操作,同时对apacheflink
yschen
·
2023-07-26 00:08
Flink笔记
读取数据源-源算子(Source)2.3.3转换算子(Transformation)2.Flink学习笔记2.1流式处理对比学习SparkStreaming后对实时处理有了浅显的认识,Flink主要也是用来做
实时计算
的
好记性+烂笔头
·
2023-07-24 18:21
#
计算Flink
flink
笔记
大数据
缓存预热和热点数据(storm)解决方案
storm的特点:支撑各种实时类的项目场景:实时处理消息以及更新数据库,基于最基础的
实时计算
语义和API(实时数据处理领域)对实时的数据流持续的进行查询或计算,同时将最新的计算结果持续的推送给客户端展示
鱼获飞
·
2023-07-24 06:26
笔记
storm
缓存
Flink Connector 深度解析
作者介绍:董亭亭,快手大数据架构
实时计算
引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学,曾就职于奇虎360、58集团。
zhisheng_blog
·
2023-07-24 00:53
storm
实时计算
框架(笔记)
storm认识:Storm是一个免费开源、分布式、高容错的
实时计算
系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。
性感的人字拖
·
2023-07-23 18:09
Ubuntu20.04安装OpenCV
Ubuntu系统安装opencv详细操作及具体应用一、opencv是个什么东西开源计算机视觉(OpenCV)是一个主要针对
实时计算
机视觉的编程函数库。
Koko_i
·
2023-07-23 05:38
opencv
ubuntu
人工智能
读书笔记(三)
提倡替换动画效果主要是因为css的动画效果在浏览器渲染中,不会所有周期都
实时计算
定位,所以当页面后退
苹果胖次
·
2023-07-23 04:56
GeoServer:WMTS预渲染切片服务
例如:style样式调整、min-maxlevel最大/最小显示层级数调整、以及数据存储/存储仓库中shapefile数据源等的替换操作等等;缺点也很明显,当数据量较大时,对于GeoServer来讲,
实时计算
的压力会比较大
是席木木啊
·
2023-07-22 23:32
WebGIS
GIS技术
WebGIS
GeoServer
EPSG
WMTS
Linux
计算广告实时结算超投问题解决方案的分析
在广告系统中,结算环节会
实时计算
各个广告主账户内的余额,如余额为0,既要立刻停止投放。所谓超投,就是指在结算系统发出停止投放的指令到系统实际将广告下线的这段时间内,投放系统错误的将下线广告投放出去。
WanderingScorpion
·
2023-07-21 20:15
问题解析
计算广告
广告超投
Wallpaper Engine 占用GPU过高解决办法
看到本文的时候,首先你要有一个大致认识:Wallpaper中的壁纸大致分为两种:一种是
实时计算
渲染的,一种是视频播放渲染的。
韦_恩
·
2023-07-20 03:18
windows日常使用总结
wallpaper
windows
10
steam
SpringCloud微服务项目实战 - 6.延迟任务
系列文章目录项目搭建App登录及网关App文章自媒体平台(博主后台)自媒体文章审核延迟任务kafka及文章上下架App端文章搜索后台系统管理Long类型精度丢失问题定时计算热点文章(xxl-Job)热点文章-
实时计算
后海 0_o
·
2023-07-20 00:31
Java
spring
cloud
微服务
java-rabbitmq
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他