流式计算

数据应用流水线-数据应用

数据计算：支持数据的分布式批量加工计算以及流式计算，支撑流批一体化计算。数据服务：支持对数据加工后的数据提供client、RestAPI、jdbc等多种数据服务方式。数据消
long-king·2022-05-22 07:48

减少计算、简化架构——TDengine在灌区信息化平台中的应用

小T导读：禹为科技在现代灌区信息化平台的建设过程中，经历了数据库&定时任务的架构、以流式计算为核心的架构和以TDengineDatabase为核心的架构三个阶段，最终选用TDengine帮助其对水位、流量
涛思数据（TDengine）·2022-05-11 13:46

Apache Flink 在蔚来汽车的应用

实时计算在蔚来的发展历程实时计算平台实时看板CDP实时数仓其他应用场景点击查看直播回放&演讲PDF一、实时计算在蔚来的发展历程18年5月份左右，我们开始接触实时计算的概念，最初是用SparkStreaming做一些简单的流式计算数据的处理
·2022-04-22 14:05

TDengine学习笔记-安装

相关目录与文件写在最后TDengine简介官方描述TDengine是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品
DBA大董·2022-04-14 21:23

Flink原理解析

1.Flink是什么Flink是新一代分布式流式计算引擎，用于对海量数据进行实时处理和计算，具备快速容错（支持每条消息恰好处理一次）、流批一体、低延时、支持数据乱序的特点。
冯子玉·2022-04-08 04:22

日志中台不重不丢实现浅谈

数据产生到最终业务应用中各个环节的稳定性建设，包括：数据上报时效性优化、接入持久化的思考、数据流式计算过程中的不重不丢建设等。全文4047字，预计阅读时间12分钟
·2022-04-07 16:53

10.Flink实时项目之订单维度表关联

外部数据源的查询常常是流式计算的性能瓶颈，所以我们在查询hbase维度数据的基础上做一些优化及封装。phoenix查询封装phoenix作为hbase的一个上层sql封装，或者叫
选手一号位·2022-03-31 23:00

减少计算、简化架构——TDengine在灌区信息化平台中的应用

小T导读：禹为科技在现代灌区信息化平台的建设过程中，经历了数据库&定时任务的架构、以流式计算为核心的架构和以TDengine为核心的架构三个阶段，最终选用TDengine帮助其对水位、流量、水量等实时指标数据分析
·2022-03-30 13:13

Java如何使用实时流式计算处理？

最近如果拉过austin项目代码的同学，可能就会发现多了一个austin-stream模块。其实并不会意外，因为这一切都在计划当中进行。这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧01、为什么流式处理平台我在老东家有过处理数据相关的经验，也看到过站内广告「效果数据」的发展
归于人海中的宇·2022-03-30 08:23

Java如何使用实时流式计算处理？

我是3y，一年CRUD经验用十年的markdown程序员‍常年被誉为职业八股文选手最近如果拉过austin项目代码的同学，可能就会发现多了一个austin-stream模块。其实并不会意外，因为这一切都在计划当中进行。这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧01、为什
Java3y·2022-03-29 08:00

【学习笔记】大数据技术之Hadoop（MapReduces）

1.1MapReduce定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理1.2.2缺点1）不擅长实时计算2）不擅长流式计算
prague6695·2022-03-25 07:13

图数据库的易用性—GES与Flink的对接

数字化时代，业务的实时处理需求越来越迫切，实时预警、实时风控、实时推荐等，Flink作为新一代流批统一的计算引擎，具有独特的天然流式计算特性和更为先进的架构设计的特点，它可以从不同的第三方存储引擎中读取数据
·2022-03-24 10:33

快速了解Stream流

快速了解Stream流一.函数式接口1.函数型接口Function2.断定性接口Predicate3.消费型接口Consumer4.供给型接口Supplier二.Stream流式计算1.生成串行流2.stream
Jumanji_·2022-03-18 04:59

Java中parallelStream的使用

众所周知，stream流式计算是Java8中新添的一种新特性，可以把stream流理解为串行的流式计算，而pa
@听风者·2022-03-14 11:06

Kafka原理1

文章目录KafkaKafka使用场景消息传递MessagingwebsiteActivitytracking网站活动跟踪LogAggregation日志聚合应用指标监控数据集成+流式计算Kafka的安装
右耳听风·2022-03-07 14:38

六十三、Spark-读取数据并写入数据库

支持的数据源-JDBC需求说明：使用Spark流式计算将数据写入MySQL，并读取数据库信息进行打印文章目录支持的数据源-JDBC项目主体架构pom.xml依赖创建数据库业务逻辑完整代码程序运行项目总结项目主体架构
托马斯-酷涛·2022-03-06 07:44

Realtime Data Processing at Facebook

概要这篇论文发表于2016年，主要是介绍Facebook内部的流式计算平台的设计与思考，对于流式计算的关键特性的实现选型上进行深度对比分析。流式计算系统5个衡量指标文中提到有5个重要的考量部分易用性。
Aitozi·2022-02-21 00:00

Flink 面试通关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
王知无·2022-02-18 16:59

浅谈-实时计算框架

我们首先来简单看一下计算任务的大致流程：首先先说下批量计算和流式计算：图中显示了一个计算的基本流程，receiver处负责从数据源接收数据，并发送给下游的task，数据由task处理后由sink端输出。
差不多先生_简书·2022-02-13 04:00

第一章 Streaming101

尽管这股流式计算的浪潮是由
哲学家之死·2022-02-07 12:41

实时作业转离线作业的几种场景及方案

作者：闻乃松将Flink流式计算引擎作为实时计算作业的标配带来的重大挑战之一是资源占用问题，因为大量的Flink作业一旦启动，将一直占用分配的CPU和内存资源，而不会自动释放（除非是批处理模式），并且不会随着处理负载自动伸缩
·2022-01-15 11:06

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
__豆约翰__·2021-12-03 13:33

招聘：MLops Lead

招聘：MLopsLead公司：量化私募基金，业绩良好地点：北京推荐奖：5000关键词：MLops，岗位职责：管理量化算法工程团队，负责：1.搭建量化计算平台：支持深度学习模型的低延时（微秒级）流式计算2
·2021-12-02 12:53

基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现

简介：Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、应用监控指标查询、监控等业务，形成了实时数仓解决方案
·2021-12-01 14:11

taosAdapter正式发布：支持从OpenTSDB向TDengine无缝迁移

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度，且核心代码包括集群功能全部开源。自TDengine于2019年7月宣布
·2021-11-30 14:40

量化招聘：算法工程Leader

百万量化招聘：算法工程Leader公司：成立多年量化对冲基金公司，文化好推荐奖：1万地点：北京关键词：机器学习算法，搜广推工程搭建薪资：200-300万+奖金岗位职责：搭建量化计算平台，支持低延时流式计算搭建量化的数据分析平台
·2021-11-18 18:22

Flink简介和开发总结

核心是一个分布式、高性能、高可用、实时性的流式计算框架Flink起源于Stratosphere项目,2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会,2014年12月，
李潘杜若·2021-11-12 17:30

flink 状态编程和容错机制

流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。
song_quan_·2021-11-09 10:30

阿里云ACA认证考试攻略

计算引擎（三类）：离线计算、流式计算、在线计算。MaxCompute：由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。
·2021-11-02 17:57

Java8中Stream的一些神操作

Java8对集合提供了一种流式计算的方式，这种风格将要处理的元素集合看作一种流，流在管道中传输，并且可以在管道的节点上进行处理，比如筛选，排序，聚合等。
·2021-11-02 14:21

Kafka Streams流式原理解析

前言本篇文章会从Kafka的核心流式计算原理进行分析，KafkaStreamsLow-levelprocessorAPI和核心概念，以及常见的应用场景分析流式计算通过业务场景去分析流式计算的业务场景：双十一时实时滚动的订单量
踩踩踩从踩·2021-10-31 12:43

Day71_Spark-streaming(一）

SparkStreaming基础架构课程大纲课程内容学习效果掌握目标SparkStreaming简介流式计算了解SparkStreaming简介SparkStreamingAPI整合Kafka掌握整合HDFS
dogedong·2021-10-26 08:57

云原生不只是微服务

云原生还有很多别的领域可以拓展，比如AI、比如大数据、比如流式计算。
·2021-09-08 11:32

第五章 实时数据

5.2流式技术架构数据采集流式计算处理的数据可大致分为2种：1.业务数据库产生的变更日志，如果mysql的bin-log日志、hbase的h-log日志、oracle的变更日志等2.用户访问网站的埋点日志
发呆的熊猫·2021-08-12 14:10

Java常用函数式接口总结

四大函数式接口新时代的程序员：lambda表达式，链式编程，函数式接口，Stream流式计算函数式接口：只有一个方法的接口@FunctionalInterfacepublicinterfaceRunnable
·2021-07-29 13:41

Flink 开篇之环境搭建

简介：Flink作为目前最火的流式计算平台，近年来发展迅速，吸引了开发者的青睐，接下来我和大家一起了解其中的奥秘。俗话说万事开头难，咱们就从搭建环境开始入手吧！环境配置。
Coder小咚·2021-07-12 20:27

分布式流式计算框架vortex使用介绍

vortex是一款轻量级的分布式流式计算框架。vortex中文意为旋涡，代表着数据流不断地流入这个旋涡然后被平稳地输出。vortex属于内存计算型的流式框架，适用于高可用，高并发，实时计算的业务场景。
·2021-06-25 05:45

分布式时序计算框架vortex metrics使用介绍

vortexmetrics依赖分布式流式计算框架vortex,它是vortex关于时序计算场景的一个具体应用，vortex更像是一套API,运用这套API可以演绎和解决各种业务场景，而vortexmetrics
·2021-06-25 05:45

分布式时序计算框架vortex metrics使用介绍

vortexmetrics依赖分布式流式计算框架vortex,它是vortex关于时序计算场景的一个具体应用，vortex更像是一套API,运用这套API可以演绎和解决各种业务场景，而vortexmetrics
·2021-06-25 04:11

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
weare_b646·2021-06-24 06:41

java jdk1.8新特性之Stream流

jdk8提供的Stream流能够方便操作集合、数组java.util.stream包即是Stream流式计算的核心Stream流的特点Stream自己不会存储元素Stream不会改变源对象，相反，他们会返回一个持有结果的新
尹楷楷·2021-06-23 23:35

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
王知无·2021-06-23 04:43

【大厂技术内幕】字节跳动原来是这么做数据迁移的!

的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为MySQL保存着我们爬取的以及自建的数据，对于爬取的数据，数据量比较大，使用mysql存储会影响mysql的性能，并且我们需要对数据进行流式计算
JavaEdge.·2021-06-22 15:41

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQ·2021-06-22 09:01

分布式流式计算框架vortex使用介绍

vortex是一款轻量级的分布式流式计算框架。vortex中文意为旋涡，代表着数据流不断地流入这个旋涡然后被平稳地输出。vortex属于内存计算型的流式框架，适用于高可用，高并发，实时计算的业务场景。
·2021-06-21 00:54

Spark计算引擎

Reduce两种语义操作•处理效率低，耗费时间长•不适合处理迭代计算、交互式处理、实时流处理等•更多的应用于大规模批处理场景➢计算处理框架种类多，选型复杂•批处理:MapReduce、Hive、Pig•流式计算
01_小小鱼_01·2021-06-19 01:51

Flink系列（三）Data Source 介绍

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去
香山上的麻雀·2021-06-14 19:40

大数据框架对比

一、流式计算对比image.pngexactlyonce（精确一次的理解）->effectivelyonce(有效一次)：https://ververica.cn/developers/exactly-once
大唐雷恋·2021-06-14 15:01

java四大函数式接口（重点，简单）

四大函数式接口新时代的程序员：lambda表达式，链式编程，函数式接口，Stream流式计算函数式接口：只有一个方法的接口@FunctionalInterfacepublicinterfaceRunnable
偶像java练习生·2021-06-14 13:17

你都毕业3年了，怎么还只会增删改查，连kafka都没有听过？

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。
Java萨曼莎·2021-06-12 20:34
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他