流式计算

Learning Spark（Ⅰ）

可支持多种开发语言，Java，python，scala，R3.通用性SQL查询：SparkSQL流式计算：SparkStreaming机器学习：SparkMLib图算法组件：S
松阁~·2023-01-05 02:05

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文系百度爱番番技术团队撰写，首发于#百度Geek说#公众号一、CDP是什么1.1CDP由来CDP（C
图数据库NebulaGraph·2022-12-23 04:39

重磅！TDengine 3.2.0 正式发布

TDengine3.0带来了几大核心特性，包括云原生架构、流式计算，还增强了数据订阅功能；更重要的是，3.0系列版本开始提供了全平台支持，服务器/客户端均已支持Linux、Windows和MacOS。
涛思数据（TDengine）·2022-12-21 10:43

时序数据库 TDengine 3.0.2.0 版本正式发布

TDengine3.0带来了几大核心特性，包括云原生架构、流式计算，还增强了数据订阅功能；更重要的是，3.0系列版本开始提供了全平台支持，服务器/客户端均已支持Linux、Windows和MacOS。
·2022-12-20 18:50

Flink窗口及其分类-详细说明

，欢迎访问作者gitee仓库：https://gitee.com/fanggaolei/learning-notes-warehouse/tree/masterFlink窗口的概念  Flink是一种流式计算引擎
Fang GL·2022-12-19 18:31

Apache Flink 1.14.0

在Flink的世界里一切都是流，纯流式计算引擎flink是一个类似spark的“开源技术栈”，因为它也提供了批处理，流式计算，图计算，交互式查询，机器学习等。
dzzxjl·2022-12-18 16:30

当打造一款极速湖分析产品时，我们在想些什么

作者：王有卓，StarRocksContributor随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出，传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。
StarRocks_labs·2022-12-17 05:49

当打造一款极速湖分析产品时，我们在想些什么

作者：王有卓，StarRocksContributor随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出，传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。
·2022-12-15 18:05

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文系百度爱番番技术团队撰写，首发于#百度Geek说#公众号一、CDP是什么1.1CDP由来CDP（C
·2022-12-15 17:01

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文系百度爱番番技术团队撰写，首发于#百度Geek说#公众号一、CDP是什么1.1CDP由来CDP（C
·2022-12-14 20:10

大数据入门：Flink和Spark简单对比

Spark和Flink在处理数据上都能实现流式计算、实时分析，那么两者之间有何异同呢？下面我们来做一个简单的Flink和Spark对比。
加米谷大数据张老师·2022-12-12 15:32

Flink VS Spark：大数据流式计算的巅峰对决

在流式计算领域，同一套系统需要同时兼具容错和高性能其实非常难，同时它也是衡量和选择一个系统的标准。在这个领域，Flink和Spark无疑是彼此非常强劲的对手。
不稳定记忆·2022-12-12 15:28

SparkStreaming基础理论

Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。
weixin_33815613·2022-12-07 11:41

大数据分析技术与实战之Spark Streaming

为此，涌现出了一批如S4、Storm的流式计算框架。
chisuijie5678·2022-12-07 11:38

Spark Streaming 学习笔记

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。SparkStreaming是Spark核心API的一个扩展，可以实现高吞
惹不起的程咬金·2022-12-07 11:37

Spark框架 及 pyspark库

transformationkey-value型transformationactionpersist关闭spark案例SparkSQL（DataFrame）DataFrame简介DataFrame常用算子流式计算
劫径·2022-12-05 11:49

如何分析及处理 Flink 反压

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
夜无边CN·2022-12-04 19:09

flink面试相关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
暗东方·2022-11-29 15:33

Flink面试大全总结（全文6万字、110个知识点、160张图）

threeknowbigdata，备注Flink，获取文章PDF版本Hello，各位大数据学习爱好者，我是3分钟秒懂大数据公众号的作者土哥，目前在杭州某互联网大厂担任大数据算法工程师，组内专注于Flink流式计算组件以及
3分钟秒懂大数据·2022-11-29 15:02

Flink面试题大全，它是否能登上你的客船？

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
90后小伙追梦之路·2022-11-29 15:18

大数据分析和大数据开发哪个好就业啊？

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。
我想去吃ya·2022-11-23 21:22

如何排查Flink生成环境中的反压问题

《2021年最新版大数据面试题全面开启更新》反压问题是流式计算系统中经常碰到的一个问题，如果你的任务出现反压节点，那么就意味着任务数据的消费速度小于数据的生成速度，需要对生成速度进行控制。
王知无(import_bigdata)·2022-11-12 05:27

Apache Flink 1.15 Checkpoint最新架构设计（官网转载）

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Che
Direction_Wind·2022-11-03 10:41

TDengine3.0流式计算引擎语法规则介绍

小T导读：TDengine3.0引入了全新的流式计算引擎，既支持时间驱动的流式计算，也支持事件驱动的流式计算。本文将对新的流式计算引擎的语法规则进行详细介绍，方便开发者及企业使用。
涛思数据（TDengine）·2022-11-02 18:01

Apache Hudi技术与架构-1

1前言ApacheHudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（DataLakePlatform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力
uesowys·2022-10-08 08:27

你的系统有热点缓存问题吗？如何为系统设计缓存架构？

目录（1）为什么要用缓存集群（2）20万用户同时访问一个热点缓存（3）基于流式计算的缓存热点自动发现（4）热点缓存自动加载为JVM本地缓存（5）限流熔断保护（6）总结这篇文章，跟大家讲讲站在一个程序员的角度
石杉的架构笔记·2022-10-08 07:15

大数据入门：Flink核心概念详解

在流式计算越来越受到主流青睐的市场状况下，流式计算框架技术的掌握，正在成为大数据学习当中的重要部分。以Flink框架来说，作为新一代的流计算框架，越来越多地出现在大数据开发者们的技能树当中。
加米谷大数据张老师·2022-10-04 14:03

大数据学习之Flink——13Window详解

Windows计算是流式计算中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合运算,从而得到一定时间范围内的统计结果。
Jiang锋时刻·2022-10-04 14:00

TDengine 3.0 流式计算引擎语法规则介绍

小T导读：TDengine3.0引入了全新的流式计算引擎，既支持时间驱动的流式计算，也支持事件驱动的流式计算。本文将对新的流式计算引擎的语法规则进行详细介绍，方便开发者及企业使用。
·2022-09-30 15:16

大数据——粗谈Apache Spark（计算引擎）

Spark就是在一个统一的框架下能够进行批处理，流式计算和交互式计算。Spark的核心概念就是RDD（弹性分布式数据集）分布在集群中的对象集合，存储在磁盘或内存中。
Xa_L·2022-09-28 06:19

分布式系统面试连环炮

，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/Spark、分布式流式计算系统
@司马懿·2022-09-22 19:12

使用 Prometheus 监控 eKuiper 规则运行状态

eKuiper的规则是一个持续运行的流式计算任务。规则用于处理无界的数据流，正常情况下，规则启动后会一直运行，不断产生运行状态数据。直到规则被手动停止或出现不可恢复的错误后停止。
·2022-09-20 20:23

大数据之Flink计算框架

OLTP实时计算(流式计算)OLAP离线计算(批量计算)Flink运行环境：StandAlone自己单独运行Hadoop-Yarn
飘然生·2022-09-16 13:08

深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）

本文系统地介绍了流式计算的相关知识，并着重介绍了Flink的实现原理细节，便于大家快速地理解和掌握流式计算，并基于Flink完成业务开发。一、流式计算和批处理批处理在大数据世界有着
架构师小秘圈·2022-09-08 10:56

Flink面试题大全(建议收藏)

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
无精疯·2022-09-08 10:23

kafka超全学习总结

Kafka快速入门选择Kafka原因:Kafka吞吐量比较高,在我们的系统中,文章是核心数据,每天会发布很多文章数据,产生很多用户行为因为我们的系统中会有一个实时行为计算的逻辑,会使用KAFKA提供的实时流式计算功能因为我们团队中之前有小伙伴用过
Code攻城狮·2022-08-26 21:06

湖仓一体技术解读｜流式计算实现秒级数据入湖

数据入湖的时效性直接影响整体数据应用效果，基于湖仓一体架构的巨杉数据库通过对接业界主流的Flink,Spark和Storm等主流的流式框架，实现实时生产数据的高速入湖，原汁原味的将数据保留在巨杉数据库中。SequoiaDB是巨杉数据库通过10年的不断迭代，从多模数据湖架构演进出来的“湖仓一体”架构产品。SequoiaDB的“湖仓一体”结合了数据湖与数据仓库，是一个融合的基础设施环境，支持从原始数据
巨杉数据库SequoiaDB·2022-08-25 14:17

Spark Streaming 快速入门系列（一）一文带你了解Spark Streaming

文章目录SparkStreaming介绍SparkStreaming入门SparkStreaming原理SparkStreaming操作SparkStreaming介绍导读1，流式计算的场景2，流式计算框架
Alienware^·2022-08-24 15:49

Spark Streaming(一)

SparkStreaming(一)导读介绍入门原理操作TableofContents1.SparkStreaming介绍2.SparkStreaming入门2.原理3.操作1.SparkStreaming介绍导读流式计算的场景流式计算框架
威风少侠·2022-08-24 14:57

Spark Streaming中流式计算的困境与解决之道

Sparkstreaming在各种流程处理框架生态中占着举足轻重的位置，但是不可避免地也会面对网络波动带来的数据延迟的问题，所以必须要进行增量数据的累加。在更新Spark应用的时候或者其他不可避免的异常宕机的时候，增量累加会带来重复消费的问题，在一些需要严格保证exactonce的场景下，这个时候我们就需要进行离线修复，从而保证exactonce语义，本文将针对这个问题，提供一些常见的解决方案和处
数大招疯·2022-08-21 09:27

Flink编译与安装

一直对流式计算心驰神往,flink似乎是一个神器,可惜那些文档写得太玄乎,一些概念性的东西,有一种似懂非懂的感觉所以决定实际操作一下对于flink的状态,窗口,source,task的之类的概念,一直似懂非懂
猪猪_123123123123·2022-08-21 08:52

使用流式计算引擎 eKuiper 处理 Protocol Buffers 数据

ProtocolBuffers(Protobuf)是一种语言中立、平台中立的可扩展机制，用于序列化结构化数据的二进制传输格式。相比常规数据传输格式（如JSON或XML），Protobuf更加高效和快速并节省传输带宽，因此得到了广泛的应用。在云边协同架构中，往往既需要发送数据到云端，同时也需要接收云端发送过来的数据，进行云边协同计算。大规模的云边协同计算传输的数据总量巨大，在公网带宽资源有限而且昂贵
·2022-08-18 16:53

重磅升级！TDengine3.0 正式发布

我们先来整体看一下3.0的几大亮点：可以支持10亿个设备采集的数据、100个节点支持存储与计算分离，引入计算节点，并重构了整个计算引擎完善并优化了对消息队列、流式计算和缓存
·2022-08-17 16:10

flink实战--flinkSQL数据写入hudi

ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics集成了Hudi服务高效的数据MERGE（UPDATE/DELETE）场景，ApacheFlink作为目前最流行的流计算框架，在流式计算场景有天然的优势
阿华田512·2022-07-29 10:25

ClickHouse 之 SummingMergeTree/AggregatingMergeTree 实现准实时看板（qbit）

有点flink流式计算的味道。初始化测试数据生成创建库CREATEDAT
·2022-06-20 21:45

阿里言：出乎意料，“字节跳动”居然是这么做数据迁移的

的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为MySQL保存着我们爬取的以及自建的数据，对于爬取的数据，数据量比较大，使用mysql存储会影响mysql的性能，并且我们需要对数据进行流式计算
m0_55849656·2022-06-16 12:49

【技术干货】代码示例：使用 Apache Flink 连接 TDengine

除了核心的时序数据库功能外，TDengine还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。
·2022-05-27 20:12

Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将Checkpoint做得高效稳定是Flink流计算的首要任务。
·2022-05-27 10:52

Apache APISIX 在雪球双活架构演进中的生产与实践

其中实时行情服务对接了多种上游数据源，通过数据流式计算、存储、分发，为投资者提供稳定的数据服务。实时行情一直是雪球业务系统中的资源消耗大户，持续在高水位运行。雪球内部一项重要的工作就是持续进行稳
雪球工程师团队·2022-05-24 14:00

狂神说 JUC并发编程

进程和线程并发和并行线程状态wait和sleepSynchronized与LockCopyOnWriteArrayListCallable常用辅助类ReadWriteLockBlockingQueue线程池四大函数式接口流式计算
RainHey·2022-05-22 07:27
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他