流式计算

精彩回顾|从架构到实践，AntDB融合型数据库揭秘

基于此，亚信安慧AntDB融合型数据库，为了支持用户对“实时性”的更高要求，通过原生的“流数据处理引擎”，从内核层面将流式计算与数据库进行了融合与创新。11月3日-5日，由中国开源
亚信安慧AntDB数据库·2023-11-27 12:32

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：imageApacheKafka是一个开源「消息」系统，由Sc
Java李太白·2023-11-27 08:07

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
许志辉Albert·2023-11-27 08:53

Flink Window

1.window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集Window窗口就在一个无界流中设置起始位置和终止位置，让无界流变成有界流
shenjianyu_rex·2023-11-26 05:12

flink从入门到精通-flink简介

文章目录flink简介名称的由来什么是flink为什么需要flink流式计算框架比较模型StreamingModelAPI形式保证机制容错机制状态管理flink基本概念flink架构图JobManagerJobManager
星&海·2023-11-24 11:16

Spark设计理念与基本架构

易于使用支持查询支持流式计算可用性高丰富的数据源支持模块：SparkCore+SparkSQL+S
whynotybb·2023-11-24 02:29

实时数仓（七）DWM层事实表关联维度表（订单宽表、旁路缓存和异步IO优化）

外部数据源的查询常常是流式计算的性能瓶颈，所以进行一定的优化。
undo_try·2023-11-23 07:12

基于GPU实现的高效的并行数据结构

基于GPU实现的高效的并行数据结构(ImplementingEfficientParallelDataStructuresonGPUs)现代的GPU，在计算历史中第一次把数据并行、流式计算平台放入几乎每台台式计算机和笔记本电脑中
lanyijia·2023-11-22 05:14

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。
腾讯云大数据·2023-11-21 07:19

数仓DWS层之旁路缓存优化

优化原因：外部数据源的查询常常是流式计算的性能瓶颈。以本程序为例，每次查询都要连接Hbase，数据传输需要做序列化、反序列化，还有网络传输，严重影响时效性。可以通过旁路缓存对查询进行优化。
大数据阿嘉·2023-11-20 10:44

大数据学习（22）-spark

它支持多种数据处理模式，包括批处理、迭代算法、交互式查询、流处理等，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。Spark内置了Spar
viperrrrrrr·2023-11-20 07:23

Apache Flink——状态编程

概述Flink处理机制的核心，就是“有状态的流式计算”。不论是简单聚合、窗口聚合，还是处理函数的应用，都会有状态的身影出现。状态就如同事务处理时数据库中保存的信息一样，是用来辅助进行任务计算的数据。
小波同学·2023-11-19 07:41

Apache Flink 1.8.0 中的状态生存时间特性：如何自动清理应用程序的状态

对于许多状态流式计算程序来说，一个常见的需求是自动清理应用程序的状态（state），以便有效地控制状态大小，或者控制程序访问状态的有效时间（例如受限于诸如GDPR等法律条规）。
knowfarhhy·2023-11-18 19:29

《Flink原理、实战与性能优化》（Flink知识梳理一）

Flink原名StratosphereFlink是基于事件驱动的，而SparkStreaming微批模型，生成微小的数据批次Spark的弱点：Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop
无影风Victorz·2023-11-16 18:40

从0开始学大数据15-流式计算的代表：Storm、Flink、SparkStreaming

15|流式计算的代表：Storm、Flink、SparkStreaming我前面介绍的大数据技术主要是处理、计算存储介质上的大规模数据，这类计算也叫大数据批处理计算。
源码头·2023-11-15 15:18

kafka实践-热点数据展示

1实时流式计算1.1概念流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率，往往尽可能采用增量计算代替全量计算。
不减到100斤不吃锅包肉·2023-11-14 12:16

Java stream流式计算详解

Javastream流式计算详解1.Stream概述1.1Stream简介1.2Stream分类2.Stream操作2.1Stream创建2.2Stream无状态操作2.3Stream有状态操作2.4Stream
靖节先生·2023-11-11 02:36

【Java8】函数式接口

前言早期的程序员在JDK1.5时期，掌握泛型、枚举、反射基本上就可以了，随着JDK不断迭代升级，到相对于稳定的JDK1.8版本，扩展了大量的知识点，例如：lambda表达式，链式编程，函数式接口，Stream流式计算这些新知识点的出现大大的简化了编程模型
·梅花十三·2023-11-09 13:20

Flink之状态编程

在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件),有些操作却需要记住多个事件的信息(比如窗口操作).那些需要记住多个事件信息的操作就是有状态的.流式计算分为无状态计算和有状态计算两种情况无状态计算
阿远的小一·2023-11-09 01:18

Flink--Data Source 介绍

DataSource简介Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink
墨子白·2023-11-08 08:52

Spark知识点总结大全

sparksql:使用sql对历史数据做交互式查询，用来操作结构化数据sparkStreaming:近实时计算对实时数据进行流式计算的组件sparkgraph
好好丁先森·2023-11-07 05:11

大数据分析的下一代架构--IOTA架构设计实践[下] 转

一条线是进入流式计算平台，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台，去计算T+1的相关业务指标，这些指标需要隔日才
生活的探路者·2023-11-05 02:48

Flink是什么

1.Flink是什么Flink是一个流式计算框架，它可以处理无限量的数据，并在真正的实时上下文中运行。
大数据海中游泳的鱼·2023-11-05 01:45

MapReduce

缺点不擅长实时计算，无法在毫秒活着妙级返回结果；不擅长流式计算，MapR
Manfestain·2023-11-04 03:07

【Flink专题】基于Flink1.12的知识点总结

Flink介绍发展历史官方介绍组件栈应用场景所有的流式计算Flink安装部署local本地模式-了解原理操作1.下载安装包https://archive.apache.org/dist/flink/2.
左美美 ￣　　·2023-11-03 17:49

HashData与HDFS的高效数据交换

同时，HDFS之上衍生了很多针对不同技术要求的分布式计算框架，使其适用于非结构化数据的清洗规整、流式计算和机器学习等场景。
HashData酷克数据·2023-11-02 16:06

在Windows上搭建Kafka

Kafka是流式计算中重要的数据源，我分享一下在本机Windows上搭建Kafka的经验。
陈易德·2023-10-28 22:17

Apache Doris在京东搜索实时OLAP中的应用实践

流式计算在近些年的热度与日俱增，从GoogleDataflow论文的发表，到ApacheFlink计算引擎逐渐站到舞台中央，再到ApacheDruid等实时分析型数据库的广泛应用，流式计算引擎百花齐放。
浪尖聊大数据-浪尖·2023-10-28 02:12

搞流式计算，大厂也没有什么神话

而在这背后，是众多技术团队在支撑，流式计算就是其中一支。不过，即使是在字节跳动，搞流式计算也没有神话。
字节跳动云原生计算·2023-10-27 23:23

Storm学习笔记（一）-- 实时流式计算概述

一、实时流式计算概述下面主要通过如下4个问题来阐述什么是实时流式计算:1.什么是实时流式计算？
Mr_Wuuuuuuu·2023-10-26 15:41

流式计算系统

流式计算系统系列：总纲流式计算系统方兴未艾。为了反映现实世界事件驱动的特性，为了对接消息队列事件驱动的设计，为了获得更好的时延，越来越多的业务采用流式计算系统来处理它们的数据。
slivelight·2023-10-26 13:14

6 Flink 窗口及其函数

6Flink窗口及其函数window窗口概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
一直奔跑的马·2023-10-25 18:57

java中Lambda+流式编程讲解（心得篇）

首先举一个例子来说明，我们要在一群人里面刷选一些，首先自己写一个Person类：package任务十三__流式计算.公司;importjava.util.Objects;/***@author${范涛之
water-之·2023-10-24 23:48

袋鼠云的FlinkSQL插件开发

这东西是以Flink为基础开发的使用SQL来写流式计算逻辑的产品。FlinkStreamSQL的开源地址什么是插件这里所说的插件是可以理解为自定义的语法。
bluedraam_pp·2023-10-24 18:30

Spark 简介

基于内存的执行速度可比HadoopMapReduce快上百倍，基于磁盘的执行速度也能快十倍容易使用支持使用Scala、Java、Python和R语言进行编通用性Spark提供了完整而强大的技术栈，包括SQL查询、流式计算
博弈史密斯·2023-10-23 16:22

flink介绍(二)

4.1window4.1.1概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
Tony.Cheng·2023-10-22 17:16

快速搞懂kafka是什么？

在流式计算中，Kafka一般用来缓存数据，Spark通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。
Ocean.k·2023-10-22 10:17

Kafka核心API——Connect API

KafkaConnect基本概念：KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
端碗吹水·2023-10-22 07:31

大数据计算引擎MapReduce框架详解

缺点：不擅长实时计算、不擅长流式计算、不
码农高飞·2023-10-20 18:32

FLink学习笔记：09-Flink 的状态编程应用

KeyedState)ValueState[T]ListState[T]MapState[KU,VU]ReducingState[T]AggregatingState[I,O]聚合状态状态运用编程实例概述流式计算分为无状态和有状态两种情况
wangzhongyudie·2023-10-19 14:49

开源贡献难吗？

我目前就职于字节跳动流式计算团队，负责SQL引擎
字节跳动云原生计算·2023-10-19 12:03

如何快速搭建基于高频数据的因子平台

有没有什么方法可以对大量因子的流式计算规范化、格式化，实现工程化管理呢？——DolphinDB推出了一个方便、快捷、扩展性好和兼容性
松鼠宽客·2023-10-18 15:00

JUC并发编程——Stream流式计算（基于狂神说的学习笔记）

Stream流式计算什么是Stream流式计算Stream流式计算是一种基于数据流的计算模式，它可以对数据进行实时处理和分析，而不需要将所有数据存储在内存中。
苏三有春·2023-10-18 06:33

尚硅谷Flink（三）时间、窗口

1️时间、窗口窗口️是啥Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。
Int mian[]·2023-10-17 18:01

Hadoop——第三部份 Hadoop3.x之MapReduce

高扩展动态增加服务器高空错海量计算缺点不擅长实时计算(Mysql)不擅长流式计算(Sparkstreamingflink)不擅长DAG有向无环图计算(迭代)(Spark)二、Hadoop序列化序列化和反序列化将内存中
Cyang6·2023-10-15 12:40

Flink - Java篇

文章目录前言一、概述1Flink是什么2架构分层3数据处理流水线4运行组件TaskManagerJobManagerResourceManagerDispatcher5其他流式计算框架二、入门与使用1Flink
「已注销」·2023-10-13 23:16

JUC并发编程学习笔记

Callable（简单）八、常用的辅助类8.1CountDownLatch8.2CyclicBarrier8.3SemaPhore九、读写锁十、阻塞队列十一、线程池（重点）十二、四大函数式接口（必须掌握）十三、流式计算十四
Radish萝卜·2023-10-13 11:46

大数据笔记--SparkStreaming

目录一、实时计算1、离线和批量、实时和流式Ⅰ、批量计算和流式计算：Ⅱ、批量和流式的区别二、SparkStreaming介绍1、概述2、架构设计二、SparkStreaming基础1、WordCount案例
是小先生·2023-10-12 05:03

Spark 总复习

Spark总复习一、基础题二、简答题1、论述Spark与Hadoop的区别1）编程方式2）数据存储3）数据处理4）数据容错2、简述Spark集群的基本运行流程3、论述批量计算、流式计算、实时计算、离线计算的区别
喝着奶茶敲实验·2023-10-10 08:14

大数据——SparkCore学习笔记

SparkStreaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富
Ostrich5yw·2023-10-09 21:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他