Partition

Kafka消息队列

2：消息队列的特征（1）存储（2）异步3：为什么需要消息队列二：Kafka基础与入门1：Kafka基本概念2：Kafka相关术语3：Kafka拓扑架构4：Topic与partition5：producer
52830·2025-06-05 14:45

kafka消息队列

目录什么是消息队列消息队列的特征为什么要消息队列kafka基本概念kafka相关术语kafka拓扑架构topic和partitionproducse生产机制Consumer消费机制zookeeper概念介绍
惊起白鸽450·2025-06-05 09:13

Kafka消息队列

目录一：消息队列1.什么是消息队列2.消息队列的特征3.为什么需要消息队列二：Kafka基础与入门1.Kafka基本概念2.Kafka相关术语3.Kafka拓扑架构4.Topic与partition5.
后院那片海·2025-06-04 14:14

60 主分区的创建与删除

fdisk-l找到我们需要操作的这块磁盘/dev/sdbfdisk/dev/sdb【p】printthepartitiontable----------------------打印分区表（指示你要创建的是主分区
宸凉·2025-06-04 11:21

快速排序简述

//能处理重复数据的快速排序pairpartition(vector&nums,intstart,
跨世纪逃兵·2025-06-04 07:49

python flink kafka_Flink with Kafka

HowApacheFlinkmanagesKafkaconsumeroffsetsStep1：例子：一个kafkatopic，有两个partition，每个含有"A,B,C,D,E"信息。
嘿bro·2025-06-01 19:40

最新Kafka 常用命令总结

/usr/local/kafka/bin/kafka-topics.sh--create--zookeeperlocalhost:2181/kafka--replication-factor1--partitions1
2401_84585316·2025-06-01 07:12

如何优化Hive的查询性能？请详细说明查询优化的各个层面（SQL优化、配置优化、资源优化等）和具体方法。

使用分区剪枝（PartitionPruning）减少数据读取。示例：--错误写法（全量扫描后过滤）SELECT*FROMordersWHEREdt='202
安审若无·2025-06-01 04:50

openGauss- 企业级增强特性

在openGauss中，数据分区是对数据按照用户指定的策略对数据做的水平分表，将表按照指定范围划分为多个数据互不重叠的部分（Partition）。
喜酱的探春·2025-06-01 02:11

分布式CAP理论

分区容错性（PartitionToleranc
菠萝01·2025-05-31 13:09

多线程事务？拿捏！

场景:有一批1万或者10万数据，插入数据库，怎么做事务中进行批量提交publList>partition=Lists.partition(list,450);StopWatchstopWatch=newStopWatch
努力成为八股之神小泽·2025-05-31 12:55

垂直拆分与水平拆分的区别

1.2垂直拆分（VerticalPartitioning）定义：按照业务维度将表的不同字段拆分到不同的表或数据库中1.3水平拆分（HorizontalPartitioning）定义：按照数据行维
hixiaoyang·2025-05-31 10:45

kafka学习笔记（三、消费者Consumer使用教程——使用实例及及核心流程源码讲解）

核心规则同一分区独占性：一个分区（Partition）只能被同一消费者组内的一个消费者消费，但不同消费者组可同时消费同一分区，实现广播模式。负载均衡与容错：通过动态分区分配
Timmer丿·2025-05-30 05:12

spark shuffle的分区支持动态调整，而hive不支持

分区支持动态调整的核心原因在于其架构设计和执行模型的先进性：1.自适应查询执行（AQE）机制Spark3.0+引入的AQE特性允许在运行时动态优化执行计划，包括Shuffle分区调整：分区合并：通过spark.sql.adaptive.coalescePartitions
大数据知识搬运工·2025-05-30 05:11

如何设计一个支持千万级数据量的搜索系统（结合 MySQL 和 ES）？ES与关系型数据库（MySQL）数据同步方案？如何保证数据库与Elasticsearch的双写一致性？对比采用事务日志与CDC方案

实时写入集群（处理MySQL写入）││├️双写模块（ES同步组件）││└️本地事务表（保障本地事务）│└️异步处理集群（消费binlog）│├️Canal集群（HA部署）│└️消息分区（Kafka32partitions
搞不懂语言的程序员·2025-05-29 06:57

Oracle表索引变为不可用状态了怎么办

记录分析Alert日志分析分区表索引维护建议索引不可用的场景全局索引本地索引业务跑批时遇到报错：ORA-01502index'YW_USR.IDX_LITTLE_POR_ALICIA_FACT_N41'orpartitionofsuchindexisinunusablestateORA
GottdesKrieges·2025-05-28 17:21

数据库扩展之道：分区、分片与大表优化实战

数据库扩展的核心技术——分区（Partitioning）与分片（Sharding），并结合大表管理优化策略，提供从理论到实践的完整解决方案。通过实际案例（如MySQL分区实
qcidyu·2025-05-27 18:34

大数据学习（121）-sql重点问题

一、基础语法与核心组件1.完整语法结构sqlOVER([PARTITIONBY字段1,字段2
viperrrrrrr·2025-05-26 17:13

【Python 实战】100 TB 大文件自然数排序解决方案详解（附完整代码）

分片（Partitioning）：按照数值范围将大
风千叶·2025-05-26 05:56

parted命令分区操作

print(parted)printModel:MMC8GUF4R(sd/mmc)Disk/dev/mmcblk0:7818MBSectorsize(logical/physical):512B/512BPartitionTable
monkey_llll·2025-05-25 23:48

Kafka 的日志清理策略：delete 和 compact

Kafka把topic的一个partition大文件分成多个小文件段，通过这种方式，能方便地定期清除或删除已消费完的文件，以减少磁盘占用。
WZMeiei·2025-05-25 13:42

分布式数据库CAP理论

该理论指出，任何分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partitiontolerance)这三个特性中的两个。
数字化与智能化·2025-05-25 06:26

Partition List

目录61.RotateList86.PartitionList61.RotateList代码：/***Definitionforsingly-linkedlist.
洞阳·2025-05-24 11:52

分布式系统CAP理论

这个理论指出，在分布式系统中，一致性（Consistency）、可用性（Availability）和分区容错性（PartitionTolerance）这三个属性不可能同时达到最优，最多只能同时满足其中的两个
ProStart·2025-05-23 06:24

kafka 问与答

AHowdoestheclientconnecttokafkaanddiscoverythebrokers.client只需要知道一部分nodes(brokers)的地址既可以，client会自动发现剩下的所有topicpartitionleadernodes
predisw·2025-05-23 04:16

十五、Hive 窗口函数

思维导图一、核心语法回顾window_function([args])OVER([PARTITIONBYcols][ORDERBYcols[ASC
IvanCodes·2025-05-22 22:06

spark自定义分区器实现

为什么我们要进行自定义分区当spark进行数据处理key-value类型数据时，会遇到数据由于key值的分布不均倾斜的情况，为了使得资源的合理布置我们会进行重分区，根据spark内部提供的分区器HashPartitioner
盈欢·2025-05-21 00:39

Spark_自定义分区器

自定义分区器：继承Partitioner重写方法valsparkConf:SparkConf=newSparkConf().setMaster("local[*]").setAppName("spark
EmoGP·2025-05-21 00:38

Spark中自定义分区器实现shuffle

Spark中实现了两种类型的分区函数，一个是基于哈希的HashPartitioner,另外一个是基于范围的RangPartitioner。
自由幻想的人儿·2025-05-21 00:38

Spark自定义分区器

{Partitioner,SparkConf,SparkContext}objectTestPartition{defmain(args:Array[String]):Unit={//建立Spark连接
QYHuiiQ·2025-05-21 00:08

Spark---＞转换算子

Spark--->转换算子flatMap：数据的拆分、转换（一对多）map：转换（一对一）filter：过滤算子sort：排序算子mapPartitionsmapPartitionsWithIndexsample
飝鱻.·2025-05-20 09:08

【kafka】kafka概念，使用技巧go示例

每秒可处理百万级消息持久化存储：消息按Topic分区存储在磁盘分布式架构：支持水平扩展高可用性：通过副本机制保证数据不丢失1.2核心组件Topic（主题）：消息的逻辑分类，如user_login、order_createPartition
{⌐■_■}·2025-05-19 12:15

MapReduce调优方案

map与reduce阶段有时候可能会出现各种非理想化的情景，导致数据计算和处理时会遇到一些瓶颈或问题，这里就列出来一些可参考的调优方案：Map阶段调优：自定义分区，减少数据倾斜；可以自定义一个类，继承Partitioner
QYHuiiQ·2025-05-18 21:37

Spark---宽窄依赖

Thisdistinctionisusefulfortworeasons.First,narrowdependenciesallowforpipelinedexecutionononeclusternode,whichcancomputealltheparentpartitions.Forexample
Shall潇·2025-05-18 04:31

Spark自定义分区器-基础

Spark内置了哈希分区器（HashPartitioner）和范围分区器（RangePartitioner），但在一些特殊场景下，内置分区器无法满足需求，此时就需要自定义分区器。
睎zyl·2025-05-18 04:30

AP CP

手动切换配置示例（修改Nacos服务器配置）：六、总结在Nacos（动态服务发现与配置管理平台）中，AP（Availability&Partitiontolerance，可用性与分区容错性）和CP（Consistency
未来的JAVA高级开发工程师·2025-05-17 12:11

拥有10年虚幻引擎经验的开发者 可利用 UE5 实现的 高阶应用场景

一、AAA级游戏开发（技术总监/主程方向）1.开放世界引擎架构动态天气系统：基于Lumen与NiagaraVFX实现全域天气交互（如雷暴改变地形湿度）超大规模流送：使用WorldPartition管理100km²
知1而N·2025-05-17 07:00

android usb mass storage EMMC转化为SD卡(二)

(这个文件属于emmc驱动,源码里没有,不同厂商实现也可能不一样.凑合看吧)#includestructpartitionpartitions[]={{"-",1024},/*0~1M*/{"load
cqupt_chen·2025-05-16 07:13

Spark2.0 插入/更新mysql数据(scala)

特别强调楼主使用spark2.3.2版本1.准备工作在pom.xml文件中要添加mysqlmysql-connector-java5.1.382.注意事项a.向mysql中插入或更新数据，循环时要使用foreachPartition
羲凡丞相·2025-05-16 01:32

Spark笔记四之RDD处理过程

2DAGscheduler细分RDD中partition的依赖关系确定那些是宽依赖那些是窄依赖，生成更详细的DAG图，将DAG图封装成TaskSet任务集合当触发计算时(执行action型算子)将其提交给集群
臭小优·2025-05-16 01:01

Spark小文件合并

2.解决方法方法一：通过spark的coalesce()方法和repartition()方法valrdd2=rdd1.coalesce(8,true)（tr
weixin_lss·2025-05-15 06:15

Kafka、RabbitMQ、RocketMQ的区别

以下是RabbitMQ、RocketMQ、Kafka的核心区别对比：一、架构设计差异‌Kafka‌基于分布式日志的发布-订阅模型，通过分区（Partition）实现水平扩展，依赖ZooKeeper管理集群消费者通过消费者组
MYBOYER·2025-05-15 02:22

RDD-自定义分区器

定义自定义分区器：继承org.apache.spark.Partitioner类。实现分区逻辑：重写numPartitions和getPartition方法。使用自定义分区器对RDD进行分区。
富能量爆棚·2025-05-14 23:30

分区器和序列化

继承Partitioner类。重写getPartition方法，它会返回一个整型的结果。结果相同的key对应的数据就会放在一个文件中。
七七-d·2025-05-14 19:58

键值对RDD数据自定义分区_大数据培训

自定义分区要实现自定义的分区器，你需要继承org.apache.spark.Partitioner类并实现下面三个方法。（1）numPartitions:Int:返回创建出来的分区数。
尚硅谷铁粉·2025-05-14 16:15

Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndex

Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndexRDD算子包括RDD转换算子和RDD行动算子，其实算子就相当于一种方法，在方法中封装想要实现所需结果的逻辑
牧码文·2025-05-14 16:45

详解 Spark 核心编程之 RDD 分区器

一、RDD分区器简介Spark分区器的父类是Partitioner抽象类分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数只有Key-Value
文刀小桂·2025-05-14 16:14

RDD：分区器

目录RDD分区器哈希分区器范围分区器自定义分区(Partitioner)RDD分区器分区器（Partitioner）在前面章节中或多或少有所提及。
花和尚也有春天·2025-05-14 16:14

spark: 简单的自定义RDD分区器

一、定义分区器packageexampleimportorg.apache.spark.PartitionerclassMyPartitionerextendsPartitioner{overridedefnumPartitions
amadeus_liu2·2025-05-14 16:39

RDD自定义分区器

{Partitioner,SparkConf,SparkContext}//分区器决定哪一个元素进入某一个分区！
Dengyahui04·2025-05-14 16:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他