Partition

Hive使用必知必会系列

的几种数据模型内部表(Table将数据保存到Hive自己的数据仓库目录中：/usr/hive/warehouse)外部表(ExternalTable相对于内部表，数据不在自己的数据仓库中，只保存数据的元信息)分区表(PartitionTable
王知无(import_bigdata)·2025-07-29 14:11

Milvus 实战全流程

Milvus的核心概念（collection、field、index、partition、segment）Milvus和Faiss、Annoy、HNSW的区别2.安装与部署Docker快速部署Milvus
·2025-07-29 10:45

《剑指offer》-算法篇-排序

思路1：最简单的方案，对数组进行排序，取最小的k个思路2：借鉴快速排序的思想，找partition的基准点povit，比较povit和k值的大小思路3:大数据处理的思想，
小新学习屋·2025-07-29 04:29

kafka的消息存储机制和查询机制

1.基本组织单位：主题（Topic）与分区（Partition）主题（Topic）：消息的逻辑容器
不辉放弃·2025-07-28 14:40

组合问题（分割字符串）

string&s,intstartIndex){if(startIndex>=s.size()){result.push_back(path);return;}for(inti=startIndex;i>partition
limitless_peter·2025-07-28 13:01

Kafka消费者负载均衡策略

1.核心概念术语作用类比ConsumerGroup共享消费任务的消费者组外卖骑手团队PartitionTopic的物理分片配送区域划分Rebala
·2025-07-27 23:25

力扣-416.分割等和子集

题目链接416.分割等和子集classSolution{publicbooleancanPartition(int[]nums){intsum=0;for(inti=0;i=0;j--){if(j-nums
·2025-07-26 18:17

Hive的窗口函数

一、窗口函数的核心概念窗口函数的语法结构：function_name(arg1,arg2...)OVER([PARTITIONBYcol1,col2...]--分
VictorWuuu·2025-07-26 13:39

oracle 分区表 变大,Oracle11G新特性：分区表分区默认segment大小64k变为8M

Oracle11G新特性：分区表分区默认segment大小64k变为8M2017-02-08在oracle11.2创建分区表,每个分区默认大小为8M,是由_partition_large_extents
阳光下的少年·2025-07-26 12:05

日入一词_120 present [verb]

ThischapterpresentedabriefoverviewofSQLServerpartitioning,includinganintroductiontothekeyconceptsandtermsneededtogainageneralunderstandingofthepartitioningprocess.verb
cppUncleSix·2025-07-24 21:36

初等数论Ⅱ

可爱的质数T2[SDOI2011]计算器T3SPOJ3105ModStirling数第二类Stirling数第一类Stirling数Stirling数与幂例题T1CF932ETeamWorkT2CF961GPartitionsT3CF1278FCards
christ_lrs·2025-07-24 09:46

Postgres中窗口函数lag以lead

lag窗口函数通过条件把数据划分成子类，在子类中进行排序窗口函数的通用写法selectname,orderdate,cost,sum(cost)over(partitionbyextract(monthfromorderdate
午天·2025-07-23 18:07

Apache Ignite 的 SQL 功能和分布式查询机制

我们可以从几个关键点来理解：一、Ignite是一个分布式SQL数据库✅特点：符合ANSI-99SQL标准水平扩展（可扩展到多个节点）容错（fault-tolerant）支持两种数据分布方式：分区（Partitioned
·2025-07-23 12:32

Apache Ignite 长事务终止机制

这段内容讲的是ApacheIgnite中长事务终止机制（LongRunningTransactionsTermination），特别是关于分区映射交换（PartitionMapExchange）与事务超时设置
lang20150928·2025-07-23 12:29

Spark RDD 之 Partition

一份待处理的原始数据会被按照相应的逻辑(例如jdbc和hdfs的split逻辑)切分成n份，每份数据对应到RDD中的一个Partition，Partition的数量决定了task的数量，影响着程序的并行度支持保存点
博弈史密斯·2025-07-23 06:19

Milvus向量数据库集合操作初尝试

目录1.集合（Collection)2.字段（Field）3.索引（Index）4.分区（Partition）5.实体（Entity）6.代码示例6.1集合创建6.2向量插入6.3向量查询6.4向量删除
麦克阿建·2025-07-22 21:21

Saprk中RDD詳解

一.常用的transfromRDD算子通過並行化scala創建RDDvalrdd1=sc.parallelize(Array(1,2,3,4,5,6,7,8))查看該RDD的分區數量rdd1.partitions.lengthres23
文子轩·2025-07-21 10:52

pattern of distributed system 读书笔记- Patterns of Data Partitioning

1FixedPartitions1.1Problem1.1.1requirementsformappingdatatotheclusternodes.Thedistributionshouldbeuniform.Itshouldbepossibletoknowwhichclusternodestoresaparticulardataitemwithoutmakingarequesttoallthe
·2025-07-20 11:06

Paimon：Range Partition and Sort优化无主键表（Append-Only Table）查询

RangePartitionAndSortForUnawareBucketTableITCase测试文件本身就是最好的例子。比如测试中的这句SQL：INSERTINTOtest_t
lifallen·2025-07-19 13:30

低版本hive(1.2.1)UDF实现清除历史分区数据

实现对表历史数据清除入参：表名、保留天数N一、pom文件4.0.0com.examplehive-udf-example1.0-SNAPSHOTjarhive-udf-exampleHiveUDFfordeletingpartitionsbydateUTF
༺水墨石༻·2025-07-12 03:16

弄清Doris/StarRocks分区partition by和分桶distributed by的区别，以及如何选择对应的字段

一、首先，我们先弄清楚数据表中的数据是怎么分布的数据分布建表时，您需要通过设置分区和分桶，指定数据分布方式，并且建议您合理设置分区和分桶，实现数据均匀的分布。数据分布是指数据划分为子集，并按一定规则均衡地分布在不同节点上，能够有效裁剪数据扫描量，最大限度地利用集群的并发性能，从而提升查询性能。数据分布概览常见的数据分布方式现代分布式数据库中，常见的数据分布方式有如下四种：Round-Robin、R
·2025-07-11 00:19

MySQL窗口函数学习

基本语法窗口函数有over关键字，指定函数执行的范围，可分为三部分:分组子句(partitionby)，排序子句(orderby)，窗口子句(rows)over(partitionbyorderbyrowsbetweenand
小菜0-o·2025-07-10 18:41

kafka partition分配_走近kafka-Partition分配与消息可靠性

我们都知道数据是存放在partition物理目录下的文件里面。通过前面几节的介绍，我们也知道消息过来后直接跟partitionleader交互，然后由leader进行数据同步。
编辑部小李·2025-07-10 04:06

kafka单个生产者向具有多个partition的topic写数据（写入分区策略）

最近碰到生产环境现象一个flink程序单并行度（一个生产者），对应topic为8分区。每个分区都能消费到生产出的数据。整理知识点如下生产者写入消息到topic，kafka将依据不同的策略将数据分配到不同的分区中1.轮询分区策略2.随机分区策略3.按key分区分配策略4.自定义分区策略1.1轮询分区策略默认的策略，也是使用最多的策略，可以最大限度的保证所有消息平均分配到分区里面如果在生产消息时，ke
·2025-07-10 03:35

Kafka 数据倾斜原因、影响与权威解决方案

一、数据倾斜的概念在Kafka环境中，数据倾斜是指数据在主题（Topic）的各个分区（Partition）之间分布不均匀的状况。
·2025-07-10 03:34

Flume到Kafka且均分到多个partition

Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录说明情况解决方法说明情况Flume向kafka发布数据时，发现kafka接收到的数据总是在一个partition
小学僧来啦·2025-07-10 03:03

kafka如何让消息均匀的写入到每个partition

在Kafka中，要实现消息均匀写入每个partition，核心是通过合理的分区分配策略让消息在partition间均衡分布。
野老杂谈·2025-07-10 03:32

3-Kafka常用指令

常用指令大全一、Topic管理命令功能示例创建Topic指定分区和副本数kafka-topics.sh--create--bootstrap-serverlocalhost:9092--topictest--partitions3
sql2008help·2025-07-09 23:08

【Kafka】Kafka Producer 分区-05

【Kafka】KafkaProducer分区-051.分区的好处2.分区策略2.1默认的分区器DefaultPartitioner3.自定义分区器1.分区的好处（1）便于合理使用存储资源，每个Partition
boy快快长大·2025-07-09 23:06

各服务日志: Grok正则解析

各类日志样例服务类型日志格式Java应用：如Kafka/ES[2025-04-2911:21:12,395]INFO[Logpartition=ck-1,dir=/opt/kafka_2.13-2.8.1
根哥的博客·2025-07-09 14:37

Spark RDD 及性能调优

RDDProgrammingRDD核心架构与特性分区（Partitions）：数据被切分为多个分区；每个分区在集群节点上独立处理；分区是并行计算的基本单位。
Aurora_NeAr·2025-07-08 13:51

Kafka 消费者组再平衡优化实践指南

协调器根据partition.assignment.strategy（默认StickyAssignor）自动分配各消费者的分区列表。
·2025-07-08 06:28

快速排序算法

+实现：快速排序的C++实现代码：#include#includeusingnamespacestd;voidSwap(int&a,int&b){intnTemp=a;a=b;b=nTemp;}intPartition
追烽少年x·2025-07-07 22:58

分布式系统核心基石：CAP定理、BASE理论与一致性算法深度解析

CAP定理：分布式系统的设计边界1.1核心定义与经典三角CAP定理（Brewer'sTheorem）指出，在分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance
Eqwaak00·2025-07-07 19:10

MapReduce数据处理过程2万字保姆级教程

Job.submit的魔法5.Map任务的执行：从分片到键值对6.Shuffle阶段：MapReduce的幕后英雄7.Reduce任务的执行：从数据聚合到最终输出8.Combiner的魔法：提前聚合的性能利器9.Partition
大模型大数据攻城狮·2025-07-07 15:44

芯片设计的原型（Prototyping）流程，引脚分配（Pin Assignment）

在芯片设计的原型（Prototyping）流程中，引脚分配（PinAssignment）是指在完成早期全局路由（earlyGlobalRoute）后，对跨分区（Partition）信号的引脚进行精确定位
weixin_45371279·2025-07-07 03:49

基于多线程实现链表快排

链表的splice函数与std::partition函数详解一、链表的splice函数：高效的节点迁移操作splice是std::list和std::forward_list特有的成员函数，用于在链表之间高效迁移节点
醇醛酸醚酮酯·2025-07-05 12:58

mysql如何通过分区查询表数据

select*from表名partition(分区名)where条件注意:如果使用日期作为表分区的话,可能查询出现的结果是前一天的数据
天宇_任·2025-07-05 08:04

mysql窗口函数详解

语法结构：窗口函数()OVER([PARTITIONBY分区列][ORDERBY排序列][ROWS|RANGE选项])PARTITIONBY：对数据进行分区，类似GROU
半桶水专家·2025-07-04 18:02

MySQL的窗口函数介绍

row_number()2.2、分析函数1、lead()和lag()2、first_value()和last_value()3、nth_value()2.3、聚合函数作为窗口函数3、窗口定义详解3.1、partitionby
找不到、了·2025-07-04 17:32

分区表设计：历史数据归档与查询加速

双重优化机制‌：‌集群级‌：通过DISTRIBUTEBY分布数据到不同节点，实现负载均衡；‌节点级‌：通过PARTITIONBY在节点内细分数据，减
·2025-07-04 01:09

gpt分区 linux 4k对齐,磁盘对齐与4K对齐

什么是磁盘分区对齐(DiskAlignment、PartitionAlignment):Windows的磁盘有一种结构叫做MasterBootRecord(MBR),它的默认大小为63个Block(每个大小为
童广·2025-07-03 20:40

熟练掌握RabbitMQ和Kafka的使用及相关应用场景。异步通知与解耦，流量削峰，配合本地消息表实现事务的最终一致性并解决消息可靠、顺序消费和错误重试等问题

KafkaKafka生产端分区器：1.直接指定partition指定0,1。2.设置hashkey，计算key的hash值进行取模分区。
老三牛擦·2025-07-03 20:38

快速排序的详解

分治策略：将大问题分解为小问题解决关键操作：选择基准（Pivot）并进行分区（Partition）递归处理：对分区后的子数组递归排序前言1.快速排序概述快速排序（QuickSort）是由英国计算机科学家
·2025-07-02 16:08

Exception: This server is not the leader for that topic-partition.

异常：2016081718:58:48ERRORcom.xxx.lac.service.impl.ComparePriceServiceImpl-307kafka-producer-network-thread|lac_compare_price_service_producer_3-sendCompleteexecptionThisserverisnottheleaderforthattopic
uplinker·2025-07-01 18:58

华为云挂载磁盘及初始化数据盘（Linux）_华为服务器怎么挂载硬盘

Select(defaultp):pPartitionnumber(1-4,default1):接下来每步均使用默认值，直接按“Enter”。
36氪（36Kr）频道首页·2025-07-01 06:08

Partition Array to Minimize XOR

Leetcode3599.PartitionArraytoMinimizeXOR1.解题思路2.代码实现题目链接：3599.PartitionArraytoMinimizeXOR1.解题思路这一题就是一个动态规划的思路
Espresso Macchiato·2025-06-29 22:13

【力扣 中等 C】912. 排序数组

目录题目解法一：快速排序解法二：归并排序题目解法一：快速排序voidswap(int*a,int*b){inttmp=*a;*a=*b;*b=tmp;}voidpartition(int*nums,intleft
黑听人·2025-06-27 23:08

Milvus中 Collections 级多租户 和 分区级多租户 的区别

3，基于PartitionKey的多租户：这是一种可扩展性更强的方案，其中单个Collections使用分区Key来区分租户。它们看起来相
背太阳的牧羊人·2025-06-27 19:11

Spark 之 UT

AQEOFFpartitionpruninginbroadcasthashjoinswithaliases==OptimizedLogicalPlan==Project[date_id#5283,pid
zhixingheyi_tian·2025-06-26 07:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他