大数据面试

斗鱼大数据面试题及参考答案

大模型大数据攻城狮·2025-07-19 11:09

大数据面试题之Hive(1)

说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?说下Hive是什么?跟数据仓库区别?Hive架构Hive内部表和外部表的区别?为什么内部表的删除，就会将数据全部删除，而外部表只删除表结构?为什么用外部表更好?Hive建表语句?创建表时使用什么分隔符?Hive删除语句外部表删除的是什么?Hive数据倾斜以及解决方案Hive如果不用参数调优，在map和reduce端应该做什么Hive

小的~~·2025-07-03 19:31

大数据面试必备：Kafka性能优化 Producer与Consumer配置指南

Kafka面试题-在Kafka中，如何通过配置优化Producer和Consumer的性能?回答重点在Kafka中，通过优化Producer和Consumer的配置，可以显著提高性能。以下是一些关键配置项和策略：1、Producer端优化:batch.size：批处理大小。增大batch.size可以使Producer每次发送更多的消息，但要注意不能无限制增大，否则会导致内存占用过多。linger

·2025-06-28 13:10

58同城大数据面试题及参考答案

ROW_NUMBER、RANK、DENSE_RANK函数的区别是什么？这三个函数均为窗口函数，用于为结果集分区中的行生成序号，但核心逻辑存在显著差异，具体表现如下：数据分布与排序规则假设存在分区内分数数据为[90,85,85,80]，按分数降序排序：ROW_NUMBER：为分区内每行分配唯一序号，即使值相同也不重复。上述数据的序号为1,2,3,4。RANK：相同值分配相同序号，后续序号跳过重复值的

大模型大数据攻城狮·2025-05-29 14:56

希音(Shein)大数据面试题及参考答案

用SQL实现怎么找A表有B表没有的数据可以通过使用LEFTJOIN或NOTEXISTS来实现。下面是使用NOTEXISTS的写法：--查询购买商品A但没有购买商品B的用户SELECTuser_idFROMpurchasep1WHEREp1.product_id='A'ANDNOTEXISTS(SELECT1FROMpurchasep2WHEREp2.user_id=p1.user_idANDp2.

大模型大数据攻城狮·2025-05-26 07:10

《Spark/Flink/Doris离线&实时数仓开发》目录

本专栏专为大数据工程师、数据分析师及准备大数据面试的求职者量身打造，聚焦Spark、Flink、Doris等核心技术，覆盖离线与实时数仓开发的全流程。

大模型大数据攻城狮·2025-05-25 12:32

大数据面试必备：Kafka消息过滤原理与常见策略详解

Kafka面试题-Kafka消息过滤：原理与常见策略详解回答重点在Kafka中，消息过滤通常通过以下几种策略实现：生产者端过滤：在发送消息之前，生产者根据预定义的条件过滤消息。消费者端过滤：消费者在消费消息时，基于某种逻辑判断是否处理这条消息。KafkaStreams和KSQL：利用Kafka提供的流处理框架KafkaStreams或KSQL，实现在数据流转时对消息进行过滤。一、Kafka消息过滤

二进制11·2025-05-11 12:29

大数据面试必备：Kafka事务机制实现原理与消息一致性保障

Kafka面试题-Kafka的事务机制是如何实现的？它如何保证消息的一致性？回答重点Kafka的事务机制是通过一系列的协议和组件来实现的，包括事务管理器(TransactionCoordinator)、生产者(Producer)和消费者(Consumer)。核心在于事务日志(TransactionLog)和两阶段提交协议。事务机制的目标是确保一组消息的原子性，即要么全部成功，要么全部失败。事务管理

二进制11·2025-05-06 05:21

大数据面试必备：Kafka消费者订阅Topic机制及消费模式详解

Kafka面试题-Kafka中的Consumer是如何订阅Topic的?它的消费模式有哪些？回答重点Kafka中的Consumer订阅Topic分为两种方式:自动订阅(AutoSubscription)和手动订阅(ManualSubscription)。自动订阅：消费者使用subscribe方法，传入一个Topic列表。如果Topic列表发生变化，消费者会自动调整。手动订阅：消费者使用assign

二进制11·2025-05-06 05:51

大数据面试问答-数据湖

1.概念数据湖（DataLake）：以原始格式（如Parquet、JSON等）存储海量原始数据的存储库，支持结构化、半结构化和非结构化数据（如文本、图像）。采用Schema-on-Read模式，数据在读取时才定义结构，适合机器学习、探索性分析等场景。2.与数仓对比维度数据仓库数据湖数据存储处理后的结构化数据原始数据（结构化/半结构化/非结构化）Schema处理Schema-on-Write（写入时

孟意昶·2025-05-03 20:14

大数据面试高阶问题：同一业务的多个部门有不同指标口径，如何统一

在现代企业管理中，数据驱动决策已经成为提升竞争力的核心手段。然而，当同一业务内的多个部门对关键指标的定义和计算方式存在分歧时，这种数据驱动往往会演变为混乱与低效。想象一个场景：市场部门报告的“用户增长率”基于新增注册用户数，而运营部门却以活跃用户数为基准；财务部门计算的“成本占比”包含了间接费用，产品部门却仅考虑直接成本。这样的差异看似微小，却足以在跨部门协作中引发沟通障碍，甚至导致战略决策的偏差

大模型大数据攻城狮·2025-04-24 11:30

《大数据最全面试题-Offer直通车》目录

全面大数据面试知识体系：本专栏汇集了多篇超过1万字的精华内容，总计超百万字的面试题总结。包括程序员入职新公司如何快速上手项目、大数据面试英文自我介绍参考、大数据运维应用场景面试题汇总及参考答案等。

大模型大数据攻城狮·2025-04-23 14:47

大数据面试题目_综合面试_hadoop面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007

大数据面试:1.说一下hadoop的集群部署模式有哪几种,完全分布式如何部署以及配置?2.hadoop的守护进程有哪些?2.之前的公司,为什么要离职?3.之前公司的待遇工资多少?

添柴程序猿·2025-04-18 03:00

大数据面试问答-HBase/ClickHouse

1.HBase1.1概念HBase是构建在HadoopHDFS之上的分布式NoSQL数据库，采用列式存储模型，支持海量数据的实时读写和随机访问。适用于高吞吐、低延迟的场景，如实时日志处理、在线交易等。RowKey（行键）定义：表中每行数据的唯一标识，类似于关系数据库的主键。特点：数据按RowKey的字典序全局排序。所有查询必须基于RowKey或范围扫描（Scan）。示例：user_123_orde

孟意昶·2025-04-18 03:00

大数据面试问答-批处理性能优化

1.数据存储角度1.1存储优化列式存储格式：使用Parquet/ORC代替CSV/JSON，减少I/O并提升压缩率。df.write.parquet("hdfs://path/output.parquet")列式存储减少I/O的核心机制：列裁剪（ColumnPruning）原理：查询时只读取需要的列，跳过无关列。示例：若执行SELECTAVG(Age)FROMusers，只需读取Age列的数据块，

孟意昶·2025-04-15 13:17

Flink+Iceberg搭建实时数据湖实战

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！

王知无(import_bigdata)·2025-04-12 18:30

大数据面试_sql语句优化

-------------------------------------sql语句优化-----------------------------------------------------------1、使用表别名2、sql语句尽量用大写4、oracle采用自下而上的顺序解析where子句，根据这个原理，那些可以滤掉最大数量记录的条件必须写在where子句的末尾select*fromempw

数据小塔·2025-04-10 10:20

大数据面试题整理——Hive

系列文章目录大数据面试题专栏点击进入文章目录系列文章目录Hive面试知识点全面解析一、函数相关（一）函数分类与特点（二）`concat`和`concat_ws`的区别二、SQL的书写和执行顺序（一）书写顺序

自节码·2025-04-06 22:50

大数据面试必备：Kafka的Topic是什么？它的作用是什么?

Kafka面试题-Kafka的Topic是什么？它的作用是什么？回答重点Kafka的Topic是Kafka消息系统中的一个逻辑概念，简单说来，它是用来区分和隔离不同类型消息的单位。每一个Topic都有一个名称，生产者将消息发送到某个特定的Topic上，而消费者从某个特定的Topic接收消息。其作用主要包括以下几点：消息分类：Kafka通过Topic来对消息进行分类管理，生产者和消费者通过Topic

二进制11·2025-04-01 12:43

六月份阶段性大总结之Doris/Clickhouse/Hudi一网打尽

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！这是个阶段性小总结，后面会持续更新。

王知无(import_bigdata)·2025-03-15 15:11

数据分析大数据面试题大杂烩01

互联网:通过埋点实时计算用户浏览频次用优惠券等措施吸引用户,通过历史信息用非智能学习的title方式构造用户画像(抖音,京东)电信,银行统计营收和针对用户的个人画像:处理大量非实时数据政府:健康码,扫码之后确诊,找出与确诊对象有关联的人订单订单表(除商品以外所有信息),商品详情表,通过搜集用户title进行定制化推荐点击流数据通过埋点进行用户点击行为分析FLINK一般用来做实时SPARK一般用来做

爱学习的菜鸟罢了·2025-03-15 09:19

大数据面试之路 (三) mysql

技术选型通常也是被问道的问题，一方面考察候选人对技术掌握程度，另一方面考察对项目的理解，以及项目总结能力。介绍项目是从数据链路介绍，是一个很好来的方式，会让人觉得思路清晰，项目理解透彻。将SparkSQL加工后的数据存入MySQL通常基于以下几个关键原因：1.数据应用场景适配OLTP与OLAP分工：SparkSQL擅长处理大数据量的OLAP（分析型）任务，而MySQL作为OLTP（事务型）数据库，

愿与狸花过一生·2025-03-12 16:38

大数据面试之路 (二) hive小文件合并优化方法

大量小文件容易在文件存储端造成瓶颈，影响处理效率。对此，您可以通过合并Map和Reduce的结果文件来处理。一、合并小文件的常见场景写入时产生小文件：Reduce任务过多或数据量过小，导致每个任务输出一个小文件。动态分区插入：分区字段基数高，每个分区生成少量数据，形成大量小文件。频繁追加数据：通过INSERTINTO多次追加数据，导致文件碎片化。二、合并小文件的核心方法方法1：调整Reduce任务

愿与狸花过一生·2025-03-12 12:11

大数据面试之路 (一) 数据倾斜

记录大数据面试历程数据倾斜大数据岗位，数据倾斜面试必问的一个问题。一、数据倾斜的表现与原因表现某个或某几个Task执行时间过长，其他Task快速完成。

愿与狸花过一生·2025-03-11 17:34

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式：NameNode和DataNode安装于同一个节点，无法体现分布式处理的优势。3.完全分布式：一个主节点，多个从节点，存在如果主节点宕机，集群就无法使用的缺点。4.高可用模式：多个主节点，多个

潜心_守道·2025-03-07 07:17

大数据面试临阵磨枪不知看什么？看这份心理就有底了-大数据常用技术栈常见面试100道题

目录1描述Hadoop的架构和它的主要组件。2MapReduce的工作原理是什么？3什么是YARN，它在Hadoop中扮演什么角色？4Spark和HadoopMapReduce的区别是什么？5如何在Spark中实现数据的持久化？6SparkStreaming的工作原理是什么？7如何优化Spark作业的性能？8描述HBase的架构和它的主要组件。9HBase的读写流程是怎样的？10HBase如何处理

大模型大数据攻城狮·2025-03-04 21:59

360大数据面试题及参考答案

数据清理有哪些方法？数据清理是指发现并纠正数据文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等。常见的数据清理方法有以下几种：去重处理：数据中可能存在重复的记录，这不仅会占用存储空间，还可能影响分析结果。通过对比每条记录的关键属性，若所有关键属性值都相同，则判定为重复记录，可保留其中一条，删除其余重复项。例如在客户信息表中，若有两条记录客户姓名、联系方式、地址等关键信息都一样，就可进行

大模型大数据攻城狮·2025-01-28 12:42

大数据面试刷题

de的题目解析和讨论区也非常活跃，可以帮助求职者更好地理解题目和解题思路。牛客网（牛客网-找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网）：牛客网是国内内容超级丰富的IT题库，不仅提供了大量的面试题，还涵盖了笔试题库、面试经验分享、实习招聘内推等多个方面。对于大数据方向的求职者来说，牛客网是一个一站式的学习平台，可以帮助他们系统地提升面试竞争力。超级码客（www.chaoj

陈吉俊·2024-09-09 03:43

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

1、为什么要使用Hive？Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS、Amazon的S3和像HBase（Hadoop数据仓库）和Cassandra这样的数据库中的数据。大多数数据仓库应用程序都是使用关系数据库进行实现的，并使用SQL作为

蓦然_·2024-09-08 15:50

大数据面试-Scala

谈谈scala的闭包、柯里化、高阶函数如果一个函数，访问到了它的外部（局部）变量的值，那么这个函数和他所处的环境，称为闭包。闭包在函数式编程中是一个重要的概念，广泛用于高阶函数、柯里化等技术中。函数柯里化：把一个参数列表的多个参数，变成多个参数列表；函数柯里化，其实就是将复杂的参数逻辑变得简单化,函数柯里化一定存在闭包。高阶函数：1）函数可以作为值进行传递2）函数可以作为参数进行传递3）函数可以作

文文鑫·2024-08-25 12:35

大数据面试-Zookeeper

你对Zookeeper的选举机制了解吗？为什么zk节点个数推荐奇数台？zk第一次启动的选举的细节了解吗？‌ZooKeeper的选举机制‌是基于Paxos算法的一种分布式选举算法，用于在ZooKeeper集群中选择一个节点作为Leader，负责处理客户端的写请求和协调其他节点。选举过程涉及多个方面，包括选举算法的实现细节、奇数节点的重要性，以及初始化时的选举过程。‌选举算法的实现细节‌：在ZooKe

文文鑫·2024-08-25 12:04

【大数据面试题】014 Flink CDC 用过吗，请简要描述

一步一个脚印，一天一道面试题。FlinkCDC的诞生背景FlinkCDC的全称是ChangeDataCapture（变更数据捕获）每一项技术的诞生都是为了解决某个问题，某个痛点。而FlinkCDC的诞生就是为了解决在读取，监控MySQL这样的数据库时，不会因为读取数据库，对数据库本身造成压力，影响性能。同时，保证了数据源的准确，正确。FlinkCDC原理方式一：通过查询来获取更新的数据。如查询数据

Jiweilai1·2024-03-20 04:43

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策

Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解

Jiweilai1·2024-02-19 13:35

【大数据面试题】006介绍一下Parquet存储格式的优势

一步一个脚印，一天一道面试题列式存储同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势

Jiweilai1·2024-02-19 13:34

【大数据面试题】008 谈一谈 Flink Slot 与并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章

Jiweilai1·2024-02-19 13:01

【大数据面试题】Flink第一弹60连发

感谢胖子大佬提供的企业面试题。本文因为时间关系只有部分答案，后续的答案小编会持续补全，请持续关注本系列。年后升职加薪就靠它了。胖子大佬就在交流群里，需要加群的公众号回复【加群】。更多面试题可以参考：《Flink面试通关手册》1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Fli

王知无(import_bigdata)·2024-02-08 14:26

大数据面试题之 Flink

Flink基础架构组成？Flink程序在运行时主要有TaskManager，JobManager，Client三种角色。JobManager是集群的老大，负责接收FlinkJob，协调检查点，Failover故障恢复等，同时管理TaskManager。包含：Dispatcher、ResourceManager、JobMaster。TaskManager是执行计算的节点，每个TaskManager负

尚硅谷铁粉·2024-02-08 14:26

【大数据面试】Flink 04：状态编程与容错机制、Table API、SQL、Flink CEP

六、状态编程与容错机制1、状态介绍(1)分类流式计算分为无状态和有状态无状态流针对每个独立事件输出结果，有状态流需要维护一个状态，并基于多个事件输出结果(当前事件+当前状态值)(2)有状态计算举例窗口复杂事件处理：一分钟出现两次流与other的关联操作2、有状态的算子数据源source，数据存储sink都是有状态的状态与算子相关联，有两种类型的状态：算子状态和键控状态(1)算子状态(operato

哥们要飞·2024-02-08 14:25

【大数据面试题】004 Flink状态后端是什么

一步一个脚印，一天一道大数据面试题。在实时处理中，状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态，数值。那作为最热门的实时处理框架，Flink对状态管理是有一套的。

Jiweilai1·2024-02-08 14:25

【大数据面试题】005 谈一谈 Flink Watermark 水印

一步一个脚印，一天一道面试题。感觉我现在很难把水印描述的很好，但，完成比完美更重要。后续我再补充。各位如果有什么建议或补充也欢迎留言。在实时处理任务时，由于网络延迟，人工异常，各种问题，数据往往会出现乱序，不按照我们的预期到达处理框架。WaterMark水印，就是为了一定程度的解决数据，延迟乱序问题的。使用WaterMark一般有以下几个步骤：定义时间特性（Flink1.12已废弃，默认使用事件时

Jiweilai1·2024-02-08 07:54

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

一步一个脚印，一天一道大数据面试题。在流式大数据处理框架中，Exactly-Once语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。

Jiweilai1·2024-02-05 13:54

【大数据面试题】001 Flink 的 Checkpoint 原理

一步一个脚印，一天一道大数据面试题。Flink是大数据实时处理计算框架。实时框架对检查点，错误恢复的功能要比离线的更复杂，所以一起来了解Flink的Checkpoint机制吧。

Jiweilai1·2024-02-04 07:13

大数据面试题 ---阿善有用

大数据工程师面试题1.选择题1.1.下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案Cdatanode1.2.HDfS中的block默认保存几份？答案A默认3份1.3.下列哪个程序通常与NameNode在一个节点启动?a)SecondaryNameNodeb)DataNodec)T

okbin1991·2024-02-03 15:21

史上最全HBase面试题，高薪必备，架构必备

说在前面本文《尼恩大数据面试宝典》是《尼恩Java面试宝典》姊妹篇。

40岁资深老架构师尼恩·2024-01-31 09:09

史上最全Flink面试题，高薪必备，大数据面试宝典