大数据面试

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

【大数据面试】Flink面试题附答案

目录1、背压问题2、Flink是如何支持批流一体的3、Flink任务延迟高，想解决这个问题，你会如何入手4、Flink的监控页面，有了解吗，主要关注那些指标？5、你们之前Flink集群规模有多大？部署方式是什么？你了解哪些部署方式？6、Flink如何做压测和监控7、Flinkcheckpoint的相关查考？如何做checkpoint，如何监控，存储在哪里？等8、FlinkSavepoint的相关查
话数Science·2024-01-12 11:51

【大数据面试】常见数仓建模面试题附答案

常见面试题数据仓库面试题-理论相关什么是数据仓库？如何构建数据仓库？概念模型、逻辑模型、物理模型分别介绍一下？SCD常用的处理方式有哪些？模型设计的思路？业务驱动？数据驱动？数仓架构为什么要分层？事实表的类型？维度建模步骤？维度建模的三种模式？数仓架构进化？数据仓库如何保证数据质量？开发流程/你们是怎么测试的？维度建模过程？维度建模的三种模式？事实表都有哪几种？如何做数据治理？元数据的理解？如何分
话数Science·2024-01-12 07:28

【大数据面试知识点】分区器Partitioner：HashPartitioner、RangePartitioner

SparkHashParitioner的弊端是什么？HashPartitioner分区的原理很简单，对于给定的key，计算其hashCode，并除于分区的个数取余，如果余数小于0，则用余数+分区的个数，最后返回的值就是这个key所属的分区ID；弊端是数据不均匀，容易导致数据倾斜，极端情况下某几个分区会拥有rdd的所有数据。RangePartitioner分区的原理及特点？原理：RangeParti
话数Science·2024-01-03 18:02

某大厂外包-大数据面试-人事提问

正在睡觉的时候，突然一个电话过来，然后接听开始1.用过那些组件？2.数据流程是怎么样的？3.用过那些linux命令4.提到数据整个过程，遇到问题如何解决的？5.问到个人信息6.沟通能力如何，需要涉及客户之间的沟通？7.平常项目中遇到故障如何解决的？
劝学-大数据·2024-01-03 17:53

大数据面试总结

1、冒泡排序、选择排序冒泡排序：主要的思路就是从一个元素开始，与相邻的元素进行比较，如果比他大，就交换元素，使较大的元素元素排在后面，直到最后一个元素。publicclassBubbleSort{publicstaticvoidbubbleSort(int[]arr){intn=arr.length;for(inti=0;iarr[j+1]){inttemp=arr[j];arr[j]=arr[j
新手小农·2024-01-03 03:48

大数据面试总结 二

1、事实表主要分成几种：1、事务事实表：又称作原子事实表，主要是用来描述业务过程，跟踪控件或者时间上某点的度量事件，保存的是最原子的数据2、周期事实表：以一个周期作为一个时间间隔，用来记录事实，一个周期可以是每天、每周、每月、每年等。3、累计快照事实表：用来描述过程开始和过程结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点，当过程随着生命周期不断的变化时，记录也
新手小农·2024-01-03 03:18

【大数据面试知识点】Spark的DAGScheduler

Spark数据本地化是在哪个阶段计算首选位置的？先看一下DAGScheduler的注释，可以看到DAGScheduler除了Stage和Task的划分外，还做了缓存的跟踪和首选运行位置的计算。DAGScheduler注释：Thehigh-levelschedulinglayerthatimplementsstage-orientedscheduling.ItcomputesaDAGofstages
话数Science·2024-01-02 07:44

【大数据面试知识点】Spark中的累加器

Spark累加器累加器用来把Executor端变量信息聚合到Driver端，在driver程序中定义的变量，在Executor端的每个task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回driver端进行merge。累加器一般是放在行动算子中进行操作的。Spark累加器有哪些特点？1）累加器在全局唯一的，只增不减，记录全局集群的唯一状态2）在Executor中修改它，在Dr
话数Science·2024-01-02 07:44

大数据面试题-1

一、map-reduce原理map过程：1.1读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。1.2覆盖map()，接收1.1产生的，进行处理，转换为新的输出。1.3对1.2输出的进行分区。默认分为一个区。1.4对不同分区中的数据进行排序（按照k）、分组。分组指的是相同key的value放到一个集合中。排序后：分组后：1.5（可选）对分组后的数据进行归约。Reduce任务处
edwin1993·2023-12-27 19:29

【美团大数据面试】Java面试题附答案

目录1.多线程代码示例2.单例代码示例3.LinkedBlockingQueue原理解析4.模板设计模式讲解5.生产者-消费者队列设计方法6.堆内存和栈内存的区别7.ThreadLocal底层机制8.synchronized原理，存在的问题，解决方案9.volatile使用场景和原理，与synchronized的差异10.Java内存模型解析11.hashtable、hashmap性能提升方法12
话数Science·2023-12-25 11:23

【美团大数据面试】大数据面试题附答案

目录1.hdfs读写流程解析2.hdfs副本机制，三副本原因，副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法，大数据量无法完全写入内存解决方案，MapReduce实现方法7.spark部署、调度原理8.spark的stage划分方法9.reducejoin执行过程10.大数据量join优化方法11.hive优化手段12.hiveSQ
话数Science·2023-12-25 11:19

【大数据面试】Kafka面试题与答案

介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列，它可解决什么样的问题?说下Kafka架构说下Kafka的特点，优缺点Kafka相比于其它消息组件有什么好处?Kafka生产者与消费者Kafka分区容错性Kafka的消费端的数据一致性Kafka的leader挂掉之后处理方法说下Kafka的ISR机制Kafka的选举机制Kafka的ISR、OSR和ACK介绍，AC
话数Science·2023-12-21 11:34

【大数据面试】MySQL面试题与答案

数据库中的事务是什么，MySQL中是怎么实现的MySQL事务的特性?数据库事务的隔离级别?解决了什么问题?默认事务隔离级别?脏读，幻读，不可重复读的定义MySQL怎么实现可重复读?数据库第三范式和第四范式区别?MySQL的存储引擎?数据库有哪些锁?说下悲观锁、乐观锁分布式数据库是什么?死锁产生的条件是什么?如何预防死锁?介绍下数据库的ioin(内连接，外连接，全连接)，内连接和外连接(左，右连接)
话数Science·2023-12-21 11:33

【大数据面试】Flink面试题附答案

目录Flink架构Flink的窗口了解哪些，都有什么区别，有哪几种?如何定义?Flink窗口函数，时间语义相关的问题介绍下Flink的watermark(水位线)，watermark需要实现哪个实现类，在何处定义?有什么作用?Flink的窗口(实现)机制说下Flink的CEP说一说Flink的Checkpoint机制Flink的Checkpoint底层如何实现的?savepoint和checkpo
话数Science·2023-12-20 05:12

【大数据面试】YARN常见问题与答案

目录介绍下YARNYARN有几个模块YARN工作机制YARN有什么优势，能解决什么问题?YARN容错机制YARN高可用YARN调度器YARN中Container是如何启动的?YARN的改进之处，Hadoop3.x相对于Hadoop2.x?YARN监控介绍下YARNYARN有几个模块Yarn架构ResourceManager（RM）：■1、处理客户端的请求■2、监控NodeManager■3、启动或
话数Science·2023-12-19 05:32

【大数据面试】MapReduce常见问题与答案

目录介绍下MapReduceMapReduce优缺点MapReduce架构MapReduce工作原理MapReduce哪个阶段最费时间✅MapReduce中的Combine是干嘛的?有什么好出?✅MapReduce环形缓冲区是什么✅MapReduce为什么一定要有环型缓冲区MapReduce为什么一定要有Shuffle过程MapReduce的Shuffle过程及其优化Reduce怎么知道去哪里拉M
话数Science·2023-12-19 05:25

AliExpress基于Flink的广告实时数仓建设

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜大数据面试提升私教训练营上线Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。
王知无(import_bigdata)·2023-12-02 19:01

2018年面试大数据面试数据结构总结

目录数据结构的定义数据结构的分类逻辑结构分类物理结构分类相关概念时间复杂度hashhash冲突Java中的数组结构线性表ArrayListLinkedList链表Java中的实现Vector栈和队列栈在Java中的应用JDK1.7中HashMap的实现哈希表HashtableHashMap树平衡二叉树的创建及遍历红黑树JDK1.8中的HashMap在面试大数据工作的过程中。中大型公司，都会对数据结
kk_io·2023-11-30 13:38

Apache Iceberg核心原理分析文件存储及数据写入流程

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！
王知无(import_bigdata)·2023-11-27 19:25

大数据面试大厂真题【附答案详细解析】

1.Java基础篇（阿里、蚂蚁、字节、携程、快手、杭州银行等）问题：HashMap的底层实现原理答案：在jdk1.8之前，hashmap由数组-链表数据结构组成，在jdk1.8之后hashmap由数组-链表-红黑树数据结构组成；当我们创建hashmap对象的时候，jdk1.8以前会创建一个长度为16的Entry数组，jdk1.8以后就不是初始化对象的时候创建数组了，而是在第一次put元素的时候，创
三石大数据·2023-11-26 13:35

大数据面试经验分享：探索大规模数据处理的技巧与实践

在现代科技的浪潮下，大数据处理成为了许多企业和组织的重要任务。随着数据量的不断增长和复杂性的提高，对大数据处理的需求也越来越迫切。在面对大数据处理的挑战时，掌握一些关键技巧和实践经验是非常重要的。本文将分享一些在大数据处理中实用的技巧，并提供相应的源代码示例。分布式计算框架的选择在处理大规模数据时，选择适合的分布式计算框架是至关重要的。常见的大数据处理框架包括ApacheHadoop和Apache
星光璀璨下的梦幻舞台·2023-11-24 06:38

大数据面试必问点与模拟笔试题

一、面试技巧1、面试的本质面试就是一场秀。2、面试过程最关键的是什么1）不是你说了什么，而是你怎么说2）大大方方的聊，放松3、面试时该怎么说1）语言表达清楚（1）思维逻辑清晰，表达流畅（2）一二三层次表达2）所述内容不犯错（1）不说前东家或者自己的坏话（2）往自己擅长的方面说（3）实质，对考官来说，内容听过，就是自我肯定；没听过，那就是个
wespten·2023-11-22 09:19

大数据面试指导

#面试指导面试的基础指导如何boss直聘上筛选简历如果看到“硕士”、“985、211院校”,这些大概率是硬性条件。如果条件不符，可以不投。面试心态开始的2-3次，预期不会通过第3-5次，有面试的感觉，熟悉了企业的常规的面试流程和面试官的风格第4次后，学会了应变，有信心去面对各种应聘的困难最后一定能找到工作。只是时间早晚问题。年龄小是优势，不要过于担心，互联网行业拥抱年轻人我们的知识面足够广，主流的
大数据刚入门的小菜鸟·2023-11-19 14:53

Flink必知必会系列之回撤流(RetractStream)源码解读

全网最全大数据面试提升手册！2023年持续更新！1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

大数据面试题_实时计算部分

1.zookeeper在kafka中起到什么作用Controller选举Controller是一个特殊的Broker,其负责维护所有Partition的leader/follower关系。当有partition的leader挂掉之后，controller会重新从同步队列中选出一个leader。==Zookeeper负责从Broker中选举出一个作为Controller,并确保其唯一性。同时,当Co
执于代码·2023-11-01 02:01

大数据面试题2

1自我介绍2项目介绍3数据量+集群配置4遇到过哪些问题，反正数据倾斜5chlikhouse的计算引擎6接触过运维吗7flink版本8flink内存，托管内存干什么用的？9spark处理了哪些业务10flink类加载，两个类型了解吗11java垃圾回收机制12你感觉你的优势是什么13你工作的三年最有成就感的事应聘者二2022-11-26（1）介绍下你们项目的人员组成（2）你们集群规模（3）你们集群做
添柴少年yyds·2023-10-28 08:17

Apache Calcite 框架原理入门和生产应用

全网最全大数据面试提升手册！1.简介Calcite是什么？如果用一句话形容Calcite，Calcite是一个用于优化异构数据源的查询处理的基础框架。最近十几年来，出现了很多专门的数据处理引擎。
王知无(import_bigdata)·2023-10-27 16:47

大数据面试题汇总

结合自身面试经历，包括BAT、SF、中信等等公司所做的面试题汇总。主要包括以下几大类：一、spark相关1.Spark的Shuffle原理及调优？2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?4.hadoop和spark的相同点和不同点？5.RDD持久化原理？6.checkpoint检查点机制？7.checkpoint和持久化机制的区别？8.SparkStreaming
kuntoria·2023-10-25 20:28

Flink去重第二弹：SQL方式

《2021年最新版大数据面试题全面开启更新》本篇介绍如何使用sql方式完成去重。
王知无(import_bigdata)·2023-10-23 02:14

大数据面试

转自：https://blog.csdn.net/qq_44868502/article/details/103202702山岭巨人杨尚桑大数据面试分享给大家一篇很好的面试题ConcurrentHashMap
takeuheart·2023-10-21 12:40

「硬刚Doris系列」官方常见问题小汇总

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜轻戳有惊喜：全网最全大数据面试提升手册！
王知无(import_bigdata)·2023-10-14 04:50

大数据面试题Hbase篇

目录1.Hbase是什么？2.HBase的特点是什么？3.HBase和Hive的区别？4.描述HBase的rowKey的设计原则？5.请详细描述HBase中一个cell的结构？6.hbase中分布式存储的最小单元？7.简述HBase中compact用途是什么，什么时候触发，分为哪两种，有什么区别，有哪些相关配置参数？8.Region如何预建分区？9.HRegionServer宕机如何处理？10.H
后季暖·2023-10-13 23:23

大数据面试题：Spark和Flink的区别

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）SparkStreaming和Flink的区别问过的一些公司：杰创智能科技(2022.11)，阿里蚂蚁
蓦然_·2023-10-12 08:54

大数据面试题：Spark和MapReduce之间的区别？各自优缺点？

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）spark和maprecude的对比；2）mapreduce与spark优劣好处问过的一些公司：阿里云
蓦然_·2023-10-08 20:23

【大数据面试题】Spark-Core&；Spark-SQL

题解|#牛群排队#importjava.util.*;publicclassSolution{/***代码中的类名、方法名、参数名已经指定，请勿修改，题解|#计算一个数的阶乘##includeusingnamespacestd;intmain(){intn;cin&题解|#牛群喂食#importjava.util.*;publicclassSolution{/***代码中的类名、方法名、参数名已经
2301_78234743·2023-10-07 00:39

大数据面试题

第1章核心技术1.1Linux&Shell1.1.1Shell常用工具及写过的脚本1）awk、sed、cut、sort1.2Hadoop1.2.1Hadoop常用端口号hadoop2.xhadoop3.x访问HDFS端口500709870访问MR执行情况端口80888088历史服务器1988819888客户端访问集群端口900080201.2.2Hadoop配置文件配置文件：hadoop2.xco
_画一方禁地·2023-10-04 20:48

30个大数据常见面试题 让您的薪资提升一个等级

但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准备，了解自己要应聘的企业发展状况、自己应聘岗位的技术要求等等，除此之外，多看一些大数据面试题也是很有必要的，给自
JACKbayue·2023-10-02 04:31

2023年大数据面试题--转载

@[TOC]2023年大数据面试题–转载(HDFS)和MapReduceHadoop是一个开源的分布式计算框架，由两部分组成：HadoopDistributedFileSystem(HDFS)和MapReduce
李先生真号·2023-09-29 01:22

最全BAT 大数据面试题及答案

1kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic
疯狂的蚂蚁王·2023-09-27 03:20

大数据面试题：介绍下Kafka，Kafka的作用？Kafka的组件？适用场景？

Kafka是一种分布式、高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，主要应用于大数据实时处理领域。简单地说，Kafka就相比是一个邮箱，生产者是发送邮件的人，消费者是接收邮件的人，Kafka就是用来存东西的，只不过它提供了一些处理邮件的机制。1、作用1）发布和订阅消息流2）以容错的方式记录消息流，kafka以文件的方式来存储消息流3）可以在消息发布的时候进行处理
蓦然_·2023-09-25 16:45

大数据面试题：Flink延迟数据是怎么解决的

最近朋友面试某猪的时候，被问到一个问题答得面试官不太满意，问的是前司数据延迟问题是怎么解决的，我稍作整理。一、什么是延迟数据大数据处理过程中Join的场景太多太多了，几乎所有公司的APP都会涉及到两条流数据之间的维度拼接，将表变宽等场景，避免不了进行多流Join操作。同时join场景中受网络或物理设备等因素影响也有可能，以致出现不同的流式数据到达计算引擎的时间不一定，那这些数据称为延迟数据。即延迟
后季暖·2023-09-25 16:12

Flink intervalJoin 使用与原理分析

《2021年最新版大数据面试题全面开启更新》在上一篇的分析【FlinkDataStream中CoGroup实现原理与三种join实现】中基于DataStream的join只能实现在同一个窗口的两个数据流之间进行
王知无(import_bigdata)·2023-09-25 06:53

5W字讲解最新大数据面试题

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待复习大数据面试题，看这一套就够了！
无精疯·2023-09-24 20:59

大数据面试相关

2022年最强大数据面试宝典（全文50000字，建议收藏）_51CTO博客_数据分析面试宝典MapReduce优化----Shuffle过程剖析及性能优化-阿里云开发者社区YARN——任务提交启动流程-
丢雷劳谋·2023-09-21 18:43

2023年大数据面试通关文牒系列篇

大数据面试通关文牒系列篇第二篇：Hadoop生态链Round1:HIVEHIVE基础篇1、Hive内部表和外部表的区别未被external修饰的是内部表，被external修饰的为外部表。
AuZn666·2023-09-20 19:42

阿里大数据架构师告诉你这些大数据面试题！你不看？

随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。在这里相信有许多想要学习大数据的同学，大家可以
大数据学习02·2023-09-18 09:15

大数据面试知识点

大数据：1.离线数仓【ERP、电商、业务清楚、】1.业务熟悉2.技术架构3.数仓建设4.指标【5个】做过哪些指标如何做的2.spark工具：1.技术架构2.优点：3.实时指标yarn：1.背景2.好处3.具体实现3.回答技术点【简历上的】1.linux：1.pidport2.tail-f-F3.cat4.环境变量：个人全局5.常用的linux命令有哪些：ps-efnetstatfreetoptai
ODzongzi·2023-09-14 14:24

大数据面试总结《九》

上午去明略数据，面试官一直不到，有个临时的面试官先面了一次：1hdfsapi新特性2java7新特性3hive的默认分隔符4eclipse版本号之后正式面试官面试：1shell脚本sort，uniq-u，uniq-t，uniq-d，cat组合使用，解决从不同文件中找出相同数据的问题，还有解决只在一个文件中出现的数据的问题2java实现上述功能，在TB级别数据情况下，实现方案3java实现取出两个文
豆浆~油条·2023-09-09 15:14

大数据面试总结《八》

今天面了一家，上午两个小时技术面，下午两个小时hr面试问题如下：1jvm调优2redis工作原理LRU算法3hive原理，优化4线程同步5ha原理6mr数据倾斜解决办法7hive数据倾斜优化8远程通信技术9hdfs文件创建–工作流程10hbase部署11hdfs异步读12hdfsapi源码解答：文件创建工作流程13hive执行sql时的工作流程14webservice生命周期15对spring的理
豆浆~油条·2023-09-09 15:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他