大数据开发面经

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。经过无数场的面试，不断总结，终于摸清了面试官到底喜欢问哪些问题。今天把自己总结的一些内容分享给大家，欢迎大家补充讨论！！！ps：这里仅提供了部分大数据开发面试的相关内容1. MapReduce的原理map阶段：首先通过InputFormat把输入目录下的文件进行逻辑切片，默认大小等于block大小，并且每一个切片由一个maptask来处理，同时将切片中的数据解析成<key,value>的键值对，k表示偏移量，...

这是一篇总结了牛客网中10+篇字节大数据开发面经的文章，希望能够对大家有所帮助本篇后续将会持续更新~~~ 【不断更新答案】Hadoop篇1.介绍一下Hadoop hadoop是什么2.谷歌的三篇论文是否了解，三驾马车GFS，BigTable，MapReduce3.hdfs源码你知道的话，讲讲元数据怎么管理的？4.hdfs 你知道namenode的问题吗？怎么解决？应该就是联邦机制5.hdfs写数据流程6.namenode如果挂掉了怎么办 【HA配置】7.说一下mapredeuce 8.哪个阶段最费时间，环形缓冲区的调优以及什么时候需要调 shuffle：排序和溢写磁盘 ...

面试题来源：大数据面试题 V4.0可回答：1）spark和maprecude的对比；2）mapreduce与spark优劣好处问过的一些公司：阿里云(2022.10)，银联(2022.10)，携程(2022.09)，vivo(2022.09)，滴滴(2022.09)(2020.09)，网易云音乐(2022.09)，快手(2022.08)，字节(2022.08)x2(2022.05)(2020.09)(2020.06)(2019.11)x4，快手(2022.08)，星环科技(2022.07)，海康威视(2022.06)，字节日常实习(2022.03)，思科cisco(2021.11)，腾讯PCG...

问题描述：有一张tmp表，字段分别是 开始时间start_date，结束时间end_date，欠费金额amount 2015-03-02 2015-03-05 10 2015-03-04 2015-03-06 20 输出描述：用户每天需要还的金额 2015-03-02 10 2015-03-03 10 2015-03-04 30 2015-03-05 30 2015-03-06 20 分析：根据题目描述的输入输出，很容易知道思路哈，就是想要把从开始时间到结束时间的每一条数据都拆开存储，然后根据日期去聚合就可以得到每天的欠费金额了，所以难点就在于如何根据一个起始时间来进行拆分呢？一行转多行，...

面试官常问问题：你知道数据倾斜是什么吗？你知道如何判断任务是否发生数据倾斜吗？你知道如何定位数据倾斜吗？你知道如何优化数据倾斜吗？我相信你一定遇到过上述问题，可能一个甚至多个，不管面试官问你其中一个还是多个，你都可以按照我接下来的模板来进行回答。【文末有回答模板~】下面一篇文章教会你如何理解并且回答好这些问题1.数据倾斜是什么在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜2.如何判断任务是否发生数据倾斜利用SparkUI平台，查看每个stage的...

参考答案：MapReduce详细流程：1、准备待处理文件（200M）2、submit()对原始文件进行切片分析（128M一块，这里0-128M为第一块，128-200位第二块）3、提交信息客户端会准备三样东西（Job的切片：Job.split，jar包：wc.jar，xml：Job.xml），对这个集群进行提交。如果是本地模式，则没有jar包，正常生产模式下，都是用的YARN集群模式，所以jar包是一定有的。4、计算出MapTask数量客户端向YARN提交后，YARN会开启一个Mrappmaster（整个任务运行的老大），Mrappmaster会读取客户端对应的信息，最主要的就是读取切片信息（...

无心插柳柳成荫，随便投的厂子，没想到好像是最适合，聊的最好的一家。时间太久了，回忆的面经缺失内容会比较多。收到意向书的同学可以加意向群：640262555 备注意向岗位即可timeline：10.11 一面 一小时  部门内大哥10.14 笔试 一小时 10.21 二面 一小时 部门leader 10.26 三面 半小时 团队大boss11.7 hr面 半小时11.15 意向面试流程拖得很长是第一个坑。😅四轮面试时间都在大晚上能看出来挺卷。😅吐槽完，开始回忆面经。一面:一道SQL（分组汇总，排名，limit，窗口函数）一道easy 算法题（窗口为3，返回和最小的...

1.zookeeper简单介绍一下，为什么要用zk？Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目（文件系统+通知机制）zk的应用场景：统一命名服务：在分布式环境下，经常需要对服务进行统一命名，便于识别，例如ip地址统一配置管理：在一个集群中，要求所有节点的配置信息是一致的统一集群管理：在一个集群中，需要实时监控每个节点的状态变化负载均衡：在zookeeper中记录每台服务器的访问数，再次请求的时候，让访问最少的服务器去处理当前请求2.zk的数据存储，当重启后怎么重构zk的数据模型zk中的数据是保存在节点上的，节点就是znode，多个znode之间构成一棵树...

12.Spark 能产生shuffle的算子reduceByKey、sortByKeyrepartition、coalescejoin、cogroup13.Spark里的reduce by key和group by key两个算子在实现上的区别并且说一下性能groupByKey只能分组，不能聚合，而reduceByKey包含分组和聚合两个功能reduceByKey会在shuffle前对分区内相同key的数据进行预聚合（类似于MapReduce的combiner），减少落盘的数据量，而groupByKey只是shuffle，不会进行预聚合的操作，因此reduceByKey的会高一些14.Spar...

需求描述以下是微博好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（其中好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 输入： A: B,C,D B: A,C,D C: A,B,D D: A 输出： A-B C A-C B,D B-C A B-D A C-D A 思路第一步：求出具有共同好友的用户Map 第一行数据转换为：<B,A> <C,A> <D,A>第二行数据转换为：<A,B> <C,B> <D,B>第三行数据转换为：<A,C> <B,C> &l...

10.8 投递简历（大数据开发岗位 base西安 有成都岗？ 我怎么没看到）10.10-12 笔试11.05 一面有五六个面试官 问了问题的有两个介绍了下项目，问了些每个组件的基础知识，都是大数据的基本八股文sqoop分隔符 flume数据一致性 拦截器 数据倾斜 hbase rowkey三大原则 hive内外部表11.13 二面挖了下数仓项目，本科项目，问了些安全问题，为什么本科研究生都是安全方向会选大数据有个好像是HR的小姐姐问了下 offer情况啊 base地点（说有成都？） 期望薪资啥的11.22 面谈（两个人）hhh 笑死我了 HR第一句 同学们我确认一下你们的意向地点都...

一面（技术面）1小时自我介绍；介绍一下实习；Flink数据倾斜的原因？Flink如何保证数据不丢失？介绍一下数据流和数仓架构？解释一下被压？介绍一下CheckPoint机制？团队的工作和你的工作？什么是AB测试？现在的架构是什么？如何保证实验层之间的正交？产出的核心指标是什么？实验的显著性如何计算？实验的合规问题？合规改造问题的设计思路？二面（综合面）45分钟自我介绍介绍实习产出个人规划二面面试官比较随和，说话也比较慢，所以基本上就是随意聊天，我这应该是秋招的补录。总体面试不难，跟聊天一样，供大家参考。

1.Spark有哪几种部署模式本地模式：常用于本地开发程序与测试集群模式：standalone模式：只使用spark自身节点的运行模式yarn模式：yarn作为资源调度框架的运行模式mesos模式：Mesos与Yarn同样是一款资源调度管理系统，可以为Spark提供服务2.spark on yarn的工作流程首先spark的客户端将作业提交给yarn的RM，然后RM会分配container，并且选择合适的NM启动ApplicationMaster，然后AM启动Driver，紧接着向RM申请资源启动executor，Executor 进程启动后会向 Driver 反向注册，全部注册完成后 Dri...

1.Flink的组成jobmanager：相当于一个集群的Master，是整个集群的协调者，负责接收jobtaskmanager：实际负责的Workerclient：flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client2.Flink流批一体解释一下Flink 使用一个引擎就支持了DataSet API 和 DataStream API。其中DataSet API用来处理有界流，DataStream API既可以处理有界流又可以处理无界流，这样就实现了流批一体3.Flink和SparkStreaming区别第一，计算速度的不同，flink是真正的实时计算框架，而...

一位搞大数据的朋友总结的，公种号里干货超级多，秋招有需要的宝子自取哈～另外需要内推【海康威视/蚂蚁集团】的也可以**～原文链接接： https://mp.weixin.qq.com/s/SreEG3hP_31RiYdrG2mdug

线下群面：五分钟读题，然后每人简单自我介绍+说出对题目的答案，然后讨论20分钟，最后5分钟派一个人总结。题目：（2选1）1、如何构建数据中台？2、设计一个智能家居，应该有哪些功能？用什么技术实现这些功能？测评：性格测试+图形推理+资料分析二面：1、自我介绍2、详细介绍一下项目3、实习的数据框架和项目的数据框架有什么区别吗？4、数据采集还了解其他工具或架构吗？5、数据加工处理还了解其他工具或架构吗？6、数据对外提供服务还了解哪些工具？7、介绍一下实习中大数据开发的流程和规范8、编译原理、数据库原理有了解过吗9、做题，说思路就好：（不用借助其他平台，想思路就好）上百T数据，里面有手机号，有5台机器...