大数据面经

从今年暑期实习开始直到秋招一共五次面试，转了四个部门，记录一下实习篇# IEG一面4.6自我介绍项目用的是什么计算方案，技术组件有用到云服务吗讲一讲你在项目中遇到的问题项目中计算内存不足调yarn内存，为什么不是spark内存能讲一讲spark的相关概念吗（讲了基本架构，说任务提交流程太紧张没说完）面试官提醒讲RDD的容错机制小表join大表怎么优化的多小可以叫做小表数仓当中数据采集是采用什么方法增量表是只做增量吗kafka的主题是如何设计的HDFS中的分区是怎么划分的你kafka的分区个数为什么比节点个数少java内存回收机制LInux查看java进程端口号占用情况，查看内存使用情况free -m看buffer的占用过大是否是异常的表现java连接数据库采用什么方式做题：排序题，使用快排反问：实习的具体工作是什么# TEG一面5.25自我介绍介绍项目，负责的工作内容数据同步的技术选型，解决方案maxwell的数据同步怎么保证与业务数据库中数据的一致如果binlog数据太多，导致同一份数据被修改多次而时间相同，数仓里面数据怎么保证和业务数据库里的一致讲一讲数据建模的含义内容，你的项目怎么做数据建模的刚才讲到用户表一般变化小，所以做成维度表。假如有一张用户表，每天数据变化很大，那它还是做成维度表吗对kafka了解多少kafka怎么保证数据可靠性leader副本和follower副本之间水位线怎么同步的生产者生产了数据，消费者没消费到，会是什么原因kafka的可靠性还通过什么保证rdd的定义为什么rdd是弹性的（rdd弹性体现在哪）数据倾斜是什么，有哪些解决方法操作系统中硬盘数据加载到内存的过程用户态和内核态区别操作系统中的调度算法有哪些讲一讲常见的排序算法以及复杂度反问说实话，TEG的面试体验很不错，一面结束后收到二面的通知，但当时已经接了阿里offer了，就拒绝了秋招在下一篇。。#大数据面经# #腾讯##数据人的面试交流地# #秋招#

🕒 岗位/笔试时间个人背景：安徽理工大学本科 CUGB硕士 无竞赛 无项目 无实习1.快手——（数仓方向）一面凉经八股：spark shffule spark内存模型 RDD五大特性 MR流程  数仓理论sql ：相互关注(没写出来) 分组TopN总结：基本上 按照简历和自我介绍问的 八股都没有深挖 2.百度健康部门——（数据中台）一面凉经八股：没有八股 不看简历  问的题目太杂了 都不难 偏向后端sql: 常规sql   不难   有点绕总结：自己基础知识 太差 3. 货拉拉——（数据平台）—一面凉经八股：全是后端基础八股 还有 spring八股 sql: 无总结  ：答得不好 后端八股 全忘了4.字节 懂车帝——数仓方向—自己取消了面试（抑郁了）5. 美团——数据平台开发（前端方向）——一面挂了总结：没问前端，按照简历问的。答的还可以，最后挂了。6.网易杭州——数仓方向—拿到offer一面：聊天 写sql(求员工的全勤人数) 二面： HR面 （聊的很不好，问的都是职场情景题）总结：不知道为啥发Offer了 ，口头offer 到正式 offer 四天时间7.脉脉——数仓方向—拿到offer一面：八股：按照简历问的 很基础 sql:连续三天登录 求好友数量（leetcode原题）二面：问了培训机构的项目   还有 hive八股  （常用的排序 order by sort by ...区别）sql :行列转换  分组topN后面 百度和快手的其它部门 又约面了 最后都拒了（评论区留言就行，都会回复的） #大数据开发# #大数据面经#

大家好，我是蓦然已经有一段时间没在牛客上分享了，今天带来最近整理的资料：《大数据面试题 V4.0》这一版的面试题跟原来几个版本的来源一样：牛客网的面试经验栏目之前这个栏目是根据岗位划分的，现在已经划分的更宽泛了，不过也不影响，想更清晰的看哪个岗位的面经，建议使用手机版《大数据面试题 V4.0》整体介绍Hadoop：165道题Zookeeper：37道题Hive：93道题Flume：25道题Kafka：82道题HBase：61道题Spark：104道题Flink：56道题数仓：40道题综合部分（框架等对比）：55道题数据库：45道题下面介绍下《大数据面试题 V4.0》与3.0的不同《大数据面试题...

一面面试体验整体很不错，面试官很温柔，也不会故意为难你。一面(2023.3.21)自我介绍简单介绍项目(研一在国电做的)你认为学习到的技术和实际使用的差距在哪项目中的数据都是哪里来的(集团中各种设备运行的数据)你说你用到了Spark那你介绍一下Spark的组件和整体架构(结合Dirver 和 Executor各自的作用)介绍一下Spark的RDD(分布式弹性数据集、基本的数据抽象、封装了计算逻辑、RDD代码层面包含的东西即RDD的属性、有了RDD的依赖就可以生成DAG图)介绍一下Flink(我讲了事件时间、迟到数据的处理啥的)介绍一下Flink状态(就把分类说一下，顺便讲了检查点机制)Flin...

“行行跨考计算机”，计算机的高薪毫无疑问地吸引了各专业的大佬纷纷来投，百花齐放的同时弊端也是很明显的：不好找工作，相信大家也深有体会。计算机常见的岗位无非就是算法、大数据开发、java开发、测开、前端等等，由于本人并不了解测开和前端，于是在此仅聊聊算法、大数据开发和java开发，先说大家所关心的薪资，网上有博主统计说算法>大数据>=java，此消息我只是结论的搬运工，不背锅。 首先是算法，优点很明显——高薪，缺点也很明显——要求高，很多算法岗基本上都要求有顶会顶刊的文章，退一步讲，有顶刊的大佬可能会被导师劝读博吧（虽然大家不一定听，毕竟工作这么卷，读博后留校真的很不错，我很羡...

Spark的任务执行流程Spark的任务执行流程如下：用户编写Spark应用程序，程序中包含RDD的创建、转换和动作等操作。Spark应用程序通过SparkContext连接到集群的主节点，SparkContext是与集群交互的入口点。当SparkContext连接到主节点后，它会向集群管理器（如YARN或Mesos）请求资源，并启动驱动程序进程。驱动程序进程会将应用程序转化为有向无环图（DAG），DAG中的节点表示RDD，边表示RDD之间的依赖关系。驱动程序将DAG提交给集群管理器，集群管理器将任务分发给集群中的工作节点。每个工作节点上的任务执行器会根据任务的依赖关系和数据位置从磁盘或其他节...

接口和抽象类的区别接口和抽象类是面向对象编程中常用的两种抽象概念，它们的区别如下：定义方式：接口是一种完全抽象的类，只定义了方法的签名，没有任何实现代码；而抽象类是一种部分抽象的类，既可以定义方法的签名，也可以包含部分已经实现的代码。继承方式：一个类可以实现多个接口，而且接口之间可以通过继承来扩展功能；而一个类只能继承一个抽象类。实现方式：实现接口的类必须实现接口中定义的所有方法，没有任何灵活性；而继承抽象类的子类可以选择性地实现或覆盖抽象类中的方法。构造方法：接口不能有构造方法，因为接口不能被实例化；而抽象类可以有构造方法，用于子类的实例化和初始化。成员变量：接口中只能定义常量，不能定义成员...

昨天的文章里总结了荣耀大数据面试总结！欢迎关注我！知乎大数据Flink 的 Checkpoint 是什么？Flink 的 Checkpoint 是一种机制，用于实现流式应用程序的容错和恢复。它是将应用程序的状态信息定期保存到持久化存储介质（如分布式文件系统）上的过程。Checkpoint 可以在应用程序运行过程中定期触发，或者在特定事件发生时手动触发。当触发 Checkpoint 时，Flink 会暂停应用程序的执行，并将应用程序的状态信息保存到可靠的存储位置。这包括保存所有的数据流源的当前状态、所有算子的状态以及所有的连接和缓冲区的状态。通过定期触发 Checkpoint，Flink 可以将...

50min1.自我介绍2.讲一下hadoop的工作流程3.求输入数据的聚合和，将一下mapReduce的流程4.讲一下数仓的分层，都是干嘛的5.加/减一层可不可以，为什么6.DWD存是什么7.举个例子说明，比如让你统计班级学生每科的成绩，那你在DWD中怎么存8.问一下项目，你在项目中有没有遇到过维表数据是离线的，事实表数据是实时的情况其他反而问了很多学校社团策划活动的事，（不问技术了是不是意味着我没了）反问：1.觉得我这次面试有什么不足。（结果面试官反问我你觉得呢T-T）2.为什么会面试我3.只会实时的话竞争力会不会比别人弱总结：第一次面试，不知不觉就五十分钟了，时间过得真快，面试之前超级紧张...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案五：将reduce join转为map join方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G），比较适用此方案。方案实现思路：不使用join算子进行连接操作，而使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你是否有这样的问题？大部分人，包括我自己在工作第一次跳槽时，也会有类似的疑问：岗位这么多，我应该挑选什么样的岗位来投递呢？当前方向不感兴趣，想做另一个大数据方向怎么投递?感觉这家公司的岗位描述和我不太契合，但我很想去，怎么办？怎么感觉每家公司的岗位描述都写的要求这么高？好的岗位 = 人（自我定位） x 岗（岗位拆解）一个好的岗位，是人岗匹配的结果，“人”表示的是清晰的自我定位，包括对个人兴趣...

​我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！某个task莫名其妙内存溢出的情况这种情况下去定位出问题的代码就比较容易了。我们建议直接看yarn-client模式下本地log的异常栈，或者是通过YARN查看yarn-cluster模式下的log中的异常栈。一般来说，通过异常栈信息就可以定位到你的代码中哪一行发生了内存溢出。然后在那行代码附近找找，一般也会有shuffle类算子，此时很可能就是这个算子导致了数据倾斜。但是大家要注意的是，...

1. Flink 的核心组件：JobManager 和 TaskManager在 Apache Flink 中，JobManager 和 TaskManager 是分布式执行的核心组件，负责协调和执行应用程序。1.1 JobManagerJobManager 是 Flink 集群的大脑，它主要负责三个方面的工作：•作业调度： 接收用户提交的作业，并将这些作业拆分成不同的任务。•资源管理： 与 Flink 的资源管理器（如 YARN 或 Mesos）协作，为作业分配必要的资源。•容错与状态管理： 控制作业的执行，包括容错机制。负责设置检查点（checkpoints）来保存作业的状态，以便在失败时...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案八：参数调优shuffle相关参数调优以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。Spark 参数优化详解以下列举了Spark参数调优的一些关键参数及其优化建议：1. spark.shuffle.file.buffer (默认值：32k)该参数用于设置 shuffle write task 的 Buf...

原则一：避免创建重复的RDD通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的算子操作（比如map、reduce等）串起来，这个“RDD串”，就是RDD lineage，也就是“RDD的血缘关系链”。我们在开发过程中要注意：对于同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据。一个简单的例子：错误的做法： val rdd1 = sc.textFile("hdf...

CMS 垃圾收集器是什么？CMS（Concurrent Mark-Sweep，即并发标记清扫）是一种用于Java的垃圾收集技术，主要处理堆内存中老年代的垃圾回收。CMS垃圾收集器的主要特性1.并发性：CMS收集器的目标是避免冻结所有的应用线程，也就是"Stop-The-World"的操作。为了实现这一目标，CMS在标记和清除阶段的大部分时间与应用线程并发运行。2.四阶段工作过程：CMS收集器的工作流程包括以下四个阶段：•初始标记（Initial Mark)：这个阶段需要暂停所有的应用线程，以标记所有从GC Roots开始即能直接关联到的对象。•并发标记（Concurrent...

调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如...