讲解你都学了哪些？巴拉巴拉写数仓，springboot 写个http接口微服务了解吗？--不了解面试官说：我的理解是  巴拉巴拉虽然我也不干这个spark和flink的区别：spark批，flink实时，spark stream 微批flink实时是一条一条的嘛？他会不会很慢？  --讲了是，但是他有window 巴拉巴拉不知道讲的对不对flume  +sqoop是干什么用的；--flume 数据日志采集等等  sqoop不知道你比较熟悉什么架构，--spark,flink讲一讲flink是怎么运行的--想了一下不知道， 面试官讲就其实spark，flink就是在客户端怎么样和集群怎么样计算怎么样   （架构还是得更加了解）flink env中都有什么？--集群配置，什么名字来着、并行度  讲的不全dophinshedule了解吗？他的底层实现了解吗？你这个项目是什么网上做的吗？开源的吗哪里学的？讲一讲java基础：微服务了解吗 ？你知道java有哪些集合吗？--set  --hashset有什么区别？还有吗？面试官讲其实hashset 就是底层是hashmap实现的  巴拉巴拉  set其实是java的一个基础类bala什么时候用hashset 什么时候用hashmap--hashset通常指针对于处理去重操作，hashma用于需要存储数据时，并且hashset对比list他的查找插入时间复杂度是o(1)hashset 存放一个已有数据的时候会怎么办？--我说不会放进去 ，面试官问只是不会放进去吗？代码：链表反转  本来想让我写集合相关的，看我集合不熟就改这个了。--注意面向对象的代码书写细节反问：你们做什么业务？--主要就是flume-sqoop一些数据日志采集  一些简单的etl   包括dophinshedule一些流式管理；还有一些仓库维护；对我有什么建议吗？--实习面试侧重于一些基础一些的面试，不会问太多项目，校招侧重于具体的框架，最好能够重点了解某一个框架能够阅读源码，对于基础的语言需要重点了解不一定非得是java，但是肯定需要了解，技术栈不一定要宽，要深。没问hive kafka这个我也不会总结：要注重基础语言知识和深挖某一框架，加强基础语言代码了解

在Spark分布式计算的世界里，数据倾斜是个让人头疼的老大难问题。简单来说，它指的是在并行处理任务时，数据分布不均衡，导致某些任务背负了过重的工作量，而其他任务却轻松得像在度假。这种失衡不仅拖慢了整体计算速度，还可能引发内存溢出甚至任务失败，严重影响Spark应用的性能和稳定性。一、数据倾斜是什么？它长啥样？在Spark的分布式环境中，数据倾斜（Data Skew）是个常见的“拦路虎”。它发生在数据分布不均时，某些分区或任务处理的数据量远超其他部分，导致负载失衡。想象一下，一个团队干活，大部分人几分钟就搞定任务，而一两个人却要加班到深夜——这就是数据倾斜的真实写照。典型表现数据倾斜的“症状”其...

#牛客AI配图神器#上来自我介绍，个人信息、在校所学专业、毕业时间、为什么学习大数据。询问出生年份。（没懂为什么专门问这个）介绍项目，离线数仓的五层是怎么设计的，DataX做首日的全量采集、Maxwell做后续每日的增量采集，Flume传输数据，Kafka起缓存作用，解耦各个组件。大数据竞赛拿了全国一等奖，那么这个竞赛中做的是什么业务？学校主修课是什么，大数据是否是自学？介绍一下简历中的离线数仓。说一下Maxwell的底层实现原理。讲一下Hive On Spark引擎的特点。介绍一下简历中的实时数仓。说一下checkpoint机制和精准一次。Docker的常用命令。Doris需要更新数据吗，怎么更新数据的，是用update吗？Doris在项目中的作用。Kafka的偏移量需要手动维护吗。项目的数据来自哪里，是真实的数据吗？数据量有多少，能达到什么级别，有一亿条数据吗？HBase在项目中是怎么使用的，为什么维表存到HBase中？为什么没有存到Redis中？FastJson了解吗，说一下。SpringBoot的拦截器和过滤器的区别。现在是否在校？反问工作压力大吗？公司有食堂吗？（我在想没食堂 可以买拼好饭吃😋）刚才回答的内容还算可以吗？（面试官：回答得没问题，学生能学到这个程度，已经可以了）写面经攒人品，希望能一把过#数仓面试##数据开发##数仓开发#

JD一面 3.3（40min）无自我介绍实习中数仓建模工作的介绍（大概讲了15min）HDFS中副本机制的优点YARN调度的流程如何查看HDFS中的磁盘占用量以及YARN中的资源使用情况MapReduce运行过程中某一个YARN节点挂掉有什么影响说一说对Spark的理解数据同步工具除了Maxwell还用过哪些MySQL有用过吗？联合索引（A,B,C），查询条件中（B,C）是否会生效Redis和MySQL的对比Java中异常处理的方式map和list有了解吗Linux中如何查看一个日志文件中是否存在某个订单号Linux如何查杀进程二面 3.4（40min）个人背景，简单聊聊天实习工作拷打，数仓建...