#牛客AI配图神器#上来自我介绍，个人信息、在校所学专业、毕业时间、为什么学习大数据。询问出生年份。（没懂为什么专门问这个）介绍项目，离线数仓的五层是怎么设计的，DataX做首日的全量采集、Maxwell做后续每日的增量采集，Flume传输数据，Kafka起缓存作用，解耦各个组件。大数据竞赛拿了全国一等奖，那么这个竞赛中做的是什么业务？学校主修课是什么，大数据是否是自学？介绍一下简历中的离线数仓。说一下Maxwell的底层实现原理。讲一下Hive On Spark引擎的特点。介绍一下简历中的实时数仓。说一下checkpoint机制和精准一次。Docker的常用命令。Doris需要更新数据吗，怎么更新数据的，是用update吗？Doris在项目中的作用。Kafka的偏移量需要手动维护吗。项目的数据来自哪里，是真实的数据吗？数据量有多少，能达到什么级别，有一亿条数据吗？HBase在项目中是怎么使用的，为什么维表存到HBase中？为什么没有存到Redis中？FastJson了解吗，说一下。SpringBoot的拦截器和过滤器的区别。现在是否在校？反问工作压力大吗？公司有食堂吗？（我在想没食堂 可以买拼好饭吃😋）刚才回答的内容还算可以吗？（面试官：回答得没问题，学生能学到这个程度，已经可以了）写面经攒人品，希望能一把过#数仓面试##数据开发##数仓开发#

在Spark分布式计算的世界里，数据倾斜是个让人头疼的老大难问题。简单来说，它指的是在并行处理任务时，数据分布不均衡，导致某些任务背负了过重的工作量，而其他任务却轻松得像在度假。这种失衡不仅拖慢了整体计算速度，还可能引发内存溢出甚至任务失败，严重影响Spark应用的性能和稳定性。一、数据倾斜是什么？它长啥样？在Spark的分布式环境中，数据倾斜（Data Skew）是个常见的“拦路虎”。它发生在数据分布不均时，某些分区或任务处理的数据量远超其他部分，导致负载失衡。想象一下，一个团队干活，大部分人几分钟就搞定任务，而一两个人却要加班到深夜——这就是数据倾斜的真实写照。典型表现数据倾斜的“症状”其...

#软件开发笔面经# 之前参与了阿里的数仓开发面试，到了3轮技术终面，但没有后续的动静了，应该是排队失败了吧，面试主要聊了以下内容：1 大数据生态圈吧，主要是聊了一下spark.hive,flink这些简单聊了一下2 数仓模型，数据分层，数仓模型规范，数据质量监控，数据域和主题域等等吧3还聊了一下业务，我之前一直做财务数据，主要是聊一下财务数据准备性保证，数据延迟，数据交易异常处理等等吧阿里给我的面试感觉就是我们主要是诉说方，面试官很少打断你，也不会说你技术差，只是聊聊，可能社招对于技术关注不是很大，全程不做算法，不写SQL，只是聊天，终面估计是p9大佬来面的，也是聊天为主，主要是聊职业规划和为啥跳槽，基本上不聊技术了

JD一面 3.3（40min）无自我介绍实习中数仓建模工作的介绍（大概讲了15min）HDFS中副本机制的优点YARN调度的流程如何查看HDFS中的磁盘占用量以及YARN中的资源使用情况MapReduce运行过程中某一个YARN节点挂掉有什么影响说一说对Spark的理解数据同步工具除了Maxwell还用过哪些MySQL有用过吗？联合索引（A,B,C），查询条件中（B,C）是否会生效Redis和MySQL的对比Java中异常处理的方式map和list有了解吗Linux中如何查看一个日志文件中是否存在某个订单号Linux如何查杀进程二面 3.4（40min）个人背景，简单聊聊天实习工作拷打，数仓建...