美团大数据开发实习

1.自我介绍2.为啥字节离职3.简单讲讲字节的链路4.BMQ和Kafka的区别5.spark的submit过程6.数据倾斜如何解决7对于数据平台和数据仓库的理解#滴滴##字节跳动##阿里巴巴#

- 全程项目拷打，基本上没有八股- 腾讯会议，开视频## 面评- 知识面太窄了- 工作职责太少了- 流程不熟悉- 基础知识：组件原理、优化方式## 项目- 整个项目的流程是怎么样的- 讲一下整个项目的技术栈  - 数据同步用的啥  - Hive on Spark吗  - 数据可视化用的啥- 日志数据有什么- 某个业务这个行为是作为一个什么数据参与到项目中的  - 日志吗- 业务数据量有多大- 日活月活- 该ads表有什么数据项，dws表-dwd表-dim表的数据项- 讲一讲我负责的指标  - 指标业务逻辑  - 指标在业务背景是什么样的（合理性）  - 指标场景质疑- 有哪些数据域、主题域- 有没有用过云数据库- DolphinScheduler的处理过程  - 我们做ads指标是自己去写的脚本吗  - 怎么写的---都没有问sql实现逻辑## 八股- 数据倾斜给我出了一个场景：groupby的时候出现倾斜  - 我提了join倾斜情况- map join怎么处理小表太占内存，把内存挤爆的问题

1.  简单介绍一下项目2.  在中间层建设中遇到过什么问题3.  数仓中状态的更新是比较及时的,如何记录这些状态,最核心是关心最终的状态还是流转的状态4.  拉链表是什么,怎么实现的,执行过程中怎么解决效率的问题5.  用的什么计算引擎,sql在spark上怎么执行的6.  spark的提交流程7.  uv和pv的含义,计算uv在spark上的运行原理8.  MapReduce的原理,快排的目的是什么,有序的目的是什么,知道每个过程才能知道如何去调优9.  sql转ast是怎么转的10. ast做逻辑执行计划优化做了哪些11. 逻辑执行计划和物理执行计划大概有什么区别12. 写sql过程中有没有遇到过执行时间特别长的,引出数据倾斜相关内容(问的很细,基本所有的都问了)13. 不同数据类型join为什么导致数据倾斜14. mapjoin和正常join的区别,mapjoin原理是什么,怎么实现的15. 加随机数打散,两阶段聚合怎么做的16. new一个线程怎么做,thread和runnable的区别是什么17. java集合类用过哪些(说没怎么用过java,就没再问了)18. sql在不同执行引擎下有什么区别,答有些语法不通用,为什么不通用,如何造成这种问题的19. sql中所有关键字的执行顺序20. a join b where条件写在join里面和join外面 有什么区别21. 4道sql22. 一道mid算法做的是计算引擎调优，一直在问spark底层，顶不住顶不住。当晚挂...

- 飞书面试间，在飞书上撕代码- 问了很多计算机基础八股，痛击薄弱点## 八股- 讲一讲线程池- Java实现线程的几种方法，有什么区别- 线程池的具体参数- 进程和线程的区别- java中如何控制进程内存- 讲一讲数据库的事务是什么- 讲一讲数据库中的锁有哪些- 讲一讲对索引的理解- 如何存储索引的- B树和B+树存储索引的区别- 相同数据量下，B树和B+树哪一个查询更快- http和https- 讲一讲TCP- 讲一讲Hive里有哪些数据格式，有什么区别- HDFS读写流程- 有用过Spark中的什么算子- 解释转换算子和行动算子的区别- Spark中的Stage如何划分的- groupBy 和 reduceBy 的区别- 讲一下数据仓库是什么## 项目- 我们的项目数据量多大- 团队组成- 我们的指标是如何变成报表的- 有遇到什么问题吗：讲的groupby的数据倾斜  - 如何解决数据倾斜的：局部聚合+全局聚合  - 怎么具体实现的：加随机前缀，这个前缀是什么，用什么加的，之后怎么消除的## 算法- DP：[322. 零钱兑换]*******************************************