京东物流 大数据开发 面经

2024.12.24（一面）一面（30 mins）- 自我介绍- 实习拷打  - 字节-链路优化改造- 简单介绍维度建模- JAVA（❌）  - 多线程  - 异常处理- Linux（❌）  - 怎么给文件夹分配读写操作  - 查看文件内容  - 监听日志- Spark  - 宽窄依赖怎么划分  - 有几类算子，分别举例  - 数据倾斜的定位和常见处理方式- SQL：Top N的变种- 算法：二分查找二面（30 mins）- 自我介绍- 实习拷打

1.hadoop组成2.讲一下spark on yarn提交流程3.spark宽窄依赖怎么划分4.spark为什么会存在shuffle5.说一下spark on Yarn两种运行模式：Cluster,client模式6.怎么避免死锁7.一个生产线程，一个处理线程，在服务需要退出的时候，怎么确保所有事件处理完了8.CPU消耗很高怎么排查9.接到一个需求怎么做？10.HQL优化详细讲一下11.数据倾斜是怎么发现的

2024.12.23（一面）一面 （1h 5mins）- 实习拷打  - 快手-评论模版留存率（10 mins）    - 严格漏斗和非严格漏斗的区别  - 字节-链路改造优化    - 延伸：数据的时效性怎么保证（从整体和单点分别叙述）    - 延伸：优化任务的思路    - 延伸：并行度相关的改法（三种）    - repartition（）能改变第一个stage的shuffle write的并行度吗？    - 第一个stage的shuffle write的并行度由什么决定？  - 字节怎么分的数据域  - 字节分了哪些主题域  - 数据域和主题域的区别（主题域：自上向下，从分析的角度划分）  - 分层的意义（复用性和一致性）  - 怎么考虑分层，该分多少层（直接说了没必要在意这个，要理解分层的本质，面试官表明说的也有道理，也抛了另一个观点：肯定要分层，需要有不同粒度的数据，每个人在意数据都不同，比如说老板在意汇总层的数据，数分可能更在意明细层的数据，另外，在做归因分析的时候也需要血缘追踪）- SQL题二面 （26 mins）全程实习拷打- 自我介绍- 字节实习  - 多机房代码一致性怎么保证的（治理存量，增量通过oceanus）  - 多机房涉及到的网络问题（通过全球化数据迁移解决）- 快手实习  - 评论模版留存率    - 严格漏斗和非严格漏斗的区别（准确性和计算量之间的取舍）    - 为什么这样设计    - 最终的目的是什么    - 有没有想过通过抽样解决数据量大的问题- 反问

分享下谷的学习路线图转之前帖子看到的牛友评论：个人见解：两个都要学，只不过是深度问题。可以先学到ssm和springboot，再考虑往哪块发展，如果往后端就往分布式微服务这块研究，如果做大数据就从hadoop，spark这些看（大数据具体研究方向建议看阿里巴巴大数据之路确定）  大数据开发学习路线：https://www.nowcoder.com/discuss/943395java-MySQL-Linux-hadoop-zookeeper-flume-kafka-HBASE-scala-spark-flink-olap工具-数仓-数据治理-数据湖-数据中台