快手 数据开发 面经

邻座同事今天好像不知道怎么了 在座位上生气地大喊了几声，话的意思为CTO搞不清事情给谁做，CTO在独立办公室感觉隔音应该不错哈哈哈#牛客创作赏金赛#

2024.12.24（一面）一面（30 mins）- 自我介绍- 实习拷打  - 字节-链路优化改造- 简单介绍维度建模- JAVA（❌）  - 多线程  - 异常处理- Linux（❌）  - 怎么给文件夹分配读写操作  - 查看文件内容  - 监听日志- Spark  - 宽窄依赖怎么划分  - 有几类算子，分别举例  - 数据倾斜的定位和常见处理方式- SQL：Top N的变种- 算法：二分查找二面（30 mins）- 自我介绍- 实习拷打

1.自我介绍2.你的项目是***吗？）（是的）3.你项目中的职责是？4.你项目的数据是网上开源带的模拟数据吗？5.项目里都有哪些表？6.你口述一下七天内连续下单的思路7.介绍一下另一个项目8.数据迁移过程中数据丢失了的原因有没有想过？（我写了我迁移很多表）9.其他高级语言能力呢？ 答：用java比较多 （回头听录音才发现这个大问题，感觉寄了 因为一面的面试官跟我说过他们用python！）10.聊聊自定义函数11.聊聊spilt函数的应用（我举了个具体的需求来回答）12.spilt函数拓展怎么保证顺序？ （我说spilt没有顺序，搞顺序可以collect_list套一个sort_a...

2024.12.23（一面）一面 （1h 5mins）- 实习拷打  - 快手-评论模版留存率（10 mins）    - 严格漏斗和非严格漏斗的区别  - 字节-链路改造优化    - 延伸：数据的时效性怎么保证（从整体和单点分别叙述）    - 延伸：优化任务的思路    - 延伸：并行度相关的改法（三种）    - repartition（）能改变第一个stage的shuffle write的并行度吗？    - 第一个stage的shuffle write的并行度由什么决定？  - 字节怎么分的数据域  - 字节分了哪些主题域  - 数据域和主题域的区别（主题域：自上向下，从分析的角度划分）  - 分层的意义（复用性和一致性）  - 怎么考虑分层，该分多少层（直接说了没必要在意这个，要理解分层的本质，面试官表明说的也有道理，也抛了另一个观点：肯定要分层，需要有不同粒度的数据，每个人在意数据都不同，比如说老板在意汇总层的数据，数分可能更在意明细层的数据，另外，在做归因分析的时候也需要血缘追踪）- SQL题二面 （26 mins）全程实习拷打- 自我介绍- 字节实习  - 多机房代码一致性怎么保证的（治理存量，增量通过oceanus）  - 多机房涉及到的网络问题（通过全球化数据迁移解决）- 快手实习  - 评论模版留存率    - 严格漏斗和非严格漏斗的区别（准确性和计算量之间的取舍）    - 为什么这样设计    - 最终的目的是什么    - 有没有想过通过抽样解决数据量大的问题- 反问