安克创新数据工程师面经

一面 50分钟自我介绍数仓的数据怎么采集的，采集平台包括哪些组件以及组件具体都做什么为什么flume要把数据放到kafka中数仓分层设计从ODS到DWD都做了哪些ETL零点漂移问题你怎么解决的按照你的解决方案，如果数据漂移的时间很长，你需要计算的时候会出现误差怎么办你的数仓都包含了哪些维度为什么没有订单维度（维度退化）Spark 了解多少spark web UI 都了解哪些如果数据倾斜你怎么定位stage是怎么划分的宽窄依赖怎么区分数据倾斜的解决方案平时写代码用什么语言Java 的 hashmap 底层是怎么存储的，如果多线程并发访问 HashMap 怎么办HashTable 和 ConcurrentHashMap 为什么 ConcurrentHashMap 性能高一些SQL：TopN 问题，如果允许排序相同怎么做二面 30分钟自我介绍介绍一下你怎么设计的业务总线矩阵数仓怎么分层的事实表的设计过程，都包含了哪些类型的事实表四道SQL：a 表中存在 b 表中不存在的 id row_number 排序行转列（1,2,3,4 变成 1；2；3；4）记不住题目了，就是一个简单的聚合加开窗聊了一下实习相关的内容以及后续流程hr 面hr约面试的时候说是hr面但是进面试间的面试官应该是一个主管，一直拷打项目，然后就寄了

1.自我介绍2.你的项目是***吗？）（是的）3.你项目中的职责是？4.你项目的数据是网上开源带的模拟数据吗？5.项目里都有哪些表？6.你口述一下七天内连续下单的思路7.介绍一下另一个项目8.数据迁移过程中数据丢失了的原因有没有想过？（我写了我迁移很多表）9.其他高级语言能力呢？ 答：用java比较多 （回头听录音才发现这个大问题，感觉寄了 因为一面的面试官跟我说过他们用python！）10.聊聊自定义函数11.聊聊spilt函数的应用（我举了个具体的需求来回答）12.spilt函数拓展怎么保证顺序？ （我说spilt没有顺序，搞顺序可以collect_list套一个sort_a...

背景24届应届生，毕业后打算放弃二战找工作，6月底在牛客上刷到了栗栗姐，然后具体了解了一下od，开始准备走od的招聘流程。一、机考（350分）机考的话栗栗姐会提供专项题和热点题，题库的话我是把100分题全刷了一遍，然后200分的刷了个大概。机考准备好了就联系栗栗姐申请机考。第1题：来自异国的客人第2题：开源项目热度榜单第3题：寻找最优的路测路线二、综测综测的话栗栗姐也会发相应的注意事项，总的来说前后一致，然后整体乐观向上就可以了。三、HR面电话面试，问一些个人情况（我是应届生，然后问了一些在校的情况和家庭情况）、自己对于这份工作来说有什么优势、个人的优缺点。基本上没什么大问题都能过。四、技术一...

自我介绍谈谈数仓分层，为什么要分层，分哪些层为什么不直接从ODS层取数怎么划分事实表和维表groupByKey和reduceByKey的区别拷打上段实习，在网易主要做什么工作，遇到最难的业务场景和技术难点是什么写过UDF函数吗 --没写过会哪些语言（回答python）python中的浅拷贝和深拷贝区别 生成器了解吗问目前在哪个城市，后续base会在北京 杭州 上海三选一反问 主要做什么业务 模型的风险评估滴滴的面试还是比较简单的，晚上一面完之后就说会安排二面，结果第三天HR打电话直接OC，看来是很缺人