Shopee 虾皮 大数据开发 一面

1.介绍一下一到两段实习经历，自己做了什么，遇到了什么问题，对自己比较有挑战的点。2.项目深入拷打3.假设两个表主key是非数值数据，而且是万亿join万亿，这个怎么处理？4.大表join小表？5.要是mapjoin时，key值是json怎么解决6.Hive表里的分桶，分桶有哪几种形式，分桶与分区的区别？什么时候要去做分桶？7.spark调优思路8.了解的大数据前沿？一道dp+一道hard

2024-06-08，投递简历：提前批-机械结构工程师2024-06-30，专业笔试：使用的牛客题库，20道选择题+2道简答题，考察范围包括机设、机原、材料、力学、工艺等2024-07-24，HR面试邀约2024-08-02，HR面试，腾讯会议，约20min。面试流程如下：    1. 自我介绍    2. 人事问答：    （1）你的研究方向？你们课题组的研究方向有哪些？    （2）分工？    （3）项目简述：项目背景？解决什么问题？你做了哪些工作？结构怎样设计的？工作过程中有探索性学习？动手实践吗？项目进展？    （4）实验室有多少人？    （5）博士有吗？    （6）做项目会有...

大概面了50分钟，面试官人很好，全程无压力。1. 自我介绍2. 讲一下你做过的项目3. 你刚才说的是数仓的分层概念，介绍下每一层都有什么表，存储什么指标，之类的（记不太清了，总之是深挖项目）4. mapreduce的工作原理5. mapreduce的缺点6. spark为什么比mr好7. 了解实时处理比如flink吗8. 讲讲你的研究生课题9. 数据倾斜以及怎么处理10. 写一道sql吧（口述，挺简单的，窗口函数）11. 了解数分的东西吗12. 了解ab test吗13. 了解概率论吗14. 除了高斯分布以外的数据分布，了解吗15. 了解什么机器学习算法16. 了解什么分析指标，说课题中的指标或者项目中的指标都可以#牛客AI配图神器#17. 学习过程中有什么印象深刻的课程18. 讲讲join操作（说了spark的join）19. 有搭建数仓的经历吗？是如何搭建的（从数据获取，到数据存储，到分层搭建，到数仓调度运维）20. 反问大概是这些内容。面试官问了些数分的东西，但是确实不懂了。找实习以来的第一次面试，感觉准备还是不充分，数仓的东西问的不难，但是说的有些语无伦次了，还得练。#淘天暑期实习##数据仓库##数据研发#

4.10 一面自我介绍介绍项目数仓分层具体每层作用hadoop hdfs yarn mr数据倾斜架构选型项目中遇到的问题 sql 每个品类消费最高的用户反问==================4.17 二面二面没啥八股，纯拷打项目，也没有手撕sql，30min完事，感觉不妙