Shopee 大数据开发 二面

1.介绍一下一到两段实习经历，自己做了什么，遇到了什么问题，对自己比较有挑战的点。2.项目深入拷打3.假设两个表主key是非数值数据，而且是万亿join万亿，这个怎么处理？4.大表join小表？5.要是mapjoin时，key值是json怎么解决6.Hive表里的分桶，分桶有哪几种形式，分桶与分区的区别？什么时候要去做分桶？7.spark调优思路8.了解的大数据前沿？一道dp+一道hard

肯定gg了先拷打项目，感觉很多都回答的很一般接着八股：Mysql：隔离级别解决哪些问题，怎么解决的，举些具体的例子，很详细，会发散的去问（结合锁）Mysql：三大日志，也是问的很细，尤其是redo log和bin log，两阶段提交完全忘了（真的不应该，哎）计网：介绍https建立过程、如何验证server身份、什么参数…（还是背的太不够了，被狠狠追问细节）MQ：选型对比算法题是easy 二叉树后序遍历总结一下就是：忘记录音。其实都是看过的八股，奈何本人记性实在不佳，说的5566的后果就是被问到说不出话，感觉面试官也有点无奈，再接再厉吧，查缺补漏

大概面了50分钟，面试官人很好，全程无压力。1. 自我介绍2. 讲一下你做过的项目3. 你刚才说的是数仓的分层概念，介绍下每一层都有什么表，存储什么指标，之类的（记不太清了，总之是深挖项目）4. mapreduce的工作原理5. mapreduce的缺点6. spark为什么比mr好7. 了解实时处理比如flink吗8. 讲讲你的研究生课题9. 数据倾斜以及怎么处理10. 写一道sql吧（口述，挺简单的，窗口函数）11. 了解数分的东西吗12. 了解ab test吗13. 了解概率论吗14. 除了高斯分布以外的数据分布，了解吗15. 了解什么机器学习算法16. 了解什么分析指标，说课题中的指标或者项目中的指标都可以#牛客AI配图神器#17. 学习过程中有什么印象深刻的课程18. 讲讲join操作（说了spark的join）19. 有搭建数仓的经历吗？是如何搭建的（从数据获取，到数据存储，到分层搭建，到数仓调度运维）20. 反问大概是这些内容。面试官问了些数分的东西，但是确实不懂了。找实习以来的第一次面试，感觉准备还是不充分，数仓的东西问的不难，但是说的有些语无伦次了，还得练。#淘天暑期实习##数据仓库##数据研发#

2024-06-08，投递简历：提前批-机械结构工程师2024-06-30，专业笔试：使用的牛客题库，20道选择题+2道简答题，考察范围包括机设、机原、材料、力学、工艺等2024-07-24，HR面试邀约2024-08-02，HR面试，腾讯会议，约20min。面试流程如下：    1. 自我介绍    2. 人事问答：    （1）你的研究方向？你们课题组的研究方向有哪些？    （2）分工？    （3）项目简述：项目背景？解决什么问题？你做了哪些工作？结构怎样设计的？工作过程中有探索性学习？动手实践吗？项目进展？    （4）实验室有多少人？    （5）博士有吗？    （6）做项目会有...