Shopee 大数据开发 二面

-- 我的论文相关、spark1、网格怎么划分的2、基于spark做的吗，使用了哪些算子？这个转换类的：map、flatmap、mapPartitions、filter、reduceByKeyaction： reduce、collect、count（eg分发到各个节点网格数目统计）3、spark有哪些组件？组件之间怎么进行数据联通的？回答了，master、DAG生成、依赖关系、worker等等。答得不是很好4、yarn资源管理的工作机制（简历自己写的给忘了）5、yarn那些resouce manager、node manager 、application master、container角色？他们之间什么关系？每一个组件起的什么作用？6、spark有哪些shuffle？什么场景下用哪些shuffle？回答的hash shuffle和sort based shuffle。主要是中间文件太多。好像偏题了7、spark中出现数据倾斜，怎么解决？背的这个 https://blog.csdn.net/Aaron_ch/article/details/122224043两阶段聚合没说清楚。-- sql1、班级表、学生表；统计每个班级的平均分不需要考虑班级表left join学生表，只考虑学生表即可，班级表是一个迷惑条件。我中间意识到好像不用班级表，但是有一个班级名称重复的情况，面试官赞同了。面试官很好，还跟我讲了一下班级表是没用的。-- java基础1、线程安全保证的方式。答的四种关键字修饰 synchronized、volatile、atomic、final2、讲一下synchronized和volatile区别。没答上3、共享屏幕写一下synchronized单例模式。4、final、finally、finalize区别。只说了final修饰的变量必须初始化，后面不能被赋值；其他没打上来┭┮﹏┭┮，java基础忘背了。。。5、java线程池是什么，有哪些优势？没答上6、java8的lambda表达式是什么，说明一下优点、应用场景只回答了lambda匿名函数，方便...

10.15 笔试 题目都是牛客的，三个部分，第一部分是选择题，第二部分sql的修改，第三部分简单的python 10.19早上一面 自我介绍 拷打实习 数据从哪收集 python用了哪些函数？ 了解窗口函数吗？ 并列第一sql怎么做？ 行列转换 过拟合怎么办？ 数据开发都是怎么做的？ 登陆量以前都是百万级，某一天只有90%,怎么分析？通知我下午2面 10.19 终面 自我介绍 参与感最多的实习项目，缺失值怎么处理 过拟合怎么办？ 有考研的打算吗 性格测试是什么，你相信吗 成绩 团队里你想做什么 未来你想在团队里做什么攒攒人品！求求了，两个月了

timeline：9.30一面 - 10.12 二面 - 10.15oc一面：偏向于八股和技术相关，（手撕一个mid链表题，大致将123456转为162534）二面：    研究方向，    数据科学（概念、算法...），    为什么选数据开发（因为一志愿是软开）    手撕还是一个链表，删除重复数据btw，从8.23开始陆陆续续也八面团子了，也算有一个好结果

timeline 8.29 base上海 一面挂9.29 base 深圳 一面10.12 二面一面感觉良好，应答尽答，只进行了实习的项目介绍和基础的八股拷打，外加一道简单算法题，虽然和golang毫无关系，但也是挺正常的一个流程二面就比较反常，缺少了面试开头就写算法的经历，没注意用c++写了两道算法题半小时限制就花了十几分钟，之后体验基本就是噩梦，时间多就给我加了几个c++读代码题，一堆创建类的语句，问我执行了什么构造，析构函数，有一个用了复制（拷贝）构造函数，这面试官还问我说复制和拷贝构造是不是指同样的东西。。。（您不知道请不要从c++题库拿题出来问golang选手好吗）反问拷打了面试官，一...