名通科技大数据开发岗（java） 面经

-- 我的论文相关、spark1、网格怎么划分的2、基于spark做的吗，使用了哪些算子？这个转换类的：map、flatmap、mapPartitions、filter、reduceByKeyaction： reduce、collect、count（eg分发到各个节点网格数目统计）3、spark有哪些组件？组件之间怎么进行数据联通的？回答了，master、DAG生成、依赖关系、worker等等。答得不是很好4、yarn资源管理的工作机制（简历自己写的给忘了）5、yarn那些resouce manager、node manager 、application master、container角色？他们之间什么关系？每一个组件起的什么作用？6、spark有哪些shuffle？什么场景下用哪些shuffle？回答的hash shuffle和sort based shuffle。主要是中间文件太多。好像偏题了7、spark中出现数据倾斜，怎么解决？背的这个 https://blog.csdn.net/Aaron_ch/article/details/122224043两阶段聚合没说清楚。-- sql1、班级表、学生表；统计每个班级的平均分不需要考虑班级表left join学生表，只考虑学生表即可，班级表是一个迷惑条件。我中间意识到好像不用班级表，但是有一个班级名称重复的情况，面试官赞同了。面试官很好，还跟我讲了一下班级表是没用的。-- java基础1、线程安全保证的方式。答的四种关键字修饰 synchronized、volatile、atomic、final2、讲一下synchronized和volatile区别。没答上3、共享屏幕写一下synchronized单例模式。4、final、finally、finalize区别。只说了final修饰的变量必须初始化，后面不能被赋值；其他没打上来┭┮﹏┭┮，java基础忘背了。。。5、java线程池是什么，有哪些优势？没答上6、java8的lambda表达式是什么，说明一下优点、应用场景只回答了lambda匿名函数，方便...

10.15 笔试 题目都是牛客的，三个部分，第一部分是选择题，第二部分sql的修改，第三部分简单的python 10.19早上一面 自我介绍 拷打实习 数据从哪收集 python用了哪些函数？ 了解窗口函数吗？ 并列第一sql怎么做？ 行列转换 过拟合怎么办？ 数据开发都是怎么做的？ 登陆量以前都是百万级，某一天只有90%,怎么分析？通知我下午2面 10.19 终面 自我介绍 参与感最多的实习项目，缺失值怎么处理 过拟合怎么办？ 有考研的打算吗 性格测试是什么，你相信吗 成绩 团队里你想做什么 未来你想在团队里做什么攒攒人品！求求了，两个月了

26届Java选手，面了很多大厂后端实习基本都挂了，稀里糊涂接了大数据的实习，总体比较顺利，先去沉淀了9.27美团数开一面  30min介绍一个项目项目中的难点sql 求每月最大和最少的订单数量二分查找面完10分钟打电话约二面9.30美团数开二面  50min介绍两个项目MySQL 索引介绍一下HadoopHDFS有几个个副本，为什么深挖Shuffle原理sql 面试官自己出的 一个表找一下互相关注的人，只能输出一列算法：复原ip地址10.8oc #打杂的实习你会去吗？# #不给转正的实习，你还去吗# #美团# #大数据# #数据开发# #后端开发#

时间1h–(八股拷打)1. 自我介绍2. 选择一个项目进行介绍，介绍项目遇到的问题以及解决办法(超卖问题)3. 反问我如果你的redis宕机了怎么办，有考虑过使用redis集群部署吗4. 说一下final关键字吧5. 说一下接口和抽象类的区别6. 使用过HashMap吗？介绍一下7. HashMap jdk1.7和1.8有什么不同(答的底层实现不同)8. HashMap线程安全吗(答不安全)，又问对应的线程安全的集合是什么？(HashTable和ConcurrentHashMap)9. 这两者有什么区别？10. 其实ConcurrentHashMap底层jdk1.7和jdk1.8也不一样，你了...