网易 云音乐 大数据研发

网易一面
spark源码提交了多少行
数据倾斜,怎么定位、怎么解决(这个问题挺重要的,阿里三轮技术面都被问了)
mapreduce过程
spark shuffle(三种),各种使用的场景,优势
spark排序实现流程,reduce端怎么实现的
hashpartitioner与rangePartitioner的实现,顺带讲了一下水塘抽样
spark有哪几种join,使用场景,以及实现原理
画一个yarn架构图,讲一下通信流程
hdfs数据读取流程,实现原理
就记得这些了

网易二面
先说了之前提交的spark源码
谈了一下项目
dagschedule、taskschedule、schedulebankend实现原理
spark join实现
宽依赖、窄依赖
用scala写了一个word count,然后一个sql场景题目
jvm模型,gc算法
其他的记不得了,和这个面试关主要在谈spark源码

hr面
谈谈学校、爱好、自我评价。。。最后问有多少hc。。。
#网易#
全部评论
老哥6啊,还是spark社区的commiter
点赞 回复 分享
发布于 2017-08-27 21:53
hc多吗
点赞 回复 分享
发布于 2017-08-27 21:55
数据倾斜这个我春招面阿里的时候就被问了哈哈 虽然我是java研发
点赞 回复 分享
发布于 2017-08-27 21:59
是杭州的吗?大佬
点赞 回复 分享
发布于 2017-08-27 22:16
这种级别的大牛,网易求之不得
点赞 回复 分享
发布于 2017-08-27 22:20
第一句话就给跪了
点赞 回复 分享
发布于 2017-08-27 22:31
膜拜一下大佬~
点赞 回复 分享
发布于 2017-08-27 22:41
膜拜Spark Commiter
点赞 回复 分享
发布于 2017-08-27 22:46
给大佬跪了
点赞 回复 分享
发布于 2017-08-27 23:20
大佬厉害、小弟膜拜了!
点赞 回复 分享
发布于 2017-08-28 00:02
大佬,spark shuffle只知道基于Hash的,和Sort的,请教第三种是哪个啊
点赞 回复 分享
发布于 2017-08-28 09:24
感谢分享!!!
点赞 回复 分享
发布于 2017-08-28 09:43
好强
点赞 回复 分享
发布于 2017-10-18 16:40
点赞 回复 分享
发布于 2017-10-18 17:10
给大佬跪了
点赞 回复 分享
发布于 2018-08-26 23:14
牛逼,向大佬学习
点赞 回复 分享
发布于 2019-07-02 17:06
22 年了,前来学习!
点赞 回复 分享
发布于 2022-08-04 14:12

相关推荐

15 101 评论
分享
牛客网
牛客企业服务