宁德时代 大数据开发面经
更新:第一天晚上做完英语测评,第二天早上挂了(虽然测评确实没认真做)
————————————————————————————————————
40min
面试体验感超好,德子好感+1
Spark sql了解吗?Dateframe 是啥(不会)
项目里数据怎么拉的?
Flume+kafka+flume+hdfs
有什么过滤器吗?:3个flume拦截器 判断文件类型+时间戳过滤器+落hdfs小文件检测
数据量:千万 flume拉取时间是多少?(不会,瞎编的10分钟有兄弟了解吗)
Spark小文件怎么处理
Kafka 的整体结构:broke+produce+consume (这边比较细)
Jvm:可达性分析+引用计数+gc+jvm内存结构+volatile
Spark 数据倾斜:加盐减盐,广播小表,提高并行度,map聚合等等
反问:业务(之前一直以为德子的业务应该是写sql,但是后面了解到德子的业务很大,有搞spakr的有搞flink的有搞kafka的等等,给德子点赞)
还有下一面吗:过了的话会有,业务主管面
还有其他八股,无手撕#面经#
————————————————————————————————————
40min
面试体验感超好,德子好感+1
Spark sql了解吗?Dateframe 是啥(不会)
项目里数据怎么拉的?
Flume+kafka+flume+hdfs
有什么过滤器吗?:3个flume拦截器 判断文件类型+时间戳过滤器+落hdfs小文件检测
数据量:千万 flume拉取时间是多少?(不会,瞎编的10分钟有兄弟了解吗)
Spark小文件怎么处理
Kafka 的整体结构:broke+produce+consume (这边比较细)
Jvm:可达性分析+引用计数+gc+jvm内存结构+volatile
Spark 数据倾斜:加盐减盐,广播小表,提高并行度,map聚合等等
反问:业务(之前一直以为德子的业务应该是写sql,但是后面了解到德子的业务很大,有搞spakr的有搞flink的有搞kafka的等等,给德子点赞)
还有下一面吗:过了的话会有,业务主管面
还有其他八股,无手撕#面经#
全部评论
😂看项目应该是尚硅谷 spark问了这么多吗?😨
大佬 想问一下你面的是什么部门
相关推荐
11-19 18:45
西安邮电大学 采编 点赞 评论 收藏
分享