Hadoop面经

3.上一段实习中的hive/spark调优场景。为什么小表50m数据量你不用map join？你是怎么判断有没有发生数据倾斜的怎么排查的？hive和spark分别看哪些指标？
4.你提到了在webUI看shffle write和shuffle read，讲一下分别在干嘛？
5.map端为什么要排序？
6. map端输出的文件组织形式是什么样的？
7.map短的索引说一下，他是怎么工作的，为什么要索引
8. 环形缓冲区了不了解？说一下他的那个阈值高低的影响
9. 哪些操作引起shuffle
10. spark里的reduce by key和group by key两个算子在实现上的区别并且说一下性能

shuffle原理说一下，map reduce的shuffle和spark的shuffle
hadoop其他组件你了解哪些？
hdfs有哪些部分？ secondary namenode的作用是什么？
yarn里有哪些部分？resource manager主要干什么工作？yarn的工作流程

hdfs上数据块大小能不能变成10M？

你对hadoop高可用的理解？

mapreduce的过程？

问了一下hdfs的基础，数据存入hdfs的过程，我答的namenode找到datanode

全部评论

推荐最新楼层

11-25 15:30

已编辑

麻城理工学校嵌入式软件开发

秋招真的有不焦虑的人吗？

最近又搬回宿舍了，在工位坐不住，写一写秋招起伏不断的心态变化，也算对自己心态的一些思考表演式学习从开始为实习准备的时候就特别焦虑，楼主一开始选择的是cpp后端，但是24届这个方向已经炸了，同时自己又因为本科非92且非科班，所以感到机会更加迷茫。在某天晚上用java写出hello world并失眠一整晚后选择老本行干嵌入式。理想是美好的，现实情况是每天忙但又没有实质性进展，总是在配环境，调工具，顺带还要推科研。而这时候才发现自己一直在表演式学习，徘徊在设想如何展开工作的循环里，导致没有实质性进展。现在看来当时如果把精力专注在动手写而不是两只手端着看教程，基本功或许不会那么差。实习的焦虑5月，楼主...

耶比：哲学上有一个问题，玛丽的房间：玛丽知道眼睛识别色彩的原理知道各种颜色，但是她生活在黑白的房间里，直到有一天玛丽的房门打开了她亲眼看到了颜色，才知道什么是色彩。我现在最大可能的减少对非工作事情的思考，如果有一件事困扰了我，能解决的我就直接做（去哪里或者和谁吵架等等……），解决不了的我就不想了，每一天都是最年轻的一天，珍惜今天吧