水滴 数仓开发 24届秋招一面

26届Java选手，面了很多大厂后端实习基本都挂了，稀里糊涂接了大数据的实习，总体比较顺利，先去沉淀了9.27美团数开一面  30min介绍一个项目项目中的难点sql 求每月最大和最少的订单数量二分查找面完10分钟打电话约二面9.30美团数开二面  50min介绍两个项目MySQL 索引介绍一下HadoopHDFS有几个个副本，为什么深挖Shuffle原理sql 面试官自己出的 一个表找一下互相关注的人，只能输出一列算法：复原ip地址10.8oc #美团# #美团工作体验# #美团实习#

数仓建模八股是真难背，比spark还难背，背自闭了

本人是26届数开选手 找的日常实习 中科院信工所的数据开发主要业务是做安全相关的 底层是大数据技术。11/26 一面，问题如下1. 自我介绍2. 实习时长，实验室研究方向，如果进来的话会考虑转正吗3. 了解过liunx吗？如果我们要查看各个运行的进程具体情况用哪些指令，查看显卡运行情况用什么指令4. 熟悉哪些语言？java常见集合有哪些5. 如果我们往hashmap中插入一个元素，说说这个过程底层是怎么实现的6. 项目数据来源，说说用什么方式采集的7. 简单说说kafka架构是怎么样的，那它里面数据是有序的吗？怎么解决kafka中数据重复问题8. HDFS小文件过多有什么影响，应该怎么解决？9. 了解过spark吗？spark相关算子有哪些？groupbykey和reducebykey有什么区别 具体说说10. 了解过flink吗反问环节总结：无手撕，面试官反应 基础知识不是很牢固 项目使用的组件不太清楚 被认为数仓搭建没有自己从0-1动手做（实际自己跟着视频一步步敲了 不过确实答的不好）因为项目是离线数仓 所以被问到spark和flink直摇头，面试的老师还是挺好的，继续学习吧#日常实习面试##数据开发##寒假实习#

面试前一天上午和我说晚上面试官在高铁上，改时间到第二天下午数据仓库的介绍，项目的数仓怎么设计的数仓分层问题，每一层的数据流向。会从ods层取数据吗，什么时候会向dws层取数据，什么时候会从dwd层取数据。新业务来了数仓怎么扩展业务总线矩阵横纵坐标代表什么，维度冗余情况介绍ER模型和维度模型优缺点什么是业务过程，什么是粒度。（我简单说了一下，也举了个例子说明。但是让我用抽象的定义语言来阐述）Hive的存储格式。orc列式存储的压缩方法，为什么orc读取数据快。有没有看过orc的相关文档Hive的一些优化经验和方法Spark3.X的新特性有哪些。Spark的常见的action算子和transfor...