- 腾讯会议，开摄像头- 手撕的sql是面试官当场搜出来问的，有点坑，没撕出来## 项目- 简单介绍一下你的项目- 你这个数据做好以后，他就是需求方是怎么用到的？- 这个数据你存在这个你这是存在hive里吗？- 介绍整个项目的流程- 介绍项目的数据域和业务的总线矩阵- 我有做过数据治理吗- 有过hive性能优化的经验吗- 你们是用的是什么建模？- 维度建模中那个缓慢维度变化为都有哪几种应对方式？- 我的拉链表是怎么查看历史数据的## 八股- yarn的基础架构和基本角色  - 分享了一个spark任务提交的过程- 分别讲讲yarn的资源调度策略  - 我们用的什么资源调度器- 用的开源Yarn还是CDH yarn## 手撕```sql有 msg_time，from，to, msg等字段，计算聊天两轮（用户消息一来一回表示一轮）以上的用户。msg_time               from    to2021-11-24 21:23:00    1    22021-11-24 21:23:01    2    12021-11-24 21:23:02    1    22021-11-24 21:23:03    2    12021-11-24 21:23:04    2    12021-11-24 21:23:01    3    12021-11-24 21:23:02    1    32021-11-24 21:23:03    3    12021-11-24 21:23:04    1      3```

- 大数据平台研发岗位- 如流软件面试，开摄像头，在如流上手撕代码- 面试官人很好，经常鼓励人，也会及时给出正确的思路- 可惜职责还是有点不匹配，这个部门主要用java和go做平台的开发，类似DolphinScheduler的平台开发## 八股- 对DolphinScheduler的底层代码和架构有没有了解- 你在Spark你在用的过程中，有时候会碰像那种性能不好或者数据倾斜的场景。这种情况下你一般会怎么去做优化？可以就结合你具体遇到的问题，可以来来详细讲一下，就是或者hive遇到的都可以。- 你在这过程中，就你项目中接触了这么多个组件，有没有自己去搭过一些集群和组件相关的呢？  - 搭建过程中有没有碰到过，比如什么问题，比如HDFS不可以用，或者是Yarn出问题，这种问题有没有碰到过？- 你对于Hadoop他这边是如何实现这种高可用有了解吗？  - Zookeeper是作为分布式锁存在的- HA高可用中多个NN数据是一样的，他们是怎么保证数据相同的  - HA高可用中还有什么Node，通过日志的形式保证多个NN的数据一致- 主要开发环境是linux还是windows- 对linux这边有一些基本的了解吗？- 比如我linux有一台有一个linux它有一就是linux他你通过你那个发现他的内存或者CPU占用特别高，它中间可能是某一个进程或者某一个服务占用了大量资源。你这种情况下，你如果是你的话，你怎么去排查？- 比如我有一个任务，他你比如说他发现他的日志一直在写，就是一直在打那个没有空间了，就没有磁盘空间了。这种情况下你怎么去查一下是哪些地方磁盘不足了，应该怎么处理？- java中equal和==的区别  - 自己写过自定义类重写equals方法吗- java类加载的这块你了解过吗？  - 讲了双亲委派机制  - 为什么要实现双亲委派机制这个操作？- java反射了解吗- java多线程代码写得多吗  - java线程有几种状态  - java中如何写代码多线程访问共享资源## 手撕- 手撕LRU类，要求实现get和put方法，并且规定一个最大容量，如果put时达到最大容量则替换掉存在最久的元素  - 讲思路，用的事务id，很快实现了- 手撕java多线程代码，被我婉拒，实在不怎么记得了

- 大数据基础架构部门- 职责有点不匹配，全程被拷打了，根本不了解底层的事情## 项目- 数仓这一块目前总标准分层的一个概念，你这块熟悉吗？- 你最后输出指标是什么样的？是新型模型还是雪花模型？- 最后superset的引擎用的什么- spark数据倾斜具体看的sparkUI哪一个指标哪一个参数  - local read数据量？shuffle read数据量？shuffle write数据量？## 八股- spark常见的shuffle策略，这些不同的策略分别在哪些项目中用到- 常见的shuffle流程  - 他在系统层面有什么弊端，特别是面对高并发情况下- Hive查询优化有什么方式  - SMB join是怎么具体实现的- java相关的锁机制（其实就是锁机制）  - 乐观锁悲观锁- 设计模式了解吗- Java性能排查有没有什么SOP## 高并发场景题这个场景题完全不懂，也没怎么接触过，要求设计一个从数据基建到建模的整个思路来应对高并发的场景

一面：- 飞书，没开摄像头## 项目- 重点了解一下这个离线数仓项目，你可以展开说一下吗？  - 背景，意义，人员组成，整个数据流动过程，我的职责- 你这边主要做的工作内容可以展开讲讲一下吗？  - 我这边主要的工作内容就是针对这个xx主题的两个指标进行拆解和计算。- 它是怎么计算的，可以说明一下吗？  - 我理解其实这两个指标应该都还是有一个**时间维度**  - 你们时间维度又具体是怎么设计的？是天还是周还是月，各种还是各种都有。- 那你这边再具体做了一些数据开发的工作，你可以说一下吗？就比如说你做了哪些表，以及是什么来支撑这个指标的计算的。  - **DWS表的粒度到底是用户粒度还是用户登录行为粒度？**- 就是你自己写Spark或者你自己研究Spark这里面，比如说你有没有遇到过一些比较难的问题，以及是怎么解决。  - 数据倾斜问题  - **那你就这个优化前后它的一个对比的指标是什么样。那它运行速度有变化吗？**场景sql题：- 假设我有一兆的一张表，那学生的成绩表，他有学生ID课程ID以及分数。然后我想计算每一门课程分数前三的学生，把这样的一个信息给拿出来。怎么做呢？  - rank() over(partition by c_id order by score)---二面：- 飞书，开摄像头## 项目- 介绍项目场景、全流程、个人职责- 最终产生的业务价值是什么呢？- 数据出来之后，会你的使用方是谁呢？就是会谁来用这份数据来做什么事- 实时这边有接触吗？  - flink的基本的原理有看过吗？就比如说为什么flink它它适合做什么样的事情，它能解决什么问题？  - 他这里背后的整个技术链会有哪些呢？就是比如说实时数据处理里面- Spark这个task stage和job他们是什么关系？  - 我们可以调整它的task的个数吗？- SparkSQL写得多吗- HiveSQL和SparkSQL逻辑上有什么不一样的？- 成长的规划，你大概是怎么设想的？技术上的- 像那个其实因为现在你接触实时的比较少，那后面在业务上如果有有的有这个诉求对吧？然后你准备怎么弥补这些短板？  - 比如说我们既有工作任务，又要学习你这个你觉得自己的抗压的能力够吗？

- 为什么选择做数据开发，看你本科期间也做过java后端开发- 介绍一下你们学院和组内的工作- 组里没有横向项目- 找实习倾向于长期还是短期- 城市的选择倾向- 我比较看重公司哪些点？- 能接受加班吗，平时的工作学习作息是怎么样的- 作为项目负责人，你觉得和作为组员之间对比的工作职责有什么不一样- 前面三轮面试的考察内容你体感有什么区别- 对于薪资有什么想法

- 电话三面## 项目- 项目都是自己学习的项目吗，介绍一下你在项目里的参与部分- 大概说说整个涉及到一些技术框组件什么之类的- 数据来源是什么  - flume用在哪  - flume读取的是文件吗- dataX的优化手段- 有没有遇到这种spark任务执行时间很长，需要优化的这种情况  - 展开讲了数据倾斜的场景，定位和解决方案  - groupBy优化具体怎么做的  - 优化是sql实现吗## 八股- 说说mysql的索引- 场景题 ”现在有abc三个字段需要加索引，其中a会单独查询，ac会联合查询，abc会联合查询“我该怎么处理- 讲讲java中的集合  - arraylist和linkedlist不同的使用场景  - 为什么arraylist查询比较方便- Hive中数据倾斜一般怎么去处理呢？

- 为什么选择数据开发这个岗位？- ⽬前主要投递哪些地点的企业？能接受xx城市吗？- 简单介绍一下项目的情况，主要人员组成，团队协作，组会，项目背景和意义还有工期- 简历中这些学校的项⽬经历是和⽼师⼀起做的吗？是有老师指导吗？- 在团队协作过程中，既当过负责人也当过组员，你觉得这两者的最大差异在哪- 如果团队中有成员出现项目难点无法克服的情况怎么处理- 如果客户想要精益求精地提出需求，你作为负责人该怎么带领团队应对这种情况- 刚刚提到了有复盘习惯，你来简单讲讲- 你觉得你⾃⼰有哪些特质，哪些特质有助于后⾯⼯作的开展/⽤三个词概括⾃⼰- 项目开发期间有没有遇到什么难点- 如果你的日程计划被打乱了你会怎么处理或者反应- 选公司的倾向

- 飞书面试间，在飞书上撕代码- 问了很多计算机基础八股，痛击薄弱点## 八股- 讲一讲线程池- Java实现线程的几种方法，有什么区别- 线程池的具体参数- 进程和线程的区别- java中如何控制进程内存- 讲一讲数据库的事务是什么- 讲一讲数据库中的锁有哪些- 讲一讲对索引的理解- 如何存储索引的- B树和B+树存储索引的区别- 相同数据量下，B树和B+树哪一个查询更快- http和https- 讲一讲TCP- 讲一讲Hive里有哪些数据格式，有什么区别- HDFS读写流程- 有用过Spark中的什么算子- 解释转换算子和行动算子的区别- Spark中的Stage如何划分的- groupBy 和 reduceBy 的区别- 讲一下数据仓库是什么## 项目- 我们的项目数据量多大- 团队组成- 我们的指标是如何变成报表的- 有遇到什么问题吗：讲的groupby的数据倾斜  - 如何解决数据倾斜的：局部聚合+全局聚合  - 怎么具体实现的：加随机前缀，这个前缀是什么，用什么加的，之后怎么消除的## 算法- DP：[322. 零钱兑换]*******************************************

- 不问八股，不问项目，纯场景题考核，**以下问题均在电商下单的业务背景下**- 知道ER模型和维度模型吗  - 不要介绍概念，接下来以电商场景中的下单过程为背景，分别用两种模型诠释一下这个业务过程- ER模型中有这个下单过程有哪些实体哪些关系  - 商品和消费者的关系是多对多的吗- 维度模型中会有哪些维度表和哪些事实表- 线下的pos系统的数据和我们建表数据格式不一致，如何处理  - 数据清洗和数据格式转换- 业务场景：需要找到国庆期间的无效订单数量  - 无效订单：已下单未发货，已下单发货超过3天  - 订单表：订单id 时间  - 发货表：订单id 发货id 时间- 如果要连接这两个表，用什么join，为什么  - left，因为有订单信息不一定有发货信息，要保证订单信息的完整- 一个需求实现的全流程是什么样的  - 需求->分析其逻辑，划分出集合->对数据进行建模->清洗数据->写SQL->优化SQL- 这个全流程中，你认为ai可以协助数据开发工程师做哪一些工作  - 全部都可以协助，但是需要人工比对和把关- 那么如果AI可以做到整个全流程，数据开发工程师的价值又在哪里  - 目前已经有ai可以实现业务需求的全流程

- 腾讯会议，开摄像头- 面试官很友好，算法题我其实想了两分钟就放弃，他让我再想想，然后动笔就想出来了- 问的问题很广，很多是结合简历上的去延申问的，数开知识反而问的不多## 简历- 实验室经历## 项目- maxwell在项目里是怎么运行的？- 项目里如果出现数据倾斜，是怎么发现，怎么判断，怎么解决的  - 阿里判断规则，sparkUI- 问本科的java后端项目，人员组成  - 如果用户量激增导致数据库应付不过过来如何处理  - redis这些没用吗  - spring boot自定义starter- 如何去处理用户上传的图片的存储  - 利用阿里云OSS存储网址即可- 如何和前端对接的- 前端技术了解不- python了解吗  - 爬虫做过吗## 八股- hive里的排序函数  - 我说成了rank() row_number()  - 应该是orderby sortby distributeby clusterby- orderby和sortby的区别- 了解实时数仓吗，Flink大概是做什么的- left join和right join的区别## 算法- 任意一个正整数N的阶乘末尾有几个0？  - 判断这个阶乘中会出现多少个5（包括把所有5的倍数拆解得到的5），就有多少个0  - 如何用代码实现：直接遍历1到n，求5或者5的倍数包含的5的个数## 其他- 有了解大模型是怎么训练出来的吗- 了解激活函数吗，用过什么激活函数- 了解随机森林吗- 了解推荐系统吗- 介绍了我自己的科研工作

# 一面- 电话面## 面评- 丰富离线数仓的经验- 对自己的这个职业的规划是怎么规划的？## 项目- 这个项目是你是从0到1参与的吗？- Hadoop我有参与部署吗- 开发用的Spark SQL吗- 在用Hive on Spark的过程中有遇到什么问题吗？怎么解决的- 数据是怎么怎么来的？## 八股- 你对数仓是怎么理解的？就是什么情况下会用到数仓，就算他比如说我正常的数据库啥的也都能用，它有什么比较大的区别，或者它的优势是啥？  - 数仓的概念  - 数仓和数据库的比较- 数据倾斜都有哪些原因产生的，怎么解决？- SQL的优化有了解过吗  - 我说的是小文件的优化，应该说谓词下推等sql优化- 数仓的建模方法有了解过吗  - 维度建模简单的说一下  - 有没有尝试过其他的模型- hadoop什么HDFS读数据的一个流程  - block默认大小是多大？- shuffer的一个过那个原理能简单说一下吗？  - map阶段他都做了哪些事儿呢？  - 排序放在哪个阶段了？# 二面- 无八股，深挖项目亮点，交流课外经历## 项目- 这个项目是个什么性质？- 那你们这个团队有多少人？然后大概分工是怎么分工的？- 你们在日常使用的过程中有遇到一些问题吗？就是不管是故障，还是说需要去调优什么之类的。- 执行日常运行过程中有有会有故障什么之类的产生吗？或者问其他问题产生吗？- 关于本科课外实验室经历聊天- 那在这个实验室的两年多的时间，对你个人而言有什么影响吗？或者是说取得了什么样的成果？- 关于本科课外球队经历聊天- 现在整个AI这块特别火。我不知道你们对你们有没有一些你或者有些感触，或者说对你们在学校的学习有有一些什么影响。- 使用过什么ai工具，有什么对比区别

- 全程项目拷打，基本上没有八股- 腾讯会议，开视频## 面评- 知识面太窄了- 工作职责太少了- 流程不熟悉- 基础知识：组件原理、优化方式## 项目- 整个项目的流程是怎么样的- 讲一下整个项目的技术栈  - 数据同步用的啥  - Hive on Spark吗  - 数据可视化用的啥- 日志数据有什么- 某个业务这个行为是作为一个什么数据参与到项目中的  - 日志吗- 业务数据量有多大- 日活月活- 该ads表有什么数据项，dws表-dwd表-dim表的数据项- 讲一讲我负责的指标  - 指标业务逻辑  - 指标在业务背景是什么样的（合理性）  - 指标场景质疑- 有哪些数据域、主题域- 有没有用过云数据库- DolphinScheduler的处理过程  - 我们做ads指标是自己去写的脚本吗  - 怎么写的---都没有问sql实现逻辑## 八股- 数据倾斜给我出了一个场景：groupby的时候出现倾斜  - 我提了join倾斜情况- map join怎么处理小表太占内存，把内存挤爆的问题

- 腾讯会议，没要求开视频## 项目- 没问项目，纯八股## 八股- Mapreduce的工作原理  - 详细讲了三阶段- Zookeeper的选举原理  - 只讲了第一次启动，**忘了讲leader挂掉的情况**- Zookeeper一般用在哪里  - HA，zookeeper负责监控HA里多个NN的情况（**ZKFC转换NN状态**），一旦NN发生故障，要启动自动故障转移，避免HA出现脑裂情况- HDFS读写流程- Spark算子  - 忘了讲两种算子的作用：    - Transformation（转换算⼦，即从现有的数据集创建⼀个新的数据集）    - Action（⾏动算⼦，即在数据集上进⾏计算后，返回⼀个值给 Driver 程序）  - **还可以延申讲分别有哪些算子，自己用过的算子**- 讲讲Spark的血缘关系  - **讲血缘关系应该这样梳理**：    - 什么是血缘关系：依赖关系反映了 RDD 是如何从其他 RDD 转换而来的，而多个连续的 RDD 的依赖关系，称之为⾎缘关系    - 为什么要有血缘关系：每个 RDD 记录操作历史，可以根据依赖关系重计算丢失的分区；他是Spark 实现容错和优化计算的重要基础，RDD的弹性一词的依仗也有他    - 怎么实现的重计算：往前找到宽依赖，宽依赖必有shuffle，有shuffle就有数据落盘，我们就可以避免从数据源开始重新执行计算（顺势提到宽窄依赖）    - 血缘关系中细分有哪两种：宽窄依赖，然后讲他们俩的区分（宽依赖的父RDD的一个分区的数据会被子RDD的多个分区所依赖，窄依赖的父RDD的一个分区只能被子RDD的一个分区依赖，这也导致窄依赖多分区可以并行计算，而宽依赖不行）  - 总结：血缘关系是Spark容错恢复的保障之一，也是优化计算的一种方式    - 有利于数据的重新分布和并⾏处理。通过宽依赖（本质上是通过shuffle），可以将数据按照特定的规则重新分配到不同的节点上进⾏处理，从⽽充分利⽤集群的计算资源。提⾼处理效率，具体而言是以下两点：    - **满足特定计算需求**：在很多数据处理场景中，需要将具有相同特征的数据集中在一起进行处理。例如，在进行**分组聚合操作**时，需要将相同键的数据分到同一个分区，以便在每个分区内进行聚合计算。宽依赖通过 Shuffle 操作可以实现这种数据的重新分布，将分散在不同节点上的相同键的数据收集到一起，为后续的计算提供便利。    - **优化数据布局（负载均衡）**：通过重新分布数据，可以使数据在集群中的分布更加均衡，避免某些节点负载过重而其他节点闲置的情况。例如，当数据初始分布不均匀时，通过宽依赖的操作进行 Shuffle，可以将数据均匀地分配到各个节点上，提高集群资源的利用率。- Kafka原理  - 只知道使用，并不了解原理，准备和实时的Flink一起学习- **窗口函数**讲一讲：  - 排名函数  - 跨行取值  - 聚合类- **Hive中怎么做到⾏转列和列转⾏？**  - 一下卡住了没答，其实很简单- 正则表达式知道吗  - 我只知道去边查边用，不会记规则