面试题来源于社群内的一位具有五年数仓开发经验的同学在面试美团的时候记录的SQL题~~如果有对其中任意一道题目的答案有疑问的同学，可以在评论区和我进行讨论~~一面需求描述 订单基础表order_base ------------------- order_id 订单id bus_id 商家id user_id 用户id amt 支付金额 dt 日期【分区】 统计每个月支付金额排名前3的用户id展示每个用户每月的最大支付金额和截止到该月的总支付金额答案解析 -- 统计每个月支付金额排名前3的用户id select month ,user_id from ( se...

    2023年4月，大数据开发面试笔记V3.0发布，过去已经两个月，V4.0终于来了，这次主要新增了企业级调优手法以及数据湖基础等内容。如今面试越来越难，常常会被问到大数据的前沿知识比如数据湖，以及企业级调优手段有哪些等，于是我结合自己在大厂的工作经历进行了补充，最终汇聚成一份全面的大数据开发面试笔记。    此笔记包含大数据开发、Java、计算机基础、数仓理论、常考SQL、大数据开发场景题、大厂面经合集、大厂SQL真题、企业级调优手法、数据湖基础等十大模块，并且所有内容会持续更新。第一部分 大数据开发HDFS...

疫情用户行为轨迹分析【美团、阿里】问题描述已知用户-核酸站点表t1和用户-商场扫码表t2，统计用户每天的行动轨迹。注意：商场扫码表中存在重复扫码的情况，取最新的数据。 -- t1 user_id in_time out_time stat_id 001 2022-05-20 15:31:21 null 001 001 null 2022-05-20 16:01:05 002 001 2022-05-20 18:0...

一、前言上次有个同学跟我说字节面试居然问他懂不懂数据湖，现在大数据找工作已经卷到这种地步了吗今天就来跟大家聊一聊数据湖首先弄清楚数据湖是什么？数据湖是一个集中式存储库，允许存储所有结构化和非结构化数据这时候就会有人问，和数据仓库有什么区别？即便说了这么多，可能你还是对数据湖的概念很模糊那么我们来看一下数据仓库的问题：我们只能增加字段，很难去下线一个字段，真的要下线某一个字段，风险非常高数据更新的底层是把整个表的数据重新生成一遍，再覆盖掉历史数据，成本非常高增删改没有事务性保障，而在传统的数据库中有成熟的一致性解决方案索引功能是有限的，一般很少建立索引，3.0版本已经没有索引了无法满足算法人员对...

需求描述以下是微博好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（其中好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 输入： A: B,C,D B: A,C,D C: A,B,D D: A 输出： A-B C A-C B,D B-C A B-D A C-D A 思路第一步：求出具有共同好友的用户Map 第一行数据转换为：<B,A> <C,A> <D,A>第二行数据转换为：<A,B> <C,B> <D,B>第三行数据转换为：<A,C> <B,C> &l...

面经题目来自：https://www.nowcoder.com/share/jump/16856703389141.Spark的运行机制首先spark的客户端将作业提交给yarn的RM，然后RM会分配container，并且选择合适的NM启动ApplicationMaster，然后AM启动Driver，紧接着向RM申请资源启动executor，Executor 进程启动后会向 Driver 反向注册，全部注册完成后 Driver 开始执行main 函数，当执行到行动算子，触发一个 Job，并根据宽依赖开始划分 stage（阶段的划分），每个 stage 生成对应的 TaskSet（任务的切分）...

12.Spark 能产生shuffle的算子reduceByKey、sortByKeyrepartition、coalescejoin、cogroup13.Spark里的reduce by key和group by key两个算子在实现上的区别并且说一下性能groupByKey只能分组，不能聚合，而reduceByKey包含分组和聚合两个功能reduceByKey会在shuffle前对分区内相同key的数据进行预聚合（类似于MapReduce的combiner），减少落盘的数据量，而groupByKey只是shuffle，不会进行预聚合的操作，因此reduceByKey的会高一些14.Spar...

1.Spark有哪几种部署模式本地模式：常用于本地开发程序与测试集群模式：standalone模式：只使用spark自身节点的运行模式yarn模式：yarn作为资源调度框架的运行模式mesos模式：Mesos与Yarn同样是一款资源调度管理系统，可以为Spark提供服务2.spark on yarn的工作流程首先spark的客户端将作业提交给yarn的RM，然后RM会分配container，并且选择合适的NM启动ApplicationMaster，然后AM启动Driver，紧接着向RM申请资源启动executor，Executor 进程启动后会向 Driver 反向注册，全部注册完成后 Dri...

1.Flink的组成jobmanager：相当于一个集群的Master，是整个集群的协调者，负责接收jobtaskmanager：实际负责的Workerclient：flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client2.Flink流批一体解释一下Flink 使用一个引擎就支持了DataSet API 和 DataStream API。其中DataSet API用来处理有界流，DataStream API既可以处理有界流又可以处理无界流，这样就实现了流批一体3.Flink和SparkStreaming区别第一，计算速度的不同，flink是真正的实时计算框架，而...

1.zookeeper简单介绍一下，为什么要用zk？Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目（文件系统+通知机制）zk的应用场景：统一命名服务：在分布式环境下，经常需要对服务进行统一命名，便于识别，例如ip地址统一配置管理：在一个集群中，要求所有节点的配置信息是一致的统一集群管理：在一个集群中，需要实时监控每个节点的状态变化负载均衡：在zookeeper中记录每台服务器的访问数，再次请求的时候，让访问最少的服务器去处理当前请求2.zk的数据存储，当重启后怎么重构zk的数据模型zk中的数据是保存在节点上的，节点就是znode，多个znode之间构成一棵树...

所有题目链接：史上最全的大数据开发面经及答案汇总【字节跳动】1.介绍一下Hadoop hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据存储与计算的问题，主要包括HDFS、MapReduce和Yarn框架。2.谷歌的三篇论文是否了解，三驾马车GFS，BigTable，MapReduce了解（建议浅看一下）3.hdfs源码你知道的话，讲讲元数据怎么管理的？Namenode对元数据的管理采用了三种形式：内存元数据：基于内存存储元数据，元数据比较完整fsimage文件：磁盘元数据镜像文件，在NameNode工作目录中，它不包含block所在的Data...

2.存储优化在分布式系统中，为了提高数据的可用性与性能，通常会将数据存储3份，这就意味着存储1TB的逻辑数据，实际上会占用3TB的物理空间。数据压缩阿里的大数据平台提供了archive压缩方法，可以将数据保存为RAID file的形式，数据不再简单地保存为3份，而是使用盘古 RAID file 的默认值（6，3）格式的文件，即 6份数据＋ 3份校验块的方式，这样能够有效地将存储比约1:3提高到1:1.5，大约能够节省一半的物理空间。缺点：如果某个数据块出现了损坏或者某台机器宕机损坏了，恢复数据块的时间将要比原来的方式更长，读的性能会有一定的损失应用场景：一般应用在冷备数据与日志数据的压缩存储上...

1.计算优化主要从数据倾斜方面讨论任务优化Map倾斜为什么Map的主要功能是从磁盘中将数据读入内存，由于读入数据的文件大小分布不均匀，因此会导致有些map task读取并且处理的数据特别多，而有些map task处理的数据特别少，造成map端长尾。以下两种情况可能会导致Map端长尾：上游表文件的大小特别不均匀，并且小文件特别多Map端做聚合时，比如map join，某些map task读取文件的某个值特别多怎么办针对第一种情况，可以对上游的小文件进行合并，通常就是调整小文件的参数来进行优化，比如 调节map任务的map task的数量，以及 调节单个map task读取的小文件个数。针对第二种...

很多刚开始学习大数据的同学还不知道数仓是什么？数仓的资料很少，面试如何准备该部分？数仓hc远多于数开hc？ 【是的】很多同学offer上写的虽然是大数据开发工程师，其实仍然是数仓开发的岗位？ 【是的】首先我们明确一下数据仓库是什么？数据仓库是一个面向主题的（比如订单、商品、会员）、集成的（来自不同数据源的统一数据规范比如男女的取值，命名规范的统一，字段类型的统一）、非易失（一般不会进行删除和修改操作）且随时间变化（并不是数据会变，而是数据随着时间会不断增多）的数据集合，主要用于存储历史数据，然后通过分析整理进而提供数据支持和辅助决策。【面试问到，就这么回答，绝对满分答案】接下来聊一下...