来源VIP学员反馈的快手面试题【2024/05/15】 推荐阅读文章列表 我的大数据开发学习之路 2024最新大数据开发面试笔记V6.0 大数据开发面经汇总【持续更新】 SQL题目 有一张用户关注表dwd_online_user_follow_dd, 包含用户id（user_id）和关注者id（follower_id） 求相互关注的用户对 答案解析 模拟数据 insert into dwd_online_user_follow_dd values ('a', 'b'),('a', 'c'),('a', 'd'),('b', 'a'),('c', 'a'),('c', 'd'); ...

写在前面问题：实习/项目/竞赛奖项，哪个对找工作更重要？回答（仅个人看法）：实习一定是最重要的，不仅可以收获一些企业真实的项目经历（不同于培训班教学的项目），而且可以提前锁定一个秋招hc（大概率下，也不排除没有转正hc）追问：竞赛奖项重要吗？重要！这个点是能够区别应届生的一个关键指标！大多数应届生是没有工作经历的，简历中的项目也基本一致，那么就要看求职者的亮点，而竞赛奖项就是可以体现能力的一点想进大厂实习该如何准备第一、框架原理说起来很牛逼，其实这部分的核心是熟练掌握八股文（大数据面试笔记V6.0 https://www.nowcoder.com/discuss/606765121381072...

Spark作为大数据计算平台后起之秀，在2014年打破了Hadoop保持的基准排序记录，使用206个节点在23分钟里完成了100TB数据的排序，而Hadoop则是使用2000个节点在72分钟的时间里完成同样数据的排序。也就是说，Spark仅用了十分之一的计算资源，获得了比Hadoop快3倍的速度。为什么速度如此之快？让我们首先探讨一下Spark的底层架构设计，揭示其中的精妙之处。一、Spark架构设计面试官：你知道Spark架构吗？标准答案：我知道的，Spark架构包括控制节点Driver，以及工作节点Executor和集群资源管理器。其中，Diver是整个架构的老大，主要负责资源申请以及任务...

美团高频数开面试题分享|2024届校园招聘即将开始：https://www.nowcoder.com/discuss/515311167196160000?sourceSSR=users字节最全数开面试题|有同学拿了字节提前批offer：https://www.nowcoder.com/discuss/509134018885992448?sourceSSR=users快手大数据开发高频面试题及答案【海量hc】：https://www.nowcoder.com/discuss/527892445468577792?sourceSSR=users微众大数据开发高频面试题及答案【附JD分析】：ht...

非常重要！！！非常重要！！！非常重要！！！如果你属于以下四种情况之一，那么请耐心看完本文，对你一定有所帮助秋招没找到满意的，还想继续拼一把的考研失败后准备找工作的春招找实习想要提升自己的想要跳槽对标阿里P5及以上的距离三月还有10天左右，短短的时间内如何备战，如何利用最短的时间获得最大的成就呢在开始学习到拿到offer是一段很长的链路，此刻相当重要的两个环节就是简历投递和面试突击简历投递首选 公司招聘官网，其次 牛客求职，最后 ******简历投递之后，最好记录一下，否则后面hr联系你面试的时候可能都不知道是否投递过，就尴尬了1.公司招聘官网在填写简历信息时，可以找一个靠谱的内推码填写【后续可...

1.你的项目中是如何提交实时任务的，有多少个JobManager我们使用yarn session模式提交任务。每次提交都会创建一个新的 Flink 集群，为每一个 job 提供一个 yarn-session，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。集群默认只有一个 Job Manager。但为了防止单点故障，我们配置了高可用。 一般配置一个主 Job Manager，两个备用 Job Manager，然后结合 ZooKeeper 的使用，来达到高可用。2.你是怎么做压力测试和监控的如果产生数据流的速度如果过快，而下游的算子消费不过来的话，会产生背压。 背压的监...

大家觉得实习重要吗？ 先给出个人的见解，实习真的很重要，如果你不是985、211，那么实习经历将会是进入大厂的唯一优势 我今天主要会从三个方面来和大家分享一下如何收割大厂实习offer 1.我的实习经历 为什么先介绍一下自己的实习经历呢？ 因为如果我都没有拿过大厂的实习offer，我怎么能教大家如何收割大厂offer 我是从202112月开始找实习（2023年毕业），共拿到了6个实习offer，去过其中3家实习，分别是滴滴、字节、蚂蚁，话不多说，直接上图 ps：个人学历是双非硕，但是因为有过三段非常不错的实习经历，在秋招中也就特别顺利，拿到了一些offer，这里就不一一列举了，等大家准备秋招的...

1.Flink如何保证Exactly-Once使用checkpoint检查点，其实就是 所有任务的状态，在某个时间点的一份快照；这个时间点，应该是所有任务都恰好处理完一个相同 的输入数据的时候。checkpoint的步骤：flink应用在启动的时候，flink的JobManager创建CheckpointCoordinatorCheckpointCoordinator(检查点协调器) 周期性的向该流应用的所有source算子发送 barrier(屏障)。当某个source算子收到一个barrier时，便暂停数据处理过程，然后将自己的当前状态制作成快照，并保存到指定的持久化存储（hdfs）中，最...

内存限制 1 GB，如何快速判断一个数是否存在于 40 亿整数中？这不简单吗？直接把40亿个整数加载到内存中，然后判断遍历整个列表，看是否存在该整数此种方式需要占用的内存空间：40 * 100000000 * 4 / 1024 / 1024 / 1024 约等于 15GB，远大于内存限制，并且查询的时间复杂度是O(N)那么再想想有没有其他办法呢？再次理解题目，题目要求的是判断一个整数是否存在，而不是求一个整数出现了几次的问题，所以我们根本不用关心这个整数是啥，只用判断是否存在即可一个整数存不存在完全可以用一个二进制位来表示，比如1代表存在，0代表不存在（BitMap）那么我们如何在内存中维护整...

1.Java基础篇（阿里、蚂蚁、字节、携程、快手、杭州银行等）问题：HashMap的底层实现原理答案：在jdk1.8之前，hashmap由 数组-链表数据结构组成，在jdk1.8之后hashmap由 数组-链表-红黑树数据结构组成；当我们创建hashmap对象的时候，jdk1.8以前会创建一个长度为16的Entry数组，jdk1.8以后就不是初始化对象的时候创建数组了，而是在第一次put元素的时候，创建一个长度为16的Node数组；当我们向对象中插入数据的时候，首先调用hashcode方法计算出key的hash值，然后对数组长度取余（(n-1)&hash(key)等价于hash值对数组...

很多同学问我为什么要发这些大数据前沿汇报？一方面是自己学习完后觉得非常好，然后总结发出来方便大家阅读；另外一方面，看这些汇报对你的面试帮助会很大，特别是面试前可以看看即将面试公司在大数据前沿的发展动向（我曾经就有过一次经历，面试网易云音乐前，我在B站看了一个网易云大佬分享的网易云实时数仓，刚好在面试的时候就碰见他了，最后反问环节就主动跟他说我看过他的汇报，然后还提出了自己的一些思考，面试官当场就说）蔚来汽车以下内容来自蔚来汽车Flink架构师的分享用户背景蔚来是一家全球化的智能电动汽车公司，于2014年11月成立。蔚来致力于通过提供高性能的智能电动汽车与极致用户体验，为用户创造愉悦的生活方式。...

面试官常问问题：你知道数据倾斜是什么吗？你知道如何判断任务是否发生数据倾斜吗？你知道如何定位数据倾斜吗？你知道如何优化数据倾斜吗？我相信你一定遇到过上述问题，可能一个甚至多个，不管面试官问你其中一个还是多个，你都可以按照我接下来的模板来进行回答。【文末有回答模板~】下面一篇文章教会你如何理解并且回答好这些问题1.数据倾斜是什么在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜2.如何判断任务是否发生数据倾斜利用SparkUI平台，查看每个stage的...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线一、Spark作业基本运行原理我们使用spark-submit 提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。Driver进程要做的第一件事情，就是向集群管理器申请运行Spark作业需要使用的资源，这里的资源指的就是Executor进程。YARN集群管理器会根据我们为Spark作业设置的资源参数，在各个工作节点上，启动一定数量的Executor进程，每个Executor进程都占有一定数量的内存和CPU core。在申请到了作业执行所需的资源之后，Driver进程就会开始调度和...