本以为PDD挂了，结果开了50万SSP

大家好，我是土哥。

2024 届校招已然落下帷幕，互联网大厂为将优秀人才招致麾下，纷纷使出浑身解数。在薪资待遇方面，更是各有千秋。

这里给大家分享一位2024届求职的小伙伴，PDD 非技术岗拿到 50w 的 SSP offer~#校招薪水##怎么委婉指出leader的错误#

土哥听到这个消息，替她感到非常高兴，校招生，一入职就已经赢到了起跑线，又有多少同学能拿到这个水平呢？

想起当年土哥的校招薪资，那也比她低好多呀。说多了都是泪。

当然，羡慕别人的同时，我们还是要先学习起来，不管是实习、校招、还是社招，打铁还需自身硬，下面给大家分享一些大数据的面试题，更好的帮助大家，找到一份更好的工作。

Zookeeper 功能

1 你了解 zookeeper 的选举机制吗？

首先，ZooKeeper 是一个分布式协调服务，广泛应用于分布式系统中，用于维护配置信息、命名服务、提供分布式同步以及组服务等。为了保证高可用性，ZooKeeper 通常以集群模式部署。在 ZooKeeper 集群中，通常为 Leader 选举机制。

1 背景

Leader：负责处理所有写请求，并向 Followers 发送更新。
Follower：接收客户端的读请求；参与投票过程；从 Leader 接收更新。
Observer（可选）：类似于 Follower，但不参与选举过程。主要用于增加系统的读取吞吐量而不影响写性能。

2 选举触发条件

初始启动时没有指定 Leader。
当前 Leader 失效或与大多数节点失去联系。
系统重启后需要重新选举新的 Leader。

3 选举算法

ZooKeeper 使用一种基于 Fast Leader Election (FLE) 的改进版本来选择其 Leader。这个过程可以分为几个阶段：

a. 投票初始化

每个服务器都开始一个新的选举周期，并给自己投票。每张选票包含三个关键信息：

1、myid：该服务器自己的标识符。

2、zxid：事务ID，反映了该服务器最后处理的一个事务编号。

3、epoch：逻辑时钟值，用来避免旧的信息干扰当前选举。

b. 交换选票

服务器之间通过心跳检测等方式互相发送选票信息。如果发现有比自己更合适的候选者（即具有更大的 zxid 或者相同 zxid 下更大的 myid），则会更改自己的投票给那个候选者，并继续广播这一决定。

c. 收集选票

当某个服务器获得了超过半数的支持票后，它就被认为是新任的 Leader。此时，它将转换状态并通知其他服务器结束选举过程。

d. 宣布结果

一旦确定了 Leader，所有其他服务器都将转变为 Follower 角色，并准备好接受来自新 Leader 的命令。

4 特殊情况处理

如果网络分区导致部分节点无法通信，则只有能够相互通讯的大部分节点才能成功完成选举过程。
在某些情况下，可能因为没有足够的有效投票而导致选举失败，这时整个集群可能会暂时不可用，直到恢复到足够数量的健康节点为止。

Spark lazy

2 spark 的 lazy 体现在哪里?

在 Apache Spark 中，操作分为两种类型：Transformations 和 Actions。

Transformations：这些操作是懒操作，不会立即执行。它们只是记录下要执行的操作，并返回一个新的 RDD（弹性分布式数据集）或 DataFrame/Dataset。常见的 Transformation 操作包括 map, flatMap, filter, reduceByKey 等。

Actions：这些操作会触发实际的计算。当一个 Action 操作被调用时，Spark 会根据之前记录的所有 Transformation 操作来构建一个执行计划，并执行该计划。常见的 Action 操作包括 collect, count, save, foreach 等。

懒加载的意义

1、避免无意义的计算：

减少中间结果：由于 Transformations 是懒操作，只有在需要的时候才会真正执行，因此可以避免生成大量的中间结果。这不仅节省了内存资源，还减少了磁盘 I/O 和网络传输。
优化执行计划：Spark 可以在执行前看到整个操作链，从而进行全局优化。例如，它可以合并多个 Map 操作，或者重新排列操作顺序以提高效率。

2、执行优化：

DAG 优化：Spark 使用有向无环图（DAG）来表示计算任务。通过懒加载，Spark 可以在执行前分析整个 DAG，并进行一系列优化，如合并操作、广播变量、分区优化等。
数据局部性：Spark 可以利用数据局部性原则，将计算任务调度到数据所在的节点上，从而减少数据传输开销。

3、容错和重试：

容错机制：懒加载使得 Spark 可以更好地处理故障。如果某个任务失败，Spark 只需要重新计算相关的部分，而不是整个作业。
细粒度重试：由于每个 Transformation 都是独立的，Spark 可以在细粒度级别上进行重试，从而提高系统的可靠性和稳定性。

4、资源管理：

资源利用率：懒加载使得 Spark 可以更灵活地管理资源。它可以根据当前集群的负载情况动态调整任务的执行，从而提高资源利用率。
延迟加载：对于大数据集，懒加载可以避免一次性加载所有数据，而是按需加载，从而减少内存压力。

给个实例：

val data = sc.textFile("input.txt")
val words = data.flatMap(line => line.split(" "))
val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _)
wordCounts.collect()  // 这是一个 Action 操作，会触发前面所有的 Transformation 操作

在这个示例中，flatMap, map, 和 reduceByKey 都是 Transformation 操作，不会立即执行。只有当 collect 被调用时，才会触发实际的计算。