Flink面试知识点：JobManager 和 Task

1. Flink 的核心组件：JobManager 和 TaskManager

在 Apache Flink 中，JobManager 和 TaskManager 是分布式执行的核心组件，负责协调和执行应用程序。

1.1 JobManager

JobManager 是 Flink 集群的大脑，它主要负责三个方面的工作：

•作业调度： 接收用户提交的作业，并将这些作业拆分成不同的任务。•资源管理： 与 Flink 的资源管理器（如 YARN 或 Mesos）协作，为作业分配必要的资源。•容错与状态管理： 控制作业的执行，包括容错机制。负责设置检查点（checkpoints）来保存作业的状态，以便在失败时重新启动作业。

1.2 TaskManager

TaskManager 是执行任务的工作节点，主要负责：

•任务执行：每个 TaskManager 可以执行多个任务。这些任务是作业的实际执行者，每个任务对应作业流程图中的一个节点。•缓冲和状态管理：负责数据的缓冲和任务的状态管理。存储中间结果，并在需要时处理状态的恢复。•数据交换：TaskManagers 之间需要交换数据，例如，在不同的任务之间传递数据流元素。

2. Slot 和 Task 在 Flink 中的关系和作用

Slot 是 Flink TaskManager 提供的一个资源单元，用于运行一个任务链（task chain）。

每个任务都需要运行在一个 slot 中。Slot 的概念允许 Flink 的资源管理更加灵活，保证了资源的隔离，并且允许多个任务共享同一个 slot（如果它们属于同一个任务链）。

在 Flink 中，理解 Slot 和 Task 的关系对于调优 Flink 应用和合理分配集群资源至关重要。

3. Flink的高可用性机制

Apache Flink 的高可用（HA）机制是为了确保 Flink 集群能够在面对各种故障时继续运行作业。这包括了对 JobManager 的故障进行处理，因为它是 Flink 集群的关键协调节点。以下是 Flink 高可用性的关键组件和策略：

•多个 JobManager： 运行多个 JobManager 实例以提供高可用性。只有一个 JobManager 是领导者（Leader），负责作业的调度和协调，而其他的 JobManager 作为备用（Standby）处于热备状态。•ZooKeeper 协调： Flink 通常与 Apache ZooKeeper 配合使用来实现高可用性。ZooKeeper 跟踪哪个 JobManager 是当前的领导者，并在领导者失效时选举新的领导者。