秋招面试题 Flink

辉哥，面试的时候问了一个问题，不知道怎么更好回答，flink如何做到高效数据交换

并行度
       Flink可以通过增大并行度和slot操作来扩展程序整体的处理数据能力。
分区策略
  Flink通过分区策略（如按键分区）将数据高效分配到不同算子，减少跨节点的数据交换。     
流水线（管道）传输：
  采用管道式数据传输（每个节点都会有阶段性计算和过滤 剔除无关数据），每个算子按需处理数据，减少网络开销，能自动调整数据流速，避免慢算子成为瓶颈。
动态资源分配
       Flink 具有动态资源分配的功能，能根据使用情况自动调整计算和存储资源的分配。可以确保资源的有效使用，提高整体性能，降低内存瓶颈。
Shuffle优化：
       Pipelined Shuffle：使得数据在交换过程中可以持续流动，避免了等待整个数据集收集完成。

容错机制：
  使用Savepoint\Checkpoint确保数据一致性和恢复时高效的数据交换。
#校招#  #数据仓库#  #数据人的面试交流地#  #面试时最害怕被问到的问题#