当前位置：首页 > news >正文

Flink 内部通信底层原理

news 来源：原创 2025/8/20 21:09:03

Flink 集群内部节点之间的通信是用 Akka 实现，比如 JobManager 和 TaskManager 之间的通信。而 operator 之间的数据传输是用 Netty 实现。

RPC 框架是 Flink 任务运行的基础，Flink 整个 RPC 框架基于 Akka 实现。

一、相关概念

概念

定义：远程过程调用协议，允许程序像调用本地方法一样调用远程服务，隐藏底层网络通信细节。
作用：在分布式系统中，实现跨节点的控制指令传递（如任务调度、状态同步等）。
Flink 中的应用：
- JobManager 与 TaskManager 之间的通信（任务部署、心跳检测、故障通知等）。
- Checkpoint 协调、资源申请等分布式操作。

定义：基于 Actor 模型的并发框架，提供高性能、分布式的消息驱动编程模型。
Actor 模型：每个 Actor 是独立执行单元，通过异步消息传递通信，天然支持分布式和容错。
Flink 中的应用：
- 早期版本（≤1.14）：Flink 的 RPC 层基于 Akka 实现，JobManager 和 TaskManager 的通信通过 Akka Actor 完成。
- 核心场景：任务调度、资源管理、Checkpoint 协调等控制层面的通信。

定义：基于 NIO 的高性能网络通信框架，专注于 TCP/UDP 数据传输。
作用：提供可扩展的网络层实现，支持高吞吐量和低延迟的数据传输。
Flink 中的应用：
- 数据传输层：TaskManager 之间的数据交换（如 Shuffle、广播数据）。
- 替代 Akka：从 Flink 1.15 开始，Netty 成为默认的 RPC 实现，逐步取代 Akka。

RPC 是通信协议：
- 定义了分布式节点间的交互方式（如方法调用、参数传递）。
- Akka 或 Netty 是实现 RPC 的底层框架：
  - 在早期版本，Flink 使用 Akka Actor 实现 RPC。
  - 新版本中，Flink 基于 Netty 实现 RPC（更轻量、无依赖）。
Akka vs. Netty 的角色演变：
- Akka：早期负责控制流（任务调度、心跳）和 RPC。
- Netty：始终负责数据流（Shuffle 数据传输）；新版本接管 RPC 层。
分工与协同：
- 控制流（RPC）：协调作业生命周期（如启动、停止）、资源管理。
- 数据流（Netty）：处理实际数据交换（如算子间的 Record 传输）。

Flink 1.15+：为了减少对 Akka 的依赖（避免版本冲突），Flink 逐步将 RPC 层迁移到基于 Netty 的自研实现（flink-rpc 模块）。
当前状态：
- 控制流：Netty-based RPC。
- 数据流：Netty 网络栈（替代了早期的 Netty + Akka 混合模式）

Akka 是 Actor Model 的一个实现，在 Actor 模型中，所有的实体被认为是独立的 actors。actor 和其他 actor 通过发送异步消息通信。每个 actor 有一个邮箱（mailbox），它收到的消息存储在里面。每个 actor 维护自身单独的状态。

下面是一个 Actors 网络：

每个 actor 是一个单一的线程，它不断地从它的邮箱中 poll 消息，并且不断地处理。对于已经处理过的消息的结果，actor 可以改变它自身的内部状态或者发送一个新消息或者孵化一个新的 actor。尽管单个的 actor 是