当前位置：首页 > news >正文

【Flink系列】4. Flink运行时架构

news 来源：原创 2025/6/17 3:08:21

4. Flink运行时架构

4.1 系统架构

Flink运行时架构——Standalone会话模式为例
在这里插入图片描述

1）作业管理器（JobManager）

JobManager是一个Flink集群中任务管理和调度的核心，是控制应用执行的主进程。也就是说，每个应用都应该被唯一的JobManager所控制执行。
JobManger又包含3个不同的组件。

（1）JobMaster

JobMaster是JobManager中最核心的组件，负责处理单独的作业（Job）。所以JobMaster和具体的Job是一一对应的，多个Job可以同时运行在一个Flink集群中, 每个Job都有一个自己的JobMaster。需要注意在早期版本的Flink中，没有JobMaster的概念；而JobManager的概念范围较小，实际指的就是现在所说的JobMaster。
在作业提交时，JobMaster会先接收到要执行的应用。JobMaster会把JobGraph转换成一个物理层面的数据流图，这个图被叫作“执行图”（ExecutionGraph），它包含了所有可以并发执行的任务。JobMaster会向资源管理器（ResourceManager）发出请求，申请执行任务必要的资源。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager上。
而在运行过程中，JobMaster会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。

（2）资源管理器（ResourceManager）

ResourceManager主要负责资源的分配和管理，在Flink 集群中只有一个。所谓“资源”，主要是指TaskManager的任务槽（task slots）。任务槽就是Flink集群中的资源调配单元，包含了机器用来执行计算的一组CPU和内存资源。每一个任务（Task）都需要分配到一个slot上执行。
这里注意要把Flink内置的ResourceManager和其他资源管理平台（比如YARN）的ResourceManager区分开。

（3）分发器（Dispatcher）

Dispatcher主要负责提供一个REST接口，用来提交应用，并且负责为每一个新提交的作业启动一个新的JobMaster 组件。Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。Dispatcher在架构中并不是必需的，在不同的部署模式下可能会被忽略掉。

2）任务管理器（TaskManager）

TaskManager是Flink中的工作进程，数据流的具体计算就是它来做的。Flink集群中必须至少有一个TaskManager；每一个TaskManager都包含了一定数量的任务槽（task slots）。Slot是资源调度的最小单位，slot的数量限制了TaskManager能够并行处理的任务数量。
启动之后，TaskManager会向资源管理器注册它的slots；收到资源管理器的指令后，TaskManager就会将一个或者多个槽位提供给JobMaster调用，JobMaster就可以分配任务来执行了。
在执行过程中，TaskManager可以缓冲数据，还可以跟其他运行同一应用的TaskManager交换数据。

4.2 核心概念

4.2.1 并行度（Parallelism）

1）并行子任务和并行度

当要处理的数据量非常大时，我们可以把一个算子操作，“复制”多份到多个节点，数据来了之后就可以到其中任意一个执行。这样一来，一个算子任务就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。
在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。
在这里插入图片描述

一个特定算子的子任务（subtask）的个数被称之为其并行度（parallelism）。这样，包含并行子任务的数据流，就是并行数据流，它需要多个分区（stream partition）来分配并行任务。一般情况下，一个流程序的并行度，可以认为就是其所有算子中最大的并行度。一个程序中，不同的算子可能具有不同的并行度。
例如：如上图所示，当前数据流中有source、map、window、sink四个算子，其中sink算子的并行度为1，其他算子的并行度都为2。所以这段流处理程序的并行度就是2。

2）并行度的设置

在Flink中，可以用不同的方法来设置并行度，它们的有效范围和优先级别也是不同的。

（1）代码中设置

我们在代码中，可以很简单地在算子后跟着调用setParallelism()方法，来设置当前算子的并行度：

stream.map(word -> Tuple2.of(word, 1L)).setParallelism(2);

这种方式设置的并行度，只针对当前算子有效。
另外，我们也可以直接调用执行环境的setParallelism()方法，全局设定并行度：

env.setParallelism(2);

这样代码中所有算子，默认的并行度就都为2了。我们一般不会在程序中设置全局并行度，因为如果在程序中对全局并行度进行硬编码，会导致无法动态扩容。
这里要注意的是，由于keyBy不是算子，所以无法对keyBy设置并行度。

（2）提交应用时设置

在使用flink run命令提交应用时，可以增加-p参数来指定当前应用程序执行的并行度，它的作用类似于执行环境的全局设置：

bin/flink run –p 2 –c com.atguigu.wc.SocketStreamWordCount 
./FlinkTutorial-1.0-SNAPSHOT.jar

如果我们直接在Web UI上提交作业，也可以在对应输入框中直接添加并行度。
在这里插入图片描述

（3）配置文件中设置

我们还可以直接在集群的配置文件flink-conf.yaml中直接更改默认并行度：

parallelism.default: 2

这个设置对于整个集群上提交的所有作业有效，初始值为1。无论在代码中设置、还是提交时的-p参数，都不是必须的；所以在没有指定并行度的时候，就会采用配置文件中的集群默认并行度。在开发环境中，没有配置文件，默认并行度就是当前机器的CPU核心数。

4.2.2 算子链（Operator Chain）

1）算子间的数据传输

在这里插入图片描述

一个数据流在算子之间传输数据的形式可以是一对一（one-to-one）的直通（forwarding）模式，也可以是打乱的重分区（redistributing）模式，具体是哪一种形式，取决于算子的种类。

（1）一对一（One-to-one，forwarding）

这种模式下，数据流维护着分区以及元素的顺序。比如图中的source和map算子，source算子读取数据之后，可以直接发送给map算子做处理，它们之间不需要重新分区，也不需要调整数据的顺序。这就意味着map 算子的子任务，看到的元素个数和顺序跟source 算子的子任务产生的完全一样，保证着“一对一”的关系。map、filter、flatMap等算子都是这种one-to-one的对应关系。这种关系类似于Spark中的窄依赖。

（2）重分区（Redistributing）

在这种模式下，数据流的分区会发生改变。比如图中的map和后面的keyBy/window算子之间，以及keyBy/window算子和Sink算子之间，都是这样的关系。
每一个算子的子任务，会根据数据传输的策略，把数据发送到不同的下游目标任务。这些传输方式都会引起重分区的过程，这一过程类似于Spark中的shuffle。

2）合并算子链

在Flink中，并行度相同的一对一（one to one）算子操作，可以直接链接在一起形成一个“大”的任务（task），这样原来的算子就成为了真正任务里的一部分，如下图所示。每个task会被一个线程执行。这样的技术被称为“算子链”（Operator Chain）。
在这里插入图片描述

上图中Source和map之间满足了算子链的要求，所以可以直接合并在一起，形成了一个任务；因为并行度为2，所以合并后的任务也有两个并行子任务。这样，这个数据流图所表示的作业最终会有5个任务，由5个线程并行执行。
将算子链接成task是非常有效的优化：可以减少线程之间的切换和基于缓存区的数据交换，在减少时延的同时提升吞吐量。
Flink默认会按照算子链的原则进行链接合并，如果我们想要禁止合并或者自行定义，也可以在代码中对算子做一些特定的设置：

// 禁用算子链
.map(word -> Tuple2.of(word, 1L)).disableChaining();// 从当前算子开始新链
.map(word -> Tuple2.of(word, 1L)).startNewChain()

4.2.3 任务槽（Task Slots）

1）任务槽（Task Slots）

Flink中每一个TaskManager都是一个JVM进程，它可以启动多个独立的线程，来并行执行多个子任务（subtask）。
很显然，TaskManager的计算资源是有限的，并行的任务越多，每个线程的资源就会越少。那一个TaskManager到底能并行处理多少个任务呢？为了控制并发量，我们需要在TaskManager上对每个任务运行所占用的资源做出明确的划分，这就是所谓的任务槽（task slots）。
每个任务槽（task slot）其实表示了TaskManager拥有计算资源的一个固定大小的子集。这些资源就是用来独立执行一个子任务的。

2）任务槽数量的设置

在Flink的/opt/module/flink-1.17.0/conf/flink-conf.yaml配置文件中，可以设置TaskManager的slot数量，默认是1个slot。

taskmanager.numberOfTaskSlots: 8

需要注意的是，slot目前仅仅用来隔离内存，不会涉及CPU的隔离。在具体应用时，可以将slot数量配置为机器的CPU核心数，尽量避免不同任务之间对CPU的竞争。这也是开发环境默认并行度设为机器CPU数量的原因。

3）任务对任务槽的共享

在这里插入图片描述

默认情况下，Flink是允许子任务共享slot的。如果我们保持sink任务并行度为1不变，而作业提交时设置全局并行度为6，那么前两个任务节点就会各自有6个并行子任务，整个流处理程序则有13个子任务。如上图所示，只要属于同一个作业，那么对于不同任务节点（算子）的并行子任务，就可以放到同一个slot上执行。所以对于第一个任务节点source→map，它的6个并行子任务必须分到不同的slot上，而第二个任务节点keyBy/window/apply的并行子任务却可以和第一个任务节点共享slot。
当我们将资源密集型和非密集型的任务同时放到一个slot中，它们就可以自行分配对资源占用的比例，从而保证最重的活平均分配给所有的TaskManager。
slot共享另一个好处就是允许我们保存完整的作业管道。这样一来，即使某个TaskManager出现故障宕机，其他节点也可以完全不受影响，作业的任务可以继续执行。
当然，Flink默认是允许slot共享的，如果希望某个算子对应的任务完全独占一个slot，或者只有某一部分算子共享slot，我们也可以通过设置“slot共享组”手动指定：

.map(word -> Tuple2.of(word, 1L)).slotSharingGroup("1");

这样，只有属于同一个slot共享组的子任务，才会开启slot共享；不同组之间的任务是完全隔离的，必须分配到不同的slot上。在这种场景下，总共需要的slot数量，就是各个slot共享组最大并行度的总和。
4.2.4 任务槽和并行度的关系
任务槽和并行度都跟程序的并行执行有关，但两者是完全不同的概念。简单来说任务槽是静态的概念，是指TaskManager具有的并发执行能力，可以通过参数taskmanager.numberOfTaskSlots进行配置；而并行度是动态概念，也就是TaskManager运行程序时实际使用的并发能力，可以通过参数parallelism.default进行配置。
举例说明：假设一共有3个TaskManager，每一个TaskManager中的slot数量设置为3个，那么一共有9个task slot，表示集群最多能并行执行9个同一算子的子任务。
而我们定义word count程序的处理操作是四个转换算子：
source→ flatmap→ reduce→ sink
当所有算子并行度相同时，容易看出source和flatmap可以合并算子链，于是最终有三个任务节点。
在这里插入图片描述

通过这个例子也可以明确地看到，整个流处理程序的并行度，就应该是所有算子并行度中最大的那个，这代表了运行程序需要的slot数量。

4.3 作业提交流程

4.3.1 Standalone会话模式作业提交流程

在这里插入图片描述

4.3.2 逻辑流图/作业图/执行图/物理流图

我们已经彻底了解了由代码生成任务的过程，现在来做个梳理总结。
逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→ 物理图（Physical Graph）。
在这里插入图片描述

1）逻辑流图（StreamGraph）

这是根据用户通过 DataStream API编写的代码生成的最初的DAG图，用来表示程序的拓扑结构。这一步一般在客户端完成。

2）作业图（JobGraph）

StreamGraph经过优化后生成的就是作业图（JobGraph），这是提交给 JobManager 的数据结构，确定了当前作业中所有任务的划分。主要的优化为：将多个符合条件的节点链接在一起合并成一个任务节点，形成算子链，这样可以减少数据交换的消耗。JobGraph一般也是在客户端生成的，在作业提交时传递给JobMaster。
我们提交作业之后，打开Flink自带的Web UI，点击作业就能看到对应的作业图。
在这里插入图片描述

3）执行图（ExecutionGraph）

JobMaster收到JobGraph后，会根据它来生成执行图（ExecutionGraph）。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。与JobGraph最大的区别就是按照并行度对并行子任务进行了拆分，并明确了任务间数据传输的方式。

4）物理图（Physical Graph）

JobMaster生成执行图后，会将它分发给TaskManager；各个TaskManager会根据执行图部署任务，最终的物理执行过程也会形成一张“图”，一般就叫作物理图（Physical Graph）。这只是具体执行层面的图，并不是一个具体的数据结构。
物理图主要就是在执行图的基础上，进一步确定数据存放的位置和收发的具体方式。有了物理图，TaskManager就可以对传递来的数据进行处理计算了。

4.3.3 Yarn应用模式作业提交流程

在这里插入图片描述

【Flink系列】4. Flink运行时架构

4. Flink运行时架构 4.1 系统架构 Flink运行时架构——Standalone会话模式为例 1）作业管理器（JobManager） JobManager是一个Flink集群中任务管理和调度的核心，是控制应用执行的主进程。也就是说，每个应用都应该被…...

编程日记 2025/6/2 7:05:45

【机器学习实战入门】使用Pandas和OpenCV进行颜色检测

Python 颜色检测项目今天的项目将非常有趣和令人兴奋。我们将与颜色打交道，并在项目过程中学习许多概念。颜色检测对于识别物体来说是必要的，它也被用作各种图像编辑和绘图应用的工具。什么是颜色检测？ 颜色检测是检测任何颜色名称的过程…...

编程日记 2025/6/3 5:12:17

C++ K2 （2）

提示：文章文章目录前言一、背景标准库基础知识堆栈总结前言前期疑问： 本文目标： 一、背景接上文标准库 1、（单选）【STL】在以下容器中间插入一个元素，时间复杂度为O(1)的是（A&#x…...

编程日记 2025/6/2 7:00:27

【React】静态组件动态组件

目录静态组件动态组件创建一个构造函数(类)使用 class 实现组件**使用 function 实现类组件** 静态组件函数组件是静态组件： 组件第一次渲染完毕后，无法基于内部的某些操作让组件更新「无法实现自更新」；但是，如果调用它的父组…...

编程日记 2025/6/4 7:22:13

Spring Web MVC综合案例

承接上篇文章——Spring Web MVC探秘，在了解Spring Web MVC背后的工作机制之后，我们接下来通过三个实战项目，来进一步巩固一下前面的知识。一、计算器效果展示：访问路径：http://127.0.0.1:8080/calc.html 前端代码&a…...

编程日记 2025/5/31 0:52:53

OpenCV相机标定与3D重建(60)用于立体校正的函数stereoRectify()的使用

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述为已校准的立体相机的每个头计算校正变换。 cv::stereoRectify 是 OpenCV 中用于立体校正的函数，它基于已知的相机参数和相对位置&am…...

编程日记 2025/6/3 3:15:41

SDL2基本的绘制流程与步骤

SDL2（Simple DirectMedia Layer 2）是一个跨平台的多媒体库，它为游戏开发和图形应用提供了一个简单的接口，允许程序直接访问音频、键盘、鼠标、硬件加速的渲染等功能。在 SDL2 中，屏幕绘制的流程通常涉及到窗口的创建、渲染目标的设置、图像的绘制、事件的处理等几个步骤。…...

编程日记 2025/6/3 9:06:43

计算机网络（42）远程终端协议TELNET

前言 Telnet（Telecommunication Network Protocol）是一种网络协议，属于TCP/IP协议族，主要用于提供远程登录服务。一、概述 Telnet协议是一种远程终端协议，它允许用户通过终端仿真器连接到远程主机，并在远程…...

编程日记 2025/6/2 3:09:53

重拾Python学习，先从把python删除开始。。。

自己折腾就是不行啊，屡战屡败，最近终于找到前辈教我第一步删除Python 先把前阵子折腾的WSL和VScode删掉。还是得用spyder，跟matlab最像，也最容易入手。从VScode上搞python，最后安装到appdata上，安装插…...

编程日记 2025/5/27 10:18:03

51c大模型~合集106

我自己的原文哦~ https://blog.51cto.com/whaosoft/13115290 #GPT-5、 Opus 3.5为何迟迟不发新猜想：已诞生，被蒸馏成小模型来卖「从现在开始，基础模型可能在后台运行，让其他模型能够完成它们自己无法完成的壮举——就像一个老…...

编程日记 2025/6/4 15:15:23

node安装教程及环境配置

1.下载安装包下载的网址：Node.js — Download Node.js 根据自己电脑系统及位数选择，电脑是Windows系统、64位、想下载稳定版的.msi（LTS为长期稳定版）这里选择windows64位.msi格式安装包。 .msi和.zip格式区别： .msi…...

编程日记 2025/6/4 16:45:47

Temp123

MapDB：的持久化机制，以及源码分析和摘取 1、spark streaming--struct streaming 基于时间间隔攒批 2、kafka-connect-hdfs 控制 flush.size 和 interval.ms控制攒批 - 完全自研攒批机制 - 使用 embeded 版 https://lxblog.com/qianwen/share?shar…...

编程日记 2025/6/4 12:22:26

YOLO系列代码

Test-Time Augmentation TTA (Test Time Augmentation)是指在test过程中进行数据增强。其思想非常简单，就是在评测阶段，给每个输入进行多种数据增广变换，将一个输入变成多个输入，然后再merge起来一起输出，形成一种ens…...

编程日记 2025/6/2 21:32:41

2025.1.16——一、NewsCenter

题目来源：攻防世界 NewsCenter 目录一、题目二、sqlmap解题——bp抓包存为txt文件进行爆破 step 1：search框内随便输入，进行抓包 step 2：抓包后，存到txt文件，进行sqlmap step 3：-r获取文…...

编程日记 2025/6/4 8:18:30

Java中的继承

引入继承 Java中使用类对实体进行描述，类经过实例化之后的产物对象，就可以用来表示现实中的实体，描述的事物错综复杂，事物之间可能会存在一些关联，因此我们就需要将他们共性抽取，面向对象的思想中提出了继…...

编程日记 2025/6/1 19:49:58

vue3+ts+uniapp 微信小程序（第一篇）—— 微信小程序定位授权，位置信息权限授权

文章目录简介一、先看效果1.1 授权定位前，先弹出隐私协议弹框1.2 上述弹框点击同意，得到如下弹框1.3 点击三个点，然后点设置 1.4 在1.2步骤下，无论同意或者拒绝二、manifest.json 文件配置三、微信公众平台配置3.1 登录进入微信…...

编程日记 2025/6/4 9:49:02

在Playwright中使用PO模式

1.新建项目安装库 npm init -y npm install -D playwright npm install -D playwright/test npm install typescript ts-node types/node npx playwright install 项目目录 2.编写代码 package.json {"name": "pom_playwright","version": …...

编程日记 2025/6/4 1:29:10

三台 Centos7.9 中 Docker 部署 Redis 哨兵模式

三台 Centos7.9 中 Docker 部署 Redis 哨兵模式 1. 环境规划2. 配置 Docker Compose3. 配置 Redis 密码和持久化4. 配置哨兵5. 启动服务6. 验证 Redis 哨兵模式7. 注意事项 1. 环境规划三台服务器的角色分配如下： IP Address容器端口角色192.168.15.128redis-mas…...

编程日记 2025/5/30 18:06:32

JSON数据格式的序列化和反序列化jackson针对首字母小学的字段返回序列化后第2个大写字母也变成小写的问题处理

SpringBoot类属性”第二个字母大写“反序列化问题。key第二个字母大写会被转成小写 , 这个为 jackson 的bug。后台 : String pName; public String getPName() { return pName; } 前台 : { pname : xxx } 解决方案： 使用JsonProperty("pName")…...

编程日记 2025/5/28 5:35:54

Android wifi列表中去自身的热点

Android wifi列表中去自身的热点一、前言 Android wifi列表中能搜索到自身的热点wifi？ 正常手机上都不会出现这个问题；可能是系统底层已经做了过滤处理。现实开发中Android设备的Wifi能搜索到自身热点也可能会存在。比如基于两个单独的wifi双模组硬…...

编程日记 2025/6/2 4:33:02

Elasticsearch：Jira 连接器教程第二部分 - 6 个优化技巧

作者：来自 Elastic Gustavo Llermaly 将 Jira 连接到 Elasticsearch 后，我们现在将回顾最佳实践以升级此部署。在本系列的第一部分中，我们配置了 Jira 连接器并将对象索引到 Elasticsearch 中。在第二部分中，我们将回顾一些最佳实…...

编程日记 2025/5/31 18:06:06

单线性激光扫描、多线性激光扫描？激光扫描三维重建算法环节

分类都属于激光扫描技术，但它们在光源的数量和工作方式上存在一些差异。单线性激光扫描： 单线性激光扫描使用单个线状光源进行扫描。光源沿一个方向移动，将一条直线上的目标进行扫描。这种方式适用于需要获取目标表面在一个维度上的信息的…...

编程日记 2025/6/2 0:20:01

git 常用命令 git archive

git archive 是 Git 中用于创建一个包含指定提交或分支中所有文件的归档文件（如 .tar 或 .zip）的命令。这个命令非常适合用于分发项目快照、备份代码库或导出特定版本的文件。 git archive --formatzip --outputproject.zip HEAD …...

编程日记 2025/6/2 19:05:16

CMD批处理命令入门（6）——常用的特殊字符

CMD批处理命令入门（6）——特殊字符本章内容主要学习要点：重定向符 >、>>命令管道符 |组合命令 &、&&、||转义字符 ^变量引导符 %界定符 "" 本章内容主要学习要点： >、>>重定向符| 命令…...

编程日记 2025/5/31 8:32:02

大模型WebUI：Gradio全解11——Chatbot：融合大模型的多模态聊天机器人（6）

大模型WebUI：Gradio全解11——Chatbot：融合大模型的多模态聊天机器人（6） 前言本篇摘要11. Chatbot：融合大模型的多模态聊天机器人11.6 为LLM Agent构建UI11.5.1 使用代理构建1. 使用transformers.agents的实际示例2. 使…...

编程日记 2025/6/3 20:57:41

【算法】前缀和

前缀和 1.【模板】前缀和2.最大子段和3.【模板】二维前缀和4.激光炸弹前缀的核心思想是预处理，可以在暴力枚举的过程中，快速查询出某一段区间内的和，从而优化时间复杂度。是经典的用空间替换时间的做法。 1.【模板】前缀和【模板】前缀和…...

编程日记 2025/6/1 19:39:50

android Recyclerview viewholder统一封装

Recyclerview holder 统一封装 ViewHolder类 import android.annotation.SuppressLint import android.content.Context import android.graphics.Color import android.graphics.drawable.GradientDrawable import android.os.Build import android.os.CountDownTimer import…...

编程日记 2025/6/3 16:14:15

4. Flink运行时架构

4.1 系统架构

1）作业管理器（JobManager）

（1）JobMaster

（2）资源管理器（ResourceManager）

（3）分发器（Dispatcher）

2）任务管理器（TaskManager）

4.2 核心概念

4.2.1 并行度（Parallelism）

1）并行子任务和并行度

2）并行度的设置

（1）代码中设置

（2）提交应用时设置

（3）配置文件中设置

4.2.2 算子链（Operator Chain）

1）算子间的数据传输

（1）一对一（One-to-one，forwarding）

（2）重分区（Redistributing）

2）合并算子链

4.2.3 任务槽（Task Slots）

1）任务槽（Task Slots）

2）任务槽数量的设置

3）任务对任务槽的共享

4.3 作业提交流程

4.3.1 Standalone会话模式作业提交流程

4.3.2 逻辑流图/作业图/执行图/物理流图

1）逻辑流图（StreamGraph）

2）作业图（JobGraph）

3）执行图（ExecutionGraph）

4）物理图（Physical Graph）

4.3.3 Yarn应用模式作业提交流程

相关文章：