当前位置：首页 > news >正文

Flink底层架构与运行流程

news 来源：原创 2025/6/9 2:09:48

在这里插入图片描述

这张图展示了Flink程序的架构和运行流程。

主要组件及功能：

Flink Program（Flink程序）：
- 包含Program code（程序代码），这是用户编写的业务逻辑代码。
- 经过Optimizer / Graph Builder（优化器/图构建器）处理后，生成Dataflow graph（数据流图），它表示了程序中数据处理的流程和任务之间的关系。
Client（客户端）：
- 包含Actor System（Actor系统），用于与其他组件进行通信和交互。
- 客户端的主要功能是向JobManager提交作业（Submit job (send dataflow)），以及取消或更新作业（Cancel / update job）。同时，它还接收来自TaskManager的状态更新（Status updates）和统计结果（Statistics & results）。
JobManager（作业管理器）：
- 也包含Actor System，用于与客户端和TaskManager进行通信。
- 它是整个系统的核心组件，负责协调和管理作业的执行。
- Scheduler（调度器）负责将任务分配到不同的TaskManager上执行。
- Checkpoint Coordinator（检查点协调器）负责协调分布式快照（检查点）的创建，以保证数据处理的容错性和一致性。
- 它还持有Dataflow Graph，用于根据数据流图来调度和管理任务。
TaskManager（任务管理器）：
- 每个TaskManager包含多个Task Slot（任务槽），任务槽是执行任务的基本单位，图中显示每个TaskManager有三个任务槽，其中部分任务槽中已经有Task（任务）在执行。
- Memory & I/O Manager（内存和I/O管理器）负责管理任务的内存和输入输出操作。
- Network Manager（网络管理器）负责管理任务之间的数据传输，通过Data Streams（数据流）在不同的TaskManager之间传输数据。
- Actor System用于与JobManager和其他TaskManager进行通信，包括发送任务状态（Task Status）、心跳（Heartbeats）、统计信息（Statistics）等，同时接收来自JobManager的任务部署、停止、取消等指令（Deploy/Stop Cancel Tasks）以及触发检查点（Trigger Checkpoints）等操作。

整体流程：

用户编写Flink程序代码，经过优化器和图构建器生成数据流图。
客户端将数据流图提交给JobManager。
JobManager根据数据流图和资源情况，通过调度器将任务分配到不同的TaskManager的任务槽中执行。
TaskManager执行任务，并通过网络管理器进行数据传输，同时通过Actor系统与JobManager和其他TaskManager进行通信，汇报任务状态、心跳、统计信息等，并接收管理指令。
JobManager协调整个作业的执行，包括检查点的创建等，以确保作业的正确执行和容错性。

这种架构使得Flink能够高效地处理大规模数据流，具有良好的可扩展性和容错性，广泛应用于实时数据处理和流式计算等场景。

Flink底层架构与运行流程

这张图展示了Flink程序的架构和运行流程。主要组件及功能： Flink Program（Flink程序）： 包含Program code（程序代码），这是用户编写的业务逻辑代码。经过Optimizer / Graph Builder&#xff08…...

编程日记 2025/6/3 5:20:23

人工智能之深度学习_[4]-神经网络入门

文章目录神经网络基础1 神经网络1.1 神经网络概念1.1.1 什么是神经网络1.1.2 如何构建神经网络1.1.3 神经网络内部状态值和激活值 1.2 激活函数1.2.1 网络非线性因素理解1.2.2 常见激活函数1.2.2.1 Sigmoid 激活函数1.2.2.2 Tanh 激活函数1.2.2.3 ReLU 激活函数1.2.2.4 SoftMa…...

编程日记 2025/6/1 20:17:02

ASP.NET Blazor部署方式有哪些？

今天我们来说说Blazor的三种部署方式，如果大家还不了解Blazor，那么我先简单介绍下Blazor Blazor 是一种 .NET 前端 Web 框架，在单个编程模型中同时支持服务器端呈现和客户端交互性： ● 使用 C# 创建丰富的交互式 UI。 ● 共享使用…...

编程日记 2025/6/3 16:51:31

Cyber Security 101-Security Solutions-Firewall Fundamentals（防火墙基础）

了解防火墙并亲身体验 Windows 和 Linux 内置防火墙。任务1：防火墙的用途是什么我们看到商场、银行、餐馆和房屋。这些警卫被安置在这些区域用于检查进出人员。这维护此检查的目的是确保没有人在没有被允许。这个警卫充当了他所在区域和访客之间的一堵墙。 …...

编程日记 2025/5/30 19:12:26

本地仓库管理之当前分支内的操作

以刚搭建好的git仓库为例，刚搭建完的仓库只有master分支，使用git branch查看当前的分支情况。 elfubuntu:~/work/example/hello$ git branch *所在分支为当前分支，即master分支当前分支进行源码修改时简单流程图如下： 在当前分…...

编程日记 2025/5/31 7:02:08

【Unity3D】3D物体摆放、场景优化案例Demo

目录 PlaceManager.cs(放置管理类) Ground.cs(地板类) 和 GroundData.cs(地板数据类) 额外知识点说明 1、MeshFilter和MeshRenderer的Bounds区别 2、Gizmos 绘制一个平行于斜面的立方体通过网盘分享的文件：PlaceGameDemo2.unitypackage 链接: https://pan.baid…...

编程日记 2025/6/3 16:43:53

1 首先启动监听和关闭ORACLE/LINUX防火墙（这一步略过） lsnrctl start 2 然后查看http和https端口 select dbms_xdb_config.gethttpsport() from dual; select dbms_xdb_config.gethttpport() from dual; 3 设置em端口 exec dbms_xdb_config.setHTTPSPo…...

编程日记 2025/6/3 7:16:07

JavaScript学习笔记（1）

html 完成了架子， css 做了美化，但是网页是死的，我们需要给他注入灵魂，所以接下来我们需要学习 JavaScript，这门语言会让我们的页面能够和用户进行交互。一、引入方式 1.内部脚本将 JS 代码定义在 HTML 页面中 Jav…...

编程日记 2025/6/2 5:33:01

【PCL】Segmentation 模块—— 欧几里得聚类提取（Euclidean Cluster Extraction）

1、简介 PCL 的 Euclidean Cluster Extraction（欧几里得聚类提取） 是一种基于欧几里得距离的点云聚类算法。它的目标是将点云数据分割成多个独立的簇（clusters），每个簇代表一个独立的物体或结构。该算法通过计算点与点…...

编程日记 2025/5/29 20:36:28

CMake技术细节：解决未定义，提供参数

初级代码游戏的专栏介绍与文章目录-CSDN博客我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。源码指引：github源…...

编程日记 2025/6/1 4:07:39

BUUCTF_Web（October 2019 Twice SQL injection）

October 2019 Twice SQL injection 知识点： 二次注入： 当用户提交的恶意数据被存入数据库后，应用程序再把它读取出来用于生成新的SQL语句时，如果没有相应的安全措施，是有可能发生SQL注入的，这种注入就叫…...

编程日记 2025/6/3 14:43:46

CentOS 下载软件时报Error: Failed to synchronize cache for repo ‘AppStream‘解决方法

下载软件时出现以下问题直接把CentOS-AppStream.repo改个名字就行 cd /etc/yum.repos.d/ mv CentOS-AppStream.repo CentOS-AppStream.repo.bak就可以了解决思路把AI问遍，无人会，解决法想要下载软件通通失败了，解决方法当然是问AI&am…...

编程日记 2025/5/30 21:30:24

LeetCode 2661. First Completely Painted Row or Column

🔗 https://leetcode.com/problems/first-completely-painted-row-or-column 题目给一个 m*n 的二维数组，给一个 arr 的一纬数组元素由 [1, m * n] 组成遍历 arr，对二维数组中对应的元素进行染色返回执行到 arr 的第几个 index 的时候&…...

编程日记 2025/6/1 12:44:14

git的安装

目录下载安装下载前往官网下载安装包Git 点击dowmload选择适合自己的版本安装 next 全选是否修改库名，默认master 使用默认的使用默认的配置实验选项（新功能，可以不选） 不点最后安装在d盘，programfile…...

编程日记 2025/6/2 8:53:15

C#性能优化技巧：利用Lazy＜T＞实现集合元素的延迟加载

一、C#中的Lazy C#中的Lazy<T>是一个泛型类，它实现了延迟加载（Lazy Initialization）的功能。延迟加载是指对象的创建被推迟，直到第一次被使用时才进行实例化。这对于大型或资源密集型对象的性能优化非常有用，因…...

编程日记 2025/5/28 6:44:26

Jenkins-基于Role的鉴权机制

jenkins自带了一些全局性的安全配置。但无法通过job等相对细粒度的来控制使用者的权限。但它可以借助相关的插件实现细颗粒的权限控制。插件： Role-based Authorization Strategy 需要在configure global security中配置授权策略如下： 保存后&#x…...

编程日记 2025/6/3 8:36:16

Python 并发编程的终极武器：使用 `multiprocessing` 模块征服计算密集型任务

Python 并发编程的终极武器：使用 multiprocessing 模块征服计算密集型任务在Python中，由于全局解释器锁（GIL）的存在，多线程在处理CPU密集型任务时并不能真正实现并行，而是以交替执行的方式模拟并发，效率提升有限。为了充分利用多核CPU的优势，我们需要使用多进程。mul…...

编程日记 2025/6/2 0:36:10

vscode如何选用不同的python的解释器

在 VS Code 中设置 Python 的运行环境需要以下几个步骤，具体配置取决于你的开发环境和需求： 1. 安装必要工具安装 Python： 确保已在系统中安装 Python（推荐通过 Python 官方网站安装）。安装 VS Code 和 Python 扩展…...

编程日记 2025/6/4 13:40:34

MyBatis 注解开发详解

MyBatis 注解开发详解 MyBatis 支持使用注解来进行数据库操作。注解方式将 SQL 语句直接写在 Java 接口中，通过注解来完成 CRUD（增删改查）操作，省去了使用 XML 配置的繁琐步骤。这种方式适合简单项目或快速原型开发，因…...

编程日记 2025/5/30 5:05:12

【动态规划】--- 斐波那契数模型

Welcome to 9ilks Code World (๑•́ ₃ •̀๑) 个人主页: 9ilk (๑•́ ₃ •̀๑) 文章专栏： 算法Journey 🏠 第N个泰波那契数模型 📌 题目解析第N个泰波那契数题目要求的是泰波那契数，并非斐波那契数。 &…...

编程日记 2025/6/1 22:59:35

【EdgeAI实战】（1）STM32 边缘 AI 生态系统

【EdgeAI实战】（1）STM32 边缘 AI 生态系统【EdgeAI实战】（1）STM32 边缘 AI 生态系统 1. STM32 边缘人工智能1.1 X-CUBE-AI 扩展包1.2 STM32 AI Model Zoo1.3 ST AIoT Craft 2. STM32N6 AI 生态系统 (STM32N6-AI)2.1 STM32N6 AI 产…...

编程日记 2025/6/2 19:33:41

【陕西省乡镇界】面图层shp格式arcgis数据乡镇名称和编码2020年wgs84坐标无偏移内容测评

标题中的“陕西省乡镇界面图层shp格式arcgis数据乡镇名称和编码2020年wgs84坐标无偏移.zip”表明这是一个地理信息系统（GIS）的数据集，专为陕西省的乡镇区域设计。该数据集以Shapefile（shp）格式提供，是GIS领…...

编程日记 2025/5/31 8:19:07

Fabric区块链网络搭建：保姆级图文详解

目录前言1、项目环境部署1.1 基础开发环境1.2 网络部署 2、后台环境2.1、环境配置2.2、运行springboot项目 3、PC端3.1、安装依赖3.2、修改区块链网络连接地址3.3、启动项目前言亲爱的家人们，创作很不容易，若对您有帮助的话，请点赞收藏加…...

编程日记 2025/6/3 12:53:17

HTML 表单和输入标签详解

HTML 表单是网页与用户交互的重要工具，它允许用户输入数据并将其提交到服务器。表单在网页中的应用非常广泛，例如登录、注册、搜索、评论等功能都离不开表单。本文将详细介绍 HTML 表单及其相关标签的使用方法，帮助你全面掌握表单的设计与实现…...

编程日记 2025/6/1 20:29:34

sql实战解析-sum()over(partition by xx order by xx)

该窗口函数功能 sum( c )over( partition by a order by b) 按照一定规则汇总c的值，具体规则为以a分组，每组内按照b进行排序，汇总第一行至当前行的c的加和值。从简单开始一步一步讲， 1、sum( )over( ) 对所有行进行求和 2、sum(…...

编程日记 2025/6/3 18:29:25

Vue平台开发三——项目管理页面

前言对于多个项目的使用，可能需要进行项目切换管理，所以这里创建一个项目管理页面，登录成功后跳转这个页面，进行选择项目，再进入Home页面展示对应项目的内容。一、实现效果图预览二、页面内容功能1、项目列表展…...

编程日记 2025/6/4 13:53:59

JDBC实验测试

一、语言和环境实现语言：Java。环境要求：IDEA2023.3、JDK 17 、MySQL8.0、Navicat 16 for MySQL。二、技术要求该系统采用 SWING 技术配合 JDBC 使用 JAVA 编程语言完成桌面应用开发。三、功能要求某电商公司为了方便客服查看用户的订单信…...

编程日记 2025/6/3 12:23:11

使用 vllm 部署 MiniCPM-o 2.6

使用 vllm 部署MiniCPM-o 2.6 1. 创建虚拟环境2. 克隆代码3. 从代码安装 vllm4. 安装 flash-attn5. 启动 MiniCPM-o 2.66. 使用 chatbox 客户端访问并测试一下 1. 创建虚拟环境 conda create -n vllm_openbmb python3.11 -y conda activate vllm_openbmb 2. 克隆代码 git clo…...

编程日记 2025/6/4 1:49:40

WSL 2 自动更新虚拟 IP 到 window hosts

window下的wsl2 开发中使用到域名映射，但是WSL2 每次启动都会被分配一个虚拟的 ip 地址，每次启动虚拟ip 都不一样，导致要频繁更改 window 的 hosts 文件，太麻烦了，所以写一个自动执行的 .sh 脚本，每次启动…...

编程日记 2025/5/31 8:55:48

非常棒的长文本输入大模型：MiniMax以及基于它的海螺AI模型

非常棒的长文本输入大模型：基于MiniMax的海螺AI模型，快来体验一下吧！ 海螺AI—MiniMax 旗下生产力产品，你的AI伙伴，10倍速提升工作学习效率这个大模型最大的特点就是支持长文本输入，而且是从内部就擅长对长…...

编程日记 2025/6/3 22:50:39

python milvus及curl命令进行query请求

代码如下： from pymilvus import MilvusClient client = MilvusClient( uri="http://localhost:19530", token="root:Milvus" ) res = client.query( collection_name="query_collection", filter="color like \"…...

编程日记 2025/6/1 9:00:09

谈谈MySQL中的索引和事务

目录 1. 索引 1.1 索引介绍 1.2 缺陷 1.3 使用 1.3.1 查看索引 1.3.2 创建索引 1.3.3 删除索引 2. 索引底层的数据结构 2.1 B树 3. 事务 3.1 为什么使用事务 3.2 事务的使用 3.3 事务的基本特性 1. 索引 1.1 索引介绍索引相当于一本书的目录(index), 在一…...

编程日记 2025/6/1 9:01:18

Java 资源管理教程：掌握 close 方法、Cleaner 类与 Runtime.addShutdownHook

在 Java 编程中，高效地管理资源是至关重要的，特别是当你处理文件、数据库连接、网络连接等有限资源时。为了确保这些资源得到正确释放，Java 提供了多种机制。本教程将深入探讨 close 方法、Cleaner类以及 Runtime.addShutdownHook 方法&#…...

编程日记 2025/6/2 23:24:25

tensorflow源码编译在C++环境使用

https://tensorflow.google.cn/install/source?hlzh-cn查看tensorflow和其他需要下载软件对应的版本，最好一模一样 1、下载TensorFlow源码 https://github.com/tensorflow/tensorflow 2、安装编译protobuf（3.9.2） protobuf版本要和TensorFlo…...

编程日记 2025/6/3 6:46:53

算法日记8：StarryCoding60（单调栈）

一、题目二、解题思路： 题意为让我们找到每个元素的左边第一个比它小的元素，若不存在则输出-1 2.1法一：暴力（0n2） 首先，我们可以想到最朴素的算法：直接暴力两层for达成目标核心代码如下&…...

编程日记 2025/6/1 5:11:28

HarmonyOS快速入门

HarmonyOS快速入门 1、基本概念 UI框架： HarmonyOS提供了一套UI开发框架，即方舟开发框架（ArkUI框架）。方舟开发框架可为开发者提供应用UI开发所必需的能力，比如多种组件、布局计算、动画能力、UI交互、绘制等。方…...

编程日记 2025/6/4 15:14:37

基于微信小程序高校订餐系统的设计与开发ssm+论文源码调试讲解

第4章系统设计一个成功设计的系统在内容上必定是丰富的，在系统外观或系统功能上必定是对用户友好的。所以为了提升系统的价值，吸引更多的访问者访问系统，以及让来访用户可以花费更多时间停留在系统上，则表明该系统设计得比较专…...

编程日记 2025/6/3 6:42:47

stm32使用MDK5.35时遇到*** TOOLS.INI: TOOLCHAIN NOT INSTALLED

mdk5.35出现*** TOOLS.INI: TOOLCHAIN NOT INSTALLED的问题！！！！ 以管理员身份重新打开MDK5.35.0.0，用keygen破解密码，但是一直提示我是没有破解成功。解决办法： target 改成ARM...

编程日记 2025/5/31 10:27:26

Java面试专题——常见面试题1

引入本文属于专题中的常见面试题模块，属于面试时经常遇到的，适合需要面试的小伙伴做面试前复习准备用，后续会持续补充 1.面向对象基本特征面向对象的基本特征是什么？怎么理解？ 面向对象的基本特征是封装、继承、…...

编程日记 2025/6/3 5:36:11

【C++】在线五子棋对战项目网页版

目录 1.Websocket 1.1.Websocket的简单认识 1.2.什么是轮询呢？ 1.3.websocket协议切换过程 1.4.websocketpp库常用接口认识 1.5.websocketpp库搭建服务器流程 1.6.websocketpp库搭建服务器 2.mysqlclient库-接口认识 3.项目模块的划分： 4.项目…...

编程日记 2025/5/31 7:37:35

【Docker】搭建一个功能强大的自托管虚拟浏览器 - n.eko

前言本教程基于群晖的NAS设备DS423的docker功能进行搭建，DSM版本为 DSM 7.2.2-72806 Update 2。 n.eko 支持多种类型浏览器在其虚拟环境中运行，本次教程使用 Chromium 浏览器镜像进行演示，支持访问内网设备和公网地址。简介 n.eko 是…...

编程日记 2025/6/4 17:25:13

学习ASP.NET Core的身份认证（基于JwtBearer的身份认证7）

本文验证基于请求头中传递token信息的认证方式，webapi项目的控制器类中新建如下函数，仅通过验证的客户端能调用，需要客户端请求在Header中添加’Authorization’: Bearer token’的键值对且通过token验证后才能调用。 [Authorize] [HttpGet]…...

编程日记 2025/6/2 6:45:41

Linux 内核自旋锁spinlock（一）

文章目录前言一、自旋锁1.1 简介1.2 API1.2.1 spin_lock/spin_unlock1.2.2 spin_lock_irq/spin_unlock_irq1.2.3 spin_lock_irqsave/spin_unlock_irqstore1.2.4 spin_lock_bh/spin_unlock_bh1.2.5 补充二、自选锁原理三、自旋锁在内核的使用3.1 struct file3.2 struct dentry…...

编程日记 2025/6/4 15:44:55

JAVA 使用反射比较对象属性的变化，记录修改日志。使用注解【策略模式】，来进行不同属性枚举值到中英文描述的切换，支持前端国际化。

1.首先定义一个接口，接口中有两个方法，分别是将属性转换成英文描述和中文描述。其实就是将数据库中记录的 0 1 ，转换成后面的描述这边定义了中文转换为默认方法，是因为有些属性不需要进行中文转换，或者该属性的枚举…...

编程日记 2025/6/4 1:28:24

利用免费GIS工具箱实现高斯泼溅切片，将 PLY 格式转换为 3dtiles

在地理信息系统（GIS）和三维数据处理领域，不同数据格式有其独特应用场景与优势。PLY（Polygon File Format）格式常用于存储多边形网格数据，而 3DTiles 格式在 Web 端三维场景展示等方面表现出色。将 PLY 格式…...

编程日记 2025/5/31 2:23:59

Mysql视图（学习自用）

一、概念二、创建视图三、查询视图四、修改视图五、删除视图六、视图检查选项七、视图的更新八、视图的作用...

编程日记 2025/4/28 19:36:56

企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心

近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模…...

编程日记 2025/6/3 1:07:18

linux下一些参数的说明

/proc/sys/net/corebpf_jit_enable 作用：用于控制是否启用BPF（Berkeley Packet Filter）的即时编译（JIT）功能。当启用该功能时，JIT编译器会将eBPF（extended Berkeley Packet Filter）…...

编程日记 2025/6/2 19:03:14

CKS认证 | Day1 K8s集群部署与安全配置

一、K8s安全运维概述 Kubernetes（K8s） 是一个广泛使用的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。随着 K8s 在生产环境中的普及，安全运维成为确保系统稳定性和数据安全的关键。 1.1 安全运维的重要性万物互联&…...

编程日记 2025/6/2 17:14:46

新手上路：Anaconda虚拟环境创建和配置以使用PyTorch和DGL

文章目录前言步骤 1: 安装 Anaconda步骤 2: 创建新的 Anaconda 环境步骤 3: 安装最新版本的 PyTorch步骤 4: 安装特定版本的 PyTorch步骤 5: 安装最新版本的 DGL步骤 6: 安装特定版本的 DGL步骤 7: Pycharm中使用虚拟环境解释器第一种情况：创建新项目第二种情况&am…...

编程日记 2025/6/3 3:20:05

主要组件及功能：

整体流程：

相关文章：