当前位置： 首页 > news >正文

Flink基础整理

news 来源：原创 2025/7/15 10:42:51

文章目录

  • 前言
  • 1.Flink系统架构
  • 2.编程模型（API层次结构）
  • 3.DataSet和DataStream区别
  • 4.Flink的批流统一
  • 5.Flink的状态后端
  • 6.Flink有哪些状态类型
  • 7.Flink并行度

前言

提示：下面是根据网络或AI整理：

1.Flink系统架构

  • 用户在客户端提交作业（Job）到服务端。
  • 服务端为分布式的主从架构。
    • Dispatcher 服务负责提供 REST 接口来接收 Client 提交的 Job，运行 Web UI，并负责启动和派发 Job 给 JobManager。
    • Resource Manager 负责计算资源（TaskManager）的管理，其调度单位是 slots。
    • JobManager 负责整个集群的任务管理、资源管理、协调应用程序的分布执行，将任务调度到 TaskManager 执行、检查点（checkpoint）的创建等工作。
    • TaskManager（worker）负责 SubTask 的实际执行，提供一定数量的 Slots，Slots 数就是 TM 可以并发执行的task数。当服务端的 JobManager 接收到一个 Job 后，会按照各个算子的并发度将 Job 拆分成多个 SubTask，并分配到 TaskManager 的 Slot 上执行。
      在这里插入图片描述

2.编程模型（API层次结构）

在这里插入图片描述

  • 最底层提供了有状态流：可以自定义状态信息和处理逻辑，但是也需要你自己管理状态的生命周期，容错，一致性等问题。
  • 核心开发层：包括 DataStream API 和 DataSet API，它们提供了常见的数据转换，分组，聚合，窗口，状态等操作。这个层级的 api 适合大多数的流式和批式处理的场景。
  • 声明式 DSL 层：是以表为中心的声明式 DSL，其中表可能会动态变化（在表达流数据时）。Table API 提供了例如 select、project、join、group-by、aggregate 等操作
  • 结构化层：SQL API，它是最高层的 api，可以直接使用 SQL 语句进行数据处理，无需编写 Java 或 Scala 代码。这个层级的 api 适合需要快速响应业务需求，缩短上线周期，代码可移植性和可阅读性高，和自动调优的场景，但也最不灵活和最不具有表现力。

3.DataSet和DataStream区别

在这里插入图片描述

4.Flink的批流统一

概念: 批流统一是指Flink提供了一种统一的API和执行引擎，使得批处理（Batch Processing）和流处理（Stream Processing）可以使用相同的API进行编程，并且共享相同的执行计划和优化策略。这一特性简化了开发流程，减少了代码重复，同时提高了系统的灵活性和性能(一套代码处理流或批数据)。
体现在以下几个方面：

  • 统一的API：无论是处理有限的数据集（批处理）还是无限的数据流（流处理），开发者都可以使用同一套API进行编程。
  • 统一的执行引擎：Flink的执行引擎能够自动识别输入数据是批数据还是流数据，并选择合适的执行模式。
  • 统一的状态

相关文章：

Flink基础整理

文章目录 前言1.Flink系统架构2.编程模型（API层次结构）3.DataSet和DataStream区别4.Flink的批流统一5.Flink的状态后端6.Flink有哪些状态类型7.Flink并行度前言 提示：下面是根据网络或AI整理： 1.Flink系统架构 用户在客户端提交作业（Job）到服务端。服务端为分布式的主从…...

编程日记 2025/7/15 10:42:51

C++23 新特性：为 std::pair 的转发构造函数添加默认实参

文章目录 1\. 背景：std::pair 的转发构造函数2\. C23 的改进：添加默认实参示例代码 3\. 带来的好处3.1 更简洁的代码3.2 提高代码的可维护性3.3 与 std::optional 和 std::variant 的协同 4\. 实现细节示例实现（简化版） 5\. 使用场…...

编程日记 2025/6/29 7:18:44

JavaScript性能优化实战（9）：图像与媒体资源优化

引言 在当今视觉驱动的网络环境中，图像和媒体资源往往占据了网页总下载量的60%-80%，因此对图像和媒体资源进行有效优化已成为前端性能提升的关键领域。尽管网络带宽持续提升，但用户对加载速度的期望也在不断提高，特别是在移动设备和网络条件不稳定的场景下。 本文作为Jav…...

编程日记 2025/6/29 6:13:36

施磊老师rpc(四)

文章目录 rpc网络服务简介RpcProvider 的设计目标Eventloop不使用智能指针-弃用RpcProvider类似于集群的服务器provider网络实现**src/include/rpcprovider.h****src/include/mprpcapplication.h****src/rpcprovider.cc** 错误1错误2-重点**本项目的 mprpc 是动态库, muduo..是…...

编程日记 2025/7/9 10:49:29

Java学习手册：MyBatis 框架作用详解

一、MyBatis 简介 MyBatis 是一款优秀的持久层框架，用于简化 JDBC 开发。它通过将 Java 对象与数据库表之间的映射关系进行配置，使得开发者可以使用简单的 SQL 语句和 Java 代码来完成复杂的数据操作。MyBatis 支持自定义 SQL 语句，提供了灵…...

编程日记 2025/6/28 20:47:28

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】3.1 数据质量评估指标（完整性/一致性/准确性）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 数据质量评估核心指标：完整性、一致性、准确性实战解析3.1 数据质量评估指标体系3.1.1 完整性：数据是否存在缺失1.1.1 核心定义与业务影响1.1.2 检测…...

编程日记 2025/7/14 9:57:09

分布式系统中的 ActiveMQ：异步解耦与流量削峰（一）

一、引言 在当今数字化时代，分布式系统已成为构建大规模应用的关键架构。随着业务的快速发展和用户量的急剧增长，分布式系统面临着诸多挑战，其中异步通信、系统解耦和流量削峰是亟待解决的重要问题。 以电商系统为例，在秒杀活动中…...

编程日记 2025/6/29 6:34:04

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】2.5 事务与锁机制（ACID特性/事务控制语句）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 PostgreSQL 事务与锁机制深度解析：ACID 特性与事务控制全流程2.5 事务与锁机制2.5.1 ACID 特性与实现原理2.5.1.1 ACID 核心概念2.5.1.2 MVCC（多版本并发控制）与WAL（预写式日志）协同效应2.5.2 事务…...

编程日记 2025/6/29 6:40:28

STM32教程：ADC原理及程序（基于STM32F103C8T6最小系统板标准库开发）*详细教程*

前言： 本文章介绍了STM32微控制器的ADC外设，介绍了ADC的底层原理以及基本结构，介绍了ADC有关的标准库函数，以及如何编写代码实现ADC对电位器电压的读取。 可以根据基本结构图来编写代码 大体流程： 1、开启RCC时钟&am…...

编程日记 2025/7/14 15:10:42

RabbitMQ 深度解析：从核心组件到复杂应用场景

一.RabbitMQ简单介绍 消息队列作为分布式系统中不可或缺的组件，承担着解耦系统组件、保障数据可靠传输、提高系统吞吐量等重要职责。在众多消息队列产品中，RabbitMQ 凭借其可靠性和丰富的特性，在企业级应用中获得了广泛应用。本研究报告将全…...

编程日记 2025/6/29 7:52:06

linux 使用nginx部署ssl证书，将http升级为https

前言 本文基于：操作系统 CentOS Stream 8 使用工具：Xshell8、Xftp8 服务器基础环境： nginx - 请查看 linux 使用nginx部署vue、react项目 所需服务器基础环境，请根据提示进行下载、安装。 1.下载证书 以腾讯云为例&#xff…...

编程日记 2025/6/29 7:47:21

iview 分页改变每页条数时请求两次问题

问题 在iview page分页的时候，修改每页条数时，会发出两次请求。 iview 版本是4.0.0 原因 iview 的分页在调用on-page-size-change之前会调用on-Change。默认会先调用on-Change回到第一页，再调用on-page-size-change改变分页显示数量 此时就会…...

编程日记 2025/6/29 6:50:17

【Hive入门】Hive与Spark SQL深度集成：Metastore与Catalog兼容性全景解析

目录 引言 1 元数据管理体系架构对比 1.1 Hive Metastore架构解析 1.2 Spark Catalog系统设计 2 元数据兼容性深度剖析 2.1 元数据模型映射关系 2.2 元数据同步机制 3 生产环境配置指南 3.1 基础兼容性配置 3.1.1 Spark连接Hive Metastore 3.1.2 多引擎共享配置 3.…...

编程日记 2025/6/29 7:35:51

C#与西门子PLC通信：S7NetPlus和HslCommunication使用指南

西门子S7协议是用来和PLC进行通讯的一个协议，默认端口是102，数据会保存在一个个DB块中，比较经典的用法是一个DB块专门用来读取，一个用来写入。 DB（数据块） {块号}.DBX/DBD/DBW{字节地址}.{位偏移} 1、数据…...

编程日记 2025/7/9 11:04:35

湖北理元理律师事务所：法律科技融合下的债务管理实践

随着债务纠纷数量攀升，如何通过合法途径化解债务风险成为社会焦点。湖北理元理律师事务所作为国家司法局注册的债事服务机构，尝试以“法律技术”重构传统服务模式，为债务人提供系统性解决方案。 专业化服务架构 该律所设立客服、运营、法务…...

编程日记 2025/6/29 6:50:39

Spring Cloud Gateway MVC 基于 Spring Boot 3.4 以 WAR 包形式部署于外部 Tomcat 实战

一、引言 随着微服务架构的广泛应用，Spring Cloud Gateway 作为网关层的核心组件，为服务间的通信与流量管理提供了强大支持。spring-cloud-starter-gateway-mvc 则进一步助力开发者以熟悉的 MVC 模式进行网关开发。同时，将项目以 WAR 包形式…...

编程日记 2025/7/7 23:21:22

LLM论文笔记 27: Looped Transformers for Length Generalization

Arxiv日期：2024.9.25 关键词 长度泛化 transformer结构优化 核心结论 1. RASP-L限制transformer无法处理包含循环的任务的长度泛化 2. Loop Transformer显著提升了长度泛化能力 Input Injection 显著提升了模型的长度泛化性能，尤其在二进制加法等复杂…...

编程日记 2025/7/7 23:31:52

PCIe TLP | 报头 / 包格式 / 地址转换 / 寄存器 / 配置空间类型

注：本文为 “PCIe TLP” 相关文章合辑。 英文引文，机翻未校。 中文引文，未整理去重。 图片清晰度受引文原图所限。 略作重排，如有内容异常，请看原文。 PCIe - TLP Header, Packet Formats, Address Translation, Conf…...

编程日记 2025/6/29 6:54:43

《AI大模型应知应会100篇》第46篇：大模型推理优化技术：量化、剪枝与蒸馏

第46篇：大模型推理优化技术：量化、剪枝与蒸馏 📌 目标读者：人工智能初中级入门者 🧠 核心内容：量化、剪枝、蒸馏三大核心技术详解 实战代码演示 案例部署全流程 💻 实战平台：PyTor…...

编程日记 2025/7/14 18:35:33

C++/SDL 进阶游戏开发 —— 双人塔防（代号：村庄保卫战 20）

🎁个人主页：工藤新一 🔍系列专栏：C面向对象（类和对象篇） 🌟心中的天空之城，终会照亮我前方的路 🎉欢迎大家点赞👍评论📝收藏⭐文章 文章目录 三…...

编程日记 2025/6/29 8:20:18

【Python生成器与迭代器】核心原理与实战应用

目录 前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现案例1：自定义迭代器类案例2：生成器函数案例3：生成器表达式运行结果验证三、性能对比测试方法论量…...

编程日记 2025/6/29 5:20:13

2025年最新嵌入式开发STM32单片机详细教程（更新中）

ARM 处理器架构 ARM 处理器从 1984 ARM-1 发展到 2004 ARM-11 之后，放弃数字命名，用 cortex 来命令处理器产品。 Cortex-A系列 主打高性能 手机，平板，智能电视等 Cortex-R系列 主打实时 汽车，工业控…...

编程日记 2025/6/29 5:19:14

neatchat轻量级丝滑的ai模型web客户端

NeatChat 人工智能模型对话web客户端 前言 此项目是nextchat分支，相比原者更加简洁流畅。 部署 docker部署 name: next-chat services:chatgpt-next-web:ports:- 8080:3000environment:- OPENAI_API_KEYsk-xx543Ef3d- BASE_URLhttps://api.ai.com- GOOGLE_API_K…...

编程日记 2025/7/7 23:33:22

学习黑客分析案例

▶️ Day 2 任务 – 「怪物图鉴」实战 选一条最新安全事件（国内外均可，建议 1 年内） 例：CVE-2024-21887 Ivanti VPN RCE 用下列表格框架，3 句话归纳它的“派系”“CIA 受击点”“一句话原理”： 攻击流派…...

编程日记 2025/6/29 5:12:36

sonar-scanner在扫描JAVA项目时为什么需要感知.class文件

1 概述 SonarQube是一个静态代码分析工具，主要用于检查源代码的质量，包括代码重复、潜在漏洞、代码风格问题等。而SonarScanner是SonarQube的客户端工具，负责将代码进行形态分析，并将结果发送到SonarQube服务器。所以&#xff0c…...

编程日记 2025/7/7 23:31:52

AtCoder Beginner Contest 404（ABCDE）

A - Not Found 翻译： 给您一个字符串S，长度在1 到25 之间，由小写英文字母组成。 输出S 中没有出现的一个小写英文字母。 如果有多个这样的字母，可以输出其中任何一个。 思路： 数组记录存在于 s 中的字母。&#xff08…...

编程日记 2025/6/29 5:12:37

【言语理解】中心理解题目之结构分析

front:中心理解题目之抓住关键信息 3.1 五种常见对策表达方式 3.1.1 祈使或建议给对策 应该（应） 需要（要） eg：……。对此，媒体要做好自我规约。……。 eg：……。然而，两地仅简单承接…...

编程日记 2025/6/29 8:13:10

DeepSeek-Prover-V2-671B：AI在数学定理证明领域的重大突破

文章目录 什么是DeepSeek-Prover-V2-671B？核心技术亮点1. **超大规模参数与高效推理**2. **超长上下文窗口**3. **强化学习与合成数据** 主要应用场景1. **教育领域**2. **科学研究**3. **工程设计**4. **金融分析** 开源与商业化性能表现总结 2025年4月30日&#x…...

编程日记 2025/6/30 16:35:10

React18组件通信与插槽

1、为DOM组件设置Props 在react中jsx中的标签属性被称为Props DOM组件的类属性，为了防止与js中的class属性冲突改成了className DOM组件的style属性 import image from "./logo.svg"; function App() {const imgStyleObj {width: 200,height: 200,};re…...

编程日记 2025/6/29 5:12:34

第15章 对API的身份验证和授权

第15章 对API的身份验证和授权 在构建RESTful API时，确保只有经过身份验证和授权的用户才能访问特定资源是至关重要的。身份验证是确认用户身份的过程，而授权则是决定用户是否有权访问特定资源的过程。在本章中，我们将详细探讨如何在ASP.NET Core Web API中实现身份验证和授…...

编程日记 2025/6/29 7:49:33

【项目归档】数据抓取+GenAI+数据分析

年后这两个月频繁组织架构变动，所以博客很久没更新。现在暂时算是尘埃落定，趁这段时间整理一下。 入职九个月，自己参与的项目有4个，负责前后端开发，测试，devops（全栈/doge）&#xff…...

编程日记 2025/6/29 7:40:30

如何优化MySQL主从复制的性能？

优化MySQL主从复制的性能需要从硬件、配置、架构设计和运维策略等多方面入手。以下是详细的优化方案： 一、减少主库写入压力 1. ‌主库优化‌ 二进制日志（binlog）优化‌： 使用 binlog_formatROW 以获得更高效的复制和更少的数…...

编程日记 2025/7/9 17:45:08

asp.net客户管理系统批量客户信息上传系统客户跟单系统crm

# crm-150708 客户管理系统批量客户信息上传系统客户跟单系统 # 开发背景 本软件是给郑州某企业管理咨询公司开发的客户管理系统软件 # 功能 1、导入客户数据到系统 2、批量将不同的客户分配给不同的业务员跟进 3、可以对客户数据根据紧急程度标记不同的颜色&#xff0c…...

编程日记 2025/6/29 5:23:17

PCIe | TLP | 报头 / 包格式 / 地址转换 / 配置空间 / 寄存器 / 配置类型

注：本文为 “PCIe - TLP” 相关文章合辑。 英文引文，机翻未校。 中文引文，未整理去重。 图片清晰度受引文原图所限。 略作重排，如有内容异常，请看原文。 PCIe - TLP Header, Packet Formats, Address Translation, Co…...

编程日记 2025/6/29 5:12:40

ip和域名

好的，我来依次回答你的问题： 域名和 IP 地址是什么关系？ IP 地址 (Internet Protocol Address)：可以想象成互联网上每台设备（比如服务器、电脑、手机）的门牌号码。它是一串数字（例如 IPv4 地址 …...

编程日记 2025/6/29 6:37:41

《解锁GCC版本升级：开启编程新世界大门》

《解锁GCC版本升级：开启编程新世界大门》 一、引言：GCC 版本升级的魔法钥匙 在编程的广阔天地里，GCC（GNU Compiler Collection）宛如一座灯塔，为无数开发者照亮前行的道路。它是一款开源且功能强大的编译器集合，支持 C、C++、Objective - C、Fortran、Ada 等多种编程语言…...

编程日记 2025/6/29 5:41:54

前端跨域问题怎么在后端解决

目录 简单的解决方法： 添加配置类： 为什么会跨域 1. 什么是源 2. URL结构 3. 同源不同源举🌰 同源例子 不同源例子 4. 浏览器为什么需要同源策略 5. 常规前端请求跨域 简单的解决方法： 添加配置类： packag…...

编程日记 2025/6/29 7:55:24

生成式 AI 的工作原理

在科技浪潮汹涌澎湃的当下，生成式 AI 宛如一颗璀璨的新星，照亮了我们探索未知的征程。它不再仅仅是科幻电影中的幻想，而是已经悄然融入我们生活的方方面面，从智能客服的贴心应答，到艺术创作的天马行空，生成式 AI 正以一种前所未有的姿态重塑着世界。然而，你是否曾好奇，…...

编程日记 2025/6/29 5:28:43

DeepSeek辅助学术写作之修订与校稿以及发表与推广相关提示词分享祝你顺利毕业~

目录 1.修订与校对 2.发表与推广 大家好这里是AIWritePaper官方账号，官网👉AIWritePaper~ 宝子们可以使用小编精选的“ChatGPT研究论文提示词”集合来创建研究论文。利用ChatGPT的智能回应生成详尽有效的内容，这样可以加快研究论文的策划、…...

编程日记 2025/7/8 23:15:19

叠层阻抗线框

1.阻抗介绍 特性阻抗：又称“特征阻抗”，它不是直流电阻，属于长线传输中的概念。在高频范围内，信号传输过程中，信号沿到达的地方，信号线和参考平面（电源或地平面）间由于电场的建立&am…...

编程日记 2025/6/29 7:17:48

大数据：驱动技术创新与产业转型的引擎

📝个人主页🌹：慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 在全球数字化转型的浪潮中，大数据已经成为推动各行各业革新的核心力量。随着信息技术的迅猛发展，数据的收集、存储、处理和分析能力不断提升，大数据不仅改变了企业的运营模式，更引领了技术创新和产业结构…...

编程日记 2025/6/29 5:55:05

C++继承基础总结

引言 在编写多个类时，类之间可能会存在多个相同的成员变量，导致代码冗余度过高，C继承的出现，使得我们可以在已有类的基础上构建新类，从而实现代码复用与结构扩展。 一、继承的基本概念 继承是指子类（派生…...

编程日记 2025/6/29 6:19:47

2025年斯诺克世锦赛——“75三杰”在1/4决赛作为对手的概率

“在最近的斯诺克世锦赛中，中国两名球员成功挺进前8强。此外，前8强也出现令人感慨的一幕：75三杰全部进入到了八强，这也是历史第5次，50岁正是打拼的年纪！传奇之旅继续！”——摘自50岁正是打拼的年…...

编程日记 2025/6/29 5:43:00

Python绘制地球的重力地图

文章目录 Boule重力地图从ensaio下载重力数据Boule boule中定义了多种参考椭球，可用于表示地球、火星等星体的重力分布。可通过pip安装 pip install bouleboule中已经定义的椭球如下 椭球GRS80WGS84MARSMERCURYMOONVENUSVESTA星体地球地球火星水星月球金星灶神星这些椭球可直…...

编程日记 2025/6/29 7:50:06

多端定制系统开发：打造高效全平台覆盖的APP解决方案

在移动互联网时代，用户需求日益多样化，企业若想触达更广泛的受众，仅靠单一平台的应用已远远不够。无论是iOS、Android、Web端，还是智能手表、车载设备等新兴终端，多端适配已成为企业数字化转型的刚需。多端定制系统开发…...

编程日记 2025/6/29 7:19:42

WGDI-分析WGD及祖先核型演化的集成工具-文献精读126

WGDI: A user-friendly toolkit for evolutionary analyses of whole-genome duplications and ancestral karyotypes WGDI：一款面向全基因组重复事件与祖先核型演化分析的易用工具集 摘要 在地球上大多数主要生物类群中，人们已检测到全基因组复制&…...

编程日记 2025/6/29 5:12:41

旋转矩阵公式理解

这里给出其中一种理解方法： 设原始直角坐标系下的坐标为(x,y)，我们可以将它分解为两个向量(x,0)和(0,y)。接下来将两个向量分别顺时针旋转θ度，二者就会分别变成：(xcosθ,xsinθ)和(-ysinθ,ycosθ)。 也就是说，二者…...

编程日记 2025/6/29 5:12:44

网络Tips20-002

1..某主机接口的IP地址为192.16.7.131/26.则该IP地址所在网络的广播地址是：192 16.7.191 广播地址是指在特定网络上发送广播消息的地址。它用于向网络上的所有设备发送信息。 方法1：广播地址掩码取反和网络地址的或运算 方法2：广播地址将网…...

编程日记 2025/6/29 8:22:04

firewall docker 冲突问题解决（亲测有效）

# 关闭iptables，使用firewall systemctl disable iptables # 禁用服务 systemctl stop iptables # 关闭服务 systemctl status iptables # 查看服务状态 systemctl enable firewalld # 设置防火墙开机自启动 systemctl start firewalld # 开启服务 systemctl s…...

编程日记 2025/6/29 5:12:43

SwiftUI-MLX本地大模型开发（二）

介绍 在 SwiftUI-MLX本地大模型开发一文中，我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题： MLX 内置的大模型数量有限。每次大模型都需要从 HuggingFace 下载。 如何解决这 2 个问题，方案是&#xff1a…...

编程日记 2025/6/28 20:04:45