当前位置：首页 > news >正文

Flink介绍与安装

news 来源：原创 2025/8/4 8:20:14

Apache Flink是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。

一、主要特点和功能

1. 实时流处理:

低延迟: Flink 能够以亚秒级的延迟处理数据流，非常适合对时间敏感的应用，如实时分析、监控和告警系统。
状态管理: Flink 提供了对状态的内置支持，使得开发有状态的流式处理应用变得容易，如窗口操作、复杂事件处理等。

2. 批处理和流处理的统一:

Flink 既可以用于流处理，也可以用于批处理，允许用户在一个框架中编写应用程序，而不必在批处理和流处理之间切换。

事件时间处理: Flink 支持事件时间语义，可以基于数据本身的时间戳进行处理，而不是数据到达的时间，这对于处理无序数据流非常重要。

// scala table api
// 引入 Flink 的批处理环境
val env = ExecutionEnvironment.getExecutionEnvironment//批处理: 读取文本文件
env.readTextFile("data/words.txt")// 处理数据: 切换、转换、分组、聚合.flatMap(_.replaceAll("[^a-zA-Z ]", "").split("\\s+")).map((_, 1)).groupBy(0).sum(1)// 输出.print()

// 引入 Flink 的流处理环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
// 有界流处理: 文件数据
env.readTextFile("data/words.txt").flatMap(_.replaceAll("[^a-zA-Z ]", "").split("\\s+")).map((_, 1)).keyBy(_._1).sum(1).print()// 无界流处理: Socket 
env.socketTextStream("nodeIp", 9999).flatMap(_.replaceAll("[^a-zA-Z ]", "").split("\\s+")).map((_, 1)).keyBy(_._1).sum(1).print()// 执行 Flink 作业，并给它命名
env.execute("Word Count Example")

3. 高度可扩展性:

Flink 能够在大规模分布式集群上运行，处理从几千到上百万个事件每秒的数据流。
弹性和容错: Flink 使用检查点和保存点机制来提供容错能力，确保在发生故障时可以从之前的状态恢复，减少数据丢失。

4. 支持多种数据源和接收器:

Flink 能够与多种数据源和接收器集成，如 Kafka、HDFS、Cassandra、Elasticsearch 等，使其可以轻松地处理和存储来自不同系统的数据。

5. 丰富的 API 和库:

DataStream API: 用于流处理，允许开发者定义复杂的数据流处理逻辑。
DataSet API: 用于批处理，提供了丰富的操作符来处理静态数据集(将在 Flink 2.0 版本被删除如何迁移 DataSet 到 DataStream | Apache Flink)
Table API 和 SQL: 提供了一个更高级别的 API，允许开发者使用 SQL 查询来处理数据流和数据集。
机器学习和图处理库: Flink 提供了机器学习库（FlinkML）和图处理库（Gelly），适用于高级分析任务。

6. 部署灵活性:

Flink 可以部署在多种环境中，如独立集群、YARN、Kubernetes、Mesos 以及本地环境中。
流批一体: Flink 支持将批处理和流处理集成到同一个应用程序中，简化了部署和管理。

7. 社区与生态系统:

Flink 由一个活跃的开源社区维护和发展，生态系统日益壮大，支持越来越多的第三方工具和集成。

典型应用场景

实时数据分析: Flink 可用于处理实时事件流，提供实时分析、告警和监控。
复杂事件处理: Flink 能够处理和识别复杂事件模式，用于金融监控、欺诈检测等。
日志处理: 可以实时处理和分析来自各种系统的日志数据，提取有价值的信息。
机器学习: Flink 的流处理能力可以用于实时更新机器学习模型，或在流数据上直接进行预测。

Apache Flink 适用于各种需要实时和批处理的应用程序，尤其是在处理大规模数据流时表现出色。·

二、Flink下载，集群安装配置

官方下载地址：Downloads | Apache Flink

1. 下载、解压、配置环境变量

wget https://dlcdn.apache.org/flink/flink-1.20.0/flink-1.20.0-bin-scala_2.12.tgztar -zxvf flink-1.20.0 -C /opt/softwarevim /etc/profile.d/myenv.sh
# FLINK_HOME=...
# PAHT=$PATH:$FLINK_HOME/bin

2. 进入 Flink 配置目录：

cd $FLINK_HOME/conf

3. 编辑 `masters` 文件：

在文件中指定 JobManager 的主机名或 IP 地址。如果有多个 JobManager（用于高可用性），每个 JobManager 使用一行。

vim masters

# 格式如下
<JobManager1>:<port>
<JobManager2>:<port>  # 如果有高可用性设置# 示例
master01:8081
master02:8081

4. 编辑 `workers` 文件：

在文件中列出所有 TaskManager 的主机名或 IP 地址，每个 TaskManager 使用一行

vim workers

# 格式如下
<TaskManager1>
<TaskManager2># 示例
worker01
worker02

5. 编辑 `flink-conf.yaml` 文件：

flink-conf.yaml 是 Flink 的主要配置文件，用于配置各种集群参数。

vim flink-conf.yaml

# 指定 JobManager 的 RPC 服务监听的地址
jobmanager.rpc.address: 
# 指定 JobManager 在所有网络接口上进行绑定
jobmanager.bind-host: 0.0.0.0# 指定 TaskManager 进程的外部地址
taskmanager.host: master01				# 每台机器这里不同，其他相同
# 指定 TaskManager 绑定的网络接口
taskmanager.bind-host: 0.0.0.0# 指定 Flink 集群中 REST API 服务的外部地址
rest.address: master01
# 指定 REST API 服务在所有网络接口上进行绑定。
rest.bind-address: 0.0.0.0

以下看需配置

# TaskManager 内存：
taskmanager.memory.process.size: 1024m# TaskManager 的槽位数：
taskmanager.numberOfTaskSlots: 4# 高可用性配置（如果需要高可用性）：
high-availability.type: zookeeper
high-availability.zookeeper.quorum: localhost:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one
high-availability.storageDir: hdfs:///flink/recovery
state.checkpoints.dir:  hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/savepoints# 并行度：
parallelism.default: 4# 日志配置：
taskmanager.log.dir: /var/log/flink# HDFS 配置：
fs.default-scheme: hdfs://namenode:9000

6. 启动 Flink 集群

$FLINK_HOME/bin/stop-cluster.sh
$FLINK_HOME/bin/start-cluster.sh

7. 提交Flink任务

在这里插入图片描述

Flink介绍与安装

Apache Flink是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。一、主要特点和功能 1. 实时流处理: 低延迟: Flink 能够以亚秒级的延迟处理数据流，非常…...

编程日记 2025/8/4 8:20:14

《双指针算法指南：LeetCode 经典题解（C++实现）》

《双指针算法指南：LeetCode 经典题解（C实现）》 —— 从快慢指针到对撞指针，刷题效率提升 200%！ 常⻅的双指针有两种形式，⼀种是对撞指针，⼀种是左右指针。对撞指针： ⼀般⽤于顺…...

编程日记 2025/8/4 8:16:51

kaggle上经典泰坦尼克项目数据分析探索

之前了解在kaggle上这个项目很火，最近想要加强一下python数据分析，所以在kaggle上找到这个项目进行学习探索，下面是将一些学习资料以及过程整理出来。一、首先我们了解一下项目背景以及如何找到这个项目。 kaggle项目地址: https://www.k…...

编程日记 2025/8/4 8:16:49

【深度学习】多目标融合算法（五）：定制门控网络CGC（Customized Gate Control）

目录一、引言二、CGC（Customized Gate Control，定制门控网络） 2.1 技术原理 2.2 技术优缺点 2.3 业务代码实践 2.3.1 业务场景与建模 2.3.2 模型代码实现 2.3.3 模型训练与推理测试 2.3.4 打印模型结构三、总结一、引言上一…...

编程日记 2025/8/4 8:12:58

Ubuntu上查看GPU使用情况并释放内存

先用nvidia-smi查看GPU当前使用情况再用fuser 命令查找对应显卡上占用 GPU 的进程最后查到了用kill -9强制杀掉进程（PID）即可...

编程日记 2025/7/21 23:03:17

大数据学习栈记——HBase安装

本文介绍大数据技术中流行的非关系型数据库HBase的安装，操作系统：Ubuntu24.04 安装Zookeeper 安装HBase前需要先安装Zookeeper，HBase使用Zookeeper作为其分布式协同服务，存储了HBase集群的元数据信息，并提供了分布式…...

编程日记 2025/8/4 8:16:16

[入门]NUC13配置Ubuntu20.04详细步骤

文章目录 1. 安装Ubuntu20.041.1 制作系统启动盘1.1.1 下载镜像文件1.1.2 配置启动盘 1.2 安装内存条、硬盘1.3 安装系统 2. 网卡驱动配置2.1 关闭安全启动2.2 安装intel官方网卡驱动backport2.2.1 第四步可能会出现问题 2.3 ubuntu官方的驱动2.4 重启 3. 软件安装3.1 录屏软件…...

编程日记 2025/8/4 8:15:09

【实战指南】用MongoDB存储文档和图片等大文件（Java实现）

一、前言在现代应用开发中，经常需要处理和存储大量的文档、图片等大文件。传统的关系型数据库在处理这类大文件时，往往会面临性能瓶颈、存储成本高等问题。而 MongoDB 作为一款流行的 NoSQL 数据库，提供了 GridFS 规范，能够很好地解决大文件存储的问题。GridFS 可以将大文…...

编程日记 2025/8/3 21:28:52

使用Gitee Go流水线部署个人项目到服务器指南

使用Gitee Go流水线部署个人项目到服务器指南前言！！！ 本文解决的问题： 你有一台ECS服务器，你在上面部署了一个Java服务也就是一个jar，你觉着你每次手动本地打包，上传，在通过命令去…...

编程日记 2025/8/1 15:11:29

使用Three.js渲染器创建炫酷3D场景

引言在当今数字化的时代，3D图形技术正以其独特的魅力在各个领域掀起波澜。从影视制作到游戏开发，从虚拟现实到网页交互，3D场景以其强烈的视觉冲击力和沉浸式的体验，成为了吸引用户、传达信息的重要手段。而Three.js，…...

编程日记 2025/8/4 8:12:58

Spring Boot 集成 Elasticsearch怎样在不启动es的情况下正常启动服务

解释在spingboot 集成es客户端后，每当服务启动时，服务默认都会查看es中是否已经创建了对应的索引，如果没有索引则创建。基于上面的规则我们可以通过配置不自动创建索引来达到在没有es服务的情况下正常启动服务。解决办法在entity类的Docu…...

编程日记 2025/8/4 8:15:11

明远智睿SD2351核心板：多接口融合，破解边缘计算难题

在边缘计算领域，明讯智睿SD2351核心板凭借丰富的接口资源与异构计算架构，成为工业网关与智能终端的理想选择。硬件配置升级 :处理器:四核Cortex-A35，256KB L2缓存，动态调频降低功耗;存储性能:emMC 5.0 HS400模式读写速度提升40%&a…...

编程日记 2025/8/4 8:16:17

xampp安装教程与配置

一、安装 XAMPP （一）下载访问官网：打开浏览器，访问 XAMPP 官方网站（https://www.apachefriends.org/zh_cn/index.html）。选择版本：根据你的操作系统（Windows、macOS 或 Linux&am…...

编程日记 2025/8/4 8:15:11

设计模式之单例模式（Singleton Pattern）

单例模式（Singleton Pattern）是一种常用的设计模式，确保一个类只有一个实例，并提供一个全局访问点。单例模式在许多场景中非常有用，例如配置管理、日志记录、线程池等。 ### **1. 单例模式的特点** 1. **唯一实例**&a…...

编程日记 2025/8/4 8:12:58

Androidstudio实现引导页文字动画

文章目录 1. 功能需求2. 代码实现过程1. 编写布局文件2. 实现引导页GuideActivity 3. 总结4. 效果演示5. 关于作者其它项目视频教程介绍 1. 功能需求 1、引导页具有两行文字（“疫情在前”和“共克时艰”），和向上的图标。 2、进入【引导页】…...

编程日记 2025/8/2 16:43:58

【linux】线程概念与控制

引言当现代CPU的晶体管密度逼近物理极限，多核架构已成为突破性能瓶颈的必由之路。在这个计算密集型任务与异步IO需求并行的时代，多线程编程不再是可选项，而是开发者必须掌握的核心技能。Linux作为承载着全球90%云计算负载的操作系统&#xf…...

编程日记 2025/8/4 8:14:04

Cesium 自定义路径导航材质

cesium 自定义路径导航纹理图片随便更换，UI 提供设计图片即可达到效果； 打开小马的weix 关注下搜索“技术链” 回复关键词《《路径》》获取原始代码； 拿到就能用轻松解决！帮忙点个关注吧！...

编程日记 2025/7/8 23:07:32

用 pytorch 从零开始创建大语言模型（五）：预训练无标注数据

用 pytorch 从零开始创建大语言模型（五）：预训练无标注数据 5 预训练无标注数据5.1 评估文本生成模型5.1.1 使用 GPT 生成文本5.1.2 计算文本生成损失5.1.3 计算训练集和验证集的损失 5.2 训练 LLM5.3 解码策略以控制随机性5.3.1 温度缩放&am…...

编程日记 2025/8/4 8:19:12

[AI速读]混合验证方案：如何高效解决RISC-V向量扩展的验证难题

RISC-V作为一种开源指令集架构，近年来在AI和高性能计算领域备受关注。其向量扩展（RVV）为处理并行数据提供了强大的支持，但复杂的异常处理和冒险检测机制也带来了验证上的巨大挑战。本文将结合一篇技术论文，解析一种混合验证方案，帮助开发者更高效地解决RVV的验证问题。一…...

编程日记 2025/8/4 8:16:18

模型空间、图纸空间、布局（Layout）之间联系——CAD c#二次开发

在 AutoCAD 的二次开发中，**模型空间（Model Space）**、**图纸空间（Paper Space）** 和 **布局（Layout）** 是三个核心概念，它们的关系及开发中的操作逻辑如下： --- 1. 模…...

编程日记 2025/8/1 12:15:09

Linux 日常开发常用命令（解释-全）

帮助类 #查看cd命令的帮助信息 [rootcentos100 ~] help cd # 查看网卡配置信息 [rootcentos100 ~] ifconfig # 检测到目标主机是否连接正常 [rootcentos100 ~] ping IP地址[rootcentos100 ~] ssh [-p port] userremote #远程登录user 是在远程机器上的用户名，如果…...

编程日记 2025/7/13 1:09:35

数据库监控：确保业务连续性和用户体验

在数字化时代，数据库作为企业的数据心脏，其重要性不言而喻。无论是交易系统、客户关系管理系统，还是数据分析平台，都离不开数据库的支撑。然而，数据库的运行状态和性能直接影响着企业的业务连续性和用户体验。因此&…...

编程日记 2025/7/30 1:12:39

Java面试黄金宝典9

1. Redis 持久化机制 Redis 提供了两种主要的持久化机制：RDB（Redis Database）和 AOF（Append Only File），下面对这两种机制进行详细介绍。 RDB（Redis Database） 原理：RDB …...

编程日记 2025/8/4 8:18:32

【C#】WinForm自定义控件及窗体

前言 WinForm（Windows Forms）是Microsoft.NET框架中的技术，用于开发Windows桌面应用程序。它提供了一套丰富的控件和组件。通过拖放控件、编写事件处理程序等方式快速构建用户界面。通过属性窗口定制这些控件的外观和行为。通过数据绑定&am…...

编程日记 2025/8/4 8:16:50

VideoHelper 油猴脚本，重塑你的视频观看体验

VideoHelper 油猴脚本，重塑你的视频观看体验在日常上网看视频时，你是否也被这些问题困扰：视频网站开头的广告又臭又长，找个合适的播放倍速要在一堆选项里翻半天，每次手动调音量、点全屏按钮繁琐又影响沉浸感&#xf…...

编程日记 2025/8/3 17:35:47

从收藏夹到知识图谱：书签管理器如何重塑你的信息获取方式？

在信息爆炸的今天，浏览器收藏夹早已沦为 “数字垃圾堆”—— 杂乱无章的网址、重复的标签、过期的链接，不仅降低效率，更成为信息焦虑的源头。智能书签管理器通过AI分类、跨平台同步、隐私保护等黑科技，重塑您的数字生活方式。书签…...

编程日记 2025/8/1 17:28:03

SOFABoot-07-版本查看

前言大家好，我是老马。 sofastack 其实出来很久了，第一次应该是在 2022 年左右开始关注，但是一直没有深入研究。最近想学习一下 SOFA 对于生态的设计和思考。 sofaboot 系列 SOFABoot-00-sofaboot 概览 SOFABoot-01-蚂蚁金服开源的 s…...

编程日记 2025/8/4 1:30:23

[极客大挑战 2019]Http_3.19BUUCTF练习day3(1)

BUUCTF练习day3(1)_[极客大挑战 2019]Http 打开靶场，查看源码(如果在做题时没有什么发现就查看源码) 打开Secret.php提示没有来自https://Sycsecret.buuoj.cn 添加Referer头为https://Sycsecret.buuoj.cn（提示说我们没有来自那个网址，那我们…...

编程日记 2025/7/11 20:18:57

golang Error的一些坑

golang Error的一些坑 golang error的设计可能是被人吐槽最多的golang设计了。最经典的err!nil只影响代码风格设计，而有一些坑会导致我们的程序发生一些与我们预期不符的问题，开发过程中需要注意。 errors.Is判断error是否Wrap不符合预期 …...

编程日记 2025/8/3 1:15:50

弱网测试：全链路实战、高阶策略与自动化落地

在移动互联网时代，网络环境的不确定性成为用户体验的“隐形杀手”。弱网测试不仅是质量保障的必备环节，更是提升用户留存率和业务转化率的战略手段。本文将从工具链深度配置、复杂场景模拟、性能优化底层逻辑和自动化流水线集成四个维度，彻底解析弱网测试的完整方法论…...

编程日记 2025/8/4 8:20:14

Ubuntu检查并启用 Nginx 的stream模块或重新安装支持stream模块的Nginx

stream 模块允许 Nginx 处理 TCP 和 UDP 流量，常用于负载均衡和端口转发等场景。本文将详细介绍如何检查 Nginx 是否支持 stream 模块，以及在需要时如何启用该模块。 1. 检查 Nginx 是否支持 stream 模块首先，需要确认当前安装的 Nginx 是…...

编程日记 2025/8/4 8:18:31

1. 找到php7.4的pecl目录一般在这个位置 cd /usr/local/Cellar/php7.4/7.4.33_8/pecl/20190902 ls 一下有个 redis.so 于是直接去php.ini编辑了 php.ini的路径 vim /usr/local/etc/php/7.4/php.ini 把938行添加进去然后重启一下 php7.4 brew services restart ph…...

编程日记 2025/8/3 18:12:41

Redis 内存管理

Redis 内存管理 1. Redis 给缓存数据设置过期时间的作用给缓存数据设置过期时间（TTL, Time-To-Live）有以下几个重要作用： (1) 自动释放内存避免缓存数据无限增长，导致 Redis 内存溢出。例如，在会话管理、短连接…...

编程日记 2025/8/4 8:10:20

学习CSS滤镜属性 `filter: invert()`

一、核心机制数学原理 invert(1) 对每个像素的RGB通道执行颜色反相计算： 新通道值 255 - 原通道值例如 rgb(255,0,0)（纯红）会转换为 rgb(0,255,255)（青色）。透明度处理该滤镜会保留元素的Alpha通道（…...

编程日记 2025/8/4 8:18:31

网络空间安全专业发展历程及开设院校

一、专业发展历程 1. 早期探索阶段（1990年代末—2000年代初） （1）背景： 1990年代互联网进入中国，计算机病毒、黑客攻击等问题逐渐显现，社会对信息安全人才的需求开始萌芽。 （2&…...

编程日记 2025/8/4 8:10:39

Linux中mutex机制

在Linux中，mutex是一种用于多线程编程的同步机制，用于保护共享资源，防止多个线程同时访问或修改这些资源，从而避免竞态条件的发生。mutex 是“mutual exclusion”的缩写，意为“互斥”。 1. Mutex 的基本概念互斥锁&…...

编程日记 2025/7/28 14:27:35

Web网页

1.结构与表现分离 HTML用于结构 css用于表现，增加了丰富的样式效果，极大满足了开发者的需求选择器；用于指定css样式作用的html对象{}选择某个属性 p标签 color;本颜色 font-size:子属性字大小 font-family；字体 font-…...

编程日记 2025/7/29 10:25:56

Redis 在windows下的下载安装与配置

参考链接:https://developer.aliyun.com/article/1395346 下载 Redis 访问 Redis 下载地址：https://github.com/tporadowski/redis/releases 下载 Redis 时，你可以选择 ZIP 包或 MSI 安装： ZIP包：需要手动解压、初始化、配置和…...

编程日记 2025/8/2 20:01:52

基于随机森林回归预测葡萄酒质量

基于随机森林回归预测葡萄酒质量 1.作者介绍2.随机森林算法与数据集介绍2.1定义2.2核心思想2.3主要步骤2.4数据集介绍 3.算法实现3.1数据加载与探索3.2数据可视化3.3数据预处理（标准化、划分训练/测试集）3.4模型训练与优化（随机森林回归超参…...

编程日记 2025/8/4 8:20:14

在大数据开发中ETL是指什么？

hello宝子们...我们是艾斯视觉擅长ui设计和前端数字孪生、大数据、三维建模、三维动画10年经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩! 在数字经济时代，数据已成为企业最核心的资产。然而，分散在业务系统、日志文件…...

编程日记 2025/7/29 0:58:37

Centos操作系统安装及优化

Centos操作系统安装及优化零、环境概述主机名 centos版本 cpu 内存 Vmware版本 ip地址 test CentOS Linux release 7.6.1810 (Core) 2C 2G 15.5.1 10.0.0.10 一、介质下载 1、7.6版本下载 CentOS7.6标准版下载链接： https://archive.kernel.org/centos-vault/7.6.1810/i…...

编程日记 2025/7/29 23:43:47

2025年03月10日人慧前端面试（外包滴滴）

目录普通函数和箭头函数的区别loader 和 plugin 的区别webpack 怎么实现分包，为什么要分包webpack 的构建流程变量提升react 开发中遇到过什么问题什么是闭包vue 开发中遇到过什么问题vue中的 dep 和 watcher 的依赖收集是什么阶段什么是原型链react setState 是同…...

编程日记 2025/8/1 5:43:56

NLP高频面试题（十）——目前常见的几种大模型架构是啥样的

深入浅出：目前常见的几种大模型架构解析随着Transformer模型的提出与发展，语言大模型迅速崛起，已经成为人工智能领域最为关注的热点之一。本文将为大家详细解析几种目前常见的大模型架构，帮助读者理解其核心差异及适用场景。 1…...

编程日记 2025/8/4 8:19:12

【数据结构】栈(Stack)、队列(Queue)、双端队列(Deque) —— 有码有图有真相

目录栈和队列 1. 栈（Stack） 1.1 概念 1.2 栈的使用（原始方法） 1.3 栈的模拟实现【小结】 2. 栈的应用场景 1、改变元素的序列 2、将递归转化为循环 3、逆波兰表达式求值 4、括号匹配 5、出栈入栈次序匹配 6、最小栈…...

编程日记 2025/7/30 1:22:43

windows清除电脑开机密码，可保留原本的系统和资料，不重装系统

前言很久的一台电脑没有使用了，开机密码忘了，进不去系统方法 1.将一个闲置u盘设置成pe盘（注意，这个操作会清空原来u盘的数据，需要在配置前将重要数据转移走，数据无价，别因为配置这个丢了重…...

编程日记 2025/8/4 6:48:18

NLP高频面试题（九）——大模型常见的几种解码方案

大模型常见的几种解码方案在自然语言生成任务中，如何从模型生成的概率分布中选择合适的词汇，是影响文本质量的关键问题。常见的解码方法包括贪心搜索（Greedy Search）、束搜索（Beam Search）、随机采样&…...

编程日记 2025/8/4 8:19:12

「低延迟+快速集成：Amazon IVS如何重塑实时互动视频体验？」

引言：实时视频的爆发与开发痛点随着直播电商、在线教育、云游戏的兴起，实时视频互动成为用户体验的核心。但自建视频服务面临高成本、高延迟、运维复杂等挑战。Amazon IVS（Interactive Video Service）作为亚马逊云科技推出的全托…...

编程日记 2025/8/4 8:16:51

JVM垃圾回收笔记02-垃圾回收器

文章目录前言1.串行(Serial 收集器/Serial Old 收集器)Serial 收集器Serial Old 收集器相关参数-XX:UseSerialGC 2.吞吐量优先(Parallel Scavenge 收集器/Parallel Old 收集器)Parallel Scavenge 收集器Parallel Old 收集器相关参数-XX:UseParallelGC ~ -XX:UseParallelOldGC-…...

编程日记 2025/7/30 1:02:15

Agent Team 多智能体系统解析

引言在人工智能技术高速发展的今天，"多智能体协作系统"（Agent Team）正成为突破效率瓶颈的关键技术。与传统的单体AI不同，这种由多个专业化智能体组成的协同网络，通过分工协作和动态调整，展现出…...

编程日记 2025/7/29 7:02:59

LintCode第1712题 - 和相同的二元子数组

描述在由若干 0 和 1 组成的数组 A 中，有多少个和为 S 的非空子数组样例 1: 输入：A [1,0,1,0,1], S 2 输出：4 解释： 如下面黑体所示，有 4 个满足题目要求的子数组： [1,0,1] [1,0,1] [1,0,1,0] [0,1,…...

编程日记 2025/7/30 1:14:12

一、主要特点和功能

1. 实时流处理:

2. 批处理和流处理的统一:

3. 高度可扩展性:

4. 支持多种数据源和接收器:

5. 丰富的 API 和库:

6. 部署灵活性:

7. 社区与生态系统:

典型应用场景

二、Flink下载，集群安装配置

1. 下载、解压、配置环境变量

2. 进入 Flink 配置目录：

3. 编辑 masters 文件：

4. 编辑 workers 文件：

5. 编辑 flink-conf.yaml 文件：

6. 启动 Flink 集群

7. 提交Flink任务

相关文章：

3. 编辑 `masters` 文件：

4. 编辑 `workers` 文件：

5. 编辑 `flink-conf.yaml` 文件：