当前位置： 首页 > news >正文

Spark Streaming核心编程总结（四）

news 来源：原创 2025/6/7 23:43:56

 一、有状态转化操作：UpdateStateByKey
概念与作用
UpdateStateByKey 用于在流式计算中跨批次维护状态（如累加统计词频）。它允许基于键值对形式的DStream，通过自定义状态更新函数，将历史状态与新数据结合，生成包含最新状态的DStream。

实现步骤
1. 定义状态类型：状态可以是任意数据类型（如示例中的Int类型）。
2. 定义状态更新函数：接收当前批次的数据序列和旧状态，返回新状态。
 

val updateFunc = (values: Seq[Int], state: Option[Int]) => {
val currentCount = values.sum
val previousCount = state.getOrElse(0)
Some(currentCount + previousCount)
}



3. 配置检查点目录：必须设置检查点以持久化状态，确保容错性。

ssc.checkpoint("./ck")


4. 应用操作：通过updateStateByKey将函数作用于键值对DStream。

val stateDStream = pairs.updateStateByKey[Int](updateFunc)



 二、窗口操作：WindowOperations
概念与作用
窗口操作基于时间窗口动态处理数据，适用于滑动统计（如最近12秒内的词频）。需定义两个参数：
 窗口时长：计算的时间范围（如Seconds(12)）。
 滑动步长：触发计算的间隔（如Seconds(6)）。

实现示例

val wordCounts = pairs.reduceByKeyAndWindow(
(a: Int, b: Int) => a + b, // 聚合函数
Seconds(12), // 窗口时长
Seconds(6) // 滑动步长
)


 三、DStream输出操作
输出操作触发DStream的实际计算，支持多种数据落地方式：

1. 基础输出
 print()：打印每批次前10个元素，用于调试。
 saveAsTextFiles / saveAsObjectFiles / saveAsHadoopFiles：将数据保存为文本、序列化文件或Hadoop格式。

2. 通用输出：foreachRDD
允许对每个RDD执行自定义操作（如写入数据库）。需注意：
 连接管理：避免在Driver端创建连接（序列化问题），应在foreachPartition中按分区创建。
 资源优化：每个分区建立一次连接，而非每条数据，减少开销。

示例：

wordCounts.foreachRDD { rdd =>
rdd.foreachPartition { partition =>
val connection = createDatabaseConnection()
partition.foreach(data => connection.write(data))
connection.close()
}
}

相关文章：

Spark Streaming核心编程总结（四）

一、有状态转化操作：UpdateStateByKey 概念与作用 UpdateStateByKey 用于在流式计算中跨批次维护状态（如累加统计词频）。它允许基于键值对形式的DStream，通过自定义状态更新函数，将历史状态与新数据结合，生…...

编程日记 2025/6/3 17:25:43

虚拟数字人：从虚拟到现实的跨越与未来展望

在人工智能和数字技术飞速发展的今天，虚拟数字人（Digital Humans）正逐渐从科幻走向现实，成为科技领域的新焦点。虚拟数字人不仅在娱乐、教育、客服等领域展现出巨大的应用潜力，还在不断推动着人机交互方式的变革。本文…...

编程日记 2025/5/26 7:23:29

RuoYi-Vue项目Docker镜像构建、推送与部署完整流程

RuoYi-Vue项目Docker镜像构建、推送与部署流程 一、本地构建镜像 1. 使用docker-compose构建镜像 基于docker-compose.yml文件，可以一次构建所有服务镜像： # 构建所有服务 docker-compose build# 或者构建并启动 docker-compose up -d --build若只需…...

编程日记 2025/5/29 11:23:23

MyBatis DTD [Element type “if“ must be declared]

MyBatis DTD [Element type "if" must be declared] <?xml version"1.0" encoding"UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"&g…...

编程日记 2025/5/16 7:11:40

【项目实训个人博客】multi-agent调研（1）

随着LLM的涌现&#xff0c;以LLM为中枢构建的Agent系统在近期受到了广泛的关注。Agent系统旨在利用LLM的归纳推理能力&#xff0c;通过为不同的Agent分配角色与任务信息&#xff0c;并配备相应的工具插件&#xff0c;从而完成复杂的任务。 目前更常见的框架大多聚焦于single-ag…...

编程日记 2025/5/29 15:24:19

OpenSSH配置连接远程服务器MS ODBC驱动与Navicat数据库管理

OpenSSH配置连接远程服务器MS ODBC驱动与Navicat数据库管理 目录 OpenSSH配置连接远程服务器MS ODBC驱动与Navicat数据库管理 一、MS ODBC驱动 1.1、安装到Windows后的表现形式 1.2、版本的互斥性 1.3、安装程序 1.4、配置后才可用 二、Navicat数据库管理工具 2.1、安…...

编程日记 2025/5/27 5:24:17

Day14(链表)——LeetCode234.回文链表141.环形链表

1前言 这几天脑子真转不动&#xff0c;本想刷点简单题养养脑子&#xff0c;结果发现简单题也想不到&#xff0c;只是看答案好理解了。。。 2 LeetCode234.回文链表(LeetCode234) 2.1 题目描述 即判断链表是否为回文链表&#xff0c;回文链表即链表的数值正向遍历与反向遍历结…...

编程日记 2025/5/19 9:19:06

Centos 7.6安装redis-6.2.6

1. 安装依赖 确保系统已经安装了必要的编译工具和库&#xff1a; sudo yum groupinstall "Development Tools" -y sudo yum install gcc make tcl -y 2. 解压 Redis 源码包 进入 /usr/local/ 目录并解压 redis-6.2.6.tar.gz 文件&#xff1a; cd /usr/local/ sudo ta…...

编程日记 2025/6/3 3:00:55

react的 Fiber 节点的链表存储

在React Fiber架构中&#xff0c;Fiber节点的链表存储是一种重要的数据结构组织方式&#xff0c;用于管理和遍历Fiber节点。以下是关于Fiber节点链表存储的详细介绍&#xff1a; 链表结构 单链表&#xff1a;React Fiber节点通过next指针形成单链表结构。每个Fiber节点都有一…...

编程日记 2025/6/4 14:10:13

MCU ADC参考电压变化怎么办？

在嵌入式系统设计中&#xff0c;ADC&#xff08;模数转换器&#xff09;精度直接决定了系统对模拟信号的感知能力。 然而&#xff0c;很多工程师对ADC参考电压&#xff08;VREF&#xff09;的认识仍然存在模糊&#xff0c;尤其是在电池供电、电压不稳场景下。 ADC参考电压定义…...

编程日记 2025/5/4 1:41:26

IP地址与子网计算工具

IP地址与子网计算工具 工具介绍 这是一个免费的在线IP地址与子网计算工具&#xff0c;专为网络工程师和IT维护人员设计。只需输入IPv4地址和子网掩码位数&#xff0c;即可快速计算出&#xff1a; 工具已发布在: http://mutou888.com/tools/net/ip/index.html 网络地址广播地…...

编程日记 2025/5/4 8:43:30

显卡驱动与cuda toolkit版本对应关系

查显卡对应驱动的网址&#xff1a; NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA 查这个的时候&#xff0c;不同的显卡对应不同的产品类型和系列&#xff0c;需要先选对这两个&#xff0c;才能找到对应的产品名称&#xff0c;比如A6000&#xff0c;是在RTX/Quadro类型&#xf…...

编程日记 2025/5/11 13:46:48

典籍查询界面增加我的收藏查询功能

1.效果展示 点击我的收藏后可以显示当前用户收藏的典籍 2.后端代码 3.前端代码...

编程日记 2025/5/27 2:57:08

浮点数：IEEE 754标准

IEEE 754 标准是一种由电气和电子工程师协会&#xff08;IEEE&#xff09;制定的浮点数表示的标准&#xff0c;广泛应用于计算机系统中&#xff0c;下面是详细介绍&#xff1a; 历史背景 在 IEEE 754 标准出现之前&#xff0c;不同的计算机系统采用各自的浮点数表示方法&…...

编程日记 2025/5/29 13:38:43

‌RISC-V架构的低功耗MCU多电压域优化设计

RISC-V核低功耗MCU的多电压域设计是一种优化电源管理以降低功耗的技术方案。该设计通过电源域划分、电压转换和时序管理等手段&#xff0c;有效降低了系统功耗并提升能效&#xff0c;适用于物联网和嵌入式系统等场景。 多电压域设计的基本原理是将芯片划分为多个独立供电区域&…...

编程日记 2025/5/26 3:12:33

【密码学——基础理论与应用】李子臣编著 第八章 SM2公钥密码算法 课后习题

免责声明 这里都是自己搓或者手写的。 里面不少题目感觉有问题或者我的理解有偏颇&#xff0c;请大佬批评指正&#xff01; 不带思考抄作业的请自动退出&#xff0c;我的并非全对&#xff0c;仅仅提供思维&#xff01; 题目 逐题解析 知识前提&#xff1a;模运算的分数怎么转…...

编程日记 2025/5/10 8:29:22

在winform中使用chromiumWebBrowser显示Echarts图表

首先&#xff0c;在项目引用中添加CefSharp&#xff0c;这个是谷歌的控件。 然后在form中添加一个chromiumWebBrower控件 在form初始化时&#xff0c;执行浏览器组件的初始化 //浏览器组件只初始化一次&#xff0c;所以放在主界面 CefSettings settings new CefSettings(); …...

编程日记 2025/5/31 8:36:16

基于ART光学跟踪系统打造具有开创性的人车互动VR解决方案

随着汽车行业的日益发展更多的车内内容量和更高的客户体验使得车辆越来越复杂复杂&#xff0c;。此外消费者的可持续意识与政府的限制&#xff0c;也迫使企业在整个生产过程中提高资源利用率。与此同时为保证利润&#xff0c;开发时间进一步缩短&#xff0c;预算也随之减少。 由…...

编程日记 2025/5/27 6:55:54

面试记录1-春招补录0427

快手面试记录&#xff1a; 面试官是个帅哥&#xff0c;嘿嘿&#xff0c;而且感觉很厉害的样子&#xff0c;说话也比较温柔。 最近同时面试了好几家公司&#xff0c;感觉面试官的水平差距还是比较明显的。快手这位面试官给我的印象很不错哇&#xff01; 一听他说话就知道他很厉害…...

编程日记 2025/5/29 18:15:35

【计算机网络性能优化】从基础理论到实战调优

目录 前言技术背景与价值当前技术痛点解决方案概述目标读者说明 一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比 二、实战演示环境配置要求核心代码实现案例1&#xff1a;iPerf3带宽测试案例2&#xff1a;TCP窗口优化案例3&#xff1a;QoS流量整形 运行…...

编程日记 2025/5/22 6:23:32

Maven下载aspose依赖失败的解决方法

Maven下载aspose依赖失败的解决方法 日期&#xff1a;2025年4月27日 遇到问题&#xff1a; Could not find artifact com.aspose:aspose-cad:pom:23.9 in aliyunmaven (https://maven.aliyun.com/repository/public) [WARNING] The POM for com.aspose:aspose-cad:jar:23.9 is…...

编程日记 2025/5/15 15:25:01

Redis的阻塞

Redis的阻塞 Redis的阻塞问题主要分为内在原因和外在原因两大类&#xff0c;以下从这两个维度展开分析&#xff1a; 一、内在原因 1. 不合理使用API或数据结构 Redis 慢查询 Redis 慢查询的界定 定义&#xff1a;Redis 慢查询指命令执行时间超过预设阈值&#xff08;默认 10m…...

编程日记 2025/5/22 20:36:27

OkHttp源码梳理

目录 一、基本使用 1 创建 OkHttpClient 2 构建请求 Request 3 创建和执行 Call 二、OkHttp请求整体流程 1. 用户调用入口 2. RealCall执行逻辑 2.1 同步请求&#xff1a;RealCall.execute() 2.2 异步请求&#xff1a;RealCall.enqueue(Callback) 3. Dispatcher调度请…...

编程日记 2025/5/29 23:13:55

【第三十三周】BLIP论文阅读笔记

BLIP 摘要Abstract文章信息引言方法MED预训练CapFilt 关键代码实验结果总结 摘要 本博客介绍了BLIP&#xff08;Bootstrapping Language-Image Pre-training&#xff09;&#xff0c;这是一种创新的视觉-语言预训练框架&#xff0c;旨在通过统一模型架构和高效数据增强策略&am…...

编程日记 2025/5/7 8:28:44

如何配置osg编译使支持png图标加载显示

步骤如下&#xff1a; 1.下载osg代码 git clone https://github.com/openscenegraph/OpenSceneGraph.git cd OpenSceneGraph 2.开始配置编译 mkdir build cd build cmake … -DBUILD_OSG_PLUGINS_BY_DEFAULT1 -DBUILD_OSG_PLUGIN_PNG1 3.编译与安装 make make install 4.在安装…...

编程日记 2025/5/14 21:42:51

234. 回文链表（java）

个人理解&#xff1a; 1.先找到链表的中间节点&#xff0c;将链表分为前后两部分 方法&#xff1a;设置快慢指针&#xff0c;初始都指向头节点&#xff0c;慢指针每次走一步&#xff0c;快指针每次走两步。循环结束条件为&#xff1a;快指针后两个元素不为空&#xff0c;此时慢…...

编程日记 2025/5/27 6:06:02

面试：结构体默认是对齐的嘛？如何禁止对齐？

是的。 结构体默认是对齐的‌。结构体对齐是为了优化内存访问速度和减少CPU访问内存时的延迟。结构体对齐的规则如下&#xff1a; 某数据类型的变量存放的地址需要按有效对齐字节剩下的字节数可以被该数据类型所占字节数整除&#xff0c;char可以放在任意位置&#xff0c;int存…...

编程日记 2025/5/21 9:55:53

Leetcode837.新21点

目录 题目算法标签: 数学, 概率, 动态规划思路代码 题目 837. 新 21 点 算法标签: 数学, 概率, 动态规划 思路 定义状态表示为 f [ i ] f[i] f[i], 表示分数达到 i i i的时候的概率, 分析状态计算, 假设当前的分数是 i i i, 抽取到的牌得分数是 x x x, 那么当前状态就会转移…...

编程日记 2025/5/25 0:17:30

【C到Java的深度跃迁：从指针到对象，从过程到生态】第四模块·Java特性专精 —— 第十五章 泛型：类型系统的元编程革命

一、从C的void*到Java类型安全 1.1 C泛型的原始实现 C语言通过void*和宏模拟泛型&#xff0c;存在严重安全隐患&#xff1a; 典型泛型栈实现&#xff1a; #define DECLARE_STACK(type) \ struct stack_##type { \ type* data; \ int top; \ int capacity; \ }; #de…...

编程日记 2025/5/27 6:43:04

纯净无噪，智见未来——MAGI-1本地部署教程，自回归重塑数据本质

一、MAGI-1简介 MAGI-1 是一种逐块生成视频的自回归去噪模型&#xff0c;而非一次性生成完整视频。每个视频块&#xff08;含 24 帧&#xff09;通过整体去噪处理&#xff0c;当前块达到特定去噪阈值后&#xff0c;立即启动下一块的生成。这种流水线设计支持 最多 4 个块的并发…...

编程日记 2025/5/4 4:38:25

BG开发者日志0427：故事的起点

1、4月26日晚上&#xff0c;BG项目的gameplay部分开发完毕&#xff0c;后续是细节以及试玩版优化。 开发重心转移到story部分&#xff0c;目前刚开始&#xff0c; 确切地说以前是长期搁置状态&#xff0c;因为过去的四个月中gameplay部分优先开发。 --- 2、BG这个项目的起点…...

编程日记 2025/5/27 7:04:29

直播预告|TinyVue 组件库高级用法：定制你的企业级UI体系

TinyVue 是一个跨端跨框架的企业级 UI 组件库&#xff0c;基于 renderless 无渲染组件设计架构&#xff0c;实现了一套代码同时支持 Vue2 和 Vue3&#xff0c;支持 PC 和移动端&#xff0c;包含 100 多个功能丰富的精美组件&#xff0c;可帮助开发者高效开发 Web 应用。 4 月 …...

编程日记 2025/5/12 14:47:09

基于Jamba模型的天气预测实战

深入探索Mamba模型架构与应用 - 商品搜索 - 京东 DeepSeek大模型高性能核心技术与多模态融合开发 - 商品搜索 - 京东 由于大气运动极为复杂&#xff0c;影响天气的因素较多&#xff0c;而人们认识大气本身运动的能力极为有限&#xff0c;因此以前天气预报水平较低 。预报员在预…...

编程日记 2025/4/28 13:20:28

Customizing Materials Management with SAP ERP Operations

Customizing Materials Management with SAP ERP Operations...

编程日记 2025/4/28 13:18:20

使用 NServiceBus 在 .NET 中构建分布式系统

在 .NET 中&#xff0c;NServiceBus 依然是构建可靠、可扩展、异步消息驱动架构的强大工具。本文将为你讲解如何在 .NET 环境下集成 NServiceBus&#xff0c;帮助你理解其核心概念及配置方法&#xff0c;并快速上手构建基于消息的系统。 一、NServiceBus 简介 NServiceBus …...

编程日记 2025/4/28 13:18:18

【Linux网络与网络编程】13.五种 IO 模型

前言 在前面的学习中&#xff0c;有一个问题一直没有展开来说&#xff0c;即 IO 问题。 IO 到底有多少种方式呢&#xff1f;什么是高效的 IO 呢&#xff1f; IO 本质上就是 INPUT 和 OUTPUT 。在网络中 INPUT 就是从网卡中获取数据&#xff0c;而 OUTPUT 就是向网卡中发送数据…...

编程日记 2025/4/28 13:18:18

Java后端开发day37--源码解析：TreeMap可变参数--集合工具类：Collections

&#xff08;以下内容全部来自上述课程&#xff09; 1. TreeMap 1.1 须知 1.1.1 Entry 节点初始为黑色&#xff1a;提高代码阅读性 1.1.2 TreeMap中的成员变量 comparator&#xff1a;比较规则root&#xff1a;红黑树根节点的地址值size&#xff1a;集合的长度和红黑树…...

编程日记 2025/4/28 13:18:17

海关 瑞数 后缀分析 rs

声明 本文章中所有内容仅供学习交流使用&#xff0c;不用于其他任何目的&#xff0c;抓包内容、敏感网址、数据接口等均已做脱敏处理&#xff0c;严禁用于商业用途和非法用途&#xff0c;否则由此产生的一切后果均与作者无关&#xff01; 逆向过程 部分python代码 cp execj…...

编程日记 2025/4/28 13:17:13

【合新通信】---Mini单路光模块（Mini SFF/USOT)

产品特性 l 高可靠、全金属外壳、抗振动设计 l 紧凑的结构设计, 超小模块尺寸 l 可插拔标准LC单模光纤连接器接口&#xff0c;方便动态和灵活的配置数据连接 l 每通道工作速率可达1.25Gbps&#xff0c;速率可向下兼容 l 单路发射光纤通道&#xff0c;内置1310nm波长光发射…...

编程日记 2025/4/28 13:17:11

Java详解LeetCode 热题 100(02):LeetCode 49. 字母异位词分组（Group Anagrams）详解

文章目录 1. 题目描述2. 理解题目3. 解法一：排序法3.1 思路3.2 Java代码实现3.3 代码详解3.4 复杂度分析3.5 适用场景4. 解法二：计数法4.1 思路4.2 Java代码实现4.3 代码详解4.4 复杂度分析4.5 适用场景5. 解法三：字符串哈希法5.1 思路5.2 Java代码实现5.3 代码详解5.4 复杂…...

编程日记 2025/4/28 13:16:08

【每日随笔】文化属性 ① ( 天机 | 强势文化与弱势文化 | 文化属性的形成与改变 | 强势文化 具备的特点 )

文章目录 一、文化属性1、天机2、文化属性的强势文化与弱势文化强势文化弱势文化 二、文化属性的形成与改变1、文化属性形成2、文化属性改变3、文化知识的阶层 三、强势文化 具备的 特点 一、文化属性 1、天机 如果想要 了解这个世界的 底层架构 , 就需要掌握 洞察事物本质 的能…...

编程日记 2025/5/13 3:00:09

Java + Seleium4.X + TestNG自动化技术

系列文章目录 文章目录 系列文章目录前言一、 Java版Selenium自动化测试框架介绍和原理1.1 什么是Seleium1.2 特点1.3 注意点 二、安装SeleiumChrome环境 创建Maven项目2.1 安装Seleium Chrome环境2.2 Maven环境 三、Selenium4.X UI元素定位实战3.1 ID选择器3.2 Name选择器3.…...

编程日记 2025/4/28 13:15:00

Spark SQL核心概念与编程实战：从DataFrame到DataSet的结构化数据处理

一、Spark-SQL是什么 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 二、Hive and SparkSQL SparkSQL 的前身是 Shark&#xff0c;Shark是给熟悉 RDBMS 但又不理解 MapReduce 的技术人员提供的快速上手的工具。 Hive 是早期唯一运行在 Hadoop 上的 S…...

编程日记 2025/4/28 13:15:00

electron-vite 应用打包自定义图标不显示问题

// 修改electron-builder.yml ... win:executableName: xxx //可执行文件名称icon: build/icon.ico //你的图标路径 ...打包后&#xff0c;自定义图标不显示原因: 1 cannot execute causeexit status 2&#xff0c;安装包无法生成 用管理员身份运行&#xff0c;win11右击开始…...

编程日记 2025/4/28 13:14:59

AI中Token的理解与使用总结

AI中Token的理解与使用总结 什么是Token 在AI领域，特别是自然语言处理(NLP)中，Token是指将文本分割成的最小处理单元。Tokenization(分词)是将原始文本分解为Token的过程。 Token的几种形式 单词级Token：以单词为基本单位 示例：“Hello world” → [“Hello”, “world”…...

编程日记 2025/4/28 13:13:54

C++/SDL 进阶游戏开发 —— 双人塔防（代号：村庄保卫战 14）

&#x1f381;个人主页&#xff1a;工藤新一 &#x1f50d;系列专栏&#xff1a;C面向对象&#xff08;类和对象篇&#xff09; &#x1f31f;心中的天空之城&#xff0c;终会照亮我前方的路 &#x1f389;欢迎大家点赞&#x1f44d;评论&#x1f4dd;收藏⭐文章 文章目录 二…...

编程日记 2025/4/28 13:13:53

全栈量子跃迁：当Shor算法破解RSA时，我们如何用晶格密码重构数字世界的信任基岩？

一、量子威胁的降维打击 1. Shor算法的毁灭性力量 # Shor算法量子电路简化示例&#xff08;Qiskit实现&#xff09; from qiskit import QuantumCircuit from qiskit.circuit.library import QFTdef shor_circuit(n: int, a: int) -> QuantumCircuit:qc QuantumCircuit(2…...

编程日记 2025/4/28 13:10:34

python实战项目65：drissionpage采集boss直聘数据

python实战项目65：drissionpage采集boss直聘数据 一、需求简介二、流程分析三、完整代码一、需求简介 boss直聘网站近期改版，改版之后代码需要做相应的升级维护。drissionpage采集网页数据是一种不错的方式，笔者认为比Selenium好用，使用方法大家可以自行查阅资料。boss直聘…...

编程日记 2025/4/28 13:08:24

常用的性能提升手段--提纲

上一篇文章里，介绍了提升性能的一种优化手段：池化。 这篇文章来归纳整理一下其他的常见的提升性能的手段 1. 缓存 (Caching) 缓存可以说是计算机领域的万金油了，它无处不在。 举个最简单的例子，CPU -> L1,L2,L3 Cache -> 内存 。 CPU的处理速度要比内存快几个数量…...

编程日记 2025/4/28 13:07:20

天梯——现代战争

第一次做的时候&#xff0c;直接暴力&#xff0c;显然最后超时。 暴力代码如下&#xff1a; #include<bits/stdc.h> using namespace std; const int N10005; bool mark1[N]{0},mark2[N]{0}; int p[N][N]; int main(){int n,m,k,a,b;cin>>n>>m>>k;fo…...

编程日记 2025/4/28 13:06:14