当前位置：首页 > news >正文

Spark-Streaming(1)

news 来源：原创 2025/7/19 22:28:14

Spark Streaming概述：

用于流式计算，处理实时数据流。

数据流以DStream（Discretized Stream）形式表示，内部由一系列RDD组成。

Spark Streaming特点：

易用、容错、易整合到spark体系。

易用性：支持Java、Python、Scala等编程语言，编写实时计算程序如同编写批处理程序。

容错性：无需额外代码和配置即可恢复丢失的数据，确保实时计算的可靠性。

整合性：可在Spark上运行，允许重复使用相关代码进行批处理和实时处理。

Spark-Streaming架构

驱动程序为StreamingContext，处理Spark作业并传给各工作节点。

工作节点接收数据并执行任务，结果备份到其他工作节点。

背压机制协调数据接收能力和资源处理能力，避免数据堆积或资源浪费。

Spark Streaming实操

实验需求：

使用 netcat 工具向9999端口发送数据，通过Spark Streaming读取端口数据并统计单词出现次数。

实验步骤：

配置Spark Streaming对象，设置时间间隔为3秒。

进行扁平化数据处理，统计单词出现次数并输出结果。

代码解析：

数据接收和处理的具体操作，包括扁平化、转换和累加。启动Spark Streaming并处理异常情况。

Discretized Stream 是 Spark Streaming 的基础抽象，代表持续性的数据流和经过各种 Spark 原语操作后的结果数据流。在内部实现上，DStream 是一系列连续的 RDD 来表示。每个 RDD 含有一段时间间隔内的数据。

对数据的操作也是按照 RDD 为单位来进行的

计算过程由 Spark Engine 来完成

DStream 创建

创建DStream的三种方式：RDD队列、自定义数据源、kafka数据源

RDD队列

可以通过使用 ssc.queueStream(queueOfRDDs)来创建 DStream，每一个推送到这个队列中的 RDD，都会作为一个DStream 处理。

案例：

需求：循环创建几个 RDD，将 RDD 放入队列。通过 SparkStream 创建 Dstream，计算 WordCount

自定义数据源

自定义数据源需要继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。

（在 class 中定义 on start 和 on stop 方法。
on start方法中创建新线程并调用接收数据的方法。
on stop方法为空。）

案例：自定义数据源，实现监控某个端口号，获取该端口号内容。

1）	自定义数据源
class CustomerReceiver(host:String,port:Int) extends Receiver[String](StorageLevel.MEMORY_ONLY) {override def onStart(): Unit = {new Thread("Socket Receiver"){override def run(): Unit ={receive()}}.start()}def receive(): Unit ={var socket:Socket = new Socket(host,port)var input :String = nullvar reader = new BufferedReader(new InputStreamReader(socket.getInputStream,StandardCharsets.UTF_8))input = reader.readLine()while(!isStopped() && input != null){store(input)input = reader.readLine()}reader.close()socket.close()restart("restart")}override def onStop(): Unit = {}
}2）	使用自定义的数据源采集数据
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("stream")
val ssc = new StreamingContext(sparkConf,Seconds(5))val lineStream = ssc.receiverStream(new CustomerReceiver("node01",9999))val wordStream = lineStream.flatMap(_.split(" "))
val wordAndOneStream = wordStream.map((_,1))
val wordAndCountStream = wordAndOneStream.reduceByKey(_+_)
wordAndCountStream.print()ssc.start()
ssc.awaitTermination()

扁平化数据
将所有数据根据空格切分并进行扁平化处理。
转换成键值对形式，相同单词进行分组累加，实现词频统计。

Spark-Streaming(1)

Spark Streaming概述： 用于流式计算，处理实时数据流。数据流以DStream（Discretized Stream）形式表示，内部由一系列RDD组成。 Spark Streaming特点： 易用、容错、易整合到spark体系。易用性&#xff1a…...

编程日记 2025/7/19 22:28:14

【Git】Git Revert 命令详解

Git Revert 命令详解 1. Git Revert 的基本概念 Git Revert 是一个用于撤销特定提交的命令。与 Git Reset 不同，Git Revert 不会更改提交历史，而是会创建一个新的提交来撤销指定提交的更改。这意味着，使用 Git Revert 后，项目的…...

编程日记 2025/6/29 11:34:58

SpringClound 微服务分布式Nacos学习笔记

一、基本概述在实际项目中，选择哪种架构需要根据具体的需求、团队能力和技术栈等因素综合考虑。单体架构（Monolithic Architecture） 单体架构是一种传统的软件架构风格，将整个应用程序构建为一个单一的、不可分割的单元。在这…...

编程日记 2025/7/19 22:19:22

PageIndex：构建无需切块向量化的 Agentic RAG

引言你是否对长篇专业文档的向量数据库检索准确性感到失望？传统的基于向量的RAG系统依赖于语义相似性而非真正的相关性。但在检索中，我们真正需要的是相关性——这需要推理能力。当处理需要领域专业知识和多步推理的专业文档时，相似度搜索常…...

编程日记 2025/6/29 9:37:59

使用Java调用TensorFlow与PyTorch模型：DJL框架的应用探索

在现代机器学习的应用场景中，Python早已成为广泛使用的语言，尤其是在深度学习框架TensorFlow和PyTorch的开发和应用中。尽管Java在许多企业级应用中占据一席之地，但因为缺乏直接使用深度学习框架的能力，往往使得Java开发者对机器学…...

编程日记 2025/7/17 22:34:47

nodejs的包管理工具介绍，npm的介绍和安装，npm的初始化包，搜索包，下载安装包

nodejs的包管理工具介绍，npm的介绍和安装，npm的初始化包 ，搜索包，下载安装包 🧰 一、Node.js 的包管理工具有哪些？ 工具简介是否默认特点npmNode.js 官方的包管理工具（Node Package Manager&am…...

编程日记 2025/6/29 9:37:47

LeetCode 热题 100_分割等和子集（89_416_中等_C++）(动态规划)

LeetCode 热题 100_分割等和子集（89_416） 题目描述：输入输出样例：题解：解题思路：思路一（动态规划）： 代码实现代码实现（思路一（动态规划&#xff0…...

编程日记 2025/6/29 9:37:09

EasyCVR视频智能分析平台助力智慧园区：全场景视频监控摄像头融合解决方案

一、方案背景在智慧园区建设的浪潮下，设备融合、数据整合与智能联动已成为核心诉求。视频监控作为智慧园区的“视觉中枢”，其高效整合直接影响园区的管理效能与安全水平。然而，园区内繁杂的视频监控设备生态——不同品牌、型号、制式的摄像…...

编程日记 2025/6/29 10:12:52

《剥开卷积神经网络CNN的 “千层酥”：从基础架构到核心算法》

文章目录前言卷积神经网络（Convolutional Neural Network，CNN）是一种专门用于处理网格结构数据（如图像、视频、音频）的深度学习模型。它在计算机视觉任务（如图像分类、目标检测）中表现尤为出色…...

编程日记 2025/6/29 12:13:12

win10中打开python的交互模式

不是输入python3，输入python，不知道和安装python版本有没有关系。做个简单记录，不想记笔记了...

编程日记 2025/6/29 9:40:47

技术与情感交织的一生（七）

目录出师大三 MVP 首战 TYMIS はじめまして辣子鸡丁报价日本人致命失误大佬包围品质保障扩军唯快不破闪电战毕业总攻 Hold On 出师大三大三的学习生活，能认认真真的上一天课的时候很少，甚至经常因为客户的 “传呼”…...

编程日记 2025/6/29 11:56:10

ElasticSearch深入解析（一）：Elastic Stack全景

一、Elastic Stack的发展过去和现在： Elastic数据平台在搜索、地理位置、内部日志、数据指标、安全监控和APM应用性能管理等场景中的应用颇具亮点。 APM（Application Performance Management，应用性能管理）是一种用于监控和管理…...

编程日记 2025/7/19 1:12:27

CAD在线查看免费，可以支持DWG/GLB/GLTF/doc/wps/pdf/psd/eml/zip, rar/MP3/MP4/svg/OBJ/FBX格式

CAD在线查看免费，可以支持DWG/GLB/GLTF/doc/wps/pdf/psd/eml/zip, rar/MP3/MP4/svg/OBJ/FBX格式 m.gszh.xyz m.gszh.xyz 免费支持以下格式文件在线查看类型支持 doc, docx, xls, xlsx, xlsm, ppt, pptx, csv, tsv, dotm, xlt, xltm, dot, dotx, xlam, xla, pages …...

编程日记 2025/6/29 11:50:54

【机器学习案列-21】基于 LightGBM 的智能手机用户行为分类

🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...

编程日记 2025/7/13 16:05:07

多路转接poll服务器

目录函数原型 poll服务器对比select的优点关于select的详解，可查看多路转接select服务器-CSDN博客函数原型 #include <poll.h> int poll(struct pollfd *fds, nfds_t nfds, int timeout); poll作为多路转接的实现方案，与select要解决的问…...

编程日记 2025/6/29 12:26:10

全本地化智能数字人

🌟EdgePersona- 全本地化智能数字人完全离线 | 隐私无忧 | 轻量高效 |笔记本友好测试效果：【纯本地部署的电子魅魔！笔记本也能离线，隐私性拉满】 https://www.bilibili.com/video/BV1jydeYTETD/?share_sourcecopy_web&v…...

编程日记 2025/6/29 11:16:08

第6次课贪心算法 A

向日葵朝着太阳转动，时刻追求自身成长的最大可能。贪心策略在一轮轮的简单选择中，逐步导向最佳答案。课堂学习引入贪心算法（英语：greedy algorithm），是用计算机来模拟一个「贪心」的人做出决策的过程…...

编程日记 2025/6/29 9:38:18

Docker 部署 PostgreSQL 数据库

Docker 部署 PostgreSQL 数据库基于 Docker 部署 PostgreSQL 数据库一、拉取 PostgreSQL 镜像二、运行 PostgreSQL 容器三、运行命令参数详解四、查看容器运行状态基于 Docker 部署 PostgreSQL 数据库一、拉取 PostgreSQL 镜像首先，确保你的 Docker 环境已正确…...

编程日记 2025/7/17 11:08:57

Android如何通过aspectj打造一个无侵入式动态权限申请框架

目录一,背景二,通过Aspectj管理所有的注解三,配置注解四,通过空白Activity完成真正的权限申请五,引入依赖配置一,背景在Activity或者fragment中，写在几个方法写一些注释，用来表示权限申请成功，申请失败，多次拒绝。…...

编程日记 2025/6/29 12:20:54

Flink介绍——实时计算核心论文之Dataflow论文详解

引入在过去的几篇文章里，我们看到了大数据的流式处理系统是如何一步一步进化的。从最早出现的S4，到能够做到“至少一次”处理的Storm，最后是能够做到“正好一次”数据处理的MillWheel。我们会发现，这些流式处理框架，…...

编程日记 2025/6/29 10:36:03

浅克隆(--depth 1)后如何获取完整的历史记录

如果远程remote为origin，则origin可以不写，如不是，则必须要写获取全部分支 git fetch origin refs/heads/*:refs/remotes/origin/* 单独获取master分支 git fetch origin refs/heads/master:refs/remotes/origin/master 获取全部历史…...

编程日记 2025/6/29 9:38:19

安宝特案例 | 某知名日系汽车制造厂，借助AR实现智慧化转型

案例介绍在全球制造业加速数字化的背景下，工厂的生产管理与设备维护效率愈发重要。某知名日系汽车制造厂当前面临着设备的实时监控、故障维护，以及跨地域的管理协作等挑战，由于场地分散和突发状况的不可预知性，传统方式已无法…...

编程日记 2025/6/29 11:41:32

Feign 深度解析：Java 声明式 HTTP 客户端的终极指南

Feign 深度解析：Java 声明式 HTTP 客户端的终极指南 Feign 是由 Netflix 开源的声明式 HTTP 客户端，后成为 Spring Cloud 生态的核心组件（现由 OpenFeign 维护）。它通过注解和接口定义简化了服务间 RESTful 通信，并…...

编程日记 2025/6/29 12:24:27

WPS Office安卓版云文档同步速度与PDF转换体验测评

WPS Office安卓版是很多人常用的移动办公软件。它支持在线编辑、文档同步、格式转换等功能，适合手机和平板用户随时处理文档。我们用它配合谷歌浏览器打开网页文档时，也可以将内容快速保存到云端或转换成PDF格式使用。先说云文档同步。在打开WPS Office…...

编程日记 2025/6/29 10:40:30

ARM汇编的LDM和STM指令

批量加载/存储指令可以实现在一组寄存器和一块连续的内存单元之间传输数据.LDM 为加载多个寄存器，STM 为存储多个寄存器.允许一条指令传送 16 个寄存器的任何子集或所有寄存器.指令格式如下: LDM{cond}<模式> Rn{!},reglist{^} STM{cond}<模式> Rn{!}…...

编程日记 2025/6/29 11:16:42

Python-27：游戏英雄升级潜力评估

问题描述小U在一款挂机游戏中拥有n个英雄。游戏中有一种历练升级机制，每天可以选择两个英雄进行历练，如果两位英雄的等级相同，则他们的等级都不会改变。如果英雄等级不同，那么等级较高的英雄会增加1级，而等级较低的英…...

编程日记 2025/6/29 12:17:51

【基于SprintBoot+Mybatis+Mysql】电脑商城项目之显示勾选的购物车数据和创建订单

🧸安清h：个人主页 🎥个人专栏：【Spring篇】【计算机网络】【Mybatis篇】 🚦作者简介：一个有趣爱睡觉的intp，期待和更多人分享自己所学知识的真诚大学生。目录 🚀1.显示勾选的购物…...

编程日记 2025/6/29 11:56:52

AWS Lambda 架构深入探究

AWS Lambda 是现代云架构中最受欢迎的服务之一，因其能够在完全托管的无服务器环境中运行代码而广受认可。然而，尽管 Lambda 广受欢迎，许多开发者和架构师对它的底层运作机制却知之甚少，常常将其视为“编写能够在云端神奇运行的代码…...

编程日记 2025/6/29 9:45:03

信奥赛CSP-J复赛集训（DP专题）（19）：P3399 丝绸之路

信奥赛CSP-J复赛集训（DP专题）（19）：P3399 丝绸之路题目背景张骞于公元前 138 年曾历尽艰险出使过西域。加强了汉朝与西域各国的友好往来。从那以后，一队队骆驼商队在这漫长的商贸大道上行进，他…...

编程日记 2025/6/29 10:53:47

网络NAT类型测试

免费收录PCDN、GPU算力网站_算力收录站需要专业的PCDN、GPU算力网站收录服务吗？算力收录站为您提供高效、可信赖的收录服务，提升您的网站能见度。https://www.cdngpu.com/ 什么是 NAT：NAT代表网络地址转换，允许多个内网设备共享一…...

编程日记 2025/6/29 10:52:23

Postman下载安装与使用汉化版教程

简介： Postman 是一款常用的 API 测试工具，可以方便地进行接口测试、调试和文档编写。本文将详细介绍如何下载安装 Postman 并汉化，包括每个步骤的详细说明。 Postman 是一款常用的 API 测试工具，可以方便地进行接口测试、调试和…...

编程日记 2025/7/19 11:38:28

使用Python+OpenCV对视频抽帧保存为JPG图像

使用PythonOpenCV对视频抽帧保存为JPG图像 import os import cv2 import time#视频文件夹路径，可修改 videoPath D:\\video\\ #保存的图片文件夹路径，可修改 savePath D:\\images\\ videolist os.listdir(videoPath) if not os.path.exists(savePath…...

编程日记 2025/6/29 9:38:26

Java的反射机制（曼波超易懂图文版)

(✪▽✪)曼波~~~~！好的呀~让曼波用最可爱的姿势为你讲解Java反射机制吧！ 🌟反射机制核心概念曼波觉得反射就像编程世界的"魔法镜"(◕ᴗ◕✿) 可以让我们在运行时动态获取类的信息并操作类对象！ // 举个栗子&#…...

编程日记 2025/6/29 9:37:48

【DeepSeek 学习推理】Llumnix: Dynamic Scheduling for Large Language Model Serving实验部分

6.1 实验设置测试平台。我们使用阿里云上的16-GPU集群（包含4个GPU虚拟机，类型为ecs.gn7i-c32g1.32xlarge）。每台虚拟机配备4个NVIDIA A10（24 GB）GPU（通过PCI-e 4.0连接）、128个vCPU、752 GB内…...

编程日记 2025/6/29 12:08:45

运行neo4j.bat console 报错无法识别为脚本，PowerShell 教程：查看语言模式并通过注册表修改受限模式

无法将“D:\neo4j-community-4.4.38-windows\bin\Neo4j-Management\Get-Args.ps1”项识别为cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再试一次。前提配置好环境变量之后依然报上面的错…...

编程日记 2025/6/29 9:36:45

AI写代码之GO+Python写个爬虫系统

下面我们我们来利用AI，来用GOPython写个爬虫系统。帮我写一个Python语言爬取数据写入Mysql的案例，信息如下： 1、Mysql数据库地址是：192.168.1.20 ，mysql用户名是：root， Mysql密码是&#xff1…...

编程日记 2025/6/29 9:36:49

【FAQ】如何配置PCoIP零客户端AWI能访问

应用场景在安全性要求较高的环境中，禁用 AWI 并使用 PCoIP 管理控制台配置端点，建议隐藏 OSD 以提高安全性。通过OSD和AWI: 阻止 PCoIP 管理工具管理 PCoIP 零客户端。禁用对 Tera2 PCoIP Zero Client 的 AWI 的管理访问。下次访问 AWI 或 OSD 时强…...

编程日记 2025/6/29 9:36:55

RAGFlow：构建高效检索增强生成流程的技术解析

引言在当今信息爆炸的时代，如何从海量数据中快速准确地获取所需信息并生成高质量内容已成为人工智能领域的重要挑战。检索增强生成（Retrieval-Augmented Generation, RAG）技术应运而生，它将信息检索与大型语言模型（L…...

编程日记 2025/7/5 18:02:22

go语言中defer使用指南

目录 1.使用场景 2.执行顺序 3.for循环中的defer及defer中的闭包陷阱 4.defer与返回值的关系 5.总结 1.使用场景在编程的时候，经常需要打开一些资源，比如数据库连接、文件、锁等，这些资源需要在用完之后释放掉，否则会造成内…...

编程日记 2025/6/29 9:41:08

成熟软件项目解决方案：360°全景影像显控软件系统

若该文为原创文章，转载请注明原文出处本文章博客地址：https://hpzwl.blog.csdn.net/article/details/147425300 长沙红胖子Qt（长沙创微智科）博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、Open…...

编程日记 2025/6/29 9:36:44

域名解析体系中 IPv4/IPv6 地址切换的关键技术剖析

前言： 对接的一家学校业务，学校老师要求域名解析既能解析到ipv4地址又能解析到ipv6地址。听学校老师叙述（还是会考察v6开通率的），所以通过这个方法来实现的，域名解析到ipv6和ipv4都可以。准备一台机器机…...

编程日记 2025/7/13 20:18:20

PHP 爬虫如何获取 1688 商品详情（代码示例）

在电商领域，获取 1688 商品的详细信息对于市场分析、选品上架、库存管理和价格策略制定等方面至关重要。1688 作为国内领先的 B2B 电商平台，提供了丰富的商品数据。通过 PHP 爬虫技术，我们可以高效地获取 1688 商品的详细信息，包括…...

编程日记 2025/6/29 11:48:57

Mysql的redolog

保证事务持久性，用于崩溃恢复，崩溃恢复时，把redo上记载的页读到内存，对其修改，变为脏页，刷盘运用于WAL技术，将随机写改为顺序写 redo log有三种状态： 存在 redo log buffer 中&…...

编程日记 2025/6/29 9:36:47

C++ 哈希表

1. 哈希表的概念在vector、list的顺序结构中，查找效率为 O ( N ) O(N) O(N)，在set、map的树型结构中，查找效率为 O ( l o g 2 N ) O(log_2{N}) O(log2N)，有没有更优的结构 —— 哈希表如果让数据按照某种规则映射到某个值&a…...

编程日记 2025/7/3 12:31:50

【pytorch学习】土堆pytorch笔记1

学习参考仓库 https://github.com/xiaotudui/pytorch-tutorialhttps://github.com/xiaotudui/pytorch-tutorial https://github.com/AccumulateMore/CV 参考博客 https://blog.csdn.net/weixin_44216612/article/details/124203730? https://www.morinha.cc/posts/cours…...

编程日记 2025/6/29 9:36:48

使用Python+OpenCV将多级嵌套文件夹下的视频文件抽帧

使用PythonOpenCV将多级嵌套文件夹下的视频文件抽帧 import os import cv2 import time# 存放视频文件的多层嵌套文件夹路径 videoPath D:\\videos\\ # 保存抽帧的图片的文件夹路径 savePath D:\\images\\if not os.path.exists(savePath):os.mkdir(savePath) video_num 0f…...

编程日记 2025/6/29 9:38:04

ASP.Net Web Api如何更改URL

1.找到appsettings.json 修改如下： 主要为urls的修改填本机私有地址即可 {"Logging": {"LogLevel": {"Default": "Information","Microsoft.AspNetCore": "Warning"}},"AllowedHosts": &q…...

编程日记 2025/6/29 9:37:23

毕业论文设计基本内容和要求：

毕业设计基本内容和要求： 研究内容调查了解LAMP架构和PHP开发； 学习百度旅游调用的其他产品线服务并熟悉请求接口； 学习社区业务层规范； 设计并实现旅游主要模块； 技术指标熟悉企业中流程运转的方式，…...

编程日记 2025/6/29 9:40:39

XML内容解析成实体类

XML解析成实体类解析方法实体类测试说明：直接上干货，不废话解析方法 public static List<PlatJuMinBaoXian> parse(String xmlString) {List<PlatJuMinBaoXian> result new ArrayList<>();try {// 创建 DocumentBuilderDocumentB…...

编程日记 2025/6/29 9:40:58

推公式——耍杂技的牛

由图可知，只要存在一个逆序，把他们交换一下，最大风险值就会降低，答案更优，因此最优解是按照wisi从小到大升序排列，顺次计算每头牛的危险系数，最大值即是答案。 #include <iostream> #inc…...

编程日记 2025/6/29 11:05:55