当前位置：首页 > news >正文

谈一谈大数据流式处理，以Spark Streaming为例详细论述

news 来源：原创 2025/6/23 18:58:13

Spark Streaming是构建在Spark上的实时流计算框架，可以进行实时流数据处理。Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。而Spark Streaming则扩展了Spark处理大规模流式数据的能力。

Spark Streaming能运行在100+的结点上，并达到秒级延迟。它使用基于内存的Spark作为执行引擎，具有高效和容错的特性。还能集成Spark的批处理和交互查询，为实现复杂的算法提供和批处理类似的简单接口。

Spark Streaming使用“微批次”的架构，把流式计算当作一系列连续的小规模批处理来对待。它从各种输入源中读取数据，并把数据分组为小的批次，新的批次按均匀的时间间隔创建出来。在每个时间区间开始的时候，一个新的批次就创建出来，在该区间内收到的数据都会被添加到这个批次中，在时间区间结束时，批次停止增长。时间区间的大小是由批次间隔这个参数决定的，批次间隔一般设在500毫秒到几秒之间，由应用开发者配置。每个输入批次都形成一个RDD，以Spark作业的方式处理并生成其他的RDD，处理的结果可以以批处理的方式传给外部系统。

从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建四个内容：一个静态的RDD DAG的模板，来表示处理逻辑；一个动态的工作控制器，将连续的streaming data切分数据片段，并按照模板复制出新的RDD DAG的实例，对数据片段进行处理；Receiver进行原始数据的产生和导入；Receiver将接收到的数据合并为数据块并存到内存或硬盘中，供后续batch RDD进行消费；以及对长时运行任务的保障，包括输入数据的失效后的重构，处理任务的失败后的重调。

相关文章：

谈一谈大数据流式处理，以Spark Streaming为例详细论述

Spark Streaming是构建在Spark上的实时流计算框架，可以进行实时流数据处理。Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算…...

编程日记 2025/6/23 18:58:13

RabbitMQ实现消息发送接收——实战篇(路由模式)

本篇博文将带领大家一起学习rabbitMQ如何进行消息发送接收，我也是在写项目的时候边学边写，有不足的地方希望在评论区留下你的建议，我们一起讨论学习呀~ 需求背景先说一下我的项目需求背景，社区之间可以进行物资借用&#xff0c…...

编程日记 2025/6/23 18:50:00

Docker Desktop占用空间问题解决

Windows安装Docker Desktop，没过多久就会发现C盘空间满了，很大可能是Docker Desktop的文件占用了空间，可以通过以下步骤解决： 步骤一：执行清理命令 docker system prune清理磁盘，删除关闭的容器、无用的数…...

编程日记 2025/6/20 20:26:42

系统性能优化

一、概述性能优化的目标：是提高系统或应用程序的响应时间、吞吐量、cpu、内存、磁盘IO、网络、流量、JVM、Tomcat、DB等方面的性能指标。性能优化需要有一些技巧：对于整个产品或项目而言，比如可以从前端优化、后端优化、架构优化、高并发…...

编程日记 2025/6/23 18:19:55

golang操作sqlite3加速本地结构化数据查询

目录摘要Sqlite3SQLite 命令SQLite 语法SQLite 数据类型列亲和类型——优先选择机制 SQLite 创建数据库SQLite 附加数据库SQLite 分离数据库 SQLite 创建表SQLite 删除表 SQLite Insert 语句SQLite Select 语句SQLite 运算符SQLite 算术运算符SQLite 比较运算符SQLite 逻辑运算…...

编程日记 2025/6/23 18:06:32

【NebulaGraph】mac通过Docker安装以及官方查询示例、以及索引详解还有数据构建案例(五)

【NebulaGraph】mac通过Docker安装以及官方查询示例 1. Docker安装NebulaGraph2. 官方查询示例3. Nebula Graph 的 Java 数据解析实践与指导4. 从零到一：如何构建一个企业股权图谱系统？5. Nebula Graph 索引详解6. nGQL 执行计划详解与调优7. 图数据库的…...

编程日记 2025/6/23 18:30:38

【一本通】家庭作业（贪心算法）

【一本通】家庭作业 C语言代码 💐The Begin💐点点关注，收藏不迷路💐 老师在开学第一天就把所有作业都布置了，每个作业如果在规定的时间内交上来的话才有学分。每个作业的截止日期和学分可能是不同的。例如如果一个作业…...

编程日记 2025/6/23 17:46:27

Kylin麒麟操作系统 | 网络链路聚合配置（team和bond）

目录一、理论储备1. 链路聚合二、任务实施1. team模式2. bond模式一、理论储备 1. 链路聚合链路聚合是指将多个物理端口捆绑在一起，形成一个逻辑端口，以实现出/入流量在各成员端口中的负载分担。链路聚合在增加链路带宽、实现链路传输弹性和冗余等…...

编程日记 2025/6/19 22:41:24

2024年软件测试面试题大全【含答案】

一、面试基础题简述测试流程: 1、阅读相关技术文档（如产品PRD、UI设计、产品流程图等）。 2、参加需求评审会议。 3、根据最终确定的需求文档编写测试计划。 4、编写测试用例（等价类划分法、边界值分析法等）。 5、用例评审(…...

编程日记 2025/6/23 18:12:03

Stable Diffusion 提示词语法

1.提示词基础 1.提示词之间用英文逗号,分隔 2.提示词之间是可以换行的 3.权重默认为1,越靠前权重越高 4.数量控制在75个单位以内 2.提示词各种符号的意义 2.1 ()、[]、{}符号权重值()小括号[]中括号{}大括号默认1111层()1.1[]0.9{}1.052层(()) 1.121.21[[]]0.920.81{{}}1.…...

编程日记 2025/6/23 18:18:46

Y20030004基于asp.net+Sql的环保网站的设计与实现(附源码调试文档)

环保网站的设计与实现 1.摘要要2. 系统功能3.功能结构图4.界面展示5.源码获取 1.摘要要近几年国家对于环境管理是高度重视，尤其是对于环境生态的破坏与环境污染，已经严重影响到人类的生存和发展。为了使生态环境能够得到保护和改善，持续发展…...

编程日记 2025/6/1 8:06:33

OpenCV的简单练习

1、读取一张彩色图像并将其转换为灰度图。 import matplotlib.pyplot as pltimg plt.imread("./flower.png") # 灰度化 img_gray img[:,:,0]*0.299 img[:,:,1]*0.587 img[:,:,2]*0.114plt.subplot(121) plt.imshow(img) plt.subplot(122) plt.imshow(img_gray,c…...

编程日记 2025/6/23 18:23:34

VS2019中无法跳转定义_其中之一情况

我习惯了使用VS2019看stm的代码； 遇到的问题，在导入代码后，发现有些函数调用不能跳转到定义； 问题描述步骤 1、导入代码 2、跳转，无法跳转 1、中文路径 2、删除.vs文件和网上查的都没办法解决最后发现是VS不支持 …...

编程日记 2025/6/4 10:59:11

虚幻5描边轮廓材质

很多游戏内都有这种描边效果，挺实用也挺好看的，简单复刻一下效果演示： Linethickness可以控制轮廓线条的粗细这样连完，然后放到网格体细节的覆层材质上即可可以自己更改粗细大小和颜色...

编程日记 2025/5/29 12:06:43

【C语言】多线程服务器

多线程服务器多线程服务器步骤代码多线程服务器步骤主线程创建子线程，用子线程和客户端通信。步骤： 1.使用socket函数，获取一个socket文件描述符 2.使用setsockopt端口复用 3.使用bind函数允许客户端的哪些ip可以访问服务器 4.使用lis…...

编程日记 2025/6/4 16:31:14

跨平台轻量级RTSP技术设计和使用场景探讨

设计背景跨平台内网超低延迟直播的创新引擎为满足安防视频监控、教育培训、工业生产、医疗健康、智能物联网等内网超低延迟需求，避免让用户配置单独的服务器，大牛直播SDK在推送端发布了跨平台（Windows|Linux（含x86_64|aarch64…...

编程日记 2025/6/21 22:42:35

分解质因数

题目描述给定 n个正整数a，将每个数分解质因数，并按照质因数从小到大的顺序输出每个质因数的底数和指数。输入格式第一行包含整数 n。接下来 n行，每行包含一个正整数 a。输出格式对于每个正整数 aiai，按照从小到大的顺…...

编程日记 2025/6/23 18:29:13

wordpress建站--如何用Let‘s Encrypt给网站添加免费ssl证书，支持https访问

本文首发网站：https://www.click234.com 默认情况下我们的网站是http访问，为了增加访问安全性，我们需要添加ssl证书，支持采用https方式访问，今天我们来看下怎么创建免费的ssl证书--Lets Encrypt 使用 Certbot 自动化工…...

编程日记 2025/6/23 18:41:28

web实操7——ServletContext

概念和服务器通信功能解释说明： mime：互联网中一种文件的类型，可以用servletContext对象来获取。域对象：用来共享数据，里面有一些get,set,removeAttribute,只要搞清楚ServletContext对象的域的范围是什么如何…...

编程日记 2025/6/1 20:28:04

Android中bindService和startService启动服务有何区别

Android中bindService和startService启动服务有何区别 bindService 和 startService 是 Android 中两种用于与 Service 交互的方式，它们的区别主要在于生命周期管理和使用场景。以下是详细对比： 1. bindService方式 bindService 是一种绑定方式&am…...

编程日记 2025/6/23 18:27:43

Jupyter Notebook 切换虚拟环境

方法切换到需要添加到Jupyter Notebook中的虚拟环境，执行： python -m ipykernel install --name Jupyter Notebook中显示的虚拟环境名称如果遇到 [Errno 13] Permission denied: /usr/local/share/jupyter类似的权限问题，可能是没有对应的…...

编程日记 2025/6/2 10:59:42

短波红外相机

短波红外相机搭载采用 SenSWIR 技术的 Sony 高灵敏度传感器，能捕获到400nm~1700nm范围的可见光-短波红外宽波段图像信息，该相机可替代传统的“可见光相机短波红外相机”双相机检测方案，降低系统成本、提高处理速度、扩大检测范围，…...

编程日记 2025/6/23 18:03:40

余弦相似度Cosine Sim

what 余弦相似度是一种用于度量向量相似性的metric。 c o s θ A . B ∣ A ∣ . ∣ B ∣ cos\theta \frac{A.B}{|A|.|B|} cosθ∣A∣.∣B∣A.B A.B：向量的内积|A|：向量的模长 c o s θ cos\theta cosθ：的范围$ [ -1 , 1 ] $ why 余弦…...

编程日记 2025/6/19 18:49:35

【从零开始的LeetCode-算法】1338. 数组大小减半

给你一个整数数组 arr。你可以从中选出一个整数集合，并删除这些整数在数组中的每次出现。返回至少能删除数组中的一半整数的整数集合的最小大小。示例 1： 输入：arr [3,3,3,3,5,5,5,2,2,7] 输出：2 解释：选择 {3,7…...

编程日记 2025/6/19 22:41:24

测试工程师八股文05|功能测试、业务测试

一、基础概念 1、软件测试分类 1️⃣按照软件产生的阶段划分单元测试：针对程序源代码进行测试【开发自测】集成测试：针对模块之间功能交互进行测试系统测试：对整个系统（功能、非功能）进行全面测试验收测试&#xff…...

编程日记 2025/6/22 11:11:19

【电源专题】开关转换器使能（EN）和欠压锁定（UVLO）为什么需要回滞？

在文章：【电源专题】案例：芯片规格书使能定义高电平最小阈值1.4V，那真的是到1.4V时才开始输出？_芯片的电流阀值-CSDN博客中我们提到一般来说开关转换器的使能脚是有一个回滞的，比如下图所示的芯片规格书...

编程日记 2025/6/23 18:38:33

TS的类型守卫、类型约束实践

类型守卫 // 基础类型判断 const arr [30, 50] console.log(typeof arr) // object const set new Set(arr) console.log(typeof set) // object const map new Map() console.log(typeof map) // objectclass Customer {constructor() {}buy(method:string) {console.log(…...

编程日记 2025/6/23 18:07:54

Thread线程基础使用

多线程目的：其实就是希望“并行”执行多任务，提升效率。单核多线程基于时间片轮询并发而非并行线程最大数等于cpu核心数为佳 namespace thinger.ThreadDemo {class Program{//主线程static void Main(string[] args){Console.WriteLine("这个…...

编程日记 2025/5/29 10:18:56

番外篇 | BGF-YOLO：引入双层路由注意力、广义特征金字塔网络和第四检测头，提高YOLOv8检测性能

前言：Hello大家好，我是小哥谈。本文提出了一种名为BGF-YOLO的新模型，通过引入双层路由注意力、广义特征金字塔网络和第四检测头，提高YOLOv8在脑肿瘤检测中的性能，采用多层特征融合与动态稀疏注意机制以减少特征冗余。 🌈 目录 🚀1.基础概念 🚀2.网络结构 �…...

编程日记 2025/6/21 16:09:24

15-从 TypeScript 到 ArkTS 的适配规则（5）

15-从 TypeScript 到 ArkTS 的适配规则（5） 不支持确定赋值断言 **规则：**arkts-no-definite-assignment 级别：警告 ArkTS不支持确定赋值断言，例如：let v!: T。改为在声明变量的同时为变量赋值。 TypeS…...

编程日记 2025/6/23 11:48:08

UniApp配置使用原子化tailwindcss

参考视频创建项目新建项目选择uniapp - vue版本这里我选择3 - 点击创建即可创建完成后，如果是要编译到小程序的项目则可以先将项目运行到小程序打开了初始化package.json 执行 npm init -y安装和配置安装 npm i -D tailwindcss postcss autoprefixer # 安…...

编程日记 2025/6/22 20:19:42

魅族手机刷官方系统

从魅族官网下载固件 https://flyme.cn/firmware.html 找到自己的型号，里面有历史版本、最新版，按照需求下载。下载的是update.zip，改名就不能升级了方法1 直接点击下载的update.zip包就可以升级。方法2 将文件移动到文件管理的根目录&a…...

编程日记 2025/5/31 10:29:37

【欧几里得算法以及扩展欧几里得算法】

欧几里得算法假设有两个非负整数 a , b a,b a,b,并且 a , b a,b a,b都不等于0，那么 a , b a,b a,b的最大公约数等于其中较小的数和 a , b a,b a,b相除的余数的最大公约数。用公式表达为 g c d ( a , b ) g c d ( b , a ( m o d b ) ) gcd(a,b)gcd(b,a\pmod{b})…...

编程日记 2025/6/1 9:02:57

CentOS7 Apache安装踩坑

Gnome桌面右键弹出终端。 [rootlocalhost ~]# yum repolist 已加载插件：fastestmirror, langpacks /var/run/yum.pid 已被锁定，PID 为 2611 的另一个程序正在运行。 Another app is currently holding the yum lock; waiting for it to exit... [root…...

编程日记 2025/6/4 1:39:12

c#基于tcp的打印机共享程序可以打印图片

c sharp 基于tcp共享图片打印程序: 基于c#的tcp打印服务程序https://gitee.com/paoxi/tcpprint代码已经开源执行文件在下方 tcp打印发送端庖犠/c sharp 基于tcp共享图片打印程序 - Gitee.comhttps://gitee.com/paoxi/tcpprint/releases/tag/0.9...

编程日记 2025/5/29 13:06:41

二分查找算法

目录 1.二分查找 2.在排序数组中查找元素的第一个和最后一个位置 2.1题目解析 2.2算法原理 2.3编写代码 3.x的平方根 3.1题目解析 3.2算法原理 3.3编写代码 4.搜索插入位置 4.1题目解析 4.2算法原理 4.3编写代码 5.山脉数组的峰顶索引 5.1题目解析 5.2算法原理 …...

编程日记 2025/6/3 13:27:08

【Python技术】同花顺wencai涨停分析基础上增加连板分析

周末，有读者加我， 说之前的涨停分析是否可以增加连板分析。这个可以加上。先看效果这里附上完整代码： import streamlit as st import pywencai import pandas as pd from datetime import datetime, timedelta import plotly.graph_o…...

编程日记 2025/6/20 2:08:25

多线程的知识总结（8）：用 thread 类或全局 async (...) 函数，创建新线程时，谁才是在新线程里第一个被执行的函数

（40）用 thread 类或全局 async (…) 函数，创建新线程时，谁才是在新线程里第一个被执行的函数？ 弄清楚这个问题，有利于推测和理解线程中代码的执行流程。根据 thread 类和 async （…&#xff0…...

编程日记 2025/6/20 5:43:14

mp4影像和m4a音频无损合成视频方法

第一步：复制高清视频地址 url 第二步:打开网址粘贴复制的视频url视频下载第三步：下载-影像.mp4和-音频.m4a 第四步：合并视频； 使用ffmpeg进行无损合成（如果没有安装ffmpeg请自行下载安装下载 FFmpeg (p2hp.com)&…...

编程日记 2025/6/2 23:24:15

CEF 数据加密与网络安全

随着网络攻击的日益猖獗，确保应用的安全性已经成为开发者的首要任务。特别是在现代Web应用中，如何确保数据的加密存储、网络通信的安全性以及有效的认证机制成为至关重要的问题。对于基于 Chromium Embedded Framework (CEF) 的应用，开发者必…...

编程日记 2025/6/20 7:33:13

【Linux学习】十五、Linux/CentOS 7 用户和组管理

Linux下组和用户的管理都必须是root用户下进行： 一、组的管理 1.组的创建格式： groupadd 组名参数： -g：指定用户组的组ID（GID），如果不提供则由系统自动分配。【案例】创建一个名为 oldg…...

编程日记 2025/6/3 3:14:47

C语言实现图片文件的复制

在C语言中，直接处理图片文件（如JPEG、PNG等）的复制，通常涉及到文件I/O操作。这些图片文件是二进制文件，因此需要使用二进制模式读取和写入文件。图片文件复制代码： #include <stdio.h> #include&l…...

编程日记 2025/5/29 14:10:15

噪杂环境（房车改装市场）离线语音通断器模块

一直在坚持，却很难有机会上热门，在现在这个以流量为导向的时代，貌似很难靠所谓的坚守和热爱把产品成功的推向市场了。目前的客户仍然是以老客户为主，应用场景主要是房车改装，根据九客户的需求定制化一些模块。因为没有…...

编程日记 2025/6/4 15:40:09

网络安全知识点

第一章网络安全概述 1.2.1 网络安全概念P4 网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或恶意的原因而遭到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。 1.2.3 网络安全的种类P5 （1…...

编程日记 2025/6/3 13:16:29

QT＜32＞软件子页面最小化后再次点击置顶显示

一、前言在 Qt 中，当一个窗口被最小化后，再次点击恢复它时，默认情况下，窗口恢复的方式可能并不总是显示在最顶层。这通常是因为窗口恢复后会被置于操作系统的默认层次结构中，而不是直接处于最上层。为了确保恢复后的窗…...

编程日记 2025/6/22 20:23:52

TCP 数据传输的拆包和粘包了解吗？

前言： 上一篇我们了解了什么是 TCP 协议，以及 TCP 协议 3 次握手 4次挥手的原因，本篇来分享一下 TCP 数据的传输过程的拆包和粘包，以及 TCP 数据传输过程中的一些细节。计算机网络往期文章 TCP 为什么是 3 次握手 4 次挥手&am…...

编程日记 2025/6/21 9:26:14

Ubuntu常用自救方案

一、开机进入终端界面莫名其妙进入终端界面了且死活出不来，原因可能是下载了些不该下的，或者卸载了些不能卸的。万一真是这样可以尝试以下方法： 1.安装图形界面第一行必安，2、3没试过 sudo apt-get install ubuntu-desktop …...

编程日记 2025/6/20 8:19:13

决策曲线分析（DCA）中平均净阈值用于评价模型算法（R自定义函数）

决策曲线分析（DCA）中平均净阈值用于评价模型算法 DCA分析虽然不强调用来评价模型算法或者变量组合的优劣，但是实际应用过程中感觉DCA曲线的走势和模型的效能具有良好的一致性，其实这种一致性也可以找到内在的联系，比如…...

编程日记 2025/6/19 18:02:07

【小沐学GIS】基于C++绘制三维数字地球Earth（OpenGL、glfw、glut、QT）第三期

🍺三维数字地球系列相关文章如下🍺：1【小沐学GIS】基于C绘制三维数字地球Earth（456:OpenGL、glfw、glut）第一期2【小沐学GIS】基于C绘制三维数字地球Earth（456:OpenGL、glfw、glut）第二期3【小沐…...

编程日记 2025/6/20 1:58:12

回归预测 | MATLAB实现CNN-BiGRU-Attention卷积神经网络结合双向门控循环单元融合注意力机制多输入单输出回归预测

回归预测 | MATLAB实现CNN-BiGRU-Attention卷积神经网络结合双向门控循环单元融合注意力机制多输入单输出回归预测目录回归预测 | MATLAB实现CNN-BiGRU-Attention卷积神经网络结合双向门控循环单元融合注意力机制多输入单输出回归预测预测效果基本介绍程序设计参考资料预测效…...

编程日记 2025/6/1 18:20:12