Spark-Streaming简介及核心编程
一、核心概念：
1.Spark-Streaming 是流式数据处理框架，基于 **DStream（离散化流）** 抽象，将实时数据划分为多个时间区间的 RDD 序列。
DStream 本质是RDD 序列，每个时间区间数据对应一个 RDD。
2.特点：
易用性：支持 Java、Python、Scala 等语言，编程方式类似离线处理。
容错性：无需额外配置即可恢复丢失数据。
易整合性：可与 Spark 批处理结合，支持离线与实时处理统一代码。
3.架构与机制：
背压机制：Spark 1.5 + 引入，通过spark.streaming.backpressure.enabled控制（默认false），根据作业执行情况动态调整数据接收速率，替代静态参数spark.streaming.receiver.maxRate。
实操案例：
WordCount 案例：通过socketTextStream读取 TCP 端口（如 9999）数据，经flatMap、map、reduceByKey等操作统计单词计数，时间间隔设置为3 秒
二、Spark-Streaming 核心编程
1.DStream 创建方式：
RDD 队列：通过ssc.queueStream(queueOfRDDs)创建，案例中使用队列循环添加 RDD（含 1-300 的整数），时间间隔4 秒，每次添加后线程休眠2000 毫秒。
自定义数据源：继承Receiver类，实现onStart（启动线程接收数据）和onStop方法，案例中监控端口 9999，时间间隔5 秒，通过receiverStream获取数据。
关键实现：
自定义CustomerReceiver类通过 Socket 读取指定端口数据，使用store(input)存储数据，并在连接中断时调用restart("restart")重启
相关文章：
Spark-Streaming简介及核心编程
一、核心概念： 1.Spark-Streaming 是流式数据处理框架，基于 **DStream（离散化流）** 抽象，将实时数据划分为多个时间区间的 RDD 序列。 DStream 本质是RDD 序列，每个时间区间数据对应一个 RDD。 2.特点&a…...
优化提示词方面可以使用的数学方法理论:信息熵,概率论 ，最优化理论
优化提示词方面可以使用的数学方法理论:信息熵,概率论 ，最优化理论 目录 优化提示词方面可以使用的数学方法理论:信息熵,概率论 ，最优化理论信息论信息熵明确问题主题提供具体细节限定回答方向规范语言表达概率论最优化理论信息论 原理：信息论中的熵可以衡量信息的不确定性。…...
Sqlserver安全篇之_Sqlcmd命令使用windows域账号认证sqlserver遇到问题如何处理的案例
sqlcmd https://learn.microsoft.com/zh-cn/sql/tools/sqlcmd/sqlcmd-connect-database-engine?viewsql-server-ver16 sqlcmd -S指定的数据库连接字符串必须有对应的有效的SPN信息，否则会报错SSPI Provider: Server not found in Kerberos database. 正常连接 1、…...
基于华为云 ModelArts 的在线服务应用开发（Requests 模块）
基于华为云 ModelArts 的在线服务应用开发（Requests 模块） 一、本节目标 了解并掌握 Requests 模块的特点与用法学会通过 PythonRequests 访问华为云 ModelArts 在线推理服务熟悉 JSON 模块在 Python 中的数据序列化与反序列化掌握 Python 文件 I/O 的基…...
Graph Database Self-Managed Neo4j 知识图谱存储实践1：安装和基础知识学习
Neo4j 是一个原生图数据库，这意味着它在存储层实现了真正的图模型。它不是在其他技术之上使用“图抽象”，而是以您在白板上绘制想法的相同方式在Neo4j中存储数据。 自2007年以来，Neo4j已经发展成为一个丰富的工具、应用程序和库的生态系统。…...
【Python进阶】VSCode Python开发完全指南：从环境配置到高效调试
目录 前言技术背景与价值当前技术痛点解决方案概述目标读者说明 一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比 二、实战演示环境配置要求核心代码实现案例1：配置虚拟环境案例2：智能代码补全案例3：调试配置 运行结果…...
vscode：Live Server Preview插件
这个插件不用另外打开浏览器；它是直接在Vscode里面预览html的，并且是自动实时更新的，不用不停地CtrlS保存查看 使用方法：F1 -> 弹出一个窗口输入live，选择即可。 运行结果如下：...
关于在Springboot中设置时间格式问题
目录 1-设置全局时间格式1.Date类型的时间2.JDK8时间3.使Date类和JDK8时间类统统格式化时间 2-关于DateTimeFormat注解 1-设置全局时间格式 1.Date类型的时间 对于老项目来说，springboot中许多类使用的是Date类型的时间，没有用到LocalDateTime等JDK8时…...
双周报Vol.70: 运算符重载语义变化、String API 改动、IDE Markdown 格式支持优化...多项更新升级！
2025-04-21 语言更新 async 函数的调用处语法改为和 error 相同的 f!(..)，原语法 f!!(..) 将触发警告 运算符重载的语义从基于方法迁移到了基于 trait，以后重载运算符需要通过给 moonbitlang/core/builtin 中对应的 trait 添加 impl 的形式。各个运算符…...
AI 技术发展：从起源到未来的深度剖析
一、AI 的起源与早期发展 人工智能（AI）作为计算机科学的重要分支，其诞生可以追溯到 20 世纪中叶。1943 年，艾伦・图灵提出图灵机的概念，为计算机科学和 AI 理论奠定了基础。1950 年，图灵又提出著名的图灵…...
【前端】【业务逻辑】 数据大屏自适应方案汇总
前端数据大屏自适应设计方案全解析 在前端数据大屏的开发中，自适应设计是关键环节，它能确保大屏在不同设备和屏幕尺寸上都能呈现出良好的视觉效果和交互体验。除了常见的 transform: scale、rem/vw、Flex/Grid 等方案外，还有其他有效的方法可…...
Java基础复习（JavaSE进阶）第六章 IO流体系
6-1 File类 01 122、File、IO流概述 02 123、File类：对象的创建 03 124、File类：判断、判断信息相关的方法 04 125、File类：创建、删除文件的方法 05 126、File类：遍历文件夹的方法 6-2 前置知识 01 127、前置知识：方…...
kvm下的ceph主机启动io请求统计
背景 假如一个主机存储在ceph里面，我们想统计下一次启动过程中的io读取的情况，那么可以通过下面的方法来统计 启动时间也可以通过在宿主机里面去查看，通过日志这边要方便一点，无需登录到虚拟机内部 日志开启 [global] fsid 406…...
go-Casbin使用
本次测试代码是基于单租户的RBAC鉴权 依赖 github.com/casbin/casbin/v2 github.com/casbin/gorm-adapter/v2文件存储规则文件 model.pml [request_definition] r sub, obj, act[policy_definition] p sub, obj, act[role_definition] g _, _ # 用户,角色[polic…...
基于YOLOv11的106种手语识别分析系统
基于YOLOv11的手语识别分析系统 【包含内容】 【一】项目提供完整源代码及详细注释 【二】系统设计思路与实现说明 【三】多平台适配优化，支持Windows、macOS和Linux系统，确保中文字体正常渲染 【四】识别的类别数量：106种，具体类…...
CentOS创建swap内存
服务器版本为CentOS7 一、检查现有 swap 空间 sudo swapon --show如果系统中没有 swap 空间或者现有的 swap 空间不足，可以继续后续步骤来创建 swap 空间。 二、创建 swap 文件（推荐 2GB 作为示例） sudo dd if/dev/zero of/swapfile bs1M …...
OpenHarmony OS 5.0与Android 13显示框架对比
1. 架构概述 1.1 OpenHarmony OS 5.0架构 OpenHarmony OS 5.0采用分层架构设计，图形显示系统从底层到顶层包括： 应用层：ArkUI应用和第三方应用框架层：ArkUI框架、窗口管理API系统服务层：图形合成服务、窗口管理服务…...
函数)
详解Node.js中的setImmediate()函数
setImmediate() 是 Node.js 提供的一个定时器函数，用于在 事件循环的 “Check” 阶段 执行回调函数。它与 setTimeout() 相似，但两者有着显著的区别，主要体现在回调函数的执行时机上。 什么是事件循环（Event Loop） 在…...
使用C#写的HTTPS简易服务器
由于监控网络之用，需要写一个https服务器。 由于用到https，因此还需一个域名证书，可以免费申请，也可以用一个现有的。 接下来还需在Windows上安装证书，注册证书。 安装证书 找到证书，点击，一路…...
C# 事件知识文档
C# 事件知识文档 概述 在 C# 中，事件（Event） 是一种特殊的机制，它基于委托实现，用于支持发布-订阅模式。事件允许对象在发生特定操作时通知其他对象，而无需直接引用这些对象。这种机制非常适合于实现诸如用户界面交互、状态变化通知等场景。 核心概念 发布者（Publishe…...
C++进阶--二叉搜索树
文章目录 C进阶--二叉搜索树概念算法复杂度模拟实现结构定义插入查找删除剩余的次要接口中序遍历： 构造，析构，拷贝构造，赋值重载 结语 很高兴和大家见面，给生活加点impetus！！开启今天的编程之路…...
互联网大厂Java面试：从基础到进阶的技术点探讨
场景：赵大宝的面试旅程 在互联网大厂的面试现场，严肃的面试官李老师正在准备对求职者赵大宝进行一场Java技术栈的深度考核。赵大宝是一位以幽默著称的程序员，面试官希望通过这次面试能全面了解他的技术能力。 第一轮提问 李老师࿱…...
【MCP Node.js SDK 全栈进阶指南】中级篇（1）：MCP动态服务器高级应用
前言 在初级篇中，我们已经掌握了MCP TypeScript-SDK的基础知识，包括开发环境搭建、基础服务器开发、资源开发、工具开发、提示模板开发以及传输层配置等核心内容。随着我们对MCP的理解不断深入，是时候进入更高级的应用场景了。 MCP的一个强大特性是其动态性，能够在运行时…...
LM35 温度传感器介绍
【本文基于Arduino项目】 1. LM35 温度传感器简介 LM35 是一款 精密模拟温度传感器，由德州仪器（TI）推出，具有线性输出、无需校准、低功耗等特点，广泛应用于环境监测、工业控制等领域。 主要特性 参数规格测量范围-…...
【网络应用程序设计】实验一：本地机上的聊天室
个人博客：https://alive0103.github.io/ 代码在GitHub：https://github.com/Alive0103/XDU-CS-lab 能点个Star就更好了，欢迎来逛逛哇~❣ 主播写的刚够满足基本功能，多有不足，仅供参考，还请提PR指正ÿ…...
Cursor 设置规则
文章目录 1、一个可以参考的网站-各种语言都有2、正向设置规则通过 符号还可以引用子规则 3、逆向设置规则 1、一个可以参考的网站-各种语言都有 https://cursor.directory/rules 2、正向设置规则 注意，最开始规则设置已经作废（下图下面的红框&#…...
)
人工智能-模型评价与优化(过拟合与欠拟合，数据分离与混淆矩阵，模型优化，实战)
欠拟合与过拟合 模型不合适，导致其无法与数据实现有效预测 欠拟合可以通过观察训练数据及时发现，通过优化模型结果解决 过拟合的原因： 1、模型结构过于复杂（维度太高） 2、使用了过多属性，模型训练时包含了…...
Python爬虫从入门到实战详细版教程
Python爬虫从入门到实战详细版教程 文章目录 Python爬虫从入门到实战详细版教程书籍大纲与内容概览第一部分：爬虫基础与核心技术1. 第1章：[爬虫概述](https://blog.csdn.net/qq_37360300/article/details/147431708?spm=1001.2014.3001.5501)2. 第2章：HTTP协议与Requests库…...
Java多线程编程初阶指南
目录 一.线程基础概念 线程是什么？ 线程与进程对比 为啥要有线程 二.线程实现方式 继承Thread类 实现Runnable接口 常规实现方式 匿名内部类写法 Lambda表达式写法（Java8） 对比总结 三.Thread 类及常见方法 核心功能 核心构造方…...
Qt信号槽连接的三种方法对比
信号槽连接方法对比 1. 直接连接2. 集中管理3.函数指针初始化列表后期需要disconnect 对比 1. 直接连接 connect(codeWindow, &CodeEditorWindow::SetBaseLineSignal, monitoringWindow, &MonitoringWindow::SetBaseLineSlot),connect(&ButtonTree::Instance(), &a…...
健康生活新指南
在 “朋克养生” 与 “躺平焦虑” 并存的时代，真正的健康生活无需刻意 “内卷”。这几个简单又实用的养生妙招，能让你在忙碌日常中悄悄升级健康状态，轻松拥抱活力人生。 一、饮食：吃对食物，给身体 “加 Buff” 别…...
IF=24.5 靶向MMP9治疗协同提高抗PD1疗效
Targeted MMP9 therapy synergistically improves anti-PD1 efficacy CTNNB1GOF（The gain of function (GOF) CTNNB1 mutations，功能获得型CTNNB1突变）在肝细胞癌（HCC）中，已被证明与免疫排斥相关࿰…...
基于SpringBoot的中华诗词文化分享平台-项目分享
基于SpringBoot的中华诗词文化分享平台-项目分享 项目介绍项目摘要管理员功能图会员功能图系统功能图项目预览会员主页面诗词页面发布问题回复评论 最后 项目介绍 使用者：管理员、会员 开发技术：MySQLJavaSpringBootVue 项目摘要 本文旨在设计与实现一…...
详细操作)
SQLiteDatabase 增删改查(CRUD)详细操作
文章目录 1. 初始化数据库2. 插入数据 (Create)方法一：使用 ContentValues insert()方法二：直接执行SQL 3. 查询数据 (Read)方法一：使用 query() 方法方法二：使用 rawQuery() 执行原始SQL 4. 更新数据 (Update)方法一：…...
从 0 到 1 打通 AI 工作流：Dify+Zapier 实现工具自动化调用实战
一、引言：当 AI 遇到工具孤岛 在企业数字化转型的浪潮中，AI 工具的应用早已从单一的对话交互进阶到复杂的业务流程自动化。但开发者常常面临这样的困境：本地开发的 MCP 工具（如 ERP 数据清洗脚本、CRM 工单系统 API）如…...
第四届商师校赛 web 1
RceMe ezGame 伪装 Ping Are you from SQNU? Look for the homepage Through 根据题目慢慢试 File_download Post上传得到下载文件 反编译一下 /* * Decompiled with CFR 0.152. * * Could not load the following classes: * javax.servlet.http.HttpServlet */ …...
SSH 互信被破坏能导致 RAC 异常关闭吗
一、 SSH 互信和 RAC 的关系 1、SSH 互信对 RAC 的作用 Oracle 11g R2 在安装 Grid Infrastructure 的时候，能够通过安装程序配置节 点间的 SSH 用户等效性，之所以要在安装之前配置 SSH 用户等效性，是为了能 够在安装前使用 C…...
工程投标k值分析系统（需求和功能说明）
1 需求总括 2 企业管理模块： 新增、删除、修改企业/部门 <...
Qt-托盘的实现
文章目录 托盘的功能QSystemTrayIcon 类QSystemTrayIcon类的常用函数代码实现 托盘的功能 GUI 程序，如果想要实现当最小化时，程序从任务栏消失，在系统托盘显示一个图标，表示此程序，并能在托盘内通过双击或者菜单使程序…...
【人脸识别】百度人脸识别H5方案对接
经调研，百度的人脸识别使用场景比较广泛且准确率较高，项目上有用到，这里做一下记录，整体对接没有难度，按照文档操作就行。 一、准备工作 1、需要注册百度云开放平台（企业资质）注册指南 2、创…...
用Qt和deepseek创建自己的问答系统
如果你不想花钱调用deepseek，试试下面的方法。 1: 访问 OpenRouter： https://openrouter.ai 2: 搜索 DeepSeek-R1 (free) 要使用这个免费模型，你需要： （1）注册 OpenRouter 账户并获取 API 密钥 访问 …...
飞搭系列 | 组件增加标记，提升用户体验
前言 Preface 飞搭低代码平台（FeiDa，以下简称“飞搭”），为企业提供在线化、灵活的业务应用构建工具，支持高低代码融合，助力企业低门槛、高效率和低成本地快速应对市场变化，加速复杂业务场景落地…...
布隆过滤器的应用
布隆过滤器虽然看起来是一个“算法结构”，但在实际 Web 应用场景中用途非常广泛，尤其在 提升性能、节省资源、防御攻击 等方面非常有用。 缓存穿透保护（常见于 Redis） 📌 问题： 用户频繁请求一些数据库中…...
云原生--基础篇-4--CNCF-1-云原生计算基金会（云原生生态发展和目标）
1、CNCF定义与背景 云原生计算基金会（Cloud Native Computing Foundation，CNCF）是由Linux基金会于2015年12月发起成立的非营利组织，旨在推动云原生技术的标准化、开源生态建设和行业协作。其核心目标是通过开源项目和社区协作&am…...
（16）VTK C++开发示例 --- 转换文件格式
文章目录 1. 概述2. CMake链接VTK3. main.cpp文件4. 演示效果 更多精彩内容👉内容导航 👈👉VTK开发 👈 1. 概述 此示例演示如何读取文件，然后将其写入不同类型的文件。 在此示例中，我们读取一个 vtp 文件并…...
离线-DataX
基本介绍 DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台，它是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源…...
深度学习-全连接神经网络-3
七、过拟合与欠拟合 在训练深层神经网络时，由于模型参数较多，在数据量不足时很容易过拟合。而正则化技术主要就是用于防止过拟合，提升模型的泛化能力(对新数据表现良好)和鲁棒性（对异常数据表现良好）。 1. 概念认知 …...
基于javaweb的SSM+Maven教材管理系统设计与实现(源码+文档+部署讲解）
技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文…...
DCL介绍
一.dcl-介绍 一.案例 1.查询用户 USE mysql； select * from user； 2.权限控制...
mysql日常巡检
1.查看mysql服务是否异常 systemctl status mysql_3306 查看MySQL进程是否存在 ps -ef | grep mysql 2.连接异常检查 (1)查看是否异常连接 show processlist; #或 show full processlist; (2)查看当前失败连接数 show global status like aborted_connects; (3)查看试…...