当前位置： 首页 > news >正文

Spark-Streaming

news 来源：原创 2025/7/21 17:32:59

Spark-Streaming概述

DStream实操

案例一：WordCount案例

需求：使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统计不同单词出现的次数

实验步骤：

  1. 添加依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.12</artifactId>
    <version>3.0.0</version>
</dependency>

  1. 编写代码

val sparkConf = new SparkConf().setMaster("local[*]").setAppName("streaming")
val ssc = new StreamingContext(sparkConf,Seconds(3))

val lineStreams = ssc.socketTextStream("node01",9999)
val wordStreams = lineStreams.flatMap(_.split(" "))
val wordAndOneStreams = wordStreams.map((_,1))
val wordAndCountStreams = wordAndOneStreams.reduceByKey(_+_)
wordAndCountStreams.print()

ssc.start()
ssc.awaitTermination()

  1. 启动netcat发送数据

nc -lk 9999

结果：

相关文章：

Spark-Streaming

Spark-Streaming概述 DStream实操 案例一&#xff1a;WordCount案例 需求&#xff1a;使用 netcat 工具向 9999 端口不断的发送数据&#xff0c;通过 SparkStreaming 读取端口数据并统计不同单词出现的次数 实验步骤&#xff1a; 添加依赖 <dependency> <gro…...

编程日记 2025/7/21 17:32:59

乐视系列玩机------乐视2 x620红灯 黑砖刷写教程以及新版刷写工具的详细释义

乐视x620在上期解析了普通黑砖情况下的救砖刷机过程。但在一些例外的情况下。使用上面的步骤会一直刷写报错 。此种情况就需要另外一种强制刷写方法来救砖 通过博文了解💝💝💝 1💝💝💝-----详细解析乐视2 x620系列 红灯 黑砖线刷救砖的步骤 2💝💝💝----图…...

编程日记 2025/6/29 9:39:34

若依SpringCloud项目-定制微服务模块

若依SpringCloud项目-定制微服务模块 关于微服务先不过多介绍&#xff0c;刚开始熟悉并不能讲的很彻底&#xff0c;成熟的微服务项目-若依SpringCloud就是一个典型的微服务架构工程&#xff08;网上有很多教程了&#xff0c;不明白的可以学习一下&#xff09;。 我正在看的视…...

编程日记 2025/7/14 15:55:27

【扫描件批量改名】批量识别扫描件PDF指定区域内容，用识别的内容修改PDF文件名，基于C++和腾讯OCR的实现方案，超详细

批量识别扫描件PDF指定区域内容并重命名文件方案 应用场景 本方案适用于以下场景： 企业档案数字化管理：批量处理扫描的合同、发票等文件，按内容自动分类命名财务票据处理：自动识别票据上的关键信息（如发票号码、日期）用于归档医疗记录管理：从扫描的检查报告中提取患者I…...

编程日记 2025/6/29 11:07:43

学习Docker遇到的问题

目录 1、拉取hello-world镜像报错 1. 检查网络连接 排查： 2. 配置 Docker 镜像加速器（推荐） 具体解决步骤： 1.在服务器上创建并修改配置文件，添加Docker镜像加速器地址： 2. 重启Docker 3. 拉取hello-world镜像 2、删除镜像出现异常 3、 容器内部不能运行ping命令 …...

编程日记 2025/6/29 9:39:40

Docker 数据卷

目录 一、数据卷(Data Volume) 二、使用 1、单独建立数据卷 2、挂载主机数据卷 3、数据卷容器挂载 基本语法： 工作原理： 主要用途： 使用事例： 一、数据卷(Data Volume) 数据卷的使用，类似于 Linux 下对目录或文件进行 mount 数据卷(Data Volume)是一个可供一个或多…...

编程日记 2025/7/21 17:31:34

【数据结构】励志大厂版·初级（二刷复习）双链表

前引&#xff1a;今天学习的双链表属于链表结构中最复杂的一种&#xff08;带头双向循环链表&#xff09;&#xff0c;按照安排&#xff0c;我们会先进行复习&#xff0c;如何实现双链表&#xff0c;如基本的头插、头删、尾删、尾插&#xff0c;掌握每个细节&#xff0c;随后进…...

编程日记 2025/6/29 11:13:33

通过dogssl申请ssl免费证书

SSL证书作为实现HTTPS加密的核心工具&#xff0c;能够确保用户与网站之间的数据传输安全。尤其是在小程序之类的开发时&#xff0c;要求必须通过https发起请求的情况下。学会如何免费申请一个ssl证书就很有必要了。这里我分享一下&#xff0c;我通过dogssl如何申请ssl的。 一&…...

编程日记 2025/7/9 18:20:10

路由与路由器

路由的概念 路由是指在网络通讯中&#xff0c;从源设备到目标设备路径的选择过程。路由器是实现这一过程的关键设备&#xff0c;它通过转发数据包来实现网络的互联。路由工作在OSI参考模型的第三层&#xff0c;‘网络层’。 路由器的基本原理 路由器通过维护一张路由表来决定…...

编程日记 2025/7/21 17:24:48

Docker底层原理浅析 | namespace+cgroups+文件系统

本文目录 1. Linux NamespaceLinux系统里是否只能有一个pid为1的进程&#xff1f;namespace机制查看namespacenamespace机制测试使用Docker验证namespace机制 2. Dcoerk网络模式3.Control groups4.文件系统&#xff08;联合文件系统&#xff09;5. 容器格式 1. Linux Namespace…...

编程日记 2025/6/29 11:26:24

【无人机】使用扩展卡尔曼滤波 （EKF） 算法来处理传感器测量，各传感器的参数设置，高度数据融合、不同传感器融合模式

目录 #1、IMU #2、磁力计 #3、高度 #典型配置 #4、气压计 #静压位置误差修正 #气压计偏置补偿 #5、全球导航系统/全球定位系统--GNSS/GPS #位置和速度测量 #偏航测量 #GPS 速度的偏航 #双接收器 #GNSS 性能要求 #6、测距 #条件范围辅助-Conditional range aidin…...

编程日记 2025/6/29 10:25:01

常见的raid有哪些，使用场景是什么？

RAID&#xff08;Redundant Array of Independent Disks&#xff0c;独立磁盘冗余阵列&#xff09;是一种将多个物理硬盘组合成一个逻辑硬盘的技术&#xff0c;目的是通过数据冗余和/或并行访问提高性能、容错能力和存储容量。不同的 RAID 级别有不同的实现方式和应用场景。以下…...

编程日记 2025/6/29 10:57:33

《 C++ 点滴漫谈： 三十四 》从重复到泛型，C++ 函数模板的诞生之路

一、引言 在 C 编程的世界里&#xff0c;类型是一切的基础。我们为 int 写一个求最大值的函数&#xff0c;为 double 写一个相似的函数&#xff0c;为 std::string 又写一个……看似合理的行为&#xff0c;逐渐堆积成了难以维护的 “函数墙”。这些函数逻辑几乎一致&#xff0…...

编程日记 2025/6/29 9:53:49

EasyRTC打造无人机低延迟高清实时通信监控全场景解决方案

一、方案背景 随着无人机技术的飞速发展&#xff0c;其在航拍、物流配送、农业监测、应急救援等多个领域的应用日益广泛。然而&#xff0c;无人机在实际作业过程中面临着诸多挑战&#xff0c;如通信延迟、数据传输不稳定、监控范围有限等。EasyRTC作为一种高效、低延迟的实时通…...

编程日记 2025/6/29 11:42:11

【MATLAB第117期】#源码分享 | 基于MATLAB的SSM状态空间模型多元时间序列预测方法（多输入单输出）

【MATLAB第117期】#源码分享 | 基于MATLAB的SSM状态空间模型多元时间序列预测方法&#xff08;多输入单输出&#xff09; 引言 本文使用状态空间模型实现失业率递归预测&#xff0c;状态空间模型&#xff08;State Space Model, SSM&#xff09;是一种用于描述动态系统行为的…...

编程日记 2025/6/29 11:43:40

关于大数据的基础知识（三）——数据安全与合规

成长路上不孤单&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a;&#x1f60a; 【14后&#x1f60a;///计算机爱好者&#x1f60a;///持续分享所学&#x1f60a;///如有需要欢迎收藏转发///&#x1f60a;】 今日分享关于大数据的基础知识&#xff08;三&a…...

编程日记 2025/7/18 9:22:11

从信息泄露到内网控制

0x01 背景 之前常见用rce、文件上传等漏洞获取webshell&#xff0c;偶然遇到一次敏感信息泄露获取权限的渗透&#xff0c;简单记录一下过程。 0x02 信息泄露 发现系统某端口部署了minio服务&#xff0c;经过探测发现存在minio存储桶遍历 使用利用工具把泄露的文件全部整理一…...

编程日记 2025/6/29 11:41:21

【Qt】QDialog类

&#x1f308; 个人主页&#xff1a;Zfox_ &#x1f525; 系列专栏&#xff1a;Qt 目录 一&#xff1a;&#x1f525; 对话框 - QDialog &#x1f98b; 基本介绍&#x1f98b; 对话框分类&#x1f98b; Qt 内置对话框&#x1f380; QMessageBox -消息对话框&#x1f380; QColo…...

编程日记 2025/7/6 21:51:22

【Spring Boot基础】MyBatis的基础操作：增删查改、列名和属性名匹配 -- XML实现

MyBatis的基础操作 1. MyBatis XML配置文件1.1 简单介绍1.2 配置连接字符串和MyBatis1.3 XMl文件实现--分层1.4 XMl文件实现--举例 2.增删改查操作2.1 增&#xff08;insert&#xff09;2.1.1 不使用Param2.1.2 用Param2.1.3 返回自增键 2.2 删&#xff08;delete&#xff09;2…...

编程日记 2025/6/29 9:40:31

谷歌推出探索型推荐新范式：双LLM架构重塑用户兴趣挖掘

文章目录 1. 背景1.1 闭环困境1.2 谷歌的两次失败尝试1.2.1 尝试一&#xff1a;轻量微调1.2.2 尝试二&#xff1a;RLHF 强化学习微调 1.3 双LLM范式的提出1.3.1 模型1&#xff1a;Novelty LLM — 负责生成“探索方向”1.3.2 模型2&#xff1a;Alignment LLM — 负责评估“相关性…...

编程日记 2025/6/29 11:49:14

Linux kernel signal原理（下）- aarch64架构sigreturn流程

一、前言 在上篇中写到了linux中signal的处理流程&#xff0c;在do_signal信号处理的流程最后&#xff0c;会通过sigreturn再次回到线程现场&#xff0c;上篇文章中介绍了在X86_64架构下的实现&#xff0c;本篇中介绍下在aarch64架构下的实现原理。 二、sigaction系统调用 #i…...

编程日记 2025/6/29 11:47:33

使用 LangChain + Higress + Elasticsearch 构建 RAG 应用

RAG&#xff08;Retrieval Augmented Generation&#xff0c;检索增强生成&#xff09; 是一种结合了信息检索与生成式大语言模型&#xff08;LLM&#xff09;的技术。它的核心思想是&#xff1a;在生成模型输出内容之前&#xff0c;先从外部知识库或数据源中检索相关信息&…...

编程日记 2025/7/10 22:29:03

【Linux】46.网络基础（3.3）

文章目录 5. 其他重要协议或技术5.1 DNS(Domain Name System)5.1.1 DNS背景5.1.2 域名简介 5.2 ICMP协议5.2.1 ICMP功能5.2.2 ICMP的报文格式5.2.3 ping命令5.2.4 一个值得注意的坑5.2.5 traceroute命令 5.3 NAT技术5.3.1 NAT技术背景5.3.2 NAT IP转换过程5.3.3 NAPT5.3.4 NAT技…...

编程日记 2025/6/29 12:25:00

【Unity笔记】Unity + OpenXR项目无法启动SteamVR的排查与解决全指南

图片为AI生成 一、前言 随着Unity在XR领域全面转向OpenXR标准&#xff0c;越来越多的开发者选择使用OpenXR来构建跨平台的VR应用。但在项目实际部署中发现&#xff1a;打包成的EXE程序无法正常启动SteamVR&#xff0c;或者SteamVR未能识别到该应用。本文将以“Unity OpenXR …...

编程日记 2025/7/18 13:20:23

【sylar-webserver】重构 增加内存池

文章目录 内存池设定结构ThreadCacheCentralCachePageCache allocatedeallocate测试 参考 https://github.com/youngyangyang04/memory-pool 我的代码实现见 https://github.com/star-cs/webserver 内存池 ThreadCache&#xff08;线程本地缓存&#xff09; 每个线程独立的内存…...

编程日记 2025/6/29 12:18:56

云账号安全事件分析：黑客利用RAM子账户发起ECS命令执行攻击

事件背景 某企业云监控系统触发高危告警，提示API请求中包含黑客工具特征（cf_framework），攻击者试图通过泄露的RAM子账户凭据调用ECS高危API。以下是攻击关键信息整理： 字段详情告警原因API请求包含黑客工具特征（cf_framework）攻击实体RAM子账户 mq泄露凭证AccessKey ID…...

编程日记 2025/6/29 12:30:56

Node.js 模块导入的基本流程

Node.js 模块导入的基本流程&#xff0c;主要是 CommonJS 模块加载机制&#xff08;即使用 require()&#xff09;的内部执行步骤。下面我用清晰的结构给你梳理一下这个过程&#xff1a; ✅ Node.js 模块导入的基本流程&#xff08;使用 require()&#xff09; const someModu…...

编程日记 2025/7/11 4:22:47

Unitest和pytest使用方法

unittest 是 Python 自带的单元测试框架&#xff0c;用于编写和运行可重复的测试用例。它的核心思想是通过断言&#xff08;assertions&#xff09;验证代码的行为是否符合预期。以下是 unittest 的基本使用方法&#xff1a; 1. 基本结构 1.1 创建测试类 继承 unittest.TestC…...

编程日记 2025/6/29 10:36:58

wps批量修改字体

选择这个小箭头 找到需要修改的字体如正文&#xff0c;右击修改选择合适的字体确定即可...

编程日记 2025/7/19 15:55:10

【Linux网络】各版本TCP服务器构建 - 从理解到实现

&#x1f4e2;博客主页&#xff1a;https://blog.csdn.net/2301_779549673 &#x1f4e2;博客仓库&#xff1a;https://gitee.com/JohnKingW/linux_test/tree/master/lesson &#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01; &…...

编程日记 2025/6/29 10:41:49

航电系统多模态融合技术要点

一、技术要点 1. 多模态数据特性分析 异构数据对齐&#xff1a;需处理不同传感器&#xff08;如雷达、摄像头、IMU、ADS-B等&#xff09;在时间、空间、精度和采样率上的差异&#xff0c;需设计同步机制&#xff08;如硬件时钟同步、软件插值对齐&#xff09;。 数据预处…...

编程日记 2025/7/8 21:33:58

【Git】branch合并分支

在 Git 中&#xff0c;将分支合并到 main 分支是一个常见的操作。以下是详细的步骤和说明&#xff0c;帮助你完成这个过程。 1. 确保你在正确的分支上 首先&#xff0c;你需要确保当前所在的分支是 main 分支&#xff08;或者你要合并到的目标分支&#xff09;。 检查当前分支…...

编程日记 2025/6/29 9:40:15

uniapp-商城-33-shop 布局搜索页面以及u-search

shop页面上有一个搜索&#xff0c;可以进行商品搜索&#xff0c;这里我们先做一个页面布局&#xff0c;后面再来进行数据i联动。 1、shop页面的搜索 2、搜索的页面代码 <navigator class"searchView" url"/pagesub/pageshop/search/search"> …...

编程日记 2025/6/29 9:40:06

蓝桥杯常考的找规律题

目录 灵感来源&#xff1a; B站视频链接&#xff1a; 找规律题具有什么样的特点&#xff1a; 报数游戏&#xff08;Java组&#xff09;&#xff1a; 题目描述&#xff1a; 题目链接&#xff1a; 思路详解&#xff1a; 代码详解&#xff1a; 阶乘求和&#xff08;Java组…...

编程日记 2025/6/29 11:48:11

全球化2.0 | 云轴科技ZStack亮相2025香港国际创科展

4月13-16日&#xff0c;由香港特别行政区政府、香港贸发局主办的2025香港国际创科展&#xff08;InnoEX&#xff09;在香港会议展览中心举办&#xff0c;作为亚洲最具影响力的科技盛会之一&#xff0c;本届展会吸引了来自17个国家和地区的500余家顶尖科技企业、科研机构及行业先…...

编程日记 2025/6/29 9:40:08

【Python进阶】数据可视化：Matplotlib从入门到实战

Python数据可视化&#xff1a;Matplotlib完全指南 前言技术背景与价值当前技术痛点解决方案概述目标读者说明 一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比 二、实战演示环境配置要求核心代码实现案例1&#xff1a;折线图&#xff08;股票趋势&#…...

编程日记 2025/6/29 9:39:45

操作系统——堆与栈详解：内存结构全面科普

文章目录 堆与栈详解&#xff1a;内存结构全面科普一、程序内存结构总览二、各段介绍及特点1. 代码段 .text2. 数据段 .data3. BSS段 .bss4. 堆区 Heap5. 栈区 Stack 三、C语言实例分析四、深入理解&#xff1a;为什么堆空间可能不连续&#xff1f;1. 堆内部结构&#xff1a;链…...

编程日记 2025/6/29 10:22:55

Mysql面试知识点详解

Mysql面试知识点详解 Mysql 是 Java 开发领域中常用的持久层框架&#xff0c;在面试和实际开发中都占据重要地位。本文将深入剖析 Mysql的核心知识点&#xff0c;并结合实战案例&#xff0c;帮助读者全面掌握相关技能。 一、慢查询定位与分析 &#xff08;一&#xff09;定位…...

编程日记 2025/6/29 9:40:33

数智读书笔记系列030《曲折的职业道路：在终身工作时代找准定位》与《做自己的教练：战胜工作挑战掌控职业生涯》

书籍简介 《曲折的职业道路：在终身工作时代找准定位》由英国职业发展专家海伦塔珀（Helen Tupper）和莎拉埃利斯（Sarah Ellis）合著，旨在帮助读者应对现代职场中日益普遍的“非直线型”职业路径。两位作者是“神奇的如果”（Amazing If）公司的联合创始人，曾为李维斯、沃达…...

编程日记 2025/7/15 19:53:28

Linux内核之文件驱动随笔

前言 近期需要实现linux系统文件防护功能&#xff0c;故此调研了些许知识&#xff0c;如何实现文件防护功能从而实现针对文件目录防护功能。当被保护的目录&#xff0c;禁止增删改操作。通过内核层面实现相关功能&#xff0c;另外在通过跟应用层面交互从而实现具体的业务功能。…...

编程日记 2025/7/6 20:49:38

【python】如何将文件夹及其子文件夹下的所有word文件汇总导出到一个excel文件里？

根据你的需求，这里提供一套完整的Python解决方案，支持递归遍历子文件夹、提取Word文档内容（段落+表格），并整合到Excel中。以下是代码实现及详细说明： 一个单元格一个word的全部内容 完整代码 # -*- coding: utf-8 -*- import os from docx import Document import pand…...

编程日记 2025/6/29 12:08:04

IDEA中如何统一项目名称/复制的项目如何修改根目录名称

1、问题概述&#xff1f; 在开发中&#xff0c;有时候为了方便&#xff0c;我们会复制一个新的项目&#xff0c;结果出现如下提示&#xff1a; 会在工程的后面提示工程原来的名字。 这种情况就是复制之后名字修改不彻底造成的。 2、彻底的修改工程的名字 2.1、修改pom.xml中…...

编程日记 2025/6/29 9:40:22

Ubuntu-Linux中vi / vim编辑文件，保存并退出

1.打开文件 vi / vim 文件名&#xff08;例&#xff1a; vim word.txt &#xff09;。 若权限不够&#xff0c;则在前方添加 sudo &#xff08;例&#xff1a;sudo vim word.txt &#xff09;来增加权限&#xff1b; 2.进入文件&#xff0c;按 i 键进入编辑模式。 3.编辑结…...

编程日记 2025/7/21 0:16:24

如何在idea里创建注释模版

✅ 步骤&#xff1a;创建一个类注释的 Live Template&#xff08;缩写为 cls&#xff09; ① 打开设置 IDEA 菜单栏点击&#xff1a;File > Settings&#xff08;或按快捷键 Ctrl Alt S&#xff09; ② 进入 Live Templates 设置 在左侧菜单找到&#xff1a;Editor > …...

编程日记 2025/7/7 0:55:20

IntelliJ IDEA 新版本中 Maven 子模块不显示的解决方案

一、问题现象与背景 在使用 IntelliJ IDEA 2024 版本开发 Maven 多模块项目时&#xff0c;我发现一个令人困惑的现象&#xff1a;父模块的子模块未在右侧 Maven 工具窗口中显示&#xff0c;仅显示父模块名称&#xff08;且无 (root) 标识&#xff09;。而此前在 IntelliJ IDEA…...

编程日记 2025/6/29 9:40:18

day48—双指针-通过删除字母匹配到字典最长单词（LeetCode-524）

题目描述 给你一个字符串 s 和一个字符串数组 dictionary &#xff0c;找出并返回 dictionary 中最长的字符串&#xff0c;该字符串可以通过删除 s 中的某些字符得到。 如果答案不止一个&#xff0c;返回长度最长且字母序最小的字符串。如果答案不存在&#xff0c;则返回空字…...

编程日记 2025/6/29 9:39:46

美乐迪电玩大厅加载机制与 RoomList 配置结构分析

本篇为《美乐迪电玩全套系统搭建》系列的第三篇&#xff0c;聚焦大厅与子游戏的动态加载机制&#xff0c;深入解析 roomlist.json 的数据结构、解析流程、入口配置方式与自定义接入扩展技巧。通过本篇内容&#xff0c;开发者可实现自由控制子游戏接入与分发策略。 一、RoomList…...

编程日记 2025/6/29 11:25:33

局域网内，将linux（Ubuntu）的硬盘映射成Windows上，像本地磁盘一样使用

如何把同处一个局域网内的Ubuntu硬盘&#xff0c;映射到Windows上&#xff0c;使得Windows就像使用本地磁盘一样使用Ubuntu的磁盘&#xff1f; 要在同一局域网内的Windows上像本地磁盘一样使用Ubuntu硬盘&#xff0c;可以按照以下步骤操作&#xff1a; 1. 在Ubuntu上设置Samba…...

编程日记 2025/6/29 11:31:15

界面控件DevExpress WPF v25.1预览 - 支持Windows 11系统强调色

DevExpress WPF拥有120个控件和库&#xff0c;将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpress WPF能创建有着强大互动功能的XAML基础应用程序&#xff0c;这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。 无论是Office办公软件…...

编程日记 2025/6/29 11:30:27

【Hive入门】Hive架构与组件深度解析：从核心组件到生态协同

目录 1 Hive架构全景图 2 核心组件运维职责详解 2.1 Metastore元数据中心 2.2 Driver驱动组件 2.3 Executor执行引擎 3 与HDFS/YARN的协同关系 3.1 HDFS协同架构 3.2 YARN资源调度 4 运维实战案例 4.1 Metastore连接泄露 4.2 小文件合并 5 最佳实践总结 5.1 性能优…...

编程日记 2025/6/29 9:39:47