当前位置：首页 > news >正文

spark架构和RDD相关概念

news 来源：原创 2025/9/18 21:10:39

运行架构：

Spark采用master - slave结构，Driver作为master负责作业任务调度，Executor作为slave负责实际执行任务。

核心组件

Driver：执行Spark任务的main方法，将用户程序转化为作业，在Executor间调度任务，跟踪Executor执行情况并通过UI展示运行情况。
-Executor：工作节点中的JVM进程，运行任务并返回结果，还为缓存的RDD提供内存式存储。
Master & Worker：在独立部署环境中，Master负责资源调度分配和集群监控，Worker在Master分配资源后进行数据并行处理。
-ApplicationMaster：在YARN环境中，负责申请资源容器、运行任务、监控任务状态和处理异常。

核心概念

Executor与Core：Executor是计算节点，可通过参数指定其数量、内存大小和虚拟CPU核数量。
并行度：指集群并行执行任务的数量，默认由框架配置，也可在应用运行时动态修改。
有向无环图（DAG）：是Spark程序数据流的高级抽象模型，用图形表示程序计算执行过程，用于展示程序拓扑结构。

提交流程

以Yarn环境为例，Spark应用程序有Client和Cluster两种部署执行方式。

Yarn Client模式：Driver在本地机器运行，与ResourceManager通讯申请启动ApplicationMaster，后续完成Executor启动、反向注册等流程后执行main函数，遇到Action算子时划分stage并分发task。
Yarn Cluster模式：Driver在Yarn集群资源中执行，任务提交后申请启动ApplicationMaster（此时ApplicationMaster就是Driver），后续流程与Client模式类似。

RDD相关概念

RDD概述：

RDD是Spark最基本的数据处理模型，是一个抽象类，代表弹性、不可变、可分区且元素可并行计算的集合。具有存储、容错、计算、分片弹性，数据分布式存储，封装计算逻辑但不保存数据。

核心属性：

包含分区列表、分区计算函数、RDD之间的依赖关系、分区器（K-V类型数据时可选）、首选位置（可选），这些属性是RDD实现分布式计算和高效处理的关键。

执行原理：

在Yarn环境中，Spark先申请资源创建调度和计算节点，将计算逻辑按分区划分为任务，调度节点根据计算节点状态发送任务执行，RDD负责封装逻辑并生成任务。

RDD序列化:

涉及闭包检查，确保算子外数据可序列化；Spark支持Kryo序列化框架，比Java序列化速度快10倍，使用时即使采用Kryo序列化，相关类也需继承Serializable接口。

RDD依赖关系

血缘关系：

记录RDD元数据和转换行为，用于恢复丢失分区数据。

依赖类型：

窄依赖指父RDD分区最多被一个子RDD分区使用；

宽依赖指父RDD分区被多个子RDD分区依赖，会引发Shuffle。

阶段与任务划分：

DAG记录RDD转换和任务阶段；一个Action算子生成一个Job，Stage数量为宽依赖个数加1，一个Stage中最后一个RDD的分区数就是Task个数。

RDD持久化

Cache缓存:

通过Cache或Persist方法缓存计算结果，默认存于JVM堆内存，触发action算子时缓存，缓存丢失可重算丢失部分。

CheckPoint检查点:

将RDD中间结果写入磁盘，切断血缘依赖，提升容错性，执行Action操作才会触发。

区别：

Cache不切断血缘，数据可靠性低；Checkpoint切断血缘，数据存储在高可靠文件系统。建议对Checkpoint的RDD使用Cache缓存以提升效率。

RDD分区器：

Spark支持Hash分区（默认）、Range分区和用户自定义分区，仅Key - Value类型RDD有分区器。

Hash分区根据key的hashCode取余确定分区；Range分区将数据按范围映射到分区，保证数据均匀且分区间有序。

RDD文件读取与保存：

可从文件格式（text、csv、sequence、object文件）和文件系统（本地、HDFS、HBASE、数据库）两个维度区分。不同文件格式有相应读取和保存方法，如text文件用 sc.textFile 读取、 saveAsTextFile 保存。

spark架构和RDD相关概念

运行架构： Spark采用master - slave结构，Driver作为master负责作业任务调度，Executor作为slave负责实际执行任务。核心组件 Driver：执行Spark任务的main方法，将用户程序转化为作业，在Executor间调度任务&…...

编程日记 2025/9/18 21:10:39

Cloud Kernel SIG 季度动态：发布ANCK 6.6-003版本，支持一测多证

Cloud Kernel SIG（Special Interest Group）：支撑龙蜥内核版本的研发、发布和服务，提供生产可用的高性价比内核产品。 01 SIG 整体进展发布 ANCK 6.6-003 版本。一测多证流程建立。 OOT 驱动基线更新。海光平台适配进展更新…...

编程日记 2025/9/18 21:01:49

【11】数据结构之基于线性表的查找算法

目录标题平均查找长度ASL(Average Search Length)顺序表查找法折半查找法索引顺序查找法平均查找长度ASL(Average Search Length) 定义：为确定元素在列表中的位置，需要和给定值进行比较的关键字个数的期望值，称之为查找算法成功时的平均查…...

编程日记 2025/9/18 21:01:49

铼赛智能Edge mini斩获2025法国设计大奖 | 重新定义数字化齿科美学

铼赛智能（RAYSHAPE）革命性新品——椅旁3D打印机Edge mini荣获2025年法国设计奖（FRENCH DESIGN AWARDS，简称FDA）产品设计类大奖。作为全球工业设计领域最具影响力的奖项之一，这一殊荣不仅是对产品极简美学的…...

编程日记 2025/9/18 21:06:57

成为一种国家战略范畴的新基建的智慧园区开源了

智慧园区场景视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。用户只需在界…...

编程日记 2025/9/18 21:08:16

Codeforces Round 1016 (Div. 3)题解

题目地址 https://codeforces.com/contest/2093 锐评在所有题意都理解正确的情况下，整体难度不算太难。但是偏偏存在F这么恶心的题意，样例都不带解释一下的，根本看不懂题。D题也恶心，在于递归过程的拆分，需要点数学…...

编程日记 2025/9/18 21:01:47

安全理念和安全产品发展史

从安全理念的发展历史来看，技术与产品的演进始终围绕 “威胁对抗” 与 “业务适配” 两大核心展开。以下从七个关键阶段解析安全技术与产品的发展脉络，并结合最新实践与未来趋势提供深度洞察：一、密码学奠基阶段（1970s 前）安全理念：以 “信息保密” 为核心，防御手段…...

编程日记 2025/9/17 15:59:20

【深度学习】Downstream Model：预训练模型的下游应用与微调技术

Downstream Model：预训练模型的下游应用与微调技术文章目录 Downstream Model：预训练模型的下游应用与微调技术1 什么是Downstream Model（下游模型）2 预训练模型与下游任务的关系3 微调技术与迁移学习微调的必要性高效迁移学习参…...

编程日记 2025/9/11 9:06:28

每日算法-250409

这是我今天的算法学习记录。 2187. 完成旅途的最少时间题目描述思路二分查找解题过程为什么可以使用二分查找？ 问题的关键在于寻找一个最小的时间 t，使得在时间 t 内所有公交车完成的总旅途次数 sum 大于等于 totalTrips。我们可以观察到时间的单…...

编程日记 2025/8/30 3:57:54

【CSS 选择器组合规则详解】

基础选择器组合空格：后代选择器 > 直接子元素选择器 . 类选择器 : 伪类选择器多类选择器 .class1.class2 ：多类组合 .class1 .class2 ：类的所有后代 .class1 > .class2 ：类的子元素特殊选择器 :nth-child() :nth-of-…...

编程日记 2025/8/30 12:53:16

手机静态ip地址怎么获取？方法与解析‌

而在某些特定情境下，我们可能需要为手机设置一个静态IP地址。本文将详细介绍手机静态IP地址详解及获取方法一、什么是静态IP地址？ 静态IP：由用户手动设置的固定IP地址，不会因网络重启或设备重连而改变。动态IP：由路…...

编程日记 2025/9/10 7:03:28

NumPy对二维矩阵中的每个元素进行加减乘除和对数运算

使用NumPy对二维矩阵中的每个元素进行加减乘除和对数运算的方法如下： 1. 加减乘除运算对每个元素进行标量运算，可直接使用算术运算符。示例代码： import numpy as nparr np.array([[1, 2], [3, 4]])# 加法 result_add arr 5 print(&…...

编程日记 2025/9/9 3:44:29

基于C8051F340单片机的精确定时1S的C程序

一、前言 C8051F340单片的定时器2 是一个 16 位的计数器/定时器，由两个 8 位的 SFR 组成：TMR2L（低字节）和TMR2H（高字节）。定时器 2 可以工作在 16 位自动重装载方式、8 位自动重装载方式（两个 …...

编程日记 2025/9/4 16:51:34

提升Windows安全的一些措施

由简单到复杂，仅供参考一、杀毒软件： 1、杀毒能力： https://haokan.hao123.com/v?vid3883775443252827335&pdhaokan_share 2、使用注意： 一台主机只安装一个杀毒软件就可以了杀毒软件会误报，造成正常文件…...

编程日记 2025/9/14 18:16:58

中科岩创基坑自动化监测解决方案

1.行业现状城市基坑开挖具有施工风险高、施工难度大等特点。由于地下土体性质、荷载条件、施工环境的复杂性，单根据地质勘察资料和室内土工试验参数来确定设计和施工方案，往往含有许多不确定因素，对在施工过程中引发的土体性状、环境、邻近建…...

编程日记 2025/9/13 19:47:23

Elasticsearch 系列专题 - 第二篇：数据建模与索引管理

在掌握了 Elasticsearch 的基本概念和操作后，本篇将重点介绍如何设计和管理索引，以及如何高效地导入和维护数据。这对于构建一个高效、可扩展的搜索系统至关重要。 1. 索引设计 1.1 如何选择合适的索引结构索引是 Elasticsearch 的核心，设计时需考虑以下因素：数据用途：…...

编程日记 2025/9/16 5:58:10

解决缓存穿透的布隆过滤器与布谷鸟过滤器：谁更适合你的应用场景？

目录一、布隆过滤器：高效的空间节省者 1.1 布隆过滤器是什么？ 1.2 工作原理 1.3 优点 1.4 缺点 1.5 适用场景二、布谷鸟过滤器：解决删除难题的创新者 2.1 布谷鸟过滤器是什么？ 2.2 工作原理 2.3 优点 2.4 缺点 2.5 适用场景三、…...

编程日记 2025/9/12 1:31:06

OpenHarmony子系统开发 - 调测工具（一）

OpenHarmony子系统开发 - 调测工具（一） 一、bytrace使用指导简介 bytrace是开发人员用于追踪进程轨迹、分析性能的一种工具，主要对内核ftrace进行了封装和扩展，来支持用户态的打点。通过该工具可以打开想要查看的用户态和内核l…...

编程日记 2025/9/14 13:29:45

Qt中的鼠标事件

1.鼠标进入事件和鼠标离开事件 1.1添加新文件 1.2ui界面拖出一个Label控件，修改frameShape为Box，使边框更明显 1.3代码实现 #ifndef MYLABEL_H #define MYLABEL_H#include <QLabel>class myLabel : public QLabel {Q_OBJECT public:explicit m…...

编程日记 2025/9/10 22:09:51

MySQL JOIN详解：INNER JOIN与LEFT JOIN的选择与应用

在数据库查询中，JOIN操作是最常用也最重要的操作之一。不同的JOIN类型会导致完全不同的查询结果，正确选择JOIN类型是编写高效、准确SQL查询的关键。本文将深入探讨INNER JOIN和LEFT JOIN的区别、应用场景以及常见问题。一、JOIN基础概念 1. 什么是JOI…...

编程日记 2025/9/11 14:29:42

Flink 反压下的 TCP 流控制

1. 什么是 Flink 反压和 TCP 流控制？ 反压（Backpressure）是什么？ 反压是分布式流处理系统中一种自我调节机制。当下游处理数据的速度跟不上上游发送数据的速度时，反压会让上游放慢发送速度，以避免系统过载…...

编程日记 2025/9/12 13:53:54

山东大学软件学院项目实训开发日志（7）之测试前后端本地部署

基于队长搭建的springbootvue框架，在本地进行测试搭建。在运行后端过程中，出现下图错误： 查找后发现这个问题出现在 Maven 项目的 pom.xml 文件中，显示找不到一些依赖项。所以在此进行最简单的重新加载项目得以解决，…...

编程日记 2025/9/17 12:27:30

YOLOv11训练中精准率召回率与mAP@0.5的动态变化分析

目标检测模型的训练过程涉及多个关键性能指标和损失函数的变化，这些数据能够直观反映模型的收敛速度、最终精度以及改进效果。本文旨在通过绘制YOLOv11模型在训练过程中的精准率（Precision）、召回率（Recall）、mAP0.5 、…...

编程日记 2025/9/11 19:40:45

Windows下ElasticSearch8.x的安装步骤

下载ElasticSearch：https://www.elastic.co/downloads/elasticsearch （我下载的是目前最新版8.17.4）解压ElasticSearch 进入到ElasticSearch的bin目录下双击elasticsearch.bat 弹出控制台并开始执行，在这一步会输出初始账号和密码…...

编程日记 2025/9/15 15:12:34

爬楼梯做法一：小斐波那契数列，只要注意记忆化递归即可 class Solution { public:int dp[50];int climbStairs(int n) {if(dp[n])return dp[n];if(n2){return dp[2]2;}if(n1){return dp[1]1;}//if(dp[n])return dp[n];return dp[n]climbStairs(n-1)clim…...

编程日记 2025/9/4 13:06:38

LinuxSocket套接字编程

1.介绍函数使用 1.创建套接字 int socket(int domain, int type, int protocol); domain：指定协议族，如AF_INET（IPv4）或AF_INET6（IPv6）。 type：指定套接字类型，如SOCK_DGRAM&#…...

编程日记 2025/9/14 17:36:08

青少年编程考试 CCF GESP Python五级认证真题 2025年3月

Python 五级 2025 年 03 月题号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 答案 A A A B D B A D A D C A A D B 1 单选题（每题 2 分，共 30 分） 第 1 题链表不具备的特点是( )。 A. 可随机访问任何一个元素 B. 插入、删除操作不需要移动元素 C…...

编程日记 2025/9/16 7:24:53

Java-对比两组对象找出发生变化的字段工具-支持枚举映射-支持时间-支持显示对应字段中文描述-嵌套list等场景

实体字段比较器（对比两组对象找出发生变化的字段工具类开发） 支持枚举映射支持时间支持显示对应字段中文描述支持嵌套list等场景下载地址： Java-对比两组对象找出发生变化的字段工具-支持枚举映射-支持时间-支持显示对应字段中文描述-嵌…...

编程日记 2025/9/15 0:48:17

电影舆情分析可视化平台管理端实现

电影舆情分析可视化平台管理端实现系统概述本系统的用户主要有三类，游客、普通用户以及电影从业人员。面向游客和普通用户的是电影网站，系统提供一个便捷的平台，供普通用户搜索和了解电影的基本信息，支持电影预告片播放&…...

编程日记 2025/9/9 6:45:46

【Linux】进程信号（下）

在上一篇中，我们详细探讨了信号的预备知识和产生方式（如硬件异常、终端输入、kill命令、系统调用等）及其背后的操作系统行为。信号作为进程间异步通信的核心机制，其生命周期远不止“产生”这一环节——信号的保存与处理才是实现可…...

编程日记 2025/9/2 18:17:46

华为数字芯片机考2025合集2已校正

单选 1. 题目内容关于亚稳态的描述错误的是（ ）。 1. 解题步骤 1.1 理解亚稳态（Metastability）的核心特性亚稳态是指触发器无法在指定时间内稳定输出有效逻辑电平（0或1）的状态，其关键特点…...

编程日记 2025/9/8 21:43:43

【大模型微调】如何解决llamaFactory微调效果与vllm部署效果不一致如何解决

以下个人没整理太全一、生成式语言模型的对话模板介绍使用Qwen/Qwen1.5-0.5B-Chat训练对话模板不一样。回答的内容就会不一样。我们可以看到例如qwen模型的tokenizer_config.json文件，就可以看到对话模板，一般同系列的模型，模板基本都…...

编程日记 2025/9/18 13:49:45

基于视觉语言模型的机器人实时探索系统！ClipRover：移动机器人零样本视觉语言探索和目标发现

作者：Yuxuan Zhang 1 ^{1} 1, Adnan Abdullah 2 ^{2} 2, Sanjeev J. Koppal 3 ^{3} 3, and Md Jahidul Islam 4 ^{4} 4单位： 2 , 4 ^{2,4} 2,4佛罗里达大学电气与计算机工程系RoboPI实验室， 1 , 3 ^{1,3} 1,3佛罗里达大学电气与计算机工程系F…...

编程日记 2025/9/2 1:49:44

Java常用工具算法-6--秘钥托管云服务AWS KMS

前言： 之前我们介绍了一些常用的加密算法（如：对称加密AES，非对称加密RSA，ECC等），不论是哪一种都需要涉及到秘钥的管理。通常的做法都是把秘钥放到配置文件中进行配置，但是对于一些高…...

编程日记 2025/9/13 22:38:34

Shell脚本的学习

编写脚本文件定义以开头：#!/bin/bash #!用来声明脚本由什么shell解释，否则使用默认shel 第一步：编写脚本文件 #!/bin/bash #注释 echo "这是输出" 第二步：加上执行权限：chmod x 脚本文件名.sh 第三步&…...

编程日记 2025/9/11 9:29:02

Java——pdf增加水印

文章目录前言方式一 itextpdf项目依赖引入编写PDF添加水印工具类测试效果展示方式二 pdfbox依赖引入编写实现类效果展示扩展1、将inputstream流信息添加水印并导出zip2、部署出现找不到指定字体文件资料参考前言近期为了知识库文件导出，文件数据安全处理&…...

编程日记 2025/9/11 8:47:30

Redis过期key处理、内存淘汰策略与缓存一致性策略实践方案

在现代的高性能应用开发中，Redis作为一款极为热门的内存数据库，其快速的读写性能和丰富的数据结构使其在缓存、消息队列等诸多领域得到了广泛应用。然而，在实际使用过程中，处理好Redis过期key、选择合适的内存淘汰策略以及确保缓存…...

编程日记 2025/9/14 10:50:23

深入 C++ 线程库：从创建到同步的探索之旅

C在<thread>中定义了C线程库. 创建多线程 #include <iostream> #include <thread> using namespace std; void show(int id, int count) { //线程函数for (int i 0; i < count; i) {cout << "id:" << id << ",值:&qu…...

编程日记 2025/9/11 0:56:38

LangChain使用大语言模型构建强大的应用程序

LangChain简介 LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互&#xff…...

编程日记 2025/9/7 0:44:29

程序化广告行业（72/89）：Tag Manager系统代码操作与行业发展剖析

程序化广告行业（72/89）：Tag Manager系统代码操作与行业发展剖析大家好！在技术领域不断探索的过程中，我深刻体会到知识共享的重要性。写这篇博客，就是希望能和大家一起深入了解程序化广告行业，…...

编程日记 2025/9/18 5:43:13

数据结构实验3.3：求解迷宫路径问题

文章目录一，问题描述二，基本要求三，算法分析（一）整体思路（二）详细步骤1. 输入迷宫大小并生成迷宫2. 定义走步规则3. 深度优先搜索（DFS）4. 输出结果 （三&…...

编程日记 2025/9/2 3:30:15

基于SpringBoot的线上历史馆藏系统【附源码】

基于SpringBoot的线上历史馆藏系统（源码L文说明文档） 4 系统设计系统在设计的过程中，必然要遵循一定的原则才可以，胡乱设计是不可取的。首先用户在使用过程中，能够直观感受到功能操作的便利性，符合…...

编程日记 2025/9/15 20:08:36

Mybatis的springboot项目使用

删除数据 & 占位符一般常用占位符进行数据库操作，也就是预编译sql。在UserMapper中定义删除接口 /** 根据id删除用户*/ Delete("delete from user where id #{id}") void deleteById(Integer id);若想要获取返回值，声明为Integer (s…...

编程日记 2025/9/15 10:35:47

网站集群批量管理-Ansible剧本与变量

复盘内容：链接指北查看ansible命令文档 ansible-doc -s systemd一、剧本何为剧本: playbook 文件,用于长久保存并且实现批量管理,维护,部署的文件. 类似于脚本存放命令和变量剧本yaml格式,yaml格式的文件:空格,冒号. 剧本未来我们批量管理,运维必会的内容. …...

编程日记 2025/9/17 13:36:28

HOW - React Developer Tools 调试器

目录 React Developer Tools使用Components 功能特性1. 查看和编辑 props/state/hooks2. 查找组件3. 检查组件树4. 打印组件信息5. 检查子组件 Profiler 功能特性Commit ChartFlame Chart 火焰图Ranked Chart 排名图 why-did-you-render 参考文档： React调试利器&a…...

编程日记 2025/9/14 13:23:38