当前位置：首页 > news >正文

Spark RDD相关概念

news 来源：原创 2025/9/18 9:29:09

Spark运行架构与核心组件
1.Spark运行梁构
spark运行架构包括master和slave两个主要部分。master负责管理整个集群的作业任务调度，而slave则负责实际执行任务。
dirver是Spark驱动器节点，负责执行Spark任务中的main方法，将用户程序转换成作业形式，并调度executor执行任务。
2.核心组件
Driver:负责将用户程序转换成作业形式，调度executor执行任务，跟踪执行情况，并通过UI展示运行情况。
Executor:在集群中的工作节点上运行，负麦执行Spark应用的任务，任务彼此之间相互独立并将结果返回给driver，它还管理RDD的内存或存储。
Master:负责资源调度和分配，进行集群监控等职责。
Worker:运行在集群服务器上，执行具体的计算任务。
Application Master:在YARN环境中使用，负麦申请资源容器，运行用户程序任务，监控任务状态。

3.核心概念

Executor 与 Core

Spark Executor 是集群中运行在工作节点（Worker）中的一个 JVM 进程，是整个集群中的专门用于计算的节点。在提交应用中，可以提供参数指定计算节点的个数，以及对应的资源。这里的资源一般指的是工作节点 Executor 的内存大小和使用的虚拟 CPU 核（Core）数量。

并行度（Parallelism）

在分布式计算框架中一般都是多个任务同时执行，由于任务分布在不同的计算节点进行计算，所以能够真正地实现多任务并行执行，记住，这里是并行，而不是并发。

RDD及其特性

1.RDD定义
RDD(弹性分布式数据集)是Spark中最基本的数据处理模型，是弹性的，不可变的、可分区，里面的元素可并行计算的集合。
2.RDD特性
弹性:存储上可以自动切换内存和磁盘，容错上可以目动恢复数据丢失，计算上有重试机制，分片上可以根据需要分片。
分布式:数据存储在大数据集群的不同节点上。
数据集:封装了计算逻辑，但不保存数据。
不可变:RDD封装了计算逻辑，不可改变，只能产生新的RDD来保存修改后的数据。
可分区井行计算:可以进行分区并行计算。
3.RDD核心属性
分区列表:用于执行任务时的并行计算，
分区计算函数:在每一个分区进行计算的函数
依赖关系:多个RDD之间的依赖关系。

RDD执行原理
1 资源申请与任务分发
Spark框架在执行时会先申请资源，将应用程序的数据处理逻辑分解成计算任务，分发到已分配资源的计算节点上进行计算。
2 任务执行流程启动YARN集群环境，Spark通过申请资源创建调度节点和计算节点，根据需求将计算逻辑划分成不同任务，调度节点将任务发送给对应的计算节点进行计算。
RDD序列化与依赖关系
1.应列化
RDD序列化包含闭包检查、房列化方法和性、房列化框架等，需要确保算子外的数据可以列化，否则无法传给
executor端执行。
2.依赖关系
血缘关系:记录RDD的转换行为，以便在分区数据丢失时重新计算恢复数据。
依赖关系:两个相邻RDD之间的关系。
窄依赖:每个上游RDD的分区最多被子RDD的一个分区便用。
宽依赖:每个上游RDD的分区可能被多个子RDD的分区使用。

RDD的阶段划分
DAG(有向无环图):由点和线组成的拓扑结构，代表RDD转换任务的过程。
阶段划分:
Application:初始化Spark Context,生成Application。
Job:由action算子生成Job。
stage:宽依赖的个数加一。
Task:每个Stage阶段里的分区个数。

RDD持久化
缓存与持久化:
缓存默认在虚拟机的堆内存中。

通过cache或persist方法缓存，需触发action算子后才实际缓存。

检查点(Checkpoint):

将RDD中间结果写入磁盘，减少容错成本。

需触发action操作后才执行。

RDD的文件读取与保存。

文件格式:包括tex、CSV、object文件等。

文件系统:本地文件系统、HDFS、HBase及数据库。

案例图片

Spark RDD相关概念

Spark运行架构与核心组件 1.Spark运行梁构 spark运行架构包括master和slave两个主要部分。master负责管理整个集群的作业任务调度，而slave则负责实际执行任务。 dirver是Spark驱动器节点，负责执行Spark任务中的main方法，将用户程序转换成作业…...

编程日记 2025/9/18 9:29:09

每日一题（小白）数组娱乐篇21

由于题意可知我们是要将对应的数字转换为英文，我们要考虑两点一个是进制的转换，也就是类似于我们的十进制一到9就多一位，这里的进制就是Z进制也就是27进制一旦到26下一位则进位；另一方面要考虑数字的转换也就是1~26对应A~Z。解决上…...

编程日记 2025/9/18 9:27:33

LLM 的model.generate() 参数说明

LLM 的model.generate() 参数说明目录 LLM 的model.generate() 参数说明生成长度控制参数采样策略参数重复惩罚参数束搜索参数其他参数model.generate() 方法是 Hugging Face Transformers 库中用于文本生成的核心方法，它有众多参数可用于控制生成过程生成长度控制参数 min…...

编程日记 2025/9/13 1:25:36

每日一题——AB10 反转链表

ListNode* prev NULL;while(head) {ListNode* next head->next; // 先记住下一个节点head->next prev; // 把当前节点指向前一个prev head; // 前一个节点变成当前节点head next; // 当前节点移动到下一个}return prev; // …...

编程日记 2025/9/18 9:29:07

大模型备案语料安全要求解析

根据大模型备案法规要求及实践经验，我整理除了以下涉及到语料安全相关环节的要求，供大家参考，如果有大模型备案和算法备案的更多疑问，也可以和我沟通交流。一、关键词库规模与覆盖范围 1.基础规模企业需建立拦截关键词库&…...

编程日记 2025/9/11 18:28:33

【Ansible自动化运维】二、Playbook 深入探究：构建复杂自动化流程

在 Ansible 自动化运维体系中，Playbook 是极为关键的部分。它允许我们以一种结构化、可重复的方式定义和执行一系列复杂的任务，从而构建高效的自动化流程。本篇文章将深入探究 Ansible Playbook 的各个方面，助您掌握构建复杂自动化…...

编程日记 2025/9/14 16:00:57

unity 保存场景功能可以保存运行时候地形变化和动态生成得物体，点击加载进来后可以继续上次退出时得场景

直接上代码了 using System; using System.Collections.Generic; using System.IO; using UnityEngine; using UnityEngine.UI;[System.Serializable] public class TerrainSaveData {public int heightmapResolution;public float terrainWidth;public float terrainLength;p…...

编程日记 2025/9/8 1:30:31

光谱相机的关键技术参数

光谱相机的关键技术参数直接影响其数据获取能力和应用场景适配性。以下是核心参数的详细解析，涵盖光谱性能、空间性能、硬件性能及环境适应性： 一、光谱性能参数‌ ‌1. 光谱范围（Spectral Range）‌ ‌定义‌：相机可…...

编程日记 2025/9/3 9:01:21

Linux系统管理与编程12: FTP服务配置

(本实验在CentOS7/8上完成，OpenEuler上暂时未实现) 兰生幽谷，不为莫服而不芳； 君子行义，不为莫知而止休。 1 实验目标 1)理解FTP服务器原理 2) 掌握FTP服务器的配置文件 3)具备安装部署VSFTP的能力 4) 具备FTP的故障排除能…...

编程日记 2025/9/15 14:59:51

乐观锁与悲观锁的使用场景

悲观锁的应用场景悲观锁的基本思想是假设并发冲突会发生，因此在操作数据时会先锁定数据，直到完成操作并提交事务后才释放锁。这种方式适用于写操作较多、并发冲突可能性较高的场景。高写入比例的数据库操作：如果系统中有很多写操作&#x…...

编程日记 2025/9/14 18:54:56

金融级隐私安全之DeepSeek R1 模型去中心化存储和推理实现方案

目录 DeepSeek R1 进入去中心化存储网络意味着什么？它是如何工作的？ Atoma、Walrus和 Sui Atoma Network 已成功将 DeepSeek R1 670B 参数推理模型上传到 Walrus 去中心化存储网络。这标志着这种规模的模型首次在去中心化存储层上可用，确保无需依赖中心化基础设施即可实…...

编程日记 2025/9/17 9:59:55

基于django大数据平台的交通数据可视化设计与实现(源码+lw+部署文档+讲解)，源码可白嫖!

摘要时代在飞速进步，每个行业都在努力发展现在先进技术，通过这些先进的技术来提高自己的水平和优势，基于大数据平台的交通数据可视化系统当然不能排除在外。基于大数据平台的交通数据可视化系统是在实际应用和软件工程的开发原理之上&#…...

编程日记 2025/9/10 1:28:03

STM32 vs ESP32：如何选择最适合你的单片机？

引言在嵌入式开发中，STM32 和 ESP32 是两种最热门的微控制器方案。但许多开发者面对项目选型时仍会感到困惑：到底是选择功能强大的 STM32，还是集成无线的 ESP32？ 本文将通过硬件资源、开发场景、成本分析等多维度对比&#xf…...

编程日记 2025/8/17 23:43:40

柳宗元经典的10首唐诗

1、最孤独的诗：《江雪》江雪千山鸟飞绝，万径人踪灭。孤舟蓑笠翁，独钓寒江雪。这首诗被誉为“唐诗五绝最佳”之作。富于理想的“永贞革新”失败后，柳宗元被贬永州，母亲也在半年后离世。年届三十，政…...

编程日记 2025/9/9 7:19:24

Windows11介绍（中英文版）

一、Windows 11 的发布背景与发展历程 Windows 11 是微软公司推出的一款重要的操作系统，它是 Windows 操作系统系列的最新版本之一。微软在操作系统领域拥有悠久的历史和丰富的经验，从早期的 Windows 95 开启了图形化操作系统的新时代，到 Wi…...

编程日记 2025/9/16 7:43:56

使用 VSCode 本地历史记录‌恢复误删除文件

vsCode未知操作意外删除项目根目录入口代码文件使用vsCode多年， 第一次遇见这种情况， 只是下载了几个插件， 可能打开的窗口太多， 有几个代码版本比对的页面， 在没有察觉的时候， 意外删除了项目根目…...

编程日记 2025/9/5 0:25:39

前端面试宝典---数据类型

基本数据类型对于基本类型在创建时无需使用 new 关键字 Bigint在实际开发不常用，如果对于精度要求高可以使用第三方库，如decimal.js 基本数据类型介绍 undefined：当变量被声明但未赋值，或者函数没有返回值时，就会呈现…...

编程日记 2025/9/18 9:28:52

Dinky 和 Flink CDC 在实时整库同步的探索之路

摘要：本文整理自 Dinky 社区负责人，Apache Flink CDC contributor 亓文凯老师在 Flink Forward Asia 2024 数据集成（二）专场中的分享。主要讲述 Dinky 的整库同步技术方案演变至 Flink CDC Yaml 作业的探索历程，并深入…...

编程日记 2025/9/10 17:23:35

【Proteus仿真】【32单片机-A008】MPX4115压力检测系统设计

目录一、主要功能二、使用步骤三、硬件资源四、软件设计五、实验现象联系作者一、主要功能 1、压力检测与LCD显示 2、超过上限，降压模块启动 3、压力检测范围15kpa-115kpa 4、压力阈值设置 5、超限报警二、使用步骤系统运行后，LCD160…...

编程日记 2025/9/14 6:41:11

银河麒麟系统虚拟机网络ping不通的解决方法

问题描述：使用NAT模式搭建了银河麒麟系统虚拟主机，虚拟机内部可以联网，可以查询到具体的ip地址，同时也可以在虚拟机内部ping同宿主机ip，但使用宿主机却无法ping同银河麒麟虚拟机ip，使用ssh、ftp、sftp等工具…...

编程日记 2025/9/15 1:09:47

spark数据清洗案例：流量统计

一、项目背景在互联网时代，流量数据是反映用户行为和业务状况的重要指标。通过对流量数据进行准确统计和分析，企业可以了解用户的访问习惯、业务的热门程度等，从而为决策提供有力支持。然而，原始的流量数据往往存在格式不规范、…...

编程日记 2025/9/11 21:16:23

关于AIGC stable diffusion 在图像超分上的算法整理

参考文档： c论文阅读基于Stable Diffusion的图像超分 - 知乎十分钟读懂Stable Diffusion运行原理 - 知乎 1.difussion model 扩散模型的基本原理 diffusion model 扩散模型是一类生成模型的统称，基于扩散过程生成数据。这类模型的核心是通过逐步加噪…...

编程日记 2025/9/11 3:03:43

Stable Diffusion ComfyUI 基础教程（一） ComfyUI安装与常用插件

前言： 相信大家玩 Stable Diffusion（以下简称SD）都是用的 web UI 操作界面吧，不知道有没有小伙伴听说过 ComfyUI。ComfyUI 是一个基于节点流程的 Stable Diffusion 操作界面，可以通过流程，实现了更加精准…...

编程日记 2025/9/11 9:28:58

[leetcode]差分算法

一.差分算法性质 1.1计算差分数组： b[i] a[i] - a[i - 1] 1.2差分数组的性质 1.2.1对差分数组的每一项作前缀和，可以得到原来的数组 ai a1∑j1i−1dj 1.2.2将差分数组的某一项加i,那么其后面的所有项都会相对于原数组加i 让2~4项加3 这个第三…...

编程日记 2025/9/11 10:35:50

大数据技术之SPARK

Spark Core 什么是 RDD 代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合弹性存储的弹性：内存与磁盘的自动切换； 容错的弹性：数据丢失可以自动恢复； 计算的弹性：…...

编程日记 2025/9/12 6:52:15

S32K144的m_data_2地址不够存,重新在LD文件中配置地址区域

在开发平台软件的时候代码中超出了64K的内存，单纯在ld文件中，增加m_data_2的存储长度，原先是0x00007000,我将长度修改为0x00008000,起始地址还是0x20000000,软件编译没有报错堆栈超出，但是软件下载到单片机中之后，144不…...

编程日记 2025/9/8 5:01:47

Spyder、PyCharm、VS Code 和 Jupyter Notebook 对比分析

在进行 Python 编程时，Spyder、PyCharm、VS Code 和 Jupyter Notebook 是最常用的几款开发工具（IDE/编辑器）。以下是它们在不同维度下的对比分析 🔧 一、基础介绍软件类型主要特点Spyder科学计算IDE类似 MATLAB，集成…...

编程日记 2025/9/16 13:51:24

vue3腾讯云直播前端拉流（前端页面展示直播）

1、引入文件，在index.html <link href"https://tcsdk.com/player/tcplayer/release/v5.3.2/tcplayer.min.css" rel"stylesheet" /><script src"https://tcsdk.com/player/tcplayer/release/v5.3.2/t…...

编程日记 2025/9/11 0:38:54

应急物资仓库管理系统|基于GAV仓库管理的应用

基于AGV应用的应急物资管理系统(智物资DW-S300)建设的目标是实现应急物资管理的信息化、智能化、规范化,保证应急物资的安全性和使用时的高效性，做到应急物资可追踪、可溯源。构建一个应急物资仓储管理系统实现包括系统基本信息管理、入库管理、出库管理、筹措管理…...

编程日记 2025/9/5 11:50:19

ArkTS语言入门之接口、泛型、空安全、特殊运算符等

前言臭宝们，今天我们来学习ArkTS中最后的一些内容。实现接口包含implements子句的类必须实现列出的接口中定义的所有方法，但使用默认实现定义的方法除外。 interface DateInterface {now(): string; } class MyDate implements DateInterface {no…...

编程日记 2025/9/5 21:45:47

蓝桥杯c++每日刷题（洛谷）

目录 P10385 [蓝桥杯 2024 省 A] 艺术与篮球 - 洛谷 (luogu.com.cn) P8706 [蓝桥杯 2020 省 AB1] 解码 - 洛谷 (luogu.com.cn) P8711 [蓝桥杯 2020 省 B1] 整除序列 - 洛谷 (luogu.com.cn) P8722 [蓝桥杯 2020 省 AB3] 日期识别 - 洛谷 (luogu.com.cn) P10385 [蓝桥杯 2024…...

编程日记 2025/9/15 3:36:18

Python+Requests 企业级接口测试入门（1~3天）

PythonRequests 企业级接口测试入门 1、GET接口简单案例我的答案： import time import requestsdef get_all_users():try:response requests.get(urlhttps://reqres.in/api/users, #接口地址timeout10 #超时时间)respons…...

编程日记 2025/9/16 4:54:50

【android bluetooth 框架分析 01】【关键线程 3】【bt_jni_thread 线程介绍】

1. bt_jni_thread 职责介绍 bt_jni_thread 这个线程的作用是专门负责处理蓝牙 JNI 层的消息循环，也可以说是 C 层和 Java 层交互的桥梁线程。 1.1 什么是 JNI 层？为什么需要这个线程？ JNI（Java Native Interface）是 …...

编程日记 2025/9/9 3:01:03

CCF - GESP Python三级考试题目示例

CCF - GESP Python三级考试题目示例，你可以根据实际需求进行调整。一、单选题（每题2分，共30分） 以下关于Python中函数的说法，错误的是（ ） A. 函数定义使用def关键字 B. 函数必须有返回值 C.…...

编程日记 2025/9/3 14:04:28

Windows10系统更改盘符

Windows10系统更改盘符导航文章目录 Windows10系统更改盘符导航更改盘符更改盘符按下wini,再按k进入磁盘管理器右击你想更改的磁盘，选择“更改驱动器号”和路径，选择好驱动器号后确定即可...

编程日记 2025/9/17 15:02:30

软件功能性测试有多重要?功能性测试工具有哪些?

软件功能性测试是指对软件应用程序进行的测试，旨在验证软件的每一个功能是否按预定要求正常运作。功能性测试通常基于软件的需求文档，从用户的角度出发，确保所有功能都能够满足用户的需求。软件功能性测试在软件开发生命周期中扮演着至关重…...

编程日记 2025/9/11 16:48:21

未来生态映像：杭州的科技自然协奏曲

故事背景故事发生在2050年的中国杭州，这座千年古城已蜕变为科技与自然完美交融的未来生态之城。从晨曦微露的西湖到暮色中的良渚文化村，每个角落都上演着人类智慧与自然韵律的动人对话。故事摘要当第一缕阳光亲吻西湖的生态浮岛，无人机携带…...

编程日记 2025/9/16 6:10:07

电商核心指标解析与行业趋势：数据驱动的增长策略【大模型总结】

电商核心指标解析与行业趋势：数据驱动的增长策略在电商领域，数据是决策的核心。从流量监测到用户行为分析，从价格策略到技术赋能，每一个环节的优化都离不开对核心指标的深度理解。本文结合行业最新趋势与头部平台实践&#xff0…...

编程日记 2025/9/9 8:11:06

ubuntu自动更新--unattended-upgrades

ubuntu自动更新--unattended-upgrades 1 介绍2 发展历程3 配置与使用4 disable Auto update服务命令参考 1 介绍 Unattended-Upgrades 是一个用于自动更新 Debian 及其衍生系统（如 Ubuntu）的工具。它的主要功能是自动检查、下载并安装系统更新&#xf…...

编程日记 2025/9/16 3:55:47

在Ubuntu 22.04上配置【C/C++编译环境】

在Ubuntu 22.04上配置C/C编译环境如果你想在Ubuntu 22.04上编译和运行C或C程序，首先需要安装一个合适的编译器和相关工具。本文将为你提供详细的安装建议和操作步骤，帮助你快速搭建开发环境。准备工作在开始之前，确保你的系统可以通过终…...

编程日记 2025/9/12 8:04:18

费马小定理

快速幂理论 a n a a ⋯ a a^n a a \cdots a anaa⋯a，暴力的计算需要 O(n) 的时间。快速幂使用二进制拆分和倍增思想，仅需要 O(logn) 的时间。对 n 做二进制拆分，例如， 3 13 3 ( 1101 ) 2 3 8 ⋅ 3 4 ⋅ 3 1 3^{13}…...

编程日记 2025/9/15 7:35:18

什么是音频预加重与去加重，预加重与去加重的原理是什么，在什么条件下会使用预加重与去加重？

音频预加重与去加重是音频处理中的两个重要概念，以下是对其原理及应用条件的详细介绍： 1、音频预加重与去加重的定义预加重：在音频信号的发送端，对音频信号的高频部分进行提升，增加高频信号的幅度，使其在…...

编程日记 2025/9/13 10:27:50

程序代码篇---时间复杂度空间复杂度

文章目录前言一、时间复杂度（Time Complexity）定义1. 常见时间复杂度类型2. 计算规则忽略常数项保留最高阶项循环嵌套递归算法 3. 代码示例（1）𝑂(1)：常数时间（2）𝑂(&…...

编程日记 2025/9/11 9:39:17

化工企业数字化转型：从数据贯通到生态重构的实践路径

一、战略定位：破解行业核心痛点化工行业面临生产安全风险高（全国危化品企业事故率年增5%）、能耗与排放压力大（占工业总能耗12%）、供应链协同低效（库存周转率低于制造业均值30%）三大挑战。《石…...

编程日记 2025/9/14 12:26:12

Mysql备忘记录

1、简介 Mysql操作经常忘记命令，本文将持续记录Mysql一些常用操作。 2、常见问题 2.1、忘记密码 # 1、首先停止Mysql服务 systemctl stop mysqld # windows 从任务管理器里面停 # 2、更改配置文件 my.cnf (windows是 ini文件) vim /etc/my.cnf 在[mysqld]下面添…...

编程日记 2025/9/15 13:07:27

Python 爬取 1688.item_get_factory 接口：获取工厂档案信息实战指南

在电商采购和供应链管理中，了解供应商的工厂信息是至关重要的一步。1688 作为国内领先的 B2B 平台，提供了丰富的供应商和工厂档案信息。通过 item_get_factory API 接口，开发者可以获取工厂的详细信息，包括工厂名称、地址、联系方…...

编程日记 2025/8/31 16:50:01

【Proteus仿真】【32单片机-A009】矩阵按键系统设计

目录一、主要功能二、使用步骤三、硬件资源四、软件设计五、实验现象联系作者一、主要功能 1、按键值与LCD显示 2、矩阵按键二、使用步骤系统运行后，LCD1602显示当前的按键值； 当按下不同按键后显示屏更新对应的按键值。三、硬件资…...

编程日记 2025/9/17 13:24:06

【11408学习记录】英语语法精析：主从复合句之定语从句完全指南——从规则到实战例句一网打尽

定语从句英语语法总结——主从复合句定语从句定语从句的写法先行词的作用分类定语从句的使用补充每日一句词汇第一步：找谓语第二步：断开第三步：简化第一句第二句第三句第四句英语语法总结——主从复合句定语从句定语从句就是一个句子…...

编程日记 2025/9/16 8:09:38

go游戏后端开发31：麻将游戏的碰牌与胡牌逻辑

以下是润色后的版本： 1. 碰牌逻辑 1.1 触发碰牌当一个玩家弃牌后，其他玩家可以选择碰牌。如果当前玩家决定碰牌，系统需要通知所有玩家这一操作。碰牌操作完成后，当前玩家需要出一张牌，系统同样需要通知所有玩家。 …...

编程日记 2025/9/13 16:59:56

vLLM实战：多机多卡大模型分布式推理部署全流程指南

1. 环境准备与基础配置 1.1 系统要求依赖组件： # 基础工具安装 sudo apt-get install -y lsof git-lfs nvidia-cuda-toolkit1.2 虚拟环境配置使用conda创建隔离环境，避免依赖冲突： conda create -n vllm python3.10 -y conda activate…...

编程日记 2025/9/13 18:34:41

相关文章：