spark-Core
运行架构
核心组件
由上图可以看出，对于 Spark 框架有两个核心组件：
Driver，Spark 驱动器节点
其中Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。
Driver 在 Spark 作业执行时主要负责：
将用户程序转化为作业（job）
在 Executor 之间调度任务(task)
跟踪 Executor 的执行情况
通过 UI 展示查询运行情况
简单理解，所谓的 Driver 就是驱使整个应用运行起来的程序，也称之为Driver 类。
Executor
Spark Executor 是集群中工作节点（Worker）中的一个 JVM 进程，负责在 Spark 作业中运行具体任务（Task），任务彼此之间相互独立。Spark 应用启动时，Executor 节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有 Executor 节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他 Executor 节点上继续运行。
（任务会被重新调度到其他 executor 节点上，类似于公司中某人离职后其工作分摊给其他人。）
Executor 有两个核心功能：
负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程
它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在 Executor 进程内的，因此任务可以在运行时充分利用缓存数据加速运算。
（ 总结： 负责运行 spark 应用的任务并将结果返回驱动器进程。
提供内存或存储缓存 RDD 数据，加速运算。）
Master 和 Worker
Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：
Master 和 Worker
它们两个一个类似于Yarn 环境中的 RM，一个类似于 Yarn 环境中 NM。 都是进程
Master 和 Worker 的职责：
Master 负责资源调度和分配，集群监控。
Worker 运行在集群服务器上，执行并行数据处理和计算。
ApplicationMaster
Hadoop 用户向 YARN 集群提交应用程序时,提交程序中应该包含 ApplicationMaster，用于向资源调度器申请执行任务的资源容器 Container，运行用户自己的程序任务 job，监控任务的运行状态，检查任务是否失败等异常情况。（作用）
说的简单点就是，ResourceManager（资源）和 Driver（计算）之间的解耦合靠的就是ApplicationMaster。
核心概念
并行度和有效无环图
并行度
并行度指集群并行执行任务的数量，可以在代码中动态修改。
有向无环图（DAG）
这里所谓的有向无环图，并不是真正意义的图形，而是由 Spark 程序直接映射成的数据流的高级抽象模型。简单理解就是将整个程序计算的执行过程用图形表示出来,这样更直观，更便于理解，可以用于表示程序的拓扑结构。
DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。
提交流程
开发人员根据需求编写应用程序，通过 spark 客户端提交到 spark 运行环境执行。
算子：
转换算子：对数据格式内容进行转换。
行动算子：触发实际的计算操作。
RDD（弹性分布式数据集)
RDD（Resilient Distributed Dataset）是 spark 中最基本的数据处理模型.代码中是一个抽象类具有弹性、不可变、可分区、里面的元素可并行计算的集合。
弹性
存储的弹性：内存与磁盘的自动切换；
容错的弹性：数据丢失可以自动恢复；
计算的弹性：计算出错重试机制；
分片的弹性：可根据需要重新分片。
分布式
数据存储在大数据集群不同节点上
数据集
RDD封装了计算逻辑，并不保存数据
数据抽象
RDD是一个抽象类，需要子类具体实现
不可变
RDD封装了计算逻辑，是不可以改变的，想要改变，只能产生新的RDD，在新的RDD里面封装计算逻辑
可分区、并行计算
执行原理
启动 Yarn 集群环境
Spark 通过申请资源创建调度节点和计算节点
Spark 框架根据需求将计算逻辑根据分区划分成不同的任务
调度节点将任务根据计算节点状态发送到对应的计算节点进行计算
资源申请和任务分发：Spark 框架先申请资源，然后将计算逻辑分解成任务，分发到计算节点上执行。
任务执行流程：从启动环境、生成调度节点和计算节点，到分发任务、执行计算，最后得到结果。
RDD 序列化和依赖关系
序列化：RDD 序列化涉及闭包检查、序列化方法和属性（确保算子外的数据可以序列化传递到 executor 端。）， Kryo 序列化框架
注意：即使使用 Kryo 序列化，也要继承 Serializable 接口。
RDD 的依赖关系：
包括血缘关系、RDD 依赖关系、窄依赖和宽依赖、RDD 阶段划分，确保数据处理过程中的容错性和可恢复性。
其中血缘关系用于恢复丢失的分区数据，窄依赖和宽依赖描述了 RDD 之间的依赖关系。
RDD 任务划分：
介绍了 RDD 任务划分的四个主要情况：application、job、stage 和 task。
Application：初始化一个 SparkContext 即生成一个 Application；
Job：一个 Action 算子就会生成一个 Job；
Stage：Stage 等于宽依赖(ShuffleDependency)的个数加 1；
Task：一个 Stage 阶段中，最后一个 RDD 的分区个数就是 Task 的个数。
注意：Application->Job->Stage->Task 每一层都是 1 对 n 的关系。
RDD 持久化：
RDD 的缓存
RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。
缓存有可能丢失，或者存储于内存的数据由于内存不足而被删除，RDD 的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于 RDD 的一系列转换，丢失的数据会被重算，由于 RDD 的各个 Partition 是相对独立的，因此只需要计算丢失的部分即可，并不需要重算全部 Partition。
Spark 会自动对一些 Shuffle 操作的中间数据做持久化操作(比如：reduceByKey)。这样做的目的是为了当一个节点 Shuffle 失败了避免重新计算整个输入。但是，在实际使用的时候，如果想重用数据，仍然建议调用 persist 或 cache。
RDD CheckPoint 检查点
所谓的检查点其实就是通过将 RDD 中间结果写入磁盘由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题，可以从检查点开始重做血缘，减少了开销。
对 RDD 进行 checkpoint 操作并不会马上被执行，必须执行 Action 操作才能触发。
也就是持久化方法（cache 和 persist），这些操作在触发 action 算子后才会执行。
RDD 文件读取与保存
Spark 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。
文件格式分为：text 文件、csv 文件、sequence 文件以及 Object 文件；
文件系统分为：本地文件系统、HDFS、HBASE 以及数据库。
相关文章：
spark-Core
运行架构 核心组件 由上图可以看出，对于 Spark 框架有两个核心组件： Driver，Spark 驱动器节点 其中Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。 Driver 在 Spark 作业执行时主要…...
前端开发中的问题排查与定位：HTML、CSS、JavaScript（报错的解决方式）
目录 1.html 1. 结构错误调试：标签未正确嵌套 2. 语法问题调试：缺失引号 3. 断点调试：动态生成内容时的 JavaScript 错误 4. 网络调试：资源加载错误 5. 性能调试：页面加载性能 总结： 2.CSS 1. 定位…...
VMware Fusion Pro 13 for Mac虚拟机
VMware Fusion Pro 13 for Mac虚拟机 文章目录 VMware Fusion Pro 13 for Mac虚拟机一、介绍二、效果下载 一、介绍 VMware Fusion Pro for Mac，是一款mac虚拟机软件，跟Parallels Desktop一样，都可以让你的 Mac 同时运行一个或多个不同的操作…...
、continue（IDEA插件）、cherry-studio玩转MCP)
使用cline(VSCode插件)、continue（IDEA插件）、cherry-studio玩转MCP
安装环境 uv（python） 为什么不用pip？ 使用 uv 时无需进行特定安装。使用 uvx 直接运行。 ⚡️ 比pip快10-100x https://github.com/pypa/pip https://ossinsight.io/analyze/pypa/pip?vsastral-sh%2Fuv#overview 安装 https://github…...
Kotlin FragmentTransaction多容器管理多个fragment
在Activity中管理五个Fragment的切换显示和隐藏，并且希望将这部分逻辑进行封装。之前已经教过他们如何在Kotlin中使用FragmentTransaction进行基本的添加、隐藏、显示和替换操作，现在需要进一步封装这些操作，提高代码的可维护性和复用性。 管…...
PyCharm显示主菜单和工具栏
显示主菜单 新版 PyCharm 是不显示主菜单的，要想显示主菜单和工具栏，则通过 “视图” → “外观” ，勾选 “在单独的工具栏中显示主菜单” 和 “工具栏” 即可。 设置工具栏 此时工具栏里并没有什么工具，因此我们需要自定义工具…...
WebView2最低支持.NET frame4.5,win7系统
WebView2最低支持.NET frame什么版本 WebView2 对 .NET Framework 的最低版本要求 基础支持范围 WebView2 官方支持的 .NET Framework 最低版本为 4.5，同时兼容 .NET Core 3.0 及以上版本18。对于 WPF、WinForms 等桌面应用开发，需确…...
ClickOnce 部署
1、在远程服务器172.16.9.252共享文件文件夹Bluetooth. 2、设置版本自动更新. 3、设置部署 4、设置创建桌面菜单 二、远程发布IIS即可...
Kotlin 中 集合 Collection 的扩展方法完全指南
Kotlin 中 Collection 的扩展方法完全指南 “代码是最美的诗篇”——本文将带你进入 Kotlin 集合扩展函数的世界，帮助你写出既高效又优雅的代码 🚀 一、引言 🤔 在 Android 开发中，集合（Collection）的操作…...
STM32F407使用ESP8266连接阿里云并上传数据
文章目录 前言一、ESP01S介绍1.ESP01S2.MQTT固件烧录3.WIFI连接 二、阿里云平台介绍1.创建产品及添加设备2.连接云平台 三、数据上报四、命令下发五、完整工程 前言 在实现OTA功能我们必须学会如何连接云平台，本文会仔细介绍使用STM32F407和ESP8266连接阿里云平台&…...
TorchServe部署模型-index_to_name.json
在TorchServe部署模型时，若要将模型输出结果映射到指定标签（如分类任务的类别名称），需通过index_to_name.json文件定义索引与标签的映射关系，并在打包模型时将其作为额外文件包含。以下是完整流程和命令示例࿱…...
每日一题——BMN3 小红炸砖块
“落下”操作只会对y轴有影响，所以注意y轴的变化即可 只要给出的坐标有砖块，就遍历查找他的上面是否有砖块，每一层都是这样，直到到没有砖块的那一层； 注意：定义矩阵时要注意，给出的坐标都是大…...
AWS服务器 磁盘空间升级到100G后，怎么使其生效？
在AWS（Amazon Web Services）上扩展EBS（Elastic Block Store）卷的大小后，服务器操作系统并不会自动识别新增的空间。要使操作系统识别并使用新增的磁盘空间，您需要进行一些额外的步骤。以下是详细的指导和说…...
AWS弹性容器服务（AWS Elastic Container Service，ECS）概述
李升伟 编译 标签：AWS | ECS | 容器 | Docker AWS弹性容器服务（AWS Elastic Container Service，ECS）简介 AWS弹性容器服务（ECS）是一项完全托管的容器编排服务，支持运行、管理和扩展容器化应用…...
【消息队列kafka_中间件】一、快速入门分布式消息队列
在当今大数据和分布式系统盛行的时代，消息队列作为一种关键的中间件技术，发挥着举足轻重的作用。其中，Apache Kafka 以其卓越的性能、高可扩展性和强大的功能，成为众多企业构建分布式应用的首选消息队列解决方案。本篇文章将带你深…...
【Axure元件分享】移动端滑动拨盘地区级联选择器
在移动端产品设计中，地区级联选择器（省/市/区）是用户信息录入场景的核心组件，尤其在电商收货地址、政务信息填报等高频业务中直接影响表单转化率。本文将介绍一款基于Axure的三级动态联动机型地区选择器，通过仿真级联滚…...
宁德时代25年校招演绎数字推理SHL测评题库题型及真题分析
非常感谢您对宁德时代的关注。祝贺您通过宁德时代校园招聘的专业面试环节，现邀请您参与完成以下测评。本轮共两份测评，每份测评对您的最终结果都非常重要，请务必在收到测评后48小时内完成!本测评需要进行远程监考，如果您无法或不愿…...
Python-Django+vue宠物服务管理系统功能说明
❥(^_-) 上千个精美定制模板，各类成品Java、Python、PHP、Android毕设项目，欢迎咨询。 ❥(^_-) 程序开发、技术解答、代码讲解、文档，💖文末获取源码+数据库+文档💖 💖软件下载 | 实战案例 💖文章底部二维码，可以联系获取软件下载链接，及项目演示视频。 本项目…...
)
洛谷普及B3691 [语言月赛202212] 狠狠地切割(Easy Version)
题目：[语言月赛202212] 狠狠地切割(Easy Version) 题号：B3691 难度：普及一 末尾包含对二分法优化的详细解释 题目分析 最后一句应该是本题的考查关键，关于筛选算法的时间优化， 但从功能理论上，我找到了…...
FPGA_BD Block Design学习（一）
PS端开发流程详细步骤 1.第一步：打开Vivado软件，创建或打开一个工程。 2.第二步：在Block Design中添加arm核心，并将其配置为IP核。 3.第三步：配置arm核心的外设信息，如DDR接口、时钟频率、UART接口等。 …...
Collection vs Collections：核心区别与面试指南
Collection vs Collections：核心区别与面试指南 一、本质区别（核心记忆点） 维度CollectionCollections身份集合框架的根接口操作集合的工具类包位置java.utiljava.util是否可实例化❌ 接口✅ 类（但构造器私有，不可实…...
sqlite3基本语句
创建表 CREATE TABLE student ( id INTEGER PRIMARY KEY, -- 学号，主键 name TEXT NOT NULL, -- 姓名，不能为空 age INTEGER, -- 年龄 gender TEXT -- 性别 ); SQLite常用数据类型 主键 …...
jupyter notebook 显示conda虚拟环境
使用 nb_conda_kernels 安装 nb_conda_kernels：这个包可以自动从你的 Conda 环境中发现并列出内核。 conda activate base # 确保你在 base 环境或任何其他环境中安装 conda install nb_conda_kernels显示jupyternotebook当前所在的位置。...
岗位笔试机考题)
华为海思IC前端中后端(COTXPU)岗位笔试机考题
近期华为海思即将开始IC设计实现实习岗位机考。小编今天给大家分享下华为海思相关机考题目。 华为海思2025届校招笔试面试经验分享 每年IC秋招笔试其实也是从题库中随机抽出一些题。 华为海思2025届校招笔试面试经验分享华为海思机考主要分三个方向，分别是物理方向…...
HarmonyOS NEXT 实现滑动拼图验证码功能
大家好，我是 V 哥。 在 Gitee 上看到一个用 Java 实现的 HarmonyOS 滑动拼图验证码功能，已经太老了，鸿蒙开发推荐使用 ArkTS 语言，V 哥来改造一下。 以下是基于 ArkTS 的实现方案。由于鸿蒙系统的特性差异，这里提供核…...
【XML基础-1】深入理解XML：介绍、语法规则与实际应用
XML（可扩展标记语言）作为数据表示和交换的标准格式，自1998年问世以来已成为现代计算领域不可或缺的一部分。本文将全面介绍XML的基础概念、详细语法规则以及它在各领域中的实际应用。 1. 什么是XML？ XML（eXtensible …...
STM32 HAL库扩大USB CDC的输入缓冲区
STM32 HAL库，使用USB, 扩大输入暂存区的方法 使用STM32的USB通讯CubeMX建立配置Serial Wire时钟配置USB配置时钟频率设置代码编写运行效果总结使用STM32的USB通讯 STM32可以不用使用串口转换直接和USB通讯。这给串口调试提供了极大的方便。编程，我使用了STM32CubeIDE编程。这…...
迭代器模式深度解析与实战案例
一、模式定义 迭代器模式（Iterator Pattern） 是一种行为设计模式，提供一种方法顺序访问聚合对象的元素，无需暴露其底层表示。核心思想是将遍历逻辑从聚合对象中分离，实现 遍历与存储的解耦。 二、核心组件 组件作用…...
Kotlin协程实用模版合集
目录 ✅ Kotlin 协程实用模板合集（适合 Android 项目） 📦 1. 基础挂起函数封装（Repository 层） ⚙️ 2. ViewModel 中使用协程 状态处理 ⏱️ 3. 带超时控制的挂起操作 🤝 4. 并发请求合并࿰…...
基于Flask的Windows事件ID查询系统开发实践
基于Flask的Windows事件ID查询系统开发实践 一、项目背景与功能概述 Windows操作系统的事件日志系统记录了数百种不同的事件ID，每个ID对应特定的系统事件。本文介绍如何构建一个基于Web的事件ID查询系统，主要实现以下功能： 数据可视化展示…...
机器人编程基础---C语言中的运算符
C语言中的运算符 算术运算符关系运算符逻辑运算符位运算符C语言提供了多种运算符来执行不同的操作。 算术运算符 + 加法- 减法* 乘法/ 除法% 取模（求余）++ 自增-- 自减int a = 10, b = 5; int sum = a + b;...
设计模式之迭代器模式：遍历的艺术与实现
引言 迭代器模式（Iterator Pattern）是一种行为型设计模式，它提供了一种顺序访问聚合对象中各个元素的方法，而又不暴露其底层实现。迭代器模式将遍历逻辑与聚合对象解耦，使得我们可以用统一的方式处理不同的集合结构。…...
React七案例中
代码下载 地图找房模块 顶部导航栏 封装NavHeader组件实现城市选择，地图找房页面的复用，在 components 目录中创建组件 NavHeader，把之前城市列表写过的样式复制到 NavHeader.scss 下，在该组件中封装 antd-mobile 组件库中的 N…...
消息中间件篇——RabbitMQ，Kafka
RabbitMQ 如何保证消息不丢失？ 生产者确认机制 消息持久化 消费者确认机制 RabbitMQ如何保证消息不丢失？ RabbitMQ的重复消费问题如何解决？ RabbitMQ中死信交换机（RabbitMQ延迟队列有了解过吗？） 延迟队列…...
HOW - 实现 useClickOutside 或者 useClickAway
场景 在开发过程中经常遇到需要点击除某div范围之外的区域触发回调：比如点击 dialog 外部区域关闭。 手动实现 import { useEffect } from "react"/*** A custom hook to detect clicks outside a specified element.* param ref - A React ref object…...
青少年编程考试 CCF GESP Python七级认证真题 2025年3月
Python 七级 2025 年 03 月 题号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 答案 B C A B B A A B C A B B A B A 1 单选题（每题 2 分，共 30 分） 第 1 题 下列哪个选项是python中的关键字？ A. function B. class C. method D. object…...
兆讯MH2103系列pin to pin替代STM32F103，并且性能超越
MH2103 是一款高性能的 32 位微控制器，由兆讯恒达推出，主要用于替代 STM32F103 系列产品。以下是关于 MH2103 芯片的详细介绍： 技术规格 内核与主频： 采用高性能 32 位 Cortex-M3 内核，最高工作频率可达 216 MHz。支…...
h5使用dsBridge与原生app通信--桥方法
dsBridge是一个轻量级的 JS 和原生 App 的通信桥梁库,使用起来比原生方便不少支持： 1.H5 调用 Native 方法（JS → Native） 2.Native 调用 H5 方法（Native → JS） 3.支持参数传递和异步回调 4.支持 Android、iOS、以…...
package.json配置项积累
peerDependencies 用途：peerDependencies 主要用于声明一个包在其宿主项目中期望安装的依赖版本。它通常用于确保插件或库与特定版本的其他库兼容。 行为： 在 npm v7之前，如果宿主项目未安装 peerDependencies 中列出的依赖，则不…...
Python安装软件包报错 fatal error: Python.h: No such file or directory
Python安装软件包报错 fatal error: Python.h: No such file or directory Failed to import transformers.integrations.integration_utils because of the following error (look up to see its traceback): Failed to import transformers.modeling_utils because of the f…...
数据结构与算法-图论-复习1（单源最短路，全源最短路，最小生成树）
1. 单源最短路 单一边权 BFS 原理：由于边权为单一值，可使用广度优先搜索（BFS）来求解最短路。BFS 会逐层扩展节点，由于边权相同，第一次到达某个节点时的路径长度就是最短路径长度。 用法：适用…...
uniapp：微信小程序，一键获取手机号
<button open-type"getPhoneNumber" getphonenumber"getphonenumber">一键获取</button> <script>export default {methods: {getphonenumber(e){uni.login({provider: weixin,success: (res)> {console.log(res);},});},}} </scr…...
协作焊接机器人
一、核心定义与核心特点 1. 定义 协作焊接机器人是基于协作机器人本体（具备力传感、轻量化、安全停机等特性），集成焊接电源、焊枪、视觉 / 电弧传感器等模块，实现人机共融焊接作业的自动化设备。其核心在于： 安全协作：支持与焊工共同工作，无需物理隔离；柔性适配：快速…...
SpringBoot和微服务学习记录Day2
微服务 微服务将单体应用分割成更小的的独立服务，部署在不同的服务器上。服务间的关联通过暴露的api接口来实现 优点：高内聚低耦合，一个模块有问题不影响整个应用，增加可靠性，更新技术方便 缺点：增加运维…...
【CornerTag组件详解：优雅的角标设计与实现】
CornerTag组件详解：优雅的角标设计与实现 组件完整代码 <template><divclass"corner-tag":style"{background: bgColor,padding: ${paddingY}px 0,fontSize: fontSize px,...customStyle}"><slot /></div> </tem…...
Mybatis-缓存详解
什么是缓存？ 存在内存中的临时数据 将用户经常查询的数据放在缓存中，用户去查询数据就不用从磁盘上（关系型数据库数据文件）查询，从缓存中查询，从而提高查询效率，解决了高并发系统的性能问题 经…...
WHAT - React useId vs uuid
目录 uuiduseId适用场景语法示例注意事项 复杂示例示例：动态表单列表 useId解读重点 useId vs uuid一句话总结对比表格示例对比useId 用于表单uuid() 用在 UI 会出问题uuid 的适合场景 总结建议 uuid 在 WHAT - Math.random？伪随机？ 中我们…...
Leetcode 跳跃游戏 II （贪心算法）
给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向后跳转的最大长度。换句话说，如果你在 nums[i] 处，你可以跳转到任意 nums[i j] 处: 0 < j < nums[i] i j < n 返回到达 nums[n - 1] 的最…...
银河麒麟V10 Ollama+ShellGPT打造Shell AI助手——筑梦之路
环境说明 1. 操作系统版本: 银河麒麟V10 2. CPU架构：X86 3. Python版本：3.12.9 4. 大模型：mistral:7b-instruct 准备工作 1. 编译安装python 3.12 # 下载python 源码wget https://www.python.org/ftp/python/3.12.9/Python-3.12.9.tg…...
【物联网】GPT延时
文章目录 前言一、GPT实现延时1. 定时器介绍2. I.MX6ull GPT定时器介绍1）GPT定时器工作原理2）GPT的输入捕获3）GPT的输出比较 3. 高精度延时实现1）实现思路 前言 使用 GPT 实现延时控制以及基于 PWM 实现蜂鸣器发声与频率调节这两…...