当前位置：首页 > news >正文

Spark核心知识总结

news 来源：原创 2025/9/18 19:40:45

一、Spark运行架构

（一）整体结构

Spark框架采用标准master - slave结构，Driver为master管理作业任务调度，Executor为slave负责实际执行任务。

（二）核心组件

1. Driver：执行Spark任务的main方法，将用户程序转化为作业，在Executor间调度任务，跟踪Executor执行情况并通过UI展示运行状况。

2. Executor：集群工作节点中的JVM进程，运行具体任务且任务相互独立。负责运行任务并返回结果，通过块管理器缓存RDD数据加速运算。

3. Master & Worker：在独立部署环境中，Master负责资源调度分配和集群监控，Worker在服务器上处理计算任务。

4. ApplicationMaster：在YARN集群中，负责申请资源、运行任务、监控任务状态和处理异常。

（三）核心概念

1. Executor与Core：Executor是计算节点，提交应用时可指定其数量、内存大小和虚拟CPU核数。

2. 并行度：集群并行执行任务的数量，默认由框架配置，也可在运行时修改。

3. 有向无环图（DAG）：Spark程序映射的数据流抽象模型，用于表示程序执行过程和拓扑结构。

（四）提交流程（基于Yarn环境）

1. Yarn Client模式：Driver在本地机器运行，向ResourceManager申请启动ApplicationMaster，由其申请Executor内存并启动Executor进程，Executor反向注册后Driver执行main函数，遇到Action算子触发Job并分发任务。

2. Yarn Cluster模式：任务提交后申请启动的ApplicationMaster就是Driver，后续流程与Client模式类似。

二、Spark RDD相关概念

（一）RDD概述

1. 定义：弹性分布式数据集，是Spark基本数据处理模型，具有弹性、分布式、不可变等特性。

2. 核心属性：包含分区列表、分区计算函数、依赖关系、分区器（可选）、首选位置（可选）。

（二）执行原理

在Yarn环境中，启动集群后，Spark申请资源创建调度和计算节点，将计算逻辑划分为任务，调度节点根据节点状态发送任务到计算节点执行。

（三）RDD序列化

1. 闭包检查：检测算子外数据能否序列化，确保可在Executor端执行。

2. 序列化方法和属性：算子外代码在Driver端执行，算子内代码在Executor端执行。

3. Kryo序列化框架：比Java序列化速度快10倍，Shuffle时部分数据已使用Kryo序列化，但仍需继承Serializable接口。

（四）RDD依赖关系

1. 血缘关系：记录RDD元数据和转换行为，用于恢复丢失分区。

2. 窄依赖与宽依赖：窄依赖指父RDD分区最多被子RDD一个分区使用；宽依赖指父RDD分区被多个子RDD分区依赖，会引发Shuffle。

3. 阶段与任务划分：DAG记录RDD转换和任务阶段，Application、Job、Stage和Task之间是1对n关系。

（五）RDD持久化

1. Cache缓存：默认缓存在JVM堆内存，触发action算子时缓存，缓存丢失可重算。

2. CheckPoint检查点：将RDD中间结果写入磁盘，切断血缘依赖，提高容错性。

3. 区别：Cache不切断血缘，可靠性低；CheckPoint切断血缘，数据存储在高可用文件系统。建议对CheckPoint的RDD使用Cache缓存。

（六）RDD分区器

支持Hash分区、Range分区和自定义分区，Hash分区为默认分区。只有Key - Value类型RDD有分区器，分区器决定分区个数和数据分配。

（七）RDD文件读取与保存

可处理text、csv、sequence、object等文件格式，支持本地文件系统、HDFS、HBASE和数据库等文件系统进行数据读取和保存。

Spark核心知识总结

一、Spark运行架构 （一）整体结构 Spark框架采用标准master - slave结构，Driver为master管理作业任务调度，Executor为slave负责实际执行任务。 （二）核心组件 1. Driver：执行Spark任务的main方法&…...

编程日记 2025/9/18 19:40:45

第1节：计算机视觉发展简史

计算机视觉与图像分类概述：计算机视觉发展简史计算机视觉（Computer Vision）作为人工智能领域的重要分支，是一门研究如何使机器"看"的科学，更具体地说，是指用摄影机和计算机代替人眼对目标进行识…...

编程日记 2025/9/18 17:53:42

2D 与 3D 连线效果全解析 | 从平面到立体

HT 是一个灵活多变的前端组件库，具备丰富的功能和效果，满足多种开发需求。让我们将其效果化整为零，逐一拆解具体案例，帮助你更好地理解其实现方案。在此篇文章中，让我们一起深入探讨 2D 与 3D 的连线效果是如何实现的…...

编程日记 2025/9/7 19:49:04

Django Cookies 实际项目示例

Django Cookies 实际项目示例推荐超级课程：本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录 Django Cookies 实际项目示例介绍什么是 Django Cookies？为什么要关心 Django Cookies？Django Cookie…...

编程日记 2025/9/18 19:38:49

启动 Django 自带的开发服务器 python manage.py runserver出现如下报错： [rootiZ2zedudtf2cwzi9argky2Z myproject]# python manage.py runserver Watching for file changes with StatReloader Performing system checks...System check identified no issues (…...

编程日记 2025/9/18 19:35:40

stream流Collectors.toMap()，key值重复问题

文章目录一、问题二、问题示例三、原因四、解决方法4.1、方案一一、问题发现Collectors.toMap的一个坑，若key值重复的时候会抛异常。如： IllegalStateException: Duplicate key 男二、问题示例报错示例如下： import lombok.AllArgsC…...

编程日记 2025/9/18 19:39:49

STM32(基于标准库)

参考博客：江科大STM32笔记 Stm32外设一、GPIO 基础 GPIO位结构 I/O引脚的保护二极管是对输入电压进行限幅的上面的二极管接VDD, 3.3V,下面接VSS, 0V，当输入电压 >3.3V 那上方这个二极管就会导通，输入电压产生的电流就会大部分充入VD…...

编程日记 2025/9/18 19:39:49

OpenStack Yoga版安装笔记（十八）Self-service networks配置笔记

1、官方文档在OpenStack官方安装文档中，提供了两个网络配置选项： Option1：Provider networksOption2：Self-service networks 这两个选项并不冲突，可以在OpenStack环境中同时配置。在《OpenStack Yoga版安装笔记&…...

编程日记 2025/9/18 19:38:49

2025年黑龙江建筑安全员 C3 证考试题库练习题

黑龙江建筑安全员 C3 证考试题库练习题 1、消防控制室是设有火灾自动报警设备和消防设施控制设备，用于接收、显示、处理（ ），控制相关消防设施的专门处所2。 A. 安全信息 B. 设备信息 C. 通讯信号 D. 火灾报警信号答案&…...

编程日记 2025/9/8 4:05:00

JavaScript数据结构-Map的使用

在 JavaScript 中，Map 是 ES6 引入的一种新的数据结构，它类似于对象，也是键值对的集合，但 Map 的键可以是任意类型的值（对象、函数、基本类型等），而传统对象的键只能是字符串或 Symbol&#xff…...

编程日记 2025/9/18 16:55:19

LeetCode面试经典150题

目录力扣80. 删除有序数组中的重复项 II 代码解析力扣274. H 指数代码解析力扣151. 反转字符串中的单词解析代码力扣12. 整数转罗马数字解析代码力扣28. 找出字符串中第一个匹配项的下标解析代码1（暴力模拟） 解析代码2（K…...

编程日记 2025/9/12 19:18:52

mysql之等值连接8个实例

以下实例以常见的业务场景为例，使用 MySQL 语法，假设存在员工表（employees）、部门表（departments）、订单表（orders）、客户表（customers）等，来展示…...

编程日记 2025/9/17 2:27:42

C基础笔记_指针专题

一:C 和 C 偏爱使用指针的原因 1. 通过指针可以直接操作内存 C 和 C 是系统级编程语言，它们的设计目标之一是允许开发者直接与硬件交互并高效地管理资源。指针的本质：指针本质上是一个存储内存地址的变量，它让程序员可以直接访问和操作内…...

编程日记 2025/9/17 14:18:20

GPT-SoVITS Windows 配置与推理笔记（自用）

GPT-SoVITS Windows 配置与推理笔记（自用） 这是给自己留的备份，方便下次查。Windows 端配置和推理为主，代码为核心，直接干货。环境准备系统：Windows 10/11Python：3.9（别用别的版…...

编程日记 2025/9/18 5:11:10

【设计模式】面向对象开发学习OOPC

PLOOC-裸机思维 PLOOC OOPC精要——撩开“对象”的神秘面纱 C/C面向对象编程之封装-KK 面向过程，本质是“顺序，循环，分支”面向对象，本质是“继承，封装，多态”参考的书籍：《UMLOOPC嵌入式C语言…...

编程日记 2025/8/27 0:22:54

LVGL开发指南

一、主流ARM开发UI界面库主流ARM开发UI界面库的详细对比分析，从多个维度评估各库的适用场景： 1. 基础对比表特性LVGLQt for MCUEmbedded WizardTouchGFXemWin许可证MIT开源商业商业商业(STM32免费)商业RAM最小需求16KB512KB64KB256KB50KBFlash占用64KB+1MB+200KB+500KB+1…...

编程日记 2025/9/11 16:38:09

linux shell looop循环写法

在 Linux Shell 中编写loop循环的常见方法有以下几种，适用于持续执行任务或监控场景： 1. while true 循环（最常用） while true; do# 循环体内的命令echo "Running..."sleep 1 # 避免 CPU 占用过高 done 终止方式&…...

编程日记 2025/9/16 7:56:19

【力扣hot100题】（075）数据流的中位数

一开始只建立了一个优先队列，每次查询中位数时都要遍历一遍于是喜提时间超限，看了答案才恍然大悟原来还有这么聪明的办法。方法是建立两个优先队列，一个大根堆一个小根堆，大根堆记录较小的数，小根堆记录较大的数。 …...

编程日记 2025/9/6 9:47:45

蓝桥杯刷题总结 + 应赛技巧

当各位小伙伴们看到这篇文章的时候想必蓝桥杯也快开赛了，那么本篇文章博主就来总结一下一些蓝桥杯的应赛技巧，那么依旧先来走个流程那么接下来我们分成几个板块进行总结首先是一些基本语法编程语言的基本语法首先是数组，在存数据的时候…...

编程日记 2025/9/14 3:16:18

JetBrains Terminal 又发布新架构，Android Studio 将再次迎来新终端

不到一年的时间，JetBrains 又要对 Terminal 「大刀阔斧」，本次发布的新终端是重构后的全新的架构，而上一次终端大调整还是去年 8 月的 v2024.2 版本，并且在「Android Studio Ladybug | 2024.2.1」也被引入。不知道你们用不用内置…...

编程日记 2025/9/15 0:28:34

怎么构造思维链数据？思维链提示工程的五大原则

我来为您翻译这篇关于思维链提示工程的文章，采用通俗易懂的中文表达： 思维链(CoT)提示工程是生成式AI(GenAI)中一种强大的方法，它能让模型通过逐步推理来解决复杂任务。通过构建引导模型思考过程的提示，思维链能提高输出的准确性…...

编程日记 2025/9/13 9:13:27

mongodb--用户管理

文章目录 MongoDB 用户管理1. 连接到 MongoDB2. 用户创建2.1 创建管理员用户2.2 创建特定数据库用户2.3 常用内置角色 3. 用户管理操作3.1 查看所有用户3.2 查看特定用户信息3.3 更新用户密码3.4 添加用户角色3.5 移除用户角色3.6 删除用户 4. 权限修改4.1 创建自定义角色4.2 将…...

编程日记 2025/9/6 15:29:24

2025年考OCP认证有用吗？

在数字化转型的浪潮中，数据库管理技术成为企业核心竞争力的基石。Oracle作为全球领先的数据库解决方案提供商，其OCP（Oracle Certified Professional）认证不仅是技术能力的权威背书，更是职业发展的强力引擎。以下从多个…...

编程日记 2025/9/12 9:14:42

川翔云电脑：D5 渲染摆脱硬件限制，云端高效创作

在设计领域，D5 渲染器凭借实时光追技术、高效工作流程及优质输出效果，成为设计师的得力工具。然而，其对高端 RTX 显卡的依赖，导致硬件成本高、本地性能受限及办公地点固定等问题，让不少创作者望而却步。 D5 渲染器的优…...

编程日记 2025/9/18 17:45:57

设计模式（23种设计模式简介）

设计模式简介设计模式是解决软件设计中常见问题的可重用解决方案模板，通过总结反复验证的代码设计经验，提升代码的可重用性、可维护性和扩展性。其核心是通过标准化的设计思想，让代码更易理解、协作更高效，并在面向对象编程中…...

编程日记 2025/9/7 7:26:42

Python设计模式：工厂模式

1. 什么是工厂模式？ 工厂模式是一种创建对象的设计模式，它提供了一种创建对象的接口，但不暴露对象创建的具体逻辑。工厂模式的核心思想是将对象的创建与使用分离，从而提高代码的灵活性和可维护性。 1.1 工厂模式的类型 1.1.1 简…...

编程日记 2025/9/16 1:58:47

UE5 给函数分类

如果函数太多不方便找，我们可以给函数设置一个分组选中一个函数，修改它的类别然后在函数列表里可以看到分好的类其他函数可以直接拖进类别里，不用每个函数都手动设置类别一次只能拖动一个函数...

编程日记 2025/9/15 4:47:08

5️⃣ Coze+AI应用基础教学（2025年全新版本）

目录一、了解应用开发 1.1 扣子应用能做什么 1.2 开发流程 1.3 开发环境二、快速搭建一个AI应用 2.1 AI翻译应用介绍 2.2 设计你的应用功能 2.3 创建 AI 应用项目 2.4 编写业务逻辑（新建工作流） 2.5 搭建用户界面 2.6 效果测试 2.7 发布应…...

编程日记 2025/9/4 19:20:26

高级前端题库

前端题库 JS篇如何理解作用域和作用域链作用域作用域就是变量或函数在其内能够被访问的“可见区域” 全局作用域局部作用域作用域链当在某个作用域中尝试访问一个变量时，JS引擎会从当前作用域开始，沿着作用域链向上逐级开始查找，直到…...

编程日记 2025/9/7 5:49:25

博途 TIA Portal之1200做主站与汇川EASY的TCP通讯

前言，虽然已经做了几篇关于TCP通讯的文章，但是不同的PLC之间的配合可能不同，下面将演示这种差异。关于汇川EASY做从站的配置请参见下方链接文章：汇川EASY系列之以太网通讯（套接字socket做从站）_汇川以太网tcp套接字fb块-CSDN博客 1、硬件准备： 1200PLC，汇川EASY320…...

编程日记 2025/9/3 22:48:17

在conda虚拟环境安装GIT并且克隆github上项目指南（解决443问题）

此次笔记记录自己在conda虚拟环境安装git，同时克隆github项目，并且解决了git的443问题。如有不妥欢迎各位大佬批评指正。首先默认你已经安装了anaconda。代开命令提示行配置环境 #首先创建虚拟环境 conda create -n git_env python3.8 #激活虚拟环…...

编程日记 2025/9/15 15:44:49

JavaWeb遇到的问题汇总

问题一：（键值对最后一项没有逗号） 在JSON字符串转自定义对象和自定义对象转JSON字符串时： 如图所示：若忘记删除键值对的最后一项没有逗号时，则下一句转换不会生效，应该删除最后一项的逗号。解…...

编程日记 2025/9/14 20:33:21

Stable Diffusion + Contronet，调参实现LPIPS最优(带生成效果+指标对比)——项目学习记录

目录前言一、数据集：图像文本，部分选取于DeepFashion 二、优化一，img2img 三、优化二，微调sd参数四、优化三，dreamshaper优化五、优化四，sdv1.5contronet 六、问题探索历程 1. 从 SDXL 到轻量化模…...

编程日记 2025/9/11 13:38:00

【“星睿O6”AI PC开发套件评测】在O6开发板使用gemma-2b测试CPU性能

前提条件： x64 Linux 主机：安装CMake 和 arm-gnu-toolchain-12.2.rel1-x86_64-aarch64-none-linux-gnu radxa O6主机 1.从 Kaggle 获取模型权重和分词器 Gemma 3 2B 模型文件：访问 Kaggle 上的 Gemma 模型页面 https://www.kaggle.com/mode…...

编程日记 2025/9/16 3:44:52

数学知识——矩阵乘法

使用矩阵快速幂优化递推问题对于一个递推问题，如递推式的每一项系数都为常数，我们可以使用矩阵快速幂来对算法进行优化。一般形式为： F n F 1 A n − 1 F_nF_1A^{n-1} FnF1An−1 由于递推式的每一项系数都为常数，因此对…...

编程日记 2025/9/15 0:05:38

3DMax中模型解组

1、从网上下载下来的模型是一个整体，需要解开查看每个样式 2、解开组...

编程日记 2025/9/8 2:17:24

链路聚合+vrrp

1.链路聚合作用注意事项将多个物理接口（线路）逻辑上绑定在一起形成一条逻辑链路，起到叠加带宽的作用1.聚合接口必须转发速率一致。2.聚合设备两端必须一致配置命令方法一 [Huawei]interface Eth-Trunk 0----先创建聚合接口，…...

编程日记 2025/9/8 18:19:31

0 std::process::Command 介绍

std::process::Command 是 Rust 标准库中用于创建和配置子进程的主要类型。它允许你启动新的进程、设置其参数和环境变量、重定向输入/输出等。基本用法 use std::process::Command;let output Command::new("echo").arg("Hello, world!").output().ex…...

编程日记 2025/9/11 3:46:20

Android 中Intent 相关问题

在回答 Intent 问题时，清晰区分其定义、类型和应用场景。以下是的回答策略： 一、Intent 的核心定义 Intent 是 Android 系统中的消息传递对象，主要用于三大场景： 2. 隐式 Intent（Implicit Intent） 三、…...

编程日记 2025/9/16 1:58:50

【Docker】Docker Desktop镜像存储路径设置方法

在 Docker Desktop 中设置镜像存储路径（即下载的镜像文件存放位置）取决于你的操作系统。以下是不同系统下的设置方法： Windows 系统完全卸载后重新安装指定路径（Docker Desktop for Windows 默认使用 C:\ProgramData\Docker&…...

编程日记 2025/9/14 23:31:37

Spring Boot 3.x 中 WebClient 全面详解及示例

Spring Boot 3.x 中 WebClient 全面详解及示例 1. WebClient 简介定义：Spring 5 引入的响应式 HTTP 客户端，用于替代 RestTemplate（已弃用），支持异步非阻塞的 HTTP 请求。核心特性： 支持所有 HTTP 方法&a…...

编程日记 2025/9/13 12:59:09

将图片按照指定大小批量进行裁剪(可设置步长_python)

将图片按照指定大小批量进行裁剪(可设置步长_python) import os from PIL import Image# 设置更高的图像大小限制，禁用解压炸弹检查 Image.MAX_IMAGE_PIXELS None # 禁用解压炸弹检查def crop_image(image_path, block_size(640, 640), step_size(340, 340)):# 打…...

编程日记 2025/9/15 4:06:01

设计模式 --- 原型模式

原型模式是创建型模式的一种，是在一个原型的基础上，建立一致的复制对象的方式。这个原型通常是我们在应用程序生命周期中需要创建多次的一个典型对象。为了避免初始化新对象潜在的性能开销，我们可以使用原型模式来建立一个非常类似于复印机的…...

编程日记 2025/9/8 8:34:18

工作经验记录

坑部门例会上:跨级暴露问题.部门例会上:说话没有条理,周报写得好,但是表达效果不同.领导直接要求的任务没有当时推进:需考虑GTD清单.不要马后炮领导签字要按顺序会议上发言有条理问题不要越级暴露不要强调过程对同事对领导领导同意的文件最好当日通过. 对供应商不…...

编程日记 2025/9/17 21:41:28

Unity中基于2.5D的碰撞系统

在2.5D游戏中实现精确的碰撞检测是一个关键挑战，因为我们需要在视觉上有深度感的同时保持游戏逻辑的准确性。下面我将详细解析2.5D碰撞系统的实现方法。 1. 2.5D碰撞的核心问题 1.1 Z轴深度与碰撞的关系视觉表现：物体通过Y轴位置影响Z轴排序&#xff…...

编程日记 2025/9/14 5:20:48

设计模式-命令模式详解

命令模式详解及真实场景解决方案模式定义命令模式是一种行为设计模式，将请求封装为独立对象，包含执行操作所需的所有信息。通过这种方式，可以实现请求的参数化、队列管理、撤销/重做等高级功能，同时解耦请求发送者与接收者。 …...

编程日记 2025/9/18 17:29:15

基于Python（Django）+SQLite 实现（Web）点菜管理系统

点菜管理系统课程设计任务与要求 1、任务题目：点菜管理信息系统问题描述： 随着网络的迅速发展，越来越多的人开始接受甚至时依赖了网络营业的这种交易形式，传统的点菜模式不仅浪费时间，效率低下，而且…...

编程日记 2025/9/11 21:23:21

泰鸿万立上市：加强产品规划和前瞻性研发打造优质汽车零部件制造商

4月9日，浙江泰鸿万立科技股份有限公司（股票简称“泰鸿万立”，股票代码“603210”）正式登陆上交所主板。招股书显示，泰鸿万立主营业务为汽车结构件、功能件的研发、生产与销售。经过十余年发展，公司拥有了…...

编程日记 2025/9/11 9:38:12

Charles的安装和使用教程

Charles抓包工具与Sniff Master在Windows上的安装与使用指南 1. Charles抓包工具安装 1.1 下载Charles 进入Charles官网(https://www.charlesproxy.com/download/)下载最新版本的安装包 1.2 安装与激活正常安装后，打开会提示试用版30天限制进入授权码生成页面…...

编程日记 2025/9/16 1:58:53

论文阅读笔记：Adaptive Multi-Modal Cross-Entropy Loss for Stereo Matching

论文阅读笔记：Adaptive Multi-Modal Cross-Entropy Loss for Stereo Matching 1 背景2 创新点3 方法4 模块4.1 基础和问题描述4.2 自适应多模态概率模型4.3 主模态视差估计器 5 效果6 结论 1 背景尽管深度学习在立体匹配方面取得了巨大成功，但恢复准确…...

编程日记 2025/9/10 6:02:40

相关文章：