当前位置：首页 > news >正文

Spark 的运行模式(--master) 和部署方式(--deploy-mode)

news 来源：原创 2025/7/30 13:43:28

Spark 的 运行模式（--master） 和 部署方式（--deploy-mode），两者的核心区别在于 资源调度范围 和 Driver 进程的位置。

一、核心概念对比

维度	`--master`（运行模式）	`--deploy-mode`（部署方式）
作用	指定 Spark 应用在哪里运行（单机 / 集群 / 云平台）。	指定 Driver 进程的运行位置（本地客户端 / 集群节点）。
选项范围	- 单机：`local` / `local[N]` / `local[*]` - 集群：`yarn` / `spark://host:port` / `mesos`	仅当 `--master` 为集群模式时有效： - `client`（客户端部署） - `cluster`（集群部署）
是否必填	是（决定应用的运行环境）。	否（默认值：`client`，仅在集群模式下需显式指定）。

二、`--master` 运行模式详解

1. 单机模式（Local Mode）

适用场景：开发调试、本地测试（无需真实集群资源）。

local：
- 单线程运行，所有任务在一个线程中串行执行（无并行）。
- 示例：--master local
local[N]：
- 使用 N 个线程 模拟集群中的 Executor，并行执行任务（N 通常为 CPU 核心数）。
- 示例：--master local[2]（2 个线程并行）。
local[*]：
- 使用 所有可用 CPU 核心 线程（自动获取本地 CPU 核数）。

特点：

无需启动集群服务，直接在本地 JVM 中运行。
Driver 和 Executor 都在同一个进程内，适合验证代码逻辑。

2. 集群模式（Cluster Mode）

适用场景：生产环境（需调度真实集群资源）。
常见集群模式包括：

yarn：运行在 Hadoop YARN 集群上（最常用的企业级方案）。
spark://host:port：运行在 Spark 自带的独立集群（Standalone Cluster）。
mesos：运行在 Mesos 集群上（较少用）。

特点：

需要提前启动集群服务（如 YARN 的 ResourceManager、Spark Standalone 的 Master 节点）。
资源由集群统一管理，支持多应用并发运行。

三、`--deploy-mode` 部署方式详解（仅集群模式有效）

当 --master 设置为集群模式（如 yarn 或 spark://...）时，需通过 --deploy-mode 指定 Driver 进程的位置：

1. client 部署（默认）

Driver 运行位置：提交任务的客户端节点（如你本地的终端或服务器）。

Driver 进程运行在提交作业的客户端机器上

适用场景：
- 交互式任务（如 Spark Shell）或需要实时查看日志的调试场景。
- Driver 需要与客户端进行交互（例如接收用户输入）。
优缺点：
- 优点：日志直接输出到客户端，方便调试。
- 缺点：若客户端断开连接，任务会终止；Driver 占用客户端资源。

示例（YARN 集群 + client 部署）：

spark-submit --master yarn --deploy-mode client ...

2. cluster 部署

Driver 运行位置：集群内部的某个节点（由集群调度分配）。

Driver 进程运行在集群的某个 Worker 节点上。

适用场景：生产环境的长时间运行任务（如定时批处理）。
优缺点：
- 优点：任务提交后客户端可断开连接，Driver 独立运行在集群中，稳定性高。
- 缺点：日志需通过集群命令（如 yarn logs）查看，调试不如 client 方便。

示例（YARN 集群 + cluster 部署）：

spark-submit --master yarn --deploy-mode cluster ...

四、经典场景搭配

场景	`--master` 配置	`--deploy-mode` 配置	说明
本地调试	`local[2]`	无需指定（单机模式不生效）	使用 2 个线程模拟并行，直接在本地运行，日志打印到终端。
YARN 集群调试（需看日志）	`yarn`	`client`	Driver 运行在提交任务的客户端（如服务器），日志实时输出到终端。
YARN 集群生产任务	`yarn`	`cluster`	Driver 运行在集群节点，任务提交后客户端可断开，适合无人值守任务。
Spark 独立集群任务	`spark://master-host:7077`	`cluster`（推荐）	Driver 在集群内部，资源由 Spark Standalone 管理。

五、常见误区

单机模式下无需 --deploy-mode：
- 单机模式（local）中，Driver 和 Executor 都在本地，--deploy-mode 无效，指定会报错。
集群模式必须选 deploy-mode：
- 若 --master 是 yarn 或 spark://...，必须显式指定 --deploy-mode client 或 cluster（默认是 client，但生产环境建议显式写 cluster）。
local 不是集群：
- local 模式是 伪分布式（模拟集群行为），实际没有真正的集群节点，仅用于开发测试。

总结记忆法

--master 决定 “在哪跑”：选本地（local）或集群（yarn/spark://...）。
--deploy-mode 决定 “Driver 在哪”：集群模式下，选客户端（client）或集群内（cluster）。
开发调试用 local 或 yarn client，生产任务用 yarn cluster 或 spark://... cluster。

Spark 的运行模式(--master) 和部署方式(--deploy-mode)

Spark 的运行模式（--master） 和部署方式（--deploy-mode），两者的核心区别在于资源调度范围和 Driver 进程的位置。一、核心概念对比维度--master（运行模式）--deploy-mode（部署…...

编程日记 2025/7/30 13:43:28

从零开始实现大语言模型（十五）：并行计算与分布式机器学习

1. 前言并行计算与分布式机器学习是一种使用多机多卡加速大规模深度神经网络训练过程，以减少训练时间的方法。在工业界的训练大语言模型实践中，通常会使用并行计算与分布式机器学习方法来减少训练大语言模型所需的钟表时间。本文介绍PyTorch中的一种…...

编程日记 2025/7/30 13:39:54

生产模式下react项目报错minified react error #130的问题

这天，线上突然出现了一个bug，某个页面打开空白，看控制台报错minified react error #130，在本地看却是正常的，百思不得其解。后来发现是由于线上项目它的包更新过了，而我本地的包没有更新，所以我…...

编程日记 2025/7/29 13:50:31

本地无损放大软件-realesrgan-gui

—————【下载地址】——————— 【本章下载一】：https://drive.uc.cn/s/84516041df174 【本章下载二】：https://pan.xunlei.com/s/VOQDybD4ruF0-m8UJrCF-HtLA1?pwdxz9e# 【百款黑科技】：https://ucnygalh6wle.feishu.cn/wiki/…...

编程日记 2025/7/26 17:37:04

Java面试深度解析：微服务与云原生技术应用场景详解

Java面试深度解析：微服务与云原生技术应用场景详解面试场景面试官：我们今天的面试会围绕微服务与云原生技术展开，结合一个在线教育平台的业务场景进行提问。希望你放松心态，正常发挥。码农明哥：好的好的&#xf…...

编程日记 2025/7/30 13:42:36

短剧小程序系统开发源码上架，短剧项目市场分析

引言随着短视频内容消费的爆发式增长，短剧小程序凭借其碎片化、强互动、低成本的特点，成为内容创业与资本布局的新风口。2024年以来，行业规模突破500亿元，预计2027年将超千亿17。本文将深度解析短剧小程序系统开发的技术优势、市…...

编程日记 2025/7/30 13:43:28

常见的请求头（Request Header）参数

1. Accept 作用：告知服务器客户端支持的响应数据格式（如 JSON、XML、HTML）。示例：Accept: application/json（优先接收 JSON 格式数据）。 2. Content-Type 作用：说明请求体的数据格式&#xff08…...

编程日记 2025/7/30 13:34:45

渗透测试核心技术：内网渗透与横向移动

内网渗透是红队行动的关键阶段，攻击者通过突破边界进入内网后，需快速定位域控、横向移动并维持权限。本节从内网环境搭建、信息收集、横向移动技巧到权限维持工具，系统讲解如何在内网中隐蔽行动并扩大战果。 1. 内网环境搭建与基础配置目标：模拟真实企业网络，构建包含…...

编程日记 2025/7/30 13:37:50

2025/5/18

继续研究一下大佬的RAG项目。开始我的碎碎念。 RAG可以分成两部分：一个是问答，一个是数据处理。问答是人提问，然后查数据库，把查的东西用大模型组织成人话，回答人的提问。数据处理是把当下知识库里的东西&#xf…...

编程日记 2025/7/30 13:42:36

使用国内源加速Qt在线安装

简介： 在线安装Qt时，会发现下载非常缓慢，可以用过使用国内镜像源来加速安装过程。在线安装包的下载过程： 1，打开下载页面 https://www.qt.io/download-open-source 2，点击 Download the Qt online ins…...

编程日记 2025/7/27 6:43:21

【图像生成大模型】HunyuanVideo：大规模视频生成模型的系统性框架

HunyuanVideo：大规模视频生成模型的系统性框架引言HunyuanVideo 项目概述核心技术1. 统一的图像和视频生成架构2. 多模态大语言模型（MLLM）文本编码器3. 3D VAE4. 提示重写（Prompt Rewrite） 项目运行方式与执行步骤1. …...

编程日记 2025/7/24 8:33:46

Java IO流（超详细！！！）

Java IO流文章目录 Java IO流1.文件相关基础普及1.1 常用文件操作1.3 目录的操作和文件删除 2.IO流原理及流的分类2.1 字节流2.1.1 InputStream：字节输入流2.1.2 OutputStream 2.2 字符流2.2.1 Reader2.2.1 Writer 2.3 节点流和处理流2.3.1节点流2.3.2 处理流2.3.2…...

编程日记 2025/7/17 1:23:31

规则联动引擎GoRules初探

背景说明嵌入式设备随着物联网在生活和生产中不断渗透而渐渐多起来，数据的采集、处理、分析在设备侧的自定义配置越来越重要。一个可通过图形化配置的数据处理过程，对于加速嵌入式设备的功能开发愈发重要。作为一个嵌入式软件从业者，笔者一…...

编程日记 2025/7/16 14:44:52

Android开发-翻页类视图

在Android应用中，翻页类视图（Paging Views） 是一种非常直观且用户友好的方式来展示内容。无论是用于展示图片轮播、引导页还是分页加载数据列表，翻页效果都能极大地提升用户体验。本文将介绍几种实现翻页效果的常见组件和方法&…...

编程日记 2025/7/26 7:22:13

高能数造闪耀 CIBF 2025，以创新技术引领新能源智造新征程

在全球新能源产业加速发展的关键节点，CIBF 2025 展会成为行业技术与成果交流的重要平台。高能数造（西安）技术有限公司深度参与此次盛会，凭借在新能源电池智能制造领域的深厚积累与创新突破，为行业发展注入强劲动力&…...

编程日记 2025/7/25 4:20:44

数据结构与算法——栈和队列

栈和队列栈概念与结构栈的实现栈的初始化栈的销毁判断栈是否为空入栈出栈取栈顶元素栈中有效元素个数队列概念与结构队列的实现队列结点结构队列结构初始化队列队列判空销毁队列入队列，队尾出队列，队头取队头数据取队尾数据队列有效数据个数栈概念与…...

编程日记 2025/7/25 4:46:52

新电脑软件配置三 pycharm

快捷键放大和缩小字体按住ctrl鼠标滚轮向上缩小同理...

编程日记 2025/7/7 3:14:11

浅入ES5、ES6（ES2015）、ES2023（ES14）版本对比，及使用建议---ES6就够用（个人觉得）

JavaScript（ECMAScript）的发展经历了多个版本，每个版本都引入了新特性和改进。以下仅是对三个常用版本（ES5、ES6（ES2015） 和 ES2023）的基本对比及使用建议： 目前常见项目中还是用ES6…...

编程日记 2025/7/26 21:13:10

【Odoo】Pycharm导入运行Odoo15

【Odoo】Pycharm导入运行Odoo15 前置准备1. Odoo-15项目下载解压2. PsrtgreSQL数据库项目导入运行1. 项目导入2. 设置项目内虚拟环境3. 下载项目中依赖4. 修改配置文件odoo.conf 运行Pycharm快捷运行前置准备 1. Odoo-15项目下载解压将下载好的项目解压到开发目录下 2. …...

编程日记 2025/7/27 5:20:57

【运营商查询】批量手机号码归属地和手机运营商高速查询分类，按省份城市，按运营商移动联通电信快速分类导出Excel表格，基于WPF的实现方案

WPF手机号码归属地批量查询与分类导出方案应用场景市场营销：企业根据手机号码归属地进行精准营销，按城市或省份分类制定针对性推广策略客户管理：快速对客户手机号码进行归属地分类，便于后续客户关系管理数…...

编程日记 2025/7/25 12:08:17

中级统计师-统计学基础知识-第四章假设检验

一、假设检验的基本原理 1. 基本思想反证法：假设原假设成立，通过样本矛盾性进行反驳小概率原理：设定显著性水平 α \alpha α（通常取 0.05），若观测结果的概率 p ≤ α p \leq \alpha p≤α&#xff0c…...

编程日记 2025/7/26 8:20:15

等于和绝对等于的区别

1. （等于） 特点：比较时会自动进行类型转换（隐式转换），尝试将两边的值转为相同类型后再比较。规则： 如果类型相同，直接比较值。如果类型不同，按以下规则转换： …...

编程日记 2025/7/22 2:27:13

家庭关系处理个人总结

首先要说到前面的是，每个家庭的成员背景环境经济状况不同，原生家庭差异，导致面临具体问题是不同的。就类似软件“没有银弹”的概念，没有一种方法可以解决每个人问题。举个例子，面对婆媳矛盾网上父辈的人会说百行孝…...

编程日记 2025/7/24 10:42:23

【Python训练营打卡】day29 @浙大疏锦行

DAY 29 复习日知识点回顾 1. 类的装饰器 2. 装饰器思想的进一步理解：外部修改、动态 3. 类方法的定义：内部定义和外部定义作业：复习类和函数的知识点，写下自己过去29天的学习心得，如对函数和类的理解，…...

编程日记 2025/7/29 8:19:26

React 19版本refs也支持清理函数了。

文章目录前言一、refs 支持清理函数二、案例演示1.useEffect写法2.React 19改进的ref写法总结前言 React 19版本发布了ref支持清理函数了，这样就可以达到useEffect一样的效果了。为啥需要清理函数呢，这是因为节约内存。清理事件监听（避…...

编程日记 2025/7/29 22:39:43

uniapp的适配方式

文章目录前言✅ 一、核心适配方式对比📏 二、rpx 单位：uni-app 的核心适配机制🧱 三、默认设计稿适配（750宽）🔁 四、字体 & 屏幕密度适配🛠 五、特殊平台适配（底部安全区、刘海…...

编程日记 2025/7/26 10:08:14

Java面试场景：从音视频到AI应用的技术探讨

面试场景：音视频与AI应用技术的碰撞在某互联网大厂的面试中，面试官王先生与求职者明哥展开了一场关于音视频技术与AI应用的对话。第一轮提问：音视频场景面试官：明哥，你能谈谈在音视频场景中，Spring B…...

编程日记 2025/7/24 14:05:39

es聚合-词条统计

es语句 ---普通结构----"tags":{"type": "keyword","index": true},GET /knowledge_test/_search {"size": 0,"aggs": {"tag_count": {"terms": {"field": "tags",&quo…...

编程日记 2025/7/29 11:42:37

【沉浸式求职学习day43】【Java面试题精选3】

沉浸式求职学习 1.Java中this和super的区别2.为什么返回类型不算方法重载3.方法重写时需要注意什么问题4.深克隆和浅克隆有什么区别5.如何实现深克隆6.什么是动态代理7.静态代理和动态代理的区别8.如何实现动态代理？9.JDK Proxy 和 CGLib 有什么区别？10.…...

编程日记 2025/7/27 13:17:50

OpenAI推出Codex — ChatGPT内置的软件工程Agents

OpenAI继续让ChatGPT对开发者更加实用。几天前，他们增加了连接GitHub仓库的支持，可以"Deep Research"并根据你自己的代码提问。今天，该公司在ChatGPT中推出了Codex的研究预览版，这是迄今为止最强大的AI编码Agent。它可以编写代码、修复错误、运行测试，并在…...

编程日记 2025/7/27 4:17:29

Win 11开始菜单图标变成白色怎么办？

在使用windows 11的过程中，有时候开始菜单的某些程序图标变成白色的文件形式，但是程序可以正常打开，这个如何解决呢？ 这通常是由于快捷方式出了问题，下面跟着操作步骤来解决吧。 1、右键有问题的软件，打开…...

编程日记 2025/7/29 20:57:01

中级统计师-统计学基础知识-第三章参数估计

统计学基础知识第三章参数估计第一节统计量与抽样分布 1.1 总体参数与统计量总体参数：描述总体特征的未知量（如均值 μ \mu μ、方差 σ 2 \sigma^2 σ2、比例 π \pi π）。统计量：由样本数据计算的量（如样本…...

编程日记 2025/7/24 10:36:02

学习黑客HTTP 请求头

HTTP 请求头（Request Headers）是 HTTP 请求中非常重要的一部分，它们以键值对的形式向服务器传递关于请求的附加信息、客户端的能力或上下文。理解请求头对于 Web 开发、API 交互、网络调试和安全都至关重要。下面我将常见的 HTTP 请求头字段…...

编程日记 2025/7/25 11:20:53

日志参数含义

一学习率相关 base_lr：基础学习率，初始设定的学习率 -lr：当前实际使用的学习率，通常是 base_lr 经过学习率调整策略后的值，比如lrbase_lr*(1start_factor) 时间统计 time：每次迭代总时间，单位…...

编程日记 2025/7/28 20:53:15

[Linux]安装吧！我的软件包管理器！

一、常见安装方式在 Linux 中，有 3 种常见的软件安装方式： （1）yam、apt （2）.rpm 安装包安装 （3）源码安装二、什么是软件包在 Linux 下安装软件，通常的办法是下载…...

编程日记 2025/7/29 8:19:20

Flink 作业提交流程

Apache Flink 的作业提交流程（Job Submission Process） 是指从用户编写完 Flink 应用程序，到最终在 Flink 集群上运行并执行任务的整个过程。它涉及多个组件之间的交互，包括客户端、JobManager、TaskManager 和 ResourceManager。…...

编程日记 2025/7/30 7:33:39

牛客网NC276110题解：小红的数组重排

牛客网NC276110题解：小红的数组重排题目解析算法思路对数组进行排序（非降序）检查特殊情况： 如果存在三个连续相等的元素，则无解如果前两个元素都是0，则无解若不存在特殊情况，则排序后的数…...

编程日记 2025/7/23 20:41:17

从零启动 Elasticsearch

elastic 有弹力的 ElaticSearch （ES）是一个基于 Lucene 的分布式全文检索引擎。可以做到近乎实时地存储、检索数据，并且本身具有良好的扩展性，可以扩展到上百台服务器，处理PB级别（1 Petabyte 1024TB&…...

编程日记 2025/7/24 9:20:30

nginx服务器实验

1.实验要求 1）在Nginx服务器上搭建LNMP服务，并且能够对外提供Discuz论坛服务。在Web1、Web2服务器上搭建Tomcat 服务。 2）为nginx服务配置虚拟主机，新增两个域名 www.kgc.com 和 www.benet.com，使用http://www.kgc.…...

编程日记 2025/7/22 6:59:13

王树森推荐系统公开课排序02：Multi-gate Mixture-of-Experts (MMoE)

专家模型与上一节相同，模型的输入是一个向量，包含用户特征、物品特征、统计特征、场景特征，把向量输入三个神经网络，三个神经网络都是由很多全连接层组成，但是并不共享参数，三个神经网络各输出一个向量&a…...

编程日记 2025/7/26 4:46:23

【OpenCV基础 1】几何变换、形态学处理、阈值分割、区域提取和脱敏处理

目录一、图像几何变化 1、对图片进行放大、缩小、水平放大和垂直放大 2、旋转、缩放、控制画布大小二、图像形态学处理 1、梯度运算 2、闭运算 3、礼帽运算 4、黑帽运算三、图像阈值分割 1、二值化处理 2、反二值化处理 3、截断阈值处理 4、超阈值零处理 5、低…...

编程日记 2025/7/28 17:47:13

代码随想录算法训练营 Day49 图论Ⅰ 深度优先与广度优先

图论基础图的概念图的概念概念清单有向图 (a)无向图 (b)有向/无向如图 a 所示每条边有指向如图 b 所示每条边没有箭头指向权值每条边的权值每条边的权值度-有几条边连到该节点 (eg V 2 V_2 V2 度为 3)入度/出度出度：从该节点出发的边个数入度：…...

编程日记 2025/7/29 1:38:18

LG P9844 [ICPC 2021 Nanjing R] Paimon Segment Tree Solution

Description 给定序列 a ( a 1 , a 2 , ⋯ , a n ) a(a_1,a_2,\cdots,a_n) a(a1,a2,⋯,an)，有 m m m 次修改 ( l , r , v ) (l,r,v) (l,r,v)： 对每个 i ∈ [ l , r ] i\in[l,r] i∈[l,r]，令 a i ← a i v a_i\gets a_iv ai←…...

编程日记 2025/7/29 8:04:31

PyTorch音频处理技术及应用研究：从特征提取到相似度分析

文章目录音频处理技术及应用音频处理技术音视频摘要技术音频识别及应用梅尔频率倒谱系数音频特征尔频率倒谱系数简介及参数提取过程音频处理快速傅里叶变换(FFT)能量谱处理离散余弦转换练习案例：音频建模加载音频数据源波形变换的类型绘制波形频谱图波形Mu-Law 编…...

编程日记 2025/7/22 2:20:47

【IPMV】图像处理与机器视觉：Lec10 Edges and Lines

【IPMV】图像处理与机器视觉：Lec10 Edges and Lines 本系列为2025年同济大学自动化专业**图像处理与机器视觉**课程笔记 Lecturer: Rui Fan、Yanchao Dong Lec0 Course Description Lec3 Perspective Transformation Lec7 Image Filtering Lec8 Image Pyramid …...

编程日记 2025/7/25 9:28:33