当前位置：首页 > news >正文

spark的Standalone模式介绍

news 来源：原创 2025/8/17 5:11:05

Apache Spark 的 Standalone 模式是其自带的集群管理模式，无需依赖外部资源管理器（如 YARN 或 Mesos），可快速部署和运行 Spark 集群。以下是对 Standalone 模式的详细介绍：

1. 核心组件

Master 节点

集群的主控制器，负责资源分配和任务调度。
管理 Worker 节点的注册和状态监控。
接收客户端提交的应用程序，并为其分配资源。

Worker 节点

工作节点，负责执行具体的计算任务。
向 Master 注册并汇报可用资源（内存、CPU）。
为应用程序启动 Executor 进程。

Executor

每个应用程序专属的进程，负责执行具体的任务（Task）。
持有应用程序的内存数据（如 RDD 缓存）。

Driver

运行用户编写的 Spark 应用程序的主程序。
负责将应用程序转换为 DAG（有向无环图），并提交给 Master 进行调度。

2. 工作流程

集群启动
启动 Master 节点和多个 Worker 节点，Worker 自动向 Master 注册。
应用提交
用户通过spark-submit命令提交应用，Driver 程序在客户端或集群中启动。
资源分配
Driver 向 Master 请求资源（CPU 和内存），Master 通知 Worker 节点启动 Executor。
任务执行
Driver 将任务分发给 Executor 执行，Executor 将结果返回给 Driver。
资源释放
应用程序完成后，Executor 和资源被释放。

3. 部署模式

Client 模式

Driver 在客户端运行：适用于交互式作业（如 Spark Shell）。
优点：便于调试，直接在本地看到输出。
缺点：客户端与集群需保持网络连接，否则作业会中断。

Cluster 模式

Driver 在集群中的某个 Worker 节点运行：适用于生产环境。
优点：作业提交后可断开客户端连接，提高可靠性。
缺点：调试不便，日志需通过 Web UI 查看。

4. 快速部署

步骤 1：下载并解压 Spark

wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
tar -zxvf spark-3.3.2-bin-hadoop3.tgz
cd spark-3.3.2-bin-hadoop3

步骤 2：配置环境变量

编辑conf/spark-env.sh（如果不存在，复制模板cp conf/spark-env.sh.template conf/spark-env.sh）：

export JAVA_HOME=/path/to/java
export SPARK_MASTER_HOST=master-node-ip
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=2g  # 每个Worker可用内存
export SPARK_WORKER_CORES=2    # 每个Worker可用CPU核心数

步骤 3：配置 Worker 节点

编辑conf/slaves（如果不存在，复制模板cp conf/slaves.template conf/slaves），添加 Worker 节点 IP：

worker1-ip
worker2-ip
...

步骤 4：启动集群

# 在Master节点上执行
sbin/start-all.sh# 等价于分别启动Master和Worker
sbin/start-master.sh
sbin/start-slaves.sh

步骤 5：查看 Web UI

访问http://master-node-ip:8080查看集群状态。

5. 提交应用程序

Client 模式示例

./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://master-node-ip:7077 \--executor-memory 1g \--total-executor-cores 2 \examples/jars/spark-examples_2.12-3.3.2.jar \100

7. 优缺点

优点

轻量级：无需额外依赖，部署简单。
快速启动：相比 YARN，资源分配更直接。
内置支持：Spark 原生支持，无需额外配置。

缺点

功能有限：相比 YARN，缺乏多租户支持和细粒度资源隔离。
调度简单：仅支持 FIFO 和公平调度，不支持更复杂的资源模型。
生产环境建议：大型集群建议使用 YARN 或 Kubernetes。

总结

Standalone 模式适合快速搭建测试环境或小规模生产集群，提供了 Spark 最基本的集群管理能力。核心是理解 Master、Worker、Executor 和 Driver 的角色分工，以及 Client/Cluster 两种部署模式的区别。对于大规模生产环境，建议考虑更成熟的资源管理器（如 YARN）。

spark的Standalone模式介绍

Apache Spark 的 Standalone 模式是其自带的集群管理模式，无需依赖外部资源管理器（如 YARN 或 Mesos），可快速部署和运行 Spark 集群。以下是对 Standalone 模式的详细介绍： 1. 核心组件 Master 节点集群的主控制器…...

编程日记 2025/8/17 5:11:05

自营交易考试中，怎么用“黄昏之星”形态做出漂亮反转单？

在自营交易考试中，如何在复杂的市场波动中抓住关键的趋势反转点，常常决定了一笔交易的成败。尤其是在规则清晰、交易明确的交易考试中，具备对K线形态的敏感度，是不少EagleTrader交易员在晋级过程中总结出的实用经验。今天&#xf…...

编程日记 2025/8/17 2:08:14

【算法】版本号排序

对版本号数组进行排序，比如：[0.1.2.3，1.2.1.0，4.2.1.0，0.1.2.0] 核心思路将版本号拆分为数字数组，逐个比较每个子版本段。具体步骤： 拆分版本号：将每个版本字符串按 . 分割成数字数…...

编程日记 2025/8/17 5:42:47

wordcount程序

### 在 IntelliJ IDEA 中编写和运行 Spark WordCount 程序要使用 IntelliJ IDEA 编写并运行 Spark 的 WordCount 程序，需按照以下流程逐步完成环境配置、代码编写以及任务提交。 --- #### 1. **安装与配置 IntelliJ IDEA** 确保已正确安装 IntelliJ IDEA&#x…...

编程日记 2025/8/17 4:59:03

MySQL Explain 中 Type 与 Extra 字段详解

引言在数据库性能调优过程中，理解执行计划（EXPLAIN）的输出信息至关重要。MySQL 的 EXPLAIN 命令能够帮助开发者分析查询的执行路径和效率，其中 Type 和 Extra 字段提供了关键的执行细节。Type 字段表示访问类型，反映…...

编程日记 2025/8/17 7:00:47

代码随想录算法训练营第60期第三十六天打卡

大家好！今天我们就会正式进入动态规划的章节，以前我们相继学完了回溯算法，贪心算法，今天的动态规划应该是相当重要同时也是相当难的章节，那我们废话不多说直接进入我们今天的章节。第一部分动态规划理论基础那究竟…...

编程日记 2025/8/17 6:01:17

Python操作MySQL 连接加入缓存层完整方案

更多内容请见： python3案例和总结-专栏介绍和目录文章目录 1、整体架构设计2、MySQL 连接方案2.1 使用连接池 (推荐)2.2 使用 SQLAlchemy (ORM方案)3、缓存层实现方案3.1 Redis 缓存实现3.2 Memcached 缓存实现4、完整集成方案4.1 带缓存的数据库访问层4.2 使用装饰器实现缓存…...

编程日记 2025/8/17 5:45:34

PyTorch深度神经网络（前馈、卷积神经网络）

文章目录神经网络概述神经元模型多层感知机前馈神经网络网络拓扑结构数学表示基本传播公式符号说明整体函数视角卷积神经网络卷积神经网络发展简史第一代（1943-1980）第二代（1985-2006）第三代（2006-至今）快…...

编程日记 2025/8/17 6:23:33

现代垃圾收集器

大家好，我是你们的花姐。话说java的长期支持版本已经发展到了JDK21,大部分同学对jvm中的垃圾收集器还停留在java8之前的CMS和G1。对java11之后引入的低延迟垃圾收集器shenandoah和zgc几乎是一无所知，甚至有同学是连这两个名字也没有听过呀，…...

编程日记 2025/8/17 5:52:20

Android学习总结之类LiveData与ViewModel关系篇

1. ViewModel 和 LiveData 的强依赖关系 ViewModel 和 LiveData 虽非强依赖，但在 Android 架构中常紧密协作，这基于它们的设计理念和优势互补： 数据与 UI 分离：ViewModel 的主要职责是存储和管理与 UI 相关的数据，而…...

编程日记 2025/8/17 7:00:27

GaussDB 实例 gsql 连接方式详解

GaussDB 实例 gsql 连接方式详解 GaussDB 是华为云推出的分布式关系型数据库服务，支持多种数据库引擎（如 MySQL、PostgreSQL、SQL Server 等）。gsql 是 GaussDB 提供的命令行客户端工具，用于连接和管理数据库实例。本文将详细介绍…...

编程日记 2025/8/17 14:26:30

智能体制作学习笔记2——情感客服

02 案例1-情感客服_哔哩哔哩_bilibili 目录一、AI对视频内容总结二、选择可代替视频总结的方案三、豆包AI插件安装四、通义五、情感客服智能体制作 （一）注册 (二）进入工作空间 （三）创建智能体 （…...

编程日记 2025/8/17 7:07:35

部署GraphRAG配置Neo4j实现知识图谱可视化【踩坑经历】

文章目录概要部署graphrag(一)使用conda创建虚拟环境(前提已经安装好anaconda)(二)部署graphrag 部署neo4jgraphrag生成的知识图谱导入neo4j踩坑经历1.graphrag执行graphrag index --root ./ragtest命令报错2.neo4j没有Relationship types 概要在本地部署GraphRag&#xff0…...

编程日记 2025/8/17 4:59:01

跨域的几种方案

因为浏览器出于安全考虑，有同源策略。也就是说，如果协议、域名、端口有一个不同就是跨域，Ajax 请求会失败。我们可以通过以下几种常用方法解决跨域的问题 JSONP JSONP 的原理很简单，就是利用 <script> 标签没有跨域限制…...

编程日记 2025/8/17 5:12:36

5 WPF中的application对象介绍

WPF Application 类提供了一系列生命周期事件，了解它们的触发顺序对于应用程序开发非常重要。以下是主要事件的触发顺序 1. 主要事件顺序 Startup - 应用程序启动时触发这是第一个触发的事件适合在此处初始化应用程序级资源可以在此取消启动(通过设置e.Cancel = true) Act…...

编程日记 2025/8/17 5:36:26

Nexus首次亮相迪拜 TOKEN2049：以“手机 + 钱包 + 公链 + RWA”生态系统引领未来区块链基建

迪拜，2025年5月—— 全球 Web3 基础设施创新平台 Nexus，在本年度迪拜 TOKEN2049 全球峰会上完成了其主网与全生态系统的首次国际公开亮相。此次参会不仅展示了 Nexus 的国际生态布局，更标志着其迈出了全球化战略关键一步。凭借对现实世界资产…...

编程日记 2025/8/17 5:34:43

C++ 套接字函数详细介绍

目录头文件1. 套接字创建与配置2. 绑定地址与端口3. 连接建立4. 数据传输5. 套接字选项6. 地址转换7. 套接字关闭8. 其他实用函数 C 套接字函数详细介绍套接字(Socket)是网络通信的基本端点，C中通常使用BSD套接字API进行网络编程。以下是主要的套接字相关函数及其…...

编程日记 2025/8/17 5:23:54

WordPress 和 GPL – 您需要了解的一切

如果您使用 WordPress，GPL 对您来说应该很重要，您也应该了解它。查看有关 WordPress 和 GPL 的最全面指南。您可能听说过 GPL（通常被称为 WordPress 的权利法案），但很可能并不完全了解它。这是有道理的–这是一个复杂…...

编程日记 2025/8/17 6:30:01

机器人示教操作

机器人基础操作 **ES机器人试教操作知识** **1. 视角移动** **1.1 基础模式** - 关节轴控制：通过关节1至关节6实现单轴正反转移动 - 直线移动：通过X/Y/Z坐标轴沿指定方向直线移动 - 旋转移动：通过RX/RY/RZ坐标轴绕指定轴旋转 **1.2 步进模式…...

编程日记 2025/8/16 18:48:56

【python】UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xb2

报错 C:\Users\zhangbin\AppData\Local\Programs\Python\Python310\python.exe D:\XTRANS\cuda\03-graph-db\04-cmkg\pdf2zh-v1.9.9-with-assets-win64\pdf2zh\gui.py Traceback (most recent call last): File “D:\XTRANS\cuda\03-graph-db\04-cmkg\pdf2zh-v1.9.9-with-asset…...

编程日记 2025/8/17 6:01:46

[python] python静态方法,类方法,实例方法实现及其区别

一静态方法格式: 使用 staticmethmod 装饰器修饰应用: 某个方法既不需要使用实例属性也不需要使用类属性时,就可以考虑使用静态方法注意: 静态方法与类无关,可以被转换成函数使用,属于类本身 1.1 经典示例创建一个与日期相关的辅助函数,这些函数不需要访问或修改类的…...

编程日记 2025/8/17 6:01:00

Kite AI 自动机器人部署教程

最近比较火的AI赛道，每日自动对话训练AI，赚积分一个个用于 Kite AI 平台的自动交互机器人，支持多钱包和代理。登记注册链接 🌟 功能多钱包支持（手动输入或基于文件） 代理支持（HTTP/HTTP…...

编程日记 2025/8/17 5:11:06

50. Pow(x, n)

50. Pow(x, n) 分治法的基本思想是将一个大问题分解成若干个相同或相似的小问题，递归地解决这些小问题，然后将这些小问题的解合并起来得到原问题的解。 class Solution:def myPow(self, x: float, n: int) -> float:# 内部定义了一个嵌套的辅助函数…...

编程日记 2025/8/17 7:23:30

Go 语言 sqlx 库使用：对 MySQL 增删改查

MySQL 作为目前最流行的开源关系型数据库，其 SQL 语法体系已形成行业标准，相关知识体系庞大且成熟，本文不再对 SQL 基础进行详细展开，建议尚未掌握的读者先行系统学习。本文聚焦于如何使用 Go 语言进行 MySQL 数据库操作&#xff…...

编程日记 2025/8/17 7:17:38

反射, 注解, 动态代理

文章目录单元测试什么是单元测试咱们之前是如何进行单元测试的？ 有啥问题 ？现在使用方法进行测试优点Junit单元测试的使用步骤删除不需要的jar包总结反射认识反射、获取类什么是反射反射具体学什么？反射第一步：或者Class对象获…...

编程日记 2025/8/17 6:00:37

继续预训练 LLM ——数据筛选的思路

GPT生成数据微调qwen-2.5多模态模型实战项目作者：柠檬养乐多原文地址：https://zhuanlan.zhihu.com/p/30645776656 qwen2.5-vl是阿里通义实验室推出的qwen系列最新多模态大模型，在许多指标上已经超过或接近了gpt-4o。更为方便的是&#xff0…...

编程日记 2025/8/17 5:44:44

深入解析 PostgreSQL 外部数据封装器（FDW）的 SELECT 查询执行机制

引言 PostgreSQL 中的外部数据封装器（Foreign Data Wrapper, FDW）是一种扩展，允许您像访问 PostgreSQL 数据库中的表一样，访问和操作存储在外部数据源中的数据。FDW 使 PostgreSQL 能够与多种数据存储系统（包括关系型…...

编程日记 2025/8/16 15:03:06

数据库系统概论|第六章：关系数据理论—课程笔记2

前言前文我们介绍了规划化的基本概念，同时引入了关于规范化的相关定义与基本概念，低一级范式的关系模式，通过模式分解，可以转换为若干个高一级范式的关系模式的集合，这种过程就叫规范化。本文将围绕范式展开讨论&…...

编程日记 2025/8/17 5:48:44

package-lock.json能否直接删除？

package-lock.json能否直接删除？ package-lock.json 生成工具：由 npm 自动生成。触发条件：当运行 npm install 时，如果不存在 package-lock.json，npm 会创建它；如果已存在，npm 会根据它精确安…...

编程日记 2025/8/17 6:36:30

Ubuntu磁盘空间分析：du命令及常用组合

1、du命令的作用 du（Disk Usage）是 Ubuntu 系统中用于查看目录或文件磁盘使用情况的命令，主要用于分析磁盘空间占用。 2、语法 du [选项] [目录/文件路径]常用选项 2.1、-h 以 KB、MB、GB 等人性化可读格式（Human-readable&am…...

编程日记 2025/8/17 5:12:27

《数据库原理》部分习题解析1

《数据库原理》部分习题解析1 1. 名词解释 （1）关系（2）属性（3）域（4）元组（5）码（6）分量（7）关系模式 &#xff0…...

编程日记 2025/8/17 7:29:21

汇川Easy系列PLC数据值改变功能块(随动增益改变判断)

PLC值改变事件值改变触发功能块 PLC值改变事件值改变触发功能块(SCL ST完整源代码)-CSDN博客文章浏览阅读1.1k次。本文介绍了在PLC中处理值改变事件的方法，包括值改变触发功能块的实现，详细讲解了FB接口定义、ST代码，并提供了在博途平台上的实现。此外，还分享了如何利用…...

编程日记 2025/8/17 5:05:23

数据清洗的艺术：如何为AI模型准备高质量数据集？

数据清洗的艺术：如何为AI模型准备高质量数据集？ 引言在人工智能和机器学习领域，我们常常听到"垃圾进，垃圾出"(Garbage in, garbage out)这句格言。无论你的模型架构多么精妙，算法多么先进，如果…...

编程日记 2025/8/17 7:30:29

怎么查看当前vue项目，要求的node.js版本

怎么查看当前vue项目，要求的node.js版本找到 package.json package-lock.json 搜索 node...

编程日记 2025/8/17 7:14:54

游戏引擎学习第278天:将实体存储移入世界区块

总结并为今天的内容做好铺垫今天的内容是关于开发一个完整的实体系统，目标是让这个系统更加实际和有效。之前讨论了如何通过一个模拟区域来处理无限大的世界。最初，使用浮动点数而不是双精度浮点数来避免潜在的精度问题，因为一些平台&#…...

编程日记 2025/8/17 5:15:20

计算机组成与体系结构：缓存设计概述（Cache Design Overview）

目录 Block Placement（块放置） Block Identification（块识别） Block Replacement（块替换） Write Strategy（写策略） 总结： 高速缓存设计包括四个基础核心概念&#xf…...

编程日记 2025/8/17 6:42:16

在Linux中如何使用Kill(),向进程发送发送信号

kill()函数 #include <sys/types.h> #include <signal.h> int kill(pid_t pid, int sig); 函数参数和返回值含义如下: pid:参数 pid 为正数的情况下,用于指定接收此信号的进程 pid;除此之外,参数 pid 也可设置为 0 或-1 以及小于-1 等不同值,稍后给说明。 …...

编程日记 2025/8/17 5:36:45

ElasticSearch重启之后shard未分配问题的解决

以下是Elasticsearch重启后分片未分配问题的完整解决方案，结合典型故障场景与最新实践： 一、快速诊断定位 ‌检查集群状态 GET /_cluster/health?pretty # status为red/yellow时需关注unassigned_shards字段值 ‌ 2.查看未分配分片详情 …...

编程日记 2025/8/16 15:14:25

基于 Spring Boot 瑞吉外卖系统开发（十四）

基于 Spring Boot 瑞吉外卖系统开发（十四） 查询订单在管理端的首页，单击左侧菜单栏中的“订单明细”，会在右侧打开订单明细页面。请求路径：/order/page 请求方法：GET 参数：page pageSize …...

编程日记 2025/8/17 1:54:16

【软件测试】第二章·软件测试的基本概念

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏：🏀软件测试与软件项目管理_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 …...

编程日记 2025/8/17 5:28:13

部署安装gitlab-ce-17.9.7-ce.0.el8.x86_64.rpm

目录编辑实验环境所需软件实验开始安装部署gitlab171.配置清华源仓库（版本高的系统无需做）vim /etc/yum.repos.d/gitlab-ce.repo 2.提前下载包dnf localinstall gitlab-ce-17.9.7-ce.0.el8.x86_64.rpm --rocklinux 3.修改配…...

编程日记 2025/8/17 6:24:20

2025五一杭州西湖三天游

2025五一杭州西湖三天游文章目录 2025五一杭州西湖三天游一、前言二、杭州游玩记录三、杭州三日游小结四、杭州美食街1、河坊街2、胜利河美食街3、高银街4、中山南路美食街5、武林夜市6、啦喜街美食广场7、大兜路美食街五、豆包推荐的杭州三日游攻略三天主要行程**第一天&…...

编程日记 2025/8/17 6:56:52

实验五：以太网UDP全协议栈的实现（通过远程实验系统）

文章目录 FPGA以太网：从ARP到UDP的完整协议栈一、引言二、核心模块详解1. ARP协议处理模块1.1 `arp_cache`：ARP缓存模块1.2 `arp_tx`：ARP请求与应答发送模块1.3 `arp_rx`：ARP接收与解析模块2. MAC层处理模块2.1 `mac_layer`：MAC层顶层模块2.2 `mac_tx_mode`：MAC发送模式选…...

编程日记 2025/8/17 7:23:46