当前位置：首页 > news >正文

【spark-submit】--提交任务

news 来源：原创 2025/9/17 15:21:54

Spark-submit

spark-submit 是 Apache Spark 提供的用于提交 Spark 应用程序到集群的命令行工具。

基本语法

spark-submit [options] <app-jar> [app-arguments]

常用参数说明

应用程序配置

--class <class-name>: 指定应用程序的主类（对于 Java/Scala 程序）
--name <app-name>: 设置应用程序名称
--jars <jars>: 添加额外的 JAR 文件到 classpath（逗号分隔）
--py-files <files>: 为 Python 应用添加额外的文件（.zip, .egg, .py）
--files <files>: 将文件上传到执行器工作目录（逗号分隔）
--conf <key>=<value>: 设置任意 Spark 配置属性

资源分配

--driver-memory <memory>: 设置 Driver 进程内存（如 1g）
--executor-memory <memory>: 设置每个 Executor 进程内存（如 1g）
--executor-cores <num>: 设置每个 Executor 使用的核心数
--num-executors <num>: 设置要启动的 Executor 数量
--total-executor-cores <num>: 设置所有 Executor 使用的总核心数

部署模式

--master <master-url>: 指定集群管理器
- local: 本地模式（单线程）
- local[K]: 本地模式（K 个线程）
- local[*]: 本地模式（使用所有核心）
- spark://host:port: 连接到独立部署的 Spark 集群
- mesos://host:port: 连接到 Mesos 集群
- yarn: 连接到 YARN 集群
- k8s://https://host:port: 连接到 Kubernetes 集群
--deploy-mode <mode>: 部署模式（client 或 cluster）
- client: Driver 在提交的客户端运行（默认）
- cluster: Driver 在集群中运行

其他参数

--verbose: 打印调试信息
--version: 打印 Spark 版本
--help: 显示帮助信息
--supervise: 如果失败则自动重启 Driver（仅限独立集群）
--kill <submissionId>: 终止指定应用程序
--status <submissionId>: 查询指定应用程序状态

使用示例

spark-submit --master yarn \
--deploy-mode client \
--driver-memory xG \
--executor-memory XG \
--class org.xx.xx \
--executor-cores x \
jar包
arg0 arg1

基本示例

# 本地运行（4个线程）
spark-submit --class org.apache.spark.examples.SparkPi \--master local[4] \/path/to/examples.jar \100# YARN 集群模式
spark-submit --class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \--executor-memory 2g \--num-executors 10 \/path/to/examples.jar \100

Python 应用示例

spark-submit --master spark://master:7077 \--executor-memory 1g \--py-files dependencies.zip \my_python_app.py \arg1 arg2

【spark-submit】--提交任务

Spark-submit spark-submit 是 Apache Spark 提供的用于提交 Spark 应用程序到集群的命令行工具。基本语法 spark-submit [options] <app-jar> [app-arguments]常用参数说明应用程序配置 --class <class-name>: 指定应用程序的主类（对于 Java/Sc…...

编程日记 2025/9/17 15:21:54

机器学习中的回归与分类模型：线性回归、逻辑回归与多分类

在机器学习领域，回归和分类是两类重要的任务，它们各自有着不同的应用场景和模型构建方式。本文将详细介绍线性回归、逻辑回归以及多分类任务的相关内容，包括数据预处理、模型定义、损失函数的选择以及评估指标的计算。一、线性回归&#xf…...

编程日记 2025/9/10 1:27:49

spark-rdd

Spark-core RDD转换算子 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value 类型。 Value类型： 1.map 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换 mapPartitions map …...

编程日记 2025/9/9 4:11:57

Python 实现如何电商网站滚动翻页爬取

一、电商网站滚动翻页机制分析电商网站如亚马逊和淘宝为了提升用户体验，通常采用滚动翻页加载数据的方式。当用户滚动页面到底部时，会触发新的数据加载，而不是一次性将所有数据展示在页面上。这种机制虽然对用户友好，但对爬虫来…...

编程日记 2025/9/11 13:55:23

pytorch TensorDataset与DataLoader类

读取数据 Dataset类 Dataset 是一个读取数据抽象类，所有自定义的数据集类需要继承该类。该类主要实现以下三个功能 ①如何获取每一个数据及其label --> 抽象方法__getitem()__设置通过对象[索引]的方式获取每一个样本及其label ②告知一共有多少数据 -->…...

编程日记 2025/9/4 13:37:06

AI大模型与知识生态：重构认知的新时代引擎

📝个人主页🌹：慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：我们如何获得知识，正在被AI彻底改写从古代图书馆、百科全书，到搜索引擎、问答社区，人类获取知识的方式一直在进化。而随着 ChatGPT、DeepSeek、Grok 等 AI 大模型的到来，这一过程迎来了颠覆…...

编程日记 2025/9/11 10:47:18

Server-Sent Events一种允许服务器向客户端发送实时更新的 Web API

Server-Sent Events（SSE）是一种允许服务器向客户端发送实时更新的 Web API。它基于 HTTP 协议，提供了一种单向的、服务器到客户端的通信机制，客户端可以通过监听服务器发送的事件来接收实时数据。下面从原理、使用场景、代码示例等…...

编程日记 2025/9/4 15:22:30

电子电器架构 --- AI如何重构汽车产业

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁&am…...

编程日记 2025/9/11 12:20:29

操作系统CPU调度

简介当CPU有大量任务要处理，但由于资源有限，无法同时处理。所有就需要某种规则来决定任务处理的顺序，这就是调度。调度层次根据调度频率与层次，共分为三种高级调度也称为作业调度(Long-Trem Scheduling),频次很低，它决定哪些进程从外存(硬盘)加载到内存中级调度也…...

编程日记 2025/9/5 3:11:24

icoding题解排序

数组合并假设有 n 个长度为 k 的已排好序（升序）的数组，请设计数据结构和算法，将这 n 个数组合并到一个数组，且各元素按升序排列。即实现函数： void merge_arrays(const int* arr, int n, int k, int* out…...

编程日记 2025/9/10 16:50:17

xHCI 上 USB 读写分析

系列文章目录 xHCI 简单分析 USB Root Hub 分析 USB Hub 检测设备 usb host 驱动之 urb xHCI那些事儿 PCIe MMIO、DMA、TLP PCIe配置空间与CPU访问机制 PCIe总线协议基础实战文章目录系列文章目录一、xHCI 初始化二、xHCI 驱动识别根集线器（RootHub）…...

编程日记 2025/8/17 21:44:43

SpringCloud Alibaba 之分布式全局事务 Seata 原理分析

1. 什么是 Seata？为什么需要它？ 想象一下，你去银行转账： 操作1：从你的账户扣款 1000 元操作2：向对方账户增加 1000 元如果操作1 成功，但操作2 失败了，你的钱就凭空消失了&…...

编程日记 2025/9/17 12:21:55

《C语言中的“魔法盒子”：自定义函数的奇妙之旅》

🚀个人主页：BabyZZの秘密日记 📖收入专栏：C语言 🌍文章目入一、引言二、自定义函数的创建（一）基本结构（二）一个简单的例子三、自定义函数的使用（一&#xf…...

编程日记 2025/9/15 1:38:21

【Spring】IoC 和 DI的关系、简单使用，从“硬编码“到“优雅解耦“：IoC与DI的Spring蜕变之旅

1.IoC 和 DI的关系 IoC（Inversion of Control，控制反转）和DI（Dependency Injection，依赖注入）是Spring框架中紧密相关但又有所区别的两个概念。理解它们的联系，可以帮助我们更深刻地掌握Spring…...

编程日记 2025/9/14 6:11:56

RESTful API 目录 RESTful API简介RESTful设计原则RESTful设计规范RESTful统一返回体JAX-RSJAX-RS与SpringBoot集成构建Restful服务实践总结一、RESTful API 简介 REST（Representational State Transfer）是一种基于HTTP的web服务架构风格，RESTful API则是遵循REST原则的网…...

编程日记 2025/9/11 16:18:57

ASP.NET Core 性能优化：客户端响应缓存

文章目录前言一、什么是缓存二、客户端缓存核心机制：HTTP缓存头1）使用[ResponseCache]属性（推荐）2）预定义缓存配置（CacheProfile）3）手动设置HTTP头4）缓存验证机制&#…...

编程日记 2025/9/11 17:21:26

算法导论（递归回溯）——递归

算法思路（21） 递归函数的含义： 创建一个递归函数，该函数接受两个链表的头结点作为输入，返回合并后的链表的头结点。选择较小的节点： 在函数体内，首先比较两个链表的头结点的值，选择…...

编程日记 2025/9/12 21:52:34

从接口400ms到20ms，记录一次JVM、MySQL、Redis的混合双打

1. 场景：促销活动的崩溃接到报警短信，核心接口响应时间突破5秒，DB CPU飙到100%。用Arthas抓取线上火焰图后发现： ---[ 4763ms ] com.example.service.OrderService.createOrder() |---[ 98% ] com.example.m…...

编程日记 2025/9/12 4:10:16

Excel通过VBA脚本去除重复数据行并保存

一、方法1:使用字典动态去重并保存适用场景：需要灵活控制去重逻辑（如保留最后一次出现的重复项）时 Sub 动态去重保存到新表()Dim srcSheet As Worksheet, destSheet As WorksheetDim dict As Object, lastRow As Long, i As LongDim key A…...

编程日记 2025/9/9 13:01:05

Mysql表的操作（2）

1.去重 select distinct 列名 from 表名 2.查询时排序 select 列名 from 表名 order by 列名 asc/desc; 不影响数据库里面的数据错误样例 ： 但结果却有点出乎意料了~为什么会失败呢？ 其实这是因为书写的形式不对，如果带了引号，…...

编程日记 2025/9/11 22:01:03

#Linux内存管理# 在ARM32系统中，页表是如何映射的？在ARM64系统中，页表又是如何映射的？

一、ARM32系统页表映射 1. 层级结构与地址划分默认实现：采用两层映射（PGD→PTE），合并Linux标准三级模型中的PMD层。虚拟地址解析（以4KB页为例）： Bits[31:20]：一级页表（…...

编程日记 2025/9/11 13:07:56

prometheus整合jmx_exporter 使用jmx_exporter监控Kafka

docker-compose部署kafka集群；单节点单zk-CSDN博客 springboot整合kafka；docker部署kafka-CSDN博客 kafka使用SSL加密和认证--todo_ssl.truststore.location-CSDN博客 version: 3.8services:zookeeper1:image: zookeeper:3.9.1container_name: zook…...

编程日记 2025/9/15 1:38:19

深度学习实战：从零构建图像分类API（Flask/FastAPI版）

引言：AI时代的图像分类需求在智能时代，图像分类技术已渗透到医疗影像分析、自动驾驶、工业质检等各个领域。作为开发者，掌握如何将深度学习模型封装为API服务，是实现技术落地的关键一步。本文将手把手教你使用Python生态中的Fla…...

编程日记 2025/9/9 14:15:44

Kafka实现延迟消息

Kafka 实现延迟消息 Kafka 本身不支持原生的延迟消息（不像 RocketMQ 内置了延迟队列），但可以通过多种方式来实现延迟消息。常见的方案如下： 1. 使用不同的 Topic 分区（最常见） 思路： 创建多…...

编程日记 2025/9/8 22:23:42

大数据（7.2）Kafka万亿级数据洪流下的架构优化实战：从参数调优到集群治理

目录一、海量数据场景下的性能之殇1.1 互联网企业的数据增长曲线1.2 典型性能瓶颈分析二、生产者端极致优化2.1 批量发送黄金法则2.1.1 分区选择算法对比 2.2 序列化性能突破三、消费者端并发艺术3.1 多线程消费模式演进3.1.1 消费组Rebalance优化 3.2 位移管理高阶技巧四、…...

编程日记 2025/9/12 9:25:10

要查看 FAISS 使用的 OpenMP 版本，需根据安装方式和系统环境采用不同方法。以下是具体步骤和原理分析：

要查看 FAISS 使用的 OpenMP 版本，需根据安装方式和系统环境采用不同方法。以下是具体步骤和原理分析： 方法 1：通过库文件名称直接查看（推荐） FAISS 的 OpenMP 版本通常直接体现在其依赖的动态链接库（DLL/…...

编程日记 2025/9/13 18:48:33

AI 大模型的标准化工具箱MCP (Model Context Protocol)

MCP简介 MCP （Model Context Protocol，模型上下文协议）定义了应用程序和 AI 模型之间交换上下文信息的方式。这使得开发者能够以一致的方式将各种数据源、工具和功能连接到 AI 模型（一个中间协议层），就像 …...

编程日记 2025/9/15 10:12:30

哈希表的封装

目录引入哈希表封装修改哈希表参数修改哈希表成员修改%时使用的变量修改读取时获得的变量迭代器的实现迭代器的定义迭代器迭代器*解引用迭代器->成员访问迭代器重载和! 封装迭代器 HashTable迭代器封装非const版本 const版本 unordered_set迭…...

编程日记 2025/9/10 3:44:58

2025年认证杯数模竞赛赛题浅析-快速选题

赛题浅析认证杯作为国内最早的数学建模论坛、唯一一个全部公开参赛论文的竞赛、国内最大的数学建模竞赛之一、唯一一个对非学生群里开放的数学建模竞赛、国内唯二的支持高中生参赛的大学生数模竞赛。在数模界一直被视为国赛之前较好的练手赛，本文将初步简略得介绍…...

编程日记 2025/9/13 17:48:34

【网络安全】Linux 常见命令

未经许可，不得转载。文章目录正文系统信息查看用户与权限管理进程管理网络配置与检测文件操作日志查看与分析权限审计与安全检测正文在网络安全工作中，熟练掌握 Linux 系统中的常用命令，对于日常运维、日志分析、安全排查等工作至关重要。以下为常用命令汇总，供参考。…...

编程日记 2025/9/8 9:41:50

电脑卡顿严重怎么办电脑卡顿的处理指南

电脑突然卡顿比较严重，这是很多用户都曾经遇到过的问题，鼠标一直转圈圈，无法进行任何操作。电脑卡顿，电脑卡顿不仅会降低工作效率，还可能导致数据丢失，数据无法保存。很多用户解决电脑卡顿的方法就是直接一…...

编程日记 2025/9/8 4:13:12

山东大学软件学院创新项目实训开发日志（9）之测试前后端连接

在正式开始前后端功能开发前，在队友的帮助下，成功完成了前后端测试连接： 首先在后端编写一个测试相应程序： 然后在前端创建vue 并且在index.js中添加一下元素： 然后进行测试，测试成功： 后续可…...

编程日记 2025/9/15 4:46:36

H.264 NVMPI解码性能优化策略

H.264 NVMPI解码性能优化策略‌ ‌1. 硬件与驱动配置‌ ‌JetPack版本匹配‌：确保NVIDIA Jetson设备的JetPack SDK版本与CUDA驱动兼容，避免因驱动不匹配导致硬件解码性能下降‌8。‌显存分配优化‌：调整FFmpeg的-hwaccel_device参数指定GPU…...

编程日记 2025/9/15 10:30:56

汽车软件开发常用的需求管理工具汇总

目录往期推荐 DOORS（IBM ） 行业应用企业： 应用背景： 主要特点： Polarion ALM（Siemens） 行业应用企业： 应用背景： 主要特点： Codebeamer ALM&#x…...

编程日记 2025/9/9 23:12:58

如何从零构建一个自己的 CentOS 基础镜像

如何从零构建一个自己的 CentOS 基础镜像从零构建一个基于 CentOS 的基础镜像是一个很好的实践，可以帮助你理解 Docker 镜像的底层原理。以下是以 CentOS 为例，从零开始（不依赖现有镜像）构建基础镜像的详细步骤。我们将使用 yum…...

编程日记 2025/9/9 0:22:09

mongodb和clickhouse比较

好问题——MongoDB 也能处理这种高写入定期删除的时间序列场景，尤其从 MongoDB 5.0 开始支持了专门的 Time Series Collections（时间序列集合），对你的需求其实挺对口的。不过它有些优点和局限，需要具体分析下你场景…...

编程日记 2025/9/11 8:39:19

C#容器源码分析 --- List

List是一个非常常用的泛型集合类，它位于 System.Collections.Generic 命名空间下，本质上是一个动态数组，它提供了一系列方便的方法来管理和操作元素，例如添加、删除、查找等。与传统的数组相比，List可以根据需要动态调…...

编程日记 2025/9/11 1:15:33

以太坊区块大小的决定因素：深入解析区块 Gas 限制及其影响

以太坊（Ethereum）作为全球领先的区块链平台，其区块大小并非固定的物理尺寸，而是由区块 Gas 限制（Block Gas Limit）所决定。理解区块 Gas 限制及其影响因素，对于深入掌握以太坊网络的运行机制至…...

编程日记 2025/9/10 8:01:03

利用DeepFlow解决APISIX故障诊断中的方向偏差问题

概要：随着APISIX作为IT应用系统入口的普及，其故障定位能力的不足导致了在业务故障诊断中，APISIX常常成为首要的“嫌疑对象”。这不仅导致了“兴师动众”式的资源投入，还可能使诊断方向“背道而驰”，从而导致业务故障“…...

编程日记 2025/9/12 16:21:09

智慧养老实训基地建设方案：如何以科技赋能养老实操培训

在人口老龄化加剧的当下，智慧养老产业蓬勃发展，对专业技能型人才的需求愈发迫切。智慧养老实训基地建设意义非凡，它为培育具备实操能力与创新思维的养老人才搭建关键平台，有助于填补行业人才缺口，推动养老服务从传统模…...

编程日记 2025/9/9 11:32:45

基于AI的Web应用防火墙（AppWall）实战：漏洞拦截与威胁情报集成

摘要：针对Web应用面临的OWASP、CVE等漏洞攻击，本文结合群联AI云防护系统的AppWall模块，详解AI规则双引擎的防御原理，并提供漏洞拦截配置与威胁情报集成代码示例。一、Web应用安全挑战与AppWall优势传统WAF依赖规则库更新滞后&a…...

编程日记 2025/9/9 10:16:57

什么是采购管理？如何做好采购管理的持续优化？

你是不是也遇到过这种情况： 公司采购部刚换了新供应商，结果原材料质量忽高忽低，生产线上三天两头出状况；行政采购的办公用品，月初买回来月底就堆在仓库吃灰；财务部天天追着问采购成本怎么又超支了... 这些…...

编程日记 2025/9/12 16:01:00

Unity 设置弹窗Tips位置

根据鼠标位于屏幕的区域，设置弹窗锚点以及位置 public static void TipsPos(Transform tf) {//获取ui相机var uiCamera GetUICamera();var popup tf.GetComponent<RectTransform>();//获取鼠标位置Vector2 mousePos Input.mousePosition;float screenWidt…...

编程日记 2025/9/5 22:21:57

区块链知识点5-Solidity编程基础

1. 全局变量名具体描述 msg.sender 返回当前调用函数的调用者的地址 msg.value 当前消息所附带的以太币，单位为wei 2.变量的用法默认存储位置修饰符函数的返回值 memory 函数内部的局…...

编程日记 2025/9/6 22:45:18

OLAP与OLTP架构设计原理对比

OLAP与OLTP架构设计原理对比一、核心区别维度OLTPOLAP设计目标支持高并发、低延迟的事务操作（增删改查）支持复杂分析查询（聚合、多维度统计）数据模型规范化模型（3NF），减少冗余维度模型&…...

编程日记 2025/9/10 18:09:35

ubuntu20.04在mid360部署direct_lidar_odometry(DLO)

editor：1034Robotics-yy time：2025.4.10 1.下载DLO，mid360需要的一些...: 1.1 在工作空间/src下下载DLO： git clone https://github.com/vectr-ucla/direct_lidar_odometry 1.2 在工作空间/src下下载livox_ros_driver2&…...

编程日记 2025/9/5 20:34:37

检索增强生成（RAG）架构深度解析：突破大模型边界的工程实践

一、RAG技术架构设计哲学 1.1 范式演进：从静态模型到动态知识系统 graph LR A[传统LLM架构] -->|问题| B[依赖预训练参数] B --> C[知识固化风险] C --> D[领域适配困难]A -->|解决方案| E[RAG增强架构] E --> F[实时知识检索] F --> G[动态上下…...

编程日记 2025/9/15 1:09:46