当前位置： 首页 > news >正文

Spark架构及运行流程

news 来源：原创 2025/7/13 0:16:13

Spark架构图

在这里插入图片描述

  1. Driver：

    • 解析用户的应用程序代码，转化为作业(job)。
    • 创建SparkContext上下文对象，其负责与资源管理器(ClusterManager)通信，进行资源的申请、任务的分配和监控等。
    • 跟踪Executor的执行情况。
    • 可通过UI界面查询运行情况。

  2. Cluster Manager：

    • Cluster Manager负责管理集群资源的分配。常用的Cluster Manager有Standalone模式、YARN和Mesos。
    • 它负责从集群中的节点上获取计算资源并监控资源使用情况。

  3. Executors：

    • Executors是实际执行任务的工作进程，运行在集群节点上。
    • 每个Executor负责执行任务并存储数据。
    • 向Driver节点注册并反馈任务执行状态。

  4. Tasks：

    • 运行在Executor上的最小计算单元。

Spark运行流程图

在这里插入图片描述

当执行一个Spark Application时，整个过程如下：

  1. Driver初始化：

    • 应用程序的main函数由Driver执行，Driver创建一个SparkContext。
    • SparkContext负责与集群管理器通信，申请资源并协调任务的分配和监控。

  2. 资源申请与Executor启动：

    • SparkContext向集群管理器注册并申请资源，具体来说，申请运行Executor的计算资源。
    • 集群管理器根据资源情况为Executor分配资源，并启动相应的Executor进程。
    • 启动的Executor会定期向集群管理器汇报自己的运行状态。

  3. DAG图构建与任务调度：

    • SparkContext根据程序中的RDD依赖关系构建一个**DAG（有向无环图）**图。
    • DAG图提交给DAGScheduler进行解析，DAGScheduler将图分解成多个Stage。
    • 每个Stage由多个任务组成，这些任务被打包成TaskSet，然后提交给TaskScheduler进行调度。

  4. 任务执行与结果返回：

    • TaskScheduler将任务分发到Executor执行，同时SparkContext将应用程序代码发送给Executor。
    • 任务执行结束后，Executor将计算结果返回给Driver，或将结果写入HDFS、数据库等外部存储。
    • 运行完毕后释放所有资源。

相关文章：

Spark架构及运行流程

Spark架构图 Driver： 解析用户的应用程序代码，转化为作业(job)。创建SparkContext上下文对象，其负责与资源管理器(ClusterManager)通信，进行资源的申请、任务的分配和监控等。跟踪Executor的执行情况。可通过UI界面查询运行情况。…...

编程日记 2025/7/13 0:16:13

SpringBoot3整合MyBatis

一、MyBatis整合步骤: (1).导入依赖:在Spring Boot项目的构建文件(如pom.xml)中添加MyBatis和数据库驱动的相关依赖。例如，如果使用MySQL数据库，您需要添加MyBatis和MySQL驱动的依赖。 (2).配置数据源:在application.properties或application.yml中配置…...

编程日记 2025/7/10 17:48:57

【计网笔记】习题

物理层 不属于物理层接口规范定义范畴的是（C） A. 接口形状 B. 引脚功能 C. 物理地址 D. 信号电平 【2023-912】光网络只能通过导向型介质传播。（） 【2017-408】若信道在无噪声情况下的极限数据传输速率不小于信噪比为30dB条件下的…...

编程日记 2025/7/13 0:05:47

力扣56.合并区间

题目描述 题目链接56. 合并区间 以数组 intervals 表示若干个区间的集合，其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间，并返回 一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间 。 示例 1： …...

编程日记 2025/7/8 21:45:48

【oracle】大数据删除插入

文章目录 引言本文目标 Oracle大数据插入操作插入操作的场景和需求使用并行查询进行数据插入示例代码：创建新表并插入数据解释代码中的关键点 性能优化建议 Oracle大数据删除操作删除操作的场景和需求使用游标和批量处理进行数据删除示例代码：批量删除数…...

编程日记 2025/7/13 0:07:21

mysql 双1设置

MySQL 的"双1"设置通常指的是两个配置参数：innodb_flush_log_at_trx_commit 和 sync_binlog。这两个参数都与 MySQL 的数据安全和性能有关。 innodb_flush_log_at_trx_commit：这个参数控制了 InnoDB 引擎中事务日志的刷新频率。它有三个可能的…...

编程日记 2025/7/7 12:05:15

《C++ 赋能 K-Means 聚类算法：开启智能数据分类之旅》

在当今数字化浪潮汹涌澎湃的时代，人工智能无疑是引领科技变革的核心驱动力之一。而在人工智能的广袤天地中，数据分类与聚类作为挖掘数据内在价值、揭示数据潜在规律的关键技术手段，正发挥着前所未有的重要作用。K-Means 聚类算法，…...

编程日记 2025/7/13 0:08:50

用Python开发一个经典贪吃蛇小游戏

Python 是开发小游戏的绝佳工具，借助第三方库，如 pygame，我们可以快速开发一个经典的贪吃蛇游戏。本篇将介绍如何用 Python 实现一个完整的贪吃蛇小游戏。 一、游戏设计 1.1 游戏规则 玩家通过方向键控制贪吃蛇移动。贪吃蛇吃到食物后会变长，同时得分增加。如果贪吃蛇撞到…...

编程日记 2025/7/8 16:54:52

《大宋豪侠传》客户端源码 + 服务端源码 + 工具源码 + 资源，大小16.3G

《大宋豪侠传》客户端源码 服务端源码 工具源码 资源，大小16.3G 下载地址： 通过网盘分享的文件：【源码】《大宋豪侠传》客户端源码 服务端源码 工具源码 资源，大小16.3G 链接: https://pan.baidu.com/s/1lUf84LzXKB3iM7L-1P…...

编程日记 2025/7/12 23:49:45

使用vue-seamless-scroll实现echarts图表大屏滚动，出现空白间隔的解决方案

一、背景介绍 最近的业务开发需求，想要实现echarts图表大屏滚动，小编首先采用vue-seamless-scroll进行实现，结果发现第二屏出现空白间隔，尝试了多种解决方案均不生效，最终选择换一个方案。 二、封装的ScrollList组件…...

编程日记 2025/7/8 20:10:25

zsh配置

zsh配置 https://zhuanlan.zhihu.com/p/58073103 $ cat .zshrc If you come from bash you might have to change your $PATH. export PATH H O M E / b i n : / u s r / l o c a l / b i n : HOME/bin:/usr/local/bin: HOME/bin:/usr/local/bin:PATH Path to your oh-my-zs…...

编程日记 2025/7/13 0:13:16

Brain.js（八）：RNNTimeStep 实战教程 - 股票价格预测 - 实操需警慎

前置声明，个人浅度炒股，但计划将基金转入股市。然后 股市有风险，不是技术可以完全预测的，但是在无头绪的时候，用技术指标做个参考也不错。 本文涉及到的股票预测，只是代码简单示例，实操需警慎&a…...

编程日记 2025/7/8 20:15:42

Python+requests实现接口自动化测试

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 接口测试是测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换，传…...

编程日记 2025/7/8 1:29:37

java------------常用API preiod duration 计算时间差

1，preiod 如果末天数比初天数小，需要进一位 package API;import java.time.LocalDate; import java.time.Period;public class preiod {public static void main(String[] args) {// 计算时间差// LocalDate获取对象其中的一个方法LocalDate d1 LocalD…...

编程日记 2025/7/12 23:38:59

Android水波纹效果

Android水波纹效果 需要到水波纹效果的场景还蛮少的。万一刚好你需要呢 一、思路： 自定义组件SpreadView 二、效果图： 看视频更直观点： Android轮子分享-水波纹效果 三、关键代码： public class SpreadView extends View {pr…...

编程日记 2025/7/8 22:18:33

yolov8 转华为昇腾om脚本

目录 yolov8 转华为昇腾 om脚本 测试ok 推理demo： yolov8 转华为昇腾 om脚本 测试ok import sys import osos.chdir(os.path.dirname(os.path.abspath(__file__)))import torchcurrent_dir = os.path.dirname(os.path.abspath(__file__))paths = [os.path.abspath(__file__)…...

编程日记 2025/7/8 11:38:42

【人工智能】从基础到实践：用Python和PyTorch实现深度学习图像分割模型

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 图像分割是计算机视觉中的核心任务之一，旨在将图像划分为具有语义意义的区域，在自动驾驶、医疗影像分析等领域有广泛应用。本篇文章将从图像分割的基础知识出发，详细讲解分割任务的目标、评价指标以及常…...

编程日记 2025/7/12 23:50:34

AI绘画设计实战-Day2

Stable Diffusion 提示词前缀 FF,(masterpiece:1.2),best quality,highres,extremely detailed CG,perfect lighting,8k wallpaper,anime,comic,game CG, FF，（杰作：1.2），最高质量，高分辨率，极其…...

编程日记 2025/7/12 10:16:45

详解LeetCode地下城游戏（动态规划）——区分两种状态表示形式

地下城游戏 题目链接：174. 地下城游戏 状态表示： 按照以往题的表示，dp[i][j]表示：从起点（0，0）位置到达（i，j）位置时，所需的最小初始健康值。但是…...

编程日记 2025/7/12 6:46:24

CV(3)--噪声滤波和特征

前言 仅记录学习过程，有问题欢迎讨论 图像噪声（需要主动干扰的场景）： 添加高斯噪声：概率密度函数服从高斯分布的一类噪声 通过设置sigma和mean生成符合高斯分布的随机数，然后计算输出像素，放缩…...

编程日记 2025/7/12 23:40:27

[C++]常对象、常对象成员、指向对象的常指针、指向常对象的指针变量以及对象的常引用

一、 常对象 1.定义： 一个常对象就是声明为常量的对象。我们不能改变这个对象的任何成员数据。具体来说，它是通过const关键字来声明的。 2.语法格式： const 类名 对象名;3.代码示例： class MyClass { public:int x;void setX…...

编程日记 2025/7/9 1:26:57

Spring Boot微服务应用实战：构建高效、可扩展的服务架构

在当今的软件开发领域，微服务架构凭借其高度的灵活性、可扩展性和可靠性，已成为众多企业的首选。而Spring Boot，作为Spring框架的一个子项目，以其简洁的API、快速的应用启动以及内嵌的Servlet容器等特点，成为了构建微服…...

编程日记 2025/7/10 16:19:39

如何通过 Windows 自带的启动管理功能优化电脑启动程序

在日常使用电脑的过程中，您可能注意到开机后某些程序会自动运行。这些程序被称为“自启动”或“启动项”，它们可以在系统启动时自动加载并开始运行，有时甚至在后台默默工作。虽然一些启动项可能是必要的（如杀毒软件）&a…...

编程日记 2025/7/7 2:29:56

力扣每日一题 - 1812. 判断国际象棋棋盘中一个格子的颜色

题目 还需要你前往力扣官网查看详细的题目要求 地址 1.给你一个坐标 coordinates ，它是一个字符串，表示国际象棋棋盘中一个格子的坐标。下图是国际象棋棋盘示意图。2.如果所给格子的颜色是白色，请你返回 true，如果是黑色&#xff…...

编程日记 2025/7/8 3:50:52

Python subprocess.run 使用注意事项，避免出现list index out of range

在执行iOS UI 自动化专项测试的时候，在运行第一遍的时候遇到了这样的错误： 2024-12-04 20:22:27 ERROR conftest pytest_runtest_makereport 106 Test test_open_stream.py::TestOpenStream::test_xxx_open_stream[iPhoneX-xxx-1-250] failed with err…...

编程日记 2025/7/7 20:11:37

UI自动化测试框架：PO模式+数据驱动

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 1. PO 设计模式简介 什么是 PO 模式？ PO（PageObject）设计模式将某个页面的所有元素对象定位和对元素对象的操作封装成一个 Pa…...

编程日记 2025/7/9 20:28:17

第四十六篇 Vision Transformer论文翻译

论文连接：https://arxiv.org/abs/2010.11929 GitHub：https://github.com/google-research/vision_transformer 摘要 虽然Transformer架构已成为自然语言处理任务的实际标准，但其在计算机视觉中的应用仍然有限。在计算机视觉中，注意力机制要么与卷积网络结合使用，要么在保…...

编程日记 2025/7/3 19:13:54

如何在Ubuntu中利用repo和git地址下载获取imx6ull的BSP

01-设置git的用户名和邮箱 git config --global user.name "suwenhao" git config --global user.email "2487872782qq.com"这里不设置的话后面在第5步的repo配置中还是会要求输入，而且以后进行相关操作都要输入，不妨现在就进行配置…...

编程日记 2025/7/10 19:27:13

redis数据结构和内部编码及单线程架构

博主主页: 码农派大星. 数据结构专栏:Java数据结构 数据库专栏:数据库 JavaEE专栏:JavaEE 软件测试专栏:软件测试 关注博主带你了解更多知识 1. 数据结构和内部编码 Redis会在合适的场景选择合适的内部编码 我们可以通过objectencoding命令查询内部编码 : 2. 单线程架构 …...

编程日记 2025/7/3 19:15:46

2412d,d的6月会议

信息:gtkD的文档位置 原文 总结 DMDARM后端 Razvan问Walter他对DMD的ARM后端的分发,并想知道他是否考虑过其他选择,如整合DMD前端与LDC后端. Walter说,人们写信告诉他,他们喜欢使用DMD,因为它体积小,速度快.多年来,就要求他实现ARM后端. 有的人想写一个,但后来因为太难或太耗…...

编程日记 2025/7/12 23:43:33

提升网站流量的关键：AI在SEO关键词优化中的应用

内容概要 在当今数字时代，提升网站流量已成为每个网站管理员的首要任务。而人工智能的技术进步，为搜索引擎优化（SEO）提供了强有力的支持，尤其是在关键词优化方面。关键词是连接用户需求与网站内容的桥梁，其…...

编程日记 2025/7/12 19:02:15

【模型对比】ChatGPT vs Kimi vs 文心一言那个更好用？数据详细解析，找出最适合你的AI辅助工具！

在这个人工智能迅猛发展的时代，AI聊天助手已经深入我们的工作与生活。你是否曾在选择使用ChatGPT、Kimi或是百度的文心一言时感到一头雾水？每款AI都有其独特的魅力与优势，那么，究竟哪一款AI聊天助手最适合你呢？本文将带…...

编程日记 2025/7/12 20:11:22

利润表在Zebra BI 中的应用（一）

效果如图。本案例采用极简式对比 需要注意的是：如原始数据是一维的，则需要确保比较的各年份所含项目一致，缺失的也要占位，否则会出错！ 2022% of Revenue（占收入%） DIVIDE( [值_2022], CALCULA…...

编程日记 2025/7/8 20:07:24

12.09 C++作业2

利用函数重载&#xff0c;实现对整形数组的冒泡排序&#xff0c;对浮点型数组的冒泡排序 #include <iostream>using namespace std;int maopao(int(&ra)[10]) {//求数组长度int len sizeof(ra)/sizeof(ra[0]);int i,j,t;for(int i0;i<len;i){cin >>ra[i];}…...

编程日记 2025/7/12 23:58:07

MongoDB性能监控工具

mongostat mongostat是MongoDB自带的监控工具&#xff0c;其可以提供数据库节点或者整个集群当前的状态视图。该功能的设计非常类似于Linux系统中的vmstat命令&#xff0c;可以呈现出实时的状态变化。不同的是&#xff0c;mongostat所监视的对象是数据库进程。mongostat常用于…...

编程日记 2025/7/10 4:52:20

如何防范顶级应用程序安全威胁

如今的网络攻击数量是五年前的两倍多。因此&#xff0c;掌握最新的应用程序安全威胁对于防止数据泄露、经济损失和声誉受损至关重要。您还需要实施强大的安全实践&#xff0c;以保护应用程序免受最常见和最危险的威胁。 顶级应用程序安全威胁......以及如何防范这些威胁 1. 注…...

编程日记 2025/7/12 2:19:29

Java版-图论-拓扑排序与有向无环图

拓扑排序 拓扑排序说明 对一个有向无环图(Directed Acyclic Graph简称DAG)G进行拓扑排序，是将G中所有顶点排成一个线性序列，使得图中任意一对顶点u和v，若边<u,v>∈E(G)，则u在线性序列中出现在v之前。通常，这样的线性序列称为满足拓扑次序(Topological Order)的序列…...

编程日记 2025/7/8 4:04:58

汽车一键启动开关 、一键启动按键 、一键启动按钮

‌汽车一键启动按钮是智能汽车的重要部分&#xff0c;通常用于启动和关闭引擎‌。 ‌具体功能‌&#xff1a; ‌启动引擎‌&#xff1a;在许多现代汽车中&#xff0c;一键启动按键取代了传统的钥匙启动方式。只需轻轻按下一键启动按钮&#xff0c;车辆电源即被接通&#xff0c…...

编程日记 2025/7/1 7:37:57

SWIRL：有望成为2025年顶级AI搜索引擎

现在几乎每家公司都会有内部文档系统&#xff0c;如阿里的语雀、钉钉&#xff0c;字节的飞书&#xff0c;Confluence&#xff0c;印象笔记等等都可以提供给B端在局域网部署。因此&#xff0c;如果能把搜索功能做得高效&#xff0c;就能提高自家产品的竞争力。 想象一下&#xf…...

编程日记 2025/7/9 16:33:59

QT requested database does not belong to the calling thread.线程中查询数据报错

QT requested database does not belong to the calling thread.线程中查询数据报错 QString name "ttx"; QSqlQueryModel* sql_model; QString sql_comm QString("select * from dssb_moddve_loddt_tab where name%1").arg(name); sql_model->set…...

编程日记 2025/7/7 2:38:10

活着就好20241210

亲爱的朋友们&#xff0c;大家早上好&#xff01;&#x1f31e; 今天是10号&#xff0c;星期二&#xff0c;2024年12月的第十天&#xff0c;同时也是第50周的开始&#xff0c;农历甲辰[龙]年十一月初六日。在这晨光熹微的美好时刻&#xff0c;愿那温暖而明媚的阳光轻轻拂过你的…...

编程日记 2025/7/8 1:20:46

Flutter动画（二）内建隐式动画Widget

动画效果介绍中给出了选择动画的决策树&#xff1a; 使用动画框架不在我们讨论的话题内。flutter支持的动画包括隐式动画和显式动画。 隐式动画和显式动画 隐式动画和显示动画是两种不同的动画实现方式&#xff0c;它们的主要区别在于控制权和动画的重复性。 隐式动画&#…...

编程日记 2025/7/9 1:06:33

【人工智能基础08】卷积神经网络习题：卷积神经网络计算、图像填充、卷积的表达与设计

文章目录 1. 卷积核计算2. 卷积神经网络计算3. 卷积核关注的特征问题解答水平边缘检测与水平条纹检测45度条纹检测 4. 图像检测5. 卷积网络是特殊的全连接网络6. 输出矩阵的三种填充方法7. 卷积设计8.9 成像公式10. 卷积的计算次数11. 全连接层的计算 1. 卷积核计算 卷积操作过…...

编程日记 2025/7/7 7:51:59

前端-使用vue-cli脚手架创建项目

1.下载node&#xff1a;2.下载完检查是否安装成功 在cmd中输入&#xff1a;node --version或node -v 再在cmd中输入: npm -v npm默认的仓库地址是在国外&#xff0c;速度慢&#xff0c;所以设置淘宝镜像&#xff0c;速度就提升了&#xff0c;不设淘宝镜像也可以。 3.设置…...

编程日记 2025/7/8 1:18:19

功能篇：JAVA实现自定义注解

在Java中创建自定义注解可以通过使用interface关键字来完成。自定义注解可以包含元素&#xff08;即参数&#xff09;&#xff0c;并且你可以指定这些元素的默认值、保留策略以及应用的目标。以下是实现自定义注解的基本步骤和示例代码。 ### 自定义注解的组成部分 1. **元素…...

编程日记 2025/7/9 22:22:28

调度系统：Temporal 在大数据领域的局限分析

在大数据领域的任务管理中&#xff0c;Temporal 和 Apache Airflow 各有优劣。要选择更适合的工具&#xff0c;需根据具体需求&#xff08;如任务复杂性、依赖管理、分布式能力等&#xff09;权衡。 以下是两者的比较及 Temporal 在大数据领域的局限分析&#xff1a; Tempora…...

编程日记 2025/7/10 15:05:19

保姆级教学 uniapp绘制二维码海报并保存至相册，真机正常展示图片二维码

一、获取二维码 uni.request({url: https://api.weixin.qq.com/wxa/getwxacode?access_token${getStorage("token")},responseType: "arraybuffer",method: "POST",data: {path: "/pages/index/index"},success(res) {// 转换为 Uint…...

编程日记 2025/7/12 11:53:24

不是“我应该做什么”，而是“我想做什么”

1. 识别内心的渴望 首先&#xff0c;我们需要识别自己真正的愿望和激情所在。这可能需要一些时间和自我反思。问自己&#xff1a;在没有任何外界压力的情况下&#xff0c;我真正想做的是什么&#xff1f;是赚钱、生活、旅行、追星&#xff0c;还是其他什么&#xff1f;识别这些…...

编程日记 2025/7/8 15:46:20

【openwrt】openwrt-21.02 基于IP地址使用ipset实现策略路由操作说明

openwrt版本信息 DISTRIB_ID=OpenWrt DISTRIB_RELEASE=21.02-SNAPSHOT DISTRIB_REVISION=r0-6bf6af1d5 DISTRIB_TARGET=mediatek/mt7981 DISTRIB_ARCH=aarch64_cortex-a53 DISTRIB_DESCRIPTION=OpenWrt 21.02-SNAPSHOT r0-6bf6af1d5 DISTRIB_TAINTS=no-all busybox override …...

编程日记 2025/7/9 22:11:14

Linux内核Kernel启动过程

一、内核启动的基本流程 1. 启动加载程序 (Bootloader) 启动加载程序&#xff08;如GRUB、LILO、syslinux等&#xff09;负责将内核映像从存储设备加载到内存中&#xff0c;并准备好内核启动所需的环境。 加载内核映像&#xff1a;启动加载程序将压缩的内核映像&#xff08;如…...

编程日记 2025/7/9 13:01:21