当前位置：首页 > news >正文

2.3 Spark运行架构与流程

news 来源：原创 2025/9/16 17:58:16

Spark运行架构与流程包括几个核心概念：Driver负责提交应用并初始化作业，Executor在工作节点上执行任务，作业是一系列计算任务，任务是作业的基本执行单元，阶段是一组并行任务。Spark支持多种运行模式，包括单机、Standalone集群、YARN和Mesos集群，以及高可用集群。运行流程包括资源申请、分配、反馈、反向注册和任务提交。Driver与Cluster Manager通信，管理资源和任务，Executor向Driver注册并执行任务。整个流程确保了Spark应用的高效执行和资源的合理利用。

在这里插入图片描述

相关文章：

2.3 Spark运行架构与流程

Spark运行架构与流程包括几个核心概念：Driver负责提交应用并初始化作业，Executor在工作节点上执行任务，作业是一系列计算任务，任务是作业的基本执行单元，阶段是一组并行任务。Spark支持多种运行模式，包括单…...

编程日记 2025/9/16 17:58:16

【Pandas】pandas DataFrame head

Pandas2.2 DataFrame Indexing, iteration 方法描述DataFrame.head([n])用于返回 DataFrame 的前几行 pandas.DataFrame.head pandas.DataFrame.head 是一个方法，用于返回 DataFrame 的前几行。这个方法非常有用，特别是在需要快速查看 DataFrame 的前…...

编程日记 2025/9/16 17:55:32

从递归入手一维动态规划

从递归入手一维动态规划 1. 509. 斐波那契数 1.1 思路递归 F(i) F(i-1) F(i-2) 每个点都往下展开两个分支，时间复杂度为 O(2n) 。在上图中我们可以看到 F(6) F(5) F(4)。计算 F(6) 的时候已经展开计算过 F(5)了。而在计算 F(7)的时候，还需要…...

编程日记 2025/9/16 17:51:56

鸿蒙HarmonyOS埋点SDK，ClkLog适配鸿蒙埋点分析

ClkLog埋点分析系统，是一种全新的、开源的洞察方案，它能够帮助您捕捉每一个关键数据点，确保您的决策基于最准确的用户行为分析。技术人员可快速搭建私有的分析系统。 ClkLog鸿蒙埋点SDK通过手动埋点的方式实现HarmonyOS 原生应用的前端数据采…...

编程日记 2025/9/16 17:48:15

HarmonyOS：HMPermission权限请求框架

前段时间利用空余时间写了一个权限请求库：HMPermission。一，简介 HMPermission 是鸿蒙系统上的一款权限请求框架，封装了权限请求逻辑，采用链式调用的方式请求权限，简化了权限请求的代码。二，使用方法 …...

编程日记 2025/9/16 17:30:10

【书籍】DeepSeek谈《持续交付2.0》

目录一、深入理解1. 核心理念升级：从"自动化"到"双环模型"2. 数字化转型的五大核心能力3. 关键实践与案例4. 组织与文化变革5. 与其它框架的关系6. 实际应用建议二、对于开发实习生的帮助1. 立刻提升你的代码交付质量（技术验证环实…...

编程日记 2025/9/16 17:58:15

Spring AOP 扫盲

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...

编程日记 2025/9/7 11:45:22

银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】

硬件服务器配置：鲲鹏2 * 920（32c） 4 * Atlas300I duo卡参考文章 https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d 鲲鹏昇腾Atlas300Iduo部署Embedding模型和Rerank模型并连接Dify（自…...

编程日记 2025/9/7 19:35:14

如何通过流程管理优化企业运营？

流程管理的本质是“用确定性的规则应对不确定性的业务”。那么，具体该如何通过流程管理来优化企业的运作呢？以下是一些关键步骤和思路，或许能给到一些启发。 1. 从流程梳理开始：摸清现状，找准问题想要管理好企业的…...

编程日记 2025/9/10 14:04:19

ZYNQ笔记（四）：AXI GPIO

版本：Vivado2020.2（Vitis） 任务：使用 AXI GPIO IP 核实现按键 KEY 控制 LED 亮灭（两个都在PL端） 一、介绍 AXI GPIO (Advanced eXtensible Interface General Purpose Input/Output) 是 Xilinx 提供的一个可…...

编程日记 2025/9/9 22:42:33

Java学习手册：JVM、JRE和JDK的关系

在Java生态系统中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个核心概念。它们共同构成了Java语言运行和开发的基础。理解它们之间的关系对于Java开发者来说至关重要。本文…...

编程日记 2025/9/15 16:37:41

Java 并发-newFixedThreadPool

前言为什么选择使用多线程？一种场景是在数据和业务处理能力出现瓶颈时，而服务器性能又有空闲，通常是cpu空闲，这时使用多线程就能很好的解决问题，而又无需加硬件，实际使用中，线程池又是最为常用…...

编程日记 2025/9/15 10:52:12

C# task任务异步编程提高UI的响应性

方式1：async/await模式 private async void button1_Click(object sender, EventArgs e){try{var result await Task.Run(() > CalculateResult());label1.Text result.ToString();}catch (Exception ex){label1.Text $"Error: {ex.Message}";}}pri…...

编程日记 2025/9/12 3:57:42

Spring Bean生命周期执行流程详解

文章目录一、什么是Spring Bean生命周期？工作流程图：二、Bean生命周期执行流程验证1.编写测试代码验证结果2.源码追溯Bean初始化回调过程一、什么是Spring Bean生命周期？ Spring Bean生命周期是指从Bean的创建到销毁的整个过程&#xff0c…...

编程日记 2025/9/9 8:38:54

windows 安装 pygame（ pycharm）

一、安装流程 1.查看python版本 2.检查是否安装pip 3.下载pygame安装文件下载地址：https://pypi.org/project/pygame/#files 选择合适的版本（我选择的是 python3.7 windows 64bit）： 4.使用pip安装pygame 将下载好的whl文件移动到…...

编程日记 2025/9/13 8:59:52

Envoy网关实例异常重启排查总结

一、事件背景于10月24日凌晨业务租户有业务应用发版上线，中午收到pod连续5分钟重启严重告警，登录管理节点查看异常重启的应用网关pod日志，存在内核段错误报错信息导致进程终止并触发监控检查异常并重启; 该报错主要是访问的内存超出了系统…...

编程日记 2025/9/13 5:53:23

WinForm真入门(13)——ListBox控件详解

WinForm ListBox 详解与案例一、核心概念 ‌ListBox‌ 是 Windows 窗体中用于展示可滚动列表项的控件，支持单选或多选操作，适用于需要用户从固定数据集中选择一项或多项的场景‌。二、核心属性属性说明‌Items‌管理列表项的集合，支持动…...

编程日记 2025/9/16 1:57:40

【Linux网络编程】UDP Echo Server的实现

本文专栏：Linux网络编程目录一，Socket编程基础 1，IP地址和端口号端口号划分范围理解端口号和进程ID 源端口号和目的端口号理解Socket 2，传输层的典型代表 3，网络字节序 4，Socket编程接口 s…...

编程日记 2025/9/10 21:31:28

8.3.5 ToolStripContainer（工具栏容器）控件

版权声明：本文为博主原创文章，转载请在显著位置标明本文出处以及作者网名，未经作者允许不得用于商业目的 ToolStripContainer控件是一个容器，可以包含菜单和工具条、状态栏。在设计窗体中放入一个ToolStripContainer&#xff1…...

编程日记 2025/9/15 9:23:46

代码随想录-06-二叉树-05.05 N叉树的层序遍历

N叉树的层序遍历 #模板题题目描述给定一个 N 叉树，返回其节点值的_层序遍历_。（即从左到右，逐层遍历）。树的序列化输入是用层序遍历，每组子节点都由 null 值分隔（参见示例）。具体思路 …...

编程日记 2025/9/15 20:07:42

【NEPVR】《A Lightweight Palm Vein Recognition Algorithm NEPVR》

[1]马莉,刘子良,谭振林,等.一种轻量级掌静脉识别算法NEPVR[J].计算机技术与发展,2024,34(12):213-220.DOI:10.20165/j.cnki.ISSN1673-629X.2024.0248. 文章目录 1、背景2、相关工作3、创新点4、NEPVR 手掌静脉识别算法5、实验结果及分析6、总结 / 未来工作 1、背景手掌静脉独…...

编程日记 2025/8/17 23:32:27

牟乃夏《ArcGIS Engine地理信息系统开发教程》学习笔记1

（适合GIS开发入门者，通俗解析核心知识点） 目录一、ArcGIS Engine是什么？ 二、ArcGIS Engine能做什么？ 三、ArcGIS Engine与ArcObjects的区别四、开发资源与学习路径五、对象模型图（OMD）…...

编程日记 2025/9/3 19:46:30

架构师论文《论模型驱动软件开发方法在智能制造转型实践中的应用》

摘要： 本人现任某大型装备制造企业智能制造研究院首席架构师，主导集团级数字化工厂平台建设。面对多品种小批量生产模式下普遍存在的交付周期超预期（平均延期21天）、设备综合效率OEE不足65%的痛点，我司于2021年启动基…...

编程日记 2025/9/15 4:46:11

探索MCP.so：AI生态的创新枢纽

今天在研究MCP时发现了一个还不错的网站，分享给大家。后续会基于这些mcp servers做一些有趣的应用。在人工智能飞速发展的当下，AI与各类工具、数据源的协同合作变得愈发关键。MCP.so这个平台，正悄然成为AI领域的重要枢纽，为众多开发者和AI爱好者打开了新的大门。 MCP，即…...

编程日记 2025/9/16 0:45:41

JVM底层详解

JVM底层详解目录 JVM概述JVM内存模型垃圾回收机制类加载过程JIT编译JVM调优JVM监控与故障排查JVM与多线程JVM与性能优化JVM发展历程与未来JVM实战案例分析JVM高级特性JVM安全机制JVM与容器化一、JVM概述 1.1 什么是JVM Java虚拟机（Java Virtual Machine&…...

编程日记 2025/9/11 7:04:20

多点：分布式升级助力新零售转型，成本节省超80% | OceanBase 案例

本文作者：多点数据库DBA团队编者按：多点是零售行业数字（智）化的先行者，为全球企业提供创新的数字化解决方案。然而，在数字化转型的过程中，多点原有的数据库架构逐渐暴露出架构复杂、成本上升等…...

编程日记 2025/9/11 13:29:49

Java权限修饰符深度解析

Java权限修饰符深度解析与最佳实践一、权限修饰符总览 Java提供四种访问控制修饰符，按访问范围从宽到窄排序如下： 修饰符类内部同包类不同包子类全局范围public✔️✔️✔️✔️protected✔️✔️✔️❌默认（无）✔️✔️❌❌pr…...

编程日记 2025/9/11 10:44:15

RocketMQ和kafka 的区别

一、数据可靠性与容错机制数据可靠性 RocketMQ支持同步刷盘和同步复制，确保消息写入磁盘后才返回确认，单机可靠性高达10个9，即使操作系统崩溃也不会丢失数据159。而Kafka默认采用异步刷盘和异步复制，虽然吞吐量高，但极…...

编程日记 2025/9/10 1:27:29

分布式限流器框架 eval-rate-limiter

分布式限流器框架 eval-rate-limiter 文章目录分布式限流器框架 eval-rate-limiter前言设计流程图核心方法tryAcquire 获取通信证增加访问次数 incrementRequestCount生成分布式 key generateRateLimiterKey 测试测试代码结果Redis 客户端前言基于 redis 实现的分布式限流…...

编程日记 2025/9/13 22:38:28

使用Docker部署Java项目的完整指南

前言 Docker是一个轻量级的容器化平台，可将应用及其依赖打包成标准化单元，实现快速部署和环境隔离。本文以Spring Boot项目为例，演示如何通过Dockerfile部署Java应用。准备工作本地环境安装Docker Desktop（官网下载&#xff0…...

编程日记 2025/9/4 9:48:42

机器学习数据需求与应用分析

监督学习、无监督学习和强化学习作为机器学习的核心范式，对数据条件的需求存在显著差异。以下是具体分析： 一、监督学习的数据条件数据要求监督学习需要带标签（labeled）的数据集，即每个输入样本都有对应的目标输出&a…...

编程日记 2025/9/10 0:38:37

【机器学习算法】基于python商品销量数据分析大屏可视化预测系统（完整系统源码+数据库+开发笔记+详细启动教程）✅

目录一、项目背景二、技术思路三、算法介绍四、项目创新点五、开发技术介绍六、项目展示一、项目背景本项目基于Python技术栈构建了"商品销量数据分析与预测系统"，通过自动化爬取淘宝商品多维数据（价格、销量、评价、品类等&a…...

编程日记 2025/9/10 7:22:17

springboot集成springcloud vault读值示例

接上三篇 Vault---机密信息管理工具安装及常用示例 Vault机密管理工具集群配置示例 vault签发根证书、中间证书、ca证书流程记录项目里打算把所有密码都放到vault里管理，vault提供了springcloud vault用来在springboot里连接vault，启动加载vault里的值放…...

编程日记 2025/9/9 11:15:44

BERT 模型是什么

BERT 模型是什么？ BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的深度学习模型，由Google于2018年提出。它在自然语言处理领域取得了显著成就，成为众多NLP任务的基础。 …...

编程日记 2025/9/16 5:54:15

三元电池正极材料除杂工艺介绍

三元电池正极材料的除杂工艺对于提高电池性能、安全性和稳定性至关重要。以下是对三元电池正极材料除杂工艺的详细介绍： 物理除杂工艺磁选原理：利用磁场对磁性杂质的吸引作用实现分离。在三元电池正极材料生产中，常混入铁、钴、镍等磁性金…...

编程日记 2025/8/27 9:36:05

wx212基于ssm+vue+uniapp的科创微应用平台小程序

开发语言：Java框架：ssmuniappJDK版本：JDK1.8服务器：tomcat7数据库：mysql 5.7（一定要5.7版本）数据库工具：Navicat11开发软件：eclipse/myeclipse/ideaMaven包：M…...

编程日记 2025/9/15 9:53:08

Multi Agents Collaboration OS：数据与知识协同构建数据工作流自动化

1-背景传统数据系统与业务数字化的开发与维护面临诸多挑战：行业知识获取壁垒高、需求变化快导致开发周期长、系统复杂度高以及人力与资源投入成本巨大。同时，用户在使用过程中也常遇到痛点：手动录入数据繁琐低效、数据分散于各模块难以整合…...

编程日记 2025/9/15 9:53:08

elemenPlus中，如何去掉el-input中文本域 textarea自带的边框和角标

1、去掉角标 :deep(.el-textarea__inner) {resize: none !important; // 去除右下角图标 }2、去除边框，并自定义背景色 <el-inputref"textareaRef"v-model"tempContent":style"{--el-border-color: rgba(255,255,255,0.0),--el-input-…...

编程日记 2025/9/15 6:30:31

Excel 动态比较两列数据：实现灵活的数据验证

目录动态比较两列数据的需求动态公式的实现使用INDIRECT和ROW函数公式解释应用动态公式的优点快速添加一列公式的技巧使用快捷键Ctrl D使用VBA宏自动化使用“表格”功能自动填充实际应用场景数据验证动态报告数据清洗注意事项总结在数据处理和分析中，Excel 是…...

编程日记 2025/9/16 1:31:38

谷歌推出可免费使用的Firebase Studio：Gemini全栈AI开发利器

谷歌刚刚发布了Firebase Studio，这是其打造的一款沉浸式代码开发平台，旨在与Cursor、Lovable、Bolt和V0等工具竞争。如果你是一名网页开发者，可能只知道Firebase是谷歌的数据库工具。但现在，它已远不止于此。 Firebase已发展成一个完整的生态系统，如今能帮助你从头到尾…...

编程日记 2025/9/16 0:32:51

spark（二）

本节课接上节课继续对于RDD进行学习，首先是对于创建RDD的不同方式，接着学习了RDD的三种转换算子：Value类型、双Value类型、Key-Value类型，以及各个转换算子的不同使用方式。学习到如下的区别： map 与 mapPartitions…...

编程日记 2025/9/15 1:37:40

Fay 数字人部署环境需求

D:\ai\Fay>python main.py pygame 2.6.1 (SDL 2.28.4, Python 3.11.9) Hello from the pygame community. https://www.pygame.org/contribute.html [2025-04-11 00:10:16.7][系统] 注册命令... [2025-04-11 00:10:16.8][系统] restart 重启服务 [2025-04-11 00:10:16.8][…...

编程日记 2025/9/10 1:27:31

【Harmony】端云一体化(云函数)

一、云函数的概述 1、什么是云函数官方解释云函数是一项Serverless计算服务，提供FaaS（Function as a Service）能力，一方面云函数将开发测试的对象聚焦到函数级别，可以帮助您大幅简化应用开发与运维相关的事务&…...

编程日记 2025/9/16 3:22:52

利用大模型和聚类算法找出 Excel 文件中重复或相似度高的数据，并使用 FastAPI 进行封装的详细方案

以下是一个利用大模型和聚类算法找出 Excel 文件中重复或相似度高的数据，并使用 FastAPI 进行封装的详细方案：方案流程数据读取：从 Excel 文件中读取数据。文本向量化：使用大模型将文本数据转换为向量表示。聚类分析：运用聚类算法对向量进行分组，将相似度高的数据归为…...

编程日记 2025/9/16 0:52:15

通过远程桌面连接wsl2中安装的ubuntu24.04

要介绍的这种方式其实跟直接用wsl来执行命令差不多，是在终端去操作ubuntu。WSL2 默认只提供命令行界面，本文安装xrdp后通过windows远程桌面连接过去。 1、更新软件包列表 sudo apt update 确保你的软件包列表是最新的，否则可能找不到某些包…...

编程日记 2025/9/6 6:53:41

对接和使用国内稳定无水印的 Suno API

随着 AI 的应用日益广泛，各种 AI 程序已经融入我们的日常生活。从最早的写作，到医疗、教育，如今甚至扩展到了音乐领域。 Suno 是一个专注于高质量 AI 歌曲和音乐创作的平台。用户只需输入简单的文本提示词，便可以按照流派风格和歌…...

编程日记 2025/9/9 1:32:16

LeetCode算法题(Go语言实现)_38

我将按照您提供的文档结构为您整理二叉树最近公共祖先（LCA）问题的解决方案： 一、代码实现 type TreeNode struct {Val intLeft *TreeNodeRight *TreeNode }func lowestCommonAncestor(root, p, q *TreeNode) *TreeNode {if root nil ||…...

编程日记 2025/9/11 21:56:42

Linux学习笔记 1

1.发展史略...... 2.xshell的使用方法 2.1登录 ssh root公网地址输入密码，用 uname -r 指令来鉴定是否登录成功。之后就可以进行命令行操作了。 alt enter 全屏、退出设置多用户指令，新建用户 adduser 名字 passwd 密码销毁用户&#xf…...

编程日记 2025/9/16 1:57:43

微信小程序跳4

formatMillisecondsTime: function(milliseconds, formatStr) { // 创建一个新的Date对象，传入毫秒值 const date new Date(milliseconds); // 获取年月日时分秒，并确保它们都是两位数 const year date.getFullYear(); const month (date.getMonth() …...

编程日记 2025/9/10 21:13:06

STM32单片机入门学习——第31节: [10-1] I2C通信协议

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难，但我还是想去做！ 本文写于：2025.04.10 STM32开发板学习——第31节: [10-1] I2C通信协议前言开发板说明引用解答和科普一…...

编程日记 2025/9/8 18:46:32