当前位置：首页 > news >正文

搭建spark yarn 模式的集群

news 来源：原创 2025/8/18 23:57:51

搭建Spark YARN模式集群步骤

1. 环境准备

系统：采用Linux系统（如Ubuntu、CentOS ），借助ntp实现节点间时间同步，关闭防火墙及SELinux。

Java：安装JDK 8及以上版本，配置JAVA_HOME环境变量。

Hadoop：部署包含HDFS和YARN的Hadoop集群，配置HADOOP_HOME和PATH环境变量。

2. 安装Spark

下载：从Spark官网下载适配Hadoop版本的二进制包，解压至各节点。

环境变量配置：在~/.bashrc中添加 export SPARK_HOME=/path/to/spark 和 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin ，并执行 source ~/.bashrc 刷新配置。

3. 配置Spark on YARN

文件修改：在 $SPARK_HOME/conf 目录下，将spark - env.sh.template复制为spark - env.sh ，slaves.template复制为slaves 。在spark - env.sh中添加 export HADOOP_CONF_DIR=/path/to/hadoop/conf 和 export YARN_CONF_DIR=/path/to/hadoop/conf （指向Hadoop配置目录）；在slaves文件中按每行一个的格式列出所有Worker节点的主机名或IP 。

配置分发：利用scp或rsync等工具，将Spark目录及配置文件复制到所有节点。

4. 启动集群

启动Hadoop：依次执行 start - dfs.sh 启动HDFS ， start - yarn.sh 启动YARN。

启动Spark Worker：在Master节点执行 start - slaves.sh ，通过访问YARN界面（默认端口8088 ）查看节点状态。

5. 验证任务

执行 spark - submit --master yarn --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark - examples*.jar 10 提交示例任务测试，可通过YARN界面或相关命令查看任务日志。

注意事项

通过 --executor - memory 和 --executor - cores 参数调整任务资源；若需实现高可用（HA），需配置ZooKeeper和多Master节点。

相关文章：

搭建spark yarn 模式的集群

搭建Spark YARN模式集群步骤 1. 环境准备系统：采用Linux系统（如Ubuntu、CentOS ），借助ntp实现节点间时间同步，关闭防火墙及SELinux。 Java：安装JDK 8及以上版本，配置JAVA_HOME环境变量。 H…...

编程日记 2025/8/18 23:57:51

静态库和动态库的区别

简而言之：静态库是.o文件，是直接编译到进程里面的，其他的进程不能使用，动态库是.so文件，是放到linux的文件系统里面的，在程序运行的时候去拿来调用，所以多个进程都能访问 # Linux中的静态库与动…...

编程日记 2025/8/18 23:54:02

Relay算子注册

TVM 卷积算子注册代码深度解析源码位置：src/relay/op/nn/convolution.cc 作用：conv2d等算子的注册实现 TVM_REGISTER_NODE_TYPE(Conv2DAttrs);TVM_REGISTER_GLOBAL("relay.op.nn._make.conv2d").set_body_typed([](Expr data, Expr weight,…...

编程日记 2025/8/17 10:02:04

俄罗斯电商市场：增长与变革中的新势力崛起

近年来，全球跨境电商市场格局正经历深刻变革，东南亚、非洲、拉美和中东等新兴市场凭借人口红利和互联网渗透率提升，成为国际电商企业竞相争夺的蓝海。然而，在这场全球化的电商浪潮中，俄罗斯市场正以惊人的增速和独特的…...

编程日记 2025/8/17 10:25:06

HHsuite3 的 HHblits 和 HHsearch比较

HHblits 与 HHsearch 的核心区别及远源同源检测能力对比一、核心功能与定位差异特征HHblitsHHsearch核心目标快速迭代搜索，构建高质量多序列比对（MSA）和 Profile HMM，用于大规模序列聚类与初步同源筛选。高精度 Profile HMM-HMM 比对，用于深度同源检测与结构 / 功能预测…...

编程日记 2025/8/17 10:36:16

C++（1）

一、从 C 到 C 1、引用（掌握） 1.1 概念别名机制：引用本质上是对变量的一种别名，它就像变量的另一个名字，对引用的操作实际上就是对原变量的操作。从底层实现来看，引用可能是通过指针来实现的&#xff0…...

编程日记 2025/8/17 9:12:40

Android组件化 -＞ Debug模式下，本地构建module模块的AAR和APK

本地构建module模块的AAR gradle.properties isCommonApp false模块的build.gradle apply plugin: com.android.library：module模块编译manifest.srcFile src/main/AndroidManifest.xml：读取没有启动App和Activity的配置文件 if (isCommonApp.toBoo…...

编程日记 2025/8/18 17:25:26

“wsl --install -d Ubuntu-22.04”下载慢，中国地区离线安装 Ubuntu 22.04 WSL方法（亲测2025年5月6日）

从中国地区通过 wsl --install 或 Microsoft Store 安装 WSL 发行版（如 Ubuntu）时，下载速度往往非常慢，甚至卡在 0% 很久。这是因为微软服务器在国内访问速度受限。以下是几种解决方法，可加快 WSL 发行版&#xff0…...

编程日记 2025/8/17 21:17:44

CAN报文中的标准帧和扩展帧

目录 1. 标准帧（Standard Frame） 2. 扩展帧（Extended Frame） 3. 核心区别 4. 如何区分标准帧与扩展帧？ 5. 应用场景 6. 注意事项在CAN（Controller Area Network）总线协议中，标…...

编程日记 2025/8/17 10:10:25

使用AI应用开发平台搭建夸奖机器人，玩转AI【COZE入门案例-第1课】

Coze Coze是字节跳动旗下的产品，更注重用户友好性和C端场景优化。其主要特点包括： ‌快速部署‌：Coze提供拖拽式界面和丰富的插件（如天气查询、电商导流工具），适合快速搭建对话机器人和轻量化应用‌。‌生态集成‌：Coze依托字节生态，支持与飞书、抖音等平台的无缝集成…...

编程日记 2025/8/17 10:17:25

二叉树—中序遍历—非递归

初始状态假设当前从根节点 b 开始，此时栈为空。第一步：处理根节点 b 的左子树调用 goAlongLeftBranch 函数，从节点 b 开始，因为 b 有左子树（节点 a ），将 b 入栈，此时栈&#…...

编程日记 2025/8/17 8:36:59

空间内任意点到直线和平面的距离推导

前言点到直线，点到面的距离公式的手工推导。很久没有数学推导了，再试一把。一、初步推导二、转换为标准的形式三、两种特殊情况的验证四、推广到3维的情况结束语可能从向量的角度来推导，更加的便捷。很多数学知识都忘记了，…...

编程日记 2025/8/17 10:53:17

代码随想录算法训练营第九天 |【字符串】151.翻转字符串里的单词、卡码网55.右旋转字符串、28.实现strStr、459.重复的子字符串

代码随想录算法训练营第九天 |【字符串】151.翻转字符串里的单词、卡码网55.右旋转字符串、28.实现strStr、459.重复的子字符串 151.翻转字符串里的单词思路我的想法是模拟，用状态机拾取单词，然后存到双重数组中，再反向读取输出状态机有…...

编程日记 2025/8/17 10:58:21

Unity学习笔记二

文章目录 3D数学公共计算结构体Mathf常用成员三角函数向量Vector3基本成员点乘叉乘插值运算四元数引出基本概念Quaternion结构体成员四元数运算更多的Mono延迟函数协同程序多线程相关协程概念辨析协程本体协程调度器 Resources资源动态加载特殊文件夹Resources同步加载Resou…...

编程日记 2025/8/17 21:17:32

tp8+swoole搭建

1、根据官方文档下载tp8.1.2. php>8,tp8的运行界面已经不是初心不改了。而是值得托付。 composer create-project topthink/think tp8swoole cd tp8swoole composer require topthink/think-swoole 2、下载thinkswoole captcha,image,migration,queue,不要要template和v…...

编程日记 2025/8/17 21:17:30

Android Retrofit框架分析(三)：自动切换回主线程；bulid的过程；create方法+ServiceMethod源码了解

目录 Okhttp有什么不好？bulid的过程create方法ServiceMethodcall enqueue的过程为什么要学习源码呢？ 一、Okhttp有什么不好？ Okhttp本身来说，是一个挺好的网络框架，但，对于开发者而言，使用起…...

编程日记 2025/8/17 9:39:27

FPGA----基于ZYNQ 7020实现petalinux文件持久化存储

引言：由于当前的 PetaLinux 系统使用了临时的内存文件系统（initramfs），导致每次重启后所有更改（包括安装的 EPICS）都会丢失。为了解决这个问题，您需要将根文件系统（rootfs&#xff0…...

编程日记 2025/8/17 8:53:43

【STM32项目实战】一文了解单片机的SPI驱动外设功能

前言：在前面我有文章介绍了关于单片机的SPI外设CUBEMX配置，但是要想使用好SPI这个外设我们还必须对其原理性的时序有一个详细的了解，所以这篇文章就补充一下SPI比较偏向底层的时序性的逻辑。 1，SPI简介 SPI是MCU最常见的对外通信…...

编程日记 2025/8/18 22:07:16

C++学习之路，从0到精通的征途：priority_queue类的模拟实现

目录一.priority_queue的介绍二.仿函数 1.仿函数的介绍 2.仿函数的特点 3.实现两个简单的仿函数三.priority_queue的接口实现 1.成员变量 2.push 3.pop 4.top 5.size 6.empty 7.构造函数四.代码总览 priority_queue.h test.cpp 一.priority_queue的介绍源…...

编程日记 2025/8/17 8:38:07

智能交互电子沙盘，重塑未来指挥体系‌

在军事演习室、应急指挥中心或城市规划馆中，传统沙盘曾是不可或缺的工具。然而，随着数字化浪潮席卷，“纸上谈兵”式的静态模型已无法满足现代指挥对实时性、交互性、立体化的需求。智能交互电子沙盘系统应运而生，它融合了GIS地理信…...

编程日记 2025/8/18 17:13:47

银河麒麟安装QT

1、从官网现在安装包上述是商业版，免费版如下，有两种可以选择，分别是Linux x64 和 LinuxARM64 . 然后在线安装即可，和Windows系统安装步骤一样。...

编程日记 2025/8/18 23:03:37

Vue 实现 Hls、Flv 协议视频播放

在当今的互联网内容生态中，视频已成为重要的信息传播载体。Hls（HTTP Live Streaming）和 Flv（Flash Video）作为广泛使用的视频传输协议，分别在移动端和 Web 端有着出色的表现。对于使用 Vue 框架进行开发的项…...

编程日记 2025/8/17 10:40:34

javascript:void(0) 是一个常见的 JavaScript 伪协议

javascript:void(0) 是一个常见的 JavaScript 伪协议，下面从几个方面详细解释其含义和用途。基本含义 javascript: 是一种伪协议，它告诉浏览器后面跟随的是一段 JavaScript 代码。void 是 JavaScript 中的一个操作符，void(0) 的作用是对给…...

编程日记 2025/8/17 10:53:28

suna界面实现原理分析（三）：Terminal工具调用可视化

suna目前的agent执行可视化界面主要有个实时界面，一个是前面介绍的浏览器访问界面，分析参考：suna工具调用可视化界面实现原理分析（二）-CSDN博客下面的Terminal界面，对应的分析参考： 前端知识-…...

编程日记 2025/8/17 9:53:21

ai大模型学习1

一、监督学习：老师带学生的模式 ‌核心机制‌：模型像学生一样，通过“带答案的习题”（即带标签的数据集）学习规律。例如，给模型看1000张标有“猫”“狗”的图片，让它学会区分两者的特征24。 ‌典…...

编程日记 2025/8/18 3:38:02

精益数据分析（43/126）：媒体网站商业模式的盈利与指标解析

精益数据分析（43/126）：媒体网站商业模式的盈利与指标解析在创业和数据分析的学习旅程中，我们不断探索各种商业模式的奥秘，今天让我们一同深入《精益数据分析》，聚焦媒体网站商业模式，剖析其盈…...

编程日记 2025/8/17 10:57:43

深度学习：图神经网络GNN、GCN及其在推荐系统的应用

什么是图（Graph）？ 在数学和计算机科学中，图 (Graph) 是一种抽象数据结构，用于表示对象之间的成对关系。一个图通常定义为一个有序对 G (V, E)，其中： V 是顶点 (Vertices) 或节点 (Nodes) 的…...

编程日记 2025/8/17 9:03:45

深入理解 Web 架构：从基础到实践

文章目录引言一、Web 架构基础概念客户端 - 服务器模型HTTP 协议二、常见 Web 架构模式单体架构微服务架构三、Web 架构常见问题及解决方法性能问题安全问题四、Web 架构思维导图五、总结引言在当今数字化的时代，Web 应用无处不在。无论是社交媒体平台、电子商…...

编程日记 2025/8/17 9:25:54

蓝桥杯-通电(最小生成树java)

题目思路这道题其实也挺容易看出来是最小生成树的。我当时做的时候确实是能看出来是考的最小生成树，union()，find()那些方法我也能写出来，但是，我完全不知道怎么去利用给你的输入数据，去求解题目，也就是知…...

编程日记 2025/8/18 20:14:07

代码随想录算法训练营第60期第二十八天打卡

今天我们继续回溯算法章节，昨天我们重点讲的是组合问题，我们完美使用递归三部曲以及递归回溯相结合的方法来解决，当然昨天最有难度的还是去重操作，那个大家要多思考一下，那么今天我们就继续探讨回溯算法。第一题对应…...

编程日记 2025/8/17 9:51:06

vscode远程服务器连接----过程尝试写入的管道不存在

通过跳板机连接远程服务器时，报错---过程尝试写入的管道不存在过程尝试写入的管道不存在报错解决报错内容解决方法1. 测试网络连接连接是否正常2. 检查跳板机并打开权限3. 通过跳板机登录到目标服务器4.配置文件范例注：校外连接学校内网服务器报错过程…...

编程日记 2025/8/17 8:56:04

C++ - 仿 RabbitMQ 实现消息队列（1）（环境搭建）

C - 仿 RabbitMQ 实现消息队列（1）（环境搭建） 什么是消息队列核心特点核心组件工作原理常见消息队列实现应用场景优缺点项目配置开发环境技术选型更换软件源安装一些工具安装epel 软件源安装 lrzsz 传输工具安装git安装 cmake安装…...

编程日记 2025/8/17 9:36:02

多模态核心模型

1.BLIP的原理? BLIP是一种统一视觉语言理解和生成的预训练模型。BLIP的特点在于它采用了一种编码器-解码器混合架构（MED)，并且引入了CapFilt机制来提高数据质量和模型性能。BLIP的主要组成部分包括： MED架构：包括单模态编码器、…...

编程日记 2025/8/17 2:33:42

Kubernetes笔记（1）Kubernetes入门

Kubernetes入门一、容器技术二、Kubernetes介绍1. Kubernetes核心资源2. Kubernetes集群架构2.1 Master2.2 Node 一、容器技术随着技术发展，应用程序的部署经历了从物理机到虚拟机，再到容器的转变。物理机：物理机会运行多个程序&#xf…...

编程日记 2025/8/17 1:49:46

【coze】意图识别（售前售后问题、搜索引擎去广告）

【coze】（售前售后问题、搜索引擎去广告） 1、创建意图识别工作流（1）创建工作流（2）添加意图识别节点（3）配置意图识别节点（4）运行看效果（5&#xff…...

编程日记 2025/8/18 17:26:14

Vue3 中用 canvas 封装抽奖转盘组件：设定中奖概率及奖项图标和名称

在 Web 应用开发中，抽奖功能是提升用户参与度的常用手段。使用 Vue3 结合 canvas 技术，我们可以轻松实现一个高度自定义的抽奖转盘组件，不仅能设定中奖概率，还能灵活配置奖项图标和名称。本文将详细介绍该组件的实现原理、步骤&am…...

编程日记 2025/8/17 9:11:59

vue3+vite+AI大模型实现谷歌插件-web诊断

vue3viteAI大模型实现谷歌插件-web诊断一、前言二、实现思路1、功模块构图2、数据交互图三、技术栈简介1、Web端2、服务端四、主要功能实现1、Web端【1】谷歌插件vue全局配置文件【2】加载web诊断工具至当前页面【3】全局捕获异常错误 2、Server端【1】websock管理模块【2】…...

编程日记 2025/8/17 22:29:20

高频PCB设计如何选择PCB层数？

以四层板为例，可以第一层和第二层画信号，作为信号层。第三层可以走电源，然后第四层走GND 但是更可以第一层和第三层画信号。第二层可以走电源，然后第四层走GND 用中间的电源层以及地层可以起到屏蔽的作用，有效降低寄…...

编程日记 2025/8/18 18:38:05

第100+40步 ChatGPT学习：R语言实现多轮建模

回顾一下什么叫多轮建模： 要综合判断一个模型好不好，一次随机抽样是不行的，得多次抽样建模，看看整体的性能如何才行（特别是对于这种小训练集）。所以我的思路是，随机抽取训练集和验证集2000次…...

编程日记 2025/8/18 15:37:29

DolphinScheduler-3.2.0集群部署教程

详见： DolphinScheduler-3.2.0集群部署教程Centos7 DolphinScheduler集群部署...

编程日记 2025/8/17 10:29:19

如何设计Kafka的高可用跨机房容灾方案？（需要实战，未实战，纯理论）

1. 双活多中心架构设计 startuml 机房A <--> [Kafka Cluster A] : 万兆光纤机房B <--> [Kafka Cluster B] : 专线网络机房C <--> [Kafka Cluster C] : VPN隧道[Kafka Cluster A] <-.-> [Kafka Cluster B] : MirrorMaker2双向镜像 [Kafka Cluster B]…...

编程日记 2025/8/17 8:30:06

[人机交互]协作与通信的设计

零.要点 – 解释协作与通信的含义 – 描述人们在协作与通信中使用的社会机制的主要类型 – 概述存在的各种群件系统 – 讨论学科研究和与社交相关的理论，对设计的启示一.解释协作与通信的含义 1.1什么是通信通信是个体之间的信息交换的过程 – 按照所交换信息的…...

编程日记 2025/8/18 17:54:28

LXwhat-嘉立创

一电路板简介什么是PCB? 印刷电路板什么是SMT? 表面贴装技术有关电路板的几个专业名词覆铜腐蚀走线多层板为什么要画电路板? 杜邦线:接线杂乱、虚接、有可能短路洞洞板:考验焊功(虚焊)、异型元器件不适配自己画板:整齐有序、适配异型元器件、紧凑优雅、有成就感(输…...

编程日记 2025/8/17 8:30:08

决策树

1 决策树模型假如你正在运营一家猫咪领养中心，并拥有一些特征数据，你想训练一个分类器来快速判断一只动物是否为猫。这里有十个训练样本，有关于动物耳朵形状、面部形状、是否有胡须的特征，你想要预测这种动物是否为猫&#xff1…...

编程日记 2025/8/17 8:30:04

ts axios中报 Property ‘code‘ does not exist on type ‘AxiosResponse＜any, any＞‘

ts语法有严格的格式，如果我们在处理响应数据时，出现了axios响应中非默认字段，就会出现标题那样的警告，我们可以通过创建axios.dt.ts解决这个问题下面是我在开发中遇到的警告，code并不是axios默认返回的字段&#xff0…...

编程日记 2025/8/17 9:51:36

【AI】用AI将文档、文字一键生成PPT的方法（百度的自由画布版）

前提： 最近看了个书，周末要参加读书会，要分享这本书的内容。一般来说，我都是写好了内容文档，然后在网上找一些模板套上去。最近发现，有些网站已经可以按照文档，自动生成PPT模板了，里…...

编程日记 2025/8/17 9:18:51

爬虫技术-利用Python和Selenium批量下载动态渲染网页中的标准文本文件

近日工作需要整理信息安全的各项标准文件，这些文件通常发布在在官方网站，供社会各界下载和参考。这些页面中，标准文本文件常以Word（.doc/.docx）或PDF格式提供下载。由于文件数量庞大，手动逐条点击下载效率…...

编程日记 2025/8/17 8:45:17

CUDA编程 - 如何在 GPU 上使用 C++ 函数重载 - cppOverload

这里写目录标题一、完整代码与例程目的二、代码拆解与复用 2.1、函数重载： 2.2、函数指针声明： 2.3、函数指针赋值与内核启动： 2.4、CUDA API调用：2.4.1、cudaFuncSetCacheConfig：2.4.2、cud…...

编程日记 2025/8/17 8:47:27

AI教你学VUE——Gemini版

前端开发学习路线图 (针对编程新手，主攻 Vue 框架) 总原则：先夯实基础，再深入框架。想象一下建房子，地基不牢，上面的高楼（框架）是盖不起来的。HTML、CSS、JavaScript 就是前端的地基。阶段一…...

编程日记 2025/8/17 8:30:10

力扣热题100，力扣49.字母异位词分组力扣128.最长连续序列力扣.盛水最多的容器力扣42.接雨水(单调栈)

目录力扣49.字母异位词分组力扣128.最长连续序列力扣.盛水最多的容器力扣42.接雨水(单调栈) 1.包的命名规范: java的命名规范全部采用小写结尾不能加负数声明包: 位置必须在首行类: 字母数字下划线，美元符号不能数字开头不能有中文不能以关键字命名区…...

编程日记 2025/8/17 8:30:03