大数据-spark3.5安装部署之standalone模式
真实工作中还是要将应用提交到集群中去执行,Standalone模式就是使用Spark自身节点运行的集群模式,体现了经典的master-slave模式。集群共三台机器,具体如下
u22server4spark: master worker
u22server4spark2: worker
u22server4spark3: worker
配置免密登录
spark使用standalone模式部署时,从节点要与主节点之间进行通信。如果不配置免密登录,启动时会提示输入密码,很可能造成从节点没有成功启动;启动后当主从节点要互相访问时,依然需要密码,这时肯定失败,例如web查看时只看到一个主节点自身的worker。
节点互访存在于主从之间,从从之间不存在。所以免密配置存在于主从、从主之间。
免密登录配置过程详见:《大数据-spark3.5安装部署之免密登录》
配置master
上传解压
使用PortX将jdk、spark文件上传至/opt
jdk解压
tar zxvf jdk-8u271-linux-x64.tar.gz
spark解压
进入/opt目录,创建目录module,解压文件至/opt/module
进入module,并修改名称为spark-standalone
调整配置文件
要调整的配置内容包括:jdk环境变量、hosts文件、spark配置文件。
jdk环境变量
以root用户配置环境变量
cd ~
保存后,以root用户,执行source .profle,使更改生效,并验证。
hosts文件
除将master本机即u22server4spark的ip与主机名写入外,还需要将将另外两台worker从机的ip地址与主机名写入u22server4spark的/etc/hosts,并将127.0.0.1 u22server4spark注释。否则造成环路,两个从机向master注册不成功,web查看时,wokers只会出现主机所在的这个worker。
vi /etc/hosts
spark配置文件
进入conf目录,修改workers.template为workers
修改workers文件,添加worker节点,即集群中的主机名
修改spark-env.sh.template文件名为spark-env.sh
向spark-env.sh添加内容JAVA_HOME环境变量及对应的master节点
备注:7077是默认的内部通信端口
分发至集群其他机器
分别向两台从机u22server4spark2、u22server4spark3分发jdk、spark文件。
分发至u22server4spark2
scp -r /opt/jdk1.8.0_271 u22server4spark2:/opt
或者 scp -r /opt/jdk1.8.0_271 192.168.12.77:/opt
分发spark前,在u22server4spark2的/opt中新建目录module
scp -r /opt/module/spark-standalone u22server4spark2:/opt/module
分发至u22server4spark3
scp -r /opt/jdk1.8.0_271 u22server4spark3:/opt
或者 scp -r /opt/jdk1.8.0_271 192.168.12.88:/opt
分发spark前,在u22server4spark3的/opt中新建目录module
scp -r /opt/module/spark-standalone u22server4spark3:/opt/module
配置worker
u22server4spark2
jdk环境变量
同前
hosts文件
向从机的/etc/hosts文件中添加master主机信息,并将127.0.0.1 u22server4spark2注释
vi /etc/hosts
配置worker2
u22server4spark3
jdk环境变量
同前
hosts文件
向从机的/etc/hosts文件中添加master主机信息,并将127.0.0.1 u22server4spark3注释
vi /etc/hosts
验证操作
执行以下操作,如果都没有报错,则spark安装部署成功。
启停
启动
直接在master主机即u22server4spark,运行脚本 ./start-all.sh
或者
分别在主机即u22server4spark,运行 ./start-master.sh;从机即u22server4spark2、u22server4spark3运行脚本 ./start-worker.sh
主机jps
从机jps
web
停止
直接在master主机即u22server4spark,运行脚本 ./stop-all.sh
或者
分别在主机即u22server4spark,运行 ./stop-master.sh;从机即u22server4spark2、u22server4spark3运行脚本 ./stop-worker.sh
交互
使用命令行或者提交作业的方式,与spark进行交互。
命令行
同local即本地部署
提交应用
向主机节点即u22server4spark提交一个简单的Spark任务测试集群是否配置成功
bin/spark-submit \
--master spark://192.168.12.66:7077 \
--class org.apache.spark.examples.SparkPi \
./examples/jars/spark-examples_2.12-3.5.5.jar \
10
备注:示例代码在spark的目录中
应用运行中,查看web时,会在Running Applications下方看到;应用完成后,查看web时,会在Compleeted Applications下方看到。
相关文章:
大数据-spark3.5安装部署之standalone模式
真实工作中还是要将应用提交到集群中去执行,Standalone模式就是使用Spark自身节点运行的集群模式,体现了经典的master-slave模式。集群共三台机器,具体如下 u22server4spark: master worker u22server4spark2: worke…...
接口自动化入门 —— Jmeter实现在接口工具中关联接口处理方案
1. JMeter 接口关联处理的核心概念 接口关联是指在多个接口请求之间共享数据,例如将一个接口的返回值作为另一个接口的输入参数。常见的场景包括: 使用登录接口返回的 Token 作为后续接口的认证信息。 将一个接口返回的 ID 作为另一个接口的请求参数。…...
WebForms HTML:深入理解与高效运用
WebForms HTML:深入理解与高效运用 引言 随着互联网技术的飞速发展,WebForms HTML作为Web开发中的一种重要技术,已经成为了许多开发者日常工作中不可或缺的一部分。本文将深入探讨WebForms HTML的原理、应用场景以及高效运用技巧࿰…...
VSCode 搭建C++编程环境 2025新版图文安装教程(100%搭建成功,VSCode安装+C++环境搭建+运行测试+背景图设置)
名人说:博观而约取,厚积而薄发。——苏轼《稼说送张琥》 创作者:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊) 目录 一、VScode下载及安装二、安装 MinGW-w64 工具链三、Windows环境变量配置四、检查 M…...
【Linux 内核 | 操作系统 | 内核编译】内核编译中与锁调试相关的设置有哪一些?内核 Debug 选项中 LockDep 和其他锁调试选项详解
问题描述: 我在看内核锁调试的信息时,看到了一些内核编译参数相关的设置,开启这些信息可以帮助我们在测试环境中调试锁的竞争情况,可以详细的打印出来一些线程持有锁,一些线程争抢锁的信息。 以下是我的配置&#…...
LinuX---Shell---变量
系统预定义变量 常用系统变量 PATH、HOME、PWD、SHELL、USER等 获取变量的值 语法:$变量名 $和变量名之间不能有空格。 案例实操 查看系统变量的值 fengubuntu:~$ echo $PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/u…...
深入理解Spring MVC:构建灵活的Web应用
大家好!今天我们来聊聊Spring框架中的一个重要模块——Spring MVC。Spring MVC是一个基于MVC(Model-View-Controller)架构的Web框架,它提供了强大的功能来处理HTTP请求、生成动态内容以及管理Web应用程序的流程。无论是构建RESTfu…...
详解SQL数据查询功能
数据查询 一、 单表查询1. 选择表中的若干列2. 选择表中的若干元组3. ORDER BY 子句4. 聚合函数5. GROUP BY 子句6. LIMIT 子句综合示例: 二、 多表查询1. 等值连接查询 (Equi-Join)2. 非等值连接查询 (Non-Equi Join)3. 自然连接查询 (Natural Join)4. 复合条件连接…...
ArcGIS Pro 车牌分区数据处理与地图制作全攻略
在大数据时代,地理信息系统(GIS)技术在各个领域都有着广泛的应用,而 ArcGIS Pro 作为一款功能强大的 GIS 软件,为数据处理和地图制作提供了丰富的工具和便捷的操作流程。 车牌数据作为一种重要的地理空间数据…...
Git 本地常见快捷操作
Git 本地常见快捷操作 📌 1. 基本操作 操作命令初始化 Git 仓库git init查看 Git 状态git status添加所有文件到暂存区git add .添加指定文件git add <file>提交更改git commit -m "提交信息"修改最后一次提交信息git commit --amend -m "新…...
大视频背景暗黑风格的wordpress企业主题免费下载
整体风格是黑色的,首页首屏大视频背景,动态效果非常好。向下滚动时,滚动的特效也不错。 原文 https://www.bixugao.com/wp/26.html...
Apache Tomcat漏洞,对其进行升级
我们付出一些成本,时间的或者其他,最终总能收获一些什么。 升级背景: 近日,新华三盾山实验室监测到 Apache 官方修复了一个远程代码执行漏洞 (CVE-2025-24813) ,其CVSS3 漏洞评分为 7.5 。 影响范围 9.0.0.M1 ≤…...
fs的proxy_media模式失效
概述 freeswitch是一款简单好用的VOIP开源软交换平台。 在fs的使用过程中,某些场景只需要对rtp媒体做透传,又不需要任何处理。 在fs1.6的版本中,我们可以使用proxy_media来代理媒体的转发,媒体的协商由AB路端对端处理ÿ…...
Spring Boot与Apache Ignite集成:构建高性能分布式缓存和计算平台
1. 前言 1.1 什么是Apache Ignite Apache Ignite是一个高性能的分布式内存计算平台,支持内存缓存、分布式计算、流处理和机器学习等功能。它提供了低延迟的数据访问和强大的计算能力,适用于需要高性能和可扩展性的应用。 1.2 为什么选择Apache Ignite 高性能:Ignite利用内…...
深度学习优化-Gradient Checkpointing
数学原理参考: 梯度检查点技术(Gradient Checkpointing)详细介绍:中英双语-CSDN博客 视频讲解参考: 用梯度检查点来节省显存 gradient checkpointing_哔哩哔哩_bilibili Gradient Checkpointing(梯度检查…...
Linux内核实时机制19 - RT调度器3 - 实时任务出入队
Linux内核实时机制19 - RT调度器3 - 实时任务出入队 1、enqueue_task_rt和dequeue_task_rt都会调用dequeue_rt_stack接口, 当请求的rt_se对应的是任务组时,会从顶部到请求的rt_se将调度实体出列。 2、任务添加到rt运行队列时, 如果存在多个…...
CRM企业客户关系管理系统产品原型方案
客户关系管理系统(CRM)是企业产品应用中的典范,旨在通过信息技术和互联网技术提升企业核心竞争力,优化企业与顾客在销售、营销和服务方面的互动。本作品提供了一套通用型的CRM系统原型模板,涵盖数据管理、审批流程、统…...
HashMap ,HashTable , ConcurrentHashMap 面试
双列集合 HashMap 线程不安全的 HashMap 允许键和值为 null。不过要留意,HashMap 并非线程安全的,在多线程环境下使用可能会出现问题。 数组链表红黑树 jdk1.8 双列集合 存储keyvalue 底层数组的形式存在,初始值 为16 也可以在new HashMap…...
PyTorch 系列教程:探索自然语言处理应用
本文旨在介绍如何使用PyTorch进行自然语言处理(NLP)的基础知识,包括必要的库、概念以及实际代码示例。通过阅读本文,您将能够开始您的NLP之旅。 1. 理解PyTorch PyTorch是一个开源的机器学习库,基于Torch库࿰…...
【操作系统安全】任务2:用户与用户组
目录 一、用户与用户组介绍 1.1 用户 1.2 用户组 1.3 用户与用户组的关系 二、用户与用户组管理 2.1 用户管理 2.1.1 创建用户 2.1.2 设置用户密码 2.1.3 删除用户 2.2 用户组管理 2.2.1 创建用户组 2.2.2 删除用户组 2.2.3 将用户添加到用户组 三、影子账户创建…...
DeepSeek技术解析:MoE架构实现与代码实战
以下是一篇结合DeepSeek技术解析与代码示例的技术文章,重点展示其核心算法实现与落地应用: DeepSeek技术解析:MoE架构实现与代码实战 作为中国AI领域的创新代表,DeepSeek在混合专家模型(Mixture of Experts, MoE&…...
LLM对齐方法作用:主要解决大型语言模型(LLMs)输出与人类价值观、需求和安全规范不一致的问题
LLM对齐方法作用:主要解决大型语言模型(LLMs)输出与人类价值观、需求和安全规范不一致的问题 对齐方法(Alignment Methods) 主要解决大型语言模型(LLMs)输出与人类价值观、需求和安全规范不一致的问题。其核心目标是让模型生成的内容更符合人类预期,同时确保伦理合规性…...
【SpringMVC】常用注解:@RequestBody
1.作用 用于获取请求实体内容,直接使用得到的是keyvalue&keyvalue的数据。获取请求实体内容不适用get请求。 2.属性 required 描述是否有请求体,默认值为true。当取值为true时,get 请求方式会报错。如果取值为false,get请…...
brpc中的doublyBufferedData解析
double buffer解析(附brpc改进版) 双buffer是一个工程中常见的解决读写问题的结构。指的是读只读buff,写操作发生在写buff上。当写buff写完之后switch两个buff,然后写进程擦除原来的读数据,更新为最新的数据。 我们有…...
基于Android的记事本APP设计与实现:从需求分析到功能实现(超级简单记事本,附源码+文档报告)
基于Android的记事本APP设计与实现:从需求分析到功能实现 (以前大学课堂作业,抄在这里当个回忆吧) 引言 随着社会的不断进步,信息化建设不断发展,电子文字输入在生活、学习、工作中占有越来越重要的作用…...
Linux 部署 Spring Boot 项目, Web项目(2025版)
Linux 部署 Spring Boot 项目,Web项目(2025版) 一、简洁版1.1 Linux 环境配置1.2 将Spring Boot 项目部署到 Linux 中 二、详细版2.1 Linux 环境配置2.2 Spring Boot 项目搭建2.3 mysql 配置2.4 测试项目2.5 将Spring Boot 项目部署到 Linux …...
泛目录技术:智能缓存提升网站速度与稳定性
泛目录技术:智能缓存提升网站速度与稳定性 在现代网站运营中,速度和稳定性是用户体验和SEO优化的关键因素。2025奥顺互联推出的泛目录技术,通过智能缓存机制,为网站提供了卓越的性能提升和稳定性保障。本文将深入探讨该技术的特点…...
CNN SSP, ASPP, PPM 分割任务经典尺度聚合模块
SSP:Spatial Pyramid Pooling 让任意大小图像最终输出的特征维度始终固定,便于接全链接层。 4x4, 2x2,1x1区域的maxpooling,让任意大小图像最终输出最终特征维度始终为 (1641)*256 ASSP:Atrous Spatial Pyramid Pooling 不进行…...
Nping- Nmap中的一个工具-用于生成网络数据包并分析响应
Nping 工具介绍 Nping 是 Nmap 项目中的一个网络工具,用于生成网络数据包并分析响应。它可以用于网络探测、性能测试、防火墙测试、ARP 欺骗检测等多种场景。Nping 支持多种协议(如 TCP、UDP、ICMP、ARP),并允许用户自定义数据包…...
海马下载 1.0.2 | 纯净无广告,极简设计,不限速下载工具
海马下载是一款轻量级下载工具,仅保留核心链接下载功能,体积小巧仅21MB。实测无广告弹窗且不限速,适合追求简洁体验的用户。操作界面直观易用,可快速添加任务并查看下载进度。 大小:21M 下载地址: 百度网…...
【蓝桥杯—单片机】第十五届省赛真题代码题解析 | 思路整理
第十五届省赛真题代码题解析 前言赛题代码思路笔记竞赛板配置建立模板明确基本要求显示功能部分频率界面正常显示高位熄灭 参数界面基础写法:两个界面分开来写优化写法:两个界面合一起写 时间界面回显界面校准校准过程校准错误显示 DAC输出部分按键功能部…...
maven之自定义插件
写在前面 在使用maven肯定是离不开插件的,比如执行mvn clean或者时mvn compile其实运行的就是绑定的默认插件。虽然我们一般不需要来自定义插件,但是为了使用的过程中更加的清晰,来尝试自定义插件还是很有必要的,所以本文就一起来…...
Unity单例模式(c#泛型基类)
Unity单例模式 1 单例模式2 继承mono脚本单例模式基类3 SingletonAutoMono脚本 1 单例模式 单例模式基类模块 范型加约束,支持new来构造 //单例模式基类模块 //范型加约束,支持new来构造 public class BaseManager<T> where T :new() {private static T instance;public …...
java 中桥方法(Bridge Method)解决泛型和多态(即:类型兼容)而存在的
在 Java 中,**桥方法(Bridge Method)**是编译器自动生成的一种方法,主要用于解决泛型类型擦除和继承中的类型兼容性问题。以下是关于桥方法的几点关键信息: 1. 桥方法的作用 类型擦除兼容性:Java 的泛型在…...
Centos7阿里云yum源
#Step1:下载repository 没有wget命令 就用curl wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo #Step2:安装epel基础组件源 没有wget命…...
leetcode 102. 二叉树的层序遍历
方法一: 用两个数组进行迭代遍历 class Solution {public List<List<Integer>> levelOrder(TreeNode root) {if(root null) {return new ArrayList<List<Integer>>();}List<TreeNode> cur new ArrayList<TreeNode>();cur.a…...
Trae插件革命:用VSPlugin Helper实现VSCode市场插件全自动安装
之前有读者留言说trae都没有c的插件用,确实是这样,trae的插件源用的是open vsx,而c/c插件是vscode官方插件市场的,如果想直接在trae中安装c/c插件是不行的,只能先从vscode官方插件市场把vsix后缀文件先下载下来&#x…...
SpringCloud带你走进微服务的世界
认识微服务 随着互联网行业的发展,对服务的要求也越来越高,服务架构也从单体架构逐渐演变为现在流行的微服务架构。这些架构之间有怎样的差别呢? 单体架构 单体架构:将业务的所有功能集中在一个项目中开发,打成一个包部…...
多线程(超详细) (ε≡٩(๑>₃<)۶ 一心向学)
多线程目录 一、认识线程 1、概念: 1) 线程是什么 2) 线程为什么存在 3) 进程与线程的区别 二、创建线程 1、方法1:继承Thread类 2、方法2:实现 Runnable 接口 3、方法3:匿名内部类创建 Thread 子类对象 4、方法4&#…...
LabVIEW旋转设备状态在线监测系统
为了提高大型旋转设备如电机和水泵的监控效率和故障诊断能力,用LabVIEW软件开发了一套实时监测与故障诊断系统。该系统集成了趋势分析、振动数据处理等多项功能,可实时分析电机电流、压力、温度及振动数据,以早期识别和预报故障。 项目背…...
RSS和TSS在网络流量处理中的优化作用
摘要 本文深入探讨了RSS(Receive Side Scaling)和TSS(Transmit Side Scaling)这两种网络流量处理技术的实现方法及其在网络性能优化中的重要作用。通过对硬件和软件实现方式的详细分析,阐述了它们如何在多队列网卡、多核处理器系统以及虚拟化环境中提升网络处理性能和吞吐…...
C++ 中的 RTTI(Run-Time Type Information,运行时类型识别)
我来为你详细讲解 C 中的 RTTI(Run-Time Type Information,运行时类型识别),并结合你提供的参考内容进行分析和说明。 什么是 RTTI? RTTI 是 C 提供的一种机制,允许程序在运行时识别对象的类型信息。它主要…...
Netty基础—4.NIO的使用简介二
大纲 1.Buffer缓冲区 2.Channel通道 3.BIO编程 4.伪异步IO编程 5.改造程序以支持长连接 6.NIO三大核心组件 7.NIO服务端的创建流程 8.NIO客户端的创建流程 9.NIO优点总结 10.NIO问题总结 4.伪异步IO编程 (1)BIO的主要问题 (2)BIO编程模型的改进 (3)伪异步IO编程 …...
WPS 接入 DeepSeek-R1 深度实践:打造全能AI办公助手
一、智能化办公革命的技术底座 1.1 全球办公自动化发展现状 根据Gartner 2024年数字化转型报告显示,全球83%的企业已启动文档处理智能化改造,其中中国企业的AI办公渗透率以年均37%的增速领跑全球。WPS Office凭借其月活设备数突破5.6亿的生态优势&…...
MySQL与Redis的缓存一致性问题
MySQL与Redis的缓存一致性问题 前言 在学习中,为了提高数据的读取效率,我们往往会使用Redis来作为MySQL数据的缓存,那么,自然就产生了二者间数据的一致性问题。 想要对MySQL和Redis进行数据处理,自然会产生以下问题…...
【前端文件下载实现:多种表格导出方案的技术解析】
前端文件下载实现:多种表格导出方案的技术解析 背景介绍 在企业级应用中,数据导出是一个常见需求,特别是表格数据的导出。在我们的管理系统中,不仅需要支持用户数据的Excel导出,还需要处理多种格式的表格文件下载&am…...
933. 最近的请求次数
最近的请求次数 题目描述尝试做法推荐做法 题目描述 写一个 RecentCounter 类来计算特定时间范围内最近的请求。 请你实现 RecentCounter 类: RecentCounter() 初始化计数器,请求数为 0 。 int ping(int t) 在时间 t 添加一个新请求,其中 …...
[C++Qt] 槽函数收不到信号问题(信号的注册)
📢博客主页:https://loewen.blog.csdn.net📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!📢本文由 丶布布原创,首发于 CSDN,转载注明出处🙉📢现…...
吴恩达机器学习笔记复盘(三)Jupyter NoteBook
Jupyter NoteBook Jupyter是一个开源的交互式计算环境: 特点 交互式编程:支持以单元格为单位编写和运行代码,用户可以实时看到代码的执行结果,便于逐步调试和理解代码逻辑。多语言支持:不仅支持Python,还…...
面向对象Demo02
方法的调用的回顾 package oop; public class Demo02 {//静态public static void main(String[] args) {//student student new student();student.speak();//非静态 //student student new student();} } package oop; public class student {public static void sp…...