Spark，集群搭建之Yarn模式
以下是Spark基于Yarn模式的集群搭建关键步骤（需先部署Hadoop Yarn集群）：
一、环境准备
1. 确认Hadoop已运行
- 确保HDFS、Yarn ResourceManager和NodeManager正常启动。
2. 安装Java
- 所有节点安装JDK 8+，配置 JAVA_HOME 环境变量。
3. 关闭防火墙
bash
systemctl stop firewalld && systemctl disable firewalld
二、下载与配置Spark
1. 下载Spark包
- 官网下载对应Hadoop版本的Spark（如 spark-3.5.0-bin-hadoop3 ），上传至主节点。
2. 解压与配置
bash
tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt
cd /opt/spark-3.5.0-bin-hadoop3/conf
3. 修改配置文件
- spark-env.sh （新增或修改）：
bash
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk # 实际JDK路径
export HADOOP_CONF_DIR=/etc/hadoop/conf # Hadoop配置目录
- spark-defaults.conf （若无则新建）：
bash
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://nameservice1/spark-logs # HDFS日志路径（需提前创建）
三、分发Spark到所有节点
bash
scp -r /opt/spark-3.5.0-bin-hadoop3 slave1:/opt
scp -r /opt/spark-3.5.0-bin-hadoop3 slave2:/opt
- 确保所有节点 HADOOP_CONF_DIR 路径正确（与Hadoop配置一致）。
四、验证与提交任务
1. 测试HDFS连通性
- 在任意节点执行：
bash
hdfs dfs -mkdir -p /spark-logs # 创建日志目录（需与配置一致）
hdfs dfs -chmod -R 777 /spark-logs
2. 提交Spark任务到Yarn
bash
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \ # 可选client模式（默认）
--executor-memory 2g \
--num-executors 3 \
./examples/jars/spark-examples_*.jar 100
3. 查看任务状态
- Yarn Web界面： http://resourcemanager_ip:8088/cluster ，查看应用运行情况。
- Spark历史服务器（需配置 spark.history.fs.logDirectory ）： http://master_ip:18080 。
注意事项
1. 资源分配
- 通过 --executor-memory 和 --executor-cores 控制单个Executor资源。
- Yarn全局资源需在 yarn-site.xml 中配置（如 yarn.nodemanager.resource.memory-mb ）。
2. 日志存储
- 确保HDFS路径可写，否则任务可能失败。
3. 版本兼容性
- Spark与Hadoop版本需兼容（如Spark 3.5.x对应Hadoop 3.2+）。
4. 高可用性
- 若Yarn启用HA，需在 spark-defaults.conf 中配置 spark.yarn.resourceManager.address 为HA地址。
相关文章：
Spark，集群搭建之Yarn模式
以下是Spark基于Yarn模式的集群搭建关键步骤（需先部署Hadoop Yarn集群）： 一、环境准备 1. 确认Hadoop已运行 - 确保HDFS、Yarn ResourceManager和NodeManager正常启动。 2. 安装Java - 所有节点安装JDK 8，配置 JAVA_HOME 环境变量…...
fiddler 配置ios手机代理调试
平时做移动移动端开必的时候经常需要抓包手机，用于接口请求跟踪，但iOS的抓包经常性的配不成功，经过踩过不少坑后终于知道了整个配置流程，此文记录Fiddler抓包iOS手机的配置流程。 Step 1：Fiddler配置 通过工具栏Tool…...
iOS即时通信的技术要点
iOS即时通信开发的关键技术要点总结： 一、通讯协议选择 Socket通信 基础实现：使用原生BSD Socket或CFNetwork框架（复杂），推荐第三方库如CocoaAsyncSocket（封装GCDAsyncSocket），简化T…...
Windows 安装 Milvus
说明 操作系统：Window 中间件：docker desktop Milvus：Milvus Standalone（单机版） 安装 docker desktop 参考：Window、CentOs、Ubuntu 安装 docker-CSDN博客 安装 Milvus 参考链接：Run Mil…...
5G网络：能源管理的“智能电网“革命，Python如何成为关键推手？
5G网络：能源管理的"智能电网"革命，Python如何成为关键推手？ 大家好，我是Echo_Wish。今天咱们聊一个既硬核又接地气的话题——5G网络如何用Python代码重构全球能源管理。 不知道你们有没有注意过： • 家里装…...
解决WSL、Ubuntu的.ico图标不正确显示缩略图
解决WSL、Ubuntu的.ico图标不正确显示缩略图 问题描述 Win10系统中由于更新了某些软件，篡改了默认的图像显示软件，导致WSL等软件未能成功显示图标，表现如下： 解决方法 将ico文件的默认打开方式更改为“画图”，如下…...
Redis+Caffeine构造多级缓存
一、背景 项目中对性能要求极高，因此使用多级缓存，最终方案决定是RedisCaffeine。其中Redis作为二级缓存，Caffeine作为一级本地缓存。 二、Caffeine简单介绍 Caffeine是一款基于Java 8的高性能、灵活的本地缓存库。它提供了近乎最佳的命中…...
Redis+Caffeine构建高性能二级缓存
大家好，我是摘星。今天为大家带来的是RedisCaffeine构建高性能二级缓存，废话不多说直接开始~ 目录 二级缓存架构的技术背景 1. 基础缓存架构 2. 架构演进动因 3. 二级缓存解决方案 为什么选择本地缓存？ 1. 极速访问 2. 减少网络IO 3…...
【机器人】复现 UniGoal 具身导航 | 通用零样本目标导航 CVPR 2025
UniGoal的提出了一个通用的零样本目标导航框架，能够统一处理多种类型的导航任务。 支持 对象类别导航、实例图像目标导航和文本目标导航，而无需针对特定任务进行训练或微调。 本文分享UniGoal复现和模型推理的过程～ 查找沙发，模…...
LeetCode 373 查找和最小的 K 对数字题解
LeetCode 373 查找和最小的 K 对数字题解 题目描述 给定两个以升序排列的整数数组 nums1 和 nums2，以及一个整数 k。定义一对值 (u,v)，其中第一个元素来自 nums1，第二个元素来自 nums2。请找到和最小的 k 个数对。 解题思路 最小堆优化法…...
搜索二维矩阵 II 算法讲解
搜索二维矩阵 II 算法讲解 一、问题描述 给定一个 m x n 的二维矩阵 matrix ，需要在其中搜索一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。要求编写一个高效的算法来完成搜索任务。 二、解题思路 方法一：暴力枚举 …...
三层交换机，单臂路由（用DHCP自动配置ip+互通+ACL
三层交换机，单臂路由（用DHCP自动配置ip互通ACL 任务 1.用DHCP自动配置ip 2.三层交换机SVI、 3.单臂路由 4.互通 5.ACL三层交换机SVI 交换机 Switch>en Switch#conf t Enter configuration commands, one per line. End with CNTL/Z. Switch(conf…...
)
OpenCV CUDA 模块中在 GPU 上对图像或矩阵进行 翻转（镜像）操作的一个函数 flip()
操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 cv::cuda::flip 是 OpenCV 的 CUDA 模块中的一个函数，用于在 GPU 上对图像或矩阵进行 翻转（镜像）操作。它类似…...
链表面试题7之相交链表
来了来了，这道题才是值得我们奇思妙想的题,链接在下面。 160. 相交链表 - 力扣（LeetCode） 看完题目一脸懵吗，没关系，我们还得看示例 还是一脸懵怎么办？？ 两个链表相交的方式有几种？…...
Excel-to-JSON插件专业版功能详解：让Excel数据转换更灵活
前言 在数据处理和系统集成过程中，Excel和JSON格式的转换是一个常见需求。Excel-to-JSON插件提供了一套强大的专业版功能，能够满足各种复杂的数据转换场景。本文将详细介绍这些专业版功能的应用场景和使用方法。 订阅说明 在介绍具体功能之前…...
【C++】”如虎添翼“：模板初阶
泛型编程： C中一种使用模板来实现代码重用和类型安全的编程范式。它允许程序员编写与数据类型无关的代码，从而可以用相同的代码逻辑处理不同的数据类型。模板是泛型编程的基础 模板分为两类： 函数模板：代表了一个函数家族&#x…...
【K8S学习之探针】详细了解就绪探针 readinessProbe 和存活探针 livenessProbe 的配置
参考 Pod健康检查 Kubernetes 学习笔记Kubernetes 就绪探针（Readiness Probe） - 人艰不拆_zmc - 博客园Kubernetes存活探针（Liveness Probe） - 人艰不拆_zmc - 博客园 Pod健康检查 Pod的健康状态由两类探针来检查：…...
WSL 安装 Debian 12 后，Linux 如何安装 redis ?
在 WSL 的 Debian 12 上安装 Redis 的步骤如下： 1. 更新系统包列表 sudo apt update && sudo apt upgrade -y2. 安装 Redis sudo apt install redis-server -y3. 启动 Redis 服务 sudo systemctl start redis4. 设置开机自启 sudo systemctl enable red…...
python打卡day22
复习日 仔细回顾一下之前21天的内容，没跟上进度的同学补一下进度。 作业： 自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码 kaggle泰坦里克号人员生还预测 就是很简单很草率地走了一遍机器学习的经典流程&am…...
国产化Excel处理控件Spire.XLS系列教程：如何通过 C# 删除 Excel 工作表中的筛选器
在 Excel 文件中，筛选器（Filter）是一个常用的数据处理工具，可以帮助用户快速按条件筛选数据行。但在数据整理完成、导出、共享或打印之前，往往需要 删除 Excel 工作表中的筛选器，移除列标题中的下拉筛选按钮…...
使用 DMM 测试 TDR
TDR（时域反射计）可能是实验室中上升时间最快的仪器，但您可以使用直流欧姆表测试其准确性。 TDR 测量什么 在所有高速通道中，反射都很糟糕。我们尝试设计一个通道来减少反射，这些反射都会导致符号间干扰 （…...
基于卡尔曼滤波的传感器融合技术的多传感器融合技术（附战场环境模拟可视化代码及应用说明）
基于卡尔曼滤波的传感器融合技术的多传感器融合技术（附战场环境模拟可视化代码及应用说明） 1 目标运动状态空间建模1.1 状态向量定义1.2 状态转移方程1.3 观测模型构建2 卡尔曼滤波核心算法实现2.1 初始化2.2 预测步骤2.3 更新步骤3 多传感器融合仿真验证3.1 传感器模型模拟3…...
M8040A/M8199助力数据中心收发信机测试
随着数字通信和大数据的不断发展，误码率测试变得越来越重要。高性能误码率测试仪作为一种关键的测试设备，可以对数字信号进行高速、高精度的误码率测试，广泛应用于通信、数据中心、半导体等行业。 M8040A误码仪系统当前不仅在上游IP和顶层芯…...
傲云源墅：以五傲价值重构北京主城别墅格局
在高端别墅市场中，产品自身的品质与特色是吸引客户的关键。北京傲云源墅以其独特的 “五傲” 价值，重新定义了北京主城别墅的标准。 首先是低密之傲，傲云源墅的容积率低至约 0.9，与市场上 1.0 以上容积率的别墅相比，为…...
精益数据分析（56/126）：创业阶段的划分与精益数据分析实践
精益数据分析（56/126）：创业阶段的划分与精益数据分析实践 在创业和数据分析的探索之旅中，理解创业阶段的划分以及与之对应的精益数据分析方法至关重要。今天，依旧怀揣着与大家共同进步的心态，深入研读《精…...
[redis进阶六]详解redis作为缓存分布式锁
目录 一 什么是缓存 缓存总结板书: 二 使⽤Redis作为缓存 三 缓存的更新策略 1) 定期⽣成 2) 实时⽣成 四 面试重点:缓存预热,缓存穿透,缓存雪崩 和缓存击穿 1)缓存预热 2)缓存穿透 3)缓存雪崩 4)缓存击穿 五 分布式锁 板书: 1)什么是分布式锁 2)分布式锁的基…...
【RabbitMQ】应用问题、仲裁队列（Raft算法）和HAProxy负载均衡
🔥个人主页： 中草药 🔥专栏：【中间件】企业级中间件剖析 一、幂等性保障 什么是幂等性？ 幂等性是指对一个系统进行重复调用（相同参数），无论同一操作执行多少次，这些请求…...
国产密码新时代！华测国密 SSL 证书解锁安全新高度
在数字安全被提升到国家战略高度的今天，国产密码算法成为筑牢网络安全防线的关键力量。华测国密SSL证书凭借其强大性能与贴心服务，为企业网络安全保驾护航，成为符合国家安全要求的不二之选！ 智能兼容，告别浏览器适配…...
【Linux篇章】Linux 进程信号2：解锁系统高效运作的 “隐藏指令”，开启性能飞跃新征程（精讲捕捉信号及OS运行机制）
本篇文章将以一个小白视角，通俗易懂带你了解信号在产生，保存之后如何进行捕捉；以及在信号这个话题中；OS扮演的角色及背后是如何进行操作的；如何理解用户态内核态；还有一些可以引出的其他知识点；…...
C# 基础 try-catch代码块
try-catch代码块是C#中用于异常处理的核心机制。异常是在程序执行过程中可能出现的错误，而try-catch代码块允许您在执行代码时捕获并处理这些异常。 一、基础结构 try {//可能抛出异常的代码 } catch (ArgumentException ex) {//处理特定异常 } catch (Excepti…...
为什么 mac os .bashrc 没有自动加载？
原因说明 在macOS中，默认情况下，终端使用的是Bash或Zsh作为shell。对于较新版本的macOS（从Catalina开始），默认的shell已经切换为Zsh。因此，如果你正在使用Zsh，.bashrc文件不会自动生效…...
)
【HarmonyOS Next之旅】DevEco Studio使用指南(二十二)
目录 1 -> 开发静态共享包 1.1 -> 创建库模块 1.2 -> 编译库模块 2 -> 开发动态共享包 2.1 -> 使用约束 2.2 -> 开发动态共享包 2.2.1 -> 创建HSP模块 2.2.2 -> 编译HSP模块 3 -> 发布共享包 1 -> 开发静态共享包 HAR(Harmony Archive…...
QT6.8安装教程
官网下载 链接： Index of /official_releases/online_installers 这个比较慢 建议去 清华大学开源软件镜像站：Index of /qt/archive/online_installers/4.9/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 根据自己什么系统选择 点击打开…...
【Rust泛型】Rust泛型使用详解与应用场景
✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…...
一周学完计算机网络之三：1、数据链路层概述
简单的概述 数据链路层是计算机网络体系结构中的第二层，它在物理层提供的基本服务基础上，负责将数据从一个节点可靠地传输到相邻节点。可以将其想象成一个负责在两个相邻的网络设备之间进行数据 “搬运” 和 “整理” 的 “快递中转站”。 几个重要概念…...
配置ssh无密登录
在root下有一个.ssh文件夹，它的下面有一个known_hosts文件，这个里面记录了哪些其他的主机通过ssh访问过当前的主机。 免密登录原理 （2）生成公钥和私钥 具体操作： 1. 进入 hadoop1001 2. 运行命令：ssh-keyg…...
南京邮电大学金工实习答案
一、金工实习的定义 金工实习是机械类专业学生一项重要的实践课程，它绝非仅仅只是理论知识在操作层面的简单验证，而是一个全方位培养学生综合实践能力与职业素养的系统工程。从本质上而言，金工实习是学生走出教室，亲身踏入机械加…...
无偿帮写毕业论文
以下教程教你如何利用相关网站和AI免费帮你写一个毕业论文。毕竟毕业论文只要过就行，脱产学习这么多年，终于熬出头了，完成毕设后有空就去多看看亲人好友，祝好！ 一、找一个论文模板(最好是overleaf) 废话不多说&#…...
【高数上册笔记01】：从集合映射到区间函数
【参考资料】 同济大学《高等数学》教材樊顺厚老师B站《高等数学精讲》系列课程 （注：本笔记为个人数学复习资料，旨在通过系统化整理替代厚重教材，便于随时查阅与巩固知识要点） 仅用于个人数学复习，因为课…...
大数据从专家到小白
文章目录 数据湖技术Apache Iceberg FlinkHiveHadoopHDFS 数据湖技术 Apache Iceberg Iceberg是一个通用的表格式（数据组织格式），它可以适配Presto，Spark等引擎提供高性能的读写和元数据管理功能。 Flink Hive Hadoop HDFS...
特励达力科LeCroy推出Xena Freya Z800 800GE高性能的800G以太网测试平台
Xena Freya Z800 800GE 是由全球领先的测试与测量解决方案提供商特励达力科公司（Teledyne LeCroy）开发的高性能以太网测试平台，专为满足从10GE到800GE数据中心互连速度的需求而设计。特励达力科公司在网络测试领域拥有超过50年的技术积累&…...
LeetCode 热题 100 98. 验证二叉搜索树
LeetCode 热题 100 | 98. 验证二叉搜索树 大家好，今天我们来解决一道经典的二叉树问题——验证二叉搜索树。这道题在 LeetCode 上被标记为中等难度，要求判断给定的二叉树是否是一个有效的二叉搜索树（BST）。 问题描述 给你一个二…...
Linux文件编程——open函数
在 Linux 系统中，文件操作不仅仅通过高级语言的标准库进行，底层的文件操作是通过 系统调用 来实现的。系统调用 是用户空间与操作系统内核之间的接口，允许程序请求操作系统提供的服务，包括文件读写、内存管理、进程控制等。本文将…...
Linux-Ext系列文件系统
1.理解硬件 1.1磁盘 机械磁盘是计算机中唯⼀的⼀个机械设备 磁盘---外设 慢 容量⼤，价格便宜 1.2磁盘的物理结构 1.3磁盘的存储结构 扇区：是磁盘存储数据的基本单位，512字节，块设备 如何定位⼀个扇区呢？ 可以先定…...
)
Multisim14使用教程详尽版--(2025最新版)
一、Multisim14前言 1.1、主流电路仿真软件 1. Multisim：NI开发的SPICE标准仿真工具，支持模拟/数字电路混合仿真，内置丰富的元件库和虚拟仪器（示波器、频谱仪等），适合教学和竞赛设计。官网：艾…...
C——猜数字游戏
前面我们已经学习了C语言常见概念，数据类型和变量以及分置于循环的内容，现在我们可以将这些内容结合起来写一个有趣的小游戏。下面正式开始我们今天的主题——猜数字游戏的实现。 猜数字游戏的要求： 1.电脑自动生成1~100的随机数。 2.玩家…...
【iOS】SDWebImage源码学习
SDWebImage源码学习 文章目录 SDWebImage源码学习前言SDWebImage缓存流程sd_setImageWithURL(UIImageViewWebCache层)sd_internalSetImageWithURL(UIViewWebCache层)loadImageWithURL(SDWebManger层)queryCacheOperationForKey(SDImageCache层)删除缓存 callDownloadProcessFor…...
.Net HttpClient 处理响应数据
HttpClient 处理响应数据 1、初始化及全局设置 //初始化：必须先执行一次 #!import ./ini.ipynb2、处理响应状态 //判断响应码：正常 {var response await SharedClient.GetAsync("api/Normal/GetAccount?id1");if(response.StatusCode Sy…...
【心海资源】【最新话费盗u】【未测】提币对方官方波场+没有任何加密+无后门+前端VUE
提笔接口请使用官方提笔，第三方提笔都有风险 后门你们也扫扫，这种源码风险大，自己玩玩学习进行了 重要的事情说三遍 ！！！！！！！！！&…...
Python中的标识、相等性与别名：深入理解对象引用机制
在Python编程中，理解变量如何引用对象以及对象之间的比较方式是至关重要的基础概念。本文将通过Lewis Carroll的笔名示例，深入探讨Python中的对象标识、相等性判断以及别名机制。 别名现象：变量共享同一对象 >>> charles {name: …...