当前位置：首页 > news >正文

搭建Spark集群（CentOS Stream 9）

news 来源：原创 2025/5/18 0:41:12

零、资源准备

虚拟机相关：
- VMware workstation 16：虚拟机/vmware_16.zip（建议选择vmware_17版本）
- CentOS Stream 9：虚拟机/CentOS-Stream-9-latest-x86_64-boot.iso（安装包小，安装时需要联网下载）/ 虚拟机/CentOS-Stream-9-latest-x86_64-dvd1.iso(安装包大)
JDK
- jdk1.8：JDK/jdk-8u261-linux-x64.tar.gz
Anaconda
- anconda3-2023.07-2：anconda/Anaconda3-2023.07-2-Linux-x86_64.sh
Hadoop
- Hadoop 3.3.6：Hadoop/Hadoop-3.3.6.tar.gz
Spark
- spark 3.5.4: Spark/spark-3.5.4-bin-without-hadoop.tgz
辅助工具
- MobaXterm：tools/MobaXterm_Portable_v24.0.zip

本文相关资源可以在文末提供的百度网盘资源中下载，除了vmware（你懂的…），以上资源均来源于官网，MobaXterm是便捷式软件，无需安装。

一、基础环境

1. Hadoop安装

https://blog.csdn.net/tangyi2008/article/details/136666852

2. Anaconda

（1）下载相应版本的Anaconda

可以在https://repo.anaconda.com/archive/下载，这里将下载Anaconda3-2023.07-2-Linux-x86_64.sh ,其python对应版本为3.11。

如果下载过慢，可以在清华镜像下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive , 也可以在文末的网盘链接中下载。

在这里插入图片描述

cd /software
dnf -y install wget
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

（2）安装anaconda

sh Anaconda3-2023.07-2-Linux-x86_64.sh

在这里插入图片描述

然后一路回车，等出现接受许可界面，输入yes接收许可。

接着可以配置anacoda的安装目录，这里配置的安装目录是：/opt/anaconda3

在这里插入图片描述

然后配置是否自动配置PATH路径，这里输入的yes，让其自动配置

在这里插入图片描述

（3）使配置生效

刚才在安装过程中已经自动配置了PATH路径，可以查看添加的配置内容：

tail -n 20 ~/.bashrc

在这里插入图片描述

将anaconda的配置脚本添加到/etc/profile：

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/opt/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; theneval "$__conda_setup"
elseif [ -f "/opt/anaconda3/etc/profile.d/conda.sh" ]; then. "/opt/anaconda3/etc/profile.d/conda.sh"elseexport PATH="/opt/anaconda3/bin:$PATH"fi
fi
unset __conda_setup
# <<< conda initialize <<<

运行source /etc/profile使配置生效。

按同样的方法在hadoop2和hadoop3上安装Anaconda

3. MySQL安装

注意：可跳过此步骤，需要时再安装

将MySQL安装在虚拟机Hadoop3。

1) 下载MySQL的源文件

可以通过 wget 工具下载 MySQL 源文件。

mkdir /software
cd /software
yum -y install wget
wget http://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm

2）安装MySQL源

安装下载的MySQL源文件，在MySQL源文件所在目录执行如下命令。

yum localinstall mysql80-community-release-el9-1.noarch.rpm

3) 安装MySQL

yum install mysql-community-server -y

如果出现Error: GPG check FAILED错误，是Mysql的GPG升级的缘故

在这里插入图片描述

解决办法：

（1）获取GPG：rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023

（2）重新配置GPG： vi /etc/yum.repos.d/mysql-community.repo

在这里插入图片描述

(3) 运行yum install mysql-community-server -y重新安装MySQL

如果还是不能解决，可以参考官方安装指南： https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en

4）启动MySQL服务

启动MySQL服务，在虚拟机Hadoop3上执行如下命令。

systemctl start mysqld

可以使用命令 systemctl status mysqld 检查服务状态

MySQL安装完成后，默认为root用户提供了初始密码，查看该初始密码的命令如下所示。

5）查看MySQL初始密码

MySQL安装完成后，默认为root用户提供了初始密码，查看该初始密码的命令如下所示。

grep 'temporary password' /var/log/mysql

搭建Spark集群（CentOS Stream 9）

零、资源准备虚拟机相关： VMware workstation 16：虚拟机/vmware_16.zip（建议选择vmware_17版本）CentOS Stream 9：虚拟机/CentOS-Stream-9-latest-x86_64-boot.iso（安装包小，安装时需要联网下载）/ 虚拟机/CentOS-Stream-9-latest-x86_64-dvd1.iso(安装包大)JDK jdk1.8：…...

编程日记 2025/5/18 0:41:12

leetcode 2466. 统计构造好字符串的方案数

题目如下数据范围本题就是加了马甲的跳格子问题即一次能选择跳zero格或者one格(注意这两个不是定值，不是翻译成0和1它们只是代表能跳几格)我们令f(i)为从第0格跳到i格的路径数(也就是好串有几个)显然如果存在的话： f(i) f(i - zero) f(i - one)。…...

编程日记 2025/5/18 8:58:39

Jupyter Notebook自动保存失败等问题的解决

一、未生成配置文件需要在命令行中，执行下面的命令自动生成配置文件 jupyter notebook --generate-config 执行后会在 C:\Users\用户名\.jupyter目录中生成文件 jupyter_notebook_config.py 二、在网页端打开Jupyter Notebook后文件保存失败；运行代码…...

编程日记 2025/5/18 8:45:03

局域网内别的电脑怎么连接到对方的mysql数据库

要让局域网内的其他电脑连接到一台主机上的 MySQL 数据库，你需要进行一些配置，包括 MySQL 服务器的设置、权限调整，以及客户端连接的步骤。以下是详细的步骤说明： 1. 确保 MySQL 服务器允许远程连接默认情况下，MySQL 服务器可能只允许本地连接（localhost）。你需要修改…...

编程日记 2025/5/18 8:57:20

flask和django的对比

Flask 和 Django 都是流行的 Python Web 框架，尽管它们都用于构建 Web 应用，但它们的设计理念和使用场景有所不同。以下是它们之间的一些对比： 1. 框架类型 Flask：微框架（Micro-framework），意…...

编程日记 2025/5/18 9:54:30

基于 GEE 批量下载陆地植被净初级生产力 NPP 产品

目录 1 陆地植被净初级生产力（NPP） 2 完整代码 3 运行结果 1 陆地植被净初级生产力（NPP） 陆地植被净初级生产力（NPP）是指植物在单位时间单位面积上由光合作用产生的有机物质总量中扣除自养呼吸后的剩余…...

编程日记 2025/5/18 8:07:40

使用Deepseek ，怎么很好的与Deepseek 进行精准问答

与 DeepSeek 进行高效问答的关键在于清晰表达需求、合理使用功能、灵活调整提问方式。以下是一些实用建议： 一、基础原则明确问题 ✅ 清晰描述背景、目标和具体需求。 ❌ 避免模糊提问：“帮我写点东西”→ ✅“我需要一篇关于AI在医疗领域应用的500字…...

编程日记 2025/5/17 23:41:33

cefsharp131升级132测试（WinForms.NETCore）

一、升级（Nuget）版本说明（readme）:最低.NET Core3.1 (NET5.0+) + Visual C++ 2019 Redist 二、试运行、兼容性测试...

编程日记 2025/5/18 9:05:19

docker部署及操作

目录一、Docker的简介二、基础环境配置以及部署 1. Linux基础配置 2. 开启Linux内核的流量转发功能一、Docker的简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows …...

编程日记 2025/5/18 8:04:03

Jmeter对图片验证码的处理

Jmeter对图片验证码的处理在web端的登录接口经常会有图片验证码的输入，而且每次登录时图片验证码都是随机的；当通过jmeter做接口登录的时候要对图片验证码进行识别出图片中的字段，然后再登录接口中使用； 通过jmeter对图片验证码…...

编程日记 2025/5/18 7:54:56

DeepSeek本地部署_cherry studio知识库搭建

1.下载并安装：ollama Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download 安装是否成功确认，管理员权限运行PowerShell： ollama -h 2.下载安装deepseek 管理员方式运行PowerShell，运行命令&#x…...

编程日记 2025/5/18 8:16:58

CSS 实现下拉菜单效果实例解析

1. 引言在 Web 开发过程中，下拉菜单是一种常见且十分实用的交互组件。很多前端教程都提供过简单的下拉菜单示例，本文将以一个简洁的实例为出发点，从 HTML 结构、CSS 样式以及整体交互逻辑三个层面进行详细解析，帮助大家理解纯 C…...

编程日记 2025/5/18 8:10:45

项目场景拷打

补偿事务解决超卖通过补偿事务避免超卖问题，可以通过以下几种方式实现： 1. 使用数据库事务与锁机制事务管理：将库存扣减和订单生成操作放在同一个数据库事务中，确保操作的原子性。如果事务中任何一个步骤失败，则整…...

编程日记 2025/5/18 7:59:39

C语言之扫雷

C语言之扫雷 game.hgame.ctest.c 参考 https://blog.csdn.net/m0_62391199/article/details/124694375 game.h #pragma once #include <stdio.h> #include <time.h> #include <stdlib.h>#define ROW 9 #define COL 9#define ROWS ROW2 #define COLS COL2#de…...

编程日记 2025/5/18 5:52:59

android手机本地部署deepseek1.5B

手机本地部署大模型需要一个开源软件 Release Release v1.6.7 a-ghorbani/pocketpal-ai GitHub 下载release版本apk 它也支持ios，并且是开源的，你可以编译修改它安装完后是这样的可以下载推荐的模型，也可以在pc上下载好，然后copy到手机里点 + 号加载本地模型...

编程日记 2025/5/18 8:39:39

用C语言实现斐波那契数列：从基础代码到深入理解

在编程的世界里，斐波那契数列是一个经典且有趣的概念，今天我们就通过一段C语言代码来深入探索如何生成斐波那契数列。代码初览这段代码实现了输入一个整数 n ，然后输出斐波那契数列的第 n 项。代码逐行解析变量声明： - int …...

编程日记 2025/5/18 8:28:51

vue3 怎么自动全局注册某个目录下的所有 vue 和 tsx 组件

在开发 vue3 项目时，我们会有这样的诉求，怎么自动全局注册某个目录下的所有 vue 和 tsx 组件？ 虽然已经有非常强大的 unplugin-vue-components 支持，但是在某些动态场景下，unplugin-vue-components 也选择了不支持。 …...

编程日记 2025/5/12 12:20:50

Android 消息总站设计思路

项目是组件化模式，这里记录下项目消息总站设计思路目录 1、接口模式 2、Viewmodel 模式 3、LiveDataBus 模式 3、EventBus 模式 1、接口模式消息总站：MessageCenter 单利模式 public class MessageCenter {private static MessageCenter instanc…...

编程日记 2025/5/16 8:52:27

webstorm 右下角git分支组件不显示如何恢复

1、在上方工具栏点击view 2、选择Appearance 3、选择 Status Bar Widgets 4、勾选Git Branch 目录如下图所示...

编程日记 2025/4/11 18:24:27

三、k8s pod详解

pod详解的相关的基础知识和初始化容器，以及私有化的镜像仓库*。 pod进阶：pod的状态，pod的探针 pod的详解： pod是k8s集群管理的最小单位，最小的资源组件，也是最小化运行容器的资源对象。容器运行在pod里…...

编程日记 2025/5/16 21:49:50

代码随想录算法训练day39--动态规划之《打家劫舍系列》

代码随想录算法训练 —day39 文章目录代码随想录算法训练前言一、198.打家劫舍二、213.打家劫舍II三、337.打家劫舍 III总结前言今天是算法训练的第39天，希望自己能够坚持下来！ 今日任务依旧是动态规划，不过是打家劫舍系列： …...

编程日记 2025/5/15 6:14:27

AI是什么？

一、概述 1.1 AI是什么就像给机器装了个"会学习的大脑"，让它们能像人一样： 看懂世界（比如手机相册自动识别猫狗照片）听懂人话（比如叫"Siri定个闹钟"）自己思考（比如围棋…...

编程日记 2025/5/14 0:42:32

ZooKeeper 的典型应用场景：从概念到实践

引言在分布式系统的生态中，ZooKeeper 作为一个协调服务框架，扮演着至关重要的角色。它的设计目的是提供一个简单高效的解决方案来处理分布式系统中常见的协调问题。本文将详细探讨 ZooKeeper 的典型应用场景，包括但不限于配置管理、命名服务…...

编程日记 2025/5/18 3:19:22

C++ list介绍

文章目录 1. list简介2. list的实现框架2.1 链表结点2.2 链表迭代器2.3 链表 3. list迭代器及反向迭代器设计3.1 list迭代器3.2 list反向迭代器3.3 list迭代器失效 4. list与vector比较 1. list简介 list，即链表。链表的种类有很多，是否带头结点&#…...

编程日记 2025/5/11 2:40:38

暂未整理啊

测码学院 python的数据类型不可变数据类型：字符串/数字/元组/ type（变量名） 获得数据的类型 str：字符串 int：整数 float：浮点数 bool：true/false 布尔类型 list：列表 dict&…...

编程日记 2025/5/13 4:55:36

C# Basic

文章目录项目地址一、基础501. What is CIL?2. What is CLR?3. What is the difference betweent value type and reference types?4. what is boxing and unboxing?5. How are exceptions handled in C#?6. What is the difference between a class and a struct?7. Wh…...

编程日记 2025/5/16 21:22:24

小红书爬虫：获取所需数据

小红书，又名 “小红书 ”或简称 “红”，已迅速成为中国社交和电子商务领域的重要参与者，成为一个不可或缺的平台。对于企业、营销人员和数据分析师来说，从小红书收集数据可以获得宝贵的洞察力，从而推动业务增长。虽然这…...

编程日记 2025/5/12 17:33:52

人工智能学习（七）之神经网络

目录一、引言二、经典神经网络回顾 （一）结构与计算过程 （二）局限性三、循环神经网络（RNN）原理 （一）基本结构 （二）计算过程 （三&#xf…...

编程日记 2025/5/14 12:59:05

LeetCode --- 435周赛

题目列表 3442. 奇偶频次间的最大差值 I 3443. K 次修改后的最大曼哈顿距离 3444. 使数组包含目标值倍数的最少增量 3445. 奇偶频次间的最大差值 II 一、奇偶频次间的最大差值I 统计字母出现次数，然后分别统计出现偶数次的最小值和出现奇数次的最大值，…...

编程日记 2025/5/18 0:39:16

算法 ST表

目录前言一，暴力法二，打表法三，ST表四，ST表的代码实现总结前言 ST表的主要作用是在一个区间里面寻找最大值，具有快速查找的功能，此表有些难，读者可以借助我的文章和网上的课程结…...

编程日记 2025/5/18 0:12:28

【AI论文】使用滑动磁贴注意力实现快速视频生成

摘要：扩散变换器（DiTs）凭借3D全局注意力机制在视频生成领域达到了最先进水平，但其计算成本高昂——生成一段仅5秒的720P视频时，仅注意力计算就占用了总推理时间的945秒中的800秒。本文引入了滑动磁贴注意力&#xff08…...

编程日记 2025/5/13 17:40:08

MAAS | Ollama 搭建本地 AI 大模型 deepseekWeb 界面调用

目录一、环境准备二、安装 Ollama三、下载并部署 DeepSeek 模型四、简单交互五、通过 Web 界面调用大模型在当今人工智能快速发展的时代，本地部署大语言模型赋予了用户更高的灵活性和个性化服务体验。本文介绍了如何准备环境、安装Ollama框架、下载并部署DeepSeek…...

编程日记 2025/5/14 15:23:02

Arduino 第十一章：温度传感器

Arduino 第十一章：LM35 温度传感器一、LM35 简介 LM35 是美国国家半导体公司（现德州仪器）生产的一款精密集成电路温度传感器。与基于热力学原理的传统温度传感器不同，LM35 能直接将温度转换为电压输出，且输出电压与…...

编程日记 2025/5/17 9:17:16

普通用户授权docker使用权限

1、检查docker用户组 sudo cat /etc/group |grep docker 若显示：docker:x:999: # 表示存在否则创建docker用户组： sudo groupadd docker2、查看 /var/run/docker.sock 的属性 ll /var/run/docker.sock 显示： srw-rw---- 1 root root 0 1月…...

编程日记 2025/5/15 10:43:10

嵌入式软件C语言面试常见问题及答案解析（四）

嵌入式软件C语言面试常见问题及答案解析（四）原本打算将链表相关的面试题整合到一个文档中，奈何写着写着就发现题目比较多，题型也比较丰富，所以导致上一篇已经足够长了，再长也就有点不礼貌了。所以在这儿继续来总结分享那个面试中遇到的题目，文中的问题和提供的答案或者…...

编程日记 2025/5/8 10:25:01

Python中是否有类似R语言中rds的功能，可将对象保存为文件？

在数据分析和科学计算领域，R语言和Python都是极为流行的编程语言。它们各自拥有独特的优势和丰富的库资源，使得数据科学家们能够高效地处理和分析数据。在R语言中，RDS（R Data Serialization）格式是一种非常方便的方式&…...

编程日记 2025/5/13 1:15:07

LabVIEW无人机飞行状态监测系统

近年来，无人机在农业植保、电力巡检、应急救灾等多个领域得到了广泛应用。然而，传统的目视操控方式仍然存在以下三大问题： 飞行姿态的感知主要依赖操作者的经验； 飞行中突发的姿态异常难以及时发现； 飞行数据缺乏系统…...

编程日记 2025/5/10 7:27:46

车联网安全入门一：了解CAN总线及环境模拟

准备打工了，工作内容和车联网安全相关，本来想着和app分析有较大关系，但是还涉及到很多关于汽车渗透测试相关的知识，由于之前并没有接触过，就借此机会和大家来学习一下。 ## CAN基础知识 ### CAN（Controller…...

编程日记 2025/5/9 23:14:34

hive spark读取hive hbase外表报错分析和解决

问题现象使用Spark shell 操作hive关联Hbase的外表导致报错；hive使用tez引擎操作关联Hbase的外表时报错。问题1：使用tez或spark引擎，在hive查询时只要关联hbase的hive表就会有问题其他表正常。 “org.apache.hadoop.hbase.client.RetriesExhaustedException:Can’t get …...

编程日记 2025/5/15 21:52:13

【MQ】RabbitMQ 高可用延时功能的探究

延迟消息如果使用延时交换机来实现，如果数据量过大，就会很占 CPU 资源，轻则时间误差大，重则 RabbitMQ 宕机一、针对一个 RabbitMQ 节点 （1）利用队列 ttl，将延迟消息根据 delay 的时间进行分级…...

编程日记 2025/5/6 7:12:35

网络安全讲座之一:网络安全的重要性

第一讲内容主要对于安全的发展以及其重要性作了简明的阐述，并介绍了一些国内外知名的网络安全相关网站，并对于如何建立有效的安全策略给出了很好的建议，并让大家了解几种安全标准。　　媒体经常报道一些有关网络安全威胁的令人震惊的事件&am…...

编程日记 2025/5/13 23:37:57

flutter ListView Item复用源码解析

Flutter 的 ListView 的 Item 复用机制是其高性能列表渲染的核心，底层实现依赖于 Flutter 的渲染管线、Element 树和 Widget 树的协调机制。以下是 ListView 复用机制的源码级解析，结合关键类和核心逻辑进行分析。 1. ListView 的底层结构 ListView 的复…...

编程日记 2025/5/14 6:38:39

基于java手机销售网站设计和实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：…...

编程日记 2025/5/12 8:49:40

HTML 左右联动高亮示例

HTML 左右联动高亮示例 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>左右联动高亮示例</titl…...

编程日记 2025/5/14 1:13:04

如何本地部署DeepSeek

第一步：安装ollama https://ollama.com/download 打开官网，选择对应版本第二步：选择合适的模型 https://ollama.com/ 模型名称中的 1.5B、7B、8B 等数字代表模型的参数量（Parameters），其中 B 是英文 B…...

编程日记 2025/5/15 8:05:04

虚拟机+Docker配置主机代理和常见配置

完整配置流程如下： 配置虚拟机使用宿主机代理： # 设置环境变量（宿主机IP为192.168.100.1，代理端口7890） export http_proxyhttp://192.168.100.1:7890 export https_proxyhttp://192.168.100.1:7890# 测试代理是否生…...

编程日记 2025/5/16 5:58:18

996引擎-问题处理：盟重传送石问题

996引擎-问题处理：盟重传送石问题问题解决方案补充：回城卷参考资料问题今天添加了个新地图，由于这个版本只有盟重传送石没设计回城卷。所以怎么搞都回不到新地图的回城点。（当时也是懵逼了都忘记它叫盟重传送石`）分析先看一下道具表的配置。 [@StdModeFuncX] 表示…...

编程日记 2025/5/7 5:40:07

从零到一学习c++（基础篇--筑基期七-vector与迭代器）

从零到一学习C（基础篇） 作者：羡鱼肘子温馨提示1：本篇是记录我的学习经历，会有不少片面的认知，万分期待您的指正。温馨提示2：本篇会尽量用更加通俗的语言介绍c的基础，用通俗的语言去…...

编程日记 2025/5/16 17:28:15

PKI及SSL协议分析

PKI的基本组成，完整的PKI系统必须具有权威认证机构(CA)、数字证书库、密钥备份及恢复系统、证书作废系统、应用接口（API）等基本构成部分，构建PKI也将围绕着这五大系统来着手构建。任务一：搭建CA服务器本任务初步了…...

编程日记 2025/5/13 5:55:35

请解释 JavaScript 中的函数式编程，优缺点是什么？

一、对JavaScript函数式编程的理解函数式编程（Functional Programming，FP）是一种编程范式，它将计算视为数学函数的求值，并避免改变状态和可变数据。在JavaScript中，函数式编程具有以下几个关键特性&…...

编程日记 2025/5/15 13:51:52

零、资源准备

一、基础环境

1. Hadoop安装

2. Anaconda

3. MySQL安装

相关文章：