当前位置：首页 > news >正文

Spark——安装步骤详细教程

news 来源：原创 2025/7/14 22:41:27

1、安装步骤

1、上传

cd /opt/modules

2、解压

tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C  /opt/installs

3、重命名

cd /opt/installs
mv spark-3.1.2-bin-hadoop3.2 spark-local

4、创建软链接

ln -s spark-local spark

5、配置环境变量：

vi /etc/profile

export SPARK_HOME=/opt/installs/spark
export PATH=$SPARK_HOME/bin:$PATH

5、安装python

通过Anaconda 安装，因为这个软件不仅有python还有其他的功能，比单纯安装python功能要强大。

实现Linux机器上使用Anaconda部署Python

conda list：列举所有的包
conda install 包名：安装库包
conda remove 包名：移除库包

安装这个软件的另一个好处：具有资源环境隔离功能，方便基于不同版本不同环境进行测试开发

进入某个环境，退出某个环境的命令：

base：Anaconda自带的基础环境
# 切换
conda activate base
# 关闭
conda deactivate

下载链接：下载：https://repo.anaconda.com/archive/

1）上传

cd /opt/modules

2) 安装

# 添加执行权限
chmod u+x Anaconda3-2021.05-Linux-x86_64.sh
# 执行
sh ./Anaconda3-2021.05-Linux-x86_64.sh
# 过程
#第一次：【直接回车，然后按q】Please, press ENTER to continue>>>
#第二次：【输入yes】Do you accept the license terms? [yes|no][no] >>> yes
#第三次：【输入解压路径：/opt/installs/anaconda3】[/root/anaconda3] >>> /opt/installs/anaconda3#第四次：【输入yes，是否在用户的.bashrc文件中初始化
Anaconda3的相关内容】Do you wish the installer to initialize  Anaconda3by running conda init? [yes|no][no] >>> yes

安装完成之后，进行环境变量的刷新

# 刷新环境变量
source /root/.bashrc
# 激活虚拟环境，如果需要关闭就使用：conda deactivate
conda activate

输入python3 查看命令是否可用

配置环境变量：

# 编辑环境变量
vi /etc/profile
# 添加以下内容
# Anaconda Home
export ANACONDA_HOME=/opt/installs/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin

刷新环境变量，并且做一个软链接

# 刷新环境变量
source /etc/profile
小结：实现Linux机器上使用Anaconda部署Python
3：单机部署：Spark Python Shell
目标：掌握Spark Shell的基本使用
实施
功能：提供一个交互式的命令行，用于测试开发Spark的程序代码
Spark的客户端bin目录下：提供了多个测试工具客户端
启动
核心
# 创建软连接
ln -s /opt/installs/anaconda3/bin/python3 /usr/bin/python3
# 验证
echo $ANACONDA_HOME

2、测试使用

Spark Python Shell 是一个交互工具，可以启动spark中的交互工具，里面可以写代码

# 启动Python开发Spark的交互命令行
# --master：用于指定运行的模式，--master yarn  
# local[2]：使用本地模式，并且只给2CoreCPU来运行程序
/opt/installs/spark/bin/pyspark --master local[2]

Spark——安装步骤详细教程

1、安装步骤 1、上传 cd /opt/modules 2、解压 tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs 3、重命名 cd /opt/installs mv spark-3.1.2-bin-hadoop3.2 spark-local 4、创建软链接 ln -s spark-local spark 5、配置环境变量： vi /etc/prof…...

编程日记 2025/7/14 22:41:27

摆烂仙君传——深度学习秘境奇缘

第一章：深度学习秘境在修仙界与科技交织的边缘，八荒六合九天无上摆烂仙君在其高科技修炼室中感应到一股神秘的召唤。这股力量似乎与他的灵魂产生了共鸣，引导他前往传说中的深度学习秘境。在那里，古老的仙法与前沿的算法交织&…...

编程日记 2025/7/13 15:38:54

C++设计模式：桥接模式（Bridge）

什么是桥接模式？ 桥接模式（Bridge Pattern）是一个用来解耦的设计模式，它将抽象层和实现层分离开，让它们可以独立变化。用最简单的话来说，就是让你能够改变抽象的功能和具体的实现，而不需要修改…...

编程日记 2025/7/14 22:20:26

c++源码阅读__smart_ptr__正文阅读

文章目录简介源码解析1. 引用计数的实现方式2. deleter静态方法的赋值时间节点3.make_smart的实现方式与好处4. 几种构造函数4.1 空构造函数4.2 接收指针的构造函数4.3 接收指针和删除方法的构造函数 , 以及auto进行模板lambda的编写4.4 拷贝构造函数4.5 赋值运算符 5. rele…...

编程日记 2025/7/14 22:17:06

halcon3D 1:1切片轮廓投影技术，透过像素距离，知实际物体的尺寸

首先说做个什么事儿对一个物体的横截面进行1:1或者1:10的投影，也就是说世界物体1mm的话，投影到image中占1个或者10个像素值，这样，就可以透过直接计算image中的像素距离，知道实际物体的尺寸用一张图说明是这样的。物…...

编程日记 2025/7/14 22:13:41

npm库xss依赖的使用方法和vue3 中Web富文本编辑器 wangeditor 使用xss库解决 XSS 攻击的方法

npm库xss依赖的使用方法和vue3 中Web富文本编辑器 wangeditor 使用xss库解决 XSS 攻击的方法 1. npm库xss依赖的使用方法1.1 xss库定义1.2 xss库功能 2. vue3 中 wangeditor 使用xss库解决 XSS 攻击的方法和示例2.1 在终端执行如下命令安装 xss 依赖2.2 在使用 wangeditor 的地…...

编程日记 2025/7/13 6:59:34

计算机网络实验七 NAT配置实验

一、实验目的通过本实验理解网络地址转换的原理和技术，掌握扩展NAT/NAPT设计、配置和测试。二、实验原理 NAT配置实验的原理主要基于网络地址转换（NAT）技术，该技术用于将内部私有网络地址转换为外部公有网络地址，从…...

编程日记 2025/7/14 0:02:58

UI设计-色彩、层级、字体、边距（一）

一.色彩：色彩可以影响人的心理与行动，具有不同的象征意义；有冷暖，轻重，软硬等等。 1.色彩情绪：最直观的视觉感受一个活动的页面所用的颜色必须要与其内容相适应，让人看起来舒服。有时我们会不…...

编程日记 2025/7/9 10:06:13

【网络安全】

黑客入侵什么是黑客入侵？ “黑客”是一个外来词，是英语单词hacker的中文音译。最初，“黑客”只是一个褒义词，指的是那些尽力挖掘计算机程序最大潜力的点脑精英，他们讨论软件黑客的技巧和态度，以及共享文化…...

编程日记 2025/7/14 21:14:20

c++趣味编程玩转物联网：基于树莓派Pico控制有源蜂鸣器

有源蜂鸣器是一种简单高效的声音输出设备，广泛应用于电子报警器、玩具、计时器等领域。在本项目中，我们结合树莓派Pico开发板，通过C代码控制有源蜂鸣器发出“滴滴”声，并解析其中涉及的关键技术点和硬件知识。一、项目概述 1. 项…...

编程日记 2025/7/14 22:26:54

【MySQL】MySQL从入门到放弃

文章目录声明MYSQL一,架构1.1.网络连接层数据库连接池 1.2.系统服务层1.2.1.SQL接口1.2.2.存储过程1.2.3.触发器1.2.4.解析器1.2.5.优化器1.2.6.缓存,缓冲 1.3.存储引擎层1.4.文件系统层1.4.1.日志模块1.4.2.数据模块二,SQL 执行2.1.执行流程2.2.刷盘2.3.返回三.库表设计3.1…...

编程日记 2025/7/14 20:55:56

redis-cluster集群搭建

集群节点信息 192.168.222.131:46379 主要节点1 192.168.222.131:46380 从节点1 192.168.222.131:46381 从节点2192.168.222.132:46379 主要节点2 192.168.222.132:46380 从节点1 192.168.222.132:46381 从节点2192.168.222.133:46379 主要节点3 192.168.222.133:46380 从节点…...

编程日记 2025/7/14 21:59:43

C语言解决空瓶换水问题：高效算法与实现

标题：C语言解决空瓶换水问题：高效算法与实现一、问题描述在一个饮料促销活动中，你可以通过空瓶换水的方式免费获得更多的水：3个空瓶可以换1瓶水。喝完这瓶水后，空瓶会再次变为空瓶。假设你最初拥有一定数量的空瓶&a…...

编程日记 2025/7/14 21:58:57

单例模式入门

单例模式是一种创建型设计模式， 让你能够保证一个类只有一个实例， 并提供一个访问该实例的全局节点。它的运作方式是这样的： 如果你创建了一个对象， 同时过一会儿后你决定再创建一个新对象， 此时你会获得之前已创建的…...

编程日记 2025/7/14 1:46:03

MongoDB快速入门

1 MongoDB 1.1 MongoDB 概念 1.1.1 什么是 MongoDB MongoDB 是在2007年由DoubleClick公司的几位核心成员开发出的一款分布式文档数据库，由C语言编写。目的是为了解决数据大量增长的时候系统的可扩展性和敏捷性。MongoDB要比传统的关系型数据库简单很多。在Mo…...

编程日记 2025/7/9 7:45:15

c语言中的extern是什么

在C语言中，extern 是一个关键字，用于声明变量或函数的外部链接。它告诉编译器该变量或函数的定义在其他文件中，编译器在编译当前文件时并不需要知道变量或函数的具体定义，而是将它们视作外部引用。 1. 变量的 extern 声明当你在…...

编程日记 2025/7/9 10:24:53

CTF之密码学（摩斯密码）

一、历史背景摩尔斯电码发明于1837年，是一种早期的数字化通信形式。它最初由艾尔菲德维尔和摩尔斯等人构思，通过点、划和中间的停顿，把各个字元以及标点符号彼此独立地发送出去。这种标识不同符号的方案后来被放入摩尔斯的专利中&#xff0…...

编程日记 2025/7/13 2:35:44

Flink 任务启动脚本-V2（包括ck启动）

#!/bin/bash#crontab时设置，如果依赖其他环境变量配置，可以在脚本执行一下环境变量脚本 source /etc/profile# 进入脚本目录 curdirdirname "$0" curdircd "$curdir"; pwd echo "进入启动脚本目录 $curdir"# 定义应用程序…...

编程日记 2025/7/13 9:23:36

16：00面试，16：08就出来了，问的问题有点变态。。。

从小厂出来，没想到在另一家公司又寄了。到这家公司开始上班，加班是每天必不可少的，看在钱给的比较多的份上，就不太计较了。没想到8月一纸通知，所有人不准加班，加班费不仅没有了，薪资还要降40%…...

编程日记 2025/7/9 2:54:55

selinux和防火墙

SElinux 1、selinux简介 SELinux是Security-Enhanced Linux的缩写，意思是安全强化的linux。 SELinux 主要由美国国家安全局（NSA）开发，当初开发的目的是为了避免资源的误用。 SELinux是对程序、文件等权限设置依据的一个内核模块。…...

编程日记 2025/7/10 18:37:00

Android 13 Aosp Settings Android Studio版本

Android 13 Aosp Settings Android Studio版本 Settings相关源码 Settings https://android.googlesource.com/platform/packages/apps/Settings/+/refs/heads/android13-release SettingsIntelligence https://android.googlesource.com/platform/packages/apps/SettingsIn…...

编程日记 2025/7/12 16:36:20

[241127] Mistral AI 更新 Le Chat，免费提供前沿 AI 助手！| TrendForce 预测 2025 十大科技趋势

目录 Mistral AI 更新 Le Chat，免费提供前沿 AI 助手！TrendForce 预测 2025 十大科技趋势 Mistral AI 更新 Le Chat，免费提供前沿 AI 助手！ Mistral AI 宣布对其免费 AI 助手 Le Chat 进行重大更新，新增多项强大功能&…...

编程日记 2025/7/10 1:24:40

go-carbon v2.5.0 发布，轻量级、语义化、对开发者友好的 golang 时间处理库

carbon 是一个轻量级、语义化、对开发者友好的 Golang 时间处理库，提供了对时间穿越、时间差值、时间极值、时间判断、星座、星座、农历、儒略日 / 简化儒略日、波斯历 / 伊朗历的支持。 carbon 目前已捐赠给 dromara 开源组织，已被 awesome-go 收录&am…...

编程日记 2025/7/10 23:58:06

linux安全管理-账号口令

文章目录 1 设备密码复杂度策略2 设备密码生存周期、最小长度、更改最小间隔天数和过期前警告天数3 使用 PAM 认证禁止指定组之外的用户使用 su 切换到 root4 制作用户权限对照表 1 设备密码复杂度策略 1、配置内容检查密码复杂度策略中设置的特殊字符、大写字母、小写字母和…...

编程日记 2025/7/8 19:18:54

uni-app自定义底部tab并且根据字段显示和隐藏

首先将所有tab使用到的页面创建好并且在pages里面配置好，要在pages.json中的"tabBar里面配置"custom": true将自带的tab底部导航关闭 "pages": [{"path": "pages/mine/mine","style": {"navigationBa…...

编程日记 2025/7/11 0:54:29

C#开发合集

用C#轻松搞定m3u8视频下载与合并嘿，程序员们！今天咱们来聊聊如何用C#写个小程序，轻松下载和合并m3u8视频文件。没错，就是那种分段的流媒体视频。准备好了吗？让我们开始吧！ 准备工作在动手之前&#xf…...

编程日记 2025/7/3 11:18:17

Chrome和edge浏览器如何为任何网站强制暗模式

前言因为我的编辑器是黑色，可能是看的时间长了比较喜欢这种颜色了，感觉白色有些刺眼。尤其是看文章时，两边的空白纯白色，所以强迫症搜素设置了谷歌浏览器和edge如何设置成黑色。 Chrome和edge浏览器如何为任何网站强制暗模式前…...

编程日记 2025/7/13 4:47:14

第二十章 Java多线程--JUC并发工具-CountDownLatch

目录一、CountDownLatch基础概念 CountDownLatch 的核心概念 CountDownLatch 的常用方法场景一：主线程等待多个子线程执行完毕场景二：实现多个线程同时开始执行任务场景三：统计报表优化 CountDownLatch 的局限性结论二、Count…...

编程日记 2025/7/14 4:50:33

限制对 etcd 的访问范围是确保 Kubernetes 集群安全的一个重要环节。

限制对 etcd 的访问范围是确保 Kubernetes 集群安全的一个重要环节。通常，etcd 只应当对 Kubernetes 控制平面的组件（如 API Server、Controller Manager、Scheduler 等）以及某些维护工具（如备份工具）开放访问权限&…...

编程日记 2025/7/9 19:24:24

shell脚本基础学习_总结篇（完结）

细致观看可以，访问shell脚本学习专栏，对应章节会有配图https://blog.csdn.net/2201_75446043/category_12833287.html?spm1001.2014.3001.5482 导语一、shell脚本简介 1. 定义： 2. 主要特点： 3. shell脚本的基本结构 4. S…...

编程日记 2025/7/14 16:30:32

Linux之网络基础

网络发展网络的发展可以从人与人之间的工作模式开始谈起, 人与人的工作模式反应了机器与机器的工作模式: 1. 独立模式: 在网络发展的早期计算机间处于独立模式, 计算机之间相互独立最开始计算机之间是独立运行的, 数据之间的交互需要人用软盘等存储介质拷贝过去, 一般涉及…...

编程日记 2025/7/9 21:13:59

《Vue零基础入门教程》第十课：属性绑定指令

往期内容《Vue零基础入门教程》第一课：Vue简介《Vue零基础入门教程》第二课：搭建开发环境《Vue零基础入门教程》第三课：起步案例《Vue零基础入门教程》第四课：应用实例《Vue零基础入门教程》第五课：挂载《…...

编程日记 2025/7/9 1:40:15

RabbitMQ 安装延迟队列插件 rabbitmq_delayed_message_exchange

前言： RabbitMQ 延迟队列插件（rabbitmq_delayed_message_exchange）是一个社区开发的插件，它为 RabbitMQ 添加了支持延迟消息的功能。通过这个插件，用户可以创建一种特殊的交换机类型 x-delayed-message，该…...

编程日记 2025/7/12 19:21:56

MATLAB中Simulink的基础知识

Simulink是MATLAB中的一种可视化仿真工具， 是一种基于MATLAB的框图设计环境，是实现动态系统建模、仿真和分析的一个软件包，被广泛应用于线性系统、非线性系统、数字控制及数字信号处理的建模和仿真中。 Simulink提供一个动态系统建模、仿真和…...

编程日记 2025/7/10 14:29:17

Swift——单例模式

单例是软件设计常用的一种模式，它的核心结构中只有一个被称为单例的特殊类，通过单例模式可以保证应用该模式的类只有一个实例化对象，其作用就是能够使类中的一个对象成为系统中的唯一实例。单例的特点： 某个类只有一个实例化对象…...

编程日记 2025/7/9 23:15:53

百度智能云千帆大模型平台引领企业创新增长

本文整理自百度世界大会 2024——「智能跃迁产业加速」论坛的同名演讲。更多大会演讲内容，请访问： https://baiduworld.baidu.com 首先，跟大家分享一张图，这个是我们目前大模型应用落地的场景分布。可以看到，大模型…...

编程日记 2025/7/9 5:29:38

scala统计词频

目标：统计词频 （1）从文件1.tst，读入内容，保存在一个字符串中。 （2）统计字符串中，每个单词出现的频率 （3）对结果进行排序 （4）把最后…...

编程日记 2025/7/14 1:27:03

CTF之密码学（费纳姆密码）

一、作为二进制替换密码的费纳姆密码定义：费纳姆密码是一种由二进制产生的替换密码，也被称为弗纳姆密码（Vernam cipher）。它采用二进制表示法，将明文转化为二进制数字，并通过与密钥进行模2加法运算来产生密…...

编程日记 2025/7/8 15:08:39

postgresql按照年月日统计历史数据

1.按照日 SELECT a.time,COALESCE(b.counts,0) as counts from ( SELECT to_char ( b, YYYY-MM-DD ) AS time FROM generate_series ( to_timestamp ( 2024-06-01, YYYY-MM-DD hh24:mi:ss ), to_timestamp ( 2024-06-30, YYYY-MM-DD hh24:mi:ss ), 1 days ) AS b GROUP BY tim…...

编程日记 2025/7/13 18:45:05

1、安装步骤

2、测试使用

相关文章：