当前位置：首页 > news >正文

Windows环境本地配置pyspark环境详细教程

news 来源：原创 2025/6/16 13:25:01

一、背景简记
二、本地单机spark环境配置详细步骤
- 第一步：python环境安装
- 第二步：安装jdk及配置环境变量
- - 安装包下载安装
  - 环境变量配置
- 第三步：安装Spark
- - 安装包下载安装
  - 配置环境变量
- 第四步：安装hadoop
- - 安装包下载安装
  - 配置环境变量
- 第五步：环境测试
- - 测试hadoop环境变量是否配置成功
  - spark环境变量是否生效与本地spark是否安装成功
  - 测试winutils.exe 版本是否与操作系统兼容
- 第六步：python环境安装pyspark
三、本地远程集群相关配置操作方式
- 配置本地window的hosts文件连接集群
- Windows下Spyder远程连接pyspark配置
- Windows下pyspark连接Hbase操作
四、本地spyder测试本地pyspark
五、结语
参考教程

一、背景简记

windows环境是绝大部分比较熟悉的操作系统，作为想开始入门学习spark的数据人员来说，想在python的基础上，进一步掌握学习spark的技术。那在windows环境配置好pyspark，不失为一种最优的学习方式。本文也是基于此，将个人在windows环境配置pyspark的过程进行详细记录，以便后续在其它电脑上快速配置。当然，如果能够帮助到和自己同样需求的其它朋友，当然也不甚荣幸。下面开始正题。

本文提到的所有软件，已整理放在csdn资源处，当然也可以关注微信公众号【慕匠心】，回复关键字【spark】获取下载方式。

二、本地单机spark环境配置详细步骤

注意：所有软件的安装目录，尽量避免留有任何空格，以免后期方式各种不可预期的问题
在这里插入图片描述

第一步：python环境安装

现在我们习以为常的安装python环境的方式，就是通过安装anaconda来实现，因此具体的annconda的过程不做记录，整体简单，当然，网上也有很多详细的安装教程。anaconda下载地址：https://repo.anaconda.com/archive/，博主所用的anaconda版本为：Anaconda3-2023.09-0-Windows-x86_64.exe，对应的python版本是3.11.11。
如下图所示：
在这里插入图片描述

注意事项：可以查看下系统的环境变量Path，确认下Anaconda路径有没有添加进去，如下图标注所示：

在这里插入图片描述

第二步：安装jdk及配置环境变量

安装包下载安装

jdk的下载地址：https://www.oracle.com/java/technologies/downloads/#java8，根据电脑系统情况，选择下载对应的安装包。
在这里插入图片描述
博主安装的jdk安装包：jdk-8u172-windows-x64.exe，对应的jdk版本：1.8.0。上面的截图对应的版本也可以。

下载后安装包后，直接双击安装即可。安装完成后，命令行中执行：java -version ，确认是否配置成功，如下图所示：
在这里插入图片描述

环境变量配置

jdk安装好后，有几个环境变量需要配置：

新增环境变量JAVA_HOME
JAVA_HOME： D:\JDK(该值根据安装路径，修改即可）

在这里插入图片描述

Path路径新增信息：
Path： %JAVA_HOME%\bin（直接粘贴该路径即可）

在这里插入图片描述

如果没有CLASSPATH环境变量，则新增
CLASSPATH： .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\bin;（直接粘贴该路径即可）

在这里插入图片描述

第三步：安装Spark

安装包下载安装

spark安装包下载地址：https://archive.apache.org/dist/spark/，博主所用的spark版本为：spark-3.5.0-bin-hadoop3.tgz，将其解压放在个人想存放的目录中。

配置环境变量

spark安装包解压后，记住解压存放地址，配置环境变量会用到。

新建环境变量：SPARK_HOME
SPARK_HOME： D:\bigdataenv\spark-3.5.0-bin-hadoop3(该值根据存放路径，修改即可）

在这里插入图片描述

新建环境变量：HADOOP_HOME
HADOOP_HOME： D:\bigdataenv\spark-3.5.0-bin-hadoop3 (现有的spark安装包都配置了hadoop，所以路径和SPARK_HOME路径相同）

在这里插入图片描述

Path路径新增信息：
Path： %SPARK_HOME%\bin（直接粘贴该路径即可）

在这里插入图片描述

新增环境变量：PYSPARK_DRIVER_PYTHON
PYSPARK_DRIVER_PYTHON： ipython

在这里插入图片描述
PYSPARK_DRIVER_PYTHON，设置成ipython后，pyspark交互模式变为ipython的交互模式，如下图所示（需要安装完pyspark后才有）：

第四步：安装hadoop

安装包下载安装

hadoop安装包下载地址：https://archive.apache.org/dist/hadoop/common/，选择与spark对应的版本。博主所用的hadoop版本为：hadoop-3.0.0.tar.gz，将其解压放在个人想存放的目录中。
在这里插入图片描述

配置环境变量

hadoop安装包解压后，记住解压存放地址，配置环境变量会用到。

新建环境变量：HADOOP_HOME
HADOOP_HOME： D:\bigdataenv\hadoop-3.0.0(该值根据存放路径，修改即可）

在这里插入图片描述

Path路径新增信息：
Path： %HADOOP_HOME%\bin（直接粘贴该路径即可）

在这里插入图片描述
此时bin目录（ D:\bigdataenv\hadoop-3.0.0\bin）下可能没有 hadoop.dll及winutils.exe文件，

需要进行下载winutils ：https://soft.3dmgame.com/down/204154.html
解压文件，选择hadoop版本对应的文件夹bin目录下的hadoop.dll和winutils.exe文件
将hadoop.dll和winutils.exe 拷贝到D:\bigdataenv\hadoop-3.0.0\bin 、C:\Windows\System32、D:\bigdataenv\spark-3.5.0-bin-hadoop3\bin 下（两个文件各拷贝一份到三个目录中）

在这里插入图片描述

第五步：环境测试

测试hadoop环境变量是否配置成功

测试方式：在cmd输入 hadoop version,出现如下界面，说明hadoop环境变量配置成功。

在这里插入图片描述

spark环境变量是否生效与本地spark是否安装成功

测试方式：继续在上述命令行中执行 spark-shell，出现如下界面结果，说明spark系统环境变量配置成功。

在这里插入图片描述

如有报错，可参看博文《windows下Pyspark开发环境搭建》解决方式。

测试winutils.exe 版本是否与操作系统兼容

测试方式：在命令行中执行：cd /d %SPARK_HOME%\bin切换到指定目录，然后执行：winutils.exe ls，结果如下图所示。

在这里插入图片描述
如果有弹窗提示，可以从网上再找下对应hadoop版本的winutils.exe即可。

第六步：python环境安装pyspark

如果已安装的python版本和本文提供的版本不一致，可以新建一个python版本环境。当然，保险起见，无论是否一致，都可以在anaconda中新建一个python环境，如下图所示，可以建立指定版本的python环境；

在这里插入图片描述

然后，启动Anaconda Prompt ，执行 conda activate 新建的环境名称 ，如下图所示，确认新环境启动成功。

在这里插入图片描述

然后执行：pip install pyspark py4j ，安装pyspark和py4j模块（因博主已安装，所以提示如下图）

在这里插入图片描述

三、本地远程集群相关配置操作方式

因暂无可直连配置的集群，因此参考博文《windows下Pyspark开发环境搭建》[^2] 信息，暂时整理记录如下，以便后续使用。

配置本地window的hosts文件连接集群

将集群各节点IP对应别名，配置在windows下的hosts文件中，从而可以本地直连使用集群环境。

第一步：查看linux集群各节点信息。执行命令：cat /etc/hosts

在这里插入图片描述

第二步：配置到windows下的hosts文件。本地host文件目录 : C:\Windows\System32\Drivers\etc\hosts 添加集群节点信息

在这里插入图片描述

第三步：对每个节点做如下同样的测试，保证各节点ping通。

在这里插入图片描述

第四步：将集群相关配置文件同步window本地。由于要远程连接Linux集群，需要远程服务器上以下四个配置文件同步到**%SPARK_HOME%\conf**目录下，四个配置文件如下：

core-site.xml --由于hdfs是基本框架，两个都个同步
hdfs-site.xml
yarn-site.xml --作远程操作要使用
hive-site.xml --有hive操作则要同步

第五步：设置环境变量YARN_CONF_DIR。环境变量设置结果如下：

**第六步：测试远程连接spark。**命令 pyspark --master yarn --deploy-mode client --name ‘test’，如下，则说明成功了。

在这里插入图片描述

第七步：如果报错，则设置环境变量YARN_CONF_DIR。环境变量设置结果：YARN_CONF_DIR ：%SPARK_HOME%\conf

在这里插入图片描述

Windows下Spyder远程连接pyspark配置

针对全局：

将 %SPARK_HOME%\python\lib 目录下 py4j-0.10.6-src.zip 与 pyspark.zip解压缩；
然后放到anaconda目录 D:\ProgramData\anaconda3\Lib\site-packages 目录下即可。

针对指定环境：
在放在指定环境的Lib\site-packages 目录下。（ps：pip install py4j pyspark后，该目录下也会有配置信息，可以启动对应环境的spyder，即可调用）

Windows下pyspark连接Hbase操作

连接Hbase需要集群相关的配置文件与jar包。

第一步：将集群上的hbase-site.xml配置文件同步到本地windows的 %SPARK_HOME%\conf 目录下

在这里插入图片描述

第二步：将连接hbase的集群相关jar同步到 %SPARK_HOME%\jars目录下

将集群上CDH的安装目录下对应hbase 的lib库目录下的jar饱全部同步下来，如下是我集群的目录：

/data/opt/cloudera-manager/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hbase/lib/
/data/opt/cloudera-manager/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hbase

不清楚在哪个安装目录，用以下命令在确定： find /data/ -name hbase*.jar

在这里插入图片描述

第三步：将metrics-core-2.2.0.jar 同步下来

在这里插入图片描述

第四步：将SHC编译好的shc-core-spark2.3.0-hbase1.2.0.jar也放在%SPARK_HOME%\jars目录下，并上传到集群上spark2安装目录下，这样就不需要在启动部署spark程序时指定jar包。

/data/opt/cloudera-manager/cloudera/parcels/SPARK2/lib/spark2/jars/

在这里插入图片描述

测试spyder连接测试集群是否成功。测试代码：

from pyspark.sql import SparkSession
import time
from pyspark import SQLContextprint("开始启动会话..................")
spark=SparkSession.builder \.master("yarn-client") \.appName('test spyder') \.config("spark.some.config.option", "some-value") \.config("spark.dynamicAllocation.enabled", "false") \.config("hive.exec.dynamic.partition.mode", "nonstrict") \.config("spark.executor.instances", "3")\.enableHiveSupport()\.getOrCreate()
print("完成启动会话..................")dep = "org.apache.spark.sql.execution.datasources.hbase"
#查询表结构
catalog = """{"table":{"namespace":"default", "name":"student"},"rowkey":"key","columns":{"rowkey":{"cf":"rowkey", "col":"key", "type":"string"},"age":{"cf":"info", "col":"age", "type":"string"},"name":{"cf":"info", "col":"name", "type":"string"}}}
"""sql_sc = SQLContext(spark)
#从hbage表查询数据
df = sql_sc.read.options(catalog = catalog).format(dep).load()
#将表数据注册为临时表，并展示出来
df.createOrReplaceTempView("test1")
spark.sql("select * from test1").show()
spark.stop()

结果如下，则说明配置成功。
在这里插入图片描述

四、本地spyder测试本地pyspark

测试脚本1：

from pyspark.sql import SparkSession
import timeprint("开始启动会话..................")
ss = SparkSession.builder \.appName("Test PySpark") \.master("local[*]") \.getOrCreate()
print("完成启动会话..................")print("开始parallelize启动..................")
sc=ss.sparkContext
data=sc.parallelize(range(1000),7)
print(data.count())
print("结束parallelize..................")ss.stop()

测试结果如下，说明成功了。
在这里插入图片描述

五、结语

本地学习使用pyspark，用上述描述的第二节内容**《二、本地单机spark环境配置详细步骤》**即可配置完成本地环境。每一次安装，可能都会遇到新问题，多尝试查找网上给的一些解决方案，终会找到出路！希望本文也可以给路过的你，有所帮助。
在这里插入图片描述

参考教程

《windows搭建pyspark环境详细教程》
《windows下Pyspark开发环境搭建》
https://repo.anaconda.com/archive/
https://soft.3dmgame.com/down/204154.html
https://archive.apache.org/dist/hadoop/common/
https://www.oracle.com/java/technologies/downloads/#java8

Windows环境本地配置pyspark环境详细教程

目录一、背景简记二、本地单机spark环境配置详细步骤第一步：python环境安装第二步：安装jdk及配置环境变量安装包下载安装环境变量配置第三步：安装Spark安装包下载安装配置环境变量第四步：安装hadoop安装包下载安装配置环境变量…...

编程日记 2025/5/31 17:28:56

第8篇：从入门到精通：掌握Python异常处理

第8篇：异常处理内容简介本篇文章将深入探讨Python中的异常处理机制。您将学习异常的基本概念与类型，掌握使用try-except块处理异常的方法，了解finally语句的作用，以及如何抛出和定义自定义异常。通过丰富的代码示例&#xff0…...

编程日记 2025/6/4 3:44:31

聚铭网络6款产品入选CCIA《网络安全专用产品指南》

近日，中国网络安全产业联盟CCIA正式发布《网络安全专用产品指南》（第二版）（以下简称《指南》）。聚铭网络凭借突出技术优势、创新能力以及市场积累，旗下安全产品成功入选防火墙、网络安全审计、日志分析、网…...

编程日记 2025/6/4 17:25:14

高等数学学习笔记 ☞ 不定积分的积分方法

1. 第一换元积分法 1. 基础概念：形如的过程，称为第一换元积分法。 2. 核心思想：通过对被积函数的观察(把被积函数的形式与积分表的积分公式进行比较)，把外部的部分项拿到的内部(求原函数)， 然后进行拼凑，…...

编程日记 2025/6/3 5:20:01

08、如何预防SQL注入

目录 1、分析及其存在哪些危险 2、预防SQL注入 1、分析及其存在哪些危险原理： SQL 注入是一种常见的网络攻击手段，攻击者通过在用户输入中插入恶意的 SQL 语句，利用程序对用户输入处理不当的漏洞，使恶意 SQL 语句被数据库服务器执行。通常发生在应用程序将用户输入直接拼…...

编程日记 2025/5/28 7:18:38

如何发布自己的第一个Chrome扩展程序

如何发布自己的Chrome扩展程序只需要六步即可完成Chrome扩展程序的发布 （1）首先打开google chrome 应用商城注册开发者账号的页面 （2）现在进行一个绑卡支付5美元的一次性注册费用即可。【不知道如何绑卡的支付的，文…...

编程日记 2025/6/1 0:30:05

ubuntu开机自启，其他方式

在 Ubuntu 22.04 中，如果不使用 .service 文件，仍然有其他方法可以让某个 .sh 文件随着系统启动而自动运行。以下是几种替代方法： 方法一：使用 crontab 的 reboot 选项 crontab 是 Linux 中用于设置周期性被执行的任务的工具。通…...

编程日记 2025/6/3 16:23:16

容器渗透横向

本质上要获得 1.获得容器IP段 2.获得主机IP段 3.获得本机IP 4.通过CNI或Docker0等扫描本机端口 Flannel 容器信息 rootubuntu-linux-22-04-desktop:/home/parallels/Desktop# k get po -A -o wide NAMESPACE NAME …...

编程日记 2025/5/30 16:58:51

软件测试—接口测试面试题及jmeter面试题

一，接口面试题 1.接口的作用实现前后端的交互，实现数据的传输 2.什么是接口测试接口测试就是对系统或组件之间的接口进行测试，主要是校验数据的交换、传递和控制管理过程，以及相互逻辑关系 3.接口测试必要性 1.可以发现很…...

编程日记 2025/6/3 10:12:49

ansible之playbook剧本

Playbook 1.playbook的组成部分开头用 --- 表示，表示是一个yaml文件，但是可以忽略不写 Tasks（任务） 包含了在目标主机上执行的操作，操作还是由模板来执行。每一个任务都是一个ansible的模块，调用系统命…...

编程日记 2025/5/30 5:00:55

基于 Python 的财经数据接口库：AKShare

AKShare 是基于 Python 的财经数据接口库，目的是实现对股票、期货、期权、基金、外汇、债券、指数、加密货币等金融产品的基本面数据、实时和历史行情数据、衍生数据从数据采集、数据清洗到数据落地的一套工具，主要用于学术研究目的。安装安装手册见…...

编程日记 2025/5/29 15:25:36

强网杯RS加密签名伪造及PyramidWeb利用栈帧打内存马

RS加密签名伪造及PyramidWeb利用栈帧打内存马今年强网杯的一个新框架源代码如下 from wsgiref.simple_server import make_server from pyramid.config import Configurator from pyramid.events import NewResponse from pyramid.response import Response import utiluser…...

编程日记 2025/6/3 13:39:54

Java基础——概念和常识(语言特点、JVM、JDK、JRE、AOT/JIT等介绍)

我是一个计算机专业研0的学生卡蒙Camel🐫🐫🐫（刚保研） 记录每天学习过程（主要学习Java、python、人工智能），总结知识点（内容来自：自我总结网上借鉴&#xff0…...

编程日记 2025/6/2 22:18:35

搭建Node.js后端

从头开始搭建一个Node.js后端，并实现查询历史数据的功能，下面是详细的步骤说明，包括环境配置、项目初始化、代码编写、以及服务器启动。 1. 环境配置 1.1 安装 Node.js 和 npm 首先，你需要在你的电脑上安装 Node.js 和 npm&…...

编程日记 2025/6/3 19:23:35

RV1126+FFMPEG推流项目(9)AI和AENC模块绑定，并且开启线程采集

前面两篇已经交代AI和AENC模块的配置，这篇就让这两个模块绑定起来，绑定的原因是，Aenc从Ai模块拿到采集的原始数据进行编码。使用 RK_MPI_SYS_Bind 把 AI 节点和 AENC 进行绑定，其中 enModId 是模块 ID 号选择的是 RK_ID_AI、s32C…...

编程日记 2025/6/3 4:01:32

vue编写一个可拖动的模块，并可以和任何其他组件组合使用

实现思路： 使用 Vue 的自定义指令（directive）来处理拖动逻辑。在 mounted 钩子中添加鼠标事件监听器，以实现拖动功能。在 unmounted 钩子中移除鼠标事件监听器，防止内存泄漏。代码示例： <template&g…...

编程日记 2025/6/4 8:22:46

Spring6.0新特性-HTTP接口：使用@HttpExchange实现更优雅的Http客户端

文章目录一、概述二、使用1、创建接口HttpExchange方法2、创建一个在调用方法时执行请求的代理3、方法参数4、返回值5、错误处理（1）为RestClient（2）为WebClient（3）为RestTemplate 注意一、概述官方文档…...

编程日记 2025/6/3 3:35:51

【蓝桥杯】Python算法——求逆元的两种算法

目录零、前言一、逆元二、扩展欧几里得算法三、费马小定理四、总结零、前言距离25年蓝桥杯还有大概三个月时间，接下来重点应该会放在蓝桥杯备考方向，一起努力，一起加油一、逆元什么是逆元？这是数论中的一个基本概念。如果存…...

编程日记 2025/5/30 10:54:01

音频语言模型与多模态体系结构

音频语言模型与多模态体系结构多模态模型正在创造语言、视觉和语音等以前独立的研究领域的协同效应。这些模型使用通用架构，将每种模式视为不同的“token”，使它们能够以一种与人类认知非常相似的方式联合建模和理解世界。可以将多模态分为两个主要领域：输入空间（…...

编程日记 2025/6/2 10:36:23

Redis的安装和配置、基本命令

一、实验目的本实验旨在帮助学生熟悉Redis的安装、配置和基本使用，包括启动Redis服务、使用命令行客户端进行操作、配置Redis、进行多数据库操作以及掌握键值相关和服务器相关的命令。二、实验环境准备 1. JAVA环境准备：确保Java Development Kit …...

编程日记 2025/6/2 16:41:56

2025.1.17——三、SQLi regexp正则表达式|

题目来源：buuctf [NCTF2019]SQLi1 目录一、打开靶机，整理信息二、解题思路 step 1：正常注入 step 2：弄清关键字黑名单 1.目录扫描 2.bp爆破 step 3：根据过滤名单构造payload step 4：regexp正则注…...

编程日记 2025/6/1 4:05:20

flutter 常用UI组件

文章目录 1. Toast 文本提示框oktoastbot_toast2. loading 加载窗flutter_easyloading3. 对话框gex dialog4.下拉刷新pull_to_refresh5. pop 窗custom_pop_up_menu6. pin code 密码框pinput7. 二维码qr_flutter8. swiper 滚动组件carousel_sliderflutter_swiper_view9. Badge 角…...

编程日记 2025/6/2 19:44:01

基于微信小程序的健身房预约管理系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：…...

编程日记 2025/6/4 14:59:49

Windows远程桌面网关出现重大漏洞

微软披露了其Windows远程桌面网关（RD Gateway）中的一个重大漏洞，该漏洞可能允许攻击者利用竞争条件，导致拒绝服务（DoS）攻击。该漏洞被标识为CVE-2025-21225，已在2025年1月的补丁星期二更新中得到…...

编程日记 2025/6/3 15:14:21

如何学习Transformer架构

Transformer架构自提出以来，在自然语言处理领域引发了革命性的变化。作为一种基于注意力机制的模型，Transformer解决了传统序列模型在并行化和长距离依赖方面的局限性。本文将探讨Transformer论文《Attention is All You Need》与Hugging Face Transform…...

编程日记 2025/6/2 9:53:45

RPA赋能内容创作：打造小红书入门词语图片的全自动化流程

🌟 嗨，我是LucianaiB！ 🌍 总有人间一两风，填我十万八千梦。 🚀 路漫漫其修远兮，吾将上下而求索。用RPA全自动化批量生产【入门词语】图片做小红书商单，保姆级工具开发教程最近由…...

编程日记 2025/5/30 11:28:49

Quantum supremacy using a programmable superconducting processor 全文翻译，配公式和图

2019年，谷歌的量子霸权文章， 原文链接： https://www.nature.com/articles/s41586-019-1666-5 第一稿，公式和视图后续再加。。。 Quantum supremacy using a programmable superconducting processor 使用可编程超导处理器的量…...

编程日记 2025/6/3 22:14:09

Jupyter notebook中运行dos指令运行方法

Jupyter notebook中运行dos指令运行方法目录 Jupyter notebook中运行dos指令运行方法一、DOS(磁盘操作系统）指令介绍1.1 DOS介绍1.2 DOS指令1.2.1 DIR - 显示当前目录下的文件和子目录列表。1.2.2 CD 或 CHDIR - 改变当前目录1.2.3 使用 CD .. 可以返回上一级目录1…...

编程日记 2025/6/1 12:40:24

个人vue3-学习笔记

声明：这只是我个人的学习笔记（黑马），供以后复习用。一天学一点，随时学随时更新。明天会更好的！这里只给代码，不给运行结果，看不出来代码的作用我也该进厂了。。。。。 Day1 使用create-vue创建项目。 1.检查版本。 node -v 2.创建项目 npm init vue@latest 可…...

编程日记 2025/6/1 17:01:50

Ubuntu安装搜狗输入法

Ubuntu安装搜狗输入法官网完整安装步骤调整默认输入法官网搜狗输入法 - 官网：https://shurufa.sogou.com/ 搜狗输入法Linux版 - 首页：https://shurufa.sogou.com/linux 搜狗输入法Linux版 - 安装指南：https://shurufa.sogou.com/linux/gu…...

编程日记 2025/6/2 7:18:46

【C】链表算法题2 -- 反转链表

leetcode链接https://leetcode.cn/problems/reverse-linked-list/description/https://leetcode.cn/problems/reverse-linked-list/description/https://leetcode.cn/problems/reverse-linked-list/description/https://leetcode.cn/problems/reverse-linked-list/description/…...

编程日记 2025/6/2 7:17:51

目录

一、背景简记

二、本地单机spark环境配置详细步骤

第一步：python环境安装

第二步：安装jdk及配置环境变量

安装包下载安装

环境变量配置

第三步：安装Spark

安装包下载安装

配置环境变量

第四步：安装hadoop

安装包下载安装

配置环境变量

第五步：环境测试

测试hadoop环境变量是否配置成功

spark环境变量是否生效与本地spark是否安装成功

测试winutils.exe 版本是否与操作系统兼容

第六步：python环境安装pyspark

三、本地远程集群相关配置操作方式

配置本地window的hosts文件连接集群

Windows下Spyder远程连接pyspark配置

Windows下pyspark连接Hbase操作

四、本地spyder测试本地pyspark

五、结语

参考教程

相关文章：