当前位置：首页 > news >正文

从0开始配置spark-local模式

news 来源：原创 2025/7/27 19:39:28

安装Spark的过程就是下载和解压的过程。接下来的操作，我们把它上传到集群中的节点，并解压运行。

1.启动虚拟机

2.通过finalshell连接虚拟机，并上传安装文件到 /opt/software下

3.解压spark安装文件到/opt/module下
tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/

4.重命名，把解压后的文件夹改成spark-local。因为后续我们还会使用其他的配置方式，所以这里先重命名一次。mv是linux的命令，

mv spark-3.3.1-bin-hadoop3 spark-local

（六）配置环境变量
1.打开etc/profile.d/my_env.sh文件中，补充设置spark的环境变量。

# 省略其他...

# 添加spark 环境变量

export SPARK_HOME=/opt/module/spark-local

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

2.使用 source /etc/profile 命令让环境变量生效

（七）单机模式运行第一个Spark程序
这里使用单机模式快运行第一个Spark程序，让大家有个基本的印象。在安装Spark时，它就提供了一些示例程序，我们可以直接来调用。进入到spark-local，运行命令spark-submit命令。

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10

或者写成

$ cd /opt/module/spark-local
$ bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.3.1.jar \

这里的 \ 是换行输入的意思，整体的代码就只有一句，只不过太长了，我们把它拆开成几个部分来输入，其中\ 的意思就是这里写不下，写在下一行。

从0开始配置spark-local模式

安装Spark的过程就是下载和解压的过程。接下来的操作，我们把它上传到集群中的节点，并解压运行。 1.启动虚拟机 2.通过finalshell连接虚拟机，并上传安装文件到 /opt/software下 3.解压spark安装文件到/opt/module下 tar -zxvf spark-3.3.1-…...

编程日记 2025/7/27 19:39:28

CSS基础-即学即用 -- 笔记1

目录前言CSS 基础1. 层叠样式表来源理解优先级源码顺序经验法则继承inherit 关键字initial 关键字 2. 相对单位em 和 rem响应式面板视口的相对单位使用vw定义字号使用calc()定义字号自定义属性（即CSS变量） 3. 盒模型调整盒模型前言只需一分钟就能学会…...

编程日记 2025/7/27 19:21:02

日志文件太大，如何分卷压缩便于传输

在IT系统维护和开发工作中，日志文件的作用举足轻重，它不仅记录了系统运行过程中的详细信息，还能帮助技术人员诊断问题、追踪事件和分析性能。然而，随着系统的长期运行，日志文件可能会迅速膨胀，特别是在高…...

编程日记 2025/7/27 19:30:36

【Django】设置让局域网内的人访问

操作步骤 1. 命令行窗口下查询【本机ip】 ipconfig2. Django项目的全局设置【settings.py】中进行如下设置 ALLOWED_HOSTS ["本机ip"]3. 启动Django项目：命令行下执行如下命令 python manage.py runserver 0.0.0.0:80004. 测试效果：浏览器…...

编程日记 2025/7/27 19:17:42

智慧教室电子班牌-智能管理系统源码，‌后端‌基于Spring Boot框架，前端‌使用Vue.js框架进行组件化开发

智慧班牌系统是一种集成了多种功能的电子班牌，包括校园信息发布、综合素质评价、考勤管理、家校互通、教务管理、考场管理和成绩分析等。它为班级和学校提供了一个多层次、多内容的信息发布平台，同时也为教师、家长和学生提供了一个安全、快捷、全面的互…...

编程日记 2025/7/27 19:24:18

[密码学实战]密评考试训练系统v1.0程序及密评参考题库（获取路径在文末）

[密码学实战]密评考试训练系统v1.0程序及密评参考题库引言：密评考试的重要性与挑战商用密码应用安全性评估（简称"密评"）作为我国密码领域的重要认证体系，已成为信息安全从业者的必备技能。根据国家密码管理局最新数据，截至2024年6月，全国仅有3000余人持有…...

编程日记 2025/7/26 16:31:50

Vue如何获取Dom

在Vue中获取DOM元素可以通过几种方法：1、使用模板引用（ref），2、使用事件绑定，3、使用生命周期钩子。这些方法各有优缺点，适用于不同的场景。本文将详细介绍这些方法的使用方式及其适用场景，帮助…...

编程日记 2025/7/27 19:16:00

AI大模型 —— 国产大模型 —— 华为大模型

有这么一句话，那就是AI大模型分两种，一种是大模型；另一种是华为大模型。如果从技术角度来分析，华为的技术不论是在软件还是硬件都比国外的大公司差距极大，甚至有些技术评论者认为华为的软硬件技术至少落后2.5代&#…...

编程日记 2025/7/27 19:23:06

LX4-数据手册相关

数据手册相关一如何获取数据手册 ST官网：www.st.com 中文社区网： https://www.stmcu.com.cn/Designresource/list/STM32F1/document/datasheet 淘宝的商品详情页二如何阅读数据手册芯片手册定义：由芯片制造商提供，详细…...

编程日记 2025/7/27 19:39:01

华为VRP系统知识总结及案例试题

目录 🧠 华为VRP系统优化整合笔记（完整版）一、VRP系统概述📌 什么是VRP（Versatile Routing Platform）？🚀 VRP系统发展历程二、设备文件系统与存储结构📂 常见文件类型&…...

编程日记 2025/7/27 19:24:58

深度解析云计算：概念、优势与分类全览

以下是对云计算概念、优点和分类更详细的介绍： 一、云计算的概念云计算是一种通过互联网提供计算服务的模式，它基于虚拟化、分布式计算、网络存储等一系列先进技术，将计算资源进行整合和管理，形成一个庞大的资源池。这些资源包…...

编程日记 2025/7/27 19:36:28

剑指offer经典题目（五）

目录栈相关二叉树相关栈相关题目一：定义栈的数据结构，请在该类型中实现一个能够得到栈中所含最小元素的 min 函数，输入操作时保证 pop、top 和 min 函数操作时，栈中一定有元素。OJ地址图示如下。主要思想：我们…...

编程日记 2025/7/27 19:31:42

Coze平台创建AI智能体的详细步骤指南

一、创建智能体的基础流程注册与登录访问Coze官网（www.coze.cn），使用邮箱或手机号注册账号并登录。创建智能体在控制台点击左侧“”按钮，选择“创建智能体”，输入名称（如“职场鼓励师”&…...

编程日记 2025/7/27 19:32:20

电商数据自动化采集方案：淘宝商品详情 API 接入与数据处理技巧

在电商行业高速发展的今天，数据已成为企业决策和竞争的核心要素。通过自动化采集淘宝商品详情数据，企业能够实时掌握市场动态、优化商品策略、提升用户体验。本文将详细介绍基于淘宝商品详情 API 的自动化采集方案，涵盖 API 接入流程、数据采…...

编程日记 2025/7/27 19:35:19

高并发内存池项目

高并发内存池项目一、项目介绍二、什么是内存池2.1池化技术2.2内存池2.3内存池主要解决的问题2.3.1外部碎片2.3.2内部碎片 2.4malloc的了解三、定长内存池的实现3.1 通过类型模板参数表示定长内存池3.2定长内存池的实现原理四、高并发内存池的框架设计4.1ThreadCache的实现4…...

编程日记 2025/7/27 19:22:33

你学会了些什么211201？--http基础知识

概念 HTTP–Hyper Text Transfer Protocol，超文本传输协议；是一种建立在TCP上的无状态连接（短连接）。整个基本的工作流程是：客户端发送一个HTTP请求（Request ），这个请求说明了客户端…...

编程日记 2025/7/27 19:30:38

储能集装箱电池簇安装支架结构设计（大纲）

储能集装箱电池簇安装支架结构设计第一章绪论 1.1 研究背景与意义储能技术在能源转型中的战略地位电池簇在储能系统中的核心作用支架结构对电池安全稳定运行的重要性研究电池簇安装支架的工程价值与应用前景 1.2 国内外研究现状国际先进储能集装箱支架设计技术概述国内…...

编程日记 2025/7/27 19:22:34

解决Chrome浏览器访问https提示“您的连接不是私密连接”的问题

如何绕过Chrome的“您的连接不是私密连接”证书警告页面在使用Chrome浏览器访问一些自签名或测试用的HTTPS网站时，常常会遇到这样一个拦截页面： “您的连接不是私密连接” 虽然这是Chrome出于安全考虑的设计，但对于开发者或测试人员来说&am…...

编程日记 2025/7/27 19:24:59

前端笔记-AJAX

什么是AJAX？ AJAX（Asynchronous JavaScript and XML）就是异步的JS和XML， 是一种无需刷新页面即可与服务器交换数据并更新部分网页内容的技术。它的核心是通过 JavaScript 在后台发送 HTTP 请求，接收服务器返回的…...

编程日记 2025/7/27 19:18:55

单片机可以用来做机器人吗？

不少同学心里都有个疑问：学了单片机到底能不能用来制作机器人呢？答案是毋庸置疑的，能！但具体该如何操作，又得掌握哪些知识呢？今天，咱们就用通俗易懂的话语，详细地为大家一步步剖析清楚。一、单片机 —— 机器人的 “智慧大脑” 单片机就如同机器人的大脑一般，通过编…...

编程日记 2025/7/27 19:20:18

VS Code + GitHub：高效开发工作流指南

目录一、安装 & 基本配置 1.下载 VS Code 2.安装推荐插件（打开侧边栏 Extensions） 3.设置中文界面（可选）二、使用 VS Code 操作 Git/GitHub 1.基本 Git 操作（不输命令行！） 2.连接 GitHub（第一次使用）三、克隆远程仓库到 VS Code 方法一（推荐）：方…...

编程日记 2025/7/26 16:31:24

Linux系统编程 day7、8 信号(周日划水了)

信号相关概念信号这章难就难在其抽象。信号共性：简单、不能携带大量数据、满足条件才发送。信号的特质：信号是软件层面上的“中断”，一旦信号产生，无论程序执行到什么位置，必须立即停止，处理信号&…...

编程日记 2025/7/26 16:31:23

.NET WPF 三维模型

文章目录 .NET WPF 三维模型1 Viewport3D1.1 3D 坐标系1.2 核心组件1.2.1 相机 (Camera)1.2.2 光源 (Light)1.2.3 3D 模型（Model3D） 1.3 模型纹理（Material）1.4 完整示例：创建坐标轴与立方体1.5 转换模型1.6 性能1.6.1…...

编程日记 2025/7/26 23:40:19

iOS 中的虚拟内存 (理解为什么需要虚拟内存)

什么叫“虚拟地址空间”？ 一句话：它是 CPU 看得见、App 以为自己独享，但实际上会被内核和硬件（MMU）动态翻译到真实物理内存的一整块“虚拟地图”。 1. 背景：为什么要“虚拟”？ 需求虚拟地址空…...

编程日记 2025/7/26 16:31:19

算法之动态规划

动态规划动态规划1. 核心思想2. 基本步骤3. 关键概念3.1 基本概念3.2 优化技巧 4. 常见应用场景5. 典型案例5.1 斐波那契数列5.2 背包问题5.2.1 0-1背包问题5.2.2 完全背包问题 5.3 最短路径——Floyd算法5.4 最长公共子序列（LCS）5.5 最长递增子序列&am…...

编程日记 2025/7/25 23:29:30

leetcode0130. 被围绕的区域- medium

1 题目：被围绕的区域官方标定难度：中给你一个 m x n 的矩阵 board ，由若干字符 ‘X’ 和 ‘O’ 组成，捕获所有被围绕的区域： 连接：一个单元格与水平或垂直方向上相邻的单元格连接。区域&#xff1a…...

编程日记 2025/7/26 16:31:16

衡石科技ChatBI--飞书数据问答机器人配置详解（附具体操作路径和截图）

先决条件需要在衡石系统认证方式中配置好飞书认证方式，具体步骤详见认证方式中关于飞书的部分。先完成这部分配置后，再进行以下步骤。飞书中创建机器人应用 1. 创建飞书应用在飞书企业自建应用管理中创建应用，设置logo&#xff…...

编程日记 2025/7/26 16:31:14

25.解决中医知识问答删除历史对话功能后端处理请求时抛出异常

ChatTest.vue:176 DELETE http://localhost:8080/api/chat/conversations/20 500 (Internal Server Error) deleteConversation ChatTest.vue:176 onClick ChatTest.vue:22 ChatTest.vue:185 删除失败 AxiosError {message: Request failed with status code 500, name: Axio…...

编程日记 2025/7/26 16:31:13

相关文章：