当前位置：首页 > news >正文

使用 Docker 部署 Apache Spark 集群教程

news 来源：原创 2025/9/21 2:43:24

简介

Apache Spark 是一个强大的统一分析引擎，用于大规模数据处理。本文将详细介绍如何使用 Docker 和 Docker Compose 快速部署一个包含一个 Master 节点和两个 Worker 节点的 Spark 集群。这种方法不仅简化了集群的搭建过程，还提供了资源隔离、易于扩展等优势。

前置条件

在开始之前，请确保你的环境中已经准备好了以下组件：

安装并运行 Docker Engine。
安装 Docker Compose，用于定义和运行多容器应用。
主机能够连接到 Docker Hub 以下载所需的镜像。

Docker Compose 文件配置

创建 `docker-compose.yml`

首先，创建一个名为 docker-compose.yml 的文件，并添加如下内容：

version: '3'
services:master:image: bitnami/spark:3.5.4container_name: masteruser: rootenvironment:- SPARK_MODE=master- SPARK_MASTER_WEBUI_PORT=8080- SPARK_MASTER_PORT=7077ports:- '8080:8080'- '7077:7077'volumes:- ./python:/pythonworker1:image: bitnami/spark:3.5.4container_name: worker1user: rootenvironment:- SPARK_MODE=worker- SPARK_MASTER_URL=spark://master:7077- SPARK_WORKER_MEMORY=1G- SPARK_WORKER_CORES=1depends_on:- masterworker2:image: bitnami/spark:3.5.4container_name: worker2user: rootenvironment:- SPARK_MODE=worker- SPARK_MASTER_URL=spark://master:7077- SPARK_WORKER_MEMORY=1G- SPARK_WORKER_CORES=1depends_on:- master
networks:default:driver: bridge

启动 Spark 集群

进入保存 docker-compose.yml 文件的目录，执行以下命令启动集群：

docker compose up -d

这将构建并以后台模式启动所有容器。

验证集群状态

成功启动后，您可以通过浏览器访问 {您的虚拟机IP}:8080 查看 Spark Master 的 Web UI，确认 worker1 和 worker2 是否已成功连接。

运行 Spark 作业

为了测试集群功能，可以提交一个简单的 Python 脚本 pi.py 计算圆周率 Pi 的近似值。脚本内容如下：

from pyspark.sql import SparkSessionif __name__ == "__main__":spark = SparkSession.builder.appName("Pi Calculator").getOrCreate()numSamples = 100000000count = spark.sparkContext.parallelize(range(1, numSamples)).count()print(f"Pi is roughly {4.0 * count / numSamples}")spark.stop()

将此脚本放置于 ./python 目录下，并通过以下命令提交作业：

docker-compose exec master /opt/bitnami/spark/bin/spark-submit --master spark://master:7077 /python/pi.py

结束语

通过上述步骤，您已经成功地使用 Docker 部署了一个包含一个 Master 节点和两个 Worker 节点的 Spark 集群。这种部署方式不仅快速便捷，而且便于根据需求调整配置（如增加 Worker 节点数量或调整资源配置）。希望这篇教程能帮助您快速上手 Spark 集群的 Docker 部署！

使用 Docker 部署 Apache Spark 集群教程

简介 Apache Spark 是一个强大的统一分析引擎，用于大规模数据处理。本文将详细介绍如何使用 Docker 和 Docker Compose 快速部署一个包含一个 Master 节点和两个 Worker 节点的 Spark 集群。这种方法不仅简化了集群的搭建过程，还提供了资源隔离、易于扩…...

编程日记 2025/9/21 2:43:24

基于暗通道先验的图像去雾算法解析与实现

一、算法背景何凯明团队于2009年提出的暗通道先验去雾算法《single image haze removal using dark channel prior》，通过统计发现：在无雾图像的局部区域中，至少存在一个颜色通道的像素值趋近于零。这一发现为图像去雾提供了重要的理论依据…...

编程日记 2025/9/20 18:45:42

深入内存调试：Valgrind工具的终极指南（转）

在软件开发的世界里，代码质量就是生命线，而内存管理又是这条生命线中最脆弱的一环。内存泄漏，哪怕只是微小的一处，日积月累，都可能对整个系统造成灾难性的打击，无论是大型企业级应用、实时性要求极高的嵌入…...

编程日记 2025/9/21 2:43:22

深入解析MediaPipe：强大的实时计算机视觉框架

深入解析MediaPipe：强大的实时计算机视觉框架 1. 引言在计算机视觉应用的快速发展中，实时处理和低延迟成为了许多应用的关键需求。Google 开发的 MediaPipe 是一个强大的开源框架，它能够高效处理手势识别、姿态估计、物体检测、语音处理 …...

编程日记 2025/9/20 13:19:36

DeepSeek 和 ChatGPT 在特定任务中的表现：逻辑推理与创意生成

🎁个人主页：我们的五年 🔍系列专栏：Linux网络编程 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 Linux网络编程笔记： https://blog.cs…...

编程日记 2025/9/20 10:31:31

大白话实战Sentinel

Sentinel是SpringCloudAlibaba提供的用来做服务保护的框架，而服务保护的常见手段就是限流和熔断降级。在大型分布式系统里面，由于微服务众多，所以服务之间的稳定性需要做特别关注，Sentinel的核心包就提供了从多个维度去保护服务稳定的策略，而且这些保护策略都可以连接上Se…...

编程日记 2025/9/21 2:41:26

【AI面板识别】

题目描述 AI识别到面板上有N（1 ≤ N ≤ 100）个指示灯，灯大小一样，任意两个之间无重叠。由于AI识别误差，每次别到的指示灯位置可能有差异，以4个坐标值描述AI识别的指示灯的大小和位置(左上角x1,y1&#x…...

编程日记 2025/9/20 11:37:27

创建docker-compose.yaml version: "3.9" #版本号 services:kafka:image: apache/kafka:3.9.0container_name: kafkahostname: kafkaports:- 9092:9092 # 容器内部之间使用的监听端口- 9094:9094 # 容器外部访问监听端口environment:KAFKA_NODE_ID: 1KAFKA_PROCES…...

编程日记 2025/9/21 2:41:05

大道至简少字全意易经的方式看 jvm基础、内存模型、 gc、内存异常、内存调优实战案例、类加载机制、双亲委派模型适用于懂而久未用回忆，不懂而需明正理而用

目录介绍内存模型一、线程私有区域二、线程共享区域 1.堆Heap 2. 方法区Method Area 3.运行时常量池 Runtime constant Pool 三、直接内存(Direct Memory) 四、内存异常与调优五、总结对比类加载机制一、类加载的三大阶段二、双亲委派模型三、类加载的特…...

编程日记 2025/9/21 2:43:12

【Java学习】继承

一、继承子类继承父类，子类这个类变量的引用在原有的指向子类自己类变量空间的原有访问权限上，增加上了父类类变量空间的访问权限，此时子类类变量指向的空间变为了原来子类类变量空间加上父类类变量空间，此时子类类变量空间就变成…...

编程日记 2025/9/21 2:39:40

Ubuntu24安装MongoDB(解压版)

目录 0.需求说明1.环境检查2.下载软件2.1.下载MongoDB服务端2.2.下载MongoDB连接工具(可略过)2.3.检查上传或下载的安装包 3.安装MongoDB3.1.编辑系统服务3.2.启动服务3.3.客户端连接验证3.3.1.创建管理员用户 4.远程访问4.1.开启远程访问4.2.开放防火墙 0.需求说明问&#x…...

编程日记 2025/9/20 10:16:26

计算机毕业设计Python考研院校推荐系统考研分数线预测考研推荐系统考研可视化(代码+LW文档+PPT+讲解视频)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/9/21 2:38:52

Python 爬虫框架对比与推荐

Python 爬虫框架对比与推荐 Python 爬虫框架对比与推荐1. Scrapy1.1 框架介绍1.2 优点1.3 缺点1.4 适用场景 2. PySpider2.1 框架介绍2.2 优点2.3 缺点2.4 适用场景 3. Selenium3.1 框架介绍3.2 优点3.3 缺点3.4 适用场景 4. BeautifulSoup Requests（自定义方案&am…...

编程日记 2025/9/15 5:05:40

本地DeepSeek模型GGUF文件转换为PyTorch格式

接前文，我们在本地Windows系统上，基于GGUF文件部署了DeepSeek模型（DeepSeek-R1-Distill-Qwen-1.5B.gguf版本），但是GGUF是已经量化的版本，我们除了对其进行微调之外，无法对其训练，那么还有没有其他办法对本地的GGUF部署的DeepSeek模型进行训练呢？今天我们就反其道而行之…...

编程日记 2025/9/19 15:49:33

自动化测试框架搭建-单次接口执行-三部曲

目的判断接口返回值和提前设置的预期是否一致，从而判断本次测试是否通过代码步骤设计第一步：前端调用后端已经写好的POST接口，并传递参数第二步：后端接收到参数，组装并请求指定接口，保存返回第三…...

编程日记 2025/9/20 16:24:28

SAP F1搜索帮助添加自定义功能按钮

最近deepseek 比较火，好多伙伴把deep seek 调用集成到SAP 系统，集成需要方便的去查询问题，方便一点就是添加在F1搜索帮助的地方，看到有朋友问看自定义按钮怎么添加在F1的工具栏，跟踪了下代码，尝试了下&…...

编程日记 2025/9/18 18:25:20

Webpack，Vite打包的理解

Webpack 和 Vite 都是现代前端开发中常用的构建工具，用于打包和优化项目代码。尽管它们的目标相似，但在设计理念、工作方式和适用场景上存在显著差异。 Webpack Webpack 是一个模块打包工具，主要用于将多个模块（如 JavaScript、…...

编程日记 2025/9/19 16:33:26

ollama部署大模型，本地调用

Ollama是一个强大的大型语言模型平台，它允许用户轻松地下载、安装和运行各种大型语言模型。在本文中，我将指导你如何在你的本地机器上部署Ollama，并展示如何使用Python进行简单的API调用以访问这些模型。最近很多人在学习大模型的时候&…...

编程日记 2025/9/20 2:31:20

【ISO 14229-1:2023 UDS诊断（ECU复位0x11服务）测试用例CAPL代码全解析⑩】

ISO 14229-1:2023 UDS诊断【ECU复位0x11服务】_TestCase10 作者：车端域控测试工程师更新日期：2025年02月18日关键词：UDS诊断协议、ECU复位服务、0x11服务、ISO 14229-1:2023 TC11-010测试用例用例ID测试场景验证要点参考条款预期结果TC…...

编程日记 2025/9/12 2:34:49

opencv实时二维码识别的一种实现与思路分享

在嵌入式平台上比如 rk3568 这种弱鸡的平台，要做到实时视频处理就非常鸡肋，不像英伟达那种 deepstrem 什么的。开始的时候，我们使用python 下的 pyzbar + opencv opencv 读取摄像头的数据然后每帧送到 pyzbar 二维码识别函数里面进行处理，然后打印出识别的数字。结果，非常…...

编程日记 2025/9/19 17:00:28

【ISO 14229-1:2023 UDS诊断（ECU复位0x11服务）测试用例CAPL代码全解析⑫】

ISO 14229-1:2023 UDS诊断【ECU复位0x11服务】_TestCase12 作者：车端域控测试工程师更新日期：2025年02月18日关键词：UDS诊断协议、ECU复位服务、0x11服务、ISO 14229-1:2023 TC11-012测试用例用例ID测试场景验证要点参考条款预期结果TC…...

编程日记 2025/9/20 1:35:51

Jenkins同一个项目不同分支指定不同JAVA环境

背景一些系统应用，会为了适配不同的平台，导致不同的分支下用的是不同的gradle,导致需要不同的JAVA环境来编译，比如a分支需要使用JAVA11, b分支使用JAVA17。但是jenkins上，一般都是Global Tool Configuration 全局所有环境公用一个JAVA_HOME。尝试过用 Build 的Execut…...

编程日记 2025/9/20 19:49:07

小爱音箱连接电脑外放之后，浏览器网页视频暂停播放后，音箱整体没声音问题解决

背景 22年买的小爱音箱增强版play，小爱音箱连接电脑外放之后，浏览器网页视频暂停播放后，音箱整体没声音（一边打着游戏，一边听歌，一边放视频，视频一暂停，什么声音都没了，…...

编程日记 2025/9/20 3:17:39

AIGC（生成式AI）试用 21 -- Python调用deepseek API

1. 安装openai pip3 install openai########################## Collecting openaiUsing cached openai-1.61.1-py3-none-any.whl.metadata (27 kB) Collecting anyio<5,>3.5.0 (from openai)Using cached anyio-4.8.0-py3-none-any.whl.metadata (4.6 kB) Collecting d…...

编程日记 2025/9/18 16:17:00

使用linux脚本部署discuz博客(详细注释版)

使用脚本部署一个discuzz项目 1.显示当前环境状态防火墙状态 selinux状态 httpd状态由上可知，虚拟机已处于最初始状态 2.脚本编写 #!/bin/bash #这是一个通过脚本来部署discuzz博客 firewalld关闭 systemctl stop firewalld if [ $? -eq 0 ];then echo "…...

编程日记 2025/9/16 5:48:12

Kafka的生产者和消费者模型

Kafka的生产者和消费者模型是一种消息传递模式，以下是该模型的详细描述： 一、生产者（Producer） 定义：生产者是消息的生产者，它将消息发布到Kafka的主题（Topic）中。功能&#xff1…...

编程日记 2025/9/20 8:04:40

调用openssl实现加解密算法

由于工作中涉及到加解密，包括Hash（SHA256）算法、HMAC_SHA256 算法、ECDH算法、ECC签名算法、AES/CBC 128算法一共涉及5类算法，笔者通过查询发现openssl库以上算法都支持，索性借助openssl库实现上述5类算法。笔者用的op…...

编程日记 2025/9/19 1:39:07

【Python项目】信息安全领域中语义搜索引擎系统

【Python项目】信息安全领域中语义搜索引擎系统技术简介：采用Python技术、MYSQL数据库等实现。系统简介：系统主要是围绕着语义搜索展开的，要将输入的文字在爬取数据时能够通过深层次的内涵理解，来更好的查找到与之相关的精准信息…...

编程日记 2025/9/19 2:30:19

快速排序_912. 排序数组（10中排序算法）

快速排序_912. 排序数组（10中排序算法） 1 快速排序（重点）报错代码超时代码修改官方题解快速排序 1：基本快速排序快速排序 2：双指针（指针对撞）快速排序快速排序 3：三指针快…...

编程日记 2025/9/21 1:54:28

BS5852英国家具防火安全条款主要包括哪几个方面呢？

什么是BS5852检测？ BS5852是英国针对家用家具的强制性安全要求，主要测试家具在受到燃烧香烟和火柴等火源时的可燃性。这个标准通常分为四个部分进行测试，但实际应用中主要测试第一部分和第二部分，包括烟头测试和利用乙炔火焰模拟…...

编程日记 2025/9/19 20:28:52

高考或者单招考试需要考物理这科目

问题：帮忙搜索一下以上学校哪些高考或者单招考试需要考物理这科目的回答： 根据目前获取的资料，明确提及高考或单招考试需考物理的学校为湖南工业职业技术学院，在部分专业单招时要求选考物理；其他学校暂未发现明确提…...

编程日记 2025/9/20 4:43:12

基于vue3实现的课堂点名程序

设计思路采用vue3实现的课堂点名程序，模拟课堂座位布局，点击开始点名按钮后，一朵鲜花在座位间传递，直到点击结束点名按钮，鲜花停留的座位被点名。课堂点名座位组件 seat.vue <script setup>//组合式APIimpo…...

编程日记 2025/9/19 22:31:35

压力传感器

压力传感器是一种用于测量气体或液体压力的设备，广泛应用于工业控制、汽车电子、医疗设备、航空航天等领域。以下是关于压力传感器的详细介绍： 一、压力传感器的分类 1. 按测量原理分类 - 压阻式压力传感器： - 原理：利用压…...

编程日记 2025/9/21 2:34:27

Django REST Framework (DRF) 中用于构建 API 视图类解析

Django REST Framework (DRF) 提供了丰富的视图类，用于构建 API 视图。这些视图类可以分为以下几类： 1. 基础视图类这些是 DRF 中最基础的视图类，通常用于实现自定义逻辑。常用类 APIView： 最基本的视图类，所有其…...

编程日记 2025/9/12 6:13:40

DeepSeek介绍[Cache-Through、Cache-Around、Cache-Behind、Cache-Asid]

Cache-Through、Cache-Around、Cache-Behind和Cache-Aside是几种常见的缓存策略，每种策略有其独特的工作机制和应用场景。以下是对这些缓存模式的详细介绍： 1. Cache-Through 工作原理： 读操作：应用程序首先向缓存层请求数据。…...

编程日记 2025/9/20 20:21:53

React 前端框架介绍

什么是 React？ React 是一个由 Facebook 开发并维护的开源 JavaScript 库，用于构建用户界面。它主要用于创建交互式用户界Face（UI），尤其是当数据变化时需要更新部分视图时非常有效。React 的核心思想是组件化和声明性…...

编程日记 2025/9/19 10:20:27

自制简单的图片查看器（python）

图片格式：支持常见的图片格式（JPG、PNG、BMP、GIF）。 import os import tkinter as tk from tkinter import filedialog, messagebox from PIL import Image, ImageTkclass ImageViewer:def __init__(self, root):self.root rootself.root.…...

编程日记 2025/9/20 4:43:07

基于Electron+Vue3创建桌面应用

Electron 是一个开源框架，基于 Chromium 和 Node.js，用于开发跨平台桌面应用程序。它允许开发者使用 HTML、CSS 和 JavaScript 等 Web 技术构建原生桌面应用，支持 Windows、macOS 和 Linux。Electron 以其开发便捷性、强大的功能和丰富的生态系统而广泛应用于工具类应用、媒…...

编程日记 2025/9/12 6:13:33

Redis实战-扩展Redis

扩展Redis 1、扩展读性能2、扩展写性能和内存容量3、扩展复杂的查询3.1 扩展联合查询3.2 扩展分片排序如有侵权，请联系～ 如有错误，也欢迎批评指正～ 本篇文章大部分是来自学习《Redis实战》的笔记 1、扩展读性能单台Redis服务器…...

编程日记 2025/9/18 11:43:07

Vue 前端开发中的路由知识：从入门到精通

文章目录引言1. Vue Router 简介1.1 安装 Vue Router1.2 配置 Vue Router1.3 在 Vue 实例中使用 Vue Router 2. 路由的基本用法2.1 路由映射2.2 路由视图2.3 路由链接 3. 动态路由3.1 动态路径参数3.2 访问动态参数3.3 响应路由参数的变化 4. 嵌套路由4.1 定义嵌套路由4.2 渲染…...

编程日记 2025/9/12 6:13:29

为AI聊天工具添加一个知识系统之109 详细设计之50 三性三量三境

本文要点纵观整个讨论过程最初我提“相得益彰的三性（三性） 相提并论的三者（三量） 相映成趣的三化（三境）” “ 确定今天的讨论题-- “我”的知识树：相得益彰的三性（即三性&…...

编程日记 2025/9/20 3:44:06

51-ArrayList

51-ArrayList Collection 类型介绍仓颉中常用的几种基础 Collection 类型，包含 Array、ArrayList、HashSet、HashMap。可以在不同的场景中选择适合对应业务的类型： Array：如果不需要增加和删除元素，但需要修改元素&#xff…...

编程日记 2025/9/18 23:34:24

工业制造能耗管理新突破，漫途MTIC-ECM平台助力企业绿色转型！

在工业制造领域，能源消耗一直是企业运营成本的重要组成部分。随着“双碳”目标的推进，如何实现高效能耗管理，成为制造企业亟待解决的问题。漫途MTIC-ECM能源能耗在线监测平台，结合其自研的硬件产品，为工业制造企业提供…...

编程日记 2025/9/12 6:13:22

sql注入之python脚本进行时间盲注和布尔盲注

一、什么是时间盲注和布尔盲注？ 答：时间盲注是攻击者通过构造恶意sql语句利用sleep()等延迟函数来观察数据库响应时间差异来进行推断信息和条件判断。如果条件为真，数据库会执行延时操作，如果为假则立即返回。响应时间较短。 SELE…...

编程日记 2025/9/19 14:38:59

map的使用（c++）

在了解map之前，我们先看看两个场景，通过这两个场景的对比，让我们知道为什么要存在存储双关键字的容器场景一：判断一堆字符串中，某一个字符串是否出现过在没学set容器之前，我们只能想到把这一堆字符串存到…...

编程日记 2025/9/20 15:42:04

Android13-包安装器PackageInstaller-之apk安装流程

目的我们最终是为了搞明白安装的整个流程通过安卓系统自带的包安装器来了解PMS 安装流程实现需求定制：静默安装-安装界面定制-安装拦截验证。【核心目的】安装流程和PMS了解不用多说了; 安装定制相关： 如手机上安装时候弹出锁屏界面需要输入密码;安…...

编程日记 2025/9/16 7:01:55

前端函数在开发环境与生产环境中处理空字符串的差异及解决方案

在前端开发过程中，我们经常会遇到一些函数在开发环境中运行正常，但在生产环境中却出现报错的情况。本文将通过具体的代码示例和分析，探讨一个函数在开发环境和生产环境中处理空字符串的差异，并提供解决方案。 1. 问题描述我们有…...

编程日记 2025/9/12 8:22:32

数智读书笔记系列014 MICK《SQL进阶教程》第一版和第二版对比和总结

引言在当今数字化时代，数据已成为企业和组织的核心资产之一。而 SQL（Structured Query Language）作为管理和操作关系型数据库的标准语言，其重要性不言而喻。无论是数据查询、插入、更新还是删除，SQL 都能高效地完成任务，广泛应用于数据分析、数据挖掘、数据仓库、Web 开…...

编程日记 2025/9/16 8:27:48

智能猫眼实现流程图

物理端开发流程图客户端端开发流程图用户功能开发流程图管理员开发流程图...

编程日记 2025/9/12 5:18:10

docker安装kafka,并通过springboot快速集成kafka

目录一、docker安装和配置Kafka 1.拉取 Zookeeper 的 Docker 镜像 2.运行 Zookeeper 容器 3.拉取 Kafka 的 Docker 镜像 4.运行 Kafka 容器 5.下载 Kafdrop 6.运行 Kafdrop 7.如果docker pull wurstmeister/zookeeper或docker pull wurstmeister/kafka下载很慢&#x…...

编程日记 2025/9/17 18:34:11

简介