当前位置：首页 > news >正文

IDEA 中 Scala 项目远程连接虚拟机 Spark 环境

news 来源：原创 2025/8/21 20:39:57

IDEA 中 Scala 项目远程连接虚拟机 Spark 环境

1. 环境准备

确保虚拟机 Spark 环境正常运行
- 虚拟机中已安装并启动 Spark
- 记录虚拟机的 IP 地址和 Spark 端口（默认 7077）
- 确保虚拟机防火墙允许相关端口访问
本地 IDEA 环境配置
- 安装 Scala 插件
- 安装 Spark 相关依赖

2. 项目配置

创建 Scala 项目
- 打开 IDEA，选择 File → New → Project
- 选择 Scala → sbt project
- 设置项目名称和位置

配置 build.sbt 文件

name := "SparkRemoteProject"
version := "0.1"
scalaVersion := "2.12.15"  // 使用与虚拟机 Spark 兼容的 Scala 版本libraryDependencies ++= Seq("org.apache.spark" %% "spark-sql" % "3.3.0" % "provided","org.apache.spark" %% "spark-core" % "3.3.0" % "provided"
)

创建 Spark 连接配置类

import org.apache.spark.sql.SparkSessionobject SparkConfig {def createSparkSession(appName: String): SparkSession = {SparkSession.builder().appName(appName).master("spark://虚拟机IP:7077")  // 替换为虚拟机 IP.config("spark.driver.host", "本地IP")  // 替换为本地 IP.config("spark.driver.bindAddress", "本地IP")  // 替换为本地 IP.config("spark.executor.memory", "1g").config("spark.executor.cores", "2").getOrCreate()}
}

3. 复制配置文件

从虚拟机复制配置文件
- 复制虚拟机的 $SPARK_HOME/conf/spark-defaults.conf 到本地项目
- 复制虚拟机的 $HADOOP_HOME/etc/hadoop/core-site.xml 和 hdfs-site.xml（如果使用 HDFS）
配置本地环境变量
- 设置 SPARK_HOME 指向本地 Spark 目录
- 设置 HADOOP_HOME 指向本地 Hadoop 目录（如果使用 HDFS）

4. 编写测试代码

import org.apache.spark.sql.SparkSessionobject SparkRemoteTest {def main(args: Array[String]): Unit = {// 创建 SparkSessionval spark = SparkConfig.createSparkSession("RemoteSparkTest")// 测试连接val testData = spark.sparkContext.parallelize(1 to 100)val sum = testData.sum()println(s"Sum of numbers from 1 to 100: $sum")// 如果使用 HDFS，测试 HDFS 连接val hdfsPath = "hdfs://虚拟机IP:9000/path/to/file"try {val fileExists = spark.sparkContext.textFile(hdfsPath).count()println(s"File exists with $fileExists lines")} catch {case e: Exception => println(s"Error accessing HDFS: ${e.getMessage}")}// 关闭 SparkSessionspark.stop()}
}

5. 运行配置

配置运行参数
- 在 IDEA 中，选择 Run → Edit Configurations
- 添加 Scala 应用程序配置
- 设置主类为 SparkRemoteTest
- 添加 VM 参数：-Dspark.master=spark://虚拟机IP:7077

使用 spark-submit 运行

spark-submit --class SparkRemoteTest \--master spark://虚拟机IP:7077 \--driver-host 本地IP \--driver-memory 1g \--executor-memory 1g \target/scala-2.12/sparkremoteproject_2.12-0.1.jar

6. 常见问题解决

连接问题
- 确保虚拟机和本地机器网络互通
- 检查防火墙设置
- 使用 ping 和 telnet 测试连接
权限问题
- 确保虚拟机 Spark 用户有足够权限
- 检查 HDFS 权限设置
版本兼容性
- 确保本地 Scala 版本与虚拟机 Spark 兼容
- 确保依赖库版本一致
内存问题
- 调整 driver 和 executor 内存设置
- 检查本地 JVM 内存设置

7. 调试技巧

启用详细日志

// 在代码中设置日志级别
import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.INFO)
Logger.getLogger("akka").setLevel(Level.INFO)

使用本地模式测试
- 先在本地模式下测试代码逻辑
- 确认无误后再切换到远程模式
使用 Web UI 监控
- 访问 http://虚拟机IP:8080 查看 Spark 应用状态
- 使用 http://虚拟机IP:4040 查看应用详情

IDEA 中 Scala 项目远程连接虚拟机 Spark 环境

IDEA 中 Scala 项目远程连接虚拟机 Spark 环境 1. 环境准备确保虚拟机 Spark 环境正常运行虚拟机中已安装并启动 Spark记录虚拟机的 IP 地址和 Spark 端口（默认 7077）确保虚拟机防火墙允许相关端口访问本地 IDEA 环境配置安装 Scala 插件安装 Spar…...

编程日记 2025/8/21 20:39:57

2. 判断列表元素的单一性

【问题描述】编写程序，判断一个列表中的各个元素如果相同(例如[2,2,2,2,2]),则输出True，不相同(例如[1,2,3,2,3])则输出False。【输入形式】ainput() 【输出形式】用print()函数【样例输入】 [2,2,2,2,2] 【样例输出】 True 【样例输入】 [1,2,…...

编程日记 2025/8/21 20:39:08

King3399（ubuntu文件系统）GDB/GDBServer调试配置

0 引言最近在用king3399进行驱动开发，即使是一些简单的外设也不免反复修改与烧录，若仅仅通过printk这种方法对程序进行打印调试，其过程也是相当复杂，因此想通过GDB/GDBServer的方式进行调试，本文主要是记录配置过程的…...

编程日记 2025/8/19 11:31:14

目录机器学习简介机器学习的大致分类监督学习 (Supervised learning)RegressionClassification / Predict categories 无监督学习 (Unsupervised learning)Clustering algorithmAnomaly DetectionDimensionality Reduction对比总结强化学习 (Reinforcement learning)强化学习…...

编程日记 2025/8/21 20:34:42

k8s调度器：如何控制Pod的分布

引言：从“随机分配”到“智能调度” 想象你的Kubernetes集群是一个繁忙的物流中心，节点（Node）是仓库，Pod是货物。默认调度器就像一名普通分拣员，简单地将货物塞进最近的仓库，可能导致某些仓…...

编程日记 2025/8/21 20:32:22

机器学习在催化剂设计中的应用理论加实操

背景介绍数据智能驱动，催化理性设计新纪元催化材料设计是能源转化、化工合成及环境治理等领域的核心挑战。传统催化研究主要依赖密度泛函理论(DFT)计算与实验试错法，通过量子力学模拟揭示活性位点电子结构，结合高通量实验筛选候选…...

编程日记 2025/8/21 4:34:37

Spring Cloud Alibaba微服务-微服务介绍和搭建

1. 课程介绍单体服务中有订单，用户，库存， 两个缺陷： a. 是以应用的维度进行负载均衡，资源占用大 b. 当其中一个模块宕机，整个应用就不能用了； nacos；ribbon，loadBa…...

编程日记 2025/8/21 20:33:38

量子通信应用：量子安全物联网（三）协议融合

第一部分：引言与概述 1.1 量子安全物联网的背景与必要性随着物联网（IoT）设备的爆炸式增长（预计2030年全球连接设备超750亿台），传统安全机制（如RSA、ECC加密）正面临量子计算的颠覆性威胁。量子计算机的Shor算法可在多项式时间内破解非对称加密体系，而Grover算法则对…...

编程日记 2025/8/21 20:36:35

JUC学习（1）线程和进程

2.线程和进程线程，进程进程：一个程序。一个进程往往可以包含多个线程，至少包含一个！ Java默认有2个线程 mainGC 对于Java而言，三种开启线程的方式 ThreadRunnableCallable Java真的可以开启线程吗不可以&am…...

编程日记 2025/8/21 20:32:22

Java基础系列-LinkedList源码解析

文章目录简介LinkedList 插入和删除元素的时间复杂度？LinkedList 为什么不能实现 RandomAccess 接口？ LinkedList 源码分析Node 定义初始化获取元素插入元素删除元素遍历链表简介 LinkedList 是一个基于双向链表实现的集合类，经常被拿来和…...

编程日记 2025/8/21 2:34:23

pycharm无法识别到本地python的conda环境解决方法

问题一现象描述： 本地已经安装了conda，但在pycharm中选择conda环境却识别不到， 解决方法：手动输入conda path，点击R eload environments基本就能修复，比如我的路径如下 /Users/test/conda/miniconda3/b…...

编程日记 2025/8/21 20:29:18

【机器人创新创业应需明确产品定位与方向指南】

机器人领域的创新创业, 需要对公司和产品的定位和生态进行深入思考, 明确其定位与发展目标, 明确产品在是为G、为B还是为C进行服务。本文引用地址：https://www.eepw.com.cn/article/202504/469401.htm 超前的、探索性的创新技术一般是面向G端, 而不是面向B端或者C…...

编程日记 2025/8/19 4:05:53

《似锦》：画饼之—你画给我我画给你

甄珩，看似刚正不阿，正得发邪，一板一眼的严肃角色可是每次余七和甄珩在一起，就是一部行走的喜剧，众网友称他们为“甄儿八锦” 《似锦》剧集精彩片段：甄珩余七爆笑修罗场（四） 谁懂这…...

编程日记 2025/8/21 12:01:03

鸿蒙系统开发中路由使用详解

鸿蒙系统提供了两种主要的路由机制：传统的Router模块和组件化的Navigation容器。下面我将详细介绍这两种路由方式的使用方法、区别以及实际应用示例。一、Router模块基础使用 Router是鸿蒙早期提供的页面路由模块，通过URL实现页面跳转和数据传递。 1…...

编程日记 2025/8/21 20:37:22

拖拉拽效果加点击事件

<!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><title>自由拖拽点击元素</title><style>body {margin: 0;height: 100vh;display: flex;justify-content: center;align-items: center;backgr…...

编程日记 2025/8/21 20:31:23

Ubuntu利用docker搭建Java相关环境记录（二）

Ubuntu利用docker搭建Java相关环境记录（二） 接上篇：Ubuntu利用docker搭建Java相关环境记录（一） 启动Docker 1. 查看Docker容器已启动的容器 docker ps所有容器 docker ps -a本人很懒并不想一直敲命令操作&#…...

编程日记 2025/8/21 15:54:42

2025华中杯B题——AI实现

以下内容全文由以下网站AI实现，内容和代码仅供参考如需实现自己的需求和目标，请使用网站自行调试。参考写作 1. 共享单车数量与分布估算问题分析本题要求根据校园共享单车在各停车点的不同时段统计数据，估算校园内共享单车总量&#…...

编程日记 2025/8/21 7:05:43

【软考-系统架构设计师】OSI体系解析

一、OSI体系的核心定义 OSI（Open System Interconnection）模型是国际标准化组织（ISO）于1984年提出的网络通信分层框架，旨在解决异构网络系统间的兼容性问题。它将复杂的网络通信过程划分为七层，每层独立完…...

编程日记 2025/8/20 21:54:47

用手机也能打《无畏契约》？登录ToDesk即可开玩

《无畏契约》火到出圈！但手机玩家只能干瞪眼？ 作为拳头游戏继《英雄联盟》后的又一爆款，《无畏契约》凭借快节奏的战术对抗和全球化的地图设计（比如东京“霓虹町”、百慕大“微风岛屿”），迅速成为电竞圈的顶…...

编程日记 2025/8/17 18:29:52

jmeter提取返回值到文件

前言如何将请求的返回值，保存到本地文件，有具体以下3种方式。保存到响应文件BeanShell 取样器BeanShell 后置处理程序一、监听器–保存响应到文件 1、提取全部返回值，（.json）格式 2、保存到响应文件添加----…...

编程日记 2025/8/21 1:54:12

iPaaS集成平台在电商行业的五大核心应用场景

在电商行业“多平台运营、多系统并行”的竞争格局下，订单激增、数据割裂、跨系统协作低效等问题成为企业增长的隐形阻碍。谷云科技作为国内领先的iPaaS（集成平台即服务）技术厂商，通过低代码、高扩展的集成能力，帮助电商…...

编程日记 2025/8/19 10:18:58

猪行为视频数据集

猪行为数据集包含 23 天（超过 6 周）的日间猪行为视频，这些视频由近乎架空的摄像机拍摄。视频已配准颜色和深度信息。数据以每秒 6 帧的速度捕获，并以 1800 帧（5 分钟）为一批次进行存储。大多数帧显示 8 头猪。这里可以看到颜色和深度图像的示例：喂食器位于图片底部中…...

编程日记 2025/8/17 21:14:53

在conda环境下使用pip安装库无法import

安装seleniumwire包，conda环境没有，pip之后安装不到当前conda环境网上的方法都试过了，包括强制安装等 python -m pip install --upgrade --force-reinstall selenium-wire 最后定位应该是没有安装到当前conda的环境下，使用list…...

编程日记 2025/8/21 5:08:07

[net 6] udp_chat_server基于udp的简单聊天室(多线程的服务器与业务相分离)

目录 1. 网络聊天室的意义 2. 网络聊天室了解 2.1. 网络聊天室模块分析 2.2. 目标 3. 基本框架 3.1. 文件基本框架 3.2. 设计回调函数解耦 4. Route.hpp 模块(消息转发) 4.1. 头文件包含 4.2. 基本类框架 4.3. Route::Forward() 转发 4.3.1. 函数头设计 4.3.2. 维护…...

编程日记 2025/8/19 12:30:46

驱动-自旋锁

前面原子操作进行了讲解， 并使用原子整形操作对并发与竞争实验进行了改进，但是原子操作只能对整形变量或者位进行保护， 而对于结构体或者其他类型的共享资源， 原子操作就力不从心了， 这时候就轮到自旋锁的出场了。两个…...

编程日记 2025/8/17 18:22:22

TDengine 存储引擎剖析：数据文件与索引设计（二）

TDengine 索引设计索引设计关键特性 TDengine 的索引设计采用了多种技术和策略，以满足时序数据高效存储和快速查询的需求，具有以下关键特性： 多级时间戳压缩索引：TDengine 使用了时间戳压缩索引技术，能够有效减少索…...

编程日记 2025/8/19 23:51:28

基于Python的医疗质量管理指标智能提取系统【2025代码版】

系统概述本系统旨在帮助医疗质量管理部从医院信息系统(HIS)中智能提取《2025年国家医疗质量安全改进目标》中的关键指标数据。系统采用Python编程语言，结合现代数据处理库，实现高效、准确的数据提取与分析功能。 import json import logging import logging.handlers impo…...

编程日记 2025/8/17 20:50:59

中介者模式（Mediator Pattern）

中介者模式（Mediator Pattern）是一种行为型设计模式。它通过引入一个中介者对象，来封装一系列对象之间的交互，使这些对象之间不再直接相互引用和通信，而是通过中介者进行间接通信，从而降低对象之间的耦合度，提高系统的可维护性和可扩展性。一、基础 1. 意图核心目的…...

编程日记 2025/8/19 2:46:45

Hbuilder 上的水印相机实现方案 (vue3 + vite + hbuilder)

效果思路通过 live-pusher 这个视频推流的组件来获取摄像头拿到视频的一帧图片之后，跳转到正常的 vue 页面，通过 canvas 来处理图片水印源码 live-pusher 这个组件必须是 nvue 的至于什么是 nvue，看这个官方文档吧 https://uniapp.dcl…...

编程日记 2025/8/21 8:28:57

聊聊Spring AI Alibaba的PdfTablesParser

序本文主要研究一下Spring AI Alibaba的PdfTablesParser PdfTablesParser community/document-parsers/spring-ai-alibaba-starter-document-parser-pdf-tables/src/main/java/com/alibaba/cloud/ai/parser/pdf/tables/PdfTablesParser.java public class PdfTablesParser…...

编程日记 2025/8/20 14:39:31

二分查找-LeetCode

题目给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target，写一个函数搜索 nums 中的 target，如果目标值存在返回下标，否则返回 -1。示例 1: 输入: nums [-1,0,3,5,9,12], target 9 输出: 4 解释: …...

编程日记 2025/8/19 13:22:34

StarRocks Community Monthly Newsletter (Mar)

版本动态 3.4.1 版本更新核心功能升级数据安全与权限管控支持「安全视图」功能，严格管控视图查询权限 MySQL协议连接支持SSL认证，保障数据传输安全存算分离架构增强支持自动创建Snapshot（集群恢复更便捷） Storage Volu…...

编程日记 2025/8/20 20:25:06

STM32+dht11+rc522+jq8400的简单使用

1.dht11的使用硬件：3v3，gnd，data数据线接一个gpio，三根线即可软件： ①dht11.c #include "dht11.h" #include "delay.h" #include "stdbool.h"static STRUCT_DHT11_TYPEDEF dht11;…...

编程日记 2025/8/17 18:22:16

mpstat指令介绍

文章目录 1. 功能介绍2. 语法介绍3. 应用场景4. 实际举例 1. 功能介绍 mpstat 英文全称( Multi-Processor Statistics)，多处理器统计信息的含义。下面大致说一下功能作用： 多核性能监控可实时监控每个 CPU 核心的利用率、中断频率、上下文切换等指标&…...

编程日记 2025/8/20 2:06:46

网络层IP协议知识大梳理

全是通俗易懂的讲解，如果你本节之前的知识都掌握清楚，那就速速来看我的IP协议笔记吧~ 自己写自己的八股！让未来的自己看懂！ （全文手敲，受益良多） 网路基础3 网路层 TCP并没有把数据发到网路…...

编程日记 2025/8/20 5:43:09

Linux-codec

codec原理图 codec接口 ①音频输入接口，连接mic ②音频输出接口，连接speaker ③sai/i2s接口，连接soc，soc和codec互发音频数据 ④i2c接口，连接soc，soc配置codecsai音频接口 MCLK：主时钟&#x…...

编程日记 2025/8/19 4:14:49

HTTP协议与web服务器

HTTP协议与web服务器目录一、浏览器与服务器通信过程 1.1 域名解析与连接建立 1.2 数据交互 1.3 连接管理二、HTTP请求报头 2.1 请求行 2.2 请求报头 2.3 空行 2.4 请求体三、HTTP应答报头 3.1 http应答报文头部信息 1. 状态行 2. 服务器名称 3. 数据长度 4…...

编程日记 2025/8/19 23:16:38

ECharts散点图-散点图7，附视频讲解与代码下载

引言： ECharts散点图是一种常见的数据可视化图表类型，它通过在二维坐标系或其它坐标系中绘制散乱的点来展示数据之间的关系。本文将详细介绍如何使用ECharts库实现一个散点图，包括图表效果预览、视频讲解及代码下载，让你轻松掌握…...

编程日记 2025/8/20 18:23:35

蓝桥杯之二分法(二)

存在某条件使得一边均满足，一边均不满足： 如果问题满足某种条件，使得在某个点之前的所有值都满足条件，而之后的所有值都不满足条件（或反之），那么可以使用二分法来找到这个边界。 1.问题的解具有…...

编程日记 2025/8/20 13:08:13

当 AI 有了 “万能插头” 和 “通用语言”：MCP 与 A2A 如何重构智能体生态

目录一、MCP：让 AI 拥有 “万能工具插头” 1.1 从 “手工对接” 到 “即插即用” 1.2 架构解密：AI 如何 “指挥” 工具干活 1.3 安全优势：数据不出门，操作可追溯二、A2A：让智能体学会 “跨语言协作” 2.1 从 “…...

编程日记 2025/8/19 10:06:47

从零开始保姆级教程 Ubuntu20.04系统安装MySQL8、服务器配置MySQL主从复制、本地navicat远程连接服务器数据库

从零开始：Ubuntu 20.04 系统安装 MySQL 8、服务器配置 MySQL 主从复制、本地 Navicat 远程连接服务器数据库初始化服务器1. 更新本地软件包列表2. 安装 MySQL 服务器3. 查看 MySQL 安装版本4. 登录 MySQL 管理终端5. 设置 root 用户密码（推荐使用 nativ…...

编程日记 2025/8/20 2:21:36

PHP序列化/反序列化漏洞原理

PHP反序列化原理详解引言 PHP反序列化是PHP中一个重要的概念，它允许将序列化后的数据重新转换为原始的数据结构。在PHP中，可以使用serialize()函数将数据序列化为字符串，然后使用unserialize()函数将序列化后的字符串反序列化为原来的数据结…...

编程日记 2025/8/20 23:00:47

并查集（力扣2316）

这种涉及不同连通分量的，看上去就可以用并查集。并查集的模板请参见上一篇内容。并查集（力扣1971）-CSDN博客现在我们要求的是无法互相到达的点对。根据观察易得，我们只需要求出每个并查集的元素数量，然后遍历每个点&…...

编程日记 2025/8/17 10:41:16

【web服务_负载均衡Nginx】一、Nginx 基础与核心概念解析

一、Nginx 概述：从起源到行业地位 Nginx（发音为 “engine x”）是一款高性能的开源 Web 服务器、反向代理服务器，同时具备负载均衡、内容缓存、TCP/UDP 代理及邮件代理等功能。它由俄罗斯工程师伊戈尔・赛索耶夫（Igo…...

编程日记 2025/8/21 7:19:25

【Python入门】文件读取全攻略：5种常用格式(csv/excel/word/ppt/pdf)一键搞定 | 附完整代码示例

大家好，我是唐叔！今天给大家带来一篇Python文件读取的终极指南。无论是数据分析、办公自动化还是爬虫开发，文件读取都是Python程序员必须掌握的核心技能。本文将详细介绍Python处理5大常用文件格式的方法，包含完整可运行的代码示例…...

编程日记 2025/8/19 17:46:02

考研系列-计算机网络冲刺考点汇总（下）

写在前面本文将总结王道408考研课程的计算机网络冲刺考点的第四章到第六章内容（网络层、传输层、应用层）。第四章、网络层 1.SDN SDN的基本概念注意对应关系：数据平面-转发；控制平面-路由选择 2.路由选择算法 (1)RIP协议-基于…...

编程日记 2025/8/17 20:49:19

GitLab-CI集成FTP自动发布

简介在某些场景下，代码是以 FTP 的方式部署到服务器上，那么我们可以使用 GitLab-CI 来实现自动发布。配置参考 .sftp-deploy: &sftp-deploy |-files$(git log -10 --prettyformat: --name-only | grep -v ^$ | sort -u)include_patterns$(echo …...

编程日记 2025/8/19 19:06:36

Ubuntu 安装cuda踩坑记录

Ubuntu 安装cuda踩坑记录： 运行run文件时出错： sh cuda_12.4.0_550.54.14_linux.run 报错： ./cuda-installer: error while loading shared libraries: libxml2.so.2: cannot open shared object file: No such file or directory 解决&am…...

编程日记 2025/8/21 0:30:53