当前位置：首页 > news >正文

Spark中Maven的用法

news 来源：原创 2025/8/28 14:10:00

在IDEA中去创建项目，并编写java代码来操作集群中的文件

1.IDEA 中创建 Maven 项目

步骤一：点击 File -> New -> Project，在弹出的窗口左侧选择 Maven，点击 Next：

步骤二：填写项目的 GroupId、ArtifactId、Version 等信息（这些对应 pom.xml 中的关键配置），点击 Next。

步骤三：确认项目配置信息无误后，点击 Finish，IDEA 会自动生成 Maven 项目结构。

2.IDEA 中配置 Maven（使用自定义 Maven 版本示例）

步骤一：打开 IDEA，点击 File -> Settings（Windows/Linux）或者 IntelliJ IDEA -> Preferences（Mac），进入设置界面，然后找到 Build, Execution, Deployment -> Build Tools -> Maven。

步骤二：在 Maven home directory 处，点击右侧的按钮，选择你本地安装的 Maven 目录，例如：

步骤三：可以在 User settings file 中指定 settings.xml 文件的路径（一般使用默认路径即可），Local repository 中指定本地仓库的路径，配置完成后点击 OK 保存设置。

3.Maven打包

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序（例如：jar包），并发运行在一个Hadoop集群上。

在pom.xml中，补充如下配置，它用来设置打包的java 版本。

<properties><maven.compiler.source>1.8</maven.compiler.source><maven.compiler.target>1.8</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

注：我们集群上安装的java环境是1.8的，那么我们生成的代码也必须是这个版本的，否则，就会无法运行

2.修改代码，设置执行环境和文件路径

我们集群上安装的java环境是1.8的，那么我们生成的代码也必须是这个版本的，否则，就会无法运行。

打开代码，找到driver类，并修改如下：

conf.set("fs.defaultFS", "hdfs://hadoop100:8020"); // 新增加一句
FileInputFormat.setInputPaths(job, new Path("/wcinput")); // 修改
FileOutputFormat.setOutputPath(job, new Path("/output1"));

3.上传到节点运行
使用finalshell上到任意节点，例如hadoop100上的/opt下，。

然后通过命令来执行执行WordCount程序，注意要写Driver类的全名

$ hadoop jar /opt/wc.jarcom.root.mapreduce.wordcount.WordCountDriver

运行结束之后，在ui中查看yarn运行效果。

4.修改执行参数
修改代码，让程序能指定要执行的输入目录和要保存结果的输出目录。

修改driver类的代码，更新输入和输入路径。

// 6. 设置输入和输出路径路径为程序的第一个参数，第二个参数FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));

优点：

（1)MapReduce易于编程

它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。

（2)良好的扩展性

当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。

（3)高容错性

MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。

（4)适合PB级以上海量数据的离线处理

可以实现上千台服务器集群并发工作，提供数据处理能力。

缺点：

（1)不擅长实时计算

MapReduce无法像MySQL一样，在毫秒或者秒级内返回结果。它的任务会跑好几个小时，好几天。

（2)不擅长流式计算

流式计算的输入数据是动态的，会一条一条的过来，是动态产生的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。

（3)不擅长DAG（有向无环图）计算

多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

Spark中Maven的用法

在IDEA中去创建项目，并编写java代码来操作集群中的文件 1.IDEA 中创建 Maven 项目步骤一：点击 File -> New -> Project，在弹出的窗口左侧选择 Maven，点击 Next： 步骤二：填写项目的 GroupId、Arti…...

编程日记 2025/8/28 14:10:00

tomcat http 怎么改成 https

步骤 1：生成自签名证书如果你没有可用的 SSL/TLS 证书，可以使用 Java 的 keytool 工具生成一个自签名证书。 bash复制代码 keytool -genkeypair -alias tomcat -keyalg RSA -keystore keystore.jks -keysize 2048 执行此命令后，系统会提…...

编程日记 2025/8/24 21:19:17

Playwright与Selenium详细对比及Playwright快速入门

Playwright 与 Selenium 详细对比及入门指南索引简介本文章旨在帮助测试工程师了解Playwright和Selenium这两个主流的UI自动化测试工具，并快速入门Playwright。文档分为多个部分，本文作为主要索引，提供核心对比和基本概念，而详…...

编程日记 2025/8/24 11:16:42

03 UV

04 Display工具栏_哔哩哔哩_bilibili 讲的很棒 ctrlMMB 移动点 s 打针 ss 批量打针...

编程日记 2025/8/28 14:09:59

sqoop:1.4.7 hadoop:3.4.1 数据:oracel-hdfs 2025-04-15 16:57:00,850 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 2025-04-15 16:57:00,901 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 2025-04-15 …...

编程日记 2025/8/24 9:09:30

【C#】Html转Pdf，Spire和iTextSharp结合，.net framework 4.8

🌹欢迎来到《小5讲堂》🌹 🌹这是《C#》系列文章，每篇文章将以博主理解的角度展开讲解。🌹 🌹温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！&#…...

编程日记 2025/8/28 14:09:40

Mac系统升级node.js版本和npm版本并安装pnpm

1.升级node.js版本第一步：查询当前node.js版本 node -v第二步：清除node.js的缓存 sudo npm cache clean -f第三步：验证缓存是否清空 npm cache verify第四步：安装n工具，n工具是专门用于管理node.js版本的工具 su…...

编程日记 2025/8/22 7:27:55

记录分享《若依Spring Cloud本地开发部署教程》

若依Spring Cloud本地开发部署教程若依（RuoYi）是一个基于Spring Boot和Spring Cloud的权限管理系统，提供了丰富的功能模块和开箱即用的解决方案。本文将详细介绍如何在本地环境中进行若依Spring Cloud的开发和部署。一、环境准备 Java环境…...

编程日记 2025/8/28 14:09:38

(小白0基础) 微调deepseek-8b模型参数详解以及全流程——训练篇

本篇参考bilibili如何在本地微调DeepSeek-R1-8b模型_哔哩哔哩_bilibili 上篇：(小白0基础) 租用AutoDL服务器进行deepseek-8b模型微调全流程(Xshell,XFTP) —— 准备篇初始变量 max_seq_length 2048 dtype None load_in_4bit True单批次最大处理模型大小dy…...

编程日记 2025/8/28 0:18:56

基于 PyGetWindow 获取窗口信息和控制窗口

PyGetWindow 是基于Python的一款简单、跨平台的模块，用来获取窗口信息和控制窗口。可以实现的功能有： 获取当前系统中所有打开窗口的列表。根据窗口标题、窗口句柄等属性获取特定的窗口对象。激活、最小化、最大化和关闭窗口。获取和设置窗口的位置、…...

编程日记 2025/8/24 11:13:12

解锁动态规划的奥秘：从零到精通的创新思维解析（8）

前言： 小编在前几日讲述了关于动态规划的习题，下面小编继续跟着上次的步伐，继续进入多状态dp问题的讲解（但是今天这个题目不需要多状态），今天由于小编的精力有限，所以我就仅仅先讲述一个题目&am…...

编程日记 2025/8/28 1:32:04

使用RUN pip install flask和RUN pip install -r requirements.txt

在编写dockerfile文件的时候，有时候会遇上使用RUN pip install -r requirements.txt的情况，而且requirements.txt文件里面就一个包名，例如flask，那么不禁要问为什么不直接写成RUN pip install flask呢？其实不是不行&am…...

编程日记 2025/8/28 14:07:06

512天，倔强生长：一位技术创作者的独白

亲爱的读者与同行者： 我是倔强的石头_，今天是我在CSDN成为创作者的第512天。当系统提示我写下这篇纪念日文章时，我恍惚间想起了2023年11月19日的那个夜晚——指尖敲下《开端——》的标题，忐忑又坚定地按下了“发布”键。那时的我…...

编程日记 2025/8/25 9:50:45

【Java SE】Collections类详解

参考笔记：java Collections类详解-CSDN博客目录一、Collections类简介二、Collection类常用方法 1. 排序 ① static void reverse(List list) ② static void shuffle(List list) ③ static void sort(List list) ④ static void sort(List list, Comparator …...

编程日记 2025/8/27 10:58:20

Android LiveData学习总结（源码级理解）

LiveData 工作原理数据持有与观察者管理：LiveData 内部维护着一个数据对象和一个观察者列表。当调用 observe 方法注册观察者时，会将 LifecycleOwner 和 Observer 包装成 LifecycleBoundObserver 对象并添加到观察者列表中。生命周期感知：L…...

编程日记 2025/8/22 11:36:19

RabbitMQ 为什么引入 Exchange 的概念, 交换机有什么作用.

RabbitMQ 引入 Exchange 的概念是为了实现消息的灵活路由和解耦生产者与消费者，这是 AMQP（Advanced Message Queuing Protocol）协议的核心设计之一。以下是 Exchange 存在的主要原因： 1. 解耦生产者与队列问题：如果生…...

编程日记 2025/8/24 15:50:07

rabbitmq引入C++详细步骤

1. 安装RabbitMQ服务器在Windows上：先安装Erlang，再安装RabbitMQ服务器。安装完成后，可通过访问http://localhost:15672来检查RabbitMQ服务器是否正常运行，默认的用户名和密码是guest/guest。在Linux上：可使用包管理…...

编程日记 2025/8/27 14:43:09

Android 9.0系统源码定制：实现开机启动特定App的全面指南

在Android 9.0系统中，若需要通过修改系统源码实现开机启动特定应用（如系统预装应用或第三方应用），通常涉及对系统框架层（Framework）的深度定制开发。以下是详细的实现步骤和关键代码位置整理： 1…...

编程日记 2025/8/28 4:50:28

如何在不同版本的 Elasticsearch 之间以及集群之间迁移数据

作者：来自 Elastic Kofi Bartlett 当你想要升级一个 Elasticsearch 集群时，有时候创建一个新的独立集群并将数据从旧集群迁移到新集群会更容易一些。这让用户能够在不冒任何停机或数据丢失风险的情况下，在新集群上使用所有应用程序测试其所有…...

编程日记 2025/8/21 7:24:02

MySQL数据库精研之旅第六期：玩转数据库约束

目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UNIQUE 唯一约束六、PRIMARY KEY 主键约束七、FOREIGN KEY 外键约束八、Check 约束一、数据库约束的概念数据库约束是指对数据库表中的数据所施加的规则或条件&#xf…...

编程日记 2025/8/26 15:09:04

【Java】面向对象程序三板斧——如何优雅设计包、封装数据与优化代码块？

🎁个人主页：User_芊芊君子 🎉欢迎大家点赞👍评论📝收藏⭐文章 🔍系列专栏：【Java】内容概括【前言】在Java编程中，类和对象是面向对象编程的核心概念。而包（Package&am…...

编程日记 2025/8/27 1:21:26

MCP、RAG与Agent：下一代智能系统的协同架构设计

一、智能系统架构的范式转移 1.1 传统架构的局限性架构类型典型问题新架构需求单体架构扩展性差，维护成本高模块化解耦简单微服务缺乏智能决策能力认知能力嵌入纯LLM系统事实性错误，知识固化动态知识增强 1.2 三大核心组件的定位 #mermaid-svg-6tGuE…...

编程日记 2025/8/23 5:23:17

软件设计师2009-2022历年真题与答案解析（附pdf下载）

软考在即，现在给大家分享一下软件设计师2009-2022真题与答案解析 pdf全套，文末提供大家免费下载，大家都知道在软考备考过程中，拥有一套全面且实用的考试资料对于考生来说至关重要。目录如下： 历年真题及详解2004-2019 …...

编程日记 2025/8/25 4:33:01

前端 React 弹窗式滑动验证码实现

目录一、安装依赖 1、rc-slider-captcha 2、create-puzzle 二、个人封装好的组件拿去用三、效果展示一、安装依赖这里需要引入两个依赖，若有后端图片接入，可以不引入第二个依赖 1、rc-slider-captcha 滑动验证码生成的库国内网&#xff1a…...

编程日记 2025/8/28 9:11:46

【触想智能】工业触摸一体机在金融智能设备领域上应用的优势

工业触摸一体机在金融智能设备领域上具有许多独特的优势。这些设备结合了工业级的强度和耐用性，以及先进的触控技术和高性能处理能力，为金融机构提供全面可靠的解决方案。下面将介绍工业触摸一体机在金融智能设备领域上的应用优势。触想嵌入式工业触摸一…...

编程日记 2025/8/26 7:04:12

本地实现Rtsp视频流推送

简言：使用ffmpeg实现本地视频流推送 srs存储（延时推送） 准备工作安装包： ffmpeg：http://ffmpeg.org/download.html EasyDarwin：EasyDarwin流媒体音视频资源汇总 srs安装教程地址：http://…...

编程日记 2025/8/28 5:03:33

人工智能中的卷积神经网络（CNN）综述

文章目录前言 1. CNN的基本原理 1.1 卷积层 1.2 池化层 1.3 全连接层 2. CNN的发展历程 2.1 LeNet-5 2.2 AlexNet 2.3 VGGNet 2.4 ResNet 3. CNN的主要应用 3.1 图像分类 3.2 目标检测 3.3 语义分割 3.4 自然语言处理 4. 未来研究方向 4.1 模型压缩与加速 4.2 自监督学习 4.3 …...

编程日记 2025/8/27 6:23:22

Mac电脑交叉编译iphone设备可以运行的redsocks, openssl, libsevent

准备：intel x86_64芯片的mac电脑，系统为mac os15.3.1，iphone为6s的ios14.4(rootful越狱) 第一步：准备工具链（推荐使用 theos clang） 如果你已经安装过 Theos（或 NewTheos）&#x…...

编程日记 2025/8/26 9:46:32

入门51单片机(1)-----点灯大师梦开始的地方

前言这一次的博客主要是要记录一下学习的记录的,方便以后去复习一下的，当然这篇博客还是针于零基础的伙伴萌，看完这篇博客，大家就可以学会点灯了。安装软件方法一下一下来教！！萌新宝贝萌可以学会的！帮…...

编程日记 2025/8/25 8:07:45

[1-01-09].第08节：基础语法 - 数组常见算法 + Arrays工具类 + 数组中常见异常

一、数组的常见算法 1.1 数值型数组特征值统计这里的特征值涉及到：平均值、最大值、最小值、总和等 **举例1：**数组统计：求总和、均值 public class TestArrayElementSum {public static void main(String[] args) {int[] arr {4,5,6,…...

编程日记 2025/8/23 4:37:57

dnf install openssl失败的原因和解决办法

网上有很多编译OpenSSL源码(3.x版本)为RPM包的文章，这些文章在安装RPM包时都是执行rpm -ivh openssl-xxx.rpm --nodeps --force 这个命令能在缺少依赖包的情况下能强行执行安装其实根据Centos的文档，安装RPM包一般是执行yum install或dnf install。后者…...

编程日记 2025/8/24 14:49:09

UE5 Chaos ：官方文献总结 + 渲染网格体 (Render Mesh）和模拟网格体是如何关联的？为什么模拟网格体可以驱动渲染网格体？

官方文献：https://dev.epicgames.com/community/learning/tutorials/pv7x/unreal-engine-panel-cloth-editor 1. 流程概述本文档介绍了如何通过面板编辑器（Panel Editor）在Unreal Engine中生成基于面板的布料资源。流程主要包含从Marvelou…...

编程日记 2025/8/20 22:58:57

Swift观察机制新突破：如何用AsyncSequence实现原子化数据监听？

网罗开发 （小红书、快手、视频号同名） 大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等…...

编程日记 2025/8/27 12:14:55

Lombok库

文章目录 Lombok1.介绍2.主要注解2.1如何使用 Lombok2.1.1添加依赖2.1.2 使用Lombok注解2.1.3Lombok的其他常用注解ValueBuilderGoF23种设计模式之一：建造模式使用Builder注解自动生成建造模式的代码 SingularSlf4j使用选择合适的注解 Lombok 1.介绍 Lombok 是一个…...

编程日记 2025/8/28 5:05:08

算法思想之模拟

欢迎拜访：雾里看山-CSDN博客本篇主题：算法思想之模拟发布时间：2025.4.14 隶属专栏：算法目录滑动窗口算法介绍核心特点常见问题优化方向例题替换所有的问号题目链接题目描述算法思路代码实现提莫攻击题目链接题目描述算法思路…...

编程日记 2025/8/25 19:11:55

Windows 系统如何使用Redis 服务

前言在学习过程中，我们长期接触到的是Mysql 关系型数据库，也是够我们平时练习项目用的，但是后面肯定会有大型数据的访问就要借助新的新的工具。一、什么是Redis Redis（Remote Dictionary Server）是一个基于内存的键…...

编程日记 2025/8/22 16:18:24

2025年常见渗透测试面试题-红队面试宝典上（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录一、如何判断是否是域环境？ 二、定位域控的 IP 三、定位域管所在机器四、Kerberos 核心…...

编程日记 2025/8/24 11:20:01

Base64在线编码解码 - 加菲工具

Base64在线编码解码 - 加菲工具打开网站加菲工具选择“Base64 在线编码解码” 或者直接打开https://www.orcc.top/tools/base64 输入需要编码/解码的内容，点击“编码”/“解码”按钮编码： 解码： 复制已经编码/解码后的内容。...

编程日记 2025/8/26 9:50:51

前端面试宝典---闭包

闭包介绍使用闭包： 在函数内声明一个变量，避免外部访问在该函数内再声明一个函数访问上述变量（闭包）返回函数内部的函数使用完毕建议闭包函数null;译放内存 function createCounter() {let count 0;return function () {coun…...

编程日记 2025/8/28 10:23:30

算法：有一个整数数组，长度为n。她希望通过一系列操作将数组变成一个回文数组。

小红有一个整数数组，长度为n。她希望通过一系列操作将数组变成一个回文数组。每次操作可以选择数组中任意两个相邻的元素 ai和 ai1，将它们的值同时加一。请你计算至少需要多少次操作使得数组变成一个回文数组。如果不可能，则输出-1。否则输出…...

编程日记 2025/8/28 12:38:30

数字人：开启医疗领域的智慧变革新时代（5/10）

摘要：数字人技术作为医疗变革的基石，通过多学科融合实现虚拟医生、手术模拟、医学教育等多元应用，贯穿诊前、术中、术后全流程，显著提升医疗效率、优化资源分配、推动个性化服务。尽管面临技术、伦理、数据安全等挑战，…...

编程日记 2025/8/24 20:42:17

正则表达式在线校验(RegExp) - 加菲工具

正则表达式在线校验 - 加菲工具打开网站加菲工具选择“正则表达式在线校验” 或者直接打开https://www.orcc.top/tools/regexp 输入待校验的源文本与正则表达式，点击“校验”按钮需要注意检验后的内容可能存在多空格，可以拉下去看看~...

编程日记 2025/8/19 4:31:11

某车企面试备忘

记录两个关于Binder的问题，我感觉面试官提的非常好，作一下备忘。 1.通过Binder进行的IPC（进程间通信）是线程阻塞的吗？ 参考答案： Binder是Android平台的一种跨进程通信（IPC）机制&…...

编程日记 2025/8/24 7:51:11

从Ampere到Hopper：GPU架构演进对AI模型训练的颠覆性影响

一、GPU架构演进的底层逻辑 AI大模型训练效率的提升始终与GPU架构的迭代深度绑定。从Ampere到Hopper的演进路径中，英伟达通过‌张量核心升级‌、‌显存架构优化‌、‌计算范式革新‌三大技术路线，将LLM（大语言模型）训练效率提升至…...

编程日记 2025/8/28 3:29:25

【JavaEE】SpringBoot 统一功能处理

目录一、拦截器1.1 使用1.1 定义拦截器1.2 注册配置拦截器 1.2 拦截器详解1.2.1 拦截路径1.2.2 拦截器执⾏流程 1.3 适配器模式二、统一数据返回格式2.1 简单用法2.2 问题及解决三、统一异常处理一、拦截器拦截器：拦截器是Spring框架提供的核⼼功能之⼀&#…...

编程日记 2025/8/25 18:27:53

杨辉三角(力扣 118)

118. 杨辉三角 - 力扣（LeetCode） 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]]示例 2: 输入: numRows 1 输出: [[1]] vector<vector<int>> generate(int numRows) { //生成有numRows个元素(vector<in…...

编程日记 2025/8/24 20:01:19