当前位置：首页 > news >正文

Spark，IDEA编写Maven项目

news 来源：原创 2025/8/22 7:40:54

IDEA中编写Maven项目

1.打开IDEA新建项目

2.选择java语言，构建系统选择Maven

3.IDEA中配置Maven

注：这些文件都是我们老师帮我们在网上找了改动后给我们的，大家可自行在网上查找

编写代码测试HDFS连接

1.在之前创建的pom.xml文件中添加下列代码

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.3</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>1.7.30</version></dependency>
</dependencies>

注：这里的dependencies要这一步中的hadoop-client要和我们前面客户端准备中下载的hadoop保持一致。

2.配置日志信息。在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”。

在文件中填入如下配置信息：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

3.创建包为org.example，并在下面创建Main类

编写代码如下：

package org.example;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;import java.io.IOException;
import java.net.URISyntaxException;public class Main {public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://hadoop100:8020"); // hadoop100是namenode所在的节点conf.set("hadoop.job.ugi", "root");FileSystem fs = FileSystem.get(conf);FileStatus[] fileStatuses = fs.listStatus(new Path("/"));// 打印文件信息System.out.println("根目录下的文件和目录信息：");for (FileStatus fileStatus : fileStatuses) {System.out.println("路径: " + fileStatus.getPath());}fs.close();}
}

4.运行

如果程序执行没有错误，就会打印出如下目录

Spark，IDEA编写Maven项目

IDEA中编写Maven项目 1.打开IDEA新建项目 2.选择java语言，构建系统选择Maven 3.IDEA中配置Maven 注：这些文件都是我们老师帮我们在网上找了改动后给我们的，大家可自行在网上查找编写代码测试HDFS连接 1.在之前创建的pom.xml文件中添加下列…...

编程日记 2025/8/22 7:40:54

【HFP】蓝牙HFP服务层连接与互操作性核心技术研究

目录一、互操作性设计哲学二、服务级别连接（SLC）架构设计 2.1 连接建立流程总览 2.2 核心交互时序图 2.3 关键阶段技术实现 2.4 RFCOMM连接：通信的基石 2.5 特征交换与编解码协商 2.6 指示器状态同步三、状态同步机制深度优化 3…...

编程日记 2025/8/22 7:40:53

VSCode使用Remote-SSH连接服务器时启动失败glibc不符合

问题远程主机可能不符合glibc和libstdc VS Code服务器的先决条件原因 VSCode更新后，如果服务端GLIBC低于v2.28.0版本将不再满足需求查看服务端GLIBC版本： ~$ ldd --version ldd (Ubuntu GLIBC 2.23-0ubuntu11.3) 2.23解决下载V1.85版本下载链…...

编程日记 2025/8/22 7:40:23

InceptionNeXt:When Inception Meets ConvNeXt论文翻译

论文名称：InceptionNeXt:WhenInceptionMeetsConvNeXt 论文地址：https://arxiv.org/pdf/2303.16900.pdf 摘要： 受视觉Transformer(ViTs)长距离建模能力的启发，大核卷积因能扩大感受野、提升模型性能而受到广泛研究与应用&#x…...

编程日记 2025/8/17 23:12:31

windows下，cursor连接MCP服务器

1.下载并安装node 安装后，在cmd命令框中，输入命令node -v可以打印版本号，证明安装完成 2.下载MCP服务器项目在MCP服务器找到对应项目，这里以server-sequential-thinking为例子在本地cmd命令窗口，使用下面命令下载…...

编程日记 2025/8/17 22:18:26

从零开始：使用 kubeadm 部署 Kubernetes 集群的详细指南

使用kubeadmin 部署k8s集群目录硬件要求前期准备 Master 检查 API 服务器证书清理并重新初始化查 kubeadm 初始化日志配置 crictl 的 endpoint 硬件要求主机名 ip 硬件最低要求建议，跑的块 master 10.1.1.7 2核，2G 内存给个6G node2 …...

编程日记 2025/8/21 2:41:59

rancher 采用ingerss ssl 部署nginx+php项目

rancher 采用ingerss ssl 部署nginxphp项目一、创建nginx dockerfile，上传到阿里云镜像仓库（公有，不需要密码） 二、创建php7.4 dockerfile，需要必须扩展， 上传到阿里云镜像仓库（公有&#x…...

编程日记 2025/8/18 0:10:06

开源聚合平台 Websoft9：开源创新已成为中小企业数字化转型、数据驱动企业的基础

引言：开源软件正在重塑企业数字化未来根据2024年OpenLogic报告，94.57%的企业已使用开源软件，其中34.07%的机构加大了对开源技术的投入。开源软件凭借其灵活性、成本优势和生态协作能力，成为中小企业（SMB)数字化转型的…...

编程日记 2025/8/17 22:19:28

IntelliJ IDEA 中通义灵码插件使用指南

IntelliJ IDEA 中通义灵码插件使用指南通义灵码（TONGYI Lingma）是阿里云推出的一款基于通义大模型的智能编码辅助工具，支持 IntelliJ IDEA 等主流 IDE。它提供了代码补全、自然语言生成代码、单元测试生成、代码注释与解释等功能&#xff0…...

编程日记 2025/8/20 21:25:57

如何免费使用Meta Llama 4？

周六, Meta发布了全新开源的Llama 4系列模型。架构介绍查看上篇文章。作为开源模型，Llama 4存在一个重大限制——庞大的体积。该系列最小的Llama 4 Scout模型就拥有1090亿参数，如此庞大的规模根本无法在本地系统运行。不过别担心！即使你没有GPU，我们也找到了通过网页…...

编程日记 2025/8/19 16:24:02

introduceHLSL

最近打算好好学习一下ue的shader，跟着下面的视频，打算每天至少更新一集 https://www.youtube.com/watch?vlsXB1PQdGx0&t494s 通过下面的蓝图方式我们就可以得到一个变化的材质 alpha参数的生成实际上就是下面的式子 custom节点允许直接的写入hlsl…...

编程日记 2025/8/22 7:38:29

Module模块化

导出：export关键字 export var color "red"; 重命名导出在模块中使用as用导出名称表示本地名称。 import { add } from "./05-module-out.js"; 导入： import关键字导入单个绑定 import { sum } from "./05-module-out.js&…...

编程日记 2025/8/22 7:36:13

使用 Rsync + Lsyncd 实现 CentOS 7 实时文件同步

文章目录 🌀使用 Rsync Lsyncd 实现 CentOS 7 实时文件同步前言介绍架构图🧱系统环境🔧Rsync配置（两台都需安装）关闭SELinux（两台都需） 📦配置目标端（client&#xff09…...

编程日记 2025/8/20 23:34:03

软件工程第三章习题

一、选择题 1. (1)答案：D 解析：可行性研究是对项目在技术、经济、操作等多方面进行全面评估论证，也称为项目论证。技术可行性研究、操作可行性研究、经济可行性研究只是可行性研究的部分内容，不能涵盖整体概念。 2. (2)答案&…...

编程日记 2025/8/22 7:37:55

基于ElasticSearch的向量检索技术实践

基于ElasticSearch的向量检索技术实践作者：Tableau 原文地址：https://zhuanlan.zhihu.com/p/620260383 图片、视频、语音、文本等非结构化数据可以通过人工智能技术（深度学习算法）提取特征向量，然后通过对这些特征向量…...

编程日记 2025/8/22 7:36:10

Spring Boot 项目日志系统全攻略：Logback、Log4j2、Log4j与SLF4J整合指南

Spring Boot 项目日志系统全攻略：Logback、Log4j2、Log4j与SLF4J整合指南日志系统是应用程序不可或缺的组成部分，良好的日志实践能极大提升开发调试和线上问题排查的效率。本文将全面介绍Spring Boot项目中各种日志框架的配置与使用方案，包…...

编程日记 2025/8/17 22:17:40

【设计模式】责任链模式

简介很多公司都有请假的流程，当员工提交请假申请时，请求会沿着组长 → 经理 → CEO 的链条传递，直到有对应层级的领导处理。适用场景一个请求需要多个对象中的一个或多个处理（如审批流程、过滤器链）。处理对象和…...

编程日记 2025/8/17 22:19:13

智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测

全球气候变化已成为21世纪最严峻的环境挑战，其复杂的驱动因素如温室气体排放、气溶胶浓度、野火、海冰融化以及农业和生态系统变化等，交织影响着全球的气候格局。第一：气候变化驱动因素与数据科学基础 1.1气候变化全球气候变化中国碳中…...

编程日记 2025/8/17 23:42:02

es 原生linux部署集群

背景目的： 1. 理解不同部署方式的架构差异 2. 对比环境配置的复杂度 3. 评估性能与资源管理 4. 探索扩展性与高可用性 5. 学习安全与隔离机制 6. 实践监控与维护 7. 掌握混合部署与云原生场景实验的最终目标技能提升： 全面掌握Elasticsear…...

编程日记 2025/8/18 0:34:26

Springboot 同时支持不同的数据库，Oracle，Postgresql

## 关键字 Java，Springboot，Vscode，支持多种数据库 ## 背景环境我在实际项目开发工程中遇到这样一个问题，用户 A 使用 Oracle 数据库，用户 B 使用 Postgresql 数据库，但是用户 AB 都使用我们的项目。所以…...

编程日记 2025/8/17 22:19:12

go --- go run main.go 和 go run .

目录 go run main.gogo run .示例 go run main.go 功能：只编译和运行指定的文件（main.go），忽略同目录下的其他文件。适用场景： 当你只需要运行一个独立的文件，且该文件不依赖其他文件时。适合单文件程序或…...

编程日记 2025/8/17 22:18:18

关于Spring MVC中@RequestMapping注解的详细解析，涵盖其核心功能、属性、使用场景及最佳实践

以下是关于Spring MVC中RequestMapping注解的详细解析，涵盖其核心功能、属性、使用场景及最佳实践： 1. 基础概念 RequestMapping是Spring MVC的核心注解，用于将HTTP请求映射到控制器（Controller）的方法上。它支持类级…...

编程日记 2025/8/17 22:17:31

deepseek使用记录26——从体力异化到脑力异化

我们的一切发现和进步，似乎结果是使物质力量具有理智生命，而人的生命则化为愚钝的物质力量。AI快速发展的现实中，人面临着比工业革命更深刻的异化。在工业革命中，人的身躯沦为了机器的一部分，而现在人的脑袋沦为了AI的…...

编程日记 2025/8/18 0:14:13

Ubertool 的详细介绍、安装指南及使用说明

Ubertool：多协议网络分析与调试平台一、Ubertool 简介 Ubertool 是一款开源的多协议网络分析工具，专为物联网（IoT）、嵌入式系统和工业自动化领域设计。它支持蓝牙、Wi-Fi、LoRa、CAN总线等多种通信协议的实时监控、数据包捕获…...

编程日记 2025/8/19 1:27:54

用 HTML、CSS 和 jQuery 打造多页输入框验证功能

在网页开发中，输入框验证是至关重要的一环，它能确保用户输入的数据符合特定要求，提升交互的准确性与流畅性。今天，我们就来深入剖析一个运用 HTML、CSS 和 jQuery 实现多页输入框验证的精彩实例，带你领略前端开发中表单…...

编程日记 2025/8/18 0:32:57

在CentOS上安装Docker需要注意的事项

文章目录前言Docker Engine如何设置仓库设置镜像加速器获取镜像加速器地址写在前面：大家好！我是晴空๓。如果博客中有不足或者的错误的地方欢迎在评论区或者私信我指正，感谢大家的不吝赐教。我的唯一博客更新地址是：https://ac-…...

编程日记 2025/8/20 7:14:15

Chrome 135 版本新特性

Chrome 135 版本新特性一、Chrome 135 版本浏览器更新 ** 1. 第三方托管账户注册迁移到 OIDC 授权码流程** Chrome 135 将账户注册的登录页面从营销网站迁移到动态网站，同时也将 OpenID Connect (OIDC) 的隐式流程迁移到授权码流程。这样做的目的是进一步提升第…...

编程日记 2025/8/18 0:56:07

CMake实战指南一：add_custom_command

CMake 进阶：add_custom_command 用法详解与实战指南在 CMake 构建系统中，add_custom_command 是一个灵活且强大的工具，允许开发者在构建流程中插入自定义操作。无论是生成中间文件、执行预处理脚本，还是在目标构建前后触发额外逻…...

编程日记 2025/8/18 0:02:30

istio实现灰度发布上传镜像到harbor 创建两个版本的pod vi deployment-v1.yaml apiVersion: apps/v1 kind: Deployment metadata:name: appv1labels:app: v1 spec:replicas: 1selector:matchLabels:app: v1apply: canarytemplate:metadata:labels:app: v1apply: canaryspec…...

编程日记 2025/8/18 0:44:23

7-1 列出连通集

作者陈越单位浙江大学给定一个有 n 个顶点和 m 条边的无向图，请用深度优先遍历（DFS）和广度优先遍历（BFS）分别列出其所有的连通集。假设顶点从 0 到 n−1 编号。进行搜索时，假设我们总是从编号最小的顶点…...

编程日记 2025/8/21 9:23:49

XML Schema 指示器

XML Schema 指示器引言 XML Schema 是一种用于定义 XML 文档结构的语言，它能够确保 XML 文档的合法性。在 XML 文档的解析和应用中，XML Schema 指示器（XML Schema Indicator）扮演着至关重要的角色。本文将详细介绍 XML Schema 指示器的概念、作用、应用场景以及如何使用…...

编程日记 2025/8/18 0:58:58

Linux内核中TCP协议栈的实现：tcp_close函数的深度剖析

引言 TCP（传输控制协议）作为互联网协议族中的核心协议之一，负责在不可靠的网络层之上提供可靠的、面向连接的字节流服务。Linux内核中的TCP协议栈实现了TCP协议的全部功能，包括连接建立、数据传输、流量控制、拥塞控制以及连接关闭等。本文将深入分析Linux内核中tcp_close…...

编程日记 2025/8/21 4:50:32

17-产品经理-创建发布

点击“发布”-“创建发布”。填写发布名称，选择测试的版本。还可以设置此次发布是否为“里程碑”。点击“保存”后，进入该发布详情页面。需要为此次发布关联需求、已解决BUG、以及遗留BUG。可以通过设置条件，进行“搜索”，然后批…...

编程日记 2025/8/21 16:16:37

了解Spring的统一功能

目录一、统一数据返回格式 1.引入统一数据返回格式 2.学习使用统一数据返回格式 support方法 beforeBodyWrite方法统一数据返回格式具体逻辑使用统一数据返回格式存在的问题解决方法： 统一数据返回格式的优点统一数据返回格式代码实现（包含了…...

编程日记 2025/8/17 20:22:10

123213

根据道路在道路网的地位、交通功能、对沿线的服务功能划分可分为快速路、主干路、次干路及支路快速路完全为交通功能服务, 主干路以交通功能为主, 次干路是城市区域性的交通干道，为区域交通集散服务，兼有服务功能，结合主干路组成干路网 …...

编程日记 2025/8/21 21:02:01

通过 axios 请求回来的 HTML 字符串渲染到 Vue 界面上并添加样式

1. 通过 axios 获取数据使用 axios 发起请求，获取返回的 HTML 字符串数据。 2. 在 Vue 中处理和渲染数据由于 HTML 字符串中可能包含一些标签和样式，直接插入到 Vue 的模板中可能会导致样式问题。可以通过以下方式处理： 方法一&#xf…...

编程日记 2025/8/20 8:10:00

P1162 填涂颜色（BFS）

题目描述由数字 0 组成的方阵中，有一任意形状的由数字 1 构成的闭合圈。现要求把闭合圈内的所有空间都填写成 2。例如：66 的方阵（n6），涂色前和涂色后的方阵如下： 如果从某个 0 出发，只向上下…...

编程日记 2025/8/21 5:11:42

【笔记】VS中C#类库项目引用另一个类库项目的方法

VS中C#类库项目引用另一个类库项目的方法在 C# 开发中，有时我们需要在一个类库项目中引用另一个类库项目，但另一个项目可能尚未编译成 DLL。在这种情况下，我们仍然可以通过 Visual Studio 提供的项目引用功能进行依赖管理。 🎯 …...

编程日记 2025/8/17 23:32:16

进程内存分布--之smaps呈现memory-layout.cpp内存分布

上一篇介绍了：进程内存分布--之单线程代码来内存分布呈现memory-layout.cpp 这里我们使用smaps将更加形象的的体现内存分布，smaps文件是Linux的proc文件系统提供的一种可以查看内存资源使用情况的方法,Linux系统中运行的库、堆、栈等信息都可在smaps中查…...

编程日记 2025/8/17 23:05:30

再看自适应RAG方法：SEAKR|PIKE-RAG|DeepRAG

当大语言模型开始"怀疑人生"：一场关于知识检索的AI内心戏各位看官，今天我们要聊一个AI界的"哲学难题"——当大语言模型突然意识到自己可能是个"半瓶子醋"，会发生什么奇妙反应？想象一下这个场景：某天深夜，ChatGPT正对着用户提问"如…...

编程日记 2025/8/19 2:05:40

DNS服务（Linux）

DNS 介绍 dns，Domain Name Server，它的作用是将域名解析为 IP 地址，或者将IP地址解析为域名。这需要运行在三层和四层，也就是说它需要使用 TCP 或 UDP 协议，并且需要绑定端口，53。在使用时先通过 UDP 去…...

编程日记 2025/8/17 22:17:41

探秘PythonJSON解析深度剖析json.loads处理嵌套JSON字符串的奥秘

哈喽，大家好，我是木头左！在当今数字化时代，数据以各种格式呈现，而JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，在众多领域广泛应用。Python作为一门强大的编程语言，其内置的json模块为处理JSON数据提供了便捷的方法。然而，当遇到像{"name&q…...

编程日记 2025/8/17 22:18:02

Day7 FIFO与鼠标控制

文章目录 1. harib04a例程（获取按键编码）2. harib04b例程（加快中断处理）3. harib04c例程（FIFO缓冲区）4. harib04d例程（改善FIFO缓冲区）5. harib04e例程（整理FIFO缓冲区&a…...

编程日记 2025/8/17 22:17:27

软件工程第一章习题

第1章软件与软件工程 1.选择题 (1)下列说法中正确的是( ）o A.20世纪50年代提出了软件工程的概念 B.20世纪60年代提出了软件工程的概念 C.20世纪70年代出现了客户机/服务器技术 D.20世纪80年代软件工程学科达到成熟 (2)软件危机的主要原因是( Do B.软件生产…...

编程日记 2025/8/22 5:12:02

Ollama 手动高速下载Win/Linux/Mac安装包及安装方法

前言 Ollama下载速度太慢，按这个方式，速度嘎嘎的快----下载地址手动安装如果要从以前的版本升级，则应删除旧库。比如：sudo rm -rf /usr/lib/ollama 解压 tar -C /usr -xzf ollama-linux-amd64.tgz # 解压到/usr文件夹# 如…...

编程日记 2025/8/17 7:16:26

Jmeter+Jenkins+Ant自动化持续集成环境搭建

一、安装准备 1.JDK:jdk-8u121-windows-x64 2.jmeter工具：apache-jmeter-2.13 3.ANT工具：apache-ant-1.9.7-bin 4.jenkins工具：jenkins-2.32.2 二、软件安装 1.JDK的安装 >双击JDK安装包，选择安装路径（本人是…...

编程日记 2025/8/17 10:10:44

【11】Redis快速安装与Golang实战指南

文章目录 1 Redis 基础与安装部署1.1 Redis 核心特性解析1.2 Docker Compose 快速部署1.3 Redis 本地快速部署 2 Golang 与 Redis 集成实战2.1 环境准备与依赖安装2.2 核心操作与数据结构实践2.2.1 基础键值操作2.2.2 哈希结构存储用户信息 3 生产级应用场景实战3.1 分布式锁实…...

编程日记 2025/8/17 22:18:23

ISP算法.红外图像增强

在图像处理领域，常见的图像处理一般都是白光相机，实际红外相机也是常见的一种相机，它可以用来对发热的东西进行成像，也可以作为白光相机夜晚不可见的一种辅助手段，为白光相机赋能夜视能力。红外相机的成像原理在于辐射…...

编程日记 2025/8/21 19:06:55

Spring Boot中使用RedisTemplate操作Redis的几种数据类型详解

Redis作为高性能的键值存储系统，在现代Java应用中扮演着重要角色。Spring Boot通过RedisTemplate为开发者提供了便捷的Redis操作方式。本文将详细介绍如何使用RedisTemplate操作Redis的五种主要数据类型。一、RedisTemplate简介 RedisTemplate是Spring Data Redi…...

编程日记 2025/8/18 0:06:27

大数据与人工智能之大数据架构（Hadoop、Spark、Flink）

一、核心特性与架构设计 1. Hadoop：分布式批处理的基石核心组件： HDFS：分布式文件系统，支持大规模数据存储。MapReduce：基于“分而治之”的批处理模型，适合离线分析。架构特点： 批处理主导&…...

编程日记 2025/8/20 2:26:52

相关文章：