当前位置：首页 > news >正文

在 IDEA 中写 Spark 程序：从入门到实践

news 来源：原创 2025/5/22 21:50:07

在大数据处理领域，Apache Spark 凭借其出色的性能和丰富的功能受到广泛欢迎。而 IntelliJ IDEA 作为一款功能强大的 Java 集成开发环境，为编写 Spark 程序提供了极大的便利。本文将详细介绍如何在 IDEA 中搭建 Spark 开发环境并编写运行 Spark 程序，帮助您快速上手。

一、环境准备

安装 JDK
- Spark 是基于 Java 开发的，因此需要安装 JDK。建议安装 JDK 8 或以上版本。您可以通过访问 Oracle 官方网站或采用开源的 OpenJDK 来获取安装包。
- 安装完成后，配置环境变量，确保在命令行中可以使用java和javac命令。例如，在 Linux 系统中，可以通过编辑~/.bashrc文件添加如下内容来配置环境变量：
  - ```
  export JAVA_HOME=/usr/lib/jvm/java-8-openjdkexport PATH=$JAVA_HOME/bin:$PATH
```
安装 IntelliJ IDEA
- 从 JetBrains 官方网站（IntelliJ IDEA – the IDE for Pro Java and Kotlin Development）下载并安装 IntelliJ IDEA。建议安装 Ultimate 版本，因为它提供了对大数据工具包括 Spark 的更好支持，当然社区版也可以通过一些配置来满足基本开发需求。
安装 Spark
- 虽然在 IDEA 中编写 Spark 程序主要依赖于 Spark 的 API 库，但本地安装 Spark 可以方便进行一些本地测试和调试。从 Apache Spark 官方网站（Downloads | Apache Spark）下载与您 Hadoop 版本兼容的 Spark 二进制包。
- 解压安装包到合适的位置，如/opt/spark。然后配置环境变量SPARK_HOME，例如在~/.bashrc文件中添加：
  - ```
  export SPARK_HOME=/opt/spark/spark-3.3.0export PATH=$SPARK_HOME/bin:$PATH
```

二、在 IDEA 中创建 Spark 项目

创建新项目
- 打开 IntelliJ IDEA，选择 “Create New Project”。
- 在项目向导中，为您的项目命名，如 “SparkDemo”，并选择合适的项目存储位置。
配置项目 SDK
- 在 “Project SDK” 下拉菜单中，选择之前安装的 JDK。如果 IDEA 没有自动检测到 JDK，您可以通过点击 “New” 按钮手动指定 JDK 的安装路径。
添加 Spark 依赖
- IDEA 提供了方便的 Maven 或 Gradle 集成来管理项目依赖。这里我们以 Maven 为例进行说明。在项目根目录下找到pom.xml文件，添加 Spark 的 Maven 依赖。例如，添加以下代码片段来引入 Spark Core 和 Spark SQL 的依赖：
  - ```
  <dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.3.0</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.3.0</version></dependency>
  </dependencies>
```
- Maven 会自动下载所需的 Spark JAR 包及其依赖项。这个过程可能需要一些时间，具体取决于您的网络速度。

三、编写第一个 Spark 程序

创建主类
- 右键单击项目的源代码目录（通常为src/main/java），选择 “New”->“Java Class”，创建一个新的 Java 类，如SparkWordCount。
- 在SparkWordCount类中，编写如下代码，实现一个简单的 WordCount 程序：
  - ```
  import org.apache.spark.SparkConf;
  import org.apache.spark.api.java.JavaRDD;
  import org.apache.spark.api.java.JavaSparkContext;
  import java.util.Arrays;public class SparkWordCount {public static void main(String[] args) {// 创建 SparkConf 对象，设置应用名称和运行模式（本地模式）SparkConf conf = new SparkConf().setAppName("SparkWordCount").setMaster("local[*]");// 创建 JavaSparkContext 对象JavaSparkContext sc = new JavaSparkContext(conf);// 创建 RDDJavaRDD<String> lines = sc.parallelize(Arrays.asList("hello world", "hello spark", "hello hadoop"));// 对 RDD 进行 WordCount 操作JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator());JavaRDD<String> wordOne = words.map(word -> word + " 1");// 打印结果wordOne.foreach(System.out::println);// 关闭 SparkContextsc.close();}
  }
```
- 代码解析：
  - 首先，通过SparkConf对象配置 Spark 应用，设置应用名称和运行模式为本地模式（local[*]表示使用本地所有 CPU 核心进行计算）。
  - 然后，基于SparkConf创建JavaSparkContext对象，它是 Spark 应用与集群之间的连接。
  - 接着，创建一个包含一些示例文本数据的 RDD（Resilient Distributed Dataset，弹性分布式数据集）lines。
  - 使用flatMap操作将每一行文本拆分成单词，得到 RDDwords。
  - 使用map操作将每个单词映射为单词和数字 1 的组合，形成 RDDwordOne。
  - 最后，使用foreach操作打印出wordOne中的每个元素，并关闭SparkContext。
运行程序
- 在 IDEA 中，右键单击SparkWordCount类，选择 “Run 'main(SparkWordCount)'”。
- 您会在 IDEA 的控制台窗口中看到程序的输出结果，类似如下：
  - hello 1
  - world 1
  - hello 1
  - spark 1
  - hello 1
  - hadoop 1

四、连接到真实的 Spark 集群

修改 SparkConf 配置
- 如果您已经搭建了一个真实的 Spark 集群（如在 YARN 模式下运行的集群），您需要修改SparkConf的配置来连接到集群。例如：
  - ```
  SparkConf conf = new SparkConf().setAppName("SparkWordCount").setMaster("yarn");
```
- 此时，您需要确保 IDEA 能够访问到集群的配置信息，包括 Hadoop 和 Spark 的配置文件。可以通过在项目的类路径中添加这些配置文件的路径来实现。

打包项目

在 IDEA 中，通过 Maven 或 Gradle 打包项目，生成一个包含所有依赖项的 JAR 文件。以 Maven 为例，在pom.xml文件中添加如下插件配置来创建可执行 JAR 包：

<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs><archive><manifest><mainClass>SparkWordCount</mainClass></manifest></archive></configuration><executions><execution><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins>
</build>

然后，在命令行中执行mvn clean package命令，生成的 JAR 文件会位于target目录下，如target/SparkDemo-1.0-SNAPSHOT-jar-with-dependencies.jar。

提交到集群运行
- 使用 Spark 提供的spark-submit命令将打包好的 JAR 文件提交到集群运行。例如：
  - ```
  spark-submit --class SparkWordCount --master yarn --num-executors 2 --driver-memory 512m --executor-memory 512m --executor-cores 1 target/SparkDemo-1.0-SNAPSHOT-jar-with-dependencies.jar
```
- 此命令将您的 Spark 应用提交到 YARN 集群运行，您可以根据集群的规模和资源情况调整--num-executors、--driver-memory、--executor-memory和--executor-cores等参数。

五、调试 Spark 程序

本地调试
- 在 IDEA 中，您可以直接对 Spark 程序进行本地调试。设置断点，然后右键单击主类选择 “Debug 'main(SparkWordCount)'”。
- IDEA 会启动调试会话，您可以逐步执行代码，查看变量的值，分析程序的执行流程，这对程序的调试和优化非常有帮助。
远程调试
- 当您的 Spark 程序在集群上运行时，您也可以进行远程调试。首先，在 Spark 应用的代码中添加如下配置来启用远程调试：
  - ```
  SparkConf conf = new SparkConf().setAppName("SparkWordCount").setMaster("yarn").set("spark.driver.extraJavaOptions", "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005");
```
- 然后，在 IDEA 中创建一个远程调试配置。选择 “Run”->“Edit Configurations”，点击 “+” 号选择 “Remote”，设置主机为 Spark 驱动程序所在节点的 IP 地址，端口为 5005。
- 当 Spark 应用运行时，启动 IDEA 的远程调试会话，就可以对应用进行调试了。

六、总结与拓展

在 IntelliJ IDEA 中编写 Spark 程序，可以充分利用 IDEA 强大的开发工具和 Spark 的高效计算能力。通过本文的介绍，您已经学会了如何搭建开发环境、编写和运行简单的 Spark 程序，以及如何连接到真实的 Spark 集群和进行调试。随着您对 Spark 的深入了解，您可以尝试编写更复杂的 Spark 应用，如使用 Spark Streaming 进行实时数据处理，或者利用 Spark MLlib 进行机器学习任务。同时，不断探索 IDEA 的各种插件和工具，如 Spark Shell 插件等，可以进一步提高开发效率。希望您在 Spark 的开发之旅中取得丰硕的成果。

在 IDEA 中写 Spark 程序：从入门到实践

在大数据处理领域，Apache Spark 凭借其出色的性能和丰富的功能受到广泛欢迎。而 IntelliJ IDEA 作为一款功能强大的 Java 集成开发环境，为编写 Spark 程序提供了极大的便利。本文将详细介绍如何在 IDEA 中搭建 Spark 开发环境并编写运行 Spark 程序&…...

编程日记 2025/5/22 21:50:07

[Spring] Sentinel详解

🌸个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 🏵️热门专栏: 🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 🍕 Collection与…...

编程日记 2025/5/22 21:00:16

让数据优雅落地：用 serde::Deserialize 玩转结构体实体

前言想象一下，服务器突然飞来一堆 JSON 数据，就像一群无头苍蝇冲进办公室，嗡嗡作响，横冲直撞。此刻，你的任务，就是把这群“迷路数据”安置进正确的格子里，分门别类，秩序井然，不混不乱，不漏一只。好在 Rust 早就为我们备好瑞士军刀：serde::Deserialize。它不仅刀…...

编程日记 2025/5/22 21:20:57

【wpf】 WPF中实现动态加载图片浏览器（边滚动边加载）

WPF中实现动态加载图片浏览器（边滚动边加载） 在做图片浏览器程序时，遇到图片数量巨大的情况（如几百张、上千张），一次性加载所有图片会导致界面卡顿甚至程序崩溃。本文介绍一种 WPF Prism 实现动态分页加…...

编程日记 2025/5/22 21:33:12

Flow原理

fun main() {runBlocking {launch {flow4.collect{println("---collect-4")}println("---flow4")}}val flow4 flow<Boolean>{delay(5000)emit(false) } 我们分析下整个流程 1.flow为什么之后在collect之后才会发送数据 2.collect的调用流程我…...

编程日记 2025/5/22 21:39:09

业绩回暖、股价承压，三只松鼠赴港上市能否重构价值锚点？

在营收重返百亿俱乐部后，三只松鼠再度向资本市场发起冲击。 4月25日，这家坚果零食巨头正式向港交所递交上市申请书，若成功登陆港股，将成为国内首个实现“AH”双上市的零食品牌。其赴港背后的支撑力，显然来自近期披露…...

编程日记 2025/5/22 19:46:33

基于大模型的胆总管结石全流程预测与临床应用研究报告

目录一、引言 1.1 研究背景 1.2 研究目的与意义 1.3 研究方法和创新点二、大模型在胆总管结石预测中的应用原理 2.1 大模型概述 2.2 模型构建的数据来源与处理 2.3 模型训练与优化三、术前预测与准备 3.1 术前胆总管结石存在的预测 3.2 基于预测结果的术前检查方…...

编程日记 2025/5/22 20:07:40

QT—布局管理器之BoxLayout篇

1.布局管理器的概述在Qt中，使用布局管理器的主要原因是它能够自动管理组件的大小和位置，从而实现灵活且动态的界面布局。布局管理器可以自动调整组件以适应窗口大小的变化，确保界面在不同分辨率和设备上都能保持良好的显示效果。这不仅减少了…...

编程日记 2025/5/22 20:55:03

如何在 IntelliJ IDEA 中编写 Speak 程序

在当今数字化时代，语音交互技术越来越受到开发者的关注。如果你想在 IntelliJ IDEA（一个强大的集成开发环境）中编写一个语音交互（Speak）程序，那么本文将为你提供详细的步骤和指南。一、环境准备在开始编…...

编程日记 2025/5/2 16:47:25

湖北理元理律师事务所：债务优化的法律机制与民生实践

在债务纠纷日益增多的社会背景下，合法、规范的债务管理服务成为民生需求的重要环节。湖北理元理律师事务所作为经国家司法局注册登记的债事服务机构，以法律为工具，探索出一套覆盖债务咨询、规划与风险防控的服务体系。 1.法律服务的专业化框…...

编程日记 2025/5/21 3:51:10

练习普通话，说话更有节奏

玲珑塔，塔玲珑，玲珑宝塔第一层，一张高桌四条腿， 一个和尚一本经。一个铙钹一口磬，一个木鱼一盏灯。一个金玲，整四两，风儿一刮响哗愣。玲珑塔，隔过两层数三层，三张高桌十…...

编程日记 2025/5/22 20:16:46

链表相关——Python实现

一、链表的创建及数据插入示例代码： #1.定义一个结点类 class ListNode():def __init__(self,x,nextNone):self.valxself.nextnext #2.定义单链表 class LinkList():#2.1 创建一个头指针为空的链表def __init__(self,headNone):self.headNone#2.2 将数据插入链表…...

编程日记 2025/5/22 19:51:35

[OS_9] C 标准库和实现 | musl libc | offset

在你感觉有困难的时候，计算机一定有解决办法操作系统为我们提供了对象和操作它们的 API：我们学习了进程管理的 fork, execve, exit, waitpid；内存管理的 mmap；文件 (对象) 管理的 open, read, write, dup, close, pipe, …… 大…...

编程日记 2025/5/22 21:26:12

【氮化镓】质子辐照对 GaN-on-GaN PiN 二极管电导调制的影响

2025 年，中国科学技术大学的 Xuan Xie 等人采用实验研究的方法，深入探究了 10-MeV 和 50-MeV 质子辐照（ fluence 最高达 11014 cm−2）对 kV 级垂直 GaN-on-GaN PiN 二极管的导电调制影响。研究背景在于空间应用中的功率电子电路易受质子、α 粒子和重离子等影响而降级甚至失…...

编程日记 2025/5/22 19:28:26

深入浅出限流算法（一）：简单但有“坑”的固定窗口计数器

在现代分布式系统和 API 设计中，限流 (Rate Limiting) 是一个不可或缺的环节。它像一个尽职的门卫，保护着我们的服务资源，防止因突发流量或恶意攻击导致系统过载，同时也能确保资源的公平分配。实现限流的算法多种多样&#xff0…...

编程日记 2025/5/22 21:05:33

项目上线流程梳理（Linux宝塔面板）

项目部署（Linux宝塔面板） 一、准备工作 1、后端项目梳理配置添加application-prod.yml使用maven进行打包生成jar包 2、前端项目修改request.ts请求的后端端口（服务器地址）打包二、服务器 1、服务器环境安装 2、初始化数…...

编程日记 2025/5/18 8:12:59

MCP Servers玩玩WebUI自动化

MCP Servers快速了解一文搞懂 MCP Servers mcp server网站 https://mcpservers.orghttps://mcp.sohttps://glama.ai/mcp/servershttps://www.pulsemcp.com 一、安装&配置mcp clients mcp clients可以使用客户端（常见claude desktop，但claude需…...

编程日记 2025/5/22 1:02:49

永磁同步电机控制算法-转速环电流环SMC控制器

一、原理介绍为改进传统PI转速环电流环控制器易超调、抗干扰性能差的问题，转速环采用一阶滑模控制器，电流环采用二阶滑模控制器。二、仿真验证在MATLAB/simulink里面验证所提算法，采用和实验中一致的控制周期1e-4，电机部分计…...

编程日记 2025/5/21 11:17:31

Nginx支持HTTP2/HTTP3的并用CURL测试

对比HTTP2和HTTP3 HTTP/3 相比 HTTP/2 的主要优势： 项目HTTP/2HTTP/3传输层基于 TCP（ TLS）基于 QUIC（内置 TLS）建立连接速度慢，至少 2~3 次握手（TCP TLS）快，只需 1 次握…...

编程日记 2025/5/22 16:23:06

阅读MySQL实战45讲第11天

目录引言： 基本原理排序方式索引排序文件排序（File Sort） 优化建议一、全字段排序二、rowid 排序如果 MySQL 认为排序的单行长度太大会怎么做呢？ 1. 使用磁盘临时表 2. 分阶段排序 3. 产生警告或错误三、全字段排序 VS ro…...

编程日记 2025/5/21 10:59:44

linux 使用nginx部署vue、react项目

前言本文基于：操作系统 CentOS Stream 8 使用工具：Xshell8、Xftp8 1.安装依赖安装gcc、gcc-c yum install gcc gcc-c -y安装pcre、pcre-devel yum install pcre pcre-devel -y安装zlib、zlib-devel yum install zlib zlib-devel -y安装openssl、…...

编程日记 2025/4/29 17:15:03

逆向设计——CWDM_splitter

一、创建结构 switchtolayout; selectall; delete;## SIM PARAMS num_wg = 4; wg_width = 0.5e-6; out_wg_dist = 1e-6; mode_width = 3*wg_width; total_wg_h = num_wg*wg_width + (num_wg-1)*out_wg_dist;opt_size_x=6e-6; opt_size_y=6e-6;size_x=opt_size_x+1e-6; size_y=o…...

编程日记 2025/4/29 17:13:57

单片机-89C51部分：7、中断

飞书文档https://x509p6c8to.feishu.cn/wiki/A5gcwyL5giq1JOkkcsscn8eLnzf 一、中断的作用中断是为使单片机具有对外部或内部随机发生的事件实时处理而设置的，中断功能的存在，很大程度上提高了单片机处理外部或内部事件的能力。它也是单片机最重要的功…...

编程日记 2025/4/30 21:07:48

小波变换和图像的融合

看到一篇比较有趣的文章，是将小波变换融入到图像配准过程中。论文题目是Deformable medical image registration based on wavelet transform and linear attention。论文提出了一种基于小波变换和线性注意力的可变形医学图像配准方法，通过小波下采样模块…...

编程日记 2025/5/21 9:28:00

2799. 统计完全子数组的数目

给你一个由正整数组成的数组 nums 。如果数组中的某个子数组满足下述条件，则称之为完全子数组 ： 子数组中不同元素的数目等于整个数组不同元素的数目。返回数组中完全子数组的数目。子数组是数组中的一个连续非空序列。示例 1&#xff…...

编程日记 2025/5/20 12:59:37

docker镜像构建常用参数

要退出出去ctrlpq，或者直接输入exit也可以直接退出这样就生成了可以这么用，但安全性比较差，不利于审计企业里构建的镜像这样： “.”是构建的地点是当前的意思；构建了一层在[2/2]RUN touch /leefile里面发现有我…...

编程日记 2025/5/18 22:34:41

如何用postman进行批量操作

业务场景： 有些时候，我们会需要批量的将SAP B1系统中的几千条的数据删除或者取消单据，这个时候，一条条去操作，指定是到猴年马月了。SAP Business One本身提供了DTW这个工具，但是这个更新，可以操…...

编程日记 2025/4/29 17:07:25

【MCP】第三篇：Cline工具链路追踪——解码“协议引擎“的神经传导奥秘

【MCP】第三篇：Cline工具链路追踪——解码"协议引擎"的神经传导奥秘一、引言二、CloudFlare AI Gateway2.1 核心定位2.2 核心能力2.3 与MCP协议逆向的深度契合三、VSCode Cline与CloudFlare联调实战3.1 CloudFlare配置3.2 VSCode Cline配置3.3 联调实战…...

编程日记 2025/5/1 1:21:15

HTML标记语言_@拉钩教育【笔记】

目录 1.文本标签 2.格式化标签 3.图片标签 4.超链接标签 5.表格标签 6表单标签 6.1 6.2 6.3 7.行内框架(超链接内套一个页面) 8.多媒体标签(音/视频) 1.文本标签 2.格式化标签 3.图片标签 4.超链接标签 5.表格标签 6表单标签 6.1 6.2 6.3 7.行内框架(超链接内套一个…...

编程日记 2025/5/20 10:01:21

SDK游戏盾、高防IP、高防CDN三者的区别与选型指南

在网络安全防护领域，SDK游戏盾、高防IP和高防CDN是常见的解决方案，但各自的功能定位、技术实现和适用场景差异显著。本文将通过对比核心差异，帮助您快速理解三者特点并选择适合的防护方案。一、核心功能定位 SDK游戏盾功能核心&#xff1a…...

编程日记 2025/4/29 17:05:11

C++中的格式化字符串

C中的格式化字符串 fmt 库简介 {fmt}是一个开源的、现代化的C格式化库，由Victor Zverovich创建。它提供了一种安全、快速且方便的字符串格式化方式，其设计理念受到了Python的str.format()的启发 fmt库的主要特点易用性：使用简洁的语法&a…...

编程日记 2025/5/21 22:24:47

民办生从零学C的第十二天：指针（1）

每日励志：拼搏十年，征战沙场，不忘初心，努力成为一个浑身充满铜臭味的有钱人。一.内存和地址 1.内存计算机内存是一系列存储单元的集合，每个存储单元都有唯一的地址来标识。这些存储单元用于存储程序的数据和指令。…...

编程日记 2025/4/29 16:57:31

复习Vue136~180

1.使用create-vue创建项目 npm init vuelatest 项目目录和关键文件： new Vue() 创建一个应用实例 > createApp()、createRouter() createStore() 、将创建实例进行了封装，保证每个实例的独立封闭性。禁用vue2的插件vuter 使用vue3的插件volar scrip…...

编程日记 2025/5/15 8:31:31

高炉项目中DeviceNET到Ethernet的转换奥秘

在工业自动化的世界中，高炉项目中的数据通信至关重要。其中DeviceNET和Ethernet作为两种主流的网络协议，扮演着不可或缺的角色。它们之间的转换不仅仅是技术上的桥梁，更是实现信息高效传递的关键。今天，我们就来揭开从DeviceNET到…...

编程日记 2025/5/21 19:17:14

awk之使用详解（Detailed Explanation of Using AWK）

awk使用详解 1. 入门 1.1 什么是 awk？ ①Awk是一种文本处理工具，适用于处理结构化数据，例如表格数据。 ②它可以读取一个或多个文本文件，并执行模式扫描和处理等指定的操作。 ③基本逻辑涉及数据的提取，排序和计算…...

编程日记 2025/4/29 16:50:58

TDR阻抗会爬坡？别担心，不是你的错，你只是不够了解TDR！

在背板系统或任何长走线设计里，你大概都碰过这画面： TDR 曲线一开始乖乖在 92 Ω，但越往末端、阻抗越爬越高，来到最高 97 Ω，心里瞬间凉半截 😒 ，「难不成... 板厂又翻车了吗？」然…...

编程日记 2025/5/21 7:48:27

TypeScript之基础知识

基础知识 1. 基本类型类型描述string字符串（如 "hello"）number数字（整数或浮点数，支持二进制、八进制、十六进制）boolean布尔值（true/false）null空值（需显式声明&#x…...

编程日记 2025/5/20 6:33:44

SNMP协议之详解（Detailed Explanation of SNMP Protocol）

SNMP协议之详解一、前言 SNMP，被形象地喻为网络世界大的工具箱，使他们能的“智慧守护者”，它为网络管理员装备了一套功能强够实现对网络设备状态的实时监控、性能数据的全面收集、远程配置的灵活管理以及故障事件的即时响应。借助SNMP&…...

编程日记 2025/5/4 7:52:18

机器学习-入门-线性模型(2)

机器学习-入门-线性模型(2) 3.4广义线性回归一般形式： y g − 1 ( w T x b ) y g^{-1} \left( w^T x b \right) yg−1(wTxb) 单调可微的联系函数 (link function) 令 g ( ⋅ ) ln ⁡ ( ⋅ ) g(\cdot) \ln (\cdot) g(⋅)ln(⋅) 则得到对数线性回归 ln ⁡…...

编程日记 2025/5/21 20:04:13

【问题】docker容器修改环境变量的方式

问题启动n8n之后，docker容器提示： There is a deprecation related to your environment variables. Please take the recommended actions to update your configuration: 2025-04-28 09:20:08 - N8N_RUNNERS_ENABLED -> Running n8n without tas…...

编程日记 2025/5/19 0:45:46

基于 Spring Boot 瑞吉外卖系统开发（八）

基于 Spring Boot 瑞吉外卖系统开发（八） 自动填充公共字段 MyBatis-Plus公共字段自动填充，也就是在插入或者更新的时候为指定字段赋予指定的值，使用它的好处就是可以统一对这些字段进行处理，降低了冗余代码的数量。本…...

编程日记 2025/5/10 2:03:35

LeetCode热题100--560.和为K的子数组（前缀和）--中等

1.题目给你一个整数数组 nums 和一个整数 k ，请你统计并返回该数组中和为 k 的子数组的个数。子数组是数组中元素的连续非空序列。示例 1： 输入：nums [1,1,1], k 2 输出：2 示例 2： 输入：nums […...

编程日记 2025/5/21 20:46:45

搭建 Spark YARN 模式集群指南

在大数据处理领域，Apache Spark 凭借其卓越的性能和易用性广受青睐。而 YARN（Yet Another Resource Negotiator）作为 Hadoop 的资源管理框架，能高效管理集群资源。将 Spark 与 YARN 结合，以 YARN 模式搭建集群&#xf…...

编程日记 2025/4/29 16:38:57

服务器部署，Nginx安装和配置

Nginx简介 Nginx是一款轻量级和高性能的web服务器、反向代理服务器和电子邮件代理服务器。你可以使用Nginx实现网页的部署，解决跨域问题实现邮件服务器，甚至Nginx也可以实现音视频推流拉流服务器，Nginx可以实现的功能远超你的想象&#xff0…...

编程日记 2025/5/20 14:29:08

Java后端接口调用拦截处理：注解与拦截器的实现

在Java开发中，对后端接口调用进行拦截处理是一种常见的需求，通常用于权限验证、Token校验、状态更新等操作。本文将围绕 Spring框架的拦截器（Interceptor）、Spring AOP（面向切面编程） 和 Spring Security 三…...

编程日记 2025/5/21 9:21:36

C++（初阶）（十四）——多态

多态面向对象的其中一大特征。多态多态的定义及构成多态的构成条件多态的实现条件多态的分类编译时多态性运行时的多态性虚函数定义不能成为虚函数的函数虚函数重写（覆盖）选择题虚函数重写的其他问题析构函数的重写override 和final关键字重载/重写…...

编程日记 2025/4/29 16:37:50

PyQt6基础_QThread

目录前置代码： 运行正常运行 QThread运行报错视频前置 1 PySide6.QtCore.QThread - Qt for Python QThread官方文档 2 长时间任务可以放到QThread中执行，避免占用主线程导致界面卡顿无法操作代码： import traceback,sys fro…...

编程日记 2025/5/21 20:46:31