当前位置：首页 > news >正文

Spark核心组件解析：Executor、RDD与缓存优化

news 来源：原创 2025/7/27 1:48:42

Spark核心组件解析：Executor、RDD与缓存优化

Spark Executor

Executor 是 Spark 中用于执行任务（task）的执行单元，运行在 worker 上，但并不等同于 worker。实际上，Executor 是一组计算资源（如 CPU 核心和内存）的集合，多个 executor 共享 worker 上的 CPU 和内存资源。

Executor 的功能

任务执行：Executor 负责执行分配给它的任务，并返回结果到 driver 程序。
缓存机制：如果应用程序调用了 cache() 或 persist() 函数，Executor 会通过 Block Manager 为RDD 提供缓存机制，优化重复计算。
生命周期：Executor 存在于整个 Spark 应用的生命周期内。

Executor 的创建

Spark 在以下几种情况下创建 Executor：

当资源管理器为 Standalone 或 YARN，且 CoarseGrainedExecutorBackend 进程接收到
RegisteredExecutor 消息时；
当使用 Mesos 资源管理器时，MesosExecutorBackend 进程注册时；
在本地模式下，当 LocalEndpoint 被创建时。

创建成功后，日志会显示如下信息：

INFO Executor: Starting executor ID [executorId] on host [executorHostname]

心跳发送线程

Executor 会定期向 driver 发送心跳信号以确保连接活跃。心跳线程通常是一个调度线程池，利用 ScheduledThreadPoolExecutor 来维持任务的实时性。

执行任务

Executor 通过 launchTask 方法来执行任务。这个方法会创建一个 TaskRunner 线程，并在 Executor Task Launch Worker 线程池中执行任务。

private val threadPool = ThreadUtils.newDaemonCachedThreadPool("Executor task launch worker")

Spark RDD (Resilient Distributed Dataset)

RDD 是 Spark 的基础数据结构，表示一个不可变的分布式数据集。RDD 在集群中的各个节点上并行计算，并且具有弹性（容错性）和分布式的特性。

RDD 的特性

弹性：RDD 是容错的，丢失的数据可以通过其父 RDD 重新计算。
分布式：RDD 的数据分布在集群的不同节点上，支持分布式计算。
不可修改：RDD 一旦创建，其数据不可修改，这也保证了数据的一致性。
分区：RDD 会被划分为多个分区，以便并行处理。

RDD 的创建方式

（1）并行化：可以通过 SparkContext.parallelize() 方法从一个数据集合创建 RDD。
（2）从外部存储：可以通过 SparkContext.textFile() 等方法从外部存储系统（如 HDFS）加载数据创建 RDD。
（3）从其他 RDD：通过 Spark 的 Transformation 操作从已有的 RDD 创建新的 RDD。

RDD 操作

RDD 支持两种类型的操作：

Transformation 操作（转换）：如 map()、filter()，返回新的 RDD。
Action 操作（行动）：如 count()、collect()，触发实际计算并返回结果。

RDD 的容错性

RDD 提供容错能力。当某个节点失败时，可以根据其父 RDD 的计算逻辑恢复丢失的数据。这是通过 DAG（有向无环图）和父 RDD 关系来实现的。

RDD 的持久化

RDD 可以使用 cache() 或 persist() 进行持久化存储，缓存的 RDD 会存储在内存中，若内存不足则溢写到磁盘，避免重复计算。

RDD 的局限性

缺少内置优化引擎：RDD 无法像 DataFrame 和 Dataset 一样利用 Spark 的 Catalyst 优化器进行自动优化。

性能问题：随着数据量增大，RDD 计算的性能可能下降，尤其是与 JVM 垃圾回收和序列化相关的开销。

存储问题：当内存不足时，RDD 会将数据溢写到磁盘，这会导致计算性能大幅下降。

创建 RDD 的例子

并行化创建 RDD：

val data = sc.parallelize(Seq(1, 2, 3, 4, 5))
val result = data.map(_ * 2)
result.collect()  // 返回 [2, 4, 6, 8, 10]

从外部存储创建 RDD：

val rdd = sc.textFile("hdfs://path/to/file")

从其他 RDD 创建 RDD：

val newRdd = oldRdd.filter(_ > 10)

Spark RDD 缓存机制

Spark RDD 缓存是一种优化技术，用于将中间计算结果存储在内存中，以便在后续操作中复用，从而减少重复计算，提高性能。RDD 缓存可以显著加速一些需要迭代计算的应用，特别是在机器学习和图计算等场景中。

持久化 RDD

持久化操作会将 RDD 的计算结果存储到内存中。这样，每次对 RDD 进行操作时，Spark 会直接使用内存中的数据，而不必重新计算。通过持久化，可以避免重复计算从而提高效率。

cache()：cache() 是 persist() 的简化方法，默认将 RDD 数据存储在内存中，使用 MEMORY_ONLY
存储级别。
persist()：可以通过 persist() 方法选择不同的存储级别，例如 MEMORY_ONLY、DISK_ONLY 等。
unpersist()：用于移除已缓存的数据，释放内存。

RDD 持久化存储级别

Spark 提供了多种存储级别，每种级别的存储方式不同，根据具体的需求选择合适的存储级别。

存储级别	使用空间	CPU时间	是否在内存中	是否在磁盘上	备注
MEMORY_ONLY	高	低	是	否	默认级别，数据未序列化，全部存储在内存中
MEMORY_ONLY_2	高	低	是	否	数据存储 2 份
MEMORY_ONLY_SER	低	高	是	否	数据序列化存储，占用更少内存
MEMORY_AND_DISK	高	中等	部分	部分	内存不够时，数据溢写到磁盘
MEMORY_AND_DISK_SER	低	高	部分	部分	数据序列化，内存不够时溢写到磁盘
DISK_ONLY	低	高	否	是	数据仅存储在磁盘中
OFF_HEAP	-	-	-	-	存储在堆外内存，目前为试验性选项

副本机制

带有 _2 后缀的存储级别表示在每个节点上缓存数据的副本。副本机制是为了提高容错性。如果某个节点的数据丢失，Spark 可以从其他节点的副本中恢复数据，而不必重新计算。

缓存策略的选择

MEMORY_ONLY：适用于内存足够大的场景，避免序列化和磁盘 I/O开销。性能较高，但如果内存不足可能会导致计算失败。
MEMORY_ONLY_SER：适用于内存较为紧张的场景，将数据进行序列化后保存在内存中，减少内存占用，但会增加序列化的开销。
MEMORY_AND_DISK：适用于内存不足的场景，数据无法完全存储在内存时会溢写到磁盘，确保数据不会丢失。
DISK_ONLY：适用于数据量极大的情况，全部数据存储在磁盘中，性能较低，但可以处理大规模数据。

如何使用 Spark RDD 缓存

缓存 RDD：

val rdd = sc.textFile("data.txt")
rdd.cache()  // 使用默认的 MEMORY_ONLY 存储级别

选择存储级别：

rdd.persist(StorageLevel.MEMORY_AND_DISK)  // 选择 MEMORY_AND_DISK 存储级别

清除缓存

rdd.unpersist()  // 移除缓存

Spark 键值对 RDD

Spark 通过 PairRDD 处理键值对类型的数据，提供了多种用于处理键值对数据的转换操作。

如何创建键值对 RDD
通过 map 操作将普通 RDD 转换为键值对 RDD。
Scala 示例：

val lines = sc.textFile("data.txt")
val pairs = lines.map(s => (s, 1))

Python 示例：

lines = sc.textFile("data.txt")
pairs = lines.map(lambda s: (s, 1))

常见的键值对操作
reduceByKey(func)：对具有相同键的值进行规约操作。

val pairs = sc.parallelize(List((1,2),(3,4),(3,6)))
val result = pairs.reduceByKey((a, b) => a + b)
println(result.collect().mkString(","))

groupByKey()：对具有相同键的值进行分组。

val result = pairs.groupByKey()
println(result.collect().mkString(","))

mapValues()：对值进行转换操作，但不改变键。

val result = pairs.mapValues(x => x + 1)
println(result.collect().mkString(","))

sortByKey()：按键排序。

val sorted = pairs.sortByKey()
println(sorted.collect().mkString(","))

对两个 RDD 的操作
join()：连接两个 RDD，返回键相同的数据。

val other = sc.parallelize(List((3, 9)))
val joined = pairs.join(other)
println(joined.collect().mkString(","))

leftOuterJoin() 和 rightOuterJoin()：左外连接和右外连接，分别确保第一个和第二个 RDD 中的键存在。

val leftJoined = pairs.leftOuterJoin(other)
val rightJoined = pairs.rightOuterJoin(other)
println(leftJoined.collect().mkString(","))
println(rightJoined.collect().mkString(","))

通过合理使用 Spark 的缓存和键值对 RDD 操作，可以显著提升大数据计算的效率，尤其是在迭代计算和需要频繁访问中间数据的场景下。

Spark核心组件解析：Executor、RDD与缓存优化

Spark核心组件解析：Executor、RDD与缓存优化 Spark Executor Executor 是 Spark 中用于执行任务（task）的执行单元，运行在 worker 上，但并不等同于 worker。实际上，Executor 是一组计算资源（如…...

编程日记 2025/7/27 1:48:42

阿里云cdn配置记录和nodejs手动安装

cdn 登录阿里云域名解析权限开启cdn，接引导流程， 源可以设置域名或者ip等配置好域名解析上传https证书图片不显示，后端开发需要配置回源配置的回源协议 ，配置跟随客服端【如果浏览器多次重定向错误，客服或者改…...

编程日记 2025/7/27 1:29:19

【实战】基于urllib和BeautifulSoup爬取jsp网站的数据

文章目录前言目标网站分析目标网页爬取数据解析导出数据其他问题处理分页检索及多关键字搜索去重cookie问题工具封装经验总结前言网络数据爬取大致分为两类：静态爬取：该种方式针对那种架构比较老的网站，使用模版方式，通过浏览器F12只能找到静态页面，找不到返回json数…...

编程日记 2025/7/24 4:18:44

cpp-httplib 框架

cpp-httplib 概述主要特点单文件库：cpp-httplib 是一个单文件头文件库，易于集成到现有项目中。你只需将 httplib.h 包含到项目中即可开始使用支持 HTTP 客户端和服务器：它不仅支持作为 HTTP 客户端发送请求，也支持构建 HTTP 服…...

编程日记 2025/7/25 22:59:47

GEE 案例——TVDI（Temperature Vegetation Dryness Index）指数

目录简介方法论代码解释函数案例代码单景影像的TVDI 影像集合批量计算TVDI 引用结果简介本文中代码包含两个可用于计算 TVDI 的主要函数。其中一个函数用于仅根据一幅 NDVI 和一幅 LST 图像生成 TVDI（singleTVDI），另一个函数用于为多幅 NDVI 和多幅 LST …...

编程日记 2025/7/23 17:13:45

Java语言程序设计选填题知识点总结

第一章 javac.exe是JDK提供的编译器public static void main (String args[])是Java应用程序主类中正确的main方法Java源文件是由若干个书写形式互相独立的类组成的Java语言的名字是印度尼西亚一个盛产咖啡的岛名Java源文件中可以有一个或多个类Java源文件的扩展名是.java如果…...

编程日记 2025/7/22 5:47:04

基于Springboot+Vue社区养老服务管理系统（源码+lw+讲解部署+PPT）

前言详细视频演示论文参考系统介绍系统概述核心功能用户角色与功能具体实现截图 1. 服务信息查看功能主要代码实现截图： 2. 服务申请功能主要代码实现截图： 3. 公告信息查看功能主要代码实现截图： 4. 服务信息…...

编程日记 2025/7/27 12:26:17

Linux基本指令的使用

当然可以！以下是一些常用的Linux指令及其示例： 1. ls 列出目录内容。 ls 显示当前目录下的文件和文件夹。 ls -l 以详细格式列出文件和文件夹的信息（如权限、拥有者、大小等）。 2. cd 改变当前目录。 cd /path/to/dire…...

编程日记 2025/7/26 17:04:24

Momenta C++面试题及参考答案

vtable 的创建时机在 C 中，vtable（虚函数表）是在编译阶段创建的。当一个类包含虚函数时，编译器会为这个类生成一个 vtable。vtable 本质上是一个函数指针数组，其中每个元素指向一个虚函数的实现。这个表的布局是由编译…...

编程日记 2025/7/26 2:04:15

AI 在软件开发流程中的优势、挑战及应对策略

AI 在软件开发流程中的优势、挑战及应对策略随着人工智能技术的飞速发展，AI大模型正在逐步渗透到软件开发的各个环节，从代码自动生成到智能测试，AI的应用正在重塑传统的软件开发流程。本篇文章将分析AI在软件开发流程中带来的优势&#xff0…...

编程日记 2025/7/27 12:24:58

langchain runnable

LangChain 文档详细解析 LangChain 是一个用于构建与语言模型（如GPT-4）交互的框架。本文档介绍了LangChain v0.1版本中的Runnable接口及其相关功能。目录 Runnable接口输入和输出模式使用示例异步方法事件流并行处理 1. Runnable接口为了简化自定义…...

编程日记 2025/7/27 1:27:53

方法1 location / {index index.html index.htm;add_header Cache-Control no-cache,no-store;try_files $uri $uri/ /index.html;#include mime.types;if ($request_filename ~* .*\.(htm|html)$) {add_header Cache-Control "private, no-store, no-cache, must-revali…...

编程日记 2025/7/24 4:24:33

Linux系统程序设计--4.进程

程序与进程内核中的进程结构 task_struct(进程表项和进程控制块) 位于/usr/src/linux-headers-4.15.0-213-generic/include/linux/sched.h C程序启动过程进程终止方式进程终止函数 atexit 小案例 #include<stdio.h> #include<string.h> #include<stdlib…...

编程日记 2025/7/23 4:29:25

springboot/ssm网购平台管理系统Java在线购物商城管理平台web电商源码

springboot/ssm网购平台管理系统Java在线购物商城管理平台web电商源码基于springboot(可改ssm)vue项目开发语言：Java 框架：springboot/可改ssm vue JDK版本：JDK1.8（或11） 服务器：tomcat 数据库&…...

编程日记 2025/7/22 9:09:24

2024年Android面试总结

2024年Android面试总结 1.动画类型有哪些？插值器原理？ 2.StringBuffer和StringBuilder区别？ 3.jvm内存模型？ 4.线程池7大核心参数及原理？ 5.Android多进程通信方式有哪些？各自的优缺点？ 6…...

编程日记 2025/7/27 0:57:00

UE5 slate BlankProgram独立程序系列

源码版Engine\Source\Programs\中copy BlankProgram文件夹，重命名为ASlateLearning，修改所有文件命名及内部名称。 ASlateLearning.Target.cs // Copyright Epic Games, Inc. All Rights Reserved.using UnrealBuildTool; using System.Collections.Ge…...

编程日记 2025/7/25 22:26:21

小米PC电脑手机互联互通，小米妙享，小米电脑管家，老款小米笔记本怎么使用，其他品牌笔记本怎么使用，一分钟教会你

说在前面之前我们体验过妙享中心，里面就有互联互通的全部能力，现在有了小米电脑管家，老款的笔记本竟然用不了，也可以理解，毕竟老款笔记本做系统研发的时候没有预留适配的文件补丁，至于其他品牌的winPC小米…...

编程日记 2025/7/25 22:00:57

家庭智慧工程师：如何通过科技提升家居生活质量

在今天的数字化时代，家居生活已经不再只是简单的“住”的地方。随着物联网（IoT）、人工智能（AI）以及自动化技术的快速发展，越来越多的家庭开始拥抱智慧家居技术，将他们的家变得更加智能化、便捷和…...

编程日记 2025/7/21 23:49:47

云计算-华为HCIA-学习笔记

笔者今年7月底考取了华为云计算方向的HCIE认证，回顾从IA到IE的学习和项目实战，想整合和分享自己的学习历程，欢迎志同道合的朋友们一起讨论！ 第二章：服务器基础服务器是什么？ 服务器本质上就是个性能超强的…...

编程日记 2025/7/24 20:32:41

webgl threejs 云渲染(服务器渲染、后端渲染)解决方案

云渲染和流式传输共享三维模型场景 1、本地无需高端GPU设备即可提供三维项目渲染云渲染和云流化媒体都可以让3D模型共享变得简单便捷。配备强大GPU的远程服务器早就可以处理密集的处理工作，而专有应用程序，用户也可以从任何个人设备查看全保真模型并与…...

编程日记 2025/7/26 9:58:38

【中间件】Redis

一、什么是Redis Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置…...

编程日记 2025/7/27 12:25:36

请结合给定资料中的具体事例，谈谈你对“海洋的污染将毁灭鱼儿的家园，但让人类不寒而栗的毁灭绝非仅此而已！”这句话的理解。（10分）

题目【2010年国考省级以上（含副省级）申论真题】2．请结合给定资料中的具体事例，谈谈你对“海洋的污染将毁灭鱼儿的家园，但让人类不寒而栗的毁灭绝非仅此而已！”这句话的理解。（10分&#xff09…...

编程日记 2025/7/27 1:44:18

Java SE 与 Java EE：基础与进阶的探索之旅

在编程世界中，Java语言以其跨平台、面向对象、丰富的类库等特点，成为了众多开发者和企业的首选编程语言。而Java SE与Java EE，作为Java平台的两个重要组成部分，各自承载着不同的使命，同时又紧密相连，共同构…...

编程日记 2025/7/25 18:12:09

PH热榜 | 2024-11-24

DevNow 是一个精简的开源技术博客项目模版，支持 Vercel 一键部署，支持评论、搜索等功能，欢迎大家体验。在线预览 1. AutoFlow Studio 标语：借助简化的AI质检，更快发布产品，更聪明地进行测试。介绍&…...

编程日记 2025/7/22 19:48:46

LLM 系列学习教程

LLM101 检查 Tokenizer 词表大小与 LLM 的 Embedding 和 LM_head 输入大小是否匹配对 SBert 进行训练、预测、评估使其进行相似度计算对 BERT 进行训练、预测、评估使其进行文本分类使用 CLIP 模型进行文本图像匹配对 JoinBERT 进行训练、预测使其进行对话意图和槽位联合识别对…...

编程日记 2025/7/25 14:10:04

基于yolov8、yolov5的茶叶等级检测识别系统（含UI界面、训练好的模型、Python代码、数据集）

摘要：茶叶等级检测在茶叶生产、质量控制和市场销售中起着至关重要的作用，不仅能帮助相关部门实时监测茶叶质量，还为智能化检测系统提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的茶叶等级检测模型，该模…...

编程日记 2025/7/25 1:08:26

Excel求和如何过滤错误值

一、问题的提出平时，我们在使用Excel时，最常用的功能就是求和了，一说到求和你可能想到用sum函数，但是如果sum的求和区域有#value #Div等错误值怎么办？如下图，记算C列中工资的总和。直接用肯定会报错&…...

编程日记 2025/7/25 9:59:35

头文件包含

大家好，今天我们来聊聊头文件包含这方面的知识，并且在这里提出几个问题，头文件多次包含有什么影响吗？“”和〈〉这两种方式都能包含标准头文件吗？ 一.文件包含 #include指令可以使另外一个文件被编译。就像它实际出现…...

编程日记 2025/7/25 11:48:22

37_U-Net网络详解

1.U-Net 网络概述 U-Net 是一种深度学习模型，广泛用于图像的语义分割任务。U-Net 网络的结构特别适合医学影像分割，尤其在少量训练数据的情况下表现优异。该网络由一个编码器-解码器架构组成，具有对称的“U”形结构，因此得名为 U…...

编程日记 2025/7/24 11:54:41

fastapi入门

好的，我将为您生成一个更详细、易于理解的 FastAPI 入门学习文档，特别是对复杂概念（如依赖注入）进行深入解释，帮助您在没有太多基础的情况下也能顺利学习和掌握 FastAPI。 FastAPI 入门学习文档目录简介环境搭建 2…...

编程日记 2025/7/25 23:38:30

RabbitMQ 之死信队列

一、死信的概念先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，consumer 从 queue 取出消息进行…...

编程日记 2025/7/24 16:27:55

Android-如何实现Apng动画播放

01 Apng是什么 Apng（Animated Portable Network Graphics）顾名思义是基于 PNG 格式扩展的一种动画格式，增加了对动画图像的支持，同时加入了 24 位图像和8位 Alpha 透明度的支持，并且向下兼容 PNG。 Google封面图 02 A…...

编程日记 2025/7/26 12:46:12

微服务系统架构图

微服务架构是一种将单一应用程序开发为一组小型服务的架构风格。每个服务都在自己的进程中运行，它们之间采用轻量级的通信机制（如 HTTP/REST 或消息队列）进行相互协作。以下是关于微服务系统架构的简要介绍：一、核心特点独立部署 …...

编程日记 2025/7/26 5:31:43

04 —— Webpack打包CSS代码

编程日记 2025/7/25 3:04:33

【数据结构专栏】二叉搜索树(Binary Search Tree)的剖析？

文章目录 🧨前言1、二叉搜索树的基本概念？2、二叉搜索树的节点结构组成？3、二叉搜索树的插入操作？4、二叉搜索树的删除操作？5、二叉搜索树的遍历？ 6、二叉搜索树的性能分析？ 🎉完整代…...

编程日记 2025/7/26 1:50:32

SSM全家桶 1.Maven

或许总要彻彻底底地绝望一次才能重新再活一次 —— 24.11.20 maven在如今的idea中已经实现自动配置，不需要我们手动下载一、Maven的简介和快速入门 Maven 是一款为 Java 项目构建管理、依赖管理的工具(软件)，使用 Maven 可以自动化构建测试、打包和发…...

编程日记 2025/7/26 14:23:49

前端三剑客（二）：CSS

目录 1. CSS 基础 1.1 什么是 CSS 1.2 语法格式 1.3 引入方式 1.3.1 行内样式 1.3.2 内部样式 1.3.3 外部样式 1.4 CSS 编码规范 2. 选择器 2.1 标签选择器 2.2 id 选择器 2.3 class 选择器(类选择器) 2.4 复合选择器 2.5 通配符选择器 3. 常用 CSS 样式 3.1 c…...

编程日记 2025/7/26 9:37:47

解析html将表格插入word文档

用到依赖包 <dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.15.2</version></dependency><dependency><groupId>org.aspectj</groupId><artifactId>aspectjweav…...

编程日记 2025/7/26 0:48:29

Java核心知识详解：String类、StringBuffer、数组及日期时间的全面解析

🚀 作者 ：“码上有前” 🚀 文章简介 ：Java 🚀 欢迎小伙伴们点赞👍、收藏⭐、留言💬 标题 Java核心知识详解：String类、StringBuffer、数组及日期时间的全面解析摘要在Java中…...

编程日记 2025/7/27 6:25:53

唯一设备序列号（UID）、唯一产品识别码（UPI）和备份寄存器BKP

文章目录一、唯一设备序列号UID二、唯一产品识别码UPI三、备份寄存器BKP 一、唯一设备序列号UID MCU 系列产品内置两个不同长度的唯一设备序列号，分别为 96 位的 UID(Unique device ID)和 128 位的UCID(Unique Customer ID)，这两个设备序列号存放在闪存…...

编程日记 2025/7/26 23:16:52

Kafka - 消费者程序仅消费一半分区消息的问题

1. 问题描述修改安全服务状态有时逻辑正常有时候逻辑不正常，排查incident服务的日志发现消息可以正常发送到 kafka topic ，但是incident-cron 服务有时候有拉取消息的日志有时候没有日志。 kafka 生产者可以将消息正常发送到 kafka topic &#xff0c…...

编程日记 2025/7/25 19:53:27

养老院管理系统+小程序项目需求分析文档

智慧综合养老服务平台是以业务为牵引、场景为驱动，围绕“老人”业务域，持续沉淀和打磨形成适应不同养老业务发展需要的业务能力，推动业务模式升级，为养老服务提供数字化解决方案，并依托实体站点与养老机构实现线上线下…...

编程日记 2025/7/20 6:48:22

K8s 下通过prometheus监控 nginx

k8s 下有两个版本的nginx ingress 分别是 ingress nginx 以及 nginx ingress Ingress-nginx 与 Nginx-ingress - LeoZhanggg - 博客园这里我讨论的是 nginx ingress Nginx Ingress 使用Prometheus 导出数据 nginx ingress 本身支持通过支持这个提供prometheus 格式的…...

编程日记 2025/7/23 5:13:52

基于SpringBoot的京东绿谷旅游信息服务平台设计与实现（源码+定制+开发）

博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台…...

编程日记 2025/7/27 7:08:30

使用Redis生成全局唯一id

为了生成一个符合要求的分布式全局ID，我们可以使用 StringRedisTemplate 来实现。这个ID由三部分组成： 符号位（1 bit）：始终为0，表示正数。时间戳（31 bit）：表示从某个起始…...

编程日记 2025/7/21 10:58:10

pytorch自定义算子导出onnx

文章目录 1、为什么要自定义算子？2、如何自定义算子3、自定义算子导出onnx4、example1、重写一个pytorch 自定义算子（实现自定义激活函数）2、现有算子上封装pytorch 自定义算子（实现动态放大超分辨率模型） 1、为什么要…...

编程日记 2025/7/27 1:45:34

从搭建uni-app+vue3工程开始

技术栈 uni-app、vue3、typescript、vite、sass、uview-plus、pinia、axios 一、项目搭建 1、创建以 typescript 开发的工程 npx degit dcloudio/uni-preset-vue#vite-ts my-vue3-project2、安装sass npm install -D sass// 安装sass-loader，注意需要版本10&…...

编程日记 2025/7/26 22:54:33

波点音乐自动点击

波点音乐 import uiautomator2 as u2 import time import sys import os# 动态点击时间，打印剩余时间 def dynamic_sleep(seconds):wait_time secondsfor i in range(wait_time):print(f"Waiting... {wait_time - i} seconds remaining")sys.stdout.flu…...

编程日记 2025/7/23 12:09:28

【一篇搞定配置】wget 下载与安装（Window）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀各种软件安装与配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 1.…...

编程日记 2025/7/20 1:25:42

2025年春招修订版《C/C++笔面试系列》(1) C语言经典笔面试题(上)

C语言是嵌入式开发的常用语言，也是主要语言，很多企业在招聘嵌入式软件工程师时，C语言的熟练程度是一个重要考察点。笔试也是以C语言为主，所以想要拿到面试机会，还得通过C语言笔试，本专题总结了各大企业C语言…...

编程日记 2025/7/21 8:51:00

Spark核心组件解析：Executor、RDD与缓存优化

Spark Executor

Executor 的功能

Executor 的创建

心跳发送线程

执行任务

Spark RDD (Resilient Distributed Dataset)

RDD 的特性

RDD 的创建方式

RDD 操作

RDD 的容错性

RDD 的持久化

RDD 的局限性

创建 RDD 的例子

Spark RDD 缓存机制

持久化 RDD

RDD 持久化存储级别

副本机制

缓存策略的选择

如何使用 Spark RDD 缓存

缓存 RDD：

选择存储级别：

清除缓存

Spark 键值对 RDD

相关文章：