spark缓存-persist
存储级别指定
persist：可以通过传入 StorageLevel 参数来指定不同的持久化级别。常见的持久化级别有：
MEMORY_ONLY：将 RDD 以 Java 对象的形式存储在 JVM 的内存中。若内存不足，部分分区将不会被缓存，需要时会重新计算。
MEMORY_AND_DISK：优先把 RDD 以 Java 对象的形式存储在 JVM 的内存中。若内存不足，会把多余的分区存储到磁盘上。
DISK_ONLY：将 RDD 的数据存储在磁盘上。
MEMORY_ONLY_SER：将 RDD 以序列化的 Java 对象形式存储在内存中，相较于 MEMORY_ONLY，序列化后占用的内存空间更小，但读取时需要进行反序列化操作，会带来一定的性能开销。
MEMORY_AND_DISK_SER：优先将 RDD 以序列化的 Java 对象形式存储在内存中，内存不足时存储到磁盘上。
cache：不能指定存储级别，它固定使用 MEMORY_ONLY 存储级别。
import org.apache.spark.storage.StorageLevel
import org.apache.spark.{SparkConf, SparkContext}object Cache {//Spark的缓存//1.cache()//2.persist()//cache()是persist()的一种特殊情况def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("Cache").setMaster("local[*]")val sc = new SparkContext(conf)sc.setLogLevel("WARN")//创建一个包含大量随机数的RDDval rdd = sc.parallelize(1 to 1000000).map( _=> scala.util.Random.nextInt(100))//定义一个复杂的转换函数def complexTransformation(x:Int): Int = {var result=xfor(i<-1 to 1000){result=result*2%100}result}//val rdd1=rdd.map(complexTransformation)//缓存rdd//val rdd1=rdd.map(complexTransformation).cache()//persistval rdd1=rdd.map(complexTransformation).persist(StorageLevel.DISK_ONLY)//第一次触发行动算子，计算并统计消耗时间val startTime=System.currentTimeMillis()val rs1=rdd1.collect()val endTime=System.currentTimeMillis()println("第一次计算消耗时间："+(endTime - startTime)+"毫秒")//第二次触发行动算子，计算并统计消耗时间val startTime1=System.currentTimeMillis()val rs2=rdd1.collect()val endTime1=System.currentTimeMillis()println("第二次计算消耗时间："+(endTime1 - startTime1)+"毫秒")}}相关文章：
spark缓存-persist
存储级别指定 persist：可以通过传入 StorageLevel 参数来指定不同的持久化级别。常见的持久化级别有： MEMORY_ONLY：将 RDD 以 Java 对象的形式存储在 JVM 的内存中。若内存不足，部分分区将不会被缓存，需要时会重新计算…...
树初步 #1（插排串联 - 辽宁省2024CCPC）
树初步 数的基础内容可以看看树基础 - OI Wiki里面的讲解，对一些操作的基础概念介绍的很清楚； 下面直接来看例题： 插排串联 - 辽宁省CCPC 题目大意 给定一个n1个节点的有根数； 根节点（0号）是插座&…...
CDGP重点知识梳理（82个）
目 录 考点分布 考试要求 第一章 数据管理-5%...
shell脚本基础详细学习（更新中）
shell简单介绍 Shell不仅仅是充当用户与UNIX或者localhost交互的角色，还可以作为一种程序设计 语言来使用。通过Shell编程，可以实现许多非常实用的功能，提高系统管理的自动化水平。 如果有一系列经常需要使用的命令，把它存储在一…...
记录一下学习kafka的使用以及思路
下面这是kafka的依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-stream-kafka</artifactId></dependency> 我在学习的时候直接导入是没有导入成功的，我猜测大概的原因是我本…...
AT9880B北斗单模卫星定位SOC芯片
AT9880B是一款高性能北斗单模卫星导航接收机SOC单芯片，芯片集成射频前端和数字基带、北斗多频卫星信号处理引擎、电源管理功能。芯片支持接收中国北斗二号和北斗三号，支持接收B1I、B1C、B2I、B3I、B2a和 B2b等频点信号。 主要特性： 支持北斗…...
李沐《动手学深度学习》 | 多层感知机
文章目录 感知机模型《深度学习入门》的解释训练感知机损失函数的选择感知机的收敛定理：什么时候能够停下来，是不是真的可以停下来感知机的不足 多层感知模型案例引入隐藏层从线性到非线性单隐藏层-单分类案例多隐藏层 激活函数softmax函数溢出的问题 多…...
vue数据可视化开发常用库
一、常用数据可视化库 1. ECharts 特点：功能强大，支持多种图表类型，社区活跃。适用场景：复杂图表、大数据量、3D 可视化。安装：npm install echarts示例：<template><div ref"chart" c…...
CAN转ModbusTCP网关：破解电池生产线设备协议壁垒，实现全链路智能互联
在电池生产的现代工艺中，自动化和信息化水平的提高是提升产能、保障品质与安全的关键。CAN 协议作为一种广泛应用于汽车、工业控制等领域的串行通信协议，它以其高可靠性和强实时性而受到企业的青睐。而在众多工业通讯协议中，ModbusTCP作为一种…...
更新 / 安装 Nvidia Driver 驱动 - Ubuntu - 2
如果按更新 / 安装 Nvidia Driver 驱动 - Ubuntu-CSDN博客中的步骤操作后问题依旧，则查看过程中的提示信息。 如果发现有“Use sudo apt autoremove to remove them.”，则执行： #sudo apt autoremove #nvidia-smi...
技术分享 | 如何在2k0300（LoongArch架构）处理器上跑通qt开发流程
近期迅为售后团队反馈，许多用户咨询：2K0300处理器采用了LA264处理器核，若要在该处理器上运行Qt程序，由于架构发生了变化，其使用方法是否仍与ARM平台保持一致？ 单纯回答‘一致’或‘不一致’缺乏说服力&…...
ubuntu 24.04 error: cannot uninstall blinker 1.7.0, record file not found. hint
最近在打python3.12的镜像，安装browser-gym的核心库，编译一个使用browswer agents的环境，然后出现了下面的问题： error: cannot uninstall blinker 1.7.0, record file not found. hint: the package was installed by debian.系…...
学习记录：DAY28
DispatcherController 功能完善与接口文档编写 前言 没什么动力说废话了。 今天来完善 DispatcherController 的功能，然后写写接口文档。 日程 早上：本来只有早八，但是早上摸鱼了，罪过罪过。下午：把 DispatcherContro…...
C# 的异步任务中, 如何暂停, 继续,停止任务
namespace taskTest {using System;using System.Threading;using System.Threading.Tasks;public class MyService{private Task? workTask;private readonly SemaphoreSlim semaphore new SemaphoreSlim(0, 1); // 初始为 0，Start() 启动时手动放行private read…...
html object标签介绍（用于嵌入外部资源通用标签）（已不推荐使用deprecated，建议使用img、video、audio标签）
文章目录 HTML <object> 标签详解基本语法与核心属性关键属性解析1. **data**2. **type**3. **width & height**4. **name** 嵌入不同类型的资源1. **嵌入图像**2. **嵌入音频**3. **嵌入视频**4. **嵌入 PDF** 参数传递与回退内容**参数（<param>&a…...
专题练习1
优化: 找101-200的质数: 开发验证码: 解密数字 抽奖 优化 彩票...
Uniapp编写微信小程序，使用canvas进行绘图
一、canvas文档： https://developer.mozilla.org/zh-CN/docs/Web/API/Canvas_API/Tutorial 二、数据绘制（单位是像素）： 1、绘制文本： 文字的长度超过设置的最大宽度，文字会缩在一起 ① 填充文本…...
Java高频基础面试题
Java高频基础面试题 Java基础 Java的特点是什么？ 面向对象平台无关性（“一次编写，到处运行”）支持多线程自动内存管理（垃圾回收）安全性丰富的类库 JDK、JRE和JVM的区别 JDK (Java Development Kit): Java…...
U9C-SQL-采购订单视图
U9C-SQL-采购订单视图 SELECTpo.ID,CONVERT ( VARCHAR ( 10 ), po.CreatedOn, 23 ) AS 签订日期,org.Name AS 甲方,po.DocNo AS 单号,item.Code AS 料号,item.Name AS 品名,item.SPECS AS 规格,item.DescFlexField_PrivateDescSeg1 AS 图号,item.DescFlexField_PrivateDescSeg2…...
HTML字符串转换为React元素实现
HTML字符串安全转换为React元素的实现 一、背景介绍 介绍HTML字符串在Web开发中的常见场景。说明React中直接使用HTML字符串的局限性。提出将HTML字符串转换为React元素的需求。 二、首先必备的两个npm库：html-react-parser和dompurify 导入： pnpm i…...
全局异常未能正确捕获到对应的异常
自定义Validation验证器遇到的问题 抛出的异常没有能被指定的TaskValidException.class方法拦截到。故写这个原因 全局异常拦截只能拦截相同的异常。只能通过解析转入自定义的异常。自定义的异常继承的异常要是一家子的。如TaskValidException和ValidationException。这样就能在…...
LeetCode 解题思路 47（最长回文子串、最长公共子序列）
解题思路： dp 数组的含义： dp[i][j] 是否为回文子串。递推公式： dp[i][j] s.charAt(i) s.charAt(j) && dp[i 1][j - 1]。dp 数组初始化： 单字符 dp[i][i] true，双字符 dp[i][i 1] s.charAt(i) s.charA…...
P11369 [Ynoi2024] 弥留之国的爱丽丝（操作分块，DAG可达性trick）
真的神仙题。感觉学到了很多。 题意： 给你一张 n n n 个结点 m m m 条边的有向图，点编号为 1 , 2 , … , n 1,2,\dots,n 1,2,…,n。每条边的颜色为黑色或白色。一开始所有 m m m 条边都是黑色的。 你需要进行 q q q 次操作，有两种操作…...
NAT穿越
概述 IPSec协商是通过IKE完成--->ISAKMP协议完成--->由UDP封装，源目端口均为500。 NAT--->NAPT，同时转换IP和端口信息。 对端设备会查验收到的数据报文中的源IP和源端口，其中源IP可以设定为NAT转换后的IP，但是源端口无法…...
不黑文化艺术学社首席艺术家孙溟㠭浅析“雪渔派”
孙溟㠭浅析“雪渔派” 何震 字主臣 ，长卿，号雪渔，安徽婺源（今江西）人，是明代著名的篆刻家和书法家，与文彭独树一帜，实现书法与刀法的统一。 云中白鹤 笑谭间气吐霓虹 边款 其篆刻吸…...
【Linux操作系统】第一弹——Linux基础篇
文章目录 💡 一. Linux的基本常识🪔 1.1 linux网络连接三种方式🪔1.2 虚拟机的克隆🪔1.3 虚拟机的快照🪔1.4 虚拟机的迁移和删除🪔1.5 vmtools工具 💡二. Linux的目录结构🪔2.1 Linu…...
“ES7+ React/Redux/React-Native snippets“常用快捷前缀
请注意，这是一个常用的列表，不是扩展提供的所有前缀。最完整和最新的列表请参考扩展的官方文档或在 VS Code 中查看扩展的详情页面。 React (通常用于 .js, .jsx, .ts, .tsx): rfce: React Functional Component with Export Defaultrafce: React Arro…...
selenium替代----playwright
安装 好处特点：这个东西不像selenium需要固定版本的驱动 pip config set global.index-url https://mirrors.aliyun.com/pypi/simplepip install --upgrade pippip install playwright playwright installplaywright install ffmpeg (处理音视频的)验证&#x…...
2025年社交APP安全防御指南：抵御DDoS与CC攻击的实战策略
2025年，社交APP的用户规模与业务复杂度持续增长，但随之而来的DDoS与CC攻击也愈发隐蔽和智能化。攻击者通过AI伪造用户行为、劫持物联网设备，甚至利用区块链漏洞发起混合攻击，对平台稳定性与用户数据安全构成严峻挑战。本文将结合最…...
PHP会话技术
第十六章-PHP会话技术 PHP会话技术是构建动态、个性化Web应用的核心机制之一，它通过跟踪用户在网站上的连续操作状态，实现了网页间的数据持久化交互。无论是电商平台的购物车信息保存、社交媒体的用户登录状态维持，还是表单数据的跨页面传递…...
QT聊天项目DAY10
1.封装redis操作类 头文件 #ifndef REDISMANAGE_H #define REDISMANAGE_H#include "Singletion.h" #include "GlobalHead.h"class RedisManage : public Singletion<RedisManage> {friend class Singletion<RedisManage>; public:~RedisMana…...
5.0.5 变换(旋转、缩放、扭曲）
WPF变换可以产生特殊效果，如平移、旋转、扭曲。 变换类 描述TranslateTransform沿着X轴和Y轴平移ScaleTransform 沿着定义的中心点缩放RotateTransform沿着定义的中心点旋转SkewTransform 扭曲元素MatrixTransfrom提供3x3矩阵，用于定义一个自定义变换 1…...
matlab转python
1 matlab2python开源程序 https://blog.csdn.net/qq_43426078/article/details/123384265 2 网址 转换网址：https://app.codeconvert.ai/code-converter?inputLangMatlab&outputLangPython 文件比较网址：https://www.diffchecker.com/text-comp…...
什么是直播美颜SDK？跨平台安卓、iOS美颜SDK开发实战详解
时下，尤其在社交、娱乐、电商等应用场景中，一个流畅且效果自然的美颜功能往往能直接影响用户的留存率和平台的营收。要实现这些效果，美颜SDK是核心工具。那么，什么是直播美颜SDK？它的功能有哪些？如何进行跨…...
大尺寸PCB如何重塑通信与新能源产业格局
在5G通信基站与新能源电站的机房内，一块块面积超过600mm600mm的PCB板正悄然推动着技术革命。作为电子设备的核心载体，大尺寸PCB凭借其高密度集成与复杂工艺，成为通信、能源等领域的“隐形功臣”。以猎板PCB为代表的厂商，凭借宽幅曝…...
JavaSE核心知识点02面向对象编程02-04（包和导入）
🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 文章目录 JavaSE核心知识点02面向对象编程02-04&#…...
【漫话机器学习系列】249.Word2Vec自然语言训练模型
【自然语言处理】用 Word2Vec 将词语映射到向量空间详解 一、背景介绍 在自然语言处理（NLP）领域，我们常常需要将文本信息转化为机器能够理解和处理的形式。传统的方法，如 one-hot编码，虽然简单，但存在严重…...
CSS transition过渡属性
transition 是 CSS 中用于创建平滑动画效果的属性，它允许元素在两个状态之间平滑过渡，而不是立即改变。通过定义过渡的属性、持续时间和速度曲线，你可以实现丰富的交互体验，如悬停效果、状态切换动画等。 核心作用 平滑过渡&…...
U9C对接飞书审批流完整过程
U9C虽然很强大，但是移动办公和审批流功能并不好用，为了弥补U9C这种不足，很多的企业在使用U9C的同时再开通钉钉、飞书、企业微信这种OA管理系统，两套系统并行使用，就需要考虑U9C和OA系统数据同步的问题，最简…...
阿里云 SLS 多云日志接入最佳实践：链路、成本与高可用性优化
作者：裘文成（翊韬） 摘要 随着企业全球化业务的扩展，如何高效、经济且可靠地将分布在海外各地的应用与基础设施日志统一采集至阿里云日志服务 (SLS) 进行分析与监控，已成为关键挑战。 本文聚焦于阿里云高性能日志采集…...
从0开始学习大模型--Day04--大模型的框架以及基本元素
Agent框架与策略分析 计划与执行（planning-and-Execute） 该框架侧重于先规划一系列的行动，然后执行。这个框架可以使大模型能够先综合考虑任务的多个方面，然后按照计划进行行动，比较适合应用在较复杂的项目管理中或者…...
FPGA实战项目2———多协议通信控制器
1. 多协议通信控制器模块 (multi_protocol_controller) 简要介绍 这是整个设计的顶层模块，承担着整合各个子模块的重要任务，是整个系统的核心枢纽。它负责协调 UART、SPI、I2C 等不同通信协议模块以及 DMA 模块的工作，同时处理不同时钟域之间的信号交互，确保各个模块能够…...
strings.Builder 使用详解
目录 1. 官方包 2. 支持版本 3. 官方说明 官方示例 方法 func (b *Builder) Cap() int func (b *Builder) Grow(n int) func (b *Builder) Len() int func (b *Builder) Reset() func (b *Builder) String() string func (b *Builder) Write(p []byte) (int, error)…...
数巅智能携手北京昇腾创新中心深耕行业大模型应用
当前，AI技术正在加速向各行业深度渗透,成为驱动产业转型和社会经济发展的重要引擎。构建开放协作的AI应用生态体系、推动技术和应用深度融合，已成为行业发展的重要趋势。 近日，数巅智能与北京昇腾人工智能计算中心（北京昇腾创新中…...
【嵌入式系统设计师（软考中级）】第二章：嵌入式系统硬件基础知识——⑤电源及电路设计
文章目录 7. 嵌入式系统电源分类及管理7.1 嵌入式系统电源分类7.2 电源管理技术7.3 电源完整性设计 8. 电子电路设计8.1 电子电路设计基础知识8.1.1 电子电路设计原理8.1.2 电子电路设计方法及步骤8.1.3 电子电路可靠性设计 8.2 PCB设计基础知识8.2.1 PCB设计原理8.2.2 PCB设计…...
排序算法-希尔排序
希尔排序是插入排序的改进版，通过将原始数组分成多个子序列进行间隔插入排序，逐步缩小间隔直至为1，最终完成整体排序。它也被称为缩小增量排序。 希尔排序步骤 选择增量序列（Gap Sequence）：确定一个递减的…...
JAVA继承中变量和方法的存储和方法中访问变量的顺序
一、变量归属与内存位置 static 变量：属于类，只存在一份，保存在方法区（或元空间）。 实例变量（非static）：属于对象，每个对象单独一份，保存在堆内存中。 二、…...
【PhysUnits】3.3 SI 基础量纲单位（units/base.rs）
一、源码 这段代码定义了一系列基础物理量纲的类型别名，并使用标记 trait Canonical 来表示它们是国际单位制（SI）中的基本单位。 use crate::Dimension; use typenum::{P1, Z0};/// 标记特质，表示基础量纲单位 pub trait Canoni…...
stm32F103芯片 实现PID算法控制温度例程
目录 硬件需求 软件需求 步骤 1. 配置STM32CubeMX 2. 编写PID控制代码 3. 编译和烧录 4. 测试 注意事项 要在STM32F103芯片上实现PID算法控制温度，首先需要确保你有一套完整的硬件和软件开发环境。这里，我将给你一个简化的例程，展示如何使用PID控制算法来调节一个假…...
Java学习手册：微服务设计原则
一、单一职责原则 每个微服务应该专注于一个特定的业务功能，具有清晰的职责边界。这有助于保持服务的简洁性，降低服务之间的耦合度，提高服务的可维护性和可扩展性。例如，可以将用户管理、订单管理、支付管理等功能分别设计为独立…...