当前位置：首页 > news >正文

定时任务删除MongoDB历史数据

news 来源：原创 2025/5/14 2:29:49

前言

MongoDB数据过多，导致存储成本飙升，为了降低成本，需要将历史数据删除。

删除逻辑

添加配置文件控制删除逻辑

syncconfig:deleteMongoConfig:#同步状态，true同步，false不同步syncStatus: true#删除数据的时间，一个月前deleteDays: 31#分布式锁keylockRedisKey: order.sync.deleteMongo#每次删除数量limit: 2

配置类

@ConfigurationProperties(prefix = "syncconfig")
@Configuration
@RefreshScope
@Data
public class SyncConfig {private DeleteMongoDto deleteMongoConfig;@Data@NoArgsConstructor@AllArgsConstructorpublic static class DeleteMongoDto {/*** 同步状态，true同步，false不同步*/Boolean syncStatus = false;/*** 删除的天数（createTime）*/Integer deleteDays = 186;/*** locakRedisKey，用于做分布式锁，防止定时任务执行时间较长，两个任务重叠执行*/String lockRedisKey;/*** 每次数量*/Integer limit = 1000;}
}

核心代码

    @PostMapping("/deleteMongo")public BaseResponse<String> deleteMongo() {return orderService.deleteMongo();}

 @Overridepublic BaseResponse<String> deleteMongo() {//获取配置信息SyncConfig.DeleteMongoDto deleteMongoDto = syncConfig.getDeleteMongoConfig();//判断同步是否开启if (deleteMongoDto == null || !deleteMongoDto.getSyncStatus()) {log.info("deleteMongosyncStatus=false,not sync");return ResponseUtils.success("deleteMongosyncStatus=false,not sync");}Boolean lockStatus = false;try {lockStatus = redisLockService.acquireLock(deleteMongoDto.getLockRedisKey());if (!lockStatus) {log.info("deleteMongo get lock fail,not sync");return ResponseUtils.fail("deleteMongo get lock fail,not sync");}//根据时间获取orderIdLong orderId = getOrderId(deleteMongoDto.getDeleteDays());Query query = new Query(Criteria.where("orderId").lt(orderId));query.limit(deleteMongoDto.getLimit());// 使用投影来只选择orderId字段query.fields().include("orderId");// 这里不用分页是因为分页会查询total效率较低，数据量大的时候耗费资源/*Pageable pageable = PageRequest.of(0, deleteMongoDto.getLimit());Page<orderDao> page = orderDao.findByOrderIdLessThan(orderId, pageable);List<Order> list = page.getContent();*/List<Order> list=mongoTemplate.find(query,Order.class);for (Orderitem :list) {orderDao.deleteById(item.getOrderId());}int count = 0;if (CollectionUtils.isNotEmpty(list)) {count = list.size();}return ResponseUtils.success("deleteMongo success,count:" + count);} catch (Exception ex) {log.error("deleteMongo Exception：" + ex.getMessage());return ResponseUtils.fail(ex.getMessage());} finally {//释放分布式锁if (lockStatus) {redisLockService.releaseLock(deleteMongoDto.getLockRedisKey());}}}//生成半年前的orderIdprivate Long getOrderId(Integer deleteDays) {LocalDateTime deleteTime = LocalDateTime.now().minusDays(deleteDays);// 将LocalDateTime转换为毫秒值ZonedDateTime utcZonedDateTime = deleteTime.atZone(ZoneId.systemDefault());long milliseconds = utcZonedDateTime.toInstant().toEpochMilli();Long orderId = (milliseconds / 1000) << 32;return orderId;}

总结

这里是简单的删除历史数据逻辑，可以参考执行，分布式锁是为了防止重复调用，实际使用的时候也可以不用分布式锁。然后定时调用这个删除接口即可不断的删除历史数据了

定时任务删除MongoDB历史数据

前言 MongoDB数据过多，导致存储成本飙升，为了降低成本，需要将历史数据删除。删除逻辑添加配置文件控制删除逻辑 syncconfig:deleteMongoConfig:#同步状态，true同步，false不同步syncStatus: true#删除数据的时间&…...

编程日记 2025/5/14 2:29:49

Simulink的SIL软件在环测试

以基于模型的设计（MBD）的软件开发时，需要进行SIL（软件在环测试）。SIL测试就是在PC上验证模型是否与代码功能一致。在项目开展中，用在需要将控制器生成移植到硬件前，把控制器的模块生成代码&…...

编程日记 2025/5/15 0:56:40

你能穿过迷雾看清一切吗

很多事情的真相有谁知道？ 我和家里人被看不见的攻击攻击和操控，失控和无助状态被假鬼录制，然后安排某些不知道整个实际情况和真相的人去听，间接歪曲了整件事情。各种高科技配合和各种脑功能操控伤害是一般人想都想不到的&#…...

编程日记 2025/4/28 17:50:34

8 设计模式之简单工厂模式

设计模式是软件开发中的一套通用解决方案，而简单工厂模式则是最基础、最常用的一种创建型模式。在这篇博客中，我将为大家详细介绍简单工厂模式的概念、优缺点，以及通过一个饮料制作的案例，帮助大家更好地理解和应用这种模式。一、…...

编程日记 2025/5/11 0:06:36

一步一步写线程之十六线程的安全退出之一理论分析

一、多线程的开发多线程的开发，在实际场景中几乎是无法避开的。即使是前端看似没有使用线程，其实在底层的框架中也使用了线程进行了支撑。至少到现在，不管是协程还是其它什么新的编程方式，仍然无法撼动线程的主流地位。多线程的…...

编程日记 2025/5/14 6:58:39

《Learn Three.js》学习（4）材质

前言： 材质为scene中物体的皮肤，有着不同的特性和视觉效果。材质的共有属性： 基础属性： 融合属性： 融合决定了我们渲染的颜色如何与它们后面的颜色交互高级属性： 与WebGL内部有关简单材质&#xff1…...

编程日记 2025/5/8 3:57:18

【QNX+Android虚拟化方案】128 - QNX 侧触摸屏驱动解析

【QNX+Android虚拟化方案】128 - QNX 侧触摸屏驱动解析一、QNX 侧触摸屏配置基于原生纯净代码，自学总结纯技术分享，不会也不敢涉项目、不泄密、不传播代码文档！！！本文禁止转载分享！！！汇总链接：《【QNX+Android虚拟化方案】00 - 系列文章链接汇总》本文链接：《【…...

编程日记 2025/5/13 17:01:36

Oracle SCN与时间戳的映射关系

目录一、基本概述二、相关操作三、参考文档一、基本概述 Oracle 数据库中的 SYS.SMON_SCN_TIME 表是一个关键的内部表，主要用于记录过去时间段中SCN与具体的时间戳之间的映射关系。这种映射关系可以帮助用户将 SCN 值转换为可读性更强的时间戳，从而…...

编程日记 2025/4/23 6:39:28

量化交易系统开发-实时行情自动化交易-8.2.发明者FMZ平台

19年创业做过一年的量化交易但没有成功，作为交易系统的开发人员积累了一些经验，最近想重新研究交易系统，一边整理一边写出来一些思考供大家参考，也希望跟做量化的朋友有更多的交流和合作。接下来会对于发明者FMZ平台介绍。发明…...

编程日记 2025/5/12 6:52:04

1. 实现SRN （1）使用Numpy实现SRN import numpy as npinputs np.array([[1., 1.],[1., 1.],[2., 2.]]) # 初始化输入序列 print(inputs is , inputs)state_t np.zeros(2, ) # 初始化存储器 print(state_t is , state_t)w1, w2, w3, w4, w5, w6, w7, …...

编程日记 2025/5/12 3:02:43

关于otter监控告警使用

一、背景近期在使用otter完成单机房单向同步时，常常遇到channel假死的情况，导致Pipeline同步停止，系统表数据同步停止，影响生产环境用户数据查询相关的功能，虽然事后能够通过停channel后再启用channel重新启用…...

编程日记 2025/5/12 4:20:11

复合查询和内外连接

文章目录 1. 简单查询2. 多表查询2.1 显示雇员名、雇员工资以及所在部门的名字2.2 显示部门号为10的部门名，员工名和工资2.3 显示各个员工的姓名，工资，及工资级别 3. 自连接4. 子查询4.1 where后的子查询4.1.1 单行子查询4.1.2 多行子查询 (i…...

编程日记 2025/5/13 9:30:31

动态规划【C++优质版】

（本文未经作者书面允许，禁止以任何形式传播（包括但不限于转载，翻译……）如需引用请标注原作者） Intro： 动态规划是一种用于解决优化问题的算法策略。在 C 中，它主要用于处理那些具…...

编程日记 2025/5/13 0:27:49

柔性芯片：实现万物互联的催化剂

物联网 (IoT) 市场已经非常成熟，麦肯锡预测，物联网将再创高峰，到 2030 年将达到 12.5 万亿美元的估值。然而，万物互联 (IoE) 的愿景尚未实现，即由数十亿台智能互联设备组成，提供大规模洞察和效率。究竟是…...

编程日记 2025/5/14 5:44:50

【分布式】分布式事务

目录 1、事务的发展 2、本地事务 （1）如何保障原子性和持久性？ （2）如何保障隔离性？ 2、全局事务 （1）XA事务的两段式提交 （2）XA事务的三段式提交…...

编程日记 2025/5/14 7:07:52

nacos安装部署

nacos安装部署 1.安装nacos 1.安装nacos nacos的安装很简单下载后解压启动即可，但是在启动前请确保jdk环境正常； 1.首先我们要下载nacos安装包：可以到官网下载，注意我这里使用的是2.1.0版本； 2.下载完成后&#xff0…...

编程日记 2025/4/28 18:04:06

git 上传代码时报错

在上传代码时，显示无法上传 PS E:\JavaWeb\vue3-project> git push To https://gitee.com/evening-breeze-2003/vue3.git! [rejected] master -> master (non-fast-forward) error: failed to push some refs to https://gitee.com/evening-breeze-20…...

编程日记 2025/5/12 1:43:13

【C++】数字位数提取：从个位到十位的深入分析与理论拓展

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯第一题：提取个位数解法代码解法分析代码优化拓展思考：取模运算的普适性 💯第二题：提取十位数题目解读与思路分析方法一&…...

编程日记 2025/5/14 10:34:35

数据结构--二叉树的创建和遍历

目录引入定义性质二叉树的创建迭代法注意事项： 递归法注意事项： 二叉树的遍历深度优先广度优先先序遍历（前序遍历） 中序遍历后序遍历层序遍历查找树结构中是否存在某数值方法一： 方法…...

编程日记 2025/5/8 14:46:31

CEF127 编译指南 Linux篇 - 安装Git和Python(三)

1. 引言在前面的文章中，我们已经完成了基础开发工具的安装和配置。接下来，我们需要安装两个同样重要的工具：Git 和 Python。这两个工具在 CEF 的编译过程中扮演着关键角色。Git 负责管理和获取源代码，而 Python 则用于运行各种编…...

编程日记 2025/5/10 18:24:02

计算机网络的类型

目录按覆盖范围分类个人区域网（PAN） 局域网（LAN） 城域网（MAN） 4. 广域网（WAN） 按使用场景和性质分类公网（全球网络） 外网内网（私有网…...

编程日记 2025/5/3 12:28:39

Web入门(学习笔记)

Web入门文章目录 Web入门SpringSpringBootWeb入门HTTP协议HTTP-概述HTTP特点 HTTP-请求协议HTTP-请求数据格式 HTTP-响应协议响应状态码 HTTP-协议解析 Web服务器-TomcatWeb服务器简介基本使用Tomcat文件夹目录解析常见问题Tomcat部署项目入门程序解析**内嵌的Tomcat服务器**…...

编程日记 2025/5/14 0:25:47

mind+自定义库编写注意事项

在mind图形化命令编写中，main.ts 文件是通过图形化编程工具生成 C 代码，然后将生成的 C 代码上传到 Arduino Uno 上执行。这些由main.ts定义的图形化代码通过生成的代码，需要包含调用arduinoc/libraries文件夹的*.h和*.cpp文件&#…...

编程日记 2025/5/12 10:50:32

jQuery零基础入门速通（上）

大家好，我是小黄。在前端开发的世界里，jQuery以其简洁的语法和强大的功能，一直是许多开发者手中的利器。它不仅简化了HTML文档遍历和操作、事件处理、动画以及Ajax交互，还极大地提高了开发效率。本文将带你走进jQuery的世界&…...

编程日记 2025/5/9 18:09:40

计算机网络-Wireshark探索IPv4

使用工具 Wiresharkcurl(MacOS)traceroute: This lab uses “traceroute” to find the router level path from your computer to a remote Internet host. traceroute is a standard command-line utility for discovering the Internet paths that your computer uses. It i…...

编程日记 2025/5/14 13:13:31

【05】Selenium+Python 两种文件上传方式（AutoIt）

上传文件的两种方式一、input标签上传文件可以用send_keys方法直接上传文件示例代码 input标签上传文件import time from selenium import webdriver from chromedriver_py import binary_path # this will get you the path variable from selenium.webdriver.common.by i…...

编程日记 2025/4/30 8:20:56

《构建 C++分布式计算框架：赋能人工智能模型并行训练》

在人工智能迅猛发展的今天，模型训练所需的计算资源呈指数级增长。为了高效地支持人工智能模型在多节点、多 GPU/CPU 集群上的并行训练，基于 C构建分布式计算框架成为了关键之举。一、分布式计算框架的核心意义随着人工智能模型复杂度的不断攀升&…...

编程日记 2025/5/14 18:19:23

分支定价算法Branch and price

分支定价算法是进阶版的列生成算法，是用来专门求解整数规划问题的。目录 1.整数规划与线性规划的关系 2.限制主问题（RLMP）求得整数解 3.B&P用法：以VRPTW为例列生成是求解线性规划问题的算法，通过不断往限制主…...

编程日记 2025/5/11 15:52:58

【信息系统项目管理师】第5章：信息系统工程考点梳理

文章目录 5.1 软件工程5.1.1 架构设计1、软件架构风格2、软件架构评估 5.1.2 需求分析1、需求的层次2、需求过程（重点）3、UML事务、关系和视图4、面向对象分析 5.1.3 软件设计1、结构化设计2、面向对象设计3、设计模式 5.1.4 软件实现1、软件配置管理2、…...

编程日记 2025/5/10 7:36:31

kdump调试分析（适用于麒麟，ubuntu等OS）

1. kdump基本原理 1.1 内核崩溃处理机制当 Linux 系统内核发生崩溃时，通常会触发 panic，系统停止正常运行。Kdump 在这种情况下：使用一个备用的内核（称为 crash kernel）来启动最小化的环境。从崩溃的主内核中复制内存内容（转储文件）。将转储文件保存到预定义的存储位…...

编程日记 2025/5/10 3:13:16

Ubuntu在NVME硬盘使用Systemback安装记录

问题使用Systemback重装系统找不到NVME硬盘。 0.使用Systemback制作iso后，制作启动盘 1.插入启动盘进入live mode模式 2.安装gparted sudo apt-get update sudo apt-get install gparted3.使用gparted对待分区硬盘进行分区 gparted按照你希望的分区方式分区即…...

编程日记 2025/5/11 20:17:26

C++多态的实现原理

【欢迎关注编码小哥，学习更多实用的编程方法和技巧】 1、类的继承子类对象在创建时会首先调用父类的构造函数父类构造函数执行结束后，执行子类的构造函数当父类的构造函数有参数时，需要在子类的初始化列表中显式调用 Child(int i) : …...

编程日记 2025/5/6 4:20:03

com.github.gavlyukovskiy依赖是做什么的呢？

p6spy-spring-boot-starter 是一个Spring Boot的starter，用于集成P6Spy库。P6Spy是一个开源的数据库连接池代理工具，它可以拦截和记录所有的SQL语句及其执行时间，从而帮助开发者进行SQL性能分析和调试。功能概述 SQL日志记录： P…...

编程日记 2025/5/9 20:08:23

QChart数据可视化

目录一、QChart基本介绍 1.1 QChart基本概念与用途 1.2 主要类的介绍 1.2.1 QChartView类 1.2.2 QChart类 1.2.3QAbstractSeries类 1.2.4 QAbstractAxis类 1.2.5 QLegendMarker 二、与图表交互 1. 动态绘制数据 2. 深入数据 3. 缩放和滚动 4. 鼠标悬停三、主题 …...

编程日记 2025/5/10 17:19:03

离线安装 Docker-IO：详细步骤指南

离线安装 Docker-IO：详细步骤指南一、准备工作1.1 下载 Docker 离线安装包1.2 准备安装环境1.3 配置防火墙和 SELinux（可选）二、上传和解压离线安装包2.1 上传安装包2.2 解压安装包三、安装 Docker-IO3.1 移动 Docker 文件到系统目录3.2 配置 Docker 服务3.3 赋予服务文件执…...

编程日记 2025/5/15 0:14:54

梯度爆炸与消失

梯度爆炸和梯度消失一、概念解析 （一）梯度爆炸定义在深度神经网络训练的反向传播过程中，梯度爆炸是指梯度的值过大的现象。这会使模型的参数更新出现异常。产生原因深层网络与链式法则：深度神经网络按链式法则计算某层权重…...

编程日记 2025/4/25 6:23:26

动捕动作捕捉学习笔记

2024.11.28 实时动作捕捉 ThreeDPoseTracker VRMLiveViewer 实现虚拟主播跳舞自由_哔哩哔哩_bilibili blender 手工操作，不能渲染到原视频【快速有效】三分钟学会，通过blender把网上视频武术动作捕捉绑定到3D角色上,需要使用Auto-rig Pro(ARP&#xf…...

编程日记 2025/5/12 11:37:03

spark3.x之后时间格式数据偶发报错org.apache.spark.SparkUpgradeException

3.x之后如果你去处理2.x生成的时间字符串数据，很容易遇到一个问题 Error operating ExecuteStatement: org.apache.spark.SparkUpgradeException: You may get a different result due to the upgrading of Spark 3.0: Fail to parse 20200725__cb90fcc3_8006_46…...

编程日记 2025/5/10 4:27:14

计算机网络（二）

ip地址：11010010：01011110:00100100:00010100 子网掩码:11111111:11111111:11111111:11000000 and ：11010010：01011110：00100100：00000000 210.94.36.0的下一站为R1 因为255为11111111 192为&#xff…...

编程日记 2025/5/10 20:14:09

如何在Spark中使用gbdt模型分布式预测

这目录 1 训练gbdt模型2 第三方包python环境打包3 Spark中使用gbdt模型3.1 spark配置文件3.2 主函数main.py 4 spark任务提交 1 训练gbdt模型我们可以基于lightgbm快速的训练一个gbdt模型，训练相对比较简单，只要把训练样本处理好，几行代码可…...

编程日记 2025/5/10 4:00:31

llamaindex实战-ChatEngine-ReAct Agent模式

概述 ReAct 是一种基于Agent的聊天模式，构建在数据查询引擎之上。对于每次聊天交互，代理都会进入一个 ReAct 循环： 首先决定是否使用查询引擎工具并提出适当的输入 （可选）使用查询引擎工具并观察其输出决定是否重复…...

编程日记 2025/5/12 12:57:40

关于音频 DSP 的接口种类以及其应用场景介绍

在音频系统中，DSP（数字信号处理器）扮演着重要角色，通常会通过不同的接口与音频系统中的其他组件（如功放、扬声器、音频源等）进行连接。以汽车应用场景为例，以下是一些常见的接口类型分类及其介绍…...

编程日记 2025/5/14 10:08:30

DLL中的inline static成员变量：Windows开发中的常见陷阱

在Windows平台进行C开发时，DLL（动态链接库）是一个非常重要的概念。它让我们能够实现代码的模块化和动态加载，提高了程序的灵活性和维护性。然而，当我们在DLL中使用C17引入的inline static成员变量时，可能会…...

编程日记 2025/5/10 1:21:19

7. 现代卷积神经网络

文章目录 7.1. 深度卷积神经网络（AlexNet）7.2. 使用块的网络（VGG）7.3. 网络中的网络（NiN）7.4. 含并行连结的网络（GoogLeNet）7.5. 批量规范化7.5.1. 训练深层网络7.5.2. 批量规范化层…...

编程日记 2025/5/4 9:27:49

软件测试丨Pytest生命周期与数据驱动

Pytest的生命周期概述 Pytest 是一个强大的测试框架，提供了丰富的特性来简化测试执行。它的生命周期包括多个阶段，涉及从准备测试、执行测试到报告结果的完整流程。因此，理解Pytest的生命周期将帮助我们更好地设计和管理测试用例。开始阶段…...

编程日记 2025/5/11 22:20:56

Python 网页控制自动化 getEdgeDriver

透过python 使用 edge 执行自动化时，原来的代码出现报错了执行报错啦：message info 如下显示 HTTPSConnectionPool(hostmsedgedriver.azureedge.net, port443): Max retries exceeded with url: /130.0.2849/edgedriver_win64.zip (Caused by NewConn…...

编程日记 2025/5/10 0:51:18

白鹿 Hands-on：消除冷启动——基于 Amazon Lambda SnapStart 轻松打造 Serverless Web 应用（二）

文章目录前言一、前文回顾二、在 Lambda 上运行2.1、查看 Amazon SAM template2.2、编译和部署到 Amazon Lambda2.3、功能测试与验证三、对比 Snapstart 效果四、资源清理五、实验总结总结前言在这个环节中，我们将延续《白鹿 Hands-on：消除冷启动——…...

编程日记 2025/5/12 2:13:16

pandas read_csv读取中文内容文件报错UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte

先用如下代码检查编码格式 import chardet# 检测文件编码 with open("data.csv", "rb") as f:result chardet.detect(f.read())print(result["encoding"]) # 打印检测到的编码我检查后我的文件编码格式是ISO-8859-1，因此读取文件时…...

编程日记 2025/5/12 23:24:23

LoRA微调原理代码实践

LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。不同于其他技术，LoRA 不是调整…...

编程日记 2025/5/14 2:28:12

数据结构--树二叉树顺序结构存储的二叉树（堆）

前言前面我们学习了顺序表、链表、栈和队列，这些都是线性的数据结构。今天我们要来学习一种非线性的数据结构——树。树的概念及结构树的概念树是一种非线性的数据结构，是由n（n≥0）个有效结点组成的一个具有层次关系的集合…...

编程日记 2025/5/13 3:11:45

前言

删除逻辑

添加配置文件控制删除逻辑

配置类

核心代码

总结

相关文章：