当前位置：首页 > news >正文

榜单持久化

news 来源：原创 2025/7/5 22:21:50

榜单持久化的基本流程是这样的：

创建表
持久化Redis数据到数据库
清理Redis数据

现在，创建表的动作已经完成，接下来就轮到Redis数据的持久化了。持久化的步骤如下：

读取Redis数据
判断数据是否存在
- 不存在，直接结束
- 存在，则继续
保存数据到数据库

不过，Redis的数据结构如图：

其KEY中包含一个上赛季对应的日期，因此要读取Redis数据，我们必须先得到上赛季的日期。

另外，我们采用了水平分表的策略，每一个赛季都是一个独立表。那么在写数据到数据库时，必须先知道表名称。

综上，最终持久化的业务流程如图：

动态表名

持久化的流程中存在一个问题，我们的数据库持久化采用的是MybatisPlus来实现的。而MybatisPlus读取表名的方式是通过实体类上的@Table注解，而注解往往是写死的：

那我们该如何让MybatisPlus在执行的时候改变数据写入的表名称呢？

MybatisPlus中提供了一个动态表名的插件：

https://baomidou.com/pages/2a45ff/#dynamictablenameinnerinterceptor

插件的部分源码如下：

可见表名称动态获取就是依赖于tableNameHandlerMapping中的具体的TableNameHandler，这个Map如图：

这个Map的key是旧的表名称，value是TableNameHandler，就是表的名称处理器，用于根据旧名称获取新名称。

TableNameHandler的源码如下：

public interface TableNameHandler {/*** 生成动态表名** @param sql       当前执行 SQL* @param tableName 表名* @return String*/String dynamicTableName(String sql, String tableName);
}

OK，因此我们要做的事情就很简单了，定义DynamicTableNameInnterInterceptor，向其中添加一个TableNameHandler，将points_board这个表名，替换为points_board_赛季id的名称。

不过，新的问题来了，这个插件中的TableNameHandler该如何获取赛季对应的表名称呢？

计算表名的方式是获取获取上赛季时间，查询数据库中上赛季信息，得到上赛季id。然后拼接得到表名。

当我们批量的写数据到数据库时，如果每次插入都计算一次表名，那性能也太差了。因此，我们肯定是希望一次计算，在TableNameHandler中可以随时获取。

那么该如何实现呢？

2.4.1.2.传递表名

一旦我们计算完表名，以某种方式传递给插件中的TableNameHandler，那么就无需重复计算表名了。

不过，问题来了：要知道动态表名称插件，以及TableNameHandler，都是由MybatisPlus内部调用的。我们无法传递参数。

那么该如何传递表名称呢？

虽然无法传参，但是从计算表名，到动态表名插件执行，调用TableNameHandler，都是在一个线程内完成的。要在一个线程内实现数据共享，该用什么呢？

大家应该很容易想到，就是ThreadLocal.

我们可以在定时任务中计算完动态表名后，将表名存入ThreadLocal，然后在插件中从ThreadLocal中读取即可：

我们在tj-learning的com.tianji.learning.utils包下定义一个传递表名称的工具：

package com.tianji.learning.utils;public class TableInfoContext {private static final ThreadLocal<String> TL = new ThreadLocal<>();public static void setInfo(String info) {TL.set(info);}public static String getInfo() {return TL.get();}public static void remove() {TL.remove();}
}

然后在tj-learning模块下定义一个配置类，用于定义DynamicTableNameInnterInterceptor插件：

package com.tianji.learning.config;import com.baomidou.mybatisplus.extension.plugins.handler.TableNameHandler;
import com.baomidou.mybatisplus.extension.plugins.inner.DynamicTableNameInnerInterceptor;
import com.tianji.learning.utils.TableInfoContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.HashMap;
import java.util.Map;@Configuration
public class MybatisConfiguration {@Beanpublic DynamicTableNameInnerInterceptor dynamicTableNameInnerInterceptor() {// 准备一个Map，用于存储TableNameHandlerMap<String, TableNameHandler> map = new HashMap<>(1);// 存入一个TableNameHandler，用来替换points_board表名称// 替换方式，就是从TableInfoContext中读取保存好的动态表名map.put("points_board", (sql, tableName) -> TableInfoContext.getInfo() == null ? tableName : TableInfoContext.getInfo());return new DynamicTableNameInnerInterceptor(map);}
}

插件虽然定义好了，但是该如何继承到MybatisPlus中呢？

在天机学堂项目中的tj-common模块中，已经实现了MybatisPlus的自动装配，并且定义了很多的MP插件。如果我们在自己的项目中重新定义MP配置，就会导致tj-common中的插件失效。

所以，我们应该修改tj-common中的MP配置，将DynamicTableNameInnerInterceptor配置进去。找到tj-common模块下的MybatisConfig配置：

动态表名已经准备就绪，接下来我们就可以去定义定时任务，实现榜单持久化了。

在tj-learning模块的com.tianji.learning.handler.PointsBoardPersistentHandler中添加一个定时任务：

@XxlJob("savePointsBoard2DB")
public void savePointsBoard2DB(){// 1.获取上月时间LocalDateTime time = LocalDateTime.now().minusMonths(1);// 2.计算动态表名// 2.1.查询赛季信息Integer season = seasonService.querySeasonByTime(time);// 2.2.将表名存入ThreadLocalTableInfoContext.setInfo(POINTS_BOARD_TABLE_PREFIX + season);// 3.查询榜单数据// 3.1.拼接KEYString key = RedisConstants.POINTS_BOARD_KEY_PREFIX + time.format(DateUtils.POINTS_BOARD_SUFFIX_FORMATTER);// 3.2.查询数据int pageNo = 1;int pageSize = 1000;while (true) {List<PointsBoard> boardList = pointsBoardService.queryCurrentBoardList(key, pageNo, pageSize);if (CollUtils.isEmpty(boardList)) {break;}// 4.持久化到数据库// 4.1.把排名信息写入idboardList.forEach(b -> {b.setId(b.getRank().longValue());b.setRank(null);});// 4.2.持久化pointsBoardService.saveBatch(boardList);// 5.翻页pageNo++;}// 任务结束，移除动态表名TableInfoContext.remove();
}

XXL-JOB任务分片

刚才定义的定时持久化任务，通过while死循环，不停的查询数据，直到把所有数据都持久化为止。这样如果数据量达到数百万，交给一个任务执行器来处理会耗费非常多时间。

因此，将来肯定会将学习服务多实例部署，这样就会有多个执行器并行执行。但是，如果交给多个任务执行器，大家执行相同代码，都从第1页逐页处理数据，又会出现重复处理的情况。

怎么办？

这就要用到任务分片的方案了。

怎样才能确保任务不重复呢？我们可以参考扑克牌发牌的原理：

要想知道每一个执行器执行哪些页数据，只要弄清楚两个关键参数即可：

因此，现在的关键就是获取两个数据：

逐一给每个人发牌
发完一圈后，再回头给第一个人发
重复上述动作，直到牌发完为止

最终，每个执行器处理的数据页情况：
执行器1：处理第1、4、7、10、13、...页数据
执行器2：处理第2、5、8、11、14、...页数据
执行器3：处理第3、6、9、12、15、...页数据
起始页码：pageNo
下一页的跨度：step
起始页码：执行器编号是多少，起始页码就是多少
页跨度：执行器有几个，跨度就是多少。也就是说你要跳过别人读取过的页码
执行器编号

执行器数量

@XxlJob("savePointsBoard2DB")
public void savePointsBoard2DB(){// 1.获取上月时间LocalDateTime time = LocalDateTime.now().minusMonths(1);// 2.计算动态表名// 2.1.查询赛季信息Integer season = seasonService.querySeasonByTime(time);// 2.2.存入ThreadLocalTableInfoContext.setInfo(POINTS_BOARD_TABLE_PREFIX + season);// 3.查询榜单数据// 3.1.拼接KEYString key = RedisConstants.POINTS_BOARD_KEY_PREFIX + time.format(DateUtils.POINTS_BOARD_SUFFIX_FORMATTER);// 3.2.查询数据int index = XxlJobHelper.getShardIndex();int total = XxlJobHelper.getShardTotal();int pageNo = index + 1; // 起始页，就是分片序号+1int pageSize = 10;while (true) {List<PointsBoard> boardList = pointsBoardService.queryCurrentBoardList(key, pageNo, pageSize);if (CollUtils.isEmpty(boardList)) {break;}// 4.持久化到数据库// 4.1.把排名信息写入idboardList.forEach(b -> {b.setId(b.getRank().longValue());b.setRank(null);});// 4.2.持久化pointsBoardService.saveBatch(boardList);// 5.翻页，跳过N个页，N就是分片数量pageNo+=total;}TableInfoContext.remove();
}

清理Redis缓存任务

当任务持久化以后，我们还要清理Redis中的上赛季的榜单数据，避免过多的内存占用。

在tj-learning模块的com.tianji.learning.handler.PointsBoardPersistentHandler中添加一个定时任务：

package com.tianji.learning.handler;import com.tianji.common.utils.CollUtils;
import com.tianji.common.utils.DateUtils;
import com.tianji.learning.constants.RedisConstants;
import com.tianji.learning.domain.po.PointsBoard;
import com.tianji.learning.service.IPointsBoardSeasonService;
import com.tianji.learning.service.IPointsBoardService;
import com.tianji.learning.utils.TableInfoContext;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;
import lombok.RequiredArgsConstructor;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;import java.time.LocalDateTime;
import java.util.List;import static com.tianji.learning.constants.LearningConstants.POINTS_BOARD_TABLE_PREFIX;@Component
@RequiredArgsConstructor
public class PointsBoardPersistentHandler {private final IPointsBoardSeasonService seasonService;private final IPointsBoardService pointsBoardService;private final StringRedisTemplate redisTemplate;// ... 略@XxlJob("clearPointsBoardFromRedis")public void clearPointsBoardFromRedis(){// 1.获取上月时间LocalDateTime time = LocalDateTime.now().minusMonths(1);// 2.计算keyString key = RedisConstants.POINTS_BOARD_KEY_PREFIX + time.format(DateUtils.POINTS_BOARD_SUFFIX_FORMATTER);// 3.删除redisTemplate.unlink(key);}
}

任务链

现在，所有任务都已经定义完毕。接下来就给配置任务调度了。

我们最终期望的任务执行顺序是这样的

要想让任务A、B依次执行，其实就是配置任务B作为任务A的子任务。因此，我们按照下面方式配置：

创建历史榜单表（10）的子任务是持久化榜单数据任务（12）
持久化榜单数据任务（12）的子任务是清理Redis中的历史榜单（13）

也就是说：10的子任务是12, 12的子任务是13

榜单持久化

榜单持久化的基本流程是这样的： 创建表持久化Redis数据到数据库清理Redis数据现在，创建表的动作已经完成，接下来就轮到Redis数据的持久化了。持久化的步骤如下： 读取Redis数据判断数据是否存在不存在，直接结束…...

编程日记 2025/7/5 22:21:50

璞华ChatBI闪耀2025数博会：对话式数据分析引领数智化转型新范式

4月17日至19日，2025中国（武汉）数字经济产业博览会在武汉盛大举办，璞华集团携自主研发的“ChatBI自然语言问答式数据分析平台”惊艳亮相。以 "通过对话让数据说话" 为主题，璞华集团在 A3-T8 展位构建了沉浸式…...

编程日记 2025/7/5 22:18:41

力扣DAY63-67 | 热100 | 二分：搜索插入位置、搜索二维矩阵、排序数组查找元素、搜索旋转排序数组、搜索最小值

前言简单、中等 √ 二分法思路很简单，但是判断边界太麻烦了！难道真的要去背模板吗搜索插入位置我的题解循环条件左不超过右，目标大于中间值（向下取整）时，左中1，小于，右中-1&…...

编程日记 2025/7/5 21:57:12

leetcode-哈希表

哈希表 127. 单词接龙题目字典 wordList 中从单词 beginWord 到 endWord 的转换序列是一个按下述规格形成的序列 beginWord -> s(1) -> s(2) -> ... -> s(k)： 每一对相邻的单词只差一个字母。对于 1 < i < k 时，每个 s(i) 都在…...

编程日记 2025/7/4 8:44:33

信息技术有限公司项目管理手册

这篇文档是信息技术有限公司的项目管理指导手册，对软件公司项目管理者具有重要价值，主要体现在以下几个方面： 管理全面规范涵盖内容广：从项目的整体管理到各个具体领域，如范围管理、进度管理、成本管理等&…...

编程日记 2025/6/29 10:14:56

TFTP服务调试

在tftpboot目录下进行sudo minicom 启动内核时问题：程序启动卡在Loading阶段原因：tftp协议的问题、或者网卡配置的问题解决：1.检查网线是否插好多试几次 2.检查tftp服务是否正常在minicom中调试ping pc机的ip地址 2.进入boot调…...

编程日记 2025/7/5 22:05:12

date-picker组件的shortcuts为什么不能配置在vue的data的return中

在 Vue 中，shortcuts 是一个选项，通常用于配置像 date-picker 这样的组件的日期快捷方式。这里有一些原因解释为什么 shortcuts 不应该配置在 data 的 return 中，而是应该配置在 data 的外部（例如，直接作为组件的一个属…...

编程日记 2025/7/5 22:13:02

迭代器模式：统一数据遍历方式的设计模式

迭代器模式：统一数据遍历方式的设计模式一、模式核心：将数据遍历逻辑与数据结构解耦在软件开发中，不同的数据结构（如数组、链表、集合）有不同的遍历方式。如果客户端直接依赖这些数据结构的内部实现来遍历元素&…...

编程日记 2025/7/5 21:49:50

RocketMQ 核心架构速览

欢迎光临小站：致橡树文章现有讲述比较简单，后续逐渐丰富各部分内容。 Apache RocketMQ 作为阿里巴巴开源的一款分布式消息中间件，凭借其高吞吐、低延迟、高可用等特性，成为金融级稳定性场景的首选解决方案。本文将深入剖析 Roc…...

编程日记 2025/7/3 8:01:11

kafka安装、spark安装

kafka简介 Kafka就是一个分布式的用于消息存储的消息队列。 kafka角色 Kafka中存储的消息，被消费后不会被删除，可以被重复消费，消息会保留多长，由kafka自己去配置。默认7天删除。背后的管理工作由zookeeper来管理。 kafka安装 …...

编程日记 2025/7/3 10:05:14

迅为RK3562开发板ARM四核A53核心板多种系统适配全开源

迅为RK3562开发板ARM四核A53核心板多种系统适配全开源 RK3562开发板(2GB内存16GB存储)...

编程日记 2025/7/5 21:52:13

用交换机连接两台电脑，电脑A读取/写电脑B的数据

1、第一步，打开控制面板中的网络和共享中心，如下图配置，电脑A和电脑B均要配置； 注意：要保证电脑A和电脑B在同一子网掩码下，不同的IP地址； 2、在电脑上同时按‘CommandR’，在弹出的输…...

编程日记 2025/7/3 16:22:47

线程入门3

synchronized修饰方法 synchronized可以修饰代码块(在线程入门2中有例子)，也可以修饰普通方法和静态方法。修饰普通方法修饰普通方法简化写法： 修饰静态方法修饰静态方法简化写法： 注意：利用synchronized上锁，锁的…...

编程日记 2025/7/5 21:57:12

【C++】AVL树

目录一、AVL树的引入二、AVL树 🍔AVL树的概念 🍟AVL树节点的定义 🌮AVL树的插入 🥪AVL树的旋转三、AVL树的验证四、结语一、AVL树的引入 🌟我们知道 map/multimap/set/multiset 这几个容器的共同点是&#…...

编程日记 2025/7/5 22:00:58

Java大师成长计划之第1天：Java编程基础入门

📢 友情提示： 本文由银河易创AI（https://ai.eaigx.com）平台gpt-4o-mini模型辅助创作完成，旨在提供灵感参考与技术分享，文中关键数据、代码与结论建议通过官方渠道验证。欢迎来到“Java大师成长计划”系列文…...

编程日记 2025/7/5 13:36:43

Java线程中断机制详解

中断机制是Java中一种协作式的线程停止方式，它提供了一种优雅的线程间通信机制，用于请求另一个线程停止当前工作。中断机制的核心概念中断标志位(Interrupt Status) 每个线程都有一个boolean类型的中断状态标志（native方法控制&#xff09…...

编程日记 2025/7/5 22:07:24

gem5-gpu教程06 回归测试

gem5-gpu包括gem5风格的回归测试，以避免常见错误，并在变更集之间保持模拟系统性能的一致性。如果你想为gem5-gpu做出贡献，你必须确保你的更改通过了包含的回归测试。回归测试是一种软件测试类型，其主要目的是确保新代码的更改没有对现有功能造成影响。在软件开发过程中，当…...

编程日记 2025/6/29 11:46:44

因Hologres使用postgresql的语法.所以两者查询一样. 方案1: import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.util.ArrayList; import java.util.List;/*** 一个使用简单连接池管理PostgreSQL连接的工具类。*/ publi…...

编程日记 2025/6/29 9:24:53

C# 文件读取

文件读取是指使用 C# 程序从计算机文件系统中获取文件内容的过程。将存储在磁盘上的文件内容加载到内存中，供程序处理。主要类型有：文本文件读取（如 .txt, .csv, .json, .xml）；二进制文件读取（如 .jpg, .pn…...

编程日记 2025/7/5 22:09:49

On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其一CLT与LLM知识推理

这个学习笔记，是在精读Anthropic的博客 On the Biology of a Large Language Model 的过程中留下的笔记。由于原文非常长，我会分2-3 个博客来写。作者的思路作者对常用的LLM特征解读工具 SAE/Transcoder 进行了优化，增加了跨层连接的能力…...

编程日记 2025/7/5 22:06:41

Postman忘记密码访问官网总是无响应

1.Header Editor插件下载百度网盘下载： 链接：https://pan.baidu.com/s/1EV6cY7TYQVgPjip3v-vhfQ 提取码：yyds 2.插件配置下载规则url：https://azurezeng.github.io/static/HE-GoogleRedirect.json ![在这里插入图片描述](htt…...

编程日记 2025/6/29 11:31:11

NEUOJ网格路径

在一个 77 的网格中，从左上方的方格走到左下方的方格，共有 88418 条路径。每条路径对应一个由字符 D（向下）、U（向上）、L（向左）和 R（向右）组成的 48 字符描…...

编程日记 2025/6/29 9:24:48

深度学习中的黑暗角落：梯度消失与梯度爆炸问题解析

📌 友情提示： 本文内容由银河易创AI（https://ai.eaigx.com）创作平台的gpt-4o-mini模型生成，旨在提供技术参考与灵感启发。文中观点或代码示例需结合实际情况验证，建议读者通过官方文档或实践进一步确认其准…...

编程日记 2025/7/5 10:15:05

【数字图像处理】机器视觉（1）

判别相对应的点 1. 图像灰度化 2. 局部特征 3. 仿射不变性特征图像变化的类型【1】几何变化：旋转、相似（旋转各向相同的尺度缩放）、仿射（非各向相同的尺度缩放） 【2】灰度变化：仿射灰度变化角点角…...

编程日记 2025/7/5 21:52:13

# 构建和训练一个简单的CBOW词嵌入模型

构建和训练一个简单的CBOW词嵌入模型在自然语言处理（NLP）领域，词嵌入是一种将词汇映射到连续向量空间的技术，这些向量能够捕捉词汇之间的语义关系。在这篇文章中，我们将构建和训练一个简单的Continuous Bag of Words…...

编程日记 2025/7/5 22:03:31

Ubuntu20.04下GraspNet复现流程中的问题

pytorchcudacudnn的版本问题相对于GraspNet来说至关重要！！！至关重要！！！至关重要！！！（重要的事情说三边） 我的显卡是3070 那么首先说结论使用30系…...

编程日记 2025/7/3 21:06:15

【ROS2】机器人操作系统安装到Ubuntu简介

主要参考： https://book.guyuehome.com/ROS2/1.系统架构/1.3_ROS2安装方法/ 官方文档：https://docs.ros.org/en/humble/Installation.html 虚拟机与ubuntu系统安装略，见参考文档 ubutun换国内源，略 1. 设置本地语言确保您有…...

编程日记 2025/7/5 22:11:24

从0到1掌握机器学习核心概念：用Python亲手构建你的第一个AI模型（超多代码+可视化）

🧠 一、开始真正动手实现一个完整的AI项目！从数据预处理、特征工程、模型训练，到评估与调优，一步步还原你在动画视频中看到的所有核心知识点。 📦 二、环境准备建议使用 Python 3.8，推荐工具&#xff1…...

编程日记 2025/7/5 22:02:44

Java面试题汇总

1王二哥 https://javabetter.cn/sidebar/sanfene/redis.html#_10-redis-%E6%8C%81%E4%B9%85%E5%8C%96%E6%96%B9%E5%BC%8F%E6%9C%89%E5%93%AA%E4%BA%9B-%E6%9C%89%E4%BB%80%E4%B9%88%E5%8C%BA%E5%88%AB 2.小林 https://www.xiaolincoding.com/redis/data_struct/command.html#…...

编程日记 2025/7/3 11:35:36

动态表名

2.4.1.2.传递表名

XXL-JOB任务分片

清理Redis缓存任务

任务链

相关文章：