当前位置：首页 > news >正文

闲谭SpringBoot--ShardingSphere分库分表探究

news 来源：原创 2025/5/15 23:17:57

文章目录

1. 背景
2. 创建数据库
3. 修改yml配置文件
4. 分片算法类
5. 测试
6 小结

1. 背景

接上文，我们对日志表，进行了按月的分表，这样每个月几百万条数据量还是扛得住的。

但是如果数据再多呢，除了提高硬件性能，还有一个可以考虑的方案就是分库。

例如，我们通过数据所属的地域、公司、部门等进行分库划分，当然具体根据什么划分，由需求决定。

本篇我们在上一篇《闲谭SpringBoot–ShardingSphere分表探究》的基础上，对日志表进一步按机构进行划分。

2. 创建数据库

首先创建两个数据库test、test1，每个数据库中都放入log_202411、log_202412、log202501、log_202502四张表，四张表结构是一样的如下：

注意，我们想实现按机构编号departId分库，然后同一个机构的数据，根据time再按月分表。

CREATE TABLE `log_202411` (`id` bigint(20) NOT NULL,`content` varchar(255) DEFAULT '',`time` datetime DEFAULT NULL,`departId` bigint(20) DEFAULT 0,PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

3. 修改yml配置文件

配置两个数据库，注意ds0和ds1分别对应数据库test/test1。
在这里插入图片描述
配置分片方式，首先配置默认的库：

然后针对log表配置分片规则，如下表达式意味着：对log表来说，数据库是ds加一个字符串，表则是log加一个字符串，至于加什么字符串，由分片算法指定。

接下来就是分片算法了，注意按机构分库我们只需要使用=和IN操作，所以只需要配置精确分片算法即可。

而时间还需要范围查询，所以按时间分表还需要一个范围分片算法。
在这里插入图片描述

完整配置如下：

server:port: 8080servlet:context-path: /sharding
spring:shardingsphere: # 数据库配置sharding:default-data-source-name: ds0 #注意：不分库时，默认的数据库源default-database-strategy: #默认的分库策略inline:sharding-column: idalgorithm-expression: ds0tables: #数据分片规则配置log: # 逻辑表名称actual-data-nodes: ds${0..1}.log$->{1..2} # 由数据源名 + 表名组成（参考 Inline 语法规则）database-strategy: # 分库策略standard:precise-algorithm-class-name: org.example.sharding.config.DepartPreciseShardingAlgorithm # 精确分片算法类名称，用于=和INsharding-column: departId # 分片列名称table-strategy: # 分表策略standard: # 行表达式分片策略precise-algorithm-class-name: org.example.sharding.config.MonthPreciseShardingAlgorithm # 精确分片算法类名称，用于=和INsharding-column: time # 分片列名称range-algorithm-class-name: org.example.sharding.config.MonthRangeShardingAlgorithm  # 范围分片算法类名称，用于BETWEENkey-generator: # key生成器column: idtype: SNOWFLAKE  # SnowflakeShardingKeyGeneratorprops:worker: # SNOWFLAKE算法的worker.idid: 100max: # SNOWFLAKE算法的max.tolerate.time.difference.millisecondstolerate:time:difference:milliseconds: 20datasource:names: ds0,ds1ds0:type: com.alibaba.druid.pool.DruidDataSourcename: testdriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowMultiQueries=trueusername: rootpassword: 123456ds1:type: com.alibaba.druid.pool.DruidDataSourcename: test1driverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://127.0.0.1:3306/test1?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowMultiQueries=trueusername: rootpassword: 123456

4. 分片算法类

编写按机构分库算法类：

/*** 按机构精确分片算法类*/
/*** 按机构精确分片算法类*/
@Slf4j
public class DepartPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {@Overridepublic String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Integer> shardingValue) {// 获取分片键值Object object = shardingValue.getValue();Integer num = 0;//默认分片序号try {num = Integer.parseInt(object.toString()) % 2;//机构id为偶数，数据进入ds0;机构id为奇数，数据进入ds1;} catch (Exception e) {log.error("按机构精确分片算法类报错:{}", e.getMessage());}// 返回要进入的表名称String tableName = "ds" + num;log.info("精确分片结果:{}", tableName);return tableName;}
}

5. 测试

接下来发起测试，我们测试一个机构id为偶数的例子：
在这里插入图片描述

通过断点查看分片情况，首先触发了分库分片算法，数据进入ds0
在这里插入图片描述

然后触发了分表分片算法：
在这里插入图片描述
所以数据会进入ds0库的log_202501表。

然后我们测试下查询：

运行后分片结构如下：

说明我们的分片算法是正确的。

6 小结

通过分库分表，支持每月千万级数据量问题基本不大。

如果再多，每月上亿、十亿、百亿级别，哈哈，我也不知道啦，因为我还没遇到过。

闲谭SpringBoot--ShardingSphere分库分表探究

文章目录 1. 背景2. 创建数据库3. 修改yml配置文件4. 分片算法类5. 测试6 小结 1. 背景接上文，我们对日志表，进行了按月的分表，这样每个月几百万条数据量还是扛得住的。但是如果数据再多呢，除了提高硬件性能，还有一…...

编程日记 2025/5/15 23:17:57

在Java中Semaphore的解释及主要用途

目录定义使用方法主要用途使用场景示例定义 Semaphore（信号量）是Java并发编程中的一个同步工具类，用于控制对共享资源的访问。它通过维护一个计数器来管理多个线程对资源的并发访问数量。这个计数器表示当前可用的许可数&#xff0c…...

编程日记 2025/5/15 21:02:31

React Native 项目 Error: EMFILE: too many open files, watch

硬件：MacBook Pro (Retina, 13-inch, Mid 2014) OS版本：MacOS BigSur 11.7.10 (20G1427) 更新: 删除modules的方法会有反弹，最后还是手动安装了预编译版本的watchman。 React Native 项目运行npm run web，出现如下错误&#xff1a…...

编程日记 2025/5/15 23:15:21

四、VSCODE 使用GIT插件

VSCODE 使用GIT插件一下载git插件与git Graph插件二、git插件使用三、文件提交到远程仓库四、git Graph插件一下载git插件与git Graph插件二、git插件使用 git插件一般VSCode自带了git，就是左边栏目的图标在下载git软件后vscode的git插件会自动识别当前项目 …...

编程日记 2025/5/15 23:10:56

5 分布式ID

这里讲一个比较常用的分布式防重复的ID生成策略，雪花算法一个用户体量比较大的分布式系统必然伴随着分表分库，分机房部署，单体的部署方式肯定是承载不了这么大的体量。雪花算法的结构说明如下图所示: 雪花算法组成从上图我们可以看…...

编程日记 2025/5/10 4:39:53

flink的EventTime和Watermark

时间机制 Flink中的时间机制主要用在判断是否触发时间窗口window的计算。在Flink中有三种时间概念：ProcessTime、IngestionTime、EventTime。 ProcessTime：是在数据抵达算子产生的时间（Flink默认使用ProcessTime） IngestionT…...

编程日记 2025/5/15 22:57:47

T-SQL语言的函数实现

T-SQL语言的函数实现在数据库管理系统中，函数是一种非常重要的编程结构。SQL Server支持多种类型的函数，包括标量函数、表值函数和系统函数。本文将详细介绍T-SQL中函数的实现，结合实际应用场景，帮助读者深入理解函数的使用方法…...

编程日记 2025/5/10 8:00:37

SpringBoot 使用 Cache 集成 Redis做缓存保姆教程

1. 项目背景 Spring Cache是Spring框架提供的一个缓存抽象层，它简化了缓存的使用和管理。Spring Cache默认使用服务器内存，并无法控制缓存时长，查找缓存中的数据比较麻烦。因此Spring Cache支持将缓存数据集成到各种缓存中间件中。本文已常…...

编程日记 2025/5/10 17:11:02

Delphi+SQL Server实现的（GUI）户籍管理系统

1.项目简介本项目是一个户籍管理系统，用于记录住户身份信息，提供新户登记（增加）、户籍变更（修改）、户籍注销（删除）、户籍查询、曾用名查询、迁户记录查询以及创建备份、删除备份共8…...

编程日记 2025/5/15 23:00:01

Ungoogled Chromium127 编译指南 MacOS篇（七）- 安装依赖包

1. 引言在获取了 Ungoogled Chromium 的源代码之后，我们需要安装所有必要的依赖包。这些依赖包对于成功编译 Chromium 至关重要。本文将指导您完成所有必需软件包的安装。 2. 依赖包安装 2.1 使用 Homebrew 安装基础依赖 # 安装 Ninja 构建系统 brew install n…...

编程日记 2025/5/15 22:24:26

开放词汇检测新晋SOTA：地瓜机器人开源DOSOD实时检测算法

在计算机视觉领域，目标检测是一项关键技术，旨在识别图像或视频中感兴趣物体的位置与类别。传统的闭集检测长期占据主导地位，但近年来，开放词汇检测（Open-Vocabulary Object Detection-OVOD 或者 Open-Set Object Detec…...

编程日记 2025/5/15 23:02:10

json dump避免转义字符反斜杠

笔者在将json序列化到文件时，发现内容包含了反斜杠： [{"video": "MSRVTT-QA\/video_features\/7010.mp4","id": 170859},... ]解决办法是使用ensure_asciiFalse： json.dump(result_items, f, ensure_asciiFa…...

编程日记 2025/5/15 22:22:16

PL/SQL语言的正则表达式

PL/SQL语言的正则表达式详解在现代软件开发中，数据处理和文本处理是至关重要的环节之一。尤其是在数据库操作中，使用正则表达式来处理字符串数据能大幅提高效率和灵活性。PL/SQL（Procedural Language/SQL）是Oracle数据库的过程性…...

编程日记 2025/5/15 22:54:04

C/C++中头文件time

在C/C中，<ctime>头文件提供了处理时间和日期的函数，这些函数允许你获取当前时间、计算时间差、格式化时间字符串等。以下是一些<ctime>头文件中常用函数的详细介绍和使用示例： time()：获取当前时间。 time_t currentT…...

编程日记 2025/5/15 22:17:27

【.NET】Kafka消息队列介绍，使用Confluent.Kafka集成Kafka消息队列

一、Kafka介绍 kafka是一种高吞吐量、分布式、可扩展的消息中间件系统，最初由LinkedIn公司开发。随着不断的发展，在最新的版本中它定义为分布式的流处理平台，现在在大数据应用中也是十分广泛。它可以处理大量的实时数据流，被广…...

编程日记 2025/5/15 22:02:26

图像处理|膨胀操作

在图像处理领域，形态学操作是一种基于图像形状的操作，用于分析和处理图像中对象的几何结构。**膨胀操作（Dilation）**是形态学操作的一种，它能够扩展图像中白色区域（前景）或减少黑色区域&#xf…...

编程日记 2025/5/14 9:50:00

kali安装

2024年最新kali Linux安装教程（超详细，图文并茂）_kali安装-CSDN博客【2024年最新版】Kali安装详细教程-CSDN博客 Kali Linux 安装过程超详细（图文并茂，通用版）-腾讯云开发者社区-腾讯云...

编程日记 2025/5/15 21:41:11

aioredis 在高版本已经不支持了， 不要用代码示例 redis 连接池异步操作redis以及接口 import asyncio from sanic import Sanic from sanic.response import json import redis.asyncio as redis from redis.asyncio import ConnectionPool# 创建 Sanic 应用 app…...

编程日记 2025/5/15 21:56:54

C++ vtordisp的应用场景

文章目录问题代码1. 基本概念回顾2. 应用场景虚继承与虚函数并存的类层次结构 3. 编译器相关考虑问题代码 #include <iostream> using namespace std;class base { public:base() {}virtual void show() { cout << "base:: show"<<endl; } priv…...

编程日记 2025/5/15 21:18:56

花生好坏缺陷识别数据集,7262张图片，支持yolo，coco json，pasical voc xml格式的标注，识别准确率在95.7%

花生好坏缺陷识别数据集,7262张图片，支持yolo，coco json，pasical voc xml格式的标注，识别准确率在95.7% 数据集分割训练组87％ 6353图片有效集8% 606图片测试集4% 303图片预处理自动定…...

编程日记 2025/5/15 20:53:13

递归构建树菜单节点

一、获取所有分类上下级信息 /*** 获取所有分类上下级信息*/ public R<List<ResearchTypeTreeVO>> getTypeTreeList(){//获取所有分类数据List<ResearchTypeVO> list ibResearchTypeService.getSuperList(null);List<ResearchTypeTreeVO> researchTy…...

编程日记 2025/5/13 7:10:50

物联网无线芯片模组方案，设备智能化交互升级，ESP32-C3控制应用

无线交互技术的核心在于实现设备之间的无缝连接和数据传输。在智能家居系统中，各种智能设备如智能灯泡、智能插座、智能门锁等，都通过无线网络相互连接，形成一个互联互通的生态。用户可以通过语音助手、手机APP或其他智能终端，远…...

编程日记 2025/5/10 3:30:42

【Unity万人同屏插件】使用手册保姆级教程 GPU动画 Jobs多线程渲染

【万人同屏插件】基于Dots技术，高性能实现3D、2D Spine渲染、海量单位锁敌/碰撞检测。同时通过自定义BRG渲染器绕过对Entities包的依赖，也就是不用写ECS代码即可拥有Entities Graphics的高性能渲染，使用传统开发方式BRG接管Renderer组件。 …...

编程日记 2025/5/15 21:57:18

结合前端的响应式开发深入理解设备像素比

前端响应式开发中设备像素比是一个绕不开的概念，彻底理解这个概念，我们首先要梳理清楚屏幕设备的物理像素（Physical Pixel）、逻辑像素（Logical Pixel）以及css像素（px）之前的区别和联…...

编程日记 2025/5/10 13:01:27

QT c++ 按钮样式设置按下和松开的背景颜色

上一篇文章，需要自定义类，本文使用样式设置按下和松开的背景颜色。 1.头文件 #ifndef WIDGET_H #define WIDGET_H #include <QWidget> //#include "CustomButton.h" #include <QVBoxLayout> //#include <QLinearGradient>…...

编程日记 2025/5/14 17:16:48

解决Docker冲突问题

错误：docker-ce-cli conflicts with 2:docker-1.13.1-210.git7d71120.el7.centos.x86_64 错误：docker-ce conflicts with 2:docker-1.13.1-210.git7d71120.el7.centos.x86_64 您可以尝试添加 --skip-broken 选项来解决该问题您可以尝试执行：…...

编程日记 2025/5/13 17:35:21

C++之闭散列哈希表

目录 unordered_set和unordered_map 哈希概念哈希表基本结构哈希冲突线性探测编辑二次探测前几期我们学习了红黑树和红黑树的模拟实现，最终使用红黑树封装了map和set。本期开始我们将学习下一个重要的知识点---哈希表，最终使用哈希表封装u…...

编程日记 2025/5/10 17:48:22

微信小程序map组件所有markers展示在视野范围内

注意：使用include-points属性不生效，要通过createMapContext实现 <template><view class"map-box"><map id"map" class"map" :markers"markers" :enable-traffic"true" :enable-poi&…...

编程日记 2025/5/12 4:20:18

Ubuntu平台虚拟机软件学习笔记

Ubuntu平台上常见虚拟机软件 VirtualBox [Download]KVM/QEMU 1. VirtualBox 1.1 查看安装版本 VBoxManage -V2. KVM/QEMU KVM: Kernel-based Virtual Machine QEMU: Quick EMUlator 通义千问： virt-manager 既不是QEMU也不是KVM，而是用于管理和创建…...

编程日记 2025/5/12 7:29:39

EasyExcel数据的导入导出

1.easyExcel简介 EasyExcel是一个基于Java的、快速、简洁、解决大文件内存溢出的Excel处理工具。他能让你在不用考虑性能、内存的等因素的情况下，快速完成Excel的读、写等功能。 EasyExcel 的主要特点如下： 1、高性能：EasyExcel 采用了异…...

编程日记 2025/5/11 1:26:05

CSS Grid 布局全攻略：从基础到进阶

文章目录一.Grid 是什么二.示例代码1. 基础使用 - 固定宽高2.百分百宽高3.重复设置-repeat4.单位-fr5.自适应6.间距定义其他一.Grid 是什么 CSS 中 Grid 是一种强大的布局方式，它可以同时处理行和列 Grid 和Flex有一些类似，都是由父元素包裹子元素使用…...

编程日记 2025/5/9 13:30:40

C语言的语法

C语言的语法与应用探讨 C语言作为一种高效的程序设计语言，自1970年代问世以来，一直在科学计算、系统编程、嵌入式系统等领域中扮演着重要角色。本文将深入探讨C语言的基本语法、数据结构、控制结构以及其在实际应用中的重要性。一、C语言基础 1.1 数…...

编程日记 2025/5/12 17:13:04

Go中的context 包使用详解

context 包在 Go 中非常重要，特别是在处理并发和超时的场景下，它能让你在多个 goroutine 之间传递取消信号、超时控制或其他控制信息。context 是 Go 并发模型中的一个重要工具，尤其适用于 HTTP 请求、数据库操作、分布式系统等场景。 1. 基…...

编程日记 2025/5/11 9:44:12

通俗易懂之线性回归时序预测PyTorch实践

线性回归（Linear Regression）是机器学习中最基本且广泛应用的算法之一。它不仅作为入门学习的经典案例，也是许多复杂模型的基础。本文将全面介绍线性回归的原理、应用，并通过一段PyTorch代码进行实践演示，帮助读者深入…...

编程日记 2025/5/10 12:59:30

机器学习模型评估指标

模型的评估指标是衡量一个模型应用于对应任务的契合程度，常见的指标有： 准确率（Accuracy）: 正确预测的样本数占总样本数的比例。适用于类别分布均衡的数据集。精确率（Precision）: 在所有被预测为正类的样…...

编程日记 2025/5/13 22:19:23

嵌入式软件C语言面试常见问题及答案解析（三）

嵌入式软件C语言面试常见问题及答案解析（三）上一篇已经足够长了，再长也就有点不礼貌了，所以在这儿继续来总结分享那个面试中遇到的题目，文中的问题和提供的答案或者代码均代表个人的理解，如有不合理或者错误的地方，欢迎大家批评指正。本文中题目列表 1. 编码实现子串定…...

编程日记 2025/4/23 22:20:41

LeetCode：165. 比较版本号（双指针 Java）

目录 165. 比较版本号题目描述： 实现代码与解析： 双指针原理思路： 165. 比较版本号题目描述： 给你两个版本号字符串 version1 和 version2 ，请你比较它们。版本号由被点 . 分开的修订号组成。修订号的值是它…...

编程日记 2025/5/12 2:14:01

Golang中遇到“note module requires Go xxx”后的解决方案，不升级Go版本！

前几天，需要对一个两年前写的项目添加点儿新功能，需要用到一个 Http 客户端包，于是就用了 https://github.com/go-resty/resty 这个插件包。我先是直接在项目根目录下执行了以下包的安装命令： go get -v github.com/go-resty/res…...

编程日记 2025/5/14 3:29:41

ubuntu编译ijkplayer,支持rmvb以及mkv

1. 准备环境 sudo apt-get update apt install gcc yasm cmake python p7zip-full vim pkg-config autoconf automake build-essential dos2unix mercurial cmake-curse-gui -y apt-get -y --force-yes install libass-dev libtheora-dev libtool libva-dev libvdpau-dev libv…...

编程日记 2025/5/15 9:03:56