当前位置：首页 > news >正文

MySQL 分库分表

news 来源：原创 2025/7/16 22:02:42

对于使用 MySQL 作为数据库管理系统的应用来说，当数据量达到一定规模时，单库单表的架构会面临性能瓶颈，如查询缓慢、写入性能下降等问题。为了解决这些问题，可以使用分库分表技术。

二、为什么需要分库分表

2.1 单库单表的局限性

数据量过大：随着业务的发展，单表的数据量可能会达到数十亿甚至更多，这会导致索引变得庞大，查询时的磁盘 I/O 开销增加，从而影响查询性能。

并发压力：大量的并发读写请求会使数据库服务器的 CPU、内存和磁盘 I/O 资源达到瓶颈，导致响应时间变长，甚至出现数据库崩溃的情况。

2.2 分库分表的好处

提升性能：通过将数据分散到多个数据库和表中，可以减少单个数据库和表的数据量，从而提高查询和写入的性能。

增强扩展性：分库分表可以方便地增加数据库服务器和表的数量，以应对不断增长的数据量和并发请求。

三、分库分表的原理

3.1 分库

分库是将一个数据库中的数据分散到多个数据库中。可以按照业务功能、数据类型等进行划分。例如，将用户相关的数据存放在一个数据库中，将订单相关的数据存放在另一个数据库中。

3.2 分表

分表是将一个表中的数据分散到多个表中。常见的分表方式有水平分表和垂直分表。

水平分表：将表按照行进行划分，将不同行的数据存储到不同的表中。例如，按照用户 ID 的哈希值将用户数据分散到多个表中。

垂直分表：将表按照列进行划分，将不同列的数据存储到不同的表中。例如，将一个包含用户基本信息和详细信息的表拆分成两个表，一个存储基本信息，另一个存储详细信息。

四、常见的分库分表实现方式

4.1 客户端分片

客户端分片是指在应用程序端实现分库分表的逻辑。应用程序根据规则将数据路由到不同的数据库和表中。

实现思路

数据路由规则设计：确定如何将数据映射到不同的数据库和表，常见的规则有哈希取模、范围划分等。
数据库连接管理：使用数据库连接池来管理与各个数据库的连接，提高连接的复用性和性能。
SQL 语句生成：根据数据路由结果，生成对应的 SQL 语句，将数据插入到正确的数据库和表中。

#include <iostream>
#include <string>
#include <vector>
#include <mysql_driver.h>
#include <mysql_connection.h>
#include <cppconn/statement.h>
#include <cppconn/prepared_statement.h>
#include <cppconn/resultset.h>
#include <cppconn/exception.h>
#include <functional>// 哈希函数
int hashFunction(int key, int numShards) {return std::hash<int>()(key) % numShards;
}// 数据库连接信息
struct DatabaseInfo {std::string host;std::string user;std::string password;std::string database;
};// 分库分表管理器
class ShardingManager {
public:ShardingManager(const std::vector<DatabaseInfo>& dbs, int numTablesPerDb): databases(dbs), numTablesPerDb(numTablesPerDb) {driver = get_mysql_driver_instance();}// 插入数据void insertData(int id, const std::string& name) {int dbIndex = hashFunction(id, databases.size());int tableIndex = hashFunction(id, numTablesPerDb);std::string tableName = "table_" + std::to_string(tableIndex);try {sql::Connection* con = driver->connect(databases[dbIndex].host, databases[dbIndex].user, databases[dbIndex].password);con->setSchema(databases[dbIndex].database);std::string sql = "INSERT INTO " + tableName + " (id, name) VALUES (?, ?)";sql::PreparedStatement* pstmt = con->prepareStatement(sql);pstmt->setInt(1, id);pstmt->setString(2, name);pstmt->execute();delete pstmt;delete con;} catch (sql::SQLException& e) {std::cerr << "SQLException: " << e.what() << std::endl;}}private:std::vector<DatabaseInfo> databases;int numTablesPerDb;sql::mysql::MySQL_Driver* driver;
};int main() {// 数据库连接信息std::vector<DatabaseInfo> dbs = {{"localhost", "user1", "password1", "db1"},{"localhost", "user2", "password2", "db2"}};// 每个数据库中的表数量int numTablesPerDb = 2;// 创建分库分表管理器ShardingManager shardingManager(dbs, numTablesPerDb);// 插入数据shardingManager.insertData(1, "John");shardingManager.insertData(2, "Jane");return 0;
}

4.2 中间件分片

中间件分片是指在应用程序和数据库之间引入一个中间件，由中间件来实现分库分表的逻辑。常见的 MySQL 分库分表中间件有 MyCAT、ShardingSphere 等。

MyCAT 示例

MyCAT 是一个开源的 MySQL 中间件，它可以将多个 MySQL 数据库和表进行逻辑上的整合，为应用程序提供统一的访问接口。

五、分库分表的应用场景

5.1 电商系统

在电商系统中，订单数据和用户数据量非常大。可以将订单数据按照订单创建时间进行水平分表，将用户数据按照用户 ID 进行水平分表。同时，可以将订单数据和用户数据分别存储在不同的数据库中，以提高性能和扩展性。

5.2 社交系统

在社交系统中，用户的动态数据和好友关系数据量也很大。可以将用户动态数据按照用户 ID 进行水平分表，将好友关系数据按照用户 ID 进行垂直分表。

六、分库分表的注意事项

6.1 事务处理

分库分表后，跨数据库和表的事务处理变得更加复杂。可以使用分布式事务解决方案，如两阶段提交、TCC（Try-Confirm-Cancel）等。

6.2 数据迁移

在进行分库分表时，需要将原有的数据迁移到新的数据库和表中。数据迁移过程中需要注意数据的一致性和完整性。

6.3 全局唯一 ID

分库分表后，需要确保生成的 ID 在所有数据库和表中是唯一的。可以使用 UUID、数据库自增 ID、分布式 ID 生成器（如 Snowflake）等方式。

MySQL 分库分表

对于使用 MySQL 作为数据库管理系统的应用来说，当数据量达到一定规模时，单库单表的架构会面临性能瓶颈，如查询缓慢、写入性能下降等问题。为了解决这些问题，可以使用分库分表技术。二、为什么需要分库分表 2.1 单库单表的局限性…...

编程日记 2025/7/16 22:02:42

代码： class Solution { public:int totalFruit(vector<int>& fruits) {int n fruits.size();unordered_map<int,int> window_type_count;int left 0;int ans 0;for(int right 0; right <n;right){while(window_type_count.size() 2 &&…...

编程日记 2025/7/12 5:21:43

用Maven定位和解决依赖冲突

用Maven定位和解决依赖冲突一、依赖冲突的常见表现二、定位冲突依赖的4种方法2.1 使用Maven命令分析依赖树2.2 使用IDE可视化工具2.3 使用Maven Enforcer插件2.4 运行时分析三、解决依赖冲突的5种方案3.1 排除特定传递依赖3.2 统一指定版本（推荐）3.3 使…...

编程日记 2025/7/16 15:33:17

八大排序之选择排序

本篇文章将带你详细了解八大基本排序中的选择排序目录 （一）选择排序的时间复杂度和空间复杂度及稳定性分析 （二）代码实现 (三)输出结果选择排序的基本原理是：每次从待排序的数组中找出最大值和最小值。具体流程是…...

编程日记 2025/7/16 21:51:06

SVM实战：从理论到鸢尾花数据集的分类可视化

SVM实战：从理论到鸢尾花数据集的分类可视化在机器学习的广阔领域中，支持向量机（Support Vector Machine，SVM）作为一种经典且强大的分类算法，备受瞩目。它凭借独特的思想和卓越的性能，在模式识…...

编程日记 2025/7/4 13:02:44

深入解析 Stacking：集成学习的“超级英雄联盟

在机器学习的世界里，我们常常面临一个挑战：单一模型往往难以完美地解决复杂问题。就像漫威电影中的超级英雄们一样，每个模型都有自己的独特能力，但也有局限性。那么，如何让这些模型“联手”发挥更大的力量呢&#xff1…...

编程日记 2025/6/29 5:13:52

C# 编程核心：控制流与方法调用详解

在编程中，控制流和方法调用是构建程序逻辑的两大基石。它们决定了代码的执行顺序和模块化协作方式。本文将从基础概念出发，结合代码示例，深入解析这两部分内容。控制流：程序执行的指挥棒控制流决定了代码的执行路径&#xff0…...

编程日记 2025/6/29 5:13:46

PyTorch_张量基本运算

基本运算中，包括add, sub, mul, div, neg等函数，以及这些函数的带下划线的版本add_, sub_, mul_, div_, neg_, 其中带下划线的版本为修改原数据。代码 import torch import numpy as np # 不修改原数据的计算 def test01():data torch.randint(0, 10…...

编程日记 2025/6/29 5:14:01

C++负载均衡远程调用学习之订阅功能与发布功能

目录 1.lars-DnsV0.1回顾 2.Lars-DnsV0.2-订阅功能的订阅模块分析 3.Lars-DnsV0.2-订阅模块的类的单例创建及方法属性初始化 4.Lars-DnsV0.2-发布功能的实现 5.Lars-DnsV0.2-发布功能的总结 6.Lars-DnsV0.2-订阅流程复习 7.Lars-DnsV0.2-订阅模块的集成 8.Lars-DnsV0.2订…...

编程日记 2025/7/16 17:53:31

接口测试的核心思维（基础篇）

1.为什么会进行接口测试？ 早期发现问题，降低修复成本当我们服务端已经完成，而前端还未进行开发的时候。我们可以通过接口测试避免前端的交互直接进行服务端的测试。接口测试也能够更早介入项目的测试，降低修复成本。提高测试…...

编程日记 2025/6/29 8:14:56

给文件内容加行号

题目： 给定一个文件，通过文件读写，给文件内容加行号。行号形式如: 1:) xxXXXX 2:) xxxxXX 要求： 使用缓冲流操作。思路分析： 程序定义了两个字符串变量 inputFile 和 outputFile，分别存储输入文件的路径…...

编程日记 2025/7/16 20:37:05

【计算机视觉】三维重建: MVSNet：基于深度学习的多视图立体视觉重建框架

MVSNet：基于深度学习的多视图立体视觉重建框架技术架构与核心算法1. 算法流程2. 关键创新环境配置与实战指南硬件要求安装步骤数据准备（DTU数据集） 实战流程1. 模型训练2. 深度图推断3. 点云生成常见问题与解决方案1. CUDA内存不足2. 特征…...

编程日记 2025/7/16 21:47:05

终端与环境变量

一、我的电脑是Win10的，首先打开终端如下： 此时终端来到C:\Users\lenovo的目录下，可以访问该目录下的所有文件（夹）。另外，除了这个之外，终端还可以访问环境变量中的所有文件（夹&…...

编程日记 2025/6/29 5:14:00

使用线性表实现通讯录管理

目录 🚀前言🦜任务目标🌟顺序表实现🐍链表实现 🚀前言大家好！我是 EnigmaCoder。本文介绍线性表的实验，使用顺序表和链表实现通讯录管理，包含初始化、插入、删除、查询、输出。 &a…...

编程日记 2025/7/16 21:59:21

机器学习常用评价指标

1. 指标说明 (1) AccuracyClassification（准确率） • 计算方式：accuracy_score(y_true, y_pred) • 作用： 衡量模型正确预测的样本比例（包括所有类别）。公式： Accuracy TP TN TP TN FP…...

编程日记 2025/7/9 21:29:58

基于ArduinoIDE的任意型号单片机 + GPS北斗BDS卫星定位

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1.1 器件选择1.2 接线方案二、驱动实现2.1 核心代码解析（arduino/ESP32-S3） 三、坐标解析代码四、典型问题排查总结前言北斗卫星导航…...

编程日记 2025/6/29 5:13:47

CGAL：创建点、线、三角形及其距离、关系

CGAL（Computational Geometry Algorithms Library，计算几何算法库）是一个强大的开源库，为众多几何计算问题提供了高效的解决方案，在计算几何领域应用广泛。以下将基于提供的代码示例，详细介绍如何利用 CGAL…...

编程日记 2025/6/29 5:14:06

STM32基础教程——软件I2C

目录前言 I2C MPU6050 技术实现原理图连线图代码实现技术要点 I2C初始化 SCL输出和SDA输入输出控制起始信号停止信号发送一个字节读取一个字节发送应答位接收应答位 MPU6050初始化指定地址写指定地址读读取数据寄存器问题记录前言 I2C …...

编程日记 2025/6/29 5:17:52

Xilinx FPGA | 管脚约束 / 时序约束 / 问题解析

注：本文为 “Xilinx FPGA | 管脚约束 / 时序约束 / 问题解析” 相关文章合辑。略作重排，未整理去重。如有内容异常，请看原文。 Xilinx FPGA 管脚 XDC 约束之：物理约束 FPGA技术实战于 2020-02-04 17:14:53 发布说明&#x…...

编程日记 2025/6/29 7:36:37

应用层自定义协议序列与反序列化

目录一、网络版计算器二、网络版本计算器实现 2.1源代码 2.2测试结果一、网络版计算器应用层定义的协议： 应用层进行网络通信能否使用如下的协议进行通信呢？ 在操作系统内核中是以这种协议进行通信的，但是在应用层禁止以这种协议进行…...

编程日记 2025/6/29 5:18:27

大数据：数字时代的驱动力

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 随着互联网和技术的迅猛发展，数据已经成为现代社会最宝贵的资源之一。大数据（Big Data）作为一种全新的信息资源，正以前所未有的方式改变着各个行业的运作模式，推动着社会的进步与创新。无论是金…...

编程日记 2025/6/29 5:32:26

java学习之数据结构：二、链表

本节介绍链表目录 1.什么是链表 1.1链表定义 1.2链表分类 2.链表实现 2.1创建链表 1）手动创建 2）创建链表类进行管理链表的相关操作 2.2添加元素 1）头插法 2）尾插法 3）任意位置插入 2.3删除 2.4查找 1&…...

编程日记 2025/6/29 5:24:04

评估动态化烹饪工艺与营养实训室建设要点

在全民健康意识显著提升、健康饮食理念深度普及的时代背景下，烹饪工艺与营养实训室建设要点已不再局限于传统单一的技能训练模式。需以行业需求为导向，通过功能集成化设计推动革新 —— 将食品安全防控、营养科学分析、智能烹饪技术、餐饮运营管理等多元…...

编程日记 2025/6/29 5:14:14

Java学习手册：关系型数据库基础

一、关系型数据库概述关系型数据库是一种基于关系模型的数据库，它将数据组织成一个或多个表（或称为关系），每个表由行和列组成。每一列都有一个唯一的名字，称为属性，表中的每一行是一个元组，代…...

编程日记 2025/6/29 5:13:54

吾爱出品 [Windows] EndNote 21.5.18513 汉化补丁

[Windows] EndNote 链接：https://pan.xunlei.com/s/VOPLLs6DqKNz-EoBSWVRTSmGA1?pwd9isc# Thomson Scientific公司推出了2025，本次的endnote21大概率是最后一个版本啦，现已决定进行更新。本次采用的环境为python3.12，win11&am…...

编程日记 2025/6/29 5:14:18

Sentinel学习

sentinel是阿里巴巴研发的一款微服务组件，主要为用户提供服务保护，包括限流熔断等措施 （一）主要功能流量控制（限流）：比如限制1s内有多少请求能到达服务器，防止大量请求打崩服务器…...

编程日记 2025/6/29 5:18:52

【中间件】brpc_基础_execution_queue

execution_queue 源码 1 简介 execution_queue.h 是 Apache BRPC 中实现高性能异步任务执行队列的核心组件，主要用于在用户态线程（bthread）中实现任务的异步提交、有序执行和高效调度。该模块通过解耦任务提交与执行过程，提…...

编程日记 2025/6/29 5:13:59

Servlet（二）

软件架构 1. C/S 客户端/服务器端 2. B/S 浏览器/服务器端： 客户端零维护，开发快资源分类 1. 静态资源所有用户看到相同的部分，如：html,css,js 2. 动态资源用户访问相同资源后得到的结果可能不一致，如：s…...

编程日记 2025/6/29 5:13:53

如何提升个人的思维能力？

提升个人的逻辑思维能力是一个系统性工程，需要长期训练和科学方法。以下是分阶段、可操作的详细建议，涵盖理论基础、日常训练和实战应用： 一、构建逻辑基础认知 1. 学习逻辑学核心理论入门读物：《简单的逻辑学》麦克伦尼&am…...

编程日记 2025/6/29 5:29:38

[UVM]UVM中reg_map的作用及多个rem_map的使用案例

UVM中reg_map的作用及多个rem_map的使用案例摘要：在 UVM (Universal Verification Methodology) 中，寄存器模型是用于验证 DUT (Design Under Test) 寄存器行为的重要工具。UVM 寄存器模型中的 uvm_reg_map（简称 reg_map）是寄存器模型的核心组成部分之一，用于定义…...

编程日记 2025/6/29 6:44:27

重新构想E-E-A-T：提升销售与搜索可见性的SEO策略

在2025年的数字营销环境中，谷歌的E-E-A-T（经验、专业性、权威性、可信度）已成为SEO和内容营销的核心支柱。传统的E-E-A-T优化方法通常聚焦于展示作者资质或获取反向链接，但这些策略可能不足以应对AI驱动的搜索和日益挑剔的用户需求…...

编程日记 2025/6/29 7:47:44

AI 采用金字塔（Sohn‘s AI Adoption Pyramid）

这张图是 Sohn 的 AI 采用金字塔（Sohn’s AI Adoption Pyramid） ，用于描述不同程度的 AI 应用层次，各层次意义如下： 金字塔层级 Level 1：业务角色由人类主导，AI 起辅助作用，如 AI …...

编程日记 2025/7/15 8:14:46

影刀RPA中新增自己的自定义指令

入门到实战明细 1. 影刀RPA自定义指令概述 1.1 定义与作用影刀RPA的自定义指令是一种强大的功能，旨在提高流程复用率，让用户能够个性化定制指令，实现流程在不同应用之间的相互调用。通过自定义指令，用户可以将常用的、具有独立…...

编程日记 2025/6/29 5:13:57

驱动总裁v2.19(含离线版)驱动工具软件下载及安装教程

1.软件名称：驱动总裁 2.软件版本：2.19 3.软件大小：602 MB 4.安装环境：win7/win10/win11 5.下载地址： https://www.kdocs.cn/l/cdZMwizD2ZL1?RL1MvMTM%3D 提示：先转存后下载，防止资源丢失&am…...

编程日记 2025/6/29 5:14:02

SQL经典实例

第1章检索记录 1.1 检索所有行和列知识点：使用SELECT *快速检索表中所有列；显式列出列名（如SELECT col1, col2）提高可读性和可控性，尤其在编程场景中更清晰。 1.2 筛选行知识点：通过WHERE子句过滤符合条…...

编程日记 2025/6/29 5:14:08

2025深圳杯（东三省）数学建模竞赛D题完整分析论文（共36页）（含模型、可运行代码、数据结果）

2025深圳杯数学建模竞赛D题完整分析论文目录摘要一、问题重述二、问题分析三、模型假设四、符号定义五、问题一模型的建立与求解 5.1 问题一模型的建立 5.1.1 问题建模背景 5.1.2 特征工程设计 5.1.3 分类模型结构与数学表达 5.2 问题一模型的求…...

编程日记 2025/7/6 4:04:00

大数据技术：从趋势到变革的全景探索

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 在数字化时代的浪潮下，大数据已经不再是一个陌生的概念。从日常生活中的社交媒体，到企业决策支持系统，再到公共管理的大数据应用，它正在改变着我们的工作和生活方式。随着技术的进步，传统的数据…...

编程日记 2025/6/29 7:29:42

C++【内存管理】

C语言中的动态内存管理 int main() { int* p2(int*)calloc(4,sizeof(int)); int* p3(int*)realloc(p2,sizeof(int)*10); free(p3); }这里因为扩容数据小,所以是原地扩容,p2p3地址一样,不用free(p2) 如果扩容空间大就不是原地扩容,而是新找一块空间,然后拷贝 C内存管理方式 n…...

编程日记 2025/6/29 5:14:11

【Go类库分享】mcp-go Go搭建MCP服务

【Go类库分享】mcp-go Go搭建MCP服务介绍目前Go 生态圈有两个知名的开发 MCP 的库，一个是mark3labs/mcp-go,另一个是metoro-io/mcp-golang。在介绍常用库之前，先来简单介绍一下mcp协议： MCP全称Model Context Protocol 模型上下文协议&a…...

编程日记 2025/7/13 20:17:14

人工智能发展史 — 物理学诺奖之 Hopfield 联想和记忆神经网络模型

目录文章目录目录1982 年，Hopfield 联想和记忆神经网络模型背景知识历史：霍普菲尔德简介神经学：大脑的联想记忆机制物理学：磁性材料的自旋玻璃理论和能量最小值函数 Hopfield 神经网络基本原理记忆存储（训练&#xf…...

编程日记 2025/7/15 22:09:09

Docker —— 技术架构的演进

Docker —— 技术架构的演进技术架构演进总结单机架构优点缺点总结应用数据分离架构优点缺点总结应用服务集群架构1. Nginx2. HAProxy3. LVS（Linux Virtual Server）4. F5 BIG-IP对比总结选型建议读写分离/主从分离架构1. MyCat简介 2. TDDL&#xff…...

编程日记 2025/6/29 5:18:37

Docker与WSL2如何清理

文章目录 Docker与WSL2如何清理一、docker占据磁盘空间核心原因分析1. WSL2 虚拟磁盘的动态扩展特性2. Docker 镜像分层缓存与未清理资源二、解决方案步骤 1：清理 Docker 未使用的资源步骤 2：手动压缩 WSL2 虚拟磁盘1. 关闭 WSL2 和 Docker Desktop2. 定…...

编程日记 2025/6/29 8:04:50

单片机嵌入式按键库

kw_btn库说明本库主要满足嵌入式按键需求，集成了常用的按键响应事件：高电平、低电平、上升沿、下降沿、单击、双击、长按键事件。可以裸机运行，也可以配合实时操作系统运行。本库开源连接地址：gitee连接实现思路本库采用C语…...

编程日记 2025/7/12 13:41:20

多多铃声 7.4| 拥有丰富的铃声曲库，满足不同用户的个性化需求，支持一键设置手机铃声

多多铃声是一款提供丰富铃声资源的应用程序，它拥有广泛的铃声曲库，涵盖各种风格和类型，能够满足不同用户的个性化需求。该应用程序支持分类浏览和热门榜单功能，让用户可以轻松找到当前最流行或自己感兴趣的铃声。此次分享的版本为…...

编程日记 2025/6/29 5:14:15

基于stm32的四旋翼飞行器：MPU6050讲解 · 上（参数读取）

大伙早上好，不知道大伙有没有飞行器情结，就是学习嵌入式就想做一个能飞的东西。小白兔不才，小白兔有啊，所以最近准备做一个简单的飞行器出来，如果失败了，那么这个系列就只能烂尾了，如果成功了&a…...

编程日记 2025/7/12 13:58:00

使用xlwings将excel表中将无规律的文本型数字批量转化成真正的数字

之前我写了一篇文章excel表中将无规律的文本型数字批量转化成真正的数字-CSDN博客是使用excel自带的操作，相对繁琐。今天使用xlwings操作，表格如下（有真正的数字，也有文本型数字，混在在一起）&#xff1…...

编程日记 2025/6/29 5:14:05

linux netlink实现用户态和内核态数据交互

1，内核态代码 #include <linux/module.h> #include <linux/netlink.h> #include <net/sock.h> #define NETLINK_TEST 31 struct sock *nl_sk NULL; static void nl_recv_msg(struct sk_buff *skb) { struct nlmsghdr *nlh; int pid; …...

编程日记 2025/7/8 1:21:23