当前位置：首页 > news >正文

数据库分库分表实战指南：从原理到落地

news 来源：原创 2025/7/23 22:01:11

1. 为什么要分库分表？

1.1 单库瓶颈表现

存储瓶颈：单表数据超过5000万行，查询性能急剧下降
性能瓶颈：单库QPS超过5000后响应延迟显著增加
可用性风险：单点故障导致全系统不可用

1.2 突破性优势

+----------------+--------------+-----------------+
| 指标           | 单库单表      | 分库分表(16分片) |
+----------------+--------------+-----------------+
| 写入吞吐量      | 2000 TPS     | 32000 TPS       |
| 查询延迟        | 120ms        | 15ms            |
| 数据容量        | 500GB        | 8TB             |
+----------------+--------------+-----------------+

2. 分片策略深度解析

2.1 水平分片 vs 垂直分片

2.2 典型分片算法对比

算法	适用场景	优点	缺点
哈希取模	均匀分布场景	数据分布均匀	扩容困难
一致性哈希	需要动态扩容	扩容影响小	实现复杂
范围分片	时序数据	支持范围查询	容易产生热点
基因分片	关联查询优化	支持跨表关联	设计复杂

3. 生产环境实施流程

3.1 分片方案设计

// 基因分片算法示例
public class GeneSharding {public static String getShard(String orderId) {// 提取用户ID后四位作为基因String gene = orderId.substring(orderId.length()-4);int hash = Math.abs(gene.hashCode()) % 16;return "shard_" + hash;}
}

3.2 数据迁移方案

1. 全量迁移：使用DataX工具导出历史数据
2. 增量同步：通过Canal监听binlog
3. 数据校验：对比MD5校验和
4. 流量切换：灰度切换读/写流量

3.3 应用改造要点

<!-- MyBatis分表配置示例 -->
<insert id="insertOrder"><!-- 自动路由到对应分表 -->INSERT INTO order_${shardIndex} VALUES (#{orderId}, #{amount})
</insert>

4. 分库分表中间件选型

4.1 主流方案对比

工具	接入方式	功能完整性	学习成本	社区支持
ShardingSphere	JDBC代理	★★★★★	★★☆	★★★★★
MyCat	数据库代理	★★★★☆	★★★	★★★☆
Vitess	gRPC接口	★★★★☆	★★★★	★★★★

4.2 ShardingSphere配置示例

application-sharding.yml
spring:shardingsphere:rules:sharding:tables:t_order:actual-data-nodes: ds${0..1}.t_order_${0..7}database-strategy:standard:sharding-column: user_idsharding-algorithm-name: db_hashtable-strategy:standard:sharding-column: order_timesharding-algorithm-name: table_range

5. 常见问题解决方案

5.1 分布式事务处理

// Seata分布式事务示例
@GlobalTransactional
public void createOrder(Order order) {orderDao.insert(order);          // 写订单库inventoryDao.deduct(order);      // 写库存库accountDao.updateBalance(order); // 写账户库
}

5.2 跨分片查询优化

-- 使用全局索引表
CREATE TABLE global_index (biz_id VARCHAR(32) PRIMARY KEY,shard_key VARCHAR(32) NOT NULL
);-- 查询时先查索引表
SELECT shard_key FROM global_index WHERE biz_id = 'ORDER_123';
SELECT * FROM t_order_${shard_key} WHERE order_id = 'ORDER_123';

6. 监控与调优

6.1 关键监控指标

指标类别	监控项	报警阈值
资源使用	分片存储空间使用率	>80%
性能指标	跨分片查询比例	>5%
业务指标	分片数据分布偏差率	>15%

6.2 性能调优技巧

1. 热点分片处理：动态调整路由策略
2. 查询优化：强制指定分片键
3. 缓存加速：二级缓存+布隆过滤器
4. 连接管理：合理配置连接池参数

7. 真实案例：电商平台改造

7.1 改造前架构

           [应用集群]|[MySQL主从]500GB数据3000 TPS

7.2 分库分表方案

16个分库（用户ID哈希）
每个库包含：8个订单表（时间范围分片）4个支付表（订单ID基因分片）

7.3 改造成效

峰值处理能力：52000 TPS → 提升17倍
平均查询延迟：86ms → 9ms
年度存储成本：降低42%

8. 演进路线建议

timeline阶段1 : 单库读写分离阶段2 : 垂直分库（业务拆分）阶段3 : 水平分表（单业务分表）阶段4 : 多维度分库分表阶段5 : 单元化架构

技术选型建议：
• 数据量<1TB：使用中间件方案

• 数据量>1TB：考虑NewSQL数据库（TiDB/CockroachDB）

• 超高并发场景：结合内存数据库（Redis/Aerospike）

通过合理的分库分表策略，可以使传统关系型数据库支撑起海量数据场景。关键在于根据业务特征选择合适的分片策略，并建立完善的监控运维体系。

数据库分库分表实战指南：从原理到落地

1. 为什么要分库分表？ 1.1 单库瓶颈表现存储瓶颈：单表数据超过5000万行，查询性能急剧下降性能瓶颈：单库QPS超过5000后响应延迟显著增加可用性风险：单点故障导致全系统不可用 1.2 突破性优势 --------------------…...

编程日记 2025/7/23 22:01:11

雷达工程师面试题目

雷达工程师面试题目一、基础知识类简述雷达的工作原理请从电磁波的发射、传播、反射以及回波接收处理等环节，详细阐述雷达如何实现对目标的探测、定位与跟踪。常见雷达体制及其特点列举至少三种常见的雷达体制（如脉冲雷达、连续波雷达、相控阵雷达等），并分别说明…...

编程日记 2025/7/23 21:51:54

JVM-类加载子系统

最近在学习JVM，分模块整理一下JVM的笔记目录类加载子系统一、加载二、链接 1.验证 2.准备 3.解析三、初始化类加载子系统类加载子系统负责将字节码文件加载到虚拟机中，我们正常编写完一个Java类并在前端编译器编译后会生成一个对应的字节码…...

编程日记 2025/7/14 1:23:32

从0开始学习大模型--Day06--大模型的相关网络架构

云服务器在平时，我们总能听到诸如用服务器跑数据、模型，或者是搭建服务器之类的话，实际上，它相当于一台算力、内存、运行内存等各个方面都很强大的电脑，只需要我们用自己的电脑通过互联网链接他就能使用它&#xff0…...

编程日记 2025/7/23 21:55:02

控制LED灯设备

本章分别使用C库和系统调用的文件操作方式控制开发板的LED灯，展示如何在应用层通过系统提供的设备文件控制相关硬件。本章的示例代码目录为：base_code/linux_app/led/sys_class_leds。 9.1. LED子系统在Linux系统中，绝大多数硬件设备都有…...

编程日记 2025/7/23 6:03:01

Three.js + React 实战系列 - 联系方式提交表单区域 Contact 组件✨（表单绑定 + 表单验证）

对个人主页设计和实现感兴趣的朋友可以订阅我的专栏哦！！谢谢大家！！！ 在现代网页中，一个精致的 Contact 区域不仅仅是表单的堆砌，更是用户与我们建立联系的第一印象。在本节课中，我…...

编程日记 2025/7/15 16:19:38

Python-MCPAgent开发-DeepSeek版本

Python-MCPAgent开发-DeepSeek版本尝试Windows使用Python完成【McpServer】【McpAgent】开发，当前使用OpenAI-Agents框架进行开发 1-核心知识点先完成【LLM】配置再完成【McpServer】开发再完成【Agent】开发完成【LLM】【McpServer】【Agent】请求互通 2-思路整…...

编程日记 2025/7/18 20:33:27

Linux:43线程封装与互斥lesson31

mmap文件映射视屏：待看... 目录线程栈代码证明：一个线程的数据，其他线程也可以访问线程封装简单封装,2.thread Thread.hpp Main.cc Makefile 结果： 编辑问题1： 问题2： lamba表达式模版封…...

编程日记 2025/7/20 19:58:21

stm32测频率占空比最好的方案

频率检测, 方案方法很多种, 其中最快最节省资源的方法. 分享给大家. 其它的方案都试过, 问题多多. 适合单片机在工业应用中, 1MHZ以下的频率检测. 1MHZ估计也行. 但是偏差估计是变大了. 我试过很多种方案, 可以看我前面的文章. 最后发现目前这种方案最为优秀. 主要特点为不占用…...

编程日记 2025/7/23 22:00:24

Redis--常见数据类型List列表

目录一、概念二、命令 2.1 LPUSH 2.2 LPUSHX 2.3 RPUSH 2.4 RPUSHX 2.5 LRANGE 2.6 LPOP 2.7 RPOP 2.8 LINDEX 2.9 LINSERT 2.10 LLEN 2.11 阻塞版本命令三、内部编码一、概念列表类型是用来存储多个有序的字符串，列表中的每个字符串称为元素&…...

编程日记 2025/7/23 21:57:07

Linux ：多线程【线程概念】

Linux ： 多线程【线程概念】 （一）线程概念线程是什么用户层的线程linux中PID与LWP的关系 (二) 进程地址空间页表(三) 线程总结线程的优点线程的缺点线程异常线程用途 （一）线程概念线程是什么在一个程序里的一个执行…...

编程日记 2025/7/23 22:01:10

React+Springboot项目部署ESC服务器

记录一下我个人部署Linux服务器的心得环境介绍 ESC服务器创建时默认安装LNMP，即Linux，Nginx，Mysql，Php 所以这里不讲怎么安装Nignx和Mysql 笔者使用的Linux版本为22.0.4LTS版前端打包运行React打包命令进行前端项目的打包…...

编程日记 2025/7/23 21:50:55

python-Pandas库详细教程

python-Pandas库详细教程1 定义使用方法： 一、导入Pandas库代码二、DataFrame用法Pandas索引 groupby()数值计算定义 python中特定用于数据分析、处理的模板库。优点： 处理数据便捷、简单。使用方法： 处理“.csv”数据：rea…...

编程日记 2025/7/19 6:47:14

力扣刷题Day 46：搜索二维矩阵 II（240）

1.题目描述 2.思路方法1：分别找到搜索矩阵的右、下边界，然后从[0][0]位置开始遍历这部分矩阵搜索目标值。方法2：学习Krahets佬的思路，从搜索矩阵的左下角开始遍历，matrix[i][j] > target时消去第i行&#xff0c…...

编程日记 2025/7/18 20:11:55

C++：类和对象4

一，日期类实现学习建议： 对于计算机学习来说，调试十分重要，所以在日常学习中一定要加大代码练习，刷代码题和课后自己敲出课上代码例题，注意不要去对比正确代码或者网上找正确代码直接使用，一…...

编程日记 2025/7/19 16:25:08

【软件工程】基于机器学习的多缺陷定位

基于机器学习的多缺陷定位（Multi-Dault Localization, MDL）是软件工程和自动化测试领域的重要研究方向，旨在通过机器学习技术高效识别代码中多个潜在缺陷的位置。以下从方法、挑战、应用场景及未来方向展开分析： 一、核心方法监督…...

编程日记 2025/7/15 3:57:05

互联网大厂Java求职面试实战：Spring Boot到微服务的技术问答解析

💪🏻 1. Python基础专栏，基础知识一网打尽，9.9元买不了吃亏，买不了上当。 Python从入门到精通 😁 2. 毕业设计专栏，毕业季咱们不慌忙，几百款毕业设计等你选。 ❤️ 3. Python爬虫专栏…...

编程日记 2025/7/22 15:55:39

LLMs之MCP：2025年5月2日，Anthropic 宣布 Claude 重大更新：集成功能上线，研究能力大幅提升

LLMs之MCP：2025年5月2日，Anthropic 宣布 Claude 重大更新：集成功能上线，研究能力大幅提升导读：2025年5月2日，Anthropic 宣布 Claude 推出 Integrations 集成功能和增强型高级研究功能。Integrations 基于 …...

编程日记 2025/7/11 8:12:21

飞蛾扑火算法matlab实现

注意：此代码实现的是求目标函数最大值，求最小值可将适应度函数乘以-1（框架代码已实现）。注意：此代码实现的是求目标函数最大值，求最小值可将适应度函数乘以-1（框架代码已实现）。注…...

编程日记 2025/7/23 15:59:50

链接: link class Solution { public:int singleNumber(vector<int>& nums) {int ret0;for(auto a : nums){ret^a;}return ret;} };链接: link class Solution { public:vector<vector<int>> generate(int numRows) {vector<vector<int>>…...

编程日记 2025/7/22 2:11:55

多模态大语言模型arxiv论文略读（六十八）

Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models ➡️ 论文标题：Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models ➡️ 论文作者：Qiji Zhou, Ruoc…...

编程日记 2025/7/19 18:37:16

【数据库知识】Mysql进阶-高可用MHA（Master High Availability）方案

mysql高可用MHA（Master High Availability）方案集群部署模式下的高可用方案一、高可用架构原理1. 核心组件2. 故障切换流程二、详细部署步骤 (3节点集群)1. 环境准备2. 节点配置（以 node1 为例）3. 初始化集群4. 部署MySQL Route…...

编程日记 2025/7/21 14:06:42

类型别名与接口的对比与选择

在 TypeScript 中，类型系统是非常强大且灵活的。两种最常用的类型定义方式就是类型别名（type） 和接口（interface）。它们看似相似，实际上在用法和功能上有所不同。在本文中，我们将深入探讨类型…...

编程日记 2025/7/23 1:41:31

《Effective Python》第1章 Pythonic 思维详解——始终用括号包裹单元素元组

《Effective Python》第1章 Pythonic 思维详解——始终用括号包裹单元素元组在 Python 编程语言中，元组（tuple）是一种不可变的数据结构，常用于表示一组固定的值。尽管元组的语法看似简单，但其中却隐藏着一些微妙的陷…...

编程日记 2025/7/20 22:54:10

【计算机视觉】OpenCV实战项目：ETcTI_smart_parking智能停车系统深度解析

ETcTI_smart_parking智能停车系统深度解析 1. 项目概述2. 技术原理与系统架构2.1 核心算法1) 车牌识别算法2) ETC交易验证 2.2 系统架构 3. 实战部署指南3.1 环境配置3.2 硬件部署规范3.3 系统初始化 4. 常见问题与解决方案4.1 ETC交易失败4.2 车牌识别异常4.3 系统性能瓶颈 5.…...

编程日记 2025/7/16 16:34:07

LintCode第807题-回文数II

描述判断一个非负整数 n 的二进制表示是否为回文数我们保证 0 < n < 2^32 - 1 样例1 输入: n 0 输出: True 解释: 0 的二进制表示为：0。样例2 输入: n 3 输出: True 解释: 3 的二进制表示为：11。样例3 输入: n 4 输出: False 解释:…...

编程日记 2025/7/20 15:20:37

快速傅里叶变换暴力涨点！基于时频特征融合的高创新时间序列分类模型

往期精彩内容： 单步预测-风速预测模型代码全家桶-CSDN博客半天入门！锂电池剩余寿命预测（Python）-CSDN博客超强预测模型：二次分解-组合预测-CSDN博客 VMD CEEMDAN 二次分解，BiLSTM-Attention预测模型…...

编程日记 2025/7/21 12:28:30

股指期货的保证金交易和资金门槛是多少？

股指期货和股票交易最大的区别，就是它不用“全款买房”，而是“首付买房”——只需交一笔保证金就能撬动大额资金，但这也说明了门槛高、风险大。下面就来拆解，到底要准备多少钱才能“上车”。一、保证金交易：用12万撬…...

编程日记 2025/7/22 22:58:41

spark：map 和 flatMap 的区别(Scala)

场景设定假设有一个包含句子的 RDD： scala val rdd sc.parallelize(List("Hello World", "Hi Spark")) 目标是：将每个句子拆分成单词。 1. 用 map 的效果代码示例 scala val resultMap rdd.map(sentence > sentence…...

编程日记 2025/7/23 17:47:49

判断两台设备是否在同一局域网内的具体方法

以下是判断两台设备是否在同一局域网内的具体方法： 1. 检查IP地址和子网掩码操作步骤： Windows系统： 按 Win R 键，输入 cmd 并回车。输入 ipconfig，查看 IPv4 地址和子网掩码（如 192.168.1.5/255.255.2…...

编程日记 2025/7/23 1:40:07

cmake：test project

本文主要探讨cmake在测试和项目中的应用。 add_test add_test(NAME <name> COMMAND <command> [<arg>...] [CONFIGURATIONS <config>...] [WORKING_DIRECTORY <dir>] [COMMAND_EXPAND_LISTS])  add_test(NAME test_uni COMMAND $<TARGET_F…...

编程日记 2025/7/16 4:36:16

Qwen-2.5 omni

问题1 Qwen2.5-Omni的主要功能是什么？ Qwen2.5-Omni的主要功能是处理和生成多种模态的数据，包括文本、图像、音频和视频。它能够同时理解和生成这些模态的信息，支持复杂的多模态任务，例如语音对话、视频理解、图像描述生成等。 …...

编程日记 2025/7/22 11:10:45

Problem D: 异常2

1.题目描述检查危险品程序：生成货物类、机器类，货物类有属性name，机器类有检测的check方法，若货物名称是炸弹、毒药、刀具，则抛出异常提示。代码如下： import java.util.Scanner; class goods{ Stri…...

编程日记 2025/7/20 1:35:22

AI智慧公园管理方案：用科技重塑市民的“夜游体验”

AI智慧公园管理方案：多场景智能巡检与安全防控一、背景与痛点分析夏季夜间，公园成为市民休闲娱乐的核心场所，但管理难度随之激增： 宠物管理失控：未牵绳宠物进入园区，随地排泄、惊扰游客，甚…...

编程日记 2025/7/22 22:38:24

AJAX原理

AJAX使用XHR 对象和服务器进行数据交互 XHR <p class"my-p"></p><script>const xhr new XMLHttpRequest()xhr.open(GET,http://hmajax.itheima.net/api/province)xhr.addEventListener(loadend,()>{// console.log(xhr.response)const data …...

编程日记 2025/7/19 4:31:18

内存泄露，如何判断是资源泄露还是堆栈泄露？

作为软件测试工程师，判断内存泄露类型对于定位和解决问题至关重要。以下是区分资源泄露和堆栈泄露的方法： 1. 基本概念区分资源泄露(Resource Leak)：指非内存资源未正确释放，如文件句柄、数据库连接、网络套接字等虽然不直接表现为Java堆内存增长，但会导致系统资源耗…...

编程日记 2025/7/18 21:34:13

无人甘蔗小车履带式底盘行走系统的研究

1.1 研究背景与意义 1.1.1 研究背景甘蔗作为全球最重要的糖料作物之一，在农业经济领域占据着举足轻重的地位。我国是甘蔗的主要种植国家，尤其是广西、广东、云南等地，甘蔗种植面积广泛，是当地农业经济的重要支柱产业。甘蔗不仅…...

编程日记 2025/7/22 20:20:48

Redis设计与实现——单机Redis实现

RedisDB RedisDB的核心结构键空间（dict*dict） 结构：哈希表（字典），键为字符串对象（SDS），值为 Redis 对象（字符串、列表、哈希等）。功能&#x…...

编程日记 2025/7/20 1:35:20

ES C++客户端安装及使用

介绍 Elasticsearch ， 简称 ES ，它是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源&…...

编程日记 2025/7/22 0:34:37

C++学习之STL学习

在经过前面的简单的C入门语法的学习后，我们开始接触C最重要的组成部分之一：STL 目录 STL的介绍什么是STL STL的历史 UTF-8编码原理（了解） UTF-8编码原理核心编码规则规则解析编码步骤示例 1. 确定码点范围 2. 转换为…...

编程日记 2025/7/20 1:29:35

【东枫科技】使用LabVIEW进行NVIDIA CUDA GPU 开发

文章目录工具包 CuLab - LabVIEW 的 GPU 工具包特性和功能功能亮点类似 LabVIEW 的 GPU 代码开发支持的功能数值类型和维数开发系统要求授权售价工具包 CuLab - LabVIEW 的 GPU 工具包 CuLab 是一款非常直观易用的 LabVIEW 工具包，旨在加速 Nvidia GPU 上的计算密…...

编程日记 2025/7/19 21:05:17

LangChain对话链：打造智能多轮对话机器人

LangChain对话链：打造智能多轮对话机器人目录 LangChain对话链：打造智能多轮对话机器人ConversationChain 是什么核心功能与特点基本用法示例内存机制自定义提示词应用场景与其他链的结合`SequentialChain` 是什么![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/0…...

编程日记 2025/7/14 0:05:33

MIT 6.S081 2020 Lab3 page tables 个人全流程

文章目录零、写在前面1、关于页表2、RISC-V Rv39页表机制3、虚拟地址设计4、页表项设计5、访存流程6、xv6 的页表切换7、页表遍历一、Print a page table1.1 说明1.2 实现二、A kernel page table per process2.1 说明2.2 初始化 / 映射相关2.3 用户内核页表的创建和回收2.4…...

编程日记 2025/7/19 7:57:51

spring cloud loadbalancer实现机房感知的负载均衡

1 概述在同城多机房情景下，各个机房各自部署一套微服务集群，正常情况下微服务调用在本机房闭环。在如下某些灾难情景，可以尝试拉远调用以最大程度维持业务连续性，这些情景例如： A机房多个服务器宕机。应用由于BUG发…...

编程日记 2025/7/20 7:52:29

vs2022配置opencv

一、下载opencv 1、进入https://opencv.org/官网下载 2、打开下载的exe开始安装，自己新建一个文件夹opencv作为安装路径 3、安装完成得到opencv文件内容 4、开始配置环境变量 4.1、复制下图的路径 4.2、添加到系统环境变量 5、配置VS项目环境 5.1、添加包含目录 …...

编程日记 2025/7/21 14:02:22

Appium-OppoA92S-真机记坑

问题现象使用Appium操作真机时候，需要安装AppiumSettings软件，但是实际操作，一直提示安装失败，安装包异常问题分析 [待定] 网上找到方式，都尝试过，无效问题解决取消开发者模式，USB连接手…...

编程日记 2025/7/23 1:15:41

ENSP-OSPF综合实验

AR4中通过ospf获取的其他区域路由信息，并且通过路由汇总后简化路由信息实现全网通，以及单向重发布，以及通过缺省双向访问， 通过stub简化过滤四类五类lsa，简化ospf路由信息通过nssa简化ospf信息区域汇总简化R4路由信…...

编程日记 2025/7/23 1:22:56

基于VSCode+PlatformIO环境的ESP8266的HX1838红外模块

以下是针对ESP8266开发板的红外遥控解码系统开发教程，基于VSCodePlatformIO环境编写一、概述本实验通过ESP8266开发板实现： 红外遥控信号解码自定义按键功能映射串口监控输出基础设备控制（LED） 硬件组成： NodeMC…...

编程日记 2025/7/21 12:48:28

HTML12：文本框和单选框

表单元素格式属性说明type指定元素的类型。text、password、 checkbox、 radio、submit、reset、file、hidden、image 和button，默认为textname指定表单元素的名称value元素的初始值。type为radio时必须指定一个值size指定表单元素的初始宽度。当type为text 或pas…...

编程日记 2025/7/21 19:36:43

JVM规范之运行时数据区域

JVM运行时数据区前言为什么要阅读jvm规范？阅读本篇文章可以学习到啥？ 正文概述JVM线程私有的运行时数据区pc(program counter) RegisterJVM StackNative Method Stack JVM线程共享的运行时数据区HeapMethod AreaRun-time constant pool 总结参考链接前…...

编程日记 2025/7/17 4:31:15