当前位置：首页 > news >正文

互联网三高-数据库高并发之分库分表

news 来源：原创 2025/9/13 1:02:34

1 数据库概述

1.1 数据库本身的瓶颈

① 连接数

MySQL默认最大连接数为100，允许的最大连接数为16384

② 单表海量数据查询性能

单表最好500w左右，最大警戒线800w

③ 单数据库并发压力问题

MySQL QPS：1500左右/秒

④ 系统磁盘IO、CPU瓶颈

1.2 数据库架构演变升级

（1）单机

请求量大查询就会变慢；单机不可用

（2）主从

主从同步，读写分离。从库可以水平扩展。满足更大读请求

但单服务器TPS、内存、IO等都有限

（3）双主（使用场景较少）

用户量上来了，写请求越来越多，一个master节点不能解决问题，添加多个主节点

多个主节点数据要保持一致性，写操作需要两个master之间同步，流程更加复杂

（4）分库分表

分库分表是通过‌垂直拆分‌或‌水平拆分‌对数据库进行物理或逻辑层面的分割，以解决单库单表的性能瓶颈（如连接数限制、数据量过大、硬件资源不足）和数据管理复杂度问题‌。

面试题：开发的项目业务增长，数据库优化思路

思路：① 先问清楚业务增长量，平均大概增长多少

② 千万不要一上来就说分库分表，要根据实际情况分析

（1）数据库优化

1）硬优化：如果资金充裕，可以先优化硬件条件

提升系统硬件，更快的IO，更多的内存，带宽、CPU、磁盘等

2）软优化

① 数据库参数优化

② 分析慢查询SQL语句，分析执行计划，进行SQL改写或程序改下

③ 优化索引结构

④ 优化数据表结构

⑤ 引入NoSQL和程序架构调整

（2）分库分表（如果单表数据量超过1000w或者并发量特别大，还是建议分库分表）

① 根据业务情况而定，选择合适的分库分表策略

② 先看只分表是否满足需求和未来增长

③ 如果单分表不能满足需求，再分库分表一起

总结：

① 在数据量和访问压力不是特别大的情况下，首先考虑数据库优化

② 如果数据量极大，且业务增长块，在考虑分库分表方案

2 分库分表的问题

① 跨节点数据库 join 关联查询

② 分库操作带来的分布式事务问题

③ 执行的SQL排序、翻页、函数计算问题

④ 数据库全局主键重复问题（以前使用的自增ID就会出现问题）

⑤ 容量规划，分库分表二次扩容问题

⑥ 分库分表技术选型问题

3 常见分库分表方案

项目、技术负责人需要有前瞻性思维

① 需要提前考虑1到2年的业务增长情况

② 对数据库服务器（QPS、连接数、容量等）做合理评估和规划

3.1 垂直分表

大表拆小表：基于列字段进行，分离热点字段和非热点字段，避免大字段IO

① 把不常用的字段放在一张表

② 把text、blob等大字段拆分出来一张表

③ 业务经常组合查询的列放在一张表中

3.2 垂直分库

微服务架构，就做了垂直分库，每个服务使用自己的库

问题：垂直分库分表可以提高并发，但是依然没有解决单表数据量过大的问题。

3.3 水平分表

数据拆分：把一个大表分割成N个小表，表结构一样，数据不一样

主要解决单表数据量过大的问题，减少锁表时间

3.4 水平分库

把同一个表数据按照一定规则分到不同的数据库中，数据库在不同的服务器上

水平分库的粒度，比水平分表大

多个数据库，降低系统的IO和CPU压力

注意：水平分库分表，选择合适的分片键和分片策略，和业务场景相配合

4 分库分表常见策略

4.1 range范围（更多适用于水平分表）

（1）数字范围

自增ID，根据ID范围进行分表（左闭右开）

优点：ID自增长，可以无限；扩容不用迁移数据，容易理解和维护

缺点：数据倾斜严重，热点数据过于集中，部分节点有瓶颈，整体利用率低

（2）时间范围

年、月、日范围

使用场景：流水数据、日志信息

（3）空间范围

地理位置：省份、区域划分（华东、华中、华南...）

使用场景：外卖、物流等

4.2 Hash取模

库ID = hashcode % 库数量

表ID = hashcode / 库数量 % 表数量

优点：保证数据较均匀的分散在不同的库、表中，可以有效的避免热点数据集中问题

缺点：扩容不是很方便，需要数据迁移

5 分库分表技术选型

① TDDL（Taobao Distributed Data Layer）

淘宝根据自己业务特点开发的

基于JDBC规范，没有server，以client-jar形式存在，引入项目即可使用

开源功能比较少，阿里内部使用为主

② Mycat

网址：| MYCAT官方网站—中国开源分布式数据库中间件

遵守MySQL原生协议，跨语言、跨平台、跨数据库的通用中间件代理

基于proxy，复写了MySQL协议，将Mycat server伪装成一个MySQL数据库

③ ShardingJDBC

网址：Apache ShardingSphere

Apache ShardingSphere 是一款分布式的数据库生态系统，包括Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar

基于JDBC驱动，不用额外proxy，支持任意实现JDBC规范的数据库

以jar包形式提供服务，无需额外部署和依赖

面试题：Mycat 和 ShardingJDBC 的区别

两者设计理念相同，主流程都是 SQL解析 -> SQL路由 -> SQL改写 -> 结果归并
ShardingJDBC

① 基于JDBC驱动，不用额外proxy，在本地应用重写JDBC原生的方法，实现数据库分片形式

② 是基于JDBC接口的扩展，是以jar包的形式提供轻量级服务，性能高

③ 代码有侵入性

Mycat

① 是基于proxy，复写了MySQL协议，将Mycat server 伪装成一个MySQL数据库

② 客户端所有的JDBC请求都必须要先交给Mycat，再由Mycat转发到具体的真实服务器
③ 缺点是效率偏低，中间包装了一层

④ 代码无侵入性

互联网三高-数据库高并发之分库分表

1 数据库概述 1.1 数据库本身的瓶颈 ① 连接数 MySQL默认最大连接数为100，允许的最大连接数为16384 ② 单表海量数据查询性能单表最好500w左右，最大警戒线800w ③ 单数据库并发压力问题 MySQL QPS：1500左右/秒 ④ 系统磁盘IO、CPU瓶颈 1.2 数…...

编程日记 2025/9/13 1:02:34

Python----机器学习（基于贝叶斯的鸢尾花分类）

贝叶斯方法是一种统计推断的方法，它利用贝叶斯定理来更新我们对事件概率的信念。这种方法在机器学习和数据分析中得到广泛应用，特别是在分类和概率估计问题上。一、数据集介绍这是分类方法文献中最早使用的数据集之一，广泛用于统计和机器…...

编程日记 2025/9/13 1:02:12

问题｜对于初学者来说，esp32和stm32哪个比较适合？

对于初学者选择ESP32还是STM32入门嵌入式开发，需综合考虑学习目标、兴趣方向及未来职业规划。以下是两者的对比分析及建议： 1. 适合初学者的关键因素 ESP32的优势内置无线通信：集成Wi-Fi和蓝牙功能，无需额外模块即可开发物联网…...

编程日记 2025/9/13 0:53:43

org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow...

Spark异常：Kryo serialization failed: Buffer overflow. 1、问题描述 SparkSQL任务报错如下： org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: xxx. To avoid this, increase spark.kryoseri…...

编程日记 2025/9/13 1:00:02

webpack vite

1、webpack webpack打包工具（重点在于配置和使用，原理并不高优。只在开发环境应用，不在线上环境运行），压缩整合代码，让网页加载更快。前端代码为什么要进行构建和打包？ 体积更好&#x…...

编程日记 2025/9/13 0:53:29

论文笔记——KIMI-VL：具有增强推理能力的有效开源视觉语言模型

KIMI-VL：具有增强推理能力的有效开源视觉语言模型原文地址：https://arxiv.org/pdf/2504.07491v1 开源地址：https://github.com/MoonshotAI/Kimi-VL 目录简介架构概述训练方法主要功能性能基准通过长链思考增强推理应用结论简介视觉…...

编程日记 2025/9/13 1:02:12

大模型蒸馏-小模型超进化

👏作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家📕系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理、AI应用🔥如果感觉…...

编程日记 2025/9/13 0:53:29

辅助记忆数字和唱名的小工具【仅PC端】

通过网盘分享的文件：random_music_note.exe 链接: https://pan.baidu.com/s/1Akc2gPzAcyhEfPHlbOYLXw?pwd4fua 提取码: 4fua –来自百度网盘超级会员v7的分享...

编程日记 2025/9/13 0:53:44

Android 知识沉淀

注解 1.枚举类型传参优化 enum WeekDay{SUNDAY, MONDAY}public static void setDay(WeekDay day){}我们已知，枚举类型是一个对象，对象占用的空间较大，有 12 个对象头对象的数据部分8 字节对齐，所以这里可以利用注解优化&#xff…...

编程日记 2025/9/13 1:02:11

KiActivateWaiterQueue函数和Queue-＞Header.WaitListHead队列等待列表的关系

第一部分： if (Thread->ApcState.KernelApcPending && (Thread->SpecialApcDisable 0) && (Thread->WaitIrql < APC_LEVEL)) { } else { // // Insert wait block in ob…...

编程日记 2025/9/10 16:29:53

代码学习总结（一）

代码学习总结（一） 这个系列的博客是记录下自己学习代码的历程，有来自平台上的，有来自笔试题回忆的，主要基于 C 语言，包括题目内容，代码实现，思路，并会注明题目难度&…...

编程日记 2025/9/11 18:01:22

设计模式 --- 策略模式

策略模式（Strategy Pattern）是一种行为型设计模式，用于动态切换算法或策略，使得算法可以独立于客户端变化。它通过封装算法策略并使其可互换，提升了系统的灵活性和扩展性，尤其适用于需要多种…...

编程日记 2025/9/11 14:38:28

c++进阶之----智能指针

1.概念在 C 中，智能指针是一种特殊的指针类型，它封装了裸指针（raw pointer）的行为，并通过 RAII（Resource Acquisition Is Initialization，资源获取即初始化）机制自动管理动态分配的…...

编程日记 2025/9/10 16:27:21

08-JVM 面试题-mk

1.JVM 的各部分组成知道JVM 的好处：知道java 运行机制，排查问题的能力增加，比如内存泄漏、CPU飙高 JVM 是什么：Java Virtual Machine缩写，Java程序的运行环境（java二进制字节码的运行环境）好处：一次编写，到处运行自动内存管理，垃圾回收机制从图中可以看出 JVM …...

编程日记 2025/9/11 8:02:24

MTK7628基于原厂的mtk-openwrt-sdk-20160324-8f8e4f1e.tar.bz2 源代码包，配置成单网口模式的方法

一、配置. 在SDK工程下，运行make kernel_menuconfig，如下图所示： Ralink Module --->选上“One Port Only”，如下图所示： 如果P0网口实现WAN口，就配置成W/LLLL,否则就配置成LLLL/W. 二、修改网口的原代…...

编程日记 2025/9/4 5:56:10

青少年编程与数学 02-016 Python数据结构与算法 15课题、字符串匹配

青少年编程与数学 02-016 Python数据结构与算法 15课题、字符串匹配一、字符串匹配问题的基本概念（一）定义（二）术语二、暴力匹配算法（Naive String Matching）（一）算法逻辑&#xf…...

编程日记 2025/9/9 10:34:11

基础层数据从kafka读取写入hbase的优化方案

背景: 上游kafka的topic只有一个分区,所以spark在消费的时候,无论设置的executor数有多少,最终只有一个executor在执行,如果不指定executor num的话,默认是开启两个executor,有一个executor的资源是浪费的,例如下面显示的情况,其实只有一个executor是active的状态. 在消费的时…...

编程日记 2025/9/8 21:36:50

thingsboard3.9.1编译问题处理

问题1： [ERROR] Failed to execute goal org.thingsboard:gradle-maven-plugin:1.0.12:invoke (default) on project http: Execution default of goal org.thingsboard:gradle-maven-plugin:1.0.12:invoke failed: Plugin org.thingsboard:gradle-maven-plugin:1.…...

编程日记 2025/9/8 1:28:43

Adobe Photoshop 2025 Mac中文 Ps图像编辑

Adobe Photoshop 2025 Mac中文 Ps图像编辑一、介绍 Adobe Photoshop 2025 Mac版集成了多种强大的图像编辑、处理和创作功能。①强化了Adobe Sensei AI的应用，通过智能抠图、自动修复、图像生成等功能，用户能够快速而精确地编辑图像。②3D编辑和动画功…...

编程日记 2025/9/10 18:12:13

什么是VLA

视觉-语言-动作（VLA）技术综述：迈向具身智能的未来 1. 引言随着人工智能从单一模态感知迈向多模态交互，视觉-语言-动作（Vision-Language-Action, VLA） 技术逐渐成为连接感知、推理与物理行动的核心桥梁。V…...

编程日记 2025/9/12 10:52:37

数据结构：C语言版严蔚敏和解析介绍，附pdf

《数据结构：C语言版（第2版）》严蔚敏李冬梅吴伟民.pdf 《数据结构：C语言版》严蔚敏，李冬梅.pdf 《数据结构C语言第2版习题解析与实验指导》李冬梅.pdf 「《数据结构：C语言版（第2版 ）》…...

编程日记 2025/9/8 12:23:22

C++线段树详解与实现技巧

📚 C++线段树详解与实现技巧线段树（Segment Tree）是一种高效处理区间查询和区间更新的数据结构，时间复杂度为 O(log n)。本文结合代码实例，详解其核心原理与实现细节。 🌳 线段树结构特点完全二叉树：使用数组存储，父子节点关系通过下标计算。区间划分：每个节…...

编程日记 2025/9/7 6:32:20

202527 | RabbitMQ-基础 | 队列 | Direct + Fanout + Topic 交换机 | 消息转换器

RabbitMQ RabbitMQ 架构与核心概念详解一、整体架构图 #mermaid-svg-UTlKmvHL7RNWK6vu {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-UTlKmvHL7RNWK6vu .error-icon{fill:#552222;}#mermaid-svg-UTlKmvHL7RNWK6v…...

编程日记 2025/9/10 6:42:28

【学习笔记】服务器上使用 nbconvert 将 Jupyter Notebook 转换为 PDF

1. 环境准备：安装必要工具在服务器终端运行以下命令，确保依赖已安装： (1) 安装 nbconvert 和 pandoc pip install nbconvert pandoc (2) 安装 LaTeX（推荐 TeX Live） # Ubuntu/Debian sudo apt-get update sudo a…...

编程日记 2025/9/10 14:20:42

List、Set集合通过Stream流求和

目录一、泛型为Integer、Long、Double、BigDecimal求和二、泛型为实体类对单个属性求和对多个属性分别分组求和并返回聚合后的对象多字段乘积求和（基本数据类型） 多字段乘积求和（BigDecimal） 对对象中的多个字段求和…...

编程日记 2025/9/9 16:39:31

微软VSCode 能否击败 Cursor 和 Windsurf？

微软是否能利用平台优势和许可限制来阻止竞争对手？ AI 代码编辑器之战加剧蓬勃发展的 AI 代码编辑领域竞争日益激烈，这个最具变革性和盈利性的新技术领域正在适应相互间的竞争。Visual Studio Code 目前是最主导的代码编辑器。 “根据 Stack Overflow 调查，Visual Studi…...

编程日记 2025/9/5 21:22:01

VSCode会击败Cursor和Windsurf吗？

VSCode 会击败 Cursor 和 Windsurf 吗？微软能不能靠自己的地盘优势和规则限制打压对手？答案是"能"，但他们真的会这么干吗？ Cursor & Windsurf vs VSCode Copilot 大PKAI编程工具大战越来越激烈现在最火最赚钱的AI…...

编程日记 2025/9/10 3:35:09

机器学习（4）—— K近邻算法

文章目录 1. K近邻算法（K-Nearest Neighbors, KNN）原理1.1. K近邻算法是什么算法？1.2. 核心思想 2. K近邻算法的步骤2.1. 选择K值2.2. 计算距离2.3. 选择最近邻：2.4. 做出预测： 3. K值的选择4. 数据标准化5. 优缺点6. …...

编程日记 2025/9/3 22:49:47

深入解读 React 纯组件(PureComponent)

什么是纯组件？ React 的纯组件(PureComponent)是 React.Component 的一个变体，它通过浅比较(shallow comparison)props 和 state 来自动实现 shouldComponentUpdate() 方法，从而优化性能。核心特点 1. 自动浅比较： PureCompon…...

编程日记 2025/9/11 7:17:00

常见MQ及类MQ对比：Redis Stream、Redis Pub/Sub、RocketMQ、Kafka 和 RabbitMQ

常见MQ及类MQ对比基于Grok调研 Redis Stream、Redis Pub/Sub、RocketMQ、Kafka 和 RabbitMQ 关键点： Redis Pub/Sub 适合简单实时消息，但不持久化，消息可能丢失。Redis Stream 提供持久化，适合需要消息历史的场景，但…...

编程日记 2025/9/7 6:36:42

202528 | RabbitMQ-高级 | 消息可靠性 | 业务幂等性 | 延迟消息

消息可靠性 RabbitMQ发送者可靠性一、发送者重连机制 #mermaid-svg-gqr6Yr5UNZX87ZDU {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-gqr6Yr5UNZX87ZDU .error-icon{fill:#552222;}#mermaid-svg-gqr6Yr5UNZX87ZD…...

编程日记 2025/9/6 18:38:01

Java EE期末总结（第六章）

一、IoC 1、Bean装配流程 IOC装配流程在代码中的对应就体现在Service这个注解依赖注入在代码中体现在 ，比如 Resource UserService userService 二、AOP 简化流程，为程序员简便操作 tmd编不下去了我自己看视频都没理解md不弄了； 给两个…...

编程日记 2025/9/10 1:26:29

ASP.NET Core 性能优化：内存缓存

文章目录前言一、什么是缓存二、内存缓存三、使用内存缓存1）注册内存缓存服务2）注入与基本使用3）高级用法GetOrCreate（避免缓存穿透）异步方法：GetOrCreateAsync（避免缓存穿透）两种过…...

编程日记 2025/9/1 6:42:13

Go小技巧易错点100例（二十六）

本期分享： 1. string转[]byte是否会发生内存拷贝 2. Go程序获取文件的哈希值正文： string转[]byte是否会发生内存拷贝在Go语言中，字符串转换为字节数组（[]byte）确实会发生内存拷贝。这是因为在Go中，字…...

编程日记 2025/9/11 0:39:50

《算法笔记》3.5小节——入门模拟-＞进制转换

1022 D进制的AB #include <iostream> using namespace std; int maxn32;int main() {int z[maxn],num0,a,b,d;cin>>a>>b>>d;int resab;do{z[num]res%d;resres/d;}while(res);for (int i num-1; i >0 ; i--) {cout<<z[i];}return 0; }问题 A:…...

编程日记 2025/9/7 18:53:57

【MQTT-协议原理】

MQTT-协议原理 ■ MQTT-协议原理■ MQTT-服务器称为"消息代理"（Broker）■ MQTT协议中的订阅、主题、会话■ 一、订阅（Subscription）■ 二、会话（Session）■ 三、主题名（Topic Name&a…...

编程日记 2025/9/9 14:24:57

JWT认证服务与授权 .netCore

1.实现流程图 2.认证信息概述 Header:System.IdentityModel.Tokens.Jwt.JwtHeader Payload: System.IdentityModel.Tokens.Jwt.JwtPayload Issuer: http://localhost:7200 Audience: http://localhost:7200 Expiration: 2025/4/11 15:06:14 Claim - Type: http://schemas…...

编程日记 2025/9/8 12:07:12

编译原理实验二词法分析程序自动生成工具实验

文章目录实验环境的准备实验实验预备知识分析案例所要做的任务实战实验环境的准备安装flex 安装MinGW MinGW Installation Manager页面 apply changes 下载比较耗时只看到了一个文件，复制过去配置环境变量使用gcc -v检验是否安装完成实验实验预备知识…...

编程日记 2025/9/8 12:19:00

【C++初学】课后作业汇总复习（一）概述、输入输出、类的入门——理解封装

一、概述、输入输出、类的入门——理解封装 - 1. ab input two number output sum of a and b; #include <iostream>using namespace std;int main() {int a 0;int b 0;cin >> a >> b;cout << ab <<endl;return 0; }2.输入1~7任意一个整数&…...

编程日记 2025/9/11 7:33:10

数学建模：针对汽车行驶工况构建思路的延伸应用

前言： 汽车行驶工况构建的思简单理解为将采集的大量数据进行“去除干扰、数据处理，缩减至1800S的数据”，并可达到等效替换的目的，可以使在试验室快速复现；相应的解决思路、办法可应用在 “通过能量流采集设备大量采集…...

编程日记 2025/9/12 12:59:17

Qt 之opengl shader language

着色器示例代码实际运行效果...

编程日记 2025/9/8 14:58:20

dolphinscheduler创建文件夹显示存储未启用的问题--已解决

只要修改api-server/comf/common.properties和standalone-server/conf/common.properties里面的内容就可以了，应为你要靠standalone-server这个服务启动dolphinscheduler-web，其他就算怎么改你重启dolphinscheduler的时候系统也不会识别新的common.prope…...

编程日记 2025/9/7 17:49:01

解密 Linux 线程：多线程编程与资源管理

个人主页：chian-ocean 文章专栏-Linux 前言： 在Linux中，线程是一种轻量级的执行单元，它是进程的一部分。多个线程可以在同一个进程内并行执行任务，通常它们共享该进程的资源，如内存空间、文件描述符等。…...

编程日记 2025/9/10 20:09:33

Node.js net模块详解

Node.js 的 net 模块提供了基于 TCP 或 IPC 的网络通信能力，用于创建服务器和客户端。以下是 net 模块的核心 API 详解，包含类、方法、事件及示例。 1. 模块引入 const net require(net);2. 核心类与方法 2.1 net.Server 类用于创建 TCP 或 IPC 服务…...

编程日记 2025/9/10 19:55:42

Node.js中fs模块详解

Node.js 中 fs 模块（非 Promise）API 详解 Node.js 的 fs 模块提供了同步和异步的文件系统操作。以下是非 Promise 版本的 API 详解： 1. 文件读取操作 const fs require(fs);// 异步读取文件 fs.readFile(file.txt, utf8, (err, data) >…...

编程日记 2025/9/11 20:52:59

Mouse without Borders – 用一套鼠标 / 键盘控制四台电脑

同时操控 2 台电脑，只需一个鼠标和键盘！完全免费，由微软官方提供 | 零度解说_哔哩哔哩_bilibili Mouse Without Borders 简介‌ Mouse Without Borders（无界鼠标）是由微软开发的免费键鼠共享工具，支持在局…...

编程日记 2025/9/12 0:57:59

《车辆人机工程-汽车驾驶操纵实验》

汽车操纵装置有哪几种，各有什么特点汽车操纵装置是驾驶员直接控制车辆行驶状态的关键部件，主要包括以下几种，其特点如下： 一、方向盘（转向操纵装置） 作用：控制车辆行驶方向，通过转…...

编程日记 2025/9/12 16:40:01

使用DaemonSet部署集群守护进程集

使用DaemonSet部署集群守护进程集文章目录使用DaemonSet部署集群守护进程集[toc]一、使用DaemonSet部署日志收集守护进程集二、管理DaemonSet部署的集群守护进程集1.对DaemonSet执行滚动更新操作2.对DaemonSet执行回滚操作3.删除DaemonSet 一、使用DaemonSet部署日志收集守护…...

编程日记 2025/9/7 11:49:35