当前位置：首页 > news >正文

高并发短信系统设计：基于SharingJDBC的分库分表、大数据同步与实时计算方案

news 来源：原创 2025/9/9 8:07:48

高并发短信系统设计：基于SharingJDBC的分库分表、大数据同步与实时计算方案

一、概述

在当今互联网应用中，短信服务是极为重要的一环。面对每天发送2000万条短信的需求，我们需要一个能够处理海量数据（一年下来达到数千万亿级别）并且高效稳定的解决方案。本文将围绕如何利用SharingJDBC技术进行MySQL数据库合理分库分表展开讨论，并结合ClickHouse实现冷热数据分离、Elasticsearch(ES)完成复合查询以及Flink实现实时计算等功能，最后通过SpringCloud构建微服务架构集成上述所有组件。

二、分库分表策略及建表语句

为了应对如此庞大的数据量，我们采用ShardingSphere-5.x版本中的SharingJDBC作为分库分表中间件...

详细内容省略，包括但不限于：

具体分库分表规则设计
创建逻辑表与物理表映射关系
定义各表结构信息（如表名、字段名等）

三、冷热数据分离策略

考虑到历史数据访问频率较低但总量巨大，我们将最近一段时间内的“热”数据保留在MySQL中以保证快速响应；而较老的“冷”数据则定期迁移至ClickHouse进行长期存储...

四、复合查询解决方案

针对复杂的查询需求，我们可以通过以下几种方式来优化：

使用Elasticsearch存储索引并执行全文搜索任务
利用Logstash或DataX工具将MySQL/ClickHouse的数据同步到ES

五、Flink实时计算

Flink可以用来处理流式数据，支持窗口聚合、事件时间处理等功能。下面是一个简单的例子说明如何用Flink读取Kafka消息并写入ClickHouse...

六、Spring Cloud集成方案

Spring Cloud提供了一整套微服务治理框架，其中包含了服务发现注册中心Nacos、配置管理Config Server、断路器Hystrix等组件。我们将通过这些功能点来整合以上提到的所有技术栈...

七、代码示例

本节将展示部分关键代码片段，涵盖从SharingJDBC配置开始直至Spring Cloud项目搭建完毕整个流程...

相关文章：

高并发短信系统设计：基于SharingJDBC的分库分表、大数据同步与实时计算方案

高并发短信系统设计：基于SharingJDBC的分库分表、大数据同步与实时计算方案一、概述在当今互联网应用中，短信服务是极为重要的一环。面对每天发送2000万条短信的需求，我们需要一个能够处理海量数据（一年下来达到数千万亿级别&…...

编程日记 2025/9/9 8:07:48

【HTML】html文件

HTML文件全解析：搭建网页的基石在互联网的广袤世界里，每一个绚丽多彩、功能各异的网页背后，都离不开HTML文件的默默支撑。HTML，即超文本标记语言（HyperText Markup Language），作为网页创建的基…...

编程日记 2025/9/8 9:18:45

5.11 GitHub API调试五大高频坑：从JSON异常到异步阻塞的实战避坑指南

GitHub API调试五大高频坑：从JSON异常到异步阻塞的实战避坑指南关键词：GitHub API 调试、JSON 解析异常、提示工程优化、异步任务阻塞、数据清洗策略 5.5 测试与调试：调试常见问题问题1：GitHub API 调用异常现象： requests.exceptions.HTTPError: 403 Client Error…...

编程日记 2025/9/5 22:47:53

协程的原生挂起与恢复机制

目录 🔍 一、从开发者视角看协程挂起与恢复 🧠 二、协程挂起和恢复的机制原理：核心关键词 ✅ suspend 函数 ≠ 普通函数 ✅ Continuation（协程的控制器） 🔧 三、编译器做了什么？&#xff0…...

编程日记 2025/9/4 7:22:57

机器学习中的数学(PartⅡ)——线性代数：2.2矩阵

概述本节内容也相对简单，首先介绍了矩阵的定义，矩阵的表示方法；然后介绍了矩阵的加法和乘法，与标量的乘法，以及一些矩阵相关算数运算的性质，包括满足结合律、交换律；矩阵的逆和转置&#xff1…...

编程日记 2025/9/4 14:36:42

泉涌未来：科技与生态的共生诗篇-济南

故事背景故事发生在中国山东济南的未来城市环境，这里不再是单纯的自然景观与现代建筑的堆砌，而是科技与生态深度融合的奇妙世界。泉水，这一济南的灵魂元素，在未来科技的赋能下，成为连接城市各个角落的纽带。量子态泉水…...

编程日记 2025/9/9 1:30:01

用AI生成系统架构图

DeepSeek+Drawio+SVG绘制架构图-找到一种真正可行实用的方法和思路 1、使用DeepSeek生成SVG文件，导入drawio工具的方法 🔥 问题根源分析错误现象： • 导入时报错包含 data:image/SVG;base64 和 %20 等 URL 编码字符 • 代码被错误转换为 Base64 格式（适用于网页嵌入，但…...

编程日记 2025/9/8 18:54:01

网络基础1

目录初识协议协议分层软件分层的好处 OSI七层模型 TCP/IP 五层(或四层)模型再谈协议为什么要有 TCP/IP 协议？ TCP/IP 协议与操作系统的关系所以究竟什么是协议？ 网络传输基本流程认识 MAC 地址局域网(以太网为例)通信原理报文的传…...

编程日记 2025/9/7 21:02:48

免费且好用的PDF水印添加工具

软件介绍今天要给大家推荐一款超实用的PDF添加水印工具，它能够满足用户给PDF文件添加水印的需求，而且完全免费。这款PDF添加水印的软件有着简洁的界面，操作简便，无需安装，解压后即可使用。在使用前，先…...

编程日记 2025/9/7 8:51:13

C++Primer对象移动

欢迎阅读我的【CPrimer】专栏专栏简介：本专栏主要面向C初学者，解释C的一些基本概念和基础语言特性，涉及C标准库的用法，面向对象特性，泛型特性高级用法。通过使用标准库中定义的抽象设施，使你更加适应高级…...

编程日记 2025/9/7 15:13:27

互联网三高-数据库高并发之分库分表ShardingJDBC

1 ShardingJDBC介绍 1.1 常见概念术语 ① 数据节点Node：数据分片的最小单元，由数据源名称和数据表组成如：ds0.product_order_0 ② 真实表：再分片的数据库中真实存在的物理表如：product_order_0 ③ 逻辑表&#xff1a…...

编程日记 2025/9/4 6:46:57

七、自动化概念篇

自动化测试概念自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的过程一步步执行测试，得到实际结果与期望结果的比较。在此过程中，为了节省人…...

编程日记 2025/9/7 15:21:50

python操作mongodb

1、安装包 pyMongo是MongoDB官方推荐的Python驱动程序，它提供了访问MongoDB数据库所需的接口。安装PyMongo非常简单，可以通过pip包管理工具来安装最新版本： pip install pymongo 安装完成后，我们可以使用以下Python代码来检查是否…...

编程日记 2025/8/27 1:04:03

IS-IS中特殊字段——OL过载

文章目录 OL 过载位 🏡作者主页：点击！ 🤖Datacom专栏：点击！ ⏰️创作时间：2025年04月13日20点12分 OL 过载位路由过载使用 IS-IS 的过载标记来标识过载状态对设备设置过载标记后&#xff…...

编程日记 2025/9/5 18:08:53

行星际激波在日球层中的传播：Propagation of Interplanetary Shocks in the Heliosphere （第二部分）

行星际激波在日球层中的传播：Propagation of Interplanetary Shocks in the Heliosphere （第一部分）-CSDN博客 Propagation of Interplanetary Shocks in the Heliosphere [ Chapter 3 ] [PDF: arXiv] 本文保留原文及参考文献，参…...

编程日记 2025/9/6 19:31:06

紫光同创FPGA实现HSSTLP光口视频点对点传输，基于Aurora 8b/10b编解码架构，提供6套PDS工程源码和技术支持

目录 1、前言工程概述免责声明 2、相关方案推荐我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目紫光同创FPGA相关方案推荐我这里已有的 GT 高速接口解决方案Xilinx系列FPGA实现GTP光口视频传输方案推荐Xilinx系列FPGA实现GTX光口视频传输方案推荐Xilinx系列FPGA实…...

编程日记 2025/9/4 0:12:13

正则表达式使用知识(日常翻阅）

正则表达式使用一、字符匹配 1. 普通字符描述：直接匹配字符本身。示例： abc 匹配字符串中的 “abc”。Hello 匹配字符串中的 “Hello”。 2. 特殊字符 .（点号）： 描述：匹配任意单个字符（…...

编程日记 2025/9/4 20:19:02

CSS padding（填充）学习笔记

CSS 中的 padding（填充）是一个非常重要的属性，它用于定义元素边框与元素内容之间的空间，即上下左右的内边距。合理使用 padding 可以让页面布局更加美观、清晰。以下是对 CSS padding 的详细学习笔记。一、padding 的作用 padd…...

编程日记 2025/9/4 4:24:33

Python中的字符串、列表、字典和集合详解

Python是一门强大的编程语言，其内置的数据结构丰富多样。其中，字符串、列表、字典和集合是最常用的数据类型。本文将对它们的区别、用法和使用场景进行详细介绍，帮助大家更好地理解和应用这些数据结构。 1. 字符串（String&#xf…...

编程日记 2025/9/1 14:10:28

【CUDA编程】CUDA Warp 与 Warp-Python 对比文档

相关文档: Nvidia-Warp GitHub：nvidia/warp CUDA Warp 和 Warp-Python 库的对比与统一文档，涵盖两者的核心概念、区别、使用场景及示例： 1. CUDA Warp（硬件/编程模型概念） 1.1 定义与核心概念定义： C…...

编程日记 2025/9/4 16:05:13

中厂算法岗面试总结

时间：2025.4.10 地点：上市的电子有限公司面试流程： 1.由负责人讲解公司文化 2，由技术人员讲解公司的技术岗位，还有成果 3.带领参观各个工作位置，还有场所 4.中午吃饭 5.面试题，闭卷考试…...

编程日记 2025/9/8 21:36:47

Losson 4 NFS（network file system（网络文件系统））

网络文件系统：在互联网中共享服务器中文件资源。使用nfs服务需要安装:nfs-utils 以及 rpcbind nfs-utils : 提供nfs服务的程序 rpcbind ：管理nfs所有进程端口号的程序 nfs的部署 1.客户端和服务端都安装nfs-utils和rpcbind #安装nfs的软件rpcbind和…...

编程日记 2025/9/6 9:01:51

自动化运行后BeautifulReport内容为空

一、问题描述自动化程序运行后发现运行目录下生成的html报告文件内容为空，没有运行结果。二、测试环境操作系统：Windows 11 家庭版BeautifulReport：0.1.3Python：3.11.9Appium-Python-Client：5.0.0Appium Server:2.…...

编程日记 2025/8/31 9:48:02

CTF-WEB排行榜制作

CTF-WEB排行榜制作项目需求： 现在14道题对应有14个flag，我需要使用dockerfile搭建一个简单的，能够实现验证这些题目对应的flag来计分的简单网站（要求页面比较精美） 前十题设置为10分 11-14题设置为20分 1. flag{5a3…...

编程日记 2025/9/9 1:30:03

架构生命周期（高软57）

系列文章目录架构生命周期文章目录系列文章目录前言一、软件架构是什么？二、软件架构的内容三、软件设计阶段四、构件总结前言本节讲明架构设计的架构生命周期概念。一、软件架构是什么？ 二、软件架构的内容三、软件设计阶段四、构件总结就…...

编程日记 2025/9/6 16:30:36

STM32单片机定时器的输入捕获和输出比较

目录一、定时器的输入捕获 1、工作原理 2、示例代码二、定时器的输出比较 1、工作原理 2、示例代码三、总结在STM32单片机中，定时器是一个非常重要的外设，广泛应用于时间管理、事件计时、波形生成等多种场景。其中输入捕获和输出比较是两个基…...

编程日记 2025/9/3 18:17:45

计算机组成原理-系统总线

1. 系统总线的定义系统总线是计算机系统中各功能部件（CPU、存储器、I/O设备等）之间传递信息的公共通路，遵循统一的电气规范和时序协议，是计算机硬件互联的基础。核心作用：实现数据、地址和控制信号的传输&#xff…...

编程日记 2025/8/31 15:54:23

【android bluetooth 框架分析 02】【Module详解 3】【HciHal 模块介绍】

1. 背景我们在 gd_shim_module 介绍章节中，看到我们将 HciHal 模块加入到了 modules 中。 modules.add<hal::HciHal>();在 ModuleRegistry::Start 函数中我们对加入的所有 module 挨个初始化。而在该函数中启动一个 module 都要执行那下面几步&#xff…...

编程日记 2025/9/4 13:16:13

Git 远程仓库

Git 入门笔记远程仓库 Git 远程仓库 Git 远程仓库是一个托管在网络服务器上的代码仓库，它是团队协作开发的核心。通过远程仓库，开发者可以共享代码、同步更新，实现分布式协作。 SSH 密钥 SSH 密钥可以让你在使用 Git 时安全地连接远程…...

编程日记 2025/9/5 20:00:34

209.长度最小的子数组- 力扣(LeetCode)

题目： 给定一个含有 n 个正整数的数组和一个正整数 target 。找出该数组中满足其总和大于等于 target 的长度最小的子数组 [numsl, numsl1, ..., numsr-1, numsr] ，并返回其长度。如果不存在符合条件的子数组，返回 0 。示例 1：…...

编程日记 2025/8/17 19:13:40

符号右移“ ＞＞= “ 与无符号右移“ ＞＞＞= “ 的区别

符号右移" >> " 与无符号右移" >>> " 的区别一、符号右移" >> " 与无符号右移" >>> " 的区别1. 符号右移（>>）与无符号右移（>>>）的区别…...

编程日记 2025/9/7 20:09:03

山东大学软件学院项目实训-基于大模型的模拟面试系统-专栏管理部分

本周我的主要任务是关于专栏管理部分的完善。专栏图片的显示问题问题分析根据代码可知：图片URL来自于portfolio.headImgUrl，而且如果URL不存在的话，应该显示的是无图片，而网页中显示加载失败说明portfolio.headImgUrl应该是存…...

编程日记 2025/8/22 22:30:35

从 SYN Flood 到 XSS：常见网络攻击类型、区别及防御要点

常见的网络攻击类型 SYN Flood、DoS（Denial of Service） 和 DDoS（Distributed Denial of Service） 是常见的网络攻击类型，它们的目标都是使目标系统无法正常提供服务。以下是它们的详细说明： 1. SYN Flood…...

编程日记 2025/9/5 1:00:54

ros2-rviz2控制unity仿真的6关节机械臂，探索从仿真到实际应用的过程

文章目录前言（Introduction）搭建开发环境（Setup Development Environment）在window中安装Unity（Install Unity in window）创建Docker容器，并安装相关软件（Create Docker containers…...

编程日记 2025/8/31 13:50:47

01_通过调过api文字生成音频示例

第1 第2 第3，测试音色第4 第5 第6 第7生成api_key 第8代码 import requestsurl "https://api.siliconflow.cn/v1/audio/speech"payload {"input": "在中国传统文化中，谦让被视为一种美德，但过度的让步…...

编程日记 2025/9/6 9:21:21

使用PyTorch实现目标检测边界框转换与可视化

一、引言在目标检测任务中，边界框（Bounding Box）的坐标表示与转换是核心基础操作。本文将演示如何： 实现边界框的两种表示形式（角点坐标 vs 中心坐标）之间的转换使用Matplotlib在图像上可视化边界框验…...

编程日记 2025/9/5 1:22:35

QEMU学习之路（8）— ARM32通过u-boot 启动Linux

QEMU学习之路（8）— ARM32通过u-boot 启动Linux 一、前言参考文章： Linux内核学习——内核的编译和启动 Linux 内核的编译和模拟执行 Linux内核运行——根文件系统 Linux 内核学习——使用 uboot 加载内核二、构建Linux内核 1、获取Linu…...

编程日记 2025/9/7 14:40:09

flutter 桌面应用之右键菜单

在 Flutter 桌面应用开发中，context_menu 和 contextual_menu 是两款常用的右键菜单插件，各有特色。以下是对它们的对比分析： 🧩 context_menu 集成方式：通过 ContextMenuArea 组件包裹目标组件，定义…...

编程日记 2025/9/8 1:27:46

系统设计面试总结：高性能相关：CDN（内容分发网络）、什么是静态资源、负载均衡（Nginx）、canal、主从复制

以下为本人自学回顾使用，请支持javaGuide原版。 1.CDN概述 CDN 就是将静态资源分发到多个不同的地方以实现就近访问，进而加快静态资源的访问速度，减轻服务器以及带宽的负担。你可以将 CDN 看作是服务上一层的特殊缓存服务，分布…...

编程日记 2025/9/5 0:03:55

从红黑树到哈希表：原理对比与典型场景应用解析（分布式以及布隆过滤器）

在数据结构的世界里，红黑树一直以「自平衡二叉查找树」的身份备受赞誉。凭借红黑节点的精妙设计，它能将插入、删除、查找的时间复杂度稳定控制在 ( log ⁡ n ) (\log n) (logn)，成为处理有序数据的经典方案。然而，当业务场景对「…...

编程日记 2025/9/6 18:11:23

动手学深度学习：手语视频在VGG模型中的测试

前言其他所有部分同上一篇AlexNet一样，所以就不再赘诉，直接看VGG搭建部分。模型 VGG是第一个采取块进行模块化搭建的模型。 def vgg_block(num_convs,in_channels,out_channels):layers[]for _ in range(num_convs):layers.append(nn.Conv2d(in_ch…...

编程日记 2025/9/8 1:27:48

微信小程序实战案例 - 餐馆点餐系统阶段 4 - 订单列表状态

✅ 阶段 4 – 订单列表 & 状态目标展示用户「我的订单」列表支持状态筛选（全部 / 待处理 / 已完成）支持分页加载和实时刷新使用原生组件编写 ✅ 1. 页面结构：文件结构 pages/orders/├─ index.json├─ index.wxml├─ index.js└─…...

编程日记 2025/9/3 19:14:50

深度学习理论-直观理解 Attention

本文首先介绍 Attention 的原始公式，然后以 Self-Attention 为例，简化后逐步分析 Attention 计算结果表达的含义 Attention Attention 公式如下： A t t e n t i o n s o f t m a x ( Q ⋅ K T d k ) ⋅ V Attention softmax(\frac{Q \cd…...

编程日记 2025/8/28 18:37:02

python中 “with” 关键字的取舍问题

自动管理资源（自动关闭文件） 当你使用 with 打开文件时，文件会在 with 代码块结束后自动关闭，无论是否发生异常。这意味着你不需要显式地调用 f.close() 来关闭文件示例： with open("words.txt", "r…...

编程日记 2025/9/3 1:25:28

ISIS协议（动态路由协议）

ISIS基础基本概念 IS-IS（Intermediate System to Intermediate System，中间系统到中间系统）是ISO （International Organization for Standardization，国际标准化组织）为它的CLNP（ConnectionL…...

编程日记 2025/9/8 6:49:04

llm开发框架新秀

原文链接:https://i68.ltd/notes/posts/20250404-llm-framework3/ google开源ADK-Agent Development Kit 开源的、代码优先的 Python 工具包，用于构建、评估和部署具有灵活性和控制力的复杂智能体项目仓库:https://github.com/google/adk-python 2.6k项目文档:Age…...

编程日记 2025/9/7 19:15:46

Zookeeper的典型应用场景?

大家好，我是锋哥。今天分享关于【Zookeeper的典型应用场景?】面试题。希望对大家有帮助； Zookeeper的典型应用场景? 1000道互联网大厂Java工程师精选面试题-Java资源分享网 ZooKeeper 是一个开源的分布式协调服务，主要用于管理和协调大…...

编程日记 2025/9/5 15:27:34

【C数据结构】 TAILQ双向有尾链表的详解

TAILQ双向有尾链表的详解常见的链表结构1.SLIST2.STAILQ3.LIST4.TAILQ5.CIRCLEQ 一、TAILQ链表简介二、TAILQ的定义和声明三、TAILQ队列的函数1.链表头的初始化2.获取第一个节点地址3.获取最后一个节点地址4.链表是否为空5.下一个节点地址6.上一个节点地址7.插入头节点8.插入尾…...

编程日记 2025/9/3 4:37:08

redisson的unlock方法

//分布式方式，分布式锁，采用redisson锁 RLock lock redissonClient.getLock(userId.toString());//lock方法会无限重试。getLock底层是hash，大key是userid，小key是线程，value是重入次数 try {//boolean b lock.tryLo…...

编程日记 2025/9/7 2:30:25

ffmpeg 切割视频失败 ffmpeg 命令参数 -vbsf 在新版本中已经被弃用，需要使用 -bsf:v 替代

ffmpeg 切割视频失败 ffmpeg 命令参数 -vbsf 在新版本中已经被弃用，需要使用 -bsf:v 替代从日志中可以看到问题出在第一个 ffmpeg 命令执行时： Unrecognized option vbsf.Error splitting the argument list: Option not found这是因为 ffmpeg 命令参…...

编程日记 2025/9/7 11:14:27