当前位置： 首页 > news >正文

亿级流量系统架构设计与实战（四）

news 来源：原创 2025/8/20 10:59:54

本章关键词 ： 读 / 写分离 、 数据缓存 、 缓存更新 、 CQRS 、 数据分片 、 异步写。

高并发架构设计的要点

形成高并发系统的必要条件

高性能、高可用、可扩展。

  • 高性能： 性能代表一个系统的并行处理能力，在同样的硬件设备条件下 ， 性能越高 ， 越能节约硬件资源。
  • 高可用： 系统可以长期稳定 、 正常地对外提供服务 ， 而不是经常出故障 、 宕机 、崩溃 。
  • 可扩展： 系统可以通过水平扩容的方式 ， 从容应对请求量的日渐递增乃至突发的请求量激增。

高并发系统的衡量指标

  • 高性能指标：
    • 响应的平均时间： 在一段时间内系统的平均响应时间 。
      • 平均值易受极端值的影响，当出现偏大值时，平均值将会增大；当出现偏小值时 ，平均值将会减小。
    • 响应时间 PCTn 统计方式， PCTn 表示请求响应时间按从小到大排序后第 n 分位的响应时间。
      • 假设在一段时间内 100 个请求的响应时间从小到大排序如图所示 ， 则第 99 分位的响应时间是 100ms，即 PCT99 = 100ms
      • 分位值越大 ， 对响应时间长的请求越敏感 。 比如统计 10000 个请求的响应时间 ：
        • PCT50 =1ms, 表示在 10000 个请求中 50% 的请求响应时间都在 1ms 以内 。
        • PCT99 = 800 ms, 表示在 10000 个请求中 99% 的请求响应时间都在 800ms 以内。
        • PCT999 = 1.2 s, 表示在 10000 个请求中 99.9% 的请求响应时间都在 1.2s 以内。
    • 请求的平均响应时间 =200ms, 且 PCT99=1s的高并发系统基本能够满足高性能要求.
  • 高可用性指标：
    • 可用性 = 系统正常运行时间 / 系统总运行时间。一般使用 N 个 9 来描述系统的可用性。
    • 高可用性要求系统至少保证 3 个 9 或 4 个 9 的可用性 。 在实际的系统指标监控中 ， 很多公司会取 3 个 9 和 4 个 9 的中位数 ： 99.95% （ 3 个 9 、 1 个 5 ） , 作为系统可用性监控的阈值 。
  • 可扩展性指标：
    • 面对到来的突发流量，来不及对系统做架构改造 ， 而更快捷 、 有效的做法是增加系统集群中的节点来水平扩展系统的服务能力 。
    • 可扩展性=吞吐量提升比例 / 集群节点增加比例 。 在最理想的情况下 ，集群节点增加几倍 ， 系统吞吐量就能增加几倍。 一般来说,拥有 70% 〜 80% 可扩展性的系统基本能够满足可扩展性要求

高并发场景分类

各种业务操作体现到数据上就 读和写 两种。

高并发场景也就有** 高并发读、高并发写**。（读多写少、读少写多、读多写多）

并发读场景方案 1 ： 数据库读 / 写分离

大部分互联网应用都是读多写少的 ， 比如刷帖的请求永远比发帖的请求多 ， 浏览商品的请求永远比下单购买商品的请求多 。

数据库承受的高并发请求压力 ， 主要来自读请求 。

我们可以把数据库按照读 / 写请求分成专门负责处理写请求的数据库 （ 写库 ） 和专门负责处理读请求的数据库 （ 读库 ） ， 让所有的写请求都落到写库 ， 写库将写请求处理后的最新数据同步到读库 ， 所有的读请求都从读库中读取数据 。

数据库读 / 写分离使大量的读请求从数据库中分离出来 ， 减少了数据库访问压力 ， 缩短了请求响应时间。

读 / 写分离架构

通常使用数据库主从复制技术实现读 / 写分离架构 ， 将数据库主节点 Master 作为“ 写库 ” ， 将数据库从节点 Slave 作为 “ 读库 ” ， 一个 Master 可以与多个 Slave 连接。

读/写请求路由方式

在数据库读 / 写分离架构下 ， 把写请求交给 Master 处理 ， 而把读请求交给 Slave 处理,那么由什么角色来执行这样的读 / 写请求路由呢 ？

  • 基于数据库 Proxy 代理的方式
    • 在业务服务和数据库服务器之间增加数据库 Proxy 代理节点 （ 下文简称 Proxy ） , 业务服务对数据库的一切操作都需要经过 Proxy 转发 。 Proxy 收到业务服务的数据库操作请求后 ， 根据请求中的 SQL 语句进行归类 ， 将属于写操作的请求 （ 如 insert/delete/update 语句 ）转发到数据库 Master, 将属于

相关文章：

亿级流量系统架构设计与实战（四）

本章关键词 ： 读 / 写分离 、 数据缓存 、 缓存更新 、 CQRS 、 数据分片 、 异步写。 高并发架构设计的要点 形成高并发系统的必要条件 高性能、高可用、可扩展。 高性能： 性能代表一个系统的并行处理能力，在同样的硬件设备条件下 ， 性能越高 ， 越能节约硬件资源。高可…...

编程日记 2025/8/20 10:59:54

Java基础问题——八股盛宴 | 3w字分享

目录 面向对象与面向过程的区别？ Java面向对象有哪些特征，如何应用？ 介绍下Java中的四种引用？ Java中创建对象有几种方式？ Java中的序列化和反序列化是什么？ 什么是Java中不可变类？ Java…...

编程日记 2025/8/20 10:58:54

保障企业的数据安全需要做什么？

守护企业数据安全，犹如构筑一座固若金汤的城堡，需要从技术壁垒、管理护城河、流程吊桥和人员守卫等多维度精心布局，打造环环相扣的立体防御体系。我们从以下关键项分析： 一、技术层面 数据加密 对敏感数据（如客户信息、…...

编程日记 2025/8/19 7:46:42

Flutter开发IOS蓝牙APP的大坑

Core Bluetooth 框架限制：iOS 的 Core Bluetooth 框架存在限制，如果指定的特征配置同时允许通知（Notifications）和指示（Indications），调用相关方法设置通知值时，默认仅会开启通知功能…...

编程日记 2025/8/19 7:42:45

LeetCode 解题思路 45（分割等和子集、最长有效括号）

解题思路： dp 数组的含义： 在数组中是否存在一个子集，其和为 i。递推公式： dp[i] | dp[i - num]。dp 数组初始化： dp[0] true。遍历顺序： 从大到小去遍历，从 i target 开始，直到 …...

编程日记 2025/8/19 6:38:41

AI Agent 入门指南：从 LLM 到智能体

AI. AI. AI. 最近耳朵里是不是总是被这些词轰炸？特别是“Agent”、“AI Agent”、“智能体”、“Agentic”…… 感觉一夜之间，AI 就从我们熟悉的聊天框里蹦出来，要拥有“独立思考”和“自主行动”的能力了？ 说实话，一…...

编程日记 2025/8/18 10:46:39

高级java每日一道面试题-2025年5月02日-基础篇[反射篇-编码]-使用反射，获取Class对象

如果有遗漏,评论区告诉我进行补充 面试官: 编写代码通过三种方式（类名.class、对象.getClass()、Class.forName()）获取java.util.ArrayList的Class对象。 我回答: 在Java中，反射（Reflection）是一种强大的机制&#…...

编程日记 2025/8/17 8:31:00

【bug】fused_bias_act_kernel.cu卡住没反应

简述 在推理人脸修复face restoration算法 GPEN的时候，发现有时候fused_bias_act_kernel.cu卡住没反应。 解决 清理下缓存，让程序自己再编译下...

编程日记 2025/8/19 7:44:36

小游戏（2）扫雷游戏

一、简述 鸽子的时间太长了，其实学完数组和函数就应该搞出来这个丐版的小游戏了，不耽误，反正总归是轮到了，嘻嘻。 二、依旧菜单\. 我们这里写的是一个丐版的扫雷游戏，难度就固定了，所以菜单写起来就是玩游…...

编程日记 2025/8/19 7:44:37

如何在vscode中set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`

1.打开工作区设置文件 在 VS Code 中通过文件 -> 首选项 -> 设置，接着在设置窗口的右上角点击打开设置（JSON），这会打开settings.json文件。 2.添加环境变量设置 "terminal.integrated.env.linux": { "TF_EN…...

编程日记 2025/8/19 7:47:16

leetcode 24. 两两交换链表中的节点

题目描述 代码 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* ListNode() : val(0), next(nullptr) {}* ListNode(int x) : val(x), next(nullptr) {}* ListNode(int x, ListNode *next) : val(x), next(next…...

编程日记 2025/8/19 7:49:07

微调大模型如何准备数据集——常用数据集，Alpaca和ShareGPT

微调大模型如何准备数据集——常用数据集，Alpaca和ShareGPT 数据集准备常用数据集自定义数据集AlpacaShareGPT数据集准备 常用数据集 预训练数据集 Wiki Demo (en)RefinedWeb (en)RedPajama V2 (en)Wikipedia (en)Wikipedia (zh)Pile (en)...

编程日记 2025/8/18 14:10:26

使用Homebrew下载配置git和连接GitHub（Mac版）

本文详细介绍了在M系列Mac上安装Homebrew并配置Git的过程，包括git的下载、设置全局用户名和邮箱、生成SSH密钥、添加GitHubSSH密钥以及终端验证。这些步骤有助于用户顺利进行协同开发。 一、下载git 1、终端输入一下命令 brew install git2、这时下载完成 二、配…...

编程日记 2025/8/18 20:13:55

电子电器架构 --- 网关转发时延解析

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 钝感力的“钝”，不是木讷、迟钝，而是直面困境的韧劲和耐力，是面对外界噪音的通透淡然。 生活中有两种人，一种人格外在意别人的眼光;另一种人无论…...

编程日记 2025/8/19 5:32:17

shell-流程控制-循环-函数

1. 2. 3.获取当前目录下的普通文件的文件名作为变量列表打印输出 4.打印出下面语句中字符数不大于6的单词 rabbit is favorite to eat cabbage 5.Shell允许用户指定for语句的步长。当用户需要另外指定步长时 6.批量创建用户： 用户名以test开头，按数字序号…...

编程日记 2025/8/19 2:41:53

Paramiko 性能优化详解

1. 复用连接：减少 SSH 连接开销 SSH 连接的建立涉及 TCP 握手、密钥交换、身份认证等步骤，频繁创建连接会显著降低性能。复用连接是核心优化手段。 优化方法 手动创建 Transport 对象并复用通过同一 Transport 执行多种操作（命令、SFTP、端…...

编程日记 2025/8/19 6:14:33

代码随想录图论part03

第十一章：图论part03 孤岛的总面积 （深搜） 代码随想录 孤岛问题：先处理边缘岛在处理孤岛 沉没孤岛 （广搜） 代码随想录 水流问题 代码随想录 目的：找水源 思路;逆向思考，找两…...

编程日记 2025/8/19 7:42:44

树上背包学习笔记

树上背包，顾名思义，就是在树上跑背包。每日顾名思义 Q：那么到底为什么要树上跑背包 dp 呢？ A：因为我们到现在学的背包 dp 还是属于较浅的一类，什么 01 背包、完全背包还是多重背包，但是如果这…...

编程日记 2025/8/19 7:42:09

CPU：为什么Ryzen 7000系列处理器PCIe通道总数是28，而可用的通道数是24？

AMD Ryzen 7000系列（Zen 4架构）处理器的 28条PCIe 5.0通道 中，有 4条固定用于连接主板芯片组（如X670/B650），剩余的 24条直接分配给用户设备。以下是具体分配逻辑： 1. PCIe通道的总分配 24条直连…...

编程日记 2025/8/19 7:45:56

OpenCV 图形API（80）图像与通道拼接函数-----仿射变换函数warpAffine()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 对图像应用仿射变换。 函数 warpAffine 使用指定的矩阵对源图像进行变换： dst ( x , y ) src ( M 11 x M 12 y M 13 , M 21 x M…...

编程日记 2025/8/19 7:45:56

巧记英语四级单词 Unit7-下【晓艳老师版】

navigate v. 航行，航空 那六扇门gatevibrate v.颤抖，抖动 男生早上起来看到六个文胸在那挂着，春心荡漾virtual a.事实上，实际上的 发音“龌龊”；通常lyvia prep.经过 a想成小乌龟，兔子想到河对面吃草&am…...

编程日记 2025/8/19 7:40:20

idea使用lombok错误，找不到符号，明明编译没问题，运行报错

lombok使用出现的问题 问题找不到方法 经常遇到这样的小伙伴看到这个是不是一头雾水，明明我编译没有我问题，运行就出现问题，真的很生气。 下面介绍解决这个问题的几种方法。 开启 annotation processing 开启之后重启，试试有…...

编程日记 2025/8/19 7:44:37

Transformer面经

请问你对Transformer有什么了解 简要回答的话可以这样： Transformer是一种基于自注意力机制的神经网络架构，它主要用于处理序列数据，如自然语言处理。 核心的组件有：自注意力机制（计算序列中每个元素与其他元素的相…...

编程日记 2025/8/20 10:22:05

学习Python的第二天之网络爬虫

30岁程序员学习Python的第二天之网络爬虫的信息提取 BeautifulSoup库 地址：https://beautifulsoup.readthedocs.io/zh-cn/v4.4.0/ 1、BeautifulSoup4安装 在windows系统下通过管理员权限运行cmd窗口 运行pip install beautifulsoup4 测试实例 import requests…...

编程日记 2025/8/18 15:21:30

【基础】Python包管理工具uv使用教程

一、uv简介 uv 是由 Astral（前身为 Basis）团队开发的 Python 包安装器和解析器，完全使用 Rust 语言编写。与传统 Python 工具不同，uv 将多个工具的功能整合到一个高性能的解决方案中，旨在提供更现代、更高效的 Python…...

编程日记 2025/8/18 11:54:31

【十五】Mybatis动态SQL实现原理

Mybatis动态SQL实现原理 目录 Mybatis动态SQL实现原理 概述 动态 SQL 实现原理 总结 概述 每天日常开发都在使用mybatis，但是很多人并没有花心思去理解mybatis的实现原理，一直处于使用阶段，程序员的使命是改变世界，这一点可能…...

编程日记 2025/8/19 7:42:44

UE5 把翅膀动画额外创建动画蓝图并和角色绑定混合动画

把翅膀和角色合并,把翅膀绑在Spine_3上 在5.3内,需要LayerSetup指定骨骼才能使用混合...

编程日记 2025/8/19 7:43:22

Coding Practice，48天强训（30）

Topic 1&#xff1a;爱吃素&#xff08;素数性质&#xff09; 爱吃素 在强训25的第一题我总结过关于素数的几种判断方式&#xff0c;如果忘了可以回去看 第一次写我是这样写的 #include <bits/stdc.h> using namespace std;bool isPrime(long long &a, long long …...

编程日记 2025/8/19 7:46:41

华为私有协议Hybrid

实验top图 理论环节 1. 基本概念 Hybrid接口&#xff1a; 支持同时处理多个VLAN流量&#xff0c;且能针对不同VLAN配置是否携带标签&#xff08;Tagged/Untagged&#xff09;。 核心特性&#xff1a; 灵活控制数据帧的标签处理方式&#xff0c;适用于复杂网络场景。 2. 工作…...

编程日记 2025/8/19 7:45:56

神经网络之互动练习详解：从基础到拟合非线性数据

神经网络之互动练习详解&#xff1a;从基础到拟合非线性数据 在机器学习的世界里&#xff0c;神经网络是一种强大而神奇的工具&#xff0c;它可以帮助我们解决各种复杂的问题。今天&#xff0c;我们就通过一个有趣的互动练习&#xff0c;来深入了解神经网络的工作原理以及如何…...

编程日记 2025/8/19 7:43:57

遨游科普：2025年，三防平板有多智能？

在极端环境与复杂场景中&#xff0c;专业设备的可靠性始终是行业应用的核心命题。随着物联网、5G通信与边缘计算技术的深度融合&#xff0c;三防平板已突破传统“坚固耐用”的单一属性&#xff0c;进化为集多模通讯、智能感知与场景化扩展于一体的移动智能终端。 AORO P9000三防…...

编程日记 2025/8/19 7:49:08

基于C++的IOT网关和平台7：github项目ctGateway设备协议开发指南

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C++的，可以在任何平台上使用。 源码指引：github源码指引_初级代码游戏的博客-CSDN博客 系…...

编程日记 2025/8/19 18:16:08

yolov8中的python基础--模块导入篇

import语句有几种不同的写法&#xff0c;它们有不同的用途和优势。 1. 直接 import 语法 import module_name 用途 导入整个模块&#xff0c;使用时需要通过模块名访问其中的内容。 示例 import os print(os.listdir()) # 必须用 os. 前缀 适用场景 当需要频繁使用模块…...

编程日记 2025/8/19 7:42:44

26.2Linux中SPI的驱动实验(编程)_csdn

我尽量讲的更详细&#xff0c;为了关注我的粉丝&#xff01;&#xff01;&#xff01; 这里我们用到的是stm32mp157的板子&#xff0c;所以我们看一下SPI用到的引脚。 1、硬件原理图分析 SPI1_MOSI&#xff08;对应芯片引脚 SDA/SDI &#xff09;&#xff1a;主机输出从机输入…...

编程日记 2025/8/19 7:45:20

uv简单使用

通过uv创建项目和虚拟环境 初始化项目 uv init --package my-project 初始化一个名为 my-project 的新项目&#xff0c;并生成必要的文件结构。 创建虚拟环境 uv venv .venv 激活虚拟环境 # For Windows .venv\Scripts\activate# For macOS/Linux source .venv/bin/acti…...

编程日记 2025/8/20 10:58:53

扩增子分析|微生物生态网络稳定性评估之鲁棒性（Robustness）和易损性（Vulnerability）在R中实现

一、引言 周集中老师团队于2021年在Nature climate change发表的文章&#xff0c;阐述了网络稳定性评估的原理算法&#xff0c;并提供了完整的代码。自此对微生物生态网络的评估具有更全面的指标&#xff0c;自此网络稳定性的评估广受大家欢迎。本系列将介绍网络稳定性之鲁棒性…...

编程日记 2025/8/19 7:44:36

线性回归评价标准

In [1]: 12345 import numpy as npfrom sklearn.linear_model import LinearRegressionimport sklearn.datasets as datasets 12 ()diabetesdiabetes $$datasets.load_diabetes In [2]: Out[2]: {‘data’: array([[ 0.03807591,0.05068012,0.06169621,…,-0.00259226, 0.0…...

编程日记 2025/8/19 7:43:58

Qt—鼠标移动事件的趣味小程序：会移动的按钮

1.项目目标 本次根据Qt的鼠标移动事件实现一个趣味小程序&#xff1a;当鼠标移动到按钮时&#xff0c;按钮就会随机出现在置&#xff0c;以至于根本点击不到按钮。​​​​​ 2.项目步骤 首先现在ui界面设计控件(也可以用代码的方式创建&#xff0c;就不多说了) 第一个按钮不需…...

编程日记 2025/8/20 10:22:35

深度解析：2D 写实交互数字人 —— 开启智能交互新时代

在当今数字化浪潮汹涌澎湃的 era&#xff0c;人机交互模式正经历着前所未有的变革与重塑。从最初冷冰冰的机械按键&#xff0c;到如今灵动逼真的数字化形象&#xff0c;交互的内涵不断拓展&#xff0c;已不再局限于信息的单向传递&#xff0c;情感交流、场景融合等多维度需求逐…...

编程日记 2025/8/18 21:14:59

论微服务架构设计及应用

目录 摘要（300~330字） 正文（2000~2500字，2200字为宜） 背景介绍（500字做左右） 论点论据（1500字做左右）...

编程日记 2025/8/18 3:42:47

处理 Clickhouse 内存溢出

一、前情提要 近日&#xff0c;测试服务器配置时&#xff0c;发现当复杂聚合场景的并发度压到20时&#xff0c;会出现clickhouse内存溢出&#xff0c;内存不足报错&#xff0c;如包含Exception: Memory limit (for query)、Exception: Memory limit (total) exceeded等&#xf…...

编程日记 2025/8/19 9:31:38

计算机网络复习资料

前情提要https://blog.csdn.net/Liu_Xin233/article/details/134773846?fromshareblogdetail&sharetypeblogdetail&sharerId134773846&sharereferPC&sharesourceLiu_Xin233&sharefromfrom_link第一章 概述 一、计算机网络在信息时代中的作用&#xff08;…...

编程日记 2025/8/20 5:39:26

数据结构与算法：区间dp

前言 区间dp也是动态规划里很重要的一部分。 一、内容 区间dp的根本原理就是把大范围问题分解成若干小范围的问题去求解。一般来讲，常见的用法有对于两侧端点去展开可能性和对于范围上的划分点去展开可能性。 二、题目 1.让字符串成为回文串的最少插入次数 class Soluti…...

编程日记 2025/8/18 21:50:31

iPaaS制造案例丨某照明行业头部企业借助谷云科技iPaaS步入数字化转型“快车道”

作为国民经济支柱产业&#xff0c;照明灯饰行业历经技术迭代正加速推进数字化转型。从传统照明到智能物联时代&#xff0c;行业领军企业持续探索智能制造升级路径&#xff0c;通过数字化手段重构产业链效率&#xff0c;为产业智能化转型提供标杆示范。 该企业作为国内领先的照明…...

编程日记 2025/8/17 9:24:07

vue3+ts学习！

今天学习一下vue3ts技术&#xff01; vue3有两种创建方式 &#xff08;1&#xff09;vue-cli &#xff08;2&#xff09;vite&#xff08;官方推荐&#xff09; 所以我用vite创建一个项目 直接在官网上面写一个这个&#xff01;cmd执行完后&#xff0c;会让你输入项目名称…...

编程日记 2025/8/18 3:42:36

如何使用 QuickAPI 推动汽车行业数据分享：数据仓库场景下的实践

目录 一、行业痛点&#xff1a;数据孤岛与系统复杂性 二、技术转型&#xff1a;从 Hadoop 到华为 DWS 的数据仓库升级 三、引入 QuickAPI&#xff1a;构建统一的数据服务中台 ✅ QuickAPI 的核心能力 四、落地场景实践 1. 经销商管理数据服务化 2. 汽车维保与销售数据整…...

编程日记 2025/8/17 8:52:26

生命游戏（中等）

思路比较简单&#xff1a;复制一份原始数组&#xff1b;根据复制数组中邻居细胞的状态来更新 board 中的细胞状态。 class Solution {public void gameOfLife(int[][] board) {int[] neighbors{0,1,-1};int rowsboard.length;int colsboard[0].length;int[][] copyboardnew i…...

编程日记 2025/8/20 0:28:03

2025 RSAC｜大语言模型应用风险与厂商攻防新策略

RSA大会全球影响力及2025年LLM热议概览 作为全球规模最大、影响力最深远的网络安全盛会之一&#xff0c;RSA大会每年汇聚数万名业界人士共商安全趋势。在2025 RSAC上&#xff0c;生成式人工智能&#xff08;Generative AI&#xff09;尤其是大型语言模型&#xff08;LLM&#x…...

编程日记 2025/8/17 10:17:36

深入理解 Linux 阻塞IO与Socket数据结构

一、阻塞IO的直观演示 示例代码&#xff1a;最简单的阻塞接收程序 #include <stdio.h> #include <sys/socket.h> #include <netinet/in.h>int main() {// 创建TCP套接字int sockfd socket(AF_INET, SOCK_STREAM, 0);// 绑定地址端口struct sockaddr_in ad…...

编程日记 2025/8/19 3:56:46

大模型系列（三）--- GPT1论文研读

论文链接&#xff1a; GPT1: Improving Language Understanding by Generative Pre-Training 点评&#xff1a; 首次将Transformer的decoder部分引入无监督训练且引入了辅助训练目标。文章证明无监督预训练显著提升判别任务性能‌&#xff0c;其中Transformer架构和长依赖文本数…...

编程日记 2025/8/17 10:24:40