12 分布式事务
分布式事务产生的原因
我们拿mysql数据库来说,当数据库为单体数据库的时候,我们打开事务,执行sql为预执行阶段,最后commit时通过日志控制最终全部提交后存储到磁盘中,如果commit失败,可以通过日志控制回滚回来,但是当我们的数据库实例为多个的时候,不同的数据源,我们的日志已经无法控制落入磁盘的数据正常的回滚。当我们分库的时候旧无法通过传统的方式控制事务的正常运转,这个时候就产生了分布式事务的问题。
分布式事务出现的场景
电商平台下单的场景:当我们的库存信息和生成的订单信息通过垂直拆分不在一个库的时候涉及到分布式事务的问题
电商平台的支付业务:买家和卖家的数据库不在同一个库里面,当买家支付金额扣减和卖家收款金额的增加涉及到分布式事务问题
分布式事务一致性的强弱
分布式事务在不同的业务场景有不同的处理方案。一般分为强一致性、弱一致性,最终一致性的场景。
强一致性要求当一个库的数据更新后,任何时刻任何节点的数据库实例在读取操作能够获取最新的值。这种一致性保证了数据的准确性和可靠性,但是是以消耗系统的延迟和性能作为代价。强一致性需要写入操作等待所有节点确认才能返回成功。
弱一致性允许部分数据库实例更新数据后,其他节点的数据在读取操作不一定是最新的值。这种一致性在牺牲数据的不确定性和不一致性,保证了系统整体的性能和可用性
最终一致性通过一些补偿和重试机制,或者是人工干预的情况下保证数据最终一致,在一段时间内可能会有读取不同节点数据库数据不一致的情况出现
常见的分布式事务解决方案
1. 两阶段提交 2PC
两阶段提交属于强一致性事务。计算机相关的技术是逻辑的体现,我们不要硬搬技术实现,需要看实际的业务场景选择对应的技术
我们假设一个场景: 我们组织一次旅游,每个人都选择了不同的旅游地点,因此而争论不休。这个时候我们需要一个调停者的出现,调停者根据大家的诉求选择了几个备选的旅游地点,如果大家都统一则下发通知到某一个地点去旅游,如果有一方不同意则取消并重新选择。这就是我们两阶段提交的逻辑雏形
2PC分为准备阶段和提交阶段
准备阶段:
事务的管理者协调事务的参与者,询问是否能够执行分布式事务的操作,各个事务的参与者在收到管理者消息时,锁定相关的资源,并应答管理着已经准备好了可以提交。
提交阶段:
事务的管理者在收到所有参与者都可以提交的消息时,下达提交事务的指令,事务的参与者提交事务。如果有参与者返回不能提交事务则下达回滚的指令。
两阶段提交的优点:强一致性,适用于对数据的一致性要求非常高的场景
缺点:性能差,存在单点问题,可能导致资源锁定的问题。
2. 三阶段提交 3PC
前面讲到的两阶段提交的缺点时讲到存在单点问题(管理着服务挂掉,或者是网络问题导致下发的提交或回滚的指令未执行),如果出现单点问题,那么分布式事务的参与者锁定的资源长时间得不到释放。
所以我们在两阶段提交加入了预提交和超时提交的阶段
三阶段提交:
cancommit阶段:事务管理者询问各节点是否可以执行事务,参与者检查自己的环境并告知管理着是否能够参与事务,但并不锁定资源
precommit阶段:如果参与者应答可以参与事务,管理着则下达预提交指令,这个时候分布式事务的各个参与者将执行事务操作把undo和redo日志写入日志中,但并不提交事务,而是告知管理着都准备好了的消息。
docommit阶段:所有参与者提交准备好了的消息后,管理者发送提交事务消息。正式提交事务。如果因为网络问题或其他原因参与者未收到消息在等待一段时间后提交事务
三阶段提交在两阶段提交基础上增加了cancomit阶段,减少部分参与者不能参与事务的资源锁定问题。
三阶段提交通过分散协调者的角色和责任,减少单点故障的问题,适用于网络环境比较差的场景。但是增加了各个节点的逻辑复杂性。
3. 本地消息表
在同一个事务中把业务数据写入本地消息的存储,然后通过消息或者通过定时任务确保消息的可靠传递,以达到最终一致的效果。‘
本地消息表实现起来简单,稳定。但引入了额外的存储开销。
4. 最大努力通过
最大努力通知适用弱一致性的业务场景。例如:电商平台下单后,邮件通知用户下单成功。
在用户下单成功后,发送消息并记录发送状态。
如果发送失败,定时重新尝试。
业务方接收到消息时,需要做幂等操作。
该方案实现简单,适用于对一致性要求不高的场景。无法保证强一致性,存在消息延迟的情况
5. rocketmq的消息事务
rocketmq通过prepare消息和回查机制实现分布式事务
大体流程如下:
系统业务方发送半事务消息:系统业务方在执行本地事务之前,先向消息队列发送一条半事务消息(表示本地事务未完成)
broker存储半事务消息:broker收到半事务消息以后,将其存储,并向业务方返回结果
系统业务方执行本地事务:业务方执行本地事务
业务方提交事务状态:业务方在执行完本地事务以后会把事务状态(提交或回滚)的确认消息给broker
broker会查本地事务:如果broker在设定的时间内(延时消息)未收到事务确认状态,会回查业务方的事务状态
业务方处理回查请求:回应broker的回查请求
broker处理回查结果:broker根据业务方的事务状态决定是提交或回滚事务消息,并将处理后的消息更新到实际的消息队列中,供消费者消费消息
rocketmq通过2PC+事后的补偿机制确保消息的一致性,避免因网络故障造成事务的不一致性。
我们看看2PC、3PC、和rocketmq的事务消息都是在解决异常情况出现的逻辑不严密的问题,也是生活中也会遇到的场景。形成一个严谨的逻辑体系,不管是开发还是架构设计最后都是逻辑,也就是我开篇提到的一个系统的逻辑体系的建立。
rocketmq的事务消息性能好,易于扩展,但是需要依赖mq服务,增加了业务的复杂性。
6. TCC(try-confirm-cancel)
TCC通过显示编程的方式,将分布式事务拆解为三个步骤
try:资源预留 confirm:正式提交 cancel:回滚操作
具体的实现:
利用阿里的seata TCC模块实现,开发时需要编写try、confirm、cancel方法。
优点:灵活性高,适用于高性能的场景 缺点:开发成本高,需要自己处理幂等和一致性
7. 状态机
使用状态机管理事务的生命周期。包括事务的初始、处理中、完成、失败等
状态变更通过事件触发。结合redis、数据库、zookeeper实现分布式的状态管理
实现步骤:
首先定义状态机模型
再实现事件触发的逻辑
监控状态的流转
优点:扩展性强,适合复杂业务
缺点:实现复杂、调试和测试复杂
相关文章:
12 分布式事务
分布式事务产生的原因 我们拿mysql数据库来说,当数据库为单体数据库的时候,我们打开事务,执行sql为预执行阶段,最后commit时通过日志控制最终全部提交后存储到磁盘中,如果commit失败,可以通过日志控制回滚…...
移远通信多模卫星通信模组BG95-S5获得Skylo网络认证,进一步拓展全球卫星物联网市场
近日,全球领先的物联网整体解决方案供应商移远通信正式宣布,其支持“卫星蜂窝”多模式的高集成度NTN卫星通信模组BG95-S5已成功获得NTN网络运营商Skylo的网络认证。BG95-S5也成为了获得该认证的最新款移远卫星通信模组。 BG95-S5模组顺利获得Skylo认证&a…...
51.WPF应用加图标指南 C#例子 WPF例子
完整步骤: 先使用文心一言生成一个图标如左边使用Windows图片编辑器编辑,去除背景使用正方形,放大图片使图标铺满图片使用格式工程转换为ico格式,分辨率为最大 在资源管理器中右键项目添加ico类型图片到项目里图片属性设置为始终…...
OpenEuler学习笔记(三):为什么要搞OpenEuler?
为什么要搞OpenEuler? 技术自主可控需求 在信息技术领域,操作系统是关键的基础软件。过去,很多关键技术被国外厂商掌控,存在技术“卡脖子”的风险。OpenEuler的出现可以为国内提供一个自主可控的操作系统选择。例如,在…...
Apache Hive--排序函数解析
在大数据处理与分析中,Apache Hive是一个至关重要的数据仓库工具。其丰富的函数库为数据处理提供了诸多便利,排序函数便是其中一类非常实用的工具。通过排序函数,我们能够在查询结果集中为每一行数据分配一个排名值,这对于数据分析…...
LLMs之Dataset:中文互联网基础语料2.0的简介、下载和使用方法、案例应用之详细攻略
LLMs之Dataset:中文互联网基础语料2.0的简介、下载和使用方法、案例应用之详细攻略 目录 中文互联网基础语料2.0的简介 1、特点 中文互联网基础语料2.0的下载和使用方法 中文互联网基础语料2.0的案例应用 中文互联网基础语料2.0的简介 2025年1月发布࿰…...
深入剖析iOS网络优化策略,提升App性能
一、引言 在当今移动互联网时代,iOS 应用的网络性能直接关系到用户体验。无论是加载速度缓慢、频繁的网络错误,还是高额的流量消耗,都可能导致用户流失。因此,iOS 网络优化成为开发者提升应用质量、增强用户满意度的关键环节。本文…...
unity2022以上导出到AndroidStudio后更新步骤
1、unity里面Export出unityLibrary 2、导出apk,里面才包含libil2cpp(新版unity无法直接导出libil2cpp 3、注释AS项目app下的build.gradle里面包含unityLibrary的代码 4、注释AS项目settings.gradle包含unityLibrary的代码 5、删除AS项目里面的unityLibrary文件夹 6、…...
03JavaWeb——Ajax-Vue-Element(项目实战)
1 Ajax 1.1 Ajax介绍 1.1.1 Ajax概述 我们前端页面中的数据,如下图所示的表格中的学生信息,应该来自于后台,那么我们的后台和前端是互不影响的2个程序,那么我们前端应该如何从后台获取数据呢?因为是2个程序…...
表单中在不设置required的情况下在label前加*必填标识
参考:https://blog.csdn.net/qq_55798464/article/details/136233718 需求:在发票类型前面添加*必填标识 我最开始直接给发票类型这个表单类型添加了验证规则required:true,问题来了,这个发票类型它是有默认值的,所以我点击保存…...
Mac 使用 GVM 管理多版本 Go 环境
使用 GVM 管理多版本 Go 环境 在本文中,我们将使用 gvm(Go Version Manager)工具管理本地多个 Go 语言版本。gvm 功能类似于 Python 的 Anaconda,可以方便地切换不同版本的 Go 环境,非常适合需要多版本开发与测试的场…...
3DsMax设置中文界面
按键盘上的“Win”键,直接输入3dsmax,选择Simplified Chinese打开,之后就都是中文了...
【PyCharm】连接 Git
【PyCharm】相关链接 【PyCharm】连接 Git【PyCharm】连接Jupyter Notebook【PyCharm】快捷键使用【PyCharm】远程连接Linux服务器【PyCharm】设置为中文界面 要在 PyCharm 中连接 Git,确保您的开发环境已经安装了 Git,并且 PyCharm 能够访问它。 以下…...
使用Python和PIL裁剪图片以适应屏幕宽高比
在本教程中,我们将介绍如何使用Python和PIL(Python Imaging Library)库来裁剪图片,使其适应特定的屏幕宽高比。我们将详细解释代码的每个部分,并展示如何根据不同的裁剪模式来调整图片。 1. 安装PIL库 首先ÿ…...
Django简介与虚拟环境安装Django
目录 1.Django简介 1.1 Django 的核心特点 1.2 Django 的核心组件 1.3 Django 的应用场景 1.4 总结 2.基础环境建立 2.1 创建虚拟环境 2.1.1 使用 virtualenv 创建虚拟环境 2.1.2 使用 venv 创建虚拟环境 2.2 激活虚拟环境 2.2.1 在 Windows 上 2.2.2 在 macOS 或 …...
python实现pdf转word和excel
一、引言 在办公中,我们经常遇收到pdf文件格式,因为pdf格式文件不易修改,当我们需要编辑这些pdf文件时,经常需要开通会员或收费功能才能使用编辑功能。今天,我要和大家分享的,是如何使用python编程实现…...
Ubuntu 24.04 LTS 更改软件源
Ubuntu 24.04 LTS 修改软件源...
从CRUD到高级功能:EF Core在.NET Core中全面应用(三)
目录 IQueryable使用 原生SQL使用 实体状态跟踪 全局查询筛选器 并发控制使用 IQueryable使用 在EFCore中IQueryable是一个接口用于表示可查询的集合,它继承自IEnumerable但具有一些关键的区别,使得它在处理数据库查询时非常有用,普通集…...
浅谈云计算22 | Kubernetes容器编排引擎
Kubernetes容器编排引擎 一、Kubernetes管理对象1.1 Kubernetes组件和架构1.2 主要管理对象类型 二、Kubernetes 服务2.1 服务的作用与原理2.2 服务类型 三、Kubernetes网络管理3.1 网络模型与目标3.2 网络组件3.2.1 kube-proxy3.2.2 网络插件 3.3 网络通信流程 四、Kubernetes…...
C 语言的void*到底是什么?
一、void* 的类型任意性 void* 是一种通用指针类型。它可以指向任意类型的数据。例如,它可以指向一个整数(int)、一个浮点数(float)、一个字符(char)或者一个结构体等。在C语言中,当…...
前端【3】--CSS布局,CSS实现横向布局,盒子模型
盒子分类 1、块级盒子 2、内联级盒子 3、内联块级盒子 4、弹性盒子 5、盒子内部分区 方法一:使用 float 普通盒子实现横向布局 方法二:使用 display: inline-block 内联块级元素实现横向布局 方法三:使用弹性盒子 flexbox࿰…...
JavaEE
一.web开发概述 1.服务器 解释1:服务器是一款软件,可以向其他发送请求,服务器会做出一个响应。可以在服务器中部署文件,让其他人访问。 解释2:也可以把运行服务器软件的计算机称为服务器 2.安装服务器 Tomcat官方…...
C语言之文本加密程序设计
🌟 嗨,我是LucianaiB! 🌍 总有人间一两风,填我十万八千梦。 🚀 路漫漫其修远兮,吾将上下而求索。 文本加密程序设计 摘要:本文设计了一种文本加密程序,旨在提高信息安…...
Spring-Data-Redis连接模式
Redis可以在各种设置中操作。每个操作模式都需要特定的配置,这些配置将在以下部分中进行解释。 一、Redis 单机模式 最简单的入门方法是将Redis Standalone与单个Redis服务器一起使用, 配置LettuceConnectionFactory或JedisConnectionFactor࿰…...
详细介绍下linux内核的高端地址
在32位系统中,内核空间通常占据1GB,用户空间占3GB,这主要是基于历史原因、内存管理需求和系统安全性考虑。 历史原因:早期的UNIX系统就采用了将内核空间和用户空间分离的设计,在32位系统设计时,延续了这种…...
ThinkPhp项目解决静态资源请求的跨域问题的解决思路
背景:我在前端使用vue语言开发的,请求的后端是用ThinkPhp项目开发的。我vue项目里的请求php接口,自带header参数的跨域问题通过网上查询到的server端配置方法已经解决了。我使用的 是中间件的配置方法: <?php//admin 项目 配…...
通过图形界面展现基于本地知识库构建RAG应用
1. 客户需求 快速完成概念验证(PoC)通过图形界面快速完成演示本地私有数据对比不同模型和成本,决定如何部署 2. 阿里云基于本地知识库构建RAG应用 参考方案: 百炼本地知识库方案 解决方案: FastAPI Gradio Llamaindex qwen-plus 主要三大…...
GCPAAS/DashBoard:完全免费的仪表盘设计,基于Vue+ElementUI+G2Plot+Echarts,开源代码,简单易用!还在等什么呢
嗨,大家好,我是小华同学,关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法 GCPAAS/DashBoard,一款基于SpringBoot、MyBatisPlus、ElementUI、G2Plot、Echarts等技术栈的仪表盘设计器,具备仪表盘目录管理…...
深度学习笔记——循环神经网络RNN
大家好,这里是好评笔记,公主号:Goodnote,专栏文章私信限时Free。本文详细介绍面试过程中可能遇到的循环神经网络RNN知识点。 文章目录 文本特征提取的方法1. 基础方法1.1 词袋模型(Bag of Words, BOW)工作原…...
【Linux系统编程】—— 深度解析进程等待与终止:系统高效运行的关键
文章目录 进程创建再次认识fork()函数fork()函数返回值 写时拷贝fork常规⽤法以及调用失败的原因 进程终⽌进程终止对应的三种情况进程常⻅退出⽅法_exit函数exit函数return退出 进程等待进程等待的必要性进程等待的⽅法 进程创建 再次认识fork()函数 fork函数初识࿱…...
EPSANet2021笔记
来源: EPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network 相关工作: #注意力机制 #多尺度特征表示 创新点: 贡献: 建立了长距离通道依赖关系有效获取利用不同尺度特征图的空间信息 问…...
CTTSHOW-WEB入门-信息搜集11-20
web11 1. 题目: 2. 解题步骤及思路:本题的flag已经给出,主要考点是考察域名的查询,通过查询有时候也可以得到一些有用的信息。 3. 相关知识点:查询域名可以使用nslookup命令使用方法如下:(windo…...
2025年1月19日(理论力学动静法)
动静法(Dynamic-Static Method)是理论力学中常用的一种分析方法,用来求解多自由度系统的平衡问题,尤其适用于静力学分析和动力学分析之间的转化。动静法通过引入虚拟的动力学效应,将静力学问题转化为一个动力学问题&am…...
iOS 性能优化:实战案例分享
摘要: 本文将深入探讨 iOS 性能优化的重要性,并通过一系列实际开发案例,展示如何解决常见的性能问题,包括内存管理、CPU 性能、网络性能、UI 性能和启动性能等方面的优化,帮助 iOS 开发者打造更流畅、高效的应用程序。…...
基于本地消息表实现分布式事务
假设我们有一个电商系统,包含订单服务和库存服务。当用户下单时,需要在订单服务中创建订单,同时在库存服务中扣减库存。这是一个典型的分布式事务场景,我们需要保证这两个操作要么都成功,要么都失败,以保证数据的最终一致性。 项目结构: 订单服务(Order Service)库存服务(Inv…...
select函数
系统调用 select()可用于执行 I/O 多路复用操作,调用 select()会一直阻塞,直到某一个或多个文件描述符成为就绪态(可以读或写)。其函数原型如下所示: #include <sys/select.h> int select(int nfds, fd_set *re…...
自然语言处理——自注意力机制
一、文字表示方法 在自然语言处理中,如何用数据表示文字是基础问题。独热编码(One-hot Encoding )是一种简单的方法,例如对于 “我”“你”“他”“猫”“狗” 等字,会将其编码为如 “我 [1 0 0 0 0 ……]”“你 [0 …...
C语言初阶--函数
目录 1. 函数是什么? 2. C语言中函数的分类 2.1 库函数 2.2 自定义函数 3. 函数的参数 3.1 实际参数(实参) 3.2 形式参数(形参) 4. 函数调用 4.1 传值调用 4.2 传址调用 练习:写一个函数判断一个…...
探索基于机器学习的信用评分:从数据到洞察
友友们好! 我的新专栏《Python进阶》正式启动啦!这是一个专为那些渴望提升Python技能的朋友们量身打造的专栏,无论你是已经有一定基础的开发者,还是希望深入挖掘Python潜力的爱好者,这里都将是你不可错过的宝藏。 在这个专栏中,你将会找到: ● 深入解析:每一篇文章都将…...
Ubuntu 24.04 LTS 通过 docker desktop 安装 seafile 搭建个人网盘
准备 Ubuntu 24.04 LTSUbuntu 空闲硬盘挂载Ubuntu 安装 Docker Desktop [我的Ubuntu服务器折腾集](https://blog.csdn.net/jh1513/article/details/145222679。 安装 seafile 参考资料 Docker安装 Seafile OnlyOffice 并配置OnlyOffice到Seafile,实现在线编辑…...
【Golang 面试题】每日 3 题(三十六)
✍个人博客:Pandaconda-CSDN博客 📣专栏地址:http://t.csdnimg.cn/UWz06 📚专栏简介:在这个专栏中,我将会分享 Golang 面试中常见的面试题给大家~ ❤️如果有收获的话,欢迎点赞👍收藏…...
Linux虚拟机安装与FinalShell使用:探索Linux世界的便捷之旅
文章目录 软件准备安装 VMware 虚拟机下载CentOS 光盘镜像文件选择适合的 CentOS 版本选择合适的镜像文件 本教程工具版本 第一部分:安装 Linux 虚拟机1. 启动 VMware 并创建新虚拟机2. 默认硬件兼容性设置3. 安装操作系统的设置4. 选择操作系统类型与版本5. 为虚拟…...
leetcode19-删除链表的第n结点
leetcode 19 思路 要删除倒数第n个元素,那么就要找到倒数第n1个元素,那么我们需要两个指针来记录,首先快指针需要先走n1步,然后快慢指针一起进行移动,直到快指针为null的时候,此时慢指针恰好走到倒数第n…...
多学科视角下探索开源Github、Git初步学习
Think 1.Github 作为现今最主流的代码托管平台、协作平台甚至是“社交平台”,本身是闭源的。一方面,它是和大多数开发者连接最紧密的开源阵地,另一方面,拥有传统“黑客精神”的人认为将用户身份绑定这样一个闭源平台上恰恰与…...
新星杯-ESP32智能硬件开发--ESP32的I/O组成-系统中断矩阵
本博文内容导读📕🎉🔥 ESP32开发板的中断矩阵、功能描述与实现、相关API和示例程序进行介绍 ESP32中断矩阵将任一外部中断源单独分配到每个CPU的任一外部中断上,提供了强大的灵活性,能适应不同的应用需求。 ESP32中断主…...
Android 右键后无Java class创建
Android studio 创建java class : 最近几个月用Android studio 开发,因为电脑设置了一个新的用户使用,原来的android studio,打开之前的正常的项目总是报一些奇奇怪怪的错误,就重新安装了最新的版本 问题描述 但是新的android s…...
leetcode-买卖股票问题
309. 买卖股票的最佳时机含冷冻期 - 力扣(LeetCode) 动态规划解题思路: 1、暴力递归(难点如何定义递归函数) 2、记忆化搜索-傻缓存法(根据暴力递归可变参数确定缓存数组维度) 3、严格表结构依…...
如何通过 Apache Airflow 将数据导入 Elasticsearch
作者:来自 Elastic Andre Luiz 了解如何通过 Apache Airflow 将数据导入 Elasticsearch。 Apache Airflow Apache Airflow 是一个旨在创建、安排(schedule)和监控工作流的平台。它用于编排 ETL(Extract-Transform-Load࿰…...
LDPC (Low-Density Parity-Check) 码min_sum、n_0、block_length 和 rate参数
1. min_sum 1; min_sum 是与 最小和解码算法(Min-Sum Decoding Algorithm)相关的参数。最小和解码算法是 LDPC 码的一种常用解码方法,主要通过传递信号的信息在接收端进行解码。此参数表示最小和算法中的缩放因子。 在 LDPC 解码过程中&am…...
基于javaweb的SpringBoot景区旅游管理系统设计和实现(源码+文档+部署讲解)
个人名片 🔥 源码获取 | 毕设定制| 商务合作:《个人名片》 ⛺️心若有所向往,何惧道阻且长 文章目录 个人名片运行环境技术栈适用功能说明使用说明 运行环境 Java≥8、MySQL≥5.7 1.运行环境:最好是java jdk 1.8,我们在这个平台…...