【分布式架构理论2】分布式架构要处理的问题及解决方案
文章目录
- 1. 应用服务拆分
- 2. 分布式调用
- 3. 分布式协同
- 4. 分布式计算
- 5. 分布式存储
- 6. 分布式资源管理与调度
- 7. 高性能与可用性优化
- 8. 指标与监控
将分布式架构需要解决的问题按照顺序列举为如下几步
问题分类 | 具体内容 |
---|---|
应用服务拆分 | 分布式是用分散的服务和资源代替集中的服务和资源,所以先根据业务进行应用服务拆分。 |
分布式调用、协同与计算 | - 由于服务分布在不同的服务器和网络节点上,所以要解决分布式调用的问题。 - 服务能够互相感知和调用以后,需要共同完成一些任务,因此需要解决分布式协同问题。 - 在协同工作时,会遇到大规模计算的情况,需要考虑使用多种分布式计算的算法来应对。 |
分布式存储、资源管理与调度 | - 任何服务的成果都需要保存下来,这就要考虑存储问题。和服务一样,存储的分布式也可以提高存储的性能和可用性,因此需要考虑分布式存储的问题。 - 所有的服务与存储都可以看作资源,因此需要考虑分布式资源管理和调度。 |
服务的高性能与高可用、与监控 | - 设计分布式架构的目的是实现高性能和可用性。为了达到这个目的,一起来看看高性能与可用性的最佳实践,例如缓存的应用、请求限流、服务降级等。 - 系统上线以后需要对性能指标进行有效的监控才能保证系统稳定运行,此时指标与监控就是我们需要关注的问题。 |
1. 应用服务拆分
分布式架构的第一步是应用服务的拆分。合理的拆分方式能够确保系统的高可用性和可扩展性,而拆分过细或过粗都会带来额外的复杂度。为此,领域驱动设计(DDD)提供了一种有效的方法,它通过领域建模、限界上下文划分等方式,确保服务的高内聚、低耦合。
2. 分布式调用
针对调用的问题,在不同架构层面有不同的处理方式:
- 在用户请求经过互联网进入应用服务器之前,需要通过负载均衡和反向代理;
- 在内网的应用服务器之间需要 API 网关调用;ing
- 服务与服务之间可以通过服务注册中心、消息队列、远程调用等方式互相调用。
可以将分布式调用总结为两部分,第一部分是感知对方,包括负载均衡、API 网关、服务注册与发现、消息队列;第二部分是信息传递,包括 RPC、RMI、NIO 通信。
常见的分布式调用方式包括:
- 负载均衡:如 Nginx、F5,确保请求均匀分配到不同的服务实例。
- API 网关:如Spring Cloud Gateway,用于统一管理和路由 API 请求。
- 服务注册与发现:如 Eureka、Consul,动态管理服务实例。
- 远程调用:采用 RPC、RMI、消息队列等方式,实现跨服务通信。
3. 分布式协同
多个分布式服务在处理同一业务时,需要协调工作,避免数据不一致和资源竞争。解决方案包括:
- 分布式锁:如 Redis 锁、ZooKeeper 实现的互斥锁,确保临界资源的独占性。
- 分布式事务:包括 2PC(两阶段提交)、TCC(Try-Confirm-Cancel)等事务控制机制。
- 分布式选举:如 Bully 算法、Raft 算法,实现主从数据库切换等场景的选主机制。
4. 分布式计算
在大数据和高计算需求场景下,分布式计算提供了高效的处理能力。主要计算模式包括:
- MapReduce:适用于批量静态数据计算,常见框架有 Hadoop。
- Stream 计算:适用于实时数据流计算,常见工具有 Apache Storm、Flink。
5. 分布式存储
分布式存储涉及数据的持久化与管理,需要考虑存储均衡、故障恢复和扩展性。主要技术方案包括:
- 分布式数据库:MySQL 分库分表、主从复制等。
- 分布式缓存:如 Redis Cluster,实现缓存分片,提高访问性能。
- 分布式文件存储:如 HDFS、Ceph,适用于大规模数据存储。
6. 分布式资源管理与调度
操作系统的进程调度和分布式系统的资源调度在处理并发计算任务时,都是为了解决有限的资源(如 CPU、内存、存储等)如何合理分配给多个任务的问题。
-
操作系统的进程调度:在单核 CPU 的情况下,操作系统通过调度算法(如时间片轮转)在多个进程之间快速切换,使得它们看起来几乎是同时执行的。进程调度属于微观调度,它关注的是如何在有限的 CPU 时间片内高效管理和调度进程。
-
多核 CPU 和并发处理:随着技术发展,单核 CPU 的瓶颈被突破,进入了多核 CPU 的时代。多核 CPU 通过在不同的核心上并行执行任务来提高性能,操作系统的调度算法需要适应这种硬件的变化,合理分配任务到不同的核心上。
-
分布式系统的资源调度:为了进一步扩展计算能力,分布式系统通过水平扩展,将资源分配到多个服务器和网络节点上。这些节点拥有独立的 CPU、内存、硬盘等资源,任务需要跨多个节点进行调度和协调。分布式系统调度更加复杂,需要考虑节点之间的通信、负载均衡、容错性等因素。
综上,操作系统和分布式系统的调度虽然在不同层次和范围上进行,但核心目标一致:如何在有限的资源下,最有效地处理并发计算任务,提高系统整体性能。
资源管理和调度决定了系统的计算效率。常见调度架构包括:
- 中心化调度:由单个调度中心统一管理资源。
- 两级调度:资源管理层与任务调度层分离,提高调度灵活性。
- 共享状态调度:如 Kubernetes 共享任务状态,实现高效调度。
7. 高性能与可用性优化
提升分布式系统性能的关键在于缓存和高可用策略。
- 缓存优化:使用 HTTP 缓存、CDN、分布式缓存等方式加快数据访问。
- 可用性策略:采用限流(Rate Limiting)、熔断(Circuit Breaker)、降级(Fallback)等方式,提高系统稳定性。
8. 指标与监控
判断一个架构是好是坏时,有两个参考标准,即性能指标和可用性指标,分布式架构也是如此。性能指标又分为吞吐量、响应时间和完成时间。由于系统的分布性,服务会分布到不同的服务器和网络节点,因此监控程序需要在不同的服务器和网络节点上对服务进行监控。
监控系统确保分布式架构的稳定运行,主要包括:
- 性能指标:如吞吐量、响应时间、错误率、系统负载。
- 监控系统:Zabbix、Prometheus、ELK(Elasticsearch + Logstash + Kibana),用于收集和分析系统状态。
相关文章:
【分布式架构理论2】分布式架构要处理的问题及解决方案
文章目录 1. 应用服务拆分2. 分布式调用3. 分布式协同4. 分布式计算5. 分布式存储6. 分布式资源管理与调度7. 高性能与可用性优化8. 指标与监控 将分布式架构需要解决的问题按照顺序列举为如下几步 问题分类具体内容应用服务拆分分布式是用分散的服务和资源代替集中的服务和资…...
WPS计算机二级•幻灯片的输出、打印与分享
听说这是目录哦 打印界面讲解⭐所有页面 一键添加公司LOGO🌟将多张幻灯片 打印在一张纸🌠将PPT内容 以讲义形式打印出来☄️打印 黑白色的幻灯片🪐协作编辑模式🌈将PPT输出为图片💖能量站😚 打印界面讲解⭐…...
Java数据结构与算法之“树”
目录 一、什么是树 编辑 二、树的相关组成 1. 常用名词 2.需要了解的名词 三、树的分类 (一)初级树 1.普通树 2.二叉树 (二)中级树 1.哈夫曼树HuffmanTree 2.二叉搜索树BST 3.平衡二叉树AVL (三&#x…...
嵌入式八股文面试题(一)C语言部分
1. 变量/函数的声明和定义的区别? (1)变量 定义不仅告知编译器变量的类型和名字,还会分配内存空间。 int x 10; // 定义并初始化x int x; //同样是定义 声明只是告诉编译器变量的名字和类型,但并不为它分配内存空间…...
FPGA的IP核接口引脚含义-快解
疑问 手册繁琐,怎样快速了解IP核各输入输出接口引脚的含义。 答疑 不慌不慌,手册确实比较详细但繁琐,如何快速知晓该部分信息,涛tao道长给你们说,简单得很,一般新入门的道友有所不知,往往后面…...
Web3技术详解
Web3技术代表着互联网技术的最新进展,它致力于打造一个去中心化的互联网生态系统。以下是对Web3技术的详细解析: 一、Web3技术的核心概念 Web3是第三代互联网技术的代名词,代表着去中心化、区块链驱动和用户自有控制的理念。在Web3的世界中…...
计算机网络之物理层通信基础(电路交换、报文交换与分组交换)
一、电路交换 工作原理: 电路交换是在数据传输期间,源结点与目的结点之间建立一条由中间结点构成的专用物理连接线路,并在数据传输结束之前保持这条线路。整个报文的比特流连续地从源点直达终点,好像在一个管道中传送。 特点&am…...
Linux firewalld开启日志审计功能(2)
在Firewalld防火墙中启用和配置logdenied选项,记录被拒绝的数据包(等同于开启日志功能) 效果展示: 1.开启日志记录功能 firewall-cmd --set-log-deniedunicast #重新加载生效配置 firewall-cmd --reload 2.配置rsyslog捕获日志…...
线程池如何知道一个线程的任务已经执行完成
一、线程池内部任务执行状态监控 在线程池内部,当我们提交一个任务后,线程池会调度一个工作线程来执行该任务的run方法。确实,当run方法正常结束时,意味着任务已经完成。线程池中的工作线程是同步调用任务的run方法,并…...
09网络深入连贯篇(D1_彻底理解长连接 短连接(一))
目录 讲解一:长连接 & 短连接 一、初次见证长连接和短连接 1. 长连接 2. 短连接 二、如何区分当前连接是长连接还是短连接? 三、如何查询长连接和短连接? 四、那么长连接与短连接操作过程又是如何呢? 五、各自优缺点 …...
ElasticSearch学习笔记-解析JSON格式的内容
如果需要屏蔽其他项目对Elasticsearch的直接访问操作,统一由一个入口访问操作Elasticsearch,可以考虑直接传入JSON格式语句解析执行。 相关依赖包 <properties><elasticsearch.version>7.9.3</elasticsearch.version><elasticsea…...
网络计算机的五个组成部分
单个计算机是无法进行通信的。所以需要借助网络。 下面介绍一些在网络里常见的设备。 一、服务器 服务器是在网络环境中提供计算能力并运行软件应用程序的特定IT设备 它在网络中为其他客户机(如个人计算机、智能手机、ATM机等终端设备)提供计算或者应用…...
责任链模式(Chain Responsibility)
一、定义:属于行为型设计模式,包含传递的数据、创建处理的抽象和实现、创建链条、将数据传递给顶端节点; 二、UML图 三、实现 1、需要传递处理的数据类 import java.util.Date;/*** 需要处理的数据信息*/ public class RequestData {priva…...
在游戏本(6G显存)上本地部署Deepseek,运行一个14B大语言模型,并使用API访问
在游戏本6G显存上本地部署Deepseek,运行一个14B大语言模型,并使用API访问 环境说明环境准备下载lmstudio运行lmstudio 下载模型从huggingface.co下载模型 配置模型加载模型测试模型API启动API服务代码测试 deepseek在大语言模型上的进步确实不错…...
web-JSON Web Token-CTFHub
前言 在众多的CTF平台当中,作者认为CTFHub对于初学者来说,是入门平台的不二之选。CTFHub通过自己独特的技能树模块,可以帮助初学者来快速入门。具体请看官方介绍:CTFHub。 作者更新了CTFHub系列,希望小伙伴们多多支持…...
CTF-web: fs.readFileSync特殊利用
URL类 URL 类是 JavaScript 的内置类(或对象),它用于处理和解析 URL(统一资源定位符)。URL 是 Web API 的一部分,广泛应用于浏览器环境和 Node.js 中。 特性 构造函数: URL 类的构造函数可以接受一个 URL…...
深入探索 C++17 特征变量模板 (xxx_v)
文章目录 一、C++类型特征的前世今生二、C++17特征变量模板闪亮登场三、常见特征变量模板的实际应用(一)基本类型判断(二)指针与引用判断四、在模板元编程中的关键作用五、总结与展望在C++的持续演进中,C++17带来了许多令人眼前一亮的特性,其中特征变量模板(xxx_v)以其…...
时间序列分析(一)——基础概念篇
一、时间序列的相关概念 定义:时间序列是按时间顺序排列的一系列观测值,通常以固定间隔(如秒、天、年)记录。而时间序列分析是一种研究按时间顺序排列的数据点的统计方法,发现趋势、季节性波动、周期性和异常等模式&a…...
贪心与单调栈的艺术:从三道 LeetCode 题看最小字典序问题(316/402/1081)
前言 欢迎来到我的算法探索博客,在这里,我将通过解析精选的LeetCode题目,与您分享深刻的解题思路、多元化的解决方案以及宝贵的实战经验,旨在帮助每一位读者提升编程技能,领略算法之美。 👉更多高频有趣Lee…...
rabbitMQ消息转换器
消息转换器 Spring的消息发送代码接收的消息体是一个Object: 而在数据传输时,它会把你发送的消息序列化为字节发送给MQ,接收消息的时候,还会把字节反序列化为Java对象。 只不过,默认情况下Spring采用的序列化方式是J…...
力扣-字符串-541 反转字符串Ⅱ
思路 和《反转字符串》的代码类似,只是每次处理2k个 代码 class Solution { public:string reverseStr(string s, int k) {int length s.length();int reverse 0;while(reverse < length){int left, right;if(reverse k < length){left reverse, right…...
CSS(三)less一篇搞定
目录 一、less 1.1什么是less 1.2Less编译 1.3变量 1.4混合 1.5嵌套 1.6运算 1.7函数 1.8作用域 1.9注释与导入 一、less 1.1什么是less 我们写了这么久的CSS,里面有很多重复代码,包括通配颜色值、容器大小。那我们能否通过js声明变量来解决这些问题&…...
GT 接口时钟
每个 GT 接口需要几个时钟,包括一些共享时钟,这些时钟在位于一个或多个 GT quad 中的绑定 GT*_CHANNEL 单元之间共享。 UltraScale 器件提供高达 128 个 GT*_CHANNEL site 位置,这可能导致在设计中使用几百个时钟。大多数 GT 时钟具…...
算法日记13:SC41树状数组(区间修改)
一、题目: 二、题解: 在单点修改中,我们用t[i]来维护原数组2.1:在区间修改中,我们将维护原数组的差分数组 接下来,让我们来回顾一些差分的性质 此时,假设我们需要求 a 1 a 2 a 3 a 4 a1a2a3a4 a1a2a3a…...
【STM32】串口原理
单片机有自己的RX(接收端),TX(发送端),有的需要再共同接一个底线,为了保证有相同的参考电势,数据如果是高电平的话,发送过去也是高电平 1.轮询方式 CPU需要时刻注意发送…...
libdrm移植到arm设备
一、环境资源要求 下载libdrm Index of /libdrm 这边使用的是2.4.114版本,版本太高对meson版本要求也很高,为了省事用apt安装meson就不用太高版本了,1.x版本虽然使用makefile编译方便但是太老,对应用支持不太好。 https://dri…...
【PyTorch】解决Boolean value of Tensor with more than one value is ambiguous报错
理解并避免 PyTorch 中的 “Boolean value of Tensor with more than one value is ambiguous” 错误 在深度学习和数据科学领域,PyTorch 是一个强大的工具,它允许我们以直观和灵活的方式处理张量(Tensor)。然而,即使…...
CS 与 BS 架构的差异
在数字化的今天,选择软件架构模式对系统的性能、维护、安全和成本都有很大影响。BS架构和CS架构是最常见的两种模式,了解它们的区别和特点对开发人员和企业决策者都很重要。 CS架构最早出现,当时用户直接从主机获取数据。随着客户端和服务端…...
一款由 .NET 官方团队开源的电子商务系统 - eShop
项目介绍 eShop是一款由.NET官方开源的,基于.NET Aspire构建的用于参考学习的服务架构电子商务系统,旨在展示如何利用.NET框架及其相关技术栈构建一个现代化的电子商务网站。该项目采用服务架构,将应用程序分解为多个独立的服务,…...
项目顺利交付,几个关键阶段
年前离放假还有10天的时候,来了一个应急项目, 需要在放假前一天完成一个演示版本的项目,过年期间给甲方领导看。 本想的最后几天摸摸鱼,这么一来,非但摸鱼不了,还得加班。 还在虽然累,但也是…...
springboot简单应用
快速开发Springboot项目实现简单的增删改查,前期需要准备:idea与postman安装 Maven,MySQL(8),JDK(21) 目录 前言 springboot 使用3.0版本,JDK使用21,MySQL使用8版本 开发环境IDEA使用2024版本 …...
lock 和 synchronized 区别
一、功能 Lock和Synchronized都是Java中用来解决线程安全问题的工具,它们能够确保多个线程在访问共享资源时的正确性和一致性。 二、特性 基本定义与实现: Synchronized是Java中的一个同步关键字,由JVM实现。Lock是Java中的一个接口&#x…...
inquirer介绍及配合lerna在Vue中使用示例
目录 安装基本用法使用多个提示框动态选择(动态选项)表单式输入配合lerna在Vue中使用示例 Inquirer 是一个用于创建交互式命令行工具的 Node.js 库,常用于收集用户输入。它提供了多种类型的提示框,可以用于创建交互式应用程序&…...
System类
作用:有标准输入、标准输出和错误输出流,对外部定义的属性和环境变量的访问,加载文件和库的方法,还有快速复制数组的一部分的实用方法 java.lang.Object继承者 java.lang.System字段摘要 主要常用的是方法 构造方法摘要 Syste…...
MySQL时间类型相关总结(DATETIME, TIMESTAMP, DATE, TIME, YEAR)
MySQL时间类型相关总结(DATETIME, TIMESTAMP, DATE, TIME, YEAR) MySQL官方文档: https://dev.mysql.com/doc/refman/8.0/en/date-and-time-types.html 一. 对比: 在 MySQL 中,处理时间相关的数据类型主要有以下几种:DATE、TIME、…...
为什么会有函数调用参数带标签的写法?Swift函数调用的参数传递需要加前缀是否是冗余?函数调用?函数参数?
为什么会有函数调用参数带标签的写法? ObjC函数参数形式与众不同,实参前会加前缀,尤其参数很多的情况,可读性很强。例如: [person setAge: 29 setSex:1 setClass: 35]; 这种参数前面加前缀描述也被叫标签(Label). 注意࿰…...
Macos安装APOC拓展库
文章目录 说明错误提示原因分析解决方法 说明 Macos安装APOC核心库 错误提示 There is no procedure with the name apoc.generate.ba registered for this database instance. Please ensure youve spelled the procedure name correctly and that the procedure is prope…...
用NeuralProphet预测股价:AI金融新利器(附源码)
作者:老余捞鱼 原创不易,转载请标明出处及原作者。 写在前面的话:我用NeuralProphet模型预测了股票价格,发现其通过结合时间序列分析和神经网络算法,确实能提供比传统Last Value方法更精准的预测。经过一系列超参数调优…...
go-zero学习笔记(三)
利用goctl生成rpc服务 编写proto文件 // 声明 proto 使用的语法版本 syntax "proto3";// proto 包名 package demoRpc;// golang 包名(可选) option go_package "./demo";// 如需为 .proto 文件添加注释,请使用 C/C 样式的 // 和 /* ... */…...
【ABB阀门定位器EDP300如何进行自整定】
ABB阀门定位器EDP300如何进行自整定 自整定前准备 检查安装与连接 确保阀门和定位器安装正确,机械连接牢固,无卡阻或松动。 确认气源压力符合要求(通常为1.4~7 bar),气路无泄漏。 确保4~20mA输入信号稳定且接线正确。…...
Day48_20250130【回校继续打卡】_单调栈part1_739.每日温度|496.下一个更大元素I|503.下一个更大元素II
Day48_20250130_单调栈part1_739.每日温度|496.下一个更大元素I|503.下一个更大元素II 20250130补完 739.每日温度 题目 给定一个整数数组 temperatures ,表示每天的温度,返回一个数组 answer ,其中 answer[i] 是指对于第 i 天࿰…...
使用 Let‘s Encrypt 和 OpenResty 实现域名转发与 SSL 配置
在搭建网站或服务时,确保域名的安全性和正确的流量转发是非常重要的。本文将介绍如何使用 Let’s Encrypt 获取免费的 SSL 证书,并将其配置到 OpenResty 中,同时实现特定的域名转发规则。这不仅可以提升网站的安全性,还能优化流量…...
Spring Boot启动内嵌tocmat原理
要研究Spring Boot启动内嵌tomcat的原理,就需要先了解一下Spring Boot自动配置的过程,首先简要的梳理一下springboot自动配置的步骤。 一、SpringBoot自动配置 当SpringBoot应用启动时,EnableAutoConfiguration注解被激活,该注解…...
【系统架构设计师】分布式数据库透明性
目录 1. 说明2. 分片透明3. 复制透明4. 位置透明5. 逻辑透明(局部数据模型透明)6.例题6.1 例题1 1. 说明 1.在分布式数据库系统中,分片透明、复制透明、位置透明和逻辑透明是几个重要的基本概念。2.分片透明、复制透明、位置透明和逻辑透明是…...
MySQL三大日志——binlog、redoLog、undoLog详解
日志是mysql数据库的重要组成部分,记录着数据库运行期间各种状态信息,能帮助我们进行很多容错及分析工作,其中有三大日志与我们这些开发者息息相关,本文将介绍binlog、redoLog、undoLog三种日志: 1. redoLog 1.1 为什么…...
ES6 对象扩展:对象简写,对象属性 表达式,扩展运算符 ...,Object.assign,Object.is,用法和应用场景
1. 对象属性简写 1.1 基本语法 // 传统写法 const name John; const age 25; const user {name: name,age: age };// ES6 简写语法 const user {name,age };1.2 实际应用场景 // 1. 函数返回对象 function createUser(name, age, email) {return {name,age,email}; }// …...
Markdown 博客写作图片自动上传到 CSDN 与博客园
背景 目前大部分的博客都是基于 Typora 软件编写,其中的图片都是本地相对路径,以前都手动逐个复制图片上传到 CSDN,但这个过程很繁琐,故想着使用自动上传图片。 目前有以下特点可利用: dotnet-cnblog 工具可自动把本…...
大模型—Dify本地化部署实战
Dify本地化部署实战 系统要求 安装 Dify 之前, 请确保你的机器已满足最低安装要求: CPU >= 2 CoreRAM >= 4 GiB本地部署 开始前先简单介绍下部署Dify需要用到的组件,稍微有点多,但放心,有Docker你怕啥? 关系数据库:postgres缓存:Redis向量数据库:支持weaviate…...
Java抽象类和接口的区别
一、抽象类 当一个类中没有包含足够的信息以描绘一个具体的对象时,这样的类就是抽象类;“抽象类”是用关键字 abstract 修饰的,抽象类中有一种特殊方法,即用abstract 关键字来修饰的方法,这些方法被称为“抽象方法” …...
基于YUV的色相调节(二)
文章目录 量纲范围归一化归一化因子: U m , V m U_m, V_m Um,Vm归一化因子: U m a x , V m a x U_{max}, V_{max} Umax,Vmax 接上一篇:基于YUV的色相调节(一) 量纲范围归一化 正常情况下UV的量纲范围不一样&…...