当前位置： 首页 > news >正文

数据库（一）：分布式数据库

news 来源：原创 2025/7/19 9:59:58

定义

分布式数据库（Distributed Database） 是指：

数据分布在多个物理位置，但对用户透明，表现为一个统一逻辑数据库的系统。

结构模式（三层模式扩展）

层次作用对应实体
用户层提供统一视图，屏蔽底层节点分布前端应用、中间件
全局模式系统级逻辑结构定义，数据如何分布与复制分布式数据库中间件，如TiDB、OceanBase
局部模式各个子系统或节点的具体逻辑结构定义每个节点的局部数据库
物理模式各节点的实际数据文件和存储方式存储引擎（如RocksDB、InnoDB）

核心技术与模式分类

数据分片（Sharding）

定义：将数据按某种规则划分到不同节点上。

  • 水平分片（Horizontal Partitioning）：
    • 按行划分，例如按用户ID区间划分；
    • 常见于用户量大时。
  • 垂直分片（Vertical Partitioning）：
    • 按列划分，例如将用户表的基本信息和敏感信息分开放；
    • 常见于字段多、模块职责分离时。
  • 混合分片（Hybrid Partitioning）：
    • 同时按行列进行分片。

常考点：“将用户表按地区分布于不同节点，这是哪种分片？” 答：水平分片

数据复制（Replication）

定义：将同一份数据拷贝存储于多个节点。

  • 主从复制（Master-Slave）
    • 一个主节点写，多从节点读；
    • 优点：读性能高；
    • 缺点：写入瓶颈、主节点故障影响大。
  • 多主复制（Multi-Master）
    • 多个节点可以同时读写；
    • 优点：高可用；
    • 缺点：一致性难以维护。
  • 同步复制 / 异步复制
    • 同步：强一致性，牺牲写性能；
    • 异步：高性能，但存在数据丢失风险。

一致性模型（Consistency Models）

  • 强一致性（Strong Consistency）：
    • 所有节点读取到的都是最新数据；
    • 通常需要 Paxos、Raft 等共识协议支持。
  • 最终一致性（Eventual Consistency）：
    • 系统经过一段时间后达到一致；
    • 常见于高可用系统（如 DNS、Cassandra）。
  • 因果一致性（Causal Consistency）：
    • 保证操作的因果关系顺序；
    • 强于最终一致性，弱于强一致性。

CAP 理论（重点）

元素含义
C一致性（Consistency）
A可用性（Availability）
P分区容忍性（Partition Tolerance）

CAP 不可同时满足三者，只能同时满足其中两项：

  • CP：一致性 + 分区容忍（如 HBase）
  • AP：可用性 + 分区容忍（如 Cassandra）
  • CA：理论上只能用于单机数据库

典型架构模式

模式类型描述示例系统
同构集中式所有节点结构相同、集中部署MySQL 主从集群
同构分布式节点结构相同，分布在不同位置OceanBase、TiDB
异构分布式各节点可能使用不同数据库系统中间件统一封装不同数据库
混合云分布式云 + 本地的混合数据库部署模式云数据库 + 本地缓存

查询处理与优化机制

  • 全局查询优化器：分析跨节点的SQL执行计划；
  • 数据定位服务：确定某个数据在哪个分片或节点；
  • 两阶段提交（2PC）/三阶段提交（3PC）：保障分布式事务一致性；
  • 分布式事务协调器（如 XA / TCC / SAGA）；

相关文章：

数据库（一）：分布式数据库

定义 分布式数据库（Distributed Database） 是指： 数据分布在多个物理位置，但对用户透明，表现为一个统一逻辑数据库的系统。 结构模式（三层模式扩展） 层次作用对应实体用户层提供统一视图&…...

编程日记 2025/7/19 9:59:58

人工智能（AI）与BIM：建筑业创新实践的深度融合

一、BIM在建筑领域的发展现状与挑战 作为建筑数字化的核心技术，BIM通过三维模型集成建筑全生命周期信息，已成为工程设计、施工及运维的标准工作流程。当前，BIM在碰撞检测、施工模拟、成本管控等场景的应用已较为成熟，但行业仍面临…...

编程日记 2025/7/19 9:44:11

FIR数字滤波器设计与实现

低通滤波器的设计与实现 打开Matlab ,运行命令filterDesigner，选择FIR 最小二乘或者其它，设置采样频率，和低通滤波器截止频率。点击设计滤波器，如图1： 点击目标生成.C头文件，滤波器系数如下： …...

编程日记 2025/7/18 11:41:55

软件架构之-论高并发下的可用性技术

论高并发下的可用性技术 摘要正文摘要 ;2023年2月，本人所在集团公司承接了长三角地区某省渔船图纸电子化审查系统项目开发，该项目旨在为长三角地区渔船建造设计院、以及渔船审图机构提供一个便捷化的服务平台。在此项目中，我作为项目组成员参与了项目建设工作，并担任系统架…...

编程日记 2025/7/19 9:51:00

阻塞队列：线程安全与生产者消费者模型解析

一、阻塞队列 阻塞队列就是基于普通队列做出扩展 1.线程安全的 如果针对一个已经满了的队列进行入队列，此时入队列操作就会阻塞，一直阻塞到队列不满（其他线程出队列元素）之后 如果针对一个已经空了的队列进行出队列&#xff0c…...

编程日记 2025/7/19 9:36:06

【时时三省】(C语言基础)用函数实现模块化程序设计

山不在高，有仙则名。水不在深，有龙则灵。 ----CSDN 时时三省 为什么要用函数？ 已经能够编写一些简单的C程序，但是如果程序的功能比较多，规模比较大，把所有的程序代码都写在一个主函数(main函数)中&#x…...

编程日记 2025/7/17 4:31:35

基于CATIA参数化圆锥建模的自动化插件开发实践——NX建模之圆锥体命令的参考与移植（一）

引言​​ 在CATIA二次开发领域，Python因其灵活性和丰富的库支持逐渐成为高效工具开发的首选语言。本文将以笔者开发的​​CATIA锥体自动化建模工具​​为例，参考NX软件中高效锥体创建命令，深度解析基于PySide6 GUI框架与pycatia接口库的集成…...

编程日记 2025/7/19 9:47:01

天才简史——Paolo Fiorini与他的速度障碍法

一、背景 第一次“认识”Paolo Fiorini教授是看了DMP的体积避障论文《Dynamic Movement Primitives: Volumetric Obstacle Avoidance》，而且他的学生Michele Ginesi将相关代码开源了，后来查阅了Paolo Fiorini相关资料才发现他竟然是速度障碍法的作者&am…...

编程日记 2025/7/19 9:39:25

第五天的尝试

目录 一、每日一言 二、练习题 三、效果展示 四、下次题目 五、总结 一、每日一言 毅力是永久的享受。 没有人是一座孤岛，每个人都是这块大陆的一部分。 二、练习题 import numpy as np import matplotlib.pyplot as plt array np.array([1,2,3,4,5]) plt.plot…...

编程日记 2025/7/19 9:48:08

大小端模式和消息的加密解密

大小端模式 知识点一 什么是大小端模式 // 大端模式 // 是指数据的高字节保存在内存的低地址中 // 而数据的低字节保存在内存的高地址中 // 这样的存储模式有点儿类似于把数据当作字符串顺序处理 // 地址由小向大增加，数据从高位往低位放 …...

编程日记 2025/7/19 9:37:10

(1) 查看端口状态

1. lsof 和 netstat 命令的区别 1.1 lsof 概念：只有在 root 的命令下才能执行，否则无内容显示；root 命令下显示完全 lsof -i: 8080 1.2 netstat 普通用户下显示不完全，root 命令下显示完全 netstat -tunlp | grep 8080 1.3…...

编程日记 2025/7/18 8:01:13

【C++]string模拟实现

#pragma once #define _CRT_SECURE_NO_WARNINGS 1 #include<iostream> #include<assert.h> using namespace std; namespace liu {class string{public:using iterator char*;using const_iterator const char*;//string();//无参构造 string(const string&…...

编程日记 2025/7/18 20:15:43

Linux动静态库制作与原理

什么是库 库是写好的现有的&#xff0c;成熟的&#xff0c;可以复用的代码。现实中每个程序都要依赖很多基础的底层库&#xff0c;不可能每个人的代码都从零开始&#xff0c;因此库的存在意义非同寻常。 本质上来说库是一种可执行代码的二进制形式&#xff0c;可以被操作系统…...

编程日记 2025/7/19 9:32:31

ArkUI Tab组件开发深度解析与应用指南

ArkUI Tab组件开发深度解析与应用指南 一、组件架构与核心能力 ArkUI的Tabs组件采用分层设计结构&#xff0c;由TabBar&#xff08;导航栏&#xff09;和TabContent&#xff08;内容区&#xff09;构成&#xff0c;支持底部、顶部、侧边三种导航布局模式。组件具备以下核心特…...

编程日记 2025/7/18 23:45:57

winrar 工具测试 下载 与安装

https://zhuanlan.zhihu.com/p/680852417 https://www.angusj.com/resourcehacker/#download 点击String Table&#xff0c;在展开列表中找到80:2052展开&#xff0c;删除1277行。点击右上方编译按钮&#xff0c;并保存。...

编程日记 2025/7/19 9:28:55

代码随想录算法训练营第四十四天

卡码网题目: 99. 岛屿数量100. 岛屿的最大面积 其他: 今日总结 往期打卡 99. 岛屿数量 跳转: 99. 岛屿数量 学习: 代码随想录公开讲解 问题: 给定一个由 1&#xff08;陆地&#xff09;和 0&#xff08;水&#xff09;组成的矩阵&#xff0c;你需要计算岛屿的数量。岛屿由水…...

编程日记 2025/7/17 5:19:24

每日Prompt：自拍生成摇头娃娃

提示词 将这张照片变成一个摇头娃娃&#xff1a;头部稍微放大&#xff0c;保持面部准确&#xff0c;身体卡通化。[把它放在书架上]。...

编程日记 2025/7/18 10:47:08

制作我的计算器

1. 界面布局 新建项目 MyCalculator&#xff0c;开始布局。 2. 静态布局 代码如下&#xff1a; // etc/pages/Index.ets Entry Component struct Index {build() {Column() {/*** 运算区*/Column() {TextInput({ text: 12x13 }).height(100%).fontSize(32).enabled(false).f…...

编程日记 2025/7/17 1:27:03

如何查看 Ubuntu开机是否需要密码

要查看 Ubuntu 开机是否需要密码&#xff0c;可以通过以下方法进行判断&#xff1a; 1. 检查自动登录设置 图形界面操作&#xff1a; 进入系统设置&#xff08;Settings&#xff09;→ 用户账户&#xff08;User Accounts&#xff09;→ 解锁设置&#xff08;输入当前用户密码…...

编程日记 2025/7/19 9:50:59

今日行情明日机会——20250519

上证指数缩量收十字星&#xff0c;个股涨多跌少&#xff0c;这周反弹的概率比较大。 深证指数缩量调整&#xff0c;临近反弹&#xff0c;个股表现更好。 2025年5月19日涨停股主要行业方向分析 并购重组&#xff08;政策驱动资产整合&#xff09; • 涨停家数&#xff1a;16…...

编程日记 2025/7/18 21:02:36

【CodeBuddy 】从0到1，让网页导航栏变为摸鱼神器

【CodeBuddy 】从0到1&#xff0c;让网页导航栏变为摸鱼神器 我正在参加CodeBuddy「首席试玩官」内容创作大赛&#xff0c;本文所使用的 CodeBuddy 免费下载链接&#xff1a;腾讯云代码助手 CodeBuddy - AI 时代的智能编程伙伴 &#x1f31f;嗨&#xff0c;我是LucianaiB&#…...

编程日记 2025/7/19 9:50:59

PCL点云库点云数据处理入门系列教材目录（2025年5月更新....）

PCL点云库点云数据处理入门系列教材目录 基础阶段 第 1 讲&#xff1a;PCL库简介和安装&#xff08;Win10/11VS2019PCL 1.12.0&#xff09;第 2 讲&#xff1a;PCL库中点云基本知识和数据类型结构第 3 讲&#xff1a;PCL库中点云数据格式PCD和PLY及其输入输出&#xff08;IO&…...

编程日记 2025/7/17 8:01:11

同一颗太阳：Australia、Austria、Arab、Africa、Augustus、August、Aurora、Athena

我们来看一下下面这一堆单词&#xff1a; Australia n.澳大利亚&#xff1b;澳洲 Australian n.澳大利亚人 a.澳大利亚的 Austria n.奥地利 Austrian n.奥地利人 a.奥地利(人)的 Africa n.非洲 African n.非洲人* Arab a.阿拉伯的&#xff1b;阿拉伯人的 n.阿拉伯人(pl.Arabs)…...

编程日记 2025/7/19 9:39:27

用户账号及权限管理：企业安全的基石与艺术

在当今数字化时代，用户账号及权限管理已成为企业IT安全体系中不可或缺的核心组件。它不仅是保护敏感数据的第一道防线，更是确保业务运营效率和合规性的关键。本文将深入探讨用户账号及权限管理的重要性、最佳实践以及实施策略，助您构建一个安全、高效且灵活的访问控制体系。…...

编程日记 2025/7/18 17:51:18

存储系统03——数据缓冲evBuffer

存储系统03——数据缓冲evBuffer 数据缓冲evBuffer分段存储零拷贝线程安全 evbuffer 实例——存储系统事件触发 数据缓冲evBuffer evbuffer 是 Libevent 提供的一个高效内存缓冲区管理工具&#xff0c;用于存储和操作数据。它类似于一个动态增长的字节缓冲区&#xff0c;支持多…...

编程日记 2025/7/19 9:56:40

留给王小川的时间不多了

王小川&#xff0c;这位头顶“天才少年”光环的清华学霸、搜狗输入法创始人、中国互联网初代技术偶像&#xff0c;正迎来人生中最难啃的硬骨头。 他在2023年创立的百川智能&#xff0c;被称为“大模型六小虎”之一。今年4月&#xff0c;王小川在全员信中罕见地反思过去两年工作…...

编程日记 2025/7/19 9:31:14

Python海龟绘图-斗地主

#导入库 import random as r import turtle as t #数据 pk[红心A,红心2,红心3,红心4,红心5,红心6,红心7,红心8, 红心9,红心10,红心J,红心Q,红心K,黑桃A,黑桃2,黑桃3,黑桃4,黑桃5,黑桃6,黑桃7,黑桃8, 黑桃9,黑桃10,黑桃J, 黑桃Q,黑桃K,方块A,方块2,方块3,方块4,方块5,方块6,方块…...

编程日记 2025/7/17 10:09:50

一、内存调优

一、内存调优 什么是内存泄漏 监控Java内存的常用工具 内存泄露的常见场景 内存泄露的解决方案 内存泄露与内存溢出的区别 内存泄露&#xff1a;在Java中如果不再使用一个对象&#xff0c;但是该对象依然在GC ROOT的引用链上&#xff0c;这个对象就不会被垃圾回收器回收&…...

编程日记 2025/7/17 1:27:24

机器学习--特征工程具体案例

一、数据集介绍 sklearn库中的玩具数据集&#xff0c;葡萄酒数据集。在前两次发布的内容《机器学习基础中》有介绍。 1.1葡萄酒列标签名&#xff1a; wine.feature_names 结果&#xff1a; [alcohol, malic_acid, ash, alcalinity_of_ash, magnesium, total_phenols, flavanoi…...

编程日记 2025/7/17 12:33:40

Java-List集合类全面解析

Java-List集合类全面解析 前言一、List接口概述与核心特性1.1 List在集合框架中的位置1.2 List的核心特性1.3 常见实现类对比 二、ArrayList源码剖析与应用场景2.1 内部结构与初始化2.2 动态扩容机制2.3 性能特点与最佳实践 三、LinkedList 源码剖析与应用场景3.1 内部结构与节…...

编程日记 2025/7/19 9:52:08

在Cursor中启用WebStorm/IntelliJ风格快捷键

在Cursor中启用WebStorm/IntelliJ风格快捷键 方法一&#xff1a;使用预置快捷键方案 打开快捷键设置 Windows/Linux: Ctrl K → Ctrl SmacOS: ⌘ K → ⌘ S 搜索预设方案 在搜索框中输入keyboard shortcuts&#xff0c;选择Preferences: Open Keyboard Shortcuts (JSON) …...

编程日记 2025/7/17 5:36:20

32、跨平台咒语—— React Native初探

一、时空晶体架构&#xff08;核心原理&#xff09; 1. 量子组件桥接协议 // 原生组件映射 <View> → iOS UIView / Android ViewGroup <Text> → UILabel / TextView 魔法特性&#xff1a; • JavaScriptCore引擎&#xff1a;通过V8/Hermes引擎执行JS逻辑…...

编程日记 2025/7/1 11:59:07

无源探头衰减比与带宽特性的关联性研究

引言 在电子测量领域&#xff0c;无源探头作为示波器的重要附件&#xff0c;其性能参数直接影响测量结果的准确性。本文将从电路设计原理出发&#xff0c;深入分析衰减比与带宽这两个关键参数的相互关系&#xff0c;帮助工程师正确理解并选择适合的测量探头。 技术原理分析 …...

编程日记 2025/7/1 11:59:06

虚拟机的三个核心类加载器

虚拟机的三个核心类加载器 在Java虚拟机（JVM）中，类加载器（ClassLoader）负责将类的字节码加载到内存中，并生成对应的Class对象。以下是三个核心类加载器的详细说明： 1. 启动类加载器（Bootstrap ClassLoader） 职责： 加载Java核心类库（如java.lang、java.util等），位…...

编程日记 2025/7/1 11:59:04

国家互联网信息办公室关于发布第十一批深度合成服务算法备案信息的公告

wenz 根据《互联网信息服务深度合成管理规定》&#xff0c;现公开发布第十一批境内深度合成服务算法备案信息&#xff0c;具体信息可通过互联网信息服务算法备案系统&#xff08;https://beian.cac.gov.cn&#xff09;进行查询。任何单位或个人如有疑议&#xff0c;请发送邮件…...

编程日记 2025/7/1 11:59:02

深入理解动态规划：从斐波那契数列到最优子结构

引言 动态规划(Dynamic Programming, DP)是算法设计中一种非常重要的思想&#xff0c;广泛应用于解决各类优化问题。许多看似复杂的问题&#xff0c;通过动态规划的视角分析&#xff0c;往往能找到高效的解决方案。本文将系统介绍动态规划的核心概念&#xff0c;通过经典案例展…...

编程日记 2025/7/17 21:17:46

AT 指令详解：基于 MCU 的通信控制实战指南AT 指令详解

在 MCU&#xff08;单片机&#xff09;项目中&#xff0c;我们经常需要与各种通信模组&#xff08;GSM、Wi-Fi、蓝牙等&#xff09;交互。而这类模组通常都通过串口&#xff08;UART&#xff09;与 MCU 通信&#xff0c;控制它们的“语言”就是——AT 指令。 一、什么是 AT 指…...

编程日记 2025/7/16 17:13:41

初学c语言16（内存函数）

1.memcpy 形式&#xff1a; 功能&#xff1a;完成内存块拷贝&#xff08;所以可拷贝任何类型的数据&#xff09; 过程&#xff1a;从source开始拷贝num个字节的数据到destination指向的空间里 返回值&#xff1a;返回目标空间的起始地址 应用&#xff1a; 模拟实现&#xf…...

编程日记 2025/7/1 11:58:57

【git进阶】git rebase（变基）

文章目录 合并分支提交信息修改合并提交记录时间问题1时间问题2时间问题3git rebase有很多用武之地，我一一道来 合并分支 当多人协作同一个分支时，在提交我们自己版本之前，我们会先用git pull获取远端最新的版本。但是 git pull = git fetch + git mergegit merge是一个非…...

编程日记 2025/7/17 11:31:01

Pytorch---view()函数

在PyTorch中&#xff0c;view函数是一个极为重要的张量操作函数&#xff0c;其主要功能是对张量的形状进行重塑&#xff0c;与此同时会尽力维持张量中元素的总数不变。 1. 基本功能与语法 view函数的主要作用是改变张量的维度和大小&#xff0c;不过要保证重塑前后张量的元素…...

编程日记 2025/7/17 1:27:15

AI Agent开发第71课-一个完善的可落地企业AI Agent全架构

开篇 在之前的若干篇章里我们大量叙述了DIFY AI工作流、重排序、提示词重写、文档chunk、AI翻页、各种高级RAG应用以及AI Agent案例甚至全代码的输出。 目的，就是为了帮助大家认识到这么一件事，那就是： 当前AI主要还是在被叫好却不卖座，很多人（包括我身边的太多大厂）去…...

编程日记 2025/7/17 15:41:52

Prompt、Agent、MCP关系

AI基础概念概述 链接: https://www.bilibili.com/video/BV1aeLqzUE6L?t419.4 Agent&#xff08;智能体&#xff09;&#xff1a;智能体是能够执行特定任务的程序或实体&#xff0c;它可以根据环境变化调整自身行为。 MCP&#xff08;多通道协议&#xff09;&#xff1a;MCP是…...

编程日记 2025/7/17 19:59:12

人工智能100问☞第27问：神经网络与贝叶斯网络的关系？

神经网络与贝叶斯网络是两种互补的智能模型：神经网络通过多层非线性变换从数据中学习复杂模式，擅长大规模特征提取和预测，而贝叶斯网络基于概率推理建模变量间的条件依赖关系，擅长处理不确定性和因果推断。两者的融合（如贝叶斯神经网络）结合了深度学习的表征能力与概率建…...

编程日记 2025/7/17 10:39:49

Vue-样式绑定-style

样式绑定-style 对象写法数组写法 对象写法 :style"{fontSize: x}", x是动态值 &#xff08;{fontSize: x}是样式对象&#xff09; 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><title>…...

编程日记 2025/7/18 13:59:39

Python60日基础学习打卡D30

回顾&#xff1a; 导入官方库的三种手段导入自定义库/模块的方式导入库/模块的核心逻辑&#xff1a;找到根目录&#xff08;python解释器的目录和终端的目录不一致&#xff09; # 直接导入 from random import randint print(randint(1, 10)) # 导入自定义库 import module m…...

编程日记 2025/7/17 8:01:14

el-upload图片设置了url不显示问题

引用&#xff1a;可以使用Image组件测试url是否可以用 此时不显示图片&#xff0c;因为打印后提示图片加载失败 此时图片显示 使用的base64的格式。但要注意在生成的base64码前要加上data:image/png;base64的内容才可以赋值给url...

编程日记 2025/7/18 18:56:44

学习黑客PowerShell的历史、架构与工作原理深度解析

PowerShell的历史、架构与工作原理深度解析 &#x1f50d; 作者: 海尔辛 | 发布时间: 2025-05-19 12:28:44 UTC 1. PowerShell的历史演变 &#x1f4dc; &#x1f539; 诞生背景与起源 PowerShell的诞生源于微软解决Windows管理工具碎片化问题的需求。在PowerShell出现之前…...

编程日记 2025/7/17 13:05:24

视觉-和-语言导航的综述：任务、方法和未来方向

22年6月来自UC Santa Cruz、澳大利亚的阿德莱德大学和 USC 的论文“Vision-and-Language Navigation: A Survey of Tasks, Methods, and Future Directions”。 人工智能研究的一个长期目标是构建能够用自然语言与人类交流、感知环境并执行现实世界任务的智体。视觉与语言导航…...

编程日记 2025/7/1 11:58:40

JUC入门（四）

ReadWriteLock 代码示例&#xff1a; package com.yw.rw;import java.util.HashMap; import java.util.Map; import java.util.concurrent.locks.ReentrantReadWriteLock;public class ReadWriteDemo {public static void main(String[] args) {MyCache myCache new MyCache…...

编程日记 2025/7/17 15:59:46

day 21 常见降维算法

一、无监督降维 定义&#xff1a;这类算法在降维过程中不使用任何关于数据样本的标签信息&#xff08;比如类别标签、目标值等&#xff09;。它们仅仅根据数据点本身的分布、方差、相关性、局部结构等特性来寻找低维表示。 输入&#xff1a;只有特征矩阵 X。 目标&#xff1a…...

编程日记 2025/7/18 23:13:31