当前位置：首页 > news >正文

对于RocksDB和LSM Tree的一些理解

news 来源：原创 2025/5/22 12:59:19

LSM Tree的读写过程

HBase、LevelDB，rocksDB（是一个引擎）底层的数据结构是LSM Tree
适合写多读少的场景，都是追加写入内存中的MemTable，写入一条删除（或修改）标记，而不用去访问实际的数据，从而大大提高写的速度
追加顺序写（innodb的页是随机的）
sst和memTable有序是为了compact，范围查询，key 的有序性可以让我们对sst其进行增量编码、indexblock的页目录

写操作

MemTable：是一个内存缓冲区，跳表实现，数据有序，append操作到这个内存，默认大小64M，期间有预写操作，每次刷盘都会在 L0 层上产生一个新的 SST 文件（rocksDB中默认L0上有四个SST，超过就compact）
![[Pasted image 20250125221824.png]]

SST： 默认 SST 文件大小：64MB，其中有多个block（4k）存数据，有布隆过滤器和indexBlock，类比innodb中的页目录
![[Pasted image 20250125223209.png]]

因为sst中会有许多操作不同，但是key相同的数据，为了避免空间放大和读放大（读多个sst），有compact操作，就是某一层的sst数量超过阈值，和下一层有相同key范围的sst进行归并排序，通过 K 路归并算法逐步合并多个 SST 文件

读操作

以下是查找步骤：

检索 MemTable。
检索不可变 MemTables。
搜索最近 flush 过的 L0 层中的所有 SST 文件。
对于 L1 层及以下层级，首先找到可能包含该 key 的单个 SST 文件，然后在文件内进行搜索。

块索引在 SSTable 文件被打开时加载到内存。在查找时首先从内存中的索引二分查找找到块，然后一次磁盘寻道即可读取到相应的块。只加载索引，再找block

搜索 SST 文件涉及：
（可选）探测布隆过滤器。
查找 index 来找到可能包含这个 key 的 block 所在位置。
读取 block 文件并尝试在其中找到 key。

目前的实现

newSQL和NoSQL和传统sql

1. 前两个的出现
1. 都是为了解决传统sql的单机限制，如容量和自动恢复和分布式事务，如mycat中间件只能解决分片和容量，解决不了自动恢复，分布式事务还要引入seata
2. mysql支持的是异步和半同步复制，宕机的时候部分数据不一致
3. 刷盘上面，分为，mysql（传统）用的是B+树结构，即刷的是对应的页（磁盘的页和内存的页的格式相同），还有就是tidb是kv的追加------其实这么总结实际上是因为只了解innodb和rocksDB（这个只是区别，不是解决的问题）

2. new和no的区别：
nosql如mongoDB
NewSQL仍然采用关系型数据模型，如TiDB完全适配Mysql，在下层会把表结构转化为kv结构，即表格和数据行的模型。这意味着数据结构必须遵循预定义的表格模式和关系。而NoSQL则采用了不同的数据模型，如键值对、文档、列族和图形等。NoSQL的数据模型更加灵活，适应了不同类型和结构的数据存储需求。

NewSQL对数据一致性要求更高（但是实际上MongoDB后续也支持分布式事务），追求强一致性（ACID特性）。这意味着在数据写入与读取过程中，数据一定会达到一致的状态。然而，NoSQL对一致性要求相对较低，更注重可用性和性能，可能会出现数据在不同节点间的延迟和冲突。

TiDB架构（newSQL）

![[Pasted image 20250125113215.png]]

Raft如何参与TiDB的分布式存储

![[Pasted image 20250125113412.png]]

TiDB 的数据在 TiKV 中是按照 **Key 的范围（Range）划分的。每个 Region 负责存储连续的一段 Key，大小96MB
每一个region集群都是一个raft group，即有主节点提供写和写入时大部分节点的确认，选举也是发生在一个region集群里
为了避免脑裂，region的个数一般是奇数，能保证总有一个区能选出leader，另一个区无效，否则偶数的话，正好平分，就两个区都不可用
不同的leader在不同的节点，这样能负载写入的压力

参考：

https://cloud.tencent.com/developer/article/2329992 一文科普 RocksDB 工作原理

https://cloud.tencent.com/developer/article/2180532 LSM-tree 日志结构合并树详解

https://www.infoq.cn/news/how-to-build-a-distributed-database TiDB作者文章

https://zhuanlan.zhihu.com/p/491638316 理解raft文章

https://book.tidb.io/session4/chapter4/two-dc-raft.html 细节如何划分raft的数量

对于RocksDB和LSM Tree的一些理解

LSM Tree的读写过程 HBase、LevelDB，rocksDB（是一个引擎）底层的数据结构是LSM Tree适合写多读少的场景，都是追加写入内存中的MemTable，写入一条删除（或修改）标记，而不用去访问实际的…...

编程日记 2025/5/22 12:59:19

Pyecharts之特殊图表的独特展示

在数据可视化的世界里，除了常见的柱状图、折线图、饼图等，还有一些特殊的图表可以为我们带来独特的展示效果，帮助我们以更有趣、更直观的方式呈现数据。Pyecharts 为我们提供了多种特殊图表的绘制功能，本文将介绍象形图、水球图和…...

编程日记 2025/5/17 20:48:33

【Uniapp-Vue3】动态设置页面导航条的样式

1. 动态修改导航条标题 uni.setNavigationBarTitle({ title:"标题名称" }) 点击修改以后顶部导航栏的标题会从“主页”变为“动态标题” 2. 动态修改导航条颜色 uni.setNavigationBarColor({ backgroundColor:"颜色" }) 3. 动态添加导航加载动画 // 添加加…...

编程日记 2025/5/22 12:40:29

图像处理算法研究的程序框架

目录 1 程序框架简介 2 C#图像读取、显示、保存模块 3 C动态库图像算法模块 4 C#调用C动态库 5 演示Demo 5.1 开发环境 5.2 功能介绍 5.3 下载地址参考 1 程序框架简介一个图像处理算法研究的常用程序逻辑框架，如下图所示在该框架中，将图像处…...

编程日记 2025/5/20 19:56:12

c语言操作符（详细讲解）

目录前言一、算术操作符一元操作符： 二元操作符： 二、赋值操作符代码例子： 三、比较操作符相等与不相等比较操作符： 大于和小于比较操作符： 大于等于和小于等于比较操作符： 四、逻辑操作符逻辑与&…...

编程日记 2025/5/22 12:28:54

神经网络|(四)概率论基础知识-古典概型

【1】引言前序学习了线性回归的基础知识，了解到最小二乘法可以做线性回归分析，但为何最小二乘法如此准确，这需要从概率论的角度给出依据。因此从本文起，需要花一段时间来回顾概率论的基础知识。【2】古典概型古典概型是我…...

编程日记 2025/5/21 21:56:32

省市区三级联动

引言在网页中，经常会遇到需要用户选择地区的场景，如注册表单、地址填写等。为了提供更好的用户体验，我们可以实现一个三级联动的地区选择器，让用户依次选择省份、城市和地区。效果展示： 只有先选择省份后才可以选择…...

编程日记 2025/5/17 22:38:15

阿里云服务器部署windows随手笔记(Vue+SpringBoot)

服务器管理创建管理实例阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台注意：需要开放端口： 点击实例ID/名称——安全组——安全组列表——管理规则—— 安全组详情——入方向——手动添加端口号（例如目的8080&…...

编程日记 2025/5/16 10:43:09

79，【3】BUUCTF WEB [GXYCTF2019]BabysqliV3.0

进入靶场现在做多了其他类型，老喜欢这个页面了，老朋友admin password 老规矩，桌面有啥就传啥第一次点击上传什么都不显示点了两次就有下面开头的那段话了他在最后还偷偷骂了一句确实连不上再回顾一下题目 buuctf打不开了只能看别人…...

编程日记 2025/5/22 12:51:34

【问题】Chrome安装不受支持的扩展解决方案

此扩展程序已停用，因为它已不再受支持 Chromium 建议您移除它。详细了解受支持的扩展程序此扩展程序已停用，因为它已不再受支持详情移除解决 1. 解压扩展 2.打开manifest.json 3.修改版本将 manifest_version 改为3及以上 {"manifest_ver…...

编程日记 2025/5/11 18:22:11

【AI日记】25.01.25

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】【读书与思考】 AI kaggle 比赛：Forecasting Sticker Sales 读书书名：法治的细节律己 AI：8 小时，良作息：00:30-8:30， 良短视频&…...

编程日记 2025/5/18 1:16:18

C语言程序设计：算法程序的灵魂

文章目录 C语言程序设计：算法程序的灵魂算法数据结构程序数据结构算法数值运算算法非数值运算算法简单的算法举例【例2.1】求12345【例2.2】有50个学生，要求输出成绩在80分以上的学生的学号和成绩简单的算法举例【例2.3】判定2000—2500年中的每一年是…...

编程日记 2025/5/22 12:51:35

jupyter配置说明

使用以下命令修改jupyter的配置文件参数： vim /root/.jupyter/jupyter_lab_config.py #这里填写远程访问的IP名，填*则默认是主机IP名 c.ServerApp.ip * # 这里的密码填写上面生成的密钥 c.ServerApp.password ************************************…...

编程日记 2025/5/13 23:35:24

医学图像分割 sliver07_肝脏数据集处理

医学图像分割 sliver07_肝脏数据集处理先简单介绍一下sliver07 数据集 Sliver07 数据集 Sliver07 (Segmentation of the Liver Competition 2007) 是由 MICCAI（医学图像计算与计算机辅助干预学会）组织的经典医学图像分割数据集，主要用于肝…...

编程日记 2025/5/17 13:26:59

1.25寒假作业

web：[UUCTF 2022 新生赛]ez_rce 打开环境，先理解代码，注重代码审计的能力定义以get传参的方式传参code函数，所以后面我们肯定要以’code...‘的方式去实现操作，后面禁用了一系列的字符，包括执行函数和一些…...

编程日记 2025/5/19 18:35:30

gorm中关于事务的一些东西

对于赶时间friends,可以只看每个问题的前几点，不用看后面的代码示例！！！ 一. tx : db.Begin()开启事务后，怎么结束或者是关闭事务，是通过tx.Rollback()还是tx.Commit()？ 在 GORM 中&#xff0c…...

编程日记 2025/5/22 12:43:13

【Flask】在Flask应用中使用Flask-Limiter进行简单CC攻击防御

前提条件已经有一个Flask应用。已经安装了Flask和redis服务。步骤1：安装Redis和Flask-Limiter 首先，需要安装redis和Flask-Limiter库。推荐在生产环境中使用Redis存储限流信息。 pip install redis Flask-Limiter Flask-Limiter会通过redis存储限…...

编程日记 2025/5/20 1:17:10

竞赛算法总结

滑动窗口 1. 数据规模通常是10的5次方 2. 通常用于与字串相关的问题 3. 通常与哈希表配合查看当前元素的状态蓝桥_15. 挑选子串-CSDN博客蓝桥_全部都有的子序列-CSDN博客 ai总结：滑动窗口算法虽然很强大，但它的解题思路和实现上也有一些关键点可以注意。以下是一…...

编程日记 2025/5/18 14:47:44

记交叉编译asio_dtls过程

虽然编译成功了，但是还是有一些不妥的地方，参考一下就行了。比如库的版本选择就有待商榷，我这里不是按照项目作者的要求严格用对应的版本编译的，这里也可以注意一下。编译依赖库asio 下载地址, 更正一下，我其实用…...

编程日记 2025/5/19 19:24:59

【PyCharm】将包含多个参数的 shell 脚本配置到执行文件来调试 Python 程序

要配置 PyCharm 以使用包含多个参数的 shell 脚本（如 run.sh）来调试 Python 程序，您可以按照以下步骤操作： 创建一个新的运行/调试配置： 在 PyCharm 中，点击“运行”菜单旁边的齿轮图标，选择“…...

编程日记 2025/5/22 12:47:18

PID如何调试，如何配置P,I,D值，如何适配pwm的定时器配置，如何给小车配电源

首先你要搞清楚PID公式原理 PID算法解析PID算法解析_pid滤波算法-CSDN博客然后你要明白调试原理首先要确定一个电源电源决定了你后面调试时电机转动速度大小和pwm占空比的关系，电源电压越大那要转到同一速度所需的占空比越小，反之电源电压越小那要…...

编程日记 2025/5/21 15:02:01

微服务学习-Nacos 注册中心实战

1. 注册中心的设计思路 1.1. 微服务为什么会用到注册中心？ 服务与服务之间调用需要有服务发现功能；例如订单服务调用库存服务，库存服务如果有多个，订单服务到底调用那个库存服务呢（负载均衡器）&#xff0…...

编程日记 2025/5/22 3:33:36

音频 PCM 格式 - raw data

文章目录 raw 音频格式：PCM其他音频格式：mp31. 无损压缩音频（类比 PNG 图像）2. 有损压缩音频（类比 JPEG 图像） 试了一下科大讯飞的音频识别云 api，踩了点坑与本文无关：讯飞的 api 使…...

编程日记 2025/5/22 12:35:01

什么是波士顿矩阵，怎么制作？AI工具一键生成战略分析图！

当今商业环境瞬息万变，每个企业都面临着越来越多的挑战与机遇。如何科学合理地进行战略管理，成为了每个企业决策者必须直面的重要课题。在众多战略管理框架中，波士顿矩阵作为一种经典的战略管理工具，因其简洁明了的分析方式而广…...

编程日记 2025/5/16 6:47:18

基于微信小程序的助农扶贫系统设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：…...

编程日记 2025/5/21 0:01:39

Maui学习笔记-SignalR简单介绍

SignalR是ASP.NET Core中的一个库,支持服务器与其连接的客服端之间的双象通信,它允许服务器立即将更新的消息推送到客服端,而不是要求客户端轮询服务器来获取更新创建项目使用SignalR在服务器实时发送消息给客服端,客服端拿到消息后在UI页面更新首先创建一个Web API项目 …...

编程日记 2025/5/19 7:10:09

【学习笔记】深度学习网络-深度前馈网络（MLP）

作者选择了由 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 三位大佬撰写的《Deep Learning》(人工智能领域的经典教程，深度学习领域研究生必读教材),开始深度学习领域学习，深入全面的理解深度学习的理论知识。在之前的文章中介绍了深度学习中用…...

编程日记 2025/5/19 3:47:17

C#，入门教程(05)——Visual Studio 2022源程序（源代码）自动排版的功能动画图示

上一篇： C#，入门教程(04)——Visual Studio 2022 数据编程实例：随机数与组合https://blog.csdn.net/beijinghorn/article/details/123533838https://blog.csdn.net/beijinghorn/article/details/123533838 新来的徒弟们交上来的C#代码&#…...

编程日记 2025/5/21 8:32:54

每日进步一点点（网安）

1.1 level5 查看源码关键部分 $str strtolower($_GET["keyword"]); $str2str_replace("<script","<scr_ipt",$str); $str3str_replace("on","o_n",$str2);<input namekeyword value".$str3.">关键…...

编程日记 2025/5/18 8:32:01

代理模式 - 代理模式的应用

引言代理模式（Proxy Pattern）是一种结构型设计模式，它允许你提供一个代理对象来控制对另一个对象的访问。代理对象通常会在客户端和目标对象之间起到中介的作用，从而可以在不改变目标对象的情况下，增加额外的功能或控…...

编程日记 2025/5/17 21:04:19

机器学习-线性回归（对于f(x；w)=w^Tx+b理解）

一、𝑓(𝒙;𝒘) 𝒘T𝒙的推导学习线性回归，我们那先要对于线性回归的表达公示，有所认识。我们先假设空间是一组参数化的线性函数： 其中权重向量𝒘 ∈ R𝐷 …...

编程日记 2025/5/18 23:38:11

【Salesforce】审批流程，代理登录 tips

审批流程权限审批流程权限问题解决方案代理登录代理登录后Logout 审批流程权限前几天，使用审批流程，但是是两个sandbox，同样的配置，我有管理员权限。但是profile不是管理员，只是通过具备管理员权限的permission set…...

编程日记 2025/5/6 14:50:00

第20篇：Python 开发进阶：使用Django进行Web开发详解

第20篇：使用Django进行Web开发内容简介在上一篇文章中，我们深入探讨了Flask框架的高级功能，并通过构建一个博客系统展示了其实际应用。本篇文章将转向Django，另一个功能强大且广泛使用的Python Web框架。我们将介绍Django的核…...

编程日记 2025/5/21 22:49:42

Elastic Agent 对 Kafka 的新输出：数据收集和流式传输的无限可能性

作者：来 Elastic Valerio Arvizzigno, Geetha Anne 及 Jeremy Hogan 介绍 Elastic Agent 的新功能：原生输出到 Kafka。借助这一最新功能，Elastic 用户现在可以轻松地将数据路由到 Kafka 集群，从而实现数据流和处理中无与伦比的可扩…...

编程日记 2025/5/21 16:21:44

IPoIB（IP over InfiniBand）数据接收与发送机制详解

IPoIB（IP over InfiniBand）是一种在InfiniBand网络上实现IP协议的技术，它允许在InfiniBand网络上传输IP数据包。IPoIB通过将IP数据包封装在InfiniBand的数据包中，实现了在InfiniBand网络上的高效通信。本文将详细分析IPoIB如何接收…...

编程日记 2025/5/17 16:52:10

快速更改WampServer根目录php脚本

快速更改WampServer根目录php脚本 <?php // 配置文件地址 $apacheConfPath C:\Install\CTF\Wampserver\bin\apache\apache2.4.62.1\conf\httpd.conf; $apacheConfPath2 C:\Install\CTF\Wampserver\bin\apache\apache2.4.62.1\conf\extra\httpd-vhosts.conf; // 新根目录…...

编程日记 2025/5/20 6:47:32

C#，入门教程(08)——基本数据类型及使用的基础知识

上一篇： C#，入门教程(07)——软件项目的源文件与目录结构https://blog.csdn.net/beijinghorn/article/details/124139947 数据类型用于指定数据体（DataEntity，包括但不限于类或结构体的属性、变量、常量、函数返回值）…...

编程日记 2025/5/13 6:42:01

【自定义函数】编码-查询-匹配

目录自定义编码匹配编码匹配改进 sheet来源汇总来源汇总改进 END 自定义编码匹配在wps vb环境写一个新的excel函数名为编码匹配，第一个参数指定待匹配文本所在单元格（相对引用），第二个参数指定关键词区域（绝对引用&…...

编程日记 2025/5/4 3:45:59

docker-制作镜像gcc添加jdk运行java程序

最近的项目需要使用java调用c的链接库，.OS文件，一开始准备在jdk的镜像下去安装c的环境，不过安装的内容很多，比较复杂也容易缺很多的包，经过实验，我们决定使用gcc的镜像安装jdk来正确的运行java程序。基础镜…...

编程日记 2025/5/19 3:18:51

工业相机 SDK 二次开发-Sherlock插件

本文介绍了 sherlock 连接相机时的插件使用。通过本套插件可连接海康的工业相机。一．环境配置 1. 拷贝动态库在用户安装 MVS 目录下按照如下路径 Development\ThirdPartyPlatformAdapter 找到目录为 DalsaSherlock 的文件夹，根据 Sherlock 版本找到…...

编程日记 2025/5/21 1:56:47

智慧消防营区一体化安全管控 2024 年度深度剖析与展望

在 2024 年，智慧消防营区一体化安全管控领域取得了令人瞩目的进展，成为保障营区安全稳定运行的关键力量。这一年，行业在政策驱动、技术创新应用、实践成果及合作交流等方面呈现出多元且深刻的发展态势，同时也面临着一系列亟待解决…...

编程日记 2025/5/16 10:37:54

On to OpenGL and 3D computer graphics

2. On to OpenGL and 3D computer graphics 声明：该代码来自：Computer Graphics Through OpenGL From Theory to Experiments，仅用作学习参考 2.1 First Program Square.cpp完整代码 /// // square.cpp // // OpenGL program to draw a squ…...

编程日记 2025/5/19 21:56:54

python实现http文件服务器访问下载

//1.py import http.server import socketserver import os import threading import sys# 获取当前脚本所在的目录 DIRECTORY os.path.dirname(os.path.abspath(__file__))# 设置服务器的端口 PORT 8000# 自定义Handler，将根目录设置为脚本所在目录 class MyHTT…...

编程日记 2025/5/20 0:00:06

Redis高阶5-布隆过滤器

Redis布隆过滤器由一个初始值都为零的bit数组和多个哈希函数构成，用来快速判断集合中是否存在某个元素目的减少内存占用方式不保存数据信息，只是在内存中做一个是否存在的标记flag 布隆过滤器（英语：Bloom Filter&#xff0…...

编程日记 2025/5/19 11:30:50

Hive关于数据库的语法,warehouse,metastore

关于数据库的语法在default数据库下,查看其他数据库的表 in 打开控制台字体大小的设置 Hive默认的库: default, 1/4说明一共有4个库,现在只展示了1个,单击>>所有架构数据库的删除方法一: 语法删除有表的数据库,加cascade 方法二当前连接的数据库切换当前数据库…...

编程日记 2025/5/21 5:11:25

Kafka 深入服务端 — 时间轮

Kafka中存在大量的延迟操作，比如延时生产、延时拉取和延时删除等。Kafka基于时间轮概念自定义实现了一个用于延时功能的定时器，来完成这些延迟操作。 1 时间轮 Kafka没有使用基于JDK自带的Timer或DelayQueue来实现延迟功能，因为它们的插入和…...

编程日记 2025/5/18 17:18:48

ubuntu系统docker环境搭建

ubuntu系统docker环境搭建 docker引擎安装高版本docker引擎安装时已经自带有docker compose 安装参考docker官网Install Docker Engine on Ubuntu 方式一： 在线安装参考apt方式安装 1、Set up Docker’s apt repository. # Add Dockers official GPG key: …...

编程日记 2025/5/18 14:31:24

安宝特方案 | AR在供应链管理中的应用：提升效率与透明度

随着全球化的不断深入和市场需求的快速变化，企业对供应链管理的要求也日益提高。如何在复杂的供应链环境中提升效率、降低成本，并确保信息的透明度，成为了各大行业亟待解决的问题。而增强现实（AR）技术，特别…...

编程日记 2025/5/21 10:27:17

[ Spring ] Spring Cloud Alibaba Message Stream Binder for RocketMQ 2025

文章目录 IntroduceProject StructureDeclare Plugins and ModulesApply Plugins and Add DependenciesSender PropertiesSender ApplicationSender ControllerReceiver PropertiesReceiver ApplicationReceiver Message HandlerCongratulationsAutomatically Send Message By …...

编程日记 2025/5/15 23:36:15

再述 Dijkstra

再述 Dijkstra 学 Dijkstra 好久了，今天再学了一遍，感觉推翻了好多自己的知识…… 定义一种用于求非负权值的图的单源最短路径的算法。方法已知：如果要求从起始点 s 到某一个点 x 的最短路径，显然只能从某一个已确认为最短…...

编程日记 2025/5/19 13:46:50

LSM Tree的读写过程

写操作

读操作

目前的实现

newSQL和NoSQL和传统sql

TiDB架构（newSQL）

Raft如何参与TiDB的分布式存储

参考：

相关文章：