当前位置：首页 > news >正文

【PGCCC】Postgresql BRIN 索引原理

news 来源：原创 2025/7/20 22:13:56

前言

postgresql 提供了块级索引（简称 BRIN），主要适用于类似时序数据之类的，有着天然的顺序，而且都是添加写的场景。相比于 btree 索引，它的体积小得多，非常适用于大数据量的场景。

原理

postgresql 按照一定的数目（默认 128，可以通过 pages_per_range 指定），将相邻的数据 Block 分成一组，然后计算它的的取值范围。当需要查看数据时，会先遍历这些取值范围。当要查找的数据不在此范围内，则可以直接跳过这些数据 Block。
在这里插入图片描述
当数据按照一定规则新增时，比如监控数据，数据的查找会非常高效。而且块级索引的空间占用会很小，多个相邻的Block才会对应一条索引记录。

如果数据排列的比较随机时，那么索引效果就非常差，因为它起不到快速筛除不符合的数据 Block。造成数据排列乱的原因，还有频繁的删除数据，因为 postgresql 会将删除空间回收掉，后续的数据新增都会填补这些空间。虽然可以配置删除的数据不会回收，但是会造成存储空间浪费，所以块级索引还不适合频繁删除数据的场景。

存储结构

BRIN 也是通过 Page 为基本单位来存储数据的，它有三种类型的 Page，排列如下图所示：
在这里插入图片描述
BRIN 的第一个 Page 是 Meta Page，它存储了整个索引的元信息。数据定义如下：

typedef struct BrinMetaPageData
{uint32		brinMagic;   // 标识符uint32		brinVersion;  // 版本号BlockNumber pagesPerRange;  // 每个范围包含了多少个原始数据的pageBlockNumber lastRevmapPage;  // 最大 revmap 的page number
} BrinMetaPageData;

紧接着 Meta Page 后面的是 Range Map Page，它相当于一个 ItemPointerData 数组，可以快速的根据源数据来查找到索引数据。如下图所示，每128个 block 会计算一次汇总信息：
在这里插入图片描述
我们如果想要找到源数据块 block 238 对应的索引数据，首先计算出它对应第几组，即 238 / 128 = 1。然后每个 Range Map Page 包含的数量是一定的（记为 REVMAP_PAGE_MAXITEMS），最终计算出它对应第几个 Range Map Page，即 1 / REVMAP_PAGE_MAXITEMS = 0，在这个 Page 的偏移量是 1 % REVMAP_PAGE_MAXITEMS = 1。

计算的公式如下：

targetblk = HEAPBLK_TO_REVMAP_BLK(revmap->rm_pagesPerRange, heapBlk) + 1 // 这里加1是指 meta page// 计算第几个Range Map Page, REVMAP_PAGE_MAXITEMS表示一个 Page 包含的 ItemPointData 数目
#define HEAPBLK_TO_REVMAP_BLK(pagesPerRange, heapBlk)    ((heapBlk / pagesPerRange) / REVMAP_PAGE_MAXITEMS)  // 计算 Page 里的偏移量
#define HEAPBLK_TO_REVMAP_INDEX(pagesPerRange, heapBlk)    ((heapBlk / pagesPerRange) % REVMAP_PAGE_MAXITEMS)

Range Map Page 存储的是指向BrinTuple的位置，注意到BrinTuple的存储并没有按照 block number 排序的。BrinTuple存储在 Regular Page 里，它存储的数据格式如下：
在这里插入图片描述
bt_blkno 指向所属 BLock Range 的第一个 Block

bt_info 是一个 uint8 类型，第8位表示是否包含 null 值，1到4位表示 values 的偏移量。

all_nulls 表示值是否都为 null

has_nulls 表示值是否有null

values 表示索引字段的范围

数据更新

数据新增

当数据新增时，postgresql 并不一定会更新块级索引。如果开启了 autosummarize（默认为关闭，在创建索引可以指定），那么在填满了一个 Range Block（默认是 128 个），再触发一次新增的时候，才会发送 autosummarize 请求给 autovaccum 进程。还需要注意到，如果请求队列满了，该 autosummarize 请求会被丢弃的。除此之外，索引的更新只能通过 vaccum 或者用户主动调用 brin_summarize_new_values 函数执行。

如果数据新增是在已有的 block 上，比如postgresql 将之前被删除的数据回收掉，新的数据被添加进来了，那么这时就会更新索引。如果新增的数据，在原来的范围内，就不会做任何操作。

数据删除

当数据被删除时，postgresql 不会更新索引。因为这种操作非常耗时，如果删除的数据刚好在范围边界，那么需要扫描整个 Range Block，才能计算出来，所以 postgresql 会等到 vacuum 时才会处理，况且这种情况并不会影响结果的准确性，只是扫描了多余的数据。

数据更新

postgresql 更新数据，本质是先删除数据然后新增数据，所以对于索引的影响同上面一样。

作者：zhmin
链接：https://zhmin.github.io/posts/postgresql-block-range-index/
#PG证书#PG考试#PostgreSQL培训#PostgreSQL考试#PostgreSQL认证

【PGCCC】Postgresql BRIN 索引原理

前言 postgresql 提供了块级索引（简称 BRIN），主要适用于类似时序数据之类的，有着天然的顺序，而且都是添加写的场景。相比于 btree 索引，它的体积小得多，非常适用于大数据量的场景。原理 pos…...

编程日记 2025/7/20 22:13:56

安全加固方案

交换机安全加固查看是否关闭未使用的接口 25GE1/0/1、25GE1/0/47、25GE1/0/48需要使用，暂不关闭 system-view # interface Eth-Trunk99 shutdown quit interface Eth-Trunk100 shutdown quit interface Eth-Trunk110 shutdown quit interface 25GE1/…...

编程日记 2025/7/18 23:23:16

Adobe Illustrator 2024 安装教程与下载分享

介绍一下下载直接看文章末尾 Adobe Illustrator 是一款由Adobe Systems开发的矢量图形编辑软件。它广泛应用于创建和编辑矢量图形、插图、徽标、图标、排版和广告等领域。以下是Adobe Illustrator的一些主要特点和功能： 矢量绘图：Illustrator使用矢量…...

编程日记 2025/7/20 13:14:09

WSL安装不同版本ubuntu（已有ubuntu20.04，再装ubuntu18.04）

参考： 如何在 WSL 中删除指定版本的 Ubuntu（以删除 Ubuntu 22.04 为例）_wsl卸载某个-CSDN博客已有ubuntu20.04，现在再安装一个ubuntu18.04 直接参考下面我写的链接的第四步，前面的步骤都不需要再做了 Win11安装WSL…...

编程日记 2025/7/20 18:38:48

指针测试总结（一）（一维数组）

1.取一维数组的首地址 int main() {int arr[3] {5,8,1}; printf("%d\n",arr);printf("%d\n",&arr);printf("%d\n",&arr[0]);printf("%d\n",&arr0); }输出结果： 1096809108 1096809108 1096809108 1096809108…...

编程日记 2025/7/16 5:47:52

CentOS环境上离线安装python3及相关包

0. 准备操作系统及安装包准备操作系统环境： 首先安装依赖包，安装相应的编译工具 [rootbigdatahost bin]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-d…...

编程日记 2025/7/17 11:22:31

Matlab 深度学习工具箱案例学习与测试————求二阶微分方程

clc clear% 定义输入变量 x linspace(0,2,10000);% 定义网络的层参数 inputSize 1; layers [featureInputLayer(inputSize,Normalization"none")fullyConnectedLayer(10)sigmoidLayerfullyConnectedLayer(1)sigmoidLayer]; % 创建网络 net dlnetwork(layers);% 训…...

编程日记 2025/7/16 23:06:16

算法笔记：回溯算法

回溯法理论基础「回溯是递归的副产品，只要有递归就会有回溯」，所以回溯法也经常和二叉树遍历，深度优先搜索混在一起，因为这两种方式都是用了递归。回溯法就是暴力搜索，并不是什么高效的算法，最多再剪枝一…...

编程日记 2025/7/18 13:34:24

[工具分享] 根据Excel数据根据Word文档模板，批量创建生成Word文档并重命名，方便快速查找打印

前几天交楼的小姐姐要多份Word文档合同打印给客户，那么100份就需要修改100次上面好多都是模板的制式文件，里面的部分数据都是要根据实际值来变动的， 那么有没有快速的方法来操作呢，还是只能一个个手动的改，又容易出…...

编程日记 2025/7/16 20:50:28

数据库的联合查询

数据库的联合查询简介为什么要使⽤联合查询多表联合查询时MYSQL内部是如何进⾏计算的构造练习案例数据案例：⼀个完整的联合查询的过程内连接语法⽰例外连接语法⽰例⾃连接应⽤场景示例表连接练习⼦查询语法单⾏⼦查询多⾏⼦查询多列⼦查询在from⼦句中使⽤⼦查…...

编程日记 2025/7/20 8:38:43

DICOM图像深入解析：为何部分DR/CR图像默认显示为反色？

概述在数字医学影像处理中，CR（Computed Radiography，计算机放射摄影）和DR（Digital Radiography，数字放射摄影）技术广泛应用于医疗影像获取与分析。然而，临床实践中常常遇到这样一个问题：部分CR/DR图像在默认打开时呈现为反色（即负片效果），需手动反色后才能正常阅片…...

编程日记 2025/7/19 19:08:38

C#基础上机练习题

21.计算500-800区间内素数的个数cn，并按所求素数的值从大到小的顺序排列，再计算其间隔加、减之和，即第1个素数-第2个素数第3个素数-第4个素数第5个素数……的值sum。请编写函数实现程序的要求，把结果cn和sum输出。 22.在三位整数…...

编程日记 2025/7/13 19:43:44

UE5 实现组合键触发事件的方法

因为工作原因。需要用大括号{和}来触发事件但是在蓝图中搜了一下，发现键盘事件里根本就没有{}这两个键。花费了一下午，终于找到解决的方法了，也就是增强输入的弦操作首先创建一个项目纯蓝图或者C都可行进入到内容浏览器的默认页面 …...

编程日记 2025/7/19 23:52:34

Linux麦克风录音实战

在 Linux 上使用麦克风进行录音可以通过多种方式实现，包括使用命令行工具、图形界面应用程序以及编程接口。下面我将介绍几种常见的方法，从简单的命令行工具到使用 PortAudio 库进行编程。一. 使用arecord命令行工具 arecord 是 ALSA（Adva…...

编程日记 2025/7/17 11:04:33

Diving into the STM32 HAL-----Timers笔记

嵌入式设备会按时间执行某些活动。对于真正简单且不准确的延迟，繁忙的循环可以执行任务，但是使用 CPU 内核执行与时间相关的活动从来都不是一个聪明的解决方案。因此，所有微控制器都提供专用的硬件外设：定时器。定时器不仅是时基生…...

编程日记 2025/7/19 9:46:56

RPC学习

一、什么是 RPC RPC（Remote Procedure Call），即远程过程调用，是一种计算机通信协议，它允许运行在一台计算机上的程序调用另一台计算机上的子程序或函数，就好像调用本地程序中的函数一样，无需程序…...

编程日记 2025/7/16 23:35:36

STM32端口模拟编码器输入

文章目录前言一、正交编码器是什么？二、使用步骤2.1开启时钟2.2配置编码器引脚 TIM3 CH1(PA6) CH2 (PA7)上拉输入2.3.初始化编码器时基2.4 初始化编码器输入2.5 配置编码器接口2.6 开启定时器2.7获取编码器数据三、参考程序四、测试结果4.1测试方法4.2串口输出结果…...

编程日记 2025/7/18 12:27:55

深入理解 MyBatis 的缓存机制：一级缓存与二级缓存

MyBatis 是目前 Java 开发中常用的一种 ORM（对象关系映射）框架，它不仅简化了 SQL 语句的编写和管理，还提供了强大的缓存机制，用以提高数据库访问的性能。MyBatis 的缓存分为一级缓存和二级缓存，分别应用于不…...

编程日记 2025/7/19 14:31:05

做一个FabricJS.cc的中文文档网站——面向markdown编程

📢欢迎点赞 ：👍 收藏 ⭐留言 📝 如有错误敬请指正，赐人玫瑰，手留余香！📢本文作者：由webmote 原创📢作者格言：新的征程，用爱发电&#…...

编程日记 2025/7/18 4:47:10

Elasticsearch在部署时，对Linux的设置有哪些优化方法？

大家好，我是锋哥。今天分享关于【Elasticsearch在部署时，对Linux的设置有哪些优化方法？】面试题。希望对大家有帮助； Elasticsearch在部署时，对Linux的设置有哪些优化方法？ 1000道互联网大厂Java工程师精…...

编程日记 2025/7/15 23:24:07

ThingsBoard规则链节点：Azure IoT Hub 节点详解

目录引言 1. Azure IoT Hub 节点简介 2. 节点配置 2.1 基本配置示例 3. 使用场景 3.1 数据传输 3.2 数据分析 3.3 设备管理 4. 实际项目中的应用 4.1 项目背景 4.2 项目需求 4.3 实现步骤 5. 总结引言 ThingsBoard 是一个开源的物联网平台，提供了设备…...

编程日记 2025/7/16 21:52:28

SpringBoot线程池的使用

SpringBoot线程池的使用在现代Web应用开发中，特别是在使用Spring Boot框架时，合理使用线程池可以显著提高应用的性能和响应速度。线程池不仅能够减少线程创建和销毁的开销，还能有效地控制并发任务的数量，避免因线程过多而导致的…...

编程日记 2025/7/20 11:26:33

ubuntu中使用ffmpeg和nginx推流rtmp视频

最近在测试ffmpeg推流rtmp视频，单独安装ffmpeg是无法完成推流的，需要一个流媒体服务器，常用nginx，可以直接在ubuntu虚拟机里面测试一下。测试过程不涉及编译ffmpeg和nginx，仅使用基本功能： 1 安装ffmpeg …...

编程日记 2025/7/20 19:36:52

如何在CodeIgniter中添加或加载模型

在CodeIgniter框架中，模型（Model）是用于与数据库进行交互的重要组件。模型通常包含数据库查询、业务逻辑以及与数据库表相关的函数。以下是如何在CodeIgniter中添加或加载模型的步骤： 1. 创建模型文件首先，你需要在…...

编程日记 2025/7/15 4:48:44

加菲工具 - 好用免费的在线工具集合

加菲工具 https://orcc.online AI 工具加菲工具集合了目前主流的，免费可用的ai工具文档处理加菲工具 pdf转word、office与pdf互转等等工具都有链接图片图标加菲工具统计了好用免费的在线工具编码解码加菲工具 base64编码解码、url编码解码、md5计算…...

编程日记 2025/7/14 11:50:40

Centos 8, add repo

Centos repo前言 Centos 8更换在线阿里云创建一键更换repo 自动化脚本华为Centos 源 , 阿里云Centos 源华为epel 源 , 阿里云epel 源vim /centos8_repo.sh #!/bin/bash # -*- coding: utf-8 -*- # Author: make.han...

编程日记 2025/7/19 12:24:03

神经网络12-Time-Series Transformer (TST)模型

Time-Series Transformer (TST) 是一种基于 Transformer 架构的深度学习模型，专门用于时序数据的建模和预测。TST 是 Transformer 模型的一个变种，针对传统时序模型（如 RNN、LSTM）在处理长时间依赖、复杂数据关系时的限制而提出的…...

编程日记 2025/7/15 22:10:27

在 Ubuntu 上安装 Yarn 环境

在 Ubuntu 上安装 Yarn 环境步骤 1: 更新系统步骤 2: 安装 Node.js步骤 3: 安装 Yarn方法 1: 使用 npm 安装方法 2: 使用 APT 安装步骤 4: 验证安装总结在 Ubuntu 上安装 Yarn 环境可以通过以下步骤完成： 步骤 1: 更新系统首先，确保你的系统是最新…...

编程日记 2025/7/18 22:32:31

OEM sql monitoring 类似SQL

不够OEM 全面 select a.inst_id,a.time_since_last_wait_micro,a.last_call_et,a.sql_id,a.sql_hash_value, a.username,a.pdml_enabled,a.pdml_status ,a.prev_sql_id from gv$session a where a.statusACTIVE and a.sql_id is not null and a.username is not null select …...

编程日记 2025/7/9 23:01:41

前言

原理

存储结构

数据更新

数据新增

数据删除

数据更新

相关文章：