当前位置：首页 > news >正文

openGauss你计算的表大小，有包含toast表么？

news 来源：原创 2025/5/16 18:41:49

openGauss你计算的表大小，有包含toast表么？

最近有一个同事问我说“openGauss中pg_relation_size函数在计算表的大小时是否包含了大字段的大小？”，经过思考后，自己觉得表的大小是不包含大字段的大小的，然后通过查看官网的文档说明，该函数含义为指定OID代表的表或者索引所使用的磁盘空间。如果只单独看这条定义，那么还是不清楚是否包含toast表，但是如果你看了数据库对象的其他函数，结合其他函数的解释应该可以得出结论在这里是不包含toast表的大小。即使知道结果了，还是想通过实际操作验证一下openGauss的pg_relation_size函数在计算表大小时未包含toast表大小。关于toast机制在这里就不做详细介绍，有兴趣的同学，可以自行查看相关资料。

准备测试用例

创建测试用例表

create table tbl_blog (id serial primary key,author varchar(50),title varchar(200),content text);

查看表结构

testdb=> \d+ tbl_blogTable "test.tbl_blog"Column  |          Type          |                       Modifiers                       | Storage  | Stats target | Description
---------+------------------------+-------------------------------------------------------+----------+--------------+-------------id      | integer                | not null default nextval('tbl_blog_id_seq'::regclass) | plain    |              |author  | character varying(50)  |                                                       | extended |              |title   | character varying(200) |                                                       | extended |              |content | text                   |                                                       | extended |              |
Indexes:"tbl_blog_pkey" PRIMARY KEY, btree (id) TABLESPACE pg_default
Has OIDs: no
Options: orientation=row, compression=no

在这里我们可以看到author、title、content的storage列的值为extended，这是大多数toast数据类型的默认设置，表示允许行外存储和压缩，一般会先压缩，如果还是太大，就会行外存储。这里行外存储其实就是指，当行的记录的长度大于了TOAST_TUPLE_THRESHOLD（值为2KB）时，会触发TOAST，把大字段的列数据存储到TOAST表中。

查看tbl_blog关联的toast表的oid

testdb=> select oid,relname,reltoastrelid from pg_class where relname='tbl_blog';oid  | relname  | reltoastrelid
-------+----------+---------------24608 | tbl_blog |         24612
(1 row)

查询关联的toast表的表名及表数据

--查看toast表名
testdb=# select relname from pg_class where oid = 24612;relname
----------------pg_toast_24608
(1 row)

在这里可以看到TOAST表名，其实就是pg_toast+表的oid。

查看toast表的信息

testdb=# select tableoid ,* from pg_toast.pg_toast_24608;chunk_id | chunk_seq | chunk_data
----------+-----------+------------
(0 rows)
--查看TOAST表结构
testdb=> \d+ pg_toast.pg_toast_24608
TOAST table "pg_toast.pg_toast_24608"Column   |  Type   | Storage
------------+---------+---------chunk_id   | oid     | plainchunk_seq  | integer | plainchunk_data | bytea   |

这里简单的对toast表的字段说明一下

chunk_id：普通表通过TOAST pointer关联到一个被TOAST的列

chunk_seq：同一个chunk_id如果大于TOAST_MAX_CHUNK_SIZE，将被切片存储。这里存储切片后的序号

chunk_data：真实的数据，但是在这里展示的都是二进制值

模拟数据验证

content字段插入少许值

执行命令插入数据

insert into tbl_blog(author,title,content) values('墨竹','推荐Postgresql中一些好用的psql命令','psql客户端工具应该是dba非常频繁使用的的工具。');

查看表大小和toast表的大小

testdb=# select pg_relation_size(oid) as tb_size,pg_relation_size(reltoastrelid) as toast_size from pg_class where relname='tbl_blog';tb_size | toast_size
---------+------------8192 |          0
(1 row)
--同样在toast表的数据仍然为空
testdb=# select * from pg_toast.pg_toast_24608;chunk_id | chunk_seq | chunk_data
----------+-----------+------------
(0 rows)

在上面查询结果可以看到当插入的值比较小时，在toast表未查询到数据。然后我们再查看content列的长度，为46字节。

testdb=> select pg_column_size(id),pg_column_size(author),pg_column_size(title),pg_column_size(content) from tbl_blog;pg_column_size | pg_column_size | pg_column_size | pg_column_size
----------------+----------------+----------------+----------------4 |              5 |             35 |             46
(1 row)

content字段插入大量值

执行命令插入数据，在这里省略了大量的数据，自行测试的时候，找一些数据就行。

insert into tbl_blog(author,title,content) values('墨竹','推荐Postgresql中一些好用的psql命令','E.1.1. Overview 
PostgreSQL 17 contains many new features and enhancements, including:
....省略大量文字
Add worker type column to pg_stat_subscription (Peter Smith) §');

查看表大小和toast表的大小

testdb=# select pg_relation_size(oid) as tb_size,pg_relation_size(reltoastrelid) as toast_size from pg_class where relname='tbl_blog';tb_size | toast_size
---------+------------8192 |       8192
(1 row)
--在这里由于chunk_data太大不方便展示，就截取了一部分
testdb=> select chunk_id,chunk_seq,substring(chunk_data,0,20) from pg_toast.pg_toast_24608;chunk_id | chunk_seq |                substring
----------+-----------+------------------------------------------24618 |         0 | \x3a35000000452e312e312e204f00766572766924618 |         1 | \x219b6c75652066021387926b946a114457696e24618 |         2 | \x015620ce63113712450475697383ae4380606f24618 |         3 | \x2204a824e26d616e69e47075443a6f66710973
(4 rows)

当再次插入数据时，表的大小未变化，但是toast表的变为了8KB，说明这个时候已经出发toast机制，将content列的数据存储到toast表。当查看toast表中的数据时，发现已经有数据并且由于插入的太大，对插入的数据进行了切分。最后再来查看一下列的长度，为7286字节，确实是需要切分的。

testdb=# select pg_column_size(id),pg_column_size(author),pg_column_size(title),pg_column_size(content) from tbl_blog;pg_column_size | pg_column_size | pg_column_size | pg_column_size
----------------+----------------+----------------+----------------4 |              7 |             45 |             654 |              7 |             45 |           7286
(2 rows)

再次插入数据

再次把第2次的数据重新插入一次

insert into tbl_blog(author,title,content) select author,title,content from tbl_blog where id = 2;

查看表大小和toast表的大小

testdb=> select pg_relation_size(oid) as tb_size,pg_relation_size(reltoastrelid) as toast_size from pg_class where relname='tbl_blog';tb_size | toast_size
---------+------------8192 |      24576
(1 row)
--在这里由于chunk_data太大不方便展示，就截取了一部分
testdb=> select chunk_id,chunk_seq,substring(chunk_data,0,20) from pg_toast.pg_toast_24608;chunk_id | chunk_seq |                substring
----------+-----------+------------------------------------------24618 |         0 | \x3a35000000452e312e312e204f00766572766924618 |         1 | \x219b6c75652066021387926b946a114457696e24618 |         2 | \x015620ce63113712450475697383ae4380606f24618 |         3 | \x2204a824e26d616e69e47075443a6f6671097324620 |         0 | \x3a35000000452e312e312e204f00766572766924620 |         1 | \x219b6c75652066021387926b946a114457696e24620 |         2 | \x015620ce63113712450475697383ae4380606f24620 |         3 | \x2204a824e26d616e69e47075443a6f66710973
(8 rows)

当我们再次对content字段插入大量值时，发现表的大小未变化，但是toast表大小翻了3倍。

查看列的长度

testdb=>  select pg_column_size(id),pg_column_size(author),pg_column_size(title),pg_column_size(content) from tbl_blog;pg_column_size | pg_column_size | pg_column_size | pg_column_size
----------------+----------------+----------------+----------------4 |              5 |             35 |             464 |              5 |             35 |           72864 |              5 |             35 |           7286
(3 rows)

其实通过这三次的插入数据，观察pg_relation_size函数计算表的大小和toast表的大小，其中表的大小一直未变，toast表的大小从0->8192->24576，就可以判断出pg_relation_size函数计算表的大小时是不包含toast表的大小，如果你忽略这点的话，可能导致最终统计的数据不准确。

下面是计算数据库表/索引大小相关的函数。

pg_relation_size(oid)
描述：指定OID代表的表或者索引所使用的磁盘空间。pg_indexes_size(regclass)
描述：附加到指定表的索引使用的总磁盘空间。pg_table_size(regclass)
描述：指定的表使用的磁盘空间，不计索引（但是包含TOAST，自由空间映射和可见性映射）pg_total_relation_size(regclass)
描述：指定的表使用的总磁盘空间，包括所有的索引和TOAST数据

总结

从这个测试实验中，我们就可以很清晰的知道，pg_relation_size函数只统计表对象的大小，未包含toast表大小，因此如果我们需要统计表大小，建议使用pg_total_relation_size函数更精确一点，该函数的统计包括了索引和toast表；另外如果你使用了pg_table_size来统计表大小，需要注意该统计不包含索引，可能需要使用pg_indexes_size来单独计算索引的大小。

参考
https://github.com/digoal/blog/blob/master/201103/20110329_01.md

本文作者：墨竹

openGauss你计算的表大小，有包含toast表么？

openGauss你计算的表大小，有包含toast表么？ 最近有一个同事问我说“openGauss中pg_relation_size函数在计算表的大小时是否包含了大字段的大小？”，经过思考后，自己觉得表的大小是不包含大字段的大小的，然后…...

编程日记 2025/5/16 18:41:49

Python字典的用法（定义、增加、删除、修改、查询、遍历）

一.字典的介绍 dictionary（字典）是除了列表以外的 Python 中最灵活的数据类型。dict（字典）可以采用多个数据，通常用于存储描述一个物体的相关信息。字典和列表最主要的区别是，字典是无序的对象集合&#x…...

编程日记 2025/5/15 4:08:30

分布式锁的实现原理

作者：来自 vivo 互联网服务器团队- Xu Yaoming 介绍分布式锁的实现原理。一、分布式锁概述分布式锁，顾名思义，就是在分布式环境下使用的锁。众所周知，在并发编程中，我们经常需要借助并发控制工具，如 mute…...

编程日记 2025/5/16 10:35:41

linux（centos）环境部署，安装JDK，docker（mysql, redis,nginx,minio,nacos）

目录 1.安装JDK (非docker)1.1 将文件放在目录下： /usr/local/jdk1.2 解压至当前目录1.3 配置环境变量 2.安装docker2.1 验证centos内核2.2 安装软件工具包2.3 设置yum源2.4 查看仓库中所有docker版本，按需选择安装2.5 安装docker2.6 启动docker 并开机…...

编程日记 2025/5/13 23:36:49

批量生成不同用户的pdf 文件（html样式）

技术 selenium thymeleaf itextpdf chromedriver 使用thymeleaf 将动态数据替换使用selenium chromedriver 进行js ，css等逻辑运算后渲染视图使用itextpdf 将html 转为pdf 文件 html模板 <!DOCTYPE html> <html xmlns:th"http://www.thymeleaf…...

编程日记 2025/5/7 1:21:01

常见的排序算法

一、基于比较的排序算法基于比较的排序算法通过比较元素之间的大小来完成排序。 1.1 冒泡排序（Bubble Sort） 特点：通过多次交换相邻元素，将最大（或最小）元素“冒泡”到序列末端。时间复杂度&#xff1a…...

编程日记 2025/5/16 17:41:22

从语法、功能、社区和使用场景来比较 Sass 和 LESS

一：可以从语法、功能、社区和使用场景来比较 Sass 和 LESS： 1：语法原始的 Sass 采用的是缩进而不是大括号，后续的 Sass 版本与 LESS 一样使用与 CSS 类似的语法： address {.fa.fa-mobile-phone {margin: 0 3px 0 2…...

编程日记 2025/5/16 8:48:37

hdlbits系列verilog解答（Exams/m2014 q4b）-87

文章目录一、问题描述二、verilog源码三、仿真结果一、问题描述本节学习如何实现下图中的电路。模块声明 module top_module ( input clk, input d, input ar, // asynchronous reset output q); 思路：只是实现一种带异步复位的D触发器。时钟边沿两种触发方式的关键字…...

编程日记 2025/5/11 13:21:10

Python 和 Pyecharts 对Taptap相关数据可视化分析

结果展示： 数据来源： Python爬取TapTap 热门游戏信息并存储到数据库（详细版） 目录结果展示： 数据来源： Python爬取TapTap 热门游戏信息并存储到数据库（详细版一、引言二、准备工作三、…...

编程日记 2025/5/11 3:36:29

系统学习算法：专题二滑动窗口

题目一： 算法原理： 依然第一反应是暴力枚举，将所有的子数组都枚举出来，找到满足条件的长度最小的子数组，但是需要两层循环，时间复杂度来到O（N^2） 接下来就该思考如何进行优化如果…...

编程日记 2025/5/16 17:44:58

Docker的save和export命令的区别,load和import的区别笔记241124

Docker的save和export命令的区别,load和import的区别解说1: Docker的save和export命令，以及load和import命令，在功能和使用场景上存在显著的区别。以下是对这两组命令的详细对比和解释： Docker save和export命令的区别使用方式和目的&am…...

编程日记 2025/5/12 5:11:05

cad中为什么不使用C0C1C2连续，而使用G0G1G2连续

在CAD中，之所以使用G0、G1、G2连续而不是C0、C1、C2连续，主要是因为G连续性更侧重于几何空间的连续性，与视觉感知和制造过程更为相关。 • G0连续：保证曲线或曲面在连接点处没有断开，即位置连续。这在CAD中非常重要&a…...

编程日记 2025/5/16 16:51:45

Linux：makefile的使用

makefile小结： makefile的应用： 一个简单的 Makefile 文件包含一系列的“规则”，其样式如下： 目标(target)…: 依赖(prerequiries)… 命令(command) 目标(target)通常是要生成的文件的名称，可以是可执行文件或OBJ文件…...

编程日记 2025/5/16 16:55:25

局域网的网络安全

网络安全局域网基本上都采用以广播为技术基础的以太网，任何两个节点之间的通信数据包，不仅为这两个节点的网卡所接收，也同时为处在同一以太网上的任何一个节点的网卡所截取。因此，黑客只要接入以太网上的任一节点进行侦听&#…...

编程日记 2025/5/16 18:39:21

【Leetcode 每日一题 - 补卡】3235. 判断矩形的两个角落是否可达

问题背景给你两个正整数 x C o r n e r xCorner xCorner 和 y C o r n e r yCorner yCorner 和一个二维整数数组 c i r c l e s circles circles，其中 c i r c l e s [ i ] [ x i , y i , r i ] circles[i] [x_i, y_i, r_i] circles[i][xi,yi,ri] 表示…...

编程日记 2025/5/14 23:10:50

Android Studio安装TalkX AI编程助手

文章目录 TalkX简介编程场景 TalkX安装TalkX编程使用ai编程助手相关文章 TalkX简介 TalkX是一款将OpenAI的GPT 3.5/4模型集成到IDE的AI编程插件。它免费提供特定场景的AI编程指导，帮助开发人员提高工作效率约38%，甚至在解决编程问题的效率上提升超过2倍…...

编程日记 2025/5/16 8:51:46

C++类型转换

C类型转换 1.C语言中的类型转换2.C强制类型转换2.1.static_cast2.2.reinterpret_cast2.3.const_cast2.4.dynamic_cast 3.RTTI 🌟🌟hello，各位读者大大们你们好呀🌟🌟 🚀🚀系列专栏：【…...

编程日记 2025/5/16 1:46:07

241127学习日志——[CSDIY] [InternStudio] 大模型训练营 [20]

CSDIY：这是一个非科班学生的努力之路，从今天开始这个系列会长期更新，（最好做到日更），我会慢慢把自己目前对CS的努力逐一上传，帮助那些和我一样有着梦想的玩家取得胜利！！&…...

编程日记 2025/5/16 18:09:32

关于函数式接口和编程的解析和案例实战

文章目录匿名内部类“匿名”在哪里函数式编程lambda表达式的条件Supplier使用示例 ConsumeracceptandThen使用场景 FunctionalBiFunctionalTriFunctional 匿名内部类匿名内部类的学习和使用是实现lambda表达式和函数式编程的基础。是想一下，我们在使用接口中的方…...

编程日记 2025/5/16 4:37:18

基于米尔全志T527开发板的FacenetPytorch人脸识别方案

本篇测评由优秀测评者“小火苗”提供。本文将介绍基于米尔电子MYD-LT527开发板（米尔基于全志 T527开发板）的FacenetPytorch人脸识别方案测试。一、facenet_pytorch算法实现人脸识别深度神经网络 1.简介 Facenet-PyTorch 是一个基于 PyTorch 框架实…...

编程日记 2025/5/16 12:18:52

Java基础面试题11：简述System.gc()和Runtime.gc()的作用？

System.gc() 和 Runtime.gc() 是 Java 中用于提示 JVM（Java 虚拟机）进行垃圾回收的两个方法。它们的作用类似，但也有一些细微的区别。下面我们来详细说明。 System.gc() 和 Runtime.gc() 的区别简单来说，System.gc() 等同于 Run…...

编程日记 2025/5/16 17:47:22

物料理解笔记·蓝白段子线·端子线座子焊接反了怎么处理！！！

目录蓝白端子排线端子线座子焊接错了怎么办端子线如何拆线编写不易，请勿搬运，仅供学习，感谢理解蓝白端子排线蓝白端子排线，这种端子线常用与编码电机的接线，或者在板子上通过提供段子线的接口，通…...

编程日记 2025/5/16 17:36:27

string接口模拟实现2

文章目录浅拷贝insert插入一个字符insert插入一个字符串删除erasefind(查找一个字符)\\\\\\\find(查找一个字符串:子串substr)查找的练习（网址）赋值operator比较大小浅拷贝 //浅拷贝string::string(const string& str){//开一样大的空间&#xff0…...

编程日记 2025/5/16 18:41:48

第 42 章 - Go语言设计模式

在Go语言中，设计模式是一种被广泛接受的解决常见问题的最佳实践。这些模式可以分为三类：创建型模式、结构型模式和行为型模式。下面我将结合案例以及源代码对这三种类型的设计模式进行详细讲解。创建型模式创建型模式主要关注对象的创建过程&#xf…...

编程日记 2025/5/16 16:51:02

使用redis-plus-plus库连接redis

使用redis-plus-plus库连接redis 一、安装redis-plus-plus1.1安装hiredis1.2编译安装redis-plus-plus 二、redis的连接使用2.1创建redis对象2.2向redis中添加元素2.3判断元素是否存在2.4获取元素2.5设置获取过期时间2.6获取类型2.7 删除当前数据库一、安装redis-plus-plus C …...

编程日记 2025/5/11 14:03:41

qt QGraphicsRotation详解

1、概述 QGraphicsRotation 是 Qt 框架中 QGraphicsTransform 的一个子类，它专门用于处理图形项的旋转变换。通过 QGraphicsRotation，你可以对 QGraphicsItem（如形状、图片等）进行旋转操作，从而创建动态和吸引人的视觉…...

编程日记 2025/5/12 13:01:00

嵌入式Qt使用ffmpeg视频开发记录

在此记录一下Qt下视频应用开发的自学历程，可供初学者参考和避雷。了解常用音频格式yuv420p、h264等了解QML，了解QVideoOutput类的使用，实现播放yuv420p流参考ffmpeg官方例程，调用解码器实现h264解码播放不需要手动分帧。ffmpeg…...

编程日记 2025/5/16 17:25:58

《String类》

目录一、定义与概述二、创建字符串对象 2.1 直接赋值 2.2 使用构造函数三、字符串的不可变性四、常用方法 4.1 String对象的比较 4.1.1 比较是否引用同一个对象 4.1.2 boolean equals(Object anObject)方法：按照字典序比较 4.1.3 int compareTo(Strin…...

编程日记 2025/5/15 21:49:09

Java—Properties类

Properties类是Java中用于处理属性文件（.properties文件）的类。属性文件是一种简单的文本文件，用于存储键值对数据，常用于保存配置信息。 Properties类继承自Hashtable类，它的键和值都是字符串类型。它提供了一些方法…...

编程日记 2025/5/14 21:10:13

wireshark抓包TR069协议

Wireshark是一个网络协议分析器，它允许用户捕获和详细查看网络流量。TR069协议是CPE（Customer Premises Equipment，用户驻地设备）和ACS（Auto-Configuration Server，自动配置服务器）之间沟通的通…...

编程日记 2025/5/16 17:43:15

【连接池】.NET开源 ORM 框架 SqlSugar 系列

.NET开源 ORM 框架 SqlSugar 系列【开篇】.NET开源 ORM 框架 SqlSugar 系列【入门必看】.NET开源 ORM 框架 SqlSugar 系列【实体配置】.NET开源 ORM 框架 SqlSugar 系列【Db First】.NET开源 ORM 框架 SqlSugar 系列【Code First】.NET开源 ORM 框架 SqlSugar 系列【数据事务…...

编程日记 2025/5/12 14:45:49

FileReader和 FileWriter

FileReader和FileWriter是用于操作文件的类，它们分别用于读取和写入数据。下面是它们的一些基本用法： FileReader： 创建一个FileReader对象，指定要读取的文件路径。使用read()方法读取文件的内容，返回一个整数字符表…...

编程日记 2025/5/16 10:39:31

html 中的＜code＞标签

定义和用途 <code> 标签是HTML中的一个内联元素，用于定义计算机代码片段。当你需要在网页内容中展示代码，比如编程语言代码（如JavaScript、Python、Java等）、命令行指令、标记语言代码（如HTML、XML等&#xff09…...

编程日记 2025/5/11 21:02:55

使用Apache HttpClient发起一个POST HTTP请求

Apache HttpClient 是一个强大的Java库，用于处理HTTP请求。它支持多种HTTP方法，包括GET、POST、PUT、DELETE等。本教程将重点介绍如何使用Apache HttpClient发送POST HTTP请求。 POST请求通常用于向服务器发送数据以创建或更新资源。我们将演示如…...

编程日记 2025/5/13 20:59:28

Android复习代码1-4章

public class RudioButton extends AppCompatActivity {Overrideprotected void onCreate(Nullable Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activity_rudio_button);// 找到RadioGroup和TextView的实例RadioGroup radioGrou…...

编程日记 2025/5/12 22:24:03

openGauss你计算的表大小，有包含toast表么？

准备测试用例

模拟数据验证

content字段插入少许值

content字段插入大量值

再次插入数据

总结

相关文章：