当前位置：首页 > news >正文

Greenplum临时表未清除导致库龄过高处理

news 来源：原创 2025/5/20 16:05:52

1.问题

Greenplum集群segment后台日志报错

2.回收库龄

master上执行

vacuumdb -F -d cxy

vacuumdb -F -d template1

vacuumdb -F -d rptdb

3.回收完成后检查

仍然发现segment还是有库龄报警警告信息发出

4.检查

4.1 在master上检查库年龄

SELECT datname, datfrozenxid ,age(datfrozenxid) FROM pg_database ORDER BY 3 DESC ;

4.2 在master上查看主要库的表龄

SELECT c.oid::regclass as table_name, greatest(age(c.relfrozenxid),age(t.relfrozenxid)) as age 
FROM pg_class c LEFT JOIN pg_class t ON c.reltoastrelid = t.oid WHERE c.relkind IN ('r', 'm') order by age desc;

发现没有年龄15亿左右的表，就很奇怪，但是很多temp表存在，年龄2千万左右在，暂时不管。

查看各segment库龄：

SELECT gp_segment_id,datname, age(datfrozenxid) FROM gp_dist_random('pg_database') ORDER BY 3 DESC;

先去segment端查看具体情况。

5.在segment上检查

本地GP集群下有32个segment，连接单一segment方式

PGOPTIONS="-c gp_session_role=utility" psql -h gz2rptdbs06 -p 6003 -U gpadmin -d gprptdb;

查看库下的表龄排序：

发现segment库龄主要由最上面这个temp表导致。

查询相关资料：

postgresql中在使用临时表时，如果数据库发生crash，临时表不会被自动清除，而临时表在的XID不能回收循环，vacuum freeze无法在临时表上执行。而在GP这种分布式数据库中，会出现更复杂情况，比如某些段清理了，某些段没有清理临时表。

本数据库确实发生过crash，而且临时表在部分应用中一直使用。正常临时表在会话结束后会自动释放，不会出现这么高的age。所以判断段中出现的高age临时表为非正常使用临时表，需进行drop处理。

6.在master上查看存在哪些临时表

select b.nspname,a.relname from pg_class a ,pg_namespace b 
where a.relnamespace=b.oid 
and b.nspname ~ 'pg_temp' 
and a.relkind='r' order by age(a.relfrozenxid) desc;

如果不处理的话，久而久之，库龄会达到最大年龄，数据库就不能正常连接使用了。

在部分segment中，发现template1中也存在高age临时表，如下图：

查询资料该表为gp在recover产生的临时表，目前数据库正常无revocer进程，可以删除。

7.结果

部分segment下删除最大age临时表前后对比

后续会逐步清理其他高age临时表。降低库龄。

参考文章：

PostgreSQL: Temporary tables prevent autovacuum, leading to XID wraparound

Thread: Temporary tables prevent autovacuum, leading to XID wraparound : Postgres Professional

Vacuuming old tables in a database to reduce its age

https://developer.aliyun.com/article/8922

Greenplum临时表未清除导致库龄过高处理

1.问题 Greenplum集群segment后台日志报错 2.回收库龄 master上执行 vacuumdb -F -d cxy vacuumdb -F -d template1 vacuumdb -F -d rptdb 3.回收完成后检查仍然发现segment还是有库龄报警警告信息发出 4.检查 4.1 在master上检查库年龄 SELECT datname, datfrozen…...

编程日记 2025/5/20 16:05:52

SD-WAN站点和客户端的区别

很多用户在使用比扬云SD-WAN的时候不清楚站点和员工客户端的区别，尤其是很多从ZeroTier迁移过来的用户，这篇文章我们会详细介绍比扬云SD-WAN的站点和客户端使用场景。 ZeroTier只有客户端，没有站点，但是有路由配置，允…...

编程日记 2025/5/19 16:32:18

Arduino大师练成手册 -- 控制 MH-SD 卡模块

要在 Arduino 上控制 MH-SD 卡模块，你可以按照以下步骤进行： 硬件连接 VCC：连接到 Arduino 的 3.3V 或 5V 引脚（根据模块的要求）。 GND：连接到 Arduino 的 GND 引脚。 CS：连接到 Arduino 的…...

编程日记 2025/5/18 6:32:23

【MQ】RabbitMq的可靠性保证

消息队列中的可靠性主要是分为三部分： 消息不丢失：确保消息从生产者发送到消费者消息不丢失消息不重复：确保消息不被重复消费消息顺序性：确保消费的顺序性解决方案主要有以下几部分： 消息不丢失生产者确认机制持久…...

编程日记 2025/5/20 15:39:10

自签证书的dockerfile中from命令无法拉取镜像而docker的pull命令能拉取镜像

问题现象： docker pull images拉取镜像正常 dockerfile中的from命令拉取镜像就会报出证书错误。报错信息如下： [bjxtbwj-kvm-test-jenkins-6-243 ceshi_dockerfile]$ docker build . [] Building 0.4s (3/3) FINISHED …...

编程日记 2025/5/20 5:44:07

LAPD协议

实现LAPD（Link Access Procedure on the D-channel）协议的具体步骤和代码示例会比较复杂，通常涉及到底层网络编程和对ISDN协议的深入理解。以下是一个更详细的实现指导，主要集中在C/C环境中。环境准备确保你有一个支持ISDN的开发…...

编程日记 2025/5/20 15:39:10

jupyter版本所引起的扩展插件问题

文章目录如何永久切换python安装源为https://mirrors.aliyun.com/pypi/simple方法一：通过配置文件永久设置（推荐）步骤 1：创建或修改 pip 配置文件步骤 2：验证配置是否生效方法二：通过命令行直接配置效果验…...

编程日记 2025/5/19 21:12:55

连接 OpenAI 模型：基础操作

在这一部分中，我们将介绍如何连接 OpenAI 模型，设置 API 密钥，并使用 Spring AI 的 ChatClient 与 OpenAI 模型进行简单的对话。Spring AI 为集成 OpenAI 模型提供了方便的工具，使得开发者能够更轻松地与 GPT 系列模型进行交互。 …...

编程日记 2025/5/17 0:42:20

Vue.js组件开发-实现对视频预览

在 Vue 中实现视频文件预览实现步骤创建 Vue 组件：构建一个 Vue 组件用于处理视频文件的选择和预览。文件选择：添加一个文件输入框，允许用户选择视频文件。读取文件：监听文件选择事件，使用 FileReader API 读取所选…...

编程日记 2025/5/19 20:39:22

基于 Arduino Uno 和 RFID-RC522 的 RFID 卡号读取技术详解

引言射频识别（RFID）技术因其非接触式、高效性和低成本的特点，广泛应用于门禁系统、物流管理和智能设备等领域。本文将通过 Arduino Uno 和 MFRC522 RFID 模块，手把手教你实现 RFID 卡号的读取，并提供完整的代码解析和…...

编程日记 2025/5/16 17:41:15

AI Agent的测试与监控：保障稳定性的实战经验

在前面的文章中，我们讨论了 AI Agent 的各个核心模块。今天，我想聊聊如何保障 AI Agent 的稳定性。说实话，这个话题我一直很关注，因为在生产环境中，稳定性往往比功能更重要。从一次线上事故说起还记得去年一个深夜…...

编程日记 2025/5/19 9:05:19

Servlet项目依赖管理

一、Servlet 相关技术选型思路: 先选择 Servlet 容器，再找支持当前 JDK 版本的 Servlet 容器版本。已知Servlet容器有两种市场占用率较高，Tomcat&Jetty。接下来分别按照上述思路进行选择容器版本。 Tomcat 官网: https://tomcat.apache.org/ 版本…...

编程日记 2025/5/15 17:38:16

戴尔电脑设置u盘启动_戴尔电脑设置u盘启动多种方法

最近有很多网友问，戴尔台式机怎么设置u盘启动，特别是近两年的戴尔台式机比较复杂，有些网友不知道怎么设置，其实设置u盘启动有两种方法，下面小编教大家戴尔电脑设置u盘启动方法。戴尔电脑设置u盘启动方法一、戴尔进入b…...

编程日记 2025/5/14 23:56:56

大数据治理实战指南：数据质量、合规与治理架构

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 引言随着企业数字化转型的加速，大数据已成为驱动业务决策的核心资产。然而，数据治理的缺失或不完善&…...

编程日记 2025/5/9 3:38:10

2025年01月26日Github流行趋势

项目名称：onlook 项目地址url：https://github.com/onlook-dev/onlook项目语言：TypeScript历史star数：4871今日star数：207项目维护者：Kitenite, drfarrell, iNerdStack, abhiroopc84, apps/dependabot项目简…...

编程日记 2025/5/14 12:23:34

03-画P封装(制作2D+添加3D)

画P封装的方法2D制作3D添加使用P封装自己画0603格式的电阻的P封装1. 看规格书,找参数2. 创建一个新的P封装3. 灯泡两侧放焊盘4.设置焊盘大小和形状5.根据坐标定义中间间隔: L/2原则6. 画最外层丝印(丝印层直接围住即可)7.在平面的P封装上,添加3D立体封装库立创商城下载P封装向…...

编程日记 2025/5/17 12:56:17

WPF5-x名称空间

1. x名称空间2. x名称空间内容3. x名称空间内容分类 3.1. x:Name3.2. x:Key3.3. x:Class3.4. x:TypeArguments 4. 总结 1. x名称空间 “x名称空间”的x是映射XAML名称空间时给它取的名字（取XAML的首字母），里面的成员（如x:Class、…...

编程日记 2025/5/19 7:07:36

UDP 广播组播点播的区别及联系

1、网络IP地址的分类组播地址是分类编址的IPv4地址中的D类地址，又叫多播地址，他的前四位必须是1110，所以网络地址的二进制取值范围是11100000~11101111对应的十进制为 224~~239。所以以224~239开头的网络地址都是组播地址。组播地址的功能…...

编程日记 2025/5/20 2:59:52

SSM开发(二) MyBatis两种SQL配置方式及其对比

目录一、MyBatis两种SQL配置方式二、使用XML映射文件配置SQL语句三、使用注解配置SQL语句四、两种方式对比总结 1、注解 2、XML配置五、MyBatis多数据源的两种配置方式参考一、MyBatis两种SQL配置方式 MyBatis 提供了两种方式来配置SQL语句：注解（如 @Select…...

编程日记 2025/5/20 15:39:09

leetcode——删除链表的倒数第N个节点（java）

给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。示例 1： 输入：head [1,2,3,4,5], n 2 输出：[1,2,3,5] 示例 2： 输入：head [1], n 1 输出：[] 示例 3&#xf…...

编程日记 2025/5/20 15:55:37

SpringBoot支持动态更新配置文件参数

前言博主介绍：✌目前全网粉丝3W，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。博主所有博客文件…...

编程日记 2025/5/20 16:05:52

DeepSeek-R1，用Ollama跑起来

# DeepSeek-R1横空出世，超越OpenAI-o1，教你用Ollama跑起来使用Ollama在本地运行DeepSeek-R1的操作指南。 DeepSeek-R1作为第一代推理模型，在数学、代码和推理任务上表现优异，与OpenAI-o1模型不相上下。将此类模型部署到本地&am…...

编程日记 2025/5/18 10:58:19

基于OpenCV实现的答题卡自动判卷系统

一、图像预处理 🌄 二、查找答题卡轮廓 📏 三、透视变换 🔄 四、判卷与评分 🎯 五、主函数六、完整代码+测试图像集总结 🌟 在这篇博客中，我将分享如何使用Python结合OpenCV库开发一个答题卡自动判卷系统。这个系统能够自动从扫描的答题卡中提取信…...

编程日记 2025/5/17 5:26:07

VS Code i18n国际化组件代码code显示中文配置 i18n ally

VUE项目做i18n国际化之后，代码中的中文都变成了code这时的代码就会显得非常难读，如果有一个插件能把code转换成中文显示就好了 vscode插件搜索“i18n ally” 在项目根文件夹下创建文件：.vscode/settings.json settings.json 内容如下 {"…...

编程日记 2025/5/18 0:15:26

后盾人JS--闭包明明白白

延伸函数环境生命周期 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> <…...

编程日记 2025/5/15 8:37:41

[ Spring ] Spring Cloud Alibaba Aliyun OSS 2025

文章目录 Declare PluginsIntroduce DenpendenciesOSS ApplicationOSS ConfigOSS Controller Declare Plugins pluginManagement {repositories {gradlePluginPortal()google()mavenCentral()} }dependencyResolutionManagement {repositoriesMode RepositoriesMode.PREFER_S…...

编程日记 2025/5/19 22:43:59

自定义数据集使用框架的线性回归方法对其进行拟合

代码 import torch import numpy as np import torch.nn as nncriterion nn.MSELoss()data np.array([[-0.5, 7.7],[1.8, 98.5],[0.9, 57.8],[0.4, 39.2],[-1.4, -15.7],[-1.4, -37.3],[-1.8, -49.1],[1.5, 75.6],[0.4, 34.0],[0.8, 62.3]])x_data data[:, 0] y_data data…...

编程日记 2025/5/20 10:43:27