当前位置：首页 > news >正文

【Apache Paimon】-- 15 -- 利用 paimon-flink-action 同步 postgresql 表数据

news 来源：原创 2025/5/10 5:55:44

利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据

1、背景信息

在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式

（1）人工消息通知，然后手动同步到数据仓库中
（2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema
那现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化

2、软件版本

2.1、基础环境

Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
debezium 1.9.8(依赖 kafka 3.2.0)
Postgresql 14
mysql 8.0

2.2、flink 运行依赖第三方包

flink-connector-postgres-cdc-3.1.1.jar
flink-cdc-base-3.1

【Apache Paimon】-- 15 -- 利用 paimon-flink-action 同步 postgresql 表数据

利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据 1、背景信息在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式（1）人工消息通知，然后手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hi…...

编程日记 2025/5/10 5:55:44

正则表达式进阶（二）——零宽断言详解：\b \B \K \z \A

在正则表达式中，零宽断言是一种非常强大的工具，能够在不消费字符的情况下对匹配位置进行约束。除了环视（lookahead 和 lookbehind）以外，还有一些常用的零宽断言，它们用于处理边界、字符串的开头和结尾等特殊…...

编程日记 2025/5/10 5:06:14

java poi Excel 文件导入导出常见错误及解决方案

在使用 Apache POI 进行 Excel 文件的导入导出操作时，可能会遇到各种问题。以下是一些常见的错误及其解决方案： 一、文件格式相关问题 1. 文件格式不兼容问题描述：尝试使用 HSSFWorkbook 读取 .xlsx 文件，或者使用 XSSFWorkbo…...

编程日记 2025/5/10 4:37:45

批量提取word表格数据到一个excel

新建一个excel到word同级目录altf11打开vba窗口并新建模块粘贴下方代码（修改一些必要参数）回到excel表格界面，altf8选择执行该宏注意要在信任中心开启运行vba宏 Sub 批量提取word表格数据到excel()Dim wdApp As Object, wdDoc As ObjectDim …...

编程日记 2025/5/5 5:34:15

快速建立私有化知识库（私有化训练DeepSeek，通过ollama方式）

简介什么？！老是有人问你需求，不同版本的需求你记不清还得去扒拉过程文档、设计文档？ 什么？！领导会询问功能使用情况、用户相关数据，你每次还得手动查询反馈？ 什么？&…...

编程日记 2025/5/6 0:41:08

python 一句话打印行号

在C语言中，打印行号可以直接用预定义的宏__LINE__，打印当前行号，方便调试。 printf("%d", __LINE__); // C语言打印当前行号 python中没有这样的预定义宏。但可以用这种方式，实现一句话打印行号： impor…...

编程日记 2025/5/6 11:58:35

设计模式-生产者消费者模型

阻塞队列： 在介绍生产消费者模型之前，我们先认识一下阻塞队列。阻塞队列是一种支持阻塞操作的队列，常用于生产者消费者模型，它提供了线程安全的队列操作，并且在队列为空或满时，能够阻塞等待，…...

编程日记 2025/5/6 4:44:15

Kubernetes是什么？为什么它是云原生的基石

从“手工时代”到“自动化工厂” 想象一下，你正在经营一家工厂。在传统模式下，每个工人（服务器）需要手动组装产品（应用），效率低下且容易出错。而Kubernetes（k8s）就像一个…...

编程日记 2025/5/5 1:46:08

全国计算机等级考试（NCRE）四级计算机网络考试大纲(2025年版）

文章目录基本要求1. 理解计算机网络的基本概念。2. 掌握局域网的基本工作原理。局域网（LAN）基本工作原理 3. 掌握TCP/IP及其相关协议。 TCP/IP协议及其相关协议1. TCP/IP协议的分层结构2. 主要协议详解（1）IP协议（2&am…...

编程日记 2025/4/30 11:20:20

扩展知识--缓存和分时复用cpu

在多核CPU中，缓存和分时复用CPU是两个重要的概念，它们分别涉及硬件架构和资源管理策略。以下将从缓存的层次结构、工作原理以及分时复用CPU的概念进行详细解释。一、多核CPU中的缓存缓存的定义与作用缓存（Cache）是位于CPU与主…...

编程日记 2025/5/7 6:32:52

6.Centos7上部署flask+SQLAlchemy+python+达梦数据库

情况说明前面已经介绍了window上使用pycharm工具开发项目时，window版的python连接达梦数据库需要的第三方包。这篇文章讲述，centos7上的python版本连接达梦数据库需要的第三方包。之前是在windows上安装达梦数据库的客户端，将驱动包安装到windows版本的python中。（开…...

编程日记 2025/5/8 20:17:51

如何将3DMAX中的3D文件转换为AutoCAD中的2D图形？

大家好，今天我们来探讨一下如何将3DMAX中的3D文件转换为AutoCAD中的2D图形。无论是出于设计交流、施工准备还是其他实际需求，这种转换在工程设计领域都是一项非常实用的技能。接下来，我将为大家详细介绍几种实现这一转换的方法，帮助大家轻松跨越3D与2D设计之间的鸿沟。让我…...

编程日记 2025/4/21 14:06:08

使用LLaMA Factory踩坑记录

前置条件：电脑显卡RTX 4080 问题：LLaMA-Factory在运行的时候，弹出未检测到CUDA的报错信息结论：出现了以上的报错，主要可以归结于以下两个方面： 1、没有安装GPU版本的pytorch，下载的是CPU版本…...

编程日记 2025/5/10 5:44:23

四柱预测学

图表后天八卦十二地支不仅代表了时间，还代表了方位。具体来说： ‌子‌：代表正北方‌丑寅‌：合起来代表东北方‌卯‌：代表正东方‌辰巳‌：合起来代表东南方‌午‌：代表正南方‌未申‌：合起来代表西南方‌酉‌：代表正西方‌戌亥‌：合起来代表西北方‌四季-五行-六神…...

编程日记 2025/5/7 13:18:21

使用 JFreeChart 创建动态图表：从入门到实战

文章目录前言一、JFreeChart 简介二、环境准备三、创建第一个折线图四、自定义图表样式4.1 设置背景色4.2 设置折线颜色4.3 设置字体（解决中文乱码）4.4 设置横坐标的标签宽度和方向五、导出图表六、实战：动态生成日报图表总结前言在数据…...

编程日记 2025/5/6 21:55:11

【自学笔记】文言一心的基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录文心一言知识点总览一、文心一言简介二、文心一言的核心功能三、文心一言的技术特点四、文心一言的应用场景五、文心一言的使用技巧六、文心一言的未来发展总结文…...

编程日记 2025/4/30 21:04:49

解锁AI语音魅力——yoyo鹿鸣在线语音合成器，让创意声音即刻绽放！

yoyo鹿鸣-在线语音合成人工智能语音克隆生成，二次元～ AI工具 | AI探金可以在AI探金社区来找我～ yoyo鹿鸣 - 在线语音生成器需求人群： 有语音合成需求的用户。使用场景示例： 合成yoyo鹿鸣语音等等产品特色&a…...

编程日记 2025/5/4 20:44:57

【无标题】堆

[TOC](优先级队列（堆）) 【本节目标】 1. 掌握堆的概念及实现 2. 掌握 PriorityQueue 的使用 # 1. 优先级队列 ## 1.1 概念前面介绍过队列，**队列是一种先进先出(FIFO)的数据结构**，但有些情况下，**操作的数据可…...

编程日记 2025/5/9 4:07:49

【工具变量】上市公司企业绿色新闻数据（2013-2023年）

测算方式： 参考《中国工业经济》周泽将(2023)老师的做法，首先通过网络爬虫的方法检索并爬取上市公司相关新闻，并辅以人工检索补充校对；新闻文本清理，并通过公司相关性判定以及主题模型识别该新闻是否为上市公司环保主…...

编程日记 2025/5/6 17:49:13

【vue】高德地图AMap.Polyline动态更新画折线，逐步绘制

可以使用 setTimeout 或 setInterval 来逐个点绘制折线，确保每次添加新的点到 path 并更新 Polyline，如下所示： localPolyline(path) {console.log(逐点绘制 polyline...);let drawnPath []; // 用于存储当前绘制的点let index 0;let poly…...

编程日记 2025/5/6 23:18:43

Review: Lecture 7 | Lecture 8 LPV (Light Propagation Volumes) Light Propagation Volumes(LPV)-孤岛惊魂CryEngine引进的技术 LPV做GI快|好大体步骤： Step1.Generation of Radiance Point Set Scene Representation 生成辐射点集的场景表示：辐射…...

编程日记 2025/4/24 9:05:55

三种Excel文本连接方法！

大家好，我是小鱼。在处理Excel表格数据时，有时需要对表格某些单元格中的文本进行连接组合。今天就跟大家分享3种Excel文本连接方法！学会后遇到Excel文本连接问题也不求人！ 方法一、使用&符号连接使用&符号连接文本的话…...

编程日记 2025/5/5 8:36:59

ubuntu 本地部署deepseek r1 蒸馏模型

本文中的文件路径或网络代理需要根据自身环境自行删改一、交互式chat页面 1.1 open-webui 交互窗口部署：基于docker安装，且支持联网搜索 Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线操作。它支持各种 LLM…...

编程日记 2025/5/6 5:14:55

如何删除本地大模型

随着Deepseep模型的爆火，越来越多的用户尝试在本地安装并体验这一强大的AI工具。然而，许多人在安装过程中发现，模型默认会安装在C盘，而C盘的空间通常有限，尤其是对于那些系统盘容量较小的用户来说，这无疑是…...

编程日记 2025/5/9 3:03:08

【共享文件夹】使用Samba服务可在Ubuntu和Windows系统之间共享一个实际的文件夹

目标：在Ubuntu和Windows系统之间共享一个实际的文件夹，并能够共同编辑其中的文件安装Samba创建共享文件夹配置Samba设置Samba密码重启Samba服务以应用更改：在Windows中访问共享文件夹如果客户机无法访问 Samba 服务器，解决方法①…...

编程日记 2025/5/9 17:24:29

用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法

接着上一篇博客：在Ubuntu上用Llama Factory命令行微调Qwen2.5的简单过程_llamafactory 微调qwen 2.5-CSDN博客如果需要微调比较大的模型，例如Qwen2.5-32B，那么在两个3090上可能不够用，这里我用A60004的服务器。但如果仿照上篇博…...

编程日记 2025/5/9 14:43:39

第 26 场蓝桥入门赛

3.电子舞龙【算法赛】 - 蓝桥云课问题描述话说这年头，连舞龙都得电子化！这不，蓝桥村的老程序员王大爷突发奇想，用LED灯带和一堆传感器鼓捣出了一条“电子舞龙”，它能根据程序指令在村里的广场上“翩翩起舞”。广…...

编程日记 2025/5/9 16:09:32

文华财经期货支撑压力多空K线变色期货指标，博易大师指标公式大全

低线:25,DOT; 中线:55,DOT; 高线:85,DOT; LOWV:LLV(LOW,9); HIGHV:HHV(HIGH,9); RSV:EMA((CLOSE-LOWV)/(HIGHV-LOWV)*100,3); K:EMA(RSV,3); 趋势线:MA(K,3); DBA:K-趋势线; STICKLINE(DBA>0,(K-DBA*0.1),(K-DBA*0.75),2,0),COLORRED; STICKLINE(DBA<0,(趋势线DBA*0.1),…...

编程日记 2025/5/9 16:07:27

基于大模型的围术期脆弱性评估系统研究报告

一、引言 1.1 研究背景与意义围术期是指从患者决定接受手术治疗开始，到手术治疗直至基本康复的全过程，包括术前、术中和术后三个阶段。围术期管理对于保障患者安全、提高治疗效果具有至关重要的意义。在术前阶段，全面准确的评估患者身体状况能够帮助医生提前发现潜在风险…...

编程日记 2025/5/9 16:02:04

星网锐捷视频话机设备pwdsetting管理密码信息泄漏

星网锐捷视频话机设备pwdsetting管理密码信息泄漏漏洞描述星网锐捷视频话机设备泄露管理员密码，攻击者可利用密码直接进入后台配置页面，执行恶意操作，进行一步攻击。威胁等级: 高危漏洞分类: 信息泄露涉及厂商及产品：…...

编程日记 2025/5/9 16:13:23

深入理解小波变换：信号处理的强大工具

引言在科学与工程领域，信号处理一直是关键环节，傅里叶变换与小波变换作为重要的分析工具，在其中发挥着重要作用。本文将深入探讨小波变换，阐述其原理、优势以及与傅里叶变换的对比，并通过具体案例展示其应用价值。一…...

编程日记 2025/5/9 15:16:09

Python----Python高级（并发编程：协程Coroutines，事件循环，Task对象，协程间通信，协程同步，将协程分布到线程池/进程池中）

一、协程 1.1、协程协程，Coroutines，也叫作纤程(Fiber) 协程，全称是“协同程序”，用来实现任务协作。是一种在线程中，比线程更加轻量级的存在，由程序员自己写程序来管理。当出现IO阻塞时，…...

编程日记 2025/5/9 15:50:54

神经网络（Neural Network）

引言神经网络，作为人工智能和机器学习领域的核心组成部分，近年来在诸多领域取得了显著的进展。受生物神经系统的启发，神经网络通过模拟人脑神经元的工作机制，能够从大量数据中学习复杂的模式和关系。其强大的非线性建模能力使其在图像识别、自然语言处理、语音识别和预测…...

编程日记 2025/5/9 16:14:23

AIGC-微头条爆款文案创作智能体完整指令(DeepSeek，豆包，千问，Kimi，GPT)

Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列AIGC(GPT、DeepSeek、豆包、千问、Kimi)👉关于作者专注于Android/Unity和各种游戏开发技巧，以及各种资…...

编程日记 2025/5/9 15:45:32

A股level2高频数据分析20250205

A股level2高频数据分析20250205 通过Level2的逐笔成交与委托记录，这种高精度的毫秒级数据能够洞察诸多重要信息，包括庄家目的、误导性行为，使所有交易操作透明化。这对于分析高手的交易策略极为有益，对机器学习的研究也极具价值&…...

编程日记 2025/5/9 16:04:47

【Pytorch实战教程】PyTorch中的Dataset用法详解

PyTorch中的Dataset用法详解在深度学习中，数据是模型训练的基石。PyTorch作为一个强大的深度学习框架，提供了丰富的工具来处理和加载数据。其中，Dataset类是PyTorch中用于处理数据的重要工具之一。本文将详细介绍Dataset的用法，帮助你更好地理解和使用它。 1. 什么是Dat…...

编程日记 2025/5/9 16:06:31

UIAbility 生命周期方法

生命周期流程图 UIAbility的生命周期官方文档地址https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V13/uiability-lifecycle-V13 1. onCreate(want: Want, launchParam: LaunchParam) 触发时机：Ability首次创建时作用：初始化核心资源…...

编程日记 2025/5/9 16:01:14

UML学习

定义：UML是一种用于软件系统分析和设计的标准化建模语言。作用：用于描述系统的结构、行为、交互等。共定义了10种,并分为4类 ①用例图 user case diagram : 从外部用户的角度描述系统的功能,并指出功能的执行者. 静态图(②类图 class diagram ③,对象…...

编程日记 2025/5/9 16:11:25

DeepSeek-R1 32B Windows+docker本地部署

最近国产大模型DeepSeek兴起，本地部署了一套deepseek同时集成Open WebUI界面,给大家出一期教程。软件：Ollama、docker、Open WebUI 一、用Ollama下载模型首先我们需要安装Ollama，它可以在本地运行和管理大模型。到Ollama官网 https://ol…...

编程日记 2025/5/9 15:16:09

界址点成果表批量生成（新增.docx格式）-附工具下载链接

界址点编号工具20250208更新（成果表新增.docx格式）。【工具简介】工具可根据面图层，西北角顺时针批量生成界址点，可以设置角度、距离参数，来减少生成界址点的数量（不用全部节点生成界址点）。生…...

编程日记 2025/5/9 16:01:14

计算机组成原理（3）

计算机组成原理（3） 存储器层次结构存储器概述存储器分类存储器性能指标半导体随机存储SRAM和DRAM 存储器层次结构主存-辅存：实现了虚拟存储系统，解决了主存容量不足的问题； Cache-主存：解决了主存于CPU速…...

编程日记 2025/4/30 21:04:48

【新书速荐】《Information-Theoretic Radar Signal Processing（信息论雷达信号处理）》

引言最近，由Yujie Gu 博士和 Yimin D. Zhang 教授主编的新书 Information-Theoretic Radar Signal Processing由 Wiley-IEEE Press 正式出版。这是信息论雷达信号处理领域的首部专著，全书共分 14 章，汇集了来自学术界、工业界和政府机构的…...

编程日记 2025/5/9 16:02:04

ES冷热数据分离配置

冷热数据是根据索引创建时间来进行迁移的。一旦迁移到冷数据节点，则无法再恢复成热数据，因为热数据节点中该索引已经没有分片存在了。基于Docker搭建ES集群,并设置冷热数据节点配置冷热数据迁移策略 PUT https://192.168.x.xx:19200/_ilm/policy/my…...

编程日记 2025/5/9 16:06:31

Docker 构建镜像并搭建私人镜像仓库教程

构建镜像教程步骤 1：安装 Docker #在安装 Docker 之前，建议先更新系统软件包。 sudo yum update -y # 移除旧的Docker版本和Podman、runc软件包及其相关依赖。 yum remove -y docker docker-client docker-client-latest docker-ce-cli docker-commo…...

编程日记 2025/5/9 15:47:23

蓝牙耳机降噪进化：从物理阻隔到声波抵消的跨越

目录一、降噪技术的核心分类（一）被动降噪：物理屏障的“静音盾”（二）主动降噪：声波抵消的“黑科技”（三）混合降噪：双重技术的“强强联合” 二、细分技术及应用场景&#…...

编程日记 2025/5/9 16:08:31

23.PPT：校摄影社团-摄影比赛作品【5】

目录 NO12345 NO6 NO7/8/9/10 单元格背景填充表格背景填充文本框背景填充幻灯片背景格式设置添加考生文件夹下的版式 NO12345 插入幻灯片和放入图片☞快速：插入→相册→新建相册→文件→图片版式→相框形状→调整边框宽度左下角背景图片：视图→…...

编程日记 2025/5/9 16:11:26

systemverilog的program和module的区别

1. 设计目的 module 硬件建模：用于描述数字电路的结构和行为（如组合逻辑、时序逻辑、连线等）。层次化设计：支持模块化设计，可嵌套其他模块或接口（interface）。仿真周期内持续存在&#xff1…...

编程日记 2025/5/9 12:15:09

AI大模型零基础学习（2）：提示词工程进阶——让AI听懂你的“弦外之音“

从“基础对话”到“精准操控”的思维跃迁一、为什么你的提问总被AI“误解”？ 1.1 大模型的“思维盲区” 知识边界：ChatGPT等模型的训练数据截止于特定时间（如2023年1月），无法主动获取最新资讯文化差异：…...

编程日记 2025/5/9 16:00:23

如今物联网的快速发展对hmi的更新有哪些积极影响

一、功能更加丰富物联网的快速发展使得 HMI（人机界面）能够连接更多的设备和系统，从而实现更加丰富的功能。例如，通过与传感器网络的连接，HMI 可以实时显示设备的运行状态、环境参数等信息，为用户提供更加…...

编程日记 2025/5/9 16:05:39

基于yolov11的阿尔兹海默症严重程度检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

【算法介绍】基于YOLOv11的阿尔兹海默症严重程度检测系统是一种创新的医疗辅助工具，旨在通过先进的计算机视觉技术提高阿尔兹海默症的早期诊断和病情监测效率。阿尔兹海默症是一种渐进性的神经退行性疾病，通常表现为认知障碍、记忆丧失和语言障碍等症状…...