当前位置： 首页 > news >正文

Paimon_01_241020

news 来源：原创 2025/7/15 5:19:21

1. 概述

1.1. 核心特点

  1. 统一批处理和流处理（流和批同一套代码）
  2. 数据湖能力
  3. 多种引擎平权
  4. 变更日志生成
  5. 丰富的表类型（主键表、append-only，有序的流式读取来代替消息队列）
  6. 模式演化（schema变更）

1.2. 组件

  • Paimon 0.5 SNAPSHOT
  • Flink 1.17.0
  • Hive 3.1.3
  • Spark 3.3.1

img

1.3. 基本概念

  • Snapshot。可以通过最新快照来访问最新数据。
  • Partition。分文件夹，可选。如果定义了主键，分区键必须是主键的子集。
  • Bucket。未分区表或分区表被细分为存储桶。桶是读写的最小存储单元，因此桶的数量限制了最大处理并行度（太大会导致大量小文件和低读取性能）。建议每个桶大小为1GB左右。
  • 一致性保证。任意两个同时修改表的Writer，只要不修改同一个桶，他们的提交都是可序列化；如果修改同一个桶，则仅保证快照隔离，也就是最终状态可能是两次提交的混合，但不会丢失任何更改。

1.4. 文件布局

img

2. 集成Flink

2.1. 环境准备

img

2.1.1. 先安装flink

img

2.1.2. 再上传paimon的jar包到flink的lib目录下

img

2.1.3. 启动Hadoop
2.1.4. 启动flink sql-client img

2.2. Catalog

Paimon Catalog可以持久化元数据，支持两种类型的metastore

  • 文件系统（默认）
  • hive metastore
2.2.1. 文件系统

img

2.2.2. Hive Catalog

略

2.3. DDL

2.3.1. 建管理表

在paimon catalog中创建的表就是管理表，由catalog管理。当表从catalog中删除时文件也被删除，相当于是hive的内部表。

  1. 建表

内部表不需要指定connector。

略。

  1. 建分区表

注意主键子段必须是分区字段的子集。

略。

  1. CREATE TABLE AS（CTAS）（Flink支持）

img

img

2.3.2. 建外部表

外部表由Catalog记录但不管理。删除外部表，其表文件不会被删除。

注意：不能在Paimon Catalog下执行以下语句，要在fs_catalog下执行

img

2.3.3. 建临时表

仅Flink支持临时表。与外部表一样，临时表只是记录，但不由当前Flink SQL会话管理，临时表不持久化。与外部表的区别在于，临时表在Paimon Catalog中创建。

如果像将Paimon Catalog与其他表一起使用，但不想将他们存储在其他Catalog中，可以创建临时表。

img

2.3.4. 修改表

img

2.3.5. 修改列

img

img

2.3.6. 修改水印

img

todo：今天学到13

lookup join维表join

img

img

img

相关文章：

Paimon_01_241020

1. 概述 1.1. 核心特点 统一批处理和流处理（流和批同一套代码）数据湖能力多种引擎平权变更日志生成丰富的表类型（主键表、append-only，有序的流式读取来代替消息队列）模式演化（schema变更） 1…...

编程日记 2025/7/15 5:19:21

人工智能：变革时代的核心驱动力

求各位观众老爷看一看 先声明一下，该内容由于篇幅过长，可能会有一些地方存在一些小问题请大家谅解 观众老爷们，点个免费的赞和关注呗，您们的支持就是我最大的动力~ 人工智能：变革时代的核心驱动力 一、引言 在当今…...

编程日记 2025/7/15 5:04:58

【机器学习】工业 4.0 下机器学习如何驱动智能制造升级

我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 随着科技的飞速发展，工业 4.0 浪潮正席卷全球制造业，而机器学习作为这一变革中的关键技术，正以前…...

编程日记 2025/7/13 16:49:00

数据分析-Excel

数据类型和函数初步 Excel中有文本类型和数值类型–但是无法用肉眼分辨出来isnumber来区分是否是数值类型text和value函数可以完成数值类型以及文本类型的转换单元格第一位输入’方式明确输入的是文本sum函数必须是数值类型 文本连接-and-or-not-if-mod-max函数 字符串的连接…...

编程日记 2025/7/15 5:15:30

Kubernetes第二天

1.pod运行一个容器 1.创建目录 mkdir -p /manifests/pod 2.编写pod资源清单文件 vim 01-myweb.yaml 说明： apiVersion:指的是Api的版本 metadata：资源的元数据 spec:用户期望的资源的运行状态 status：资源实际的运行状态 由于拉取远…...

编程日记 2025/7/11 5:22:57

【Java 学习】深度剖析Java多态：从向上转型到向下转型，解锁动态绑定的奥秘，让代码更优雅灵活

💬 欢迎讨论：如对文章内容有疑问或见解，欢迎在评论区留言，我需要您的帮助！ 👍 点赞、收藏与分享：如果这篇文章对您有所帮助，请不吝点赞、收藏或分享，谢谢您的支持&#x…...

编程日记 2025/7/15 5:16:27

Kerberos用户认证-数据安全-简单了解-230403

hadoop安全模式官方文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SecureMode.html kerberos是什么 kerberos是计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。 概念&#…...

编程日记 2025/7/15 4:50:21

大中厂面试经验分享：如何使用消息队列（MQ）解决系统问题

在大中型互联网公司中，消息队列（MQ）作为一种关键的分布式系统组件，广泛应用于解决系统中的高并发、异步处理、解耦等问题。 在面试中，尤其是针对后端工程师或系统架构师的职位，面试官常常会通过询问消息队列…...

编程日记 2025/7/13 3:57:48

c#String和StringBuilder

目录 一，String 1，string的特点： 2，string常用方法 （1）Length （2）Substring() （3）ToUpper() （4）ToLower() （5&…...

编程日记 2025/7/11 4:20:53

【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制

深入详解强化学习之常用算法：Q-Learning与策略梯度 强化学习（Reinforcement Learning, RL）作为机器学习的一个重要分支，近年来在多个领域取得了显著成果。从棋类游戏的人机对战到自主驾驶汽车，强化学习技术展示了其强大…...

编程日记 2025/7/9 22:14:46

jQuery学习笔记2

jQuery 属性操作 <body><a href"http://www.itcast.cn" title"都挺好">都挺好</a><input type"checkbox" name"" id"" checked /><div index"1" data-index"2">我是div&…...

编程日记 2025/7/14 14:39:54

发现API安全风险，F5随时随地保障应用和API安全

分析数据显示&#xff0c;目前超过90%的基于Web的网络攻击都以API端点为目标&#xff0c;试图利用更新且较少为人所知的漏洞&#xff0c;而这些漏洞通常是由安全团队未主动监控的API所暴露。现代企业需要一种动态防御策略&#xff0c;在风险升级成代价高昂、令人警惕且往往无法…...

编程日记 2025/7/15 4:49:02

移动端如何实现上拉加载

一、理解上拉加载的原理 上拉加载是一种在移动端很常见的交互方式&#xff0c;其原理是当用户在页面上向上滑动&#xff08;即滚动条接近底部&#xff09;时&#xff0c;触发一个加载更多数据的操作。这通常涉及到对滚动事件的监听以及判断滚动位置是否达到了触发加载的阈值。…...

编程日记 2025/7/15 5:06:27

the request was rejected because no multipart boundary was found

文章目录 1. 需求描述2. 报错信息3. 探索过程 1. 使用postman 排除后端错误2. 搜索网上的解决方法3. 解决方法 1. 需求描述 想要在前端上传一个PDF 发票&#xff0c;经过后端解析PDF之后&#xff0c;将想要的值自动回填到对应的输入框中 2. 报错信息 org.apache.tomcat.u…...

编程日记 2025/7/11 18:59:58

Android 自定义shell命令

模拟触摸、按键等操作&#xff0c;直接在命令行输入对应命令即可。命令行如何识别并操作此命令&#xff0c;执行操作的是shell程序&#xff0c;还是java程序&#xff1f;是不是可以添加自定义的命令&#xff1f; 以下在Android13的代码中分析input命令 Android系统中使用了一…...

编程日记 2025/7/14 5:28:54

HTML5滑块（Slider）

HTML5 的滑块&#xff08;Slider&#xff09;控件允许用户通过拖动滑块来选择数值。以下是如何实现一个简单的滑块组件的详细说明。 HTML5 滑块组件 1. 基本结构 使用 <input type"range"> 元素可以创建一个滑块。下面是基本实现的代码示例&#xff1a; <…...

编程日记 2025/7/15 4:47:51

《SwiftUI 实现点击按钮播放 MP3 音频》

功能介绍 点击按钮时&#xff0c;应用会播放名为 yinpin.mp3 的音频文件。使用 AVAudioPlayer 来加载和播放音频。 关键点&#xff1a; 按钮触发&#xff1a;点击按钮会调用 playAudio() 播放音频。音频加载&#xff1a;通过 Bundle.main.url(forResource:) 加载音频文件。播…...

编程日记 2025/7/15 5:03:42

表单元素（标签）有哪些？

HTML 中的表单元素&#xff08;标签&#xff09;用于收集用户输入的数据&#xff0c;常见的有以下几种&#xff1a; 文本输入框 <input type"text">&#xff1a;用于单行文本输入&#xff0c;如用户名、密码等。可以通过设置maxlength属性限制输入字符数&…...

编程日记 2025/7/15 4:28:03

大型ERP系统GL（总账管理）模块需求分析

主要介绍了GL系统的需求分析&#xff0c;包括系统概述、功能描述、帐薄管理、报表管理、期末处理、财务报表以及凭证的快速输入方式、可用性设计、保存、自动审核和打印等方面的内容。系统概述部分介绍了系统的功能结构和模块流程图。 功能描述部分详细描述了系统的基础资料和业…...

编程日记 2025/7/15 4:44:09

SQL常用语句(基础)大全

SQL语句的类型 1.DDL 1.库2.表 2.DML 1.插入数据 insert inot2.删除数据 delete / truncate3.修改数据 update set 3.DQL 1.无条件查询2.查询 什么开始 到什么结束3.指定条件查询 1.单个条件 ro in2.多个条件 and4.查询不为NULL值 is not null ,为NULL值 is null5.模糊查询 li…...

编程日记 2025/7/11 19:49:18

关于HarmonyOS Next中卡片的使用方法

关于Harmony OS中卡片的使用方法 在Harmony OS中&#xff0c;静态卡片是一种非常有用的组件&#xff0c;用于提供应用内功能组件的交互和信息展示。本文将详细介绍如何在Harmony OS中使用静态卡片以及相关的API接口。 1. 概述 静态卡片是Harmony OS中的一种交互组件&#xf…...

编程日记 2025/7/10 20:20:19

Retrofit和rxjava 实现窜行请求，并行请求，循环多次请求，递归请求，错误重试

在使用 Retrofit 和 RxJava 时&#xff0c;可以通过多种方式实现多次请求&#xff0c;比如串行请求、并行请求、依赖请求等。以下是一些常见的实现方式&#xff1a; 1. 串行请求&#xff08;依赖关系&#xff09; 一个请求的结果作为另一个请求的输入&#xff0c;可以用 flat…...

编程日记 2025/7/11 6:15:16

C# OpenCV机器视觉:目标跟踪

在一个阳光明媚的下午&#xff0c;阿强正在实验室里忙碌&#xff0c;突然他的同事小杨走了进来&#xff0c;脸上挂着一丝困惑。 “阿强&#xff0c;我的目标跟踪项目出了问题&#xff01;我想跟踪一个移动的物体&#xff0c;但总是跟丢&#xff01;”小杨一边说&#xff0c;一…...

编程日记 2025/7/3 1:13:03

LeetCode 191 位1的个数

计算正整数二进制表示中汉明重量的两种实现方式对比 在编程的世界里&#xff0c;我们常常会遇到一些有趣又实用的小问题&#xff0c;今天就来和大家分享一下如何计算一个正整数二进制表示中设置位&#xff08;也就是 1 的个数&#xff0c;专业术语叫汉明重量&#xff09;的问题…...

编程日记 2025/7/14 18:19:21

【软件测试面试】银行项目测试面试题+答案（二）

前言 面试题&#xff1a;贷款有哪几种形式? 贷款是指金融机构或其他信贷机构向借款人提供资金&#xff0c;并按照约定的条件和期限收取一定利息的行为。根据贷款的不同形式&#xff0c;贷款可以分为以下几种&#xff1a; 按照还款方式分&#xff1a;分期付款贷款、到期一次…...

编程日记 2025/7/14 18:09:53

分布式消息队列RocketMQ

一、RocketMQ概述 1.1 MQ 概述 MQ&#xff0c;Message Queue&#xff0c;是一种提供消息队列服务的中间件&#xff0c;也成为消息中间件&#xff0c;是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据 1.2 MQ 用途 MQ的用途总结起来可分为以下三点 限流削峰…...

编程日记 2025/7/12 7:02:42

Temporary failure resolving ‘security.ubuntu.com‘

apt-get update 的时候出现&#xff1a; Temporary failure resolving security.ubuntu.com Temporary failure resolving archive.ubuntu.com具体信息&#xff1a; > ERROR [devel 3/17] RUN bash ./install_base.sh 3.12.3 && rm install_base.sh …...

编程日记 2025/7/10 22:15:32

0基础跟德姆（dom）一起学AI 自然语言处理10-LSTM模型

1 LSTM介绍 LSTM&#xff08;Long Short-Term Memory&#xff09;也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析: 遗忘门输入门细胞状态输出门…...

编程日记 2025/7/9 17:26:07

设计模式 创建型 建造者模式（Builder Pattern）与 常见技术框架应用 解析

单例模式&#xff08;Singleton Pattern&#xff09;&#xff0c;又称生成器模式&#xff0c;是一种对象构建模式。它主要用于构建复杂对象&#xff0c;通过将复杂对象的构建过程与其表示分离&#xff0c;使得同样的构建过程可以创建出具有不同表示的对象。该模式的核心思想是将…...

编程日记 2025/7/13 22:23:59

cJson—json和XML比较

cJson—json和XML比较 前言1. 数据结构与表达能力2. 效率&#xff08;性能&#xff09;3. 存储占用与传输效率4. 开发难易程度5. 跨平台支持与兼容性6. 灵活性与扩展性7. 错误处理与验证**总结&#xff1a;JSON 与 XML 的优缺点对比选择建议 前言 在嵌入式设备开发中&#xff…...

编程日记 2025/7/9 8:21:44

【项目】智能BI洞察引擎 测试报告

目录 一、项目背景BI介绍问题分析项目背景 二、项目功能三、功能测试1、登录测试测试用例测试结果 2、注册测试测试用例测试结果出现的bug 3、上传文件测试测试用例测试结果 4、AI生成图表测试测试用例测试结果 5、分析数据页面测试&#xff08;异步&#xff09;测试用例测试结…...

编程日记 2025/7/11 18:59:56

基于SpringBoot的野生动物保护发展平台的设计与实现（源码+SQL+LW+部署讲解）

文章目录 摘 要1. 第1章 选题背景及研究意义1.1 选题背景1.2 研究意义1.3 论文结构安排 2. 第2章 相关开发技术2.1 前端技术2.2 后端技术2.3 数据库技术 3. 第3章 可行性及需求分析3.1 可行性分析3.2 系统需求分析 4. 第4章 系统概要设计4.1 系统功能模块设计4.2 数据库设计 5.…...

编程日记 2025/7/10 1:16:26

QEMU网络配置简介

本文简单介绍下qemu虚拟机网络的几种配置方式。 通过QEMU的支持&#xff0c;常见的可以实现以下4种网络形式&#xff1a; 基于网桥&#xff08;bridge&#xff09;的虚拟网络。基于NAT&#xff08;Network Addresss Translation&#xff09;的虚拟网络。QEMU内置的用户模式网…...

编程日记 2025/7/9 22:56:22

wps透视数据表

1、操作 首先选中你要的行字段表格 -> 插入 -> 透视数据表 -> 拖动行值&#xff08;部门&#xff09;到下方&#xff0c;拖动值&#xff08;包裹数量、运费&#xff09;到下方 2、删除 选中整个透视数据表 -> delete 如图&#xff1a;...

编程日记 2025/7/14 3:44:50

Modbus知识详解

Modbus知识详解 ## 1.什么是Modbus?**顾名思义**&#xff0c;它是一个Bus&#xff08;总线&#xff09;&#xff0c;即总线协议。比如串口协议、IIC协议、SPI都是通信协议。你接触到这种协议&#xff0c;相信你所处的行业是工业电子方面或者你的产品用于工业。好了&#xff0c…...

编程日记 2025/7/15 4:43:00

c++字节对齐

字节对齐&#xff08;Byte Alignment&#xff09;是指计算机存储器中数据存放的位置必须满足特定的地址要求&#xff0c;以提高内存访问效率。在许多计算机系统中&#xff0c;处理器在读取内存中的数据时&#xff0c;需要按照特定的边界进行访问&#xff0c;这种边界通常是2的幂…...

编程日记 2025/7/14 23:59:01

javaEE-文件内容的读写

目录 一.数据流 1.字节流 InputStream的方法&#xff1a; cloes() read() OutPutStream writer()方法 2.字符流 Reader: writer: 代码练习1: 代码练习2: 代码练习3: 一.数据流 java标准库对数据进行了封装,提供了一组类负责进行这些工作. 数据流分为两类:字节流和…...

编程日记 2025/7/12 1:47:47

SWM221系列芯片之电机应用及控制

经过对SWM221系列的强大性能及外设资源&#xff0c;TFTLCD彩屏显示及控制进行了整体介绍后&#xff0c;新迎来我们的电控篇---SWM221系列芯片之电机应用及控制。在微控制器市场面临性能、集成度与成本挑战的当下&#xff0c;SWM221系列芯片以其卓越性能与创新设计&#xff0c;受…...

编程日记 2025/7/13 9:09:15

Mongodb日志报错too many open files，导致mongod进程down

【解决方案】 &#xff08;1&#xff09;进入到服务器&#xff0c;执行&#xff1a; ulimit -a 查看&#xff1a;open files这一行的数量&#xff0c;如果查询到的结果是1000左右&#xff0c;那多半是服务器限制。 &#xff08;2&#xff09;在当前session窗口执行如下&…...

编程日记 2025/7/4 6:15:03

在 uni-app 中使用 wxml-to-canvas 的踩坑经验总结

在 uni-app 中使用 wxml-to-canvas 的踩坑经验总结 wxml-to-canvas 是一款非常强大的小程序工具&#xff0c;可以将 WXML 转换为 Canvas 绘图&#xff0c;用于生成海报、分享图片等。将其应用于 uni-app 项目中&#xff0c;可以为多端开发带来极大的便利&#xff0c;但也有一些…...

编程日记 2025/6/28 16:48:09

基本算法——回归

目录 创建工程 加载数据 分析属性 创建与评估回归模型 线性回归 回归树 评估 完整代码 结论 本节将通过分析能源效率数据集&#xff08;Tsanas和Xifara&#xff0c;2012&#xff09;学习基本的回归算法。我们将基 于建筑的结构特点&#xff08;比如表面、墙体与屋顶面…...

编程日记 2025/7/10 17:21:31

NestJS 性能优化：从应用到部署的最佳实践

在上一篇文章中&#xff0c;我们介绍了 NestJS 的微服务架构实现。本文将深入探讨 NestJS 应用的性能优化策略&#xff0c;从应用层到部署层面提供全方位的优化指南。 应用层优化 1. 路由优化 // src/modules/users/users.controller.ts import { Controller, Get, UseInter…...

编程日记 2025/7/8 21:28:36

VuePress搭建个人博客

VuePress搭建个人博客 官网地址: https://v2.vuepress.vuejs.org/zh/ 相关链接: https://theme-hope.vuejs.press/zh/get-started/ 快速上手 pnpm create vuepress vuepress-starter# 选择简体中文、pnpm等, 具体如下 .../19347d7670a-1fd8 | 69 .../19…...

编程日记 2025/7/10 23:42:55

在AWS Lambda上部署Python应用：从入门到实战

在AWS Lambda上部署Python应用：从入门到实战 随着云计算和无服务器架构（Serverless Architecture）在业界的普及，AWS Lambda成为了一个强有力的工具。它让开发者可以部署代码而无需管理服务器，按需运行，按时间计费。AWS Lambda支持多种语言，其中Python作为一门高效、简洁…...

编程日记 2025/7/14 5:46:39

初学STM32 ---高级定时器互补输出带死区控制

互补输出&#xff0c;还带死区控制&#xff0c;什么意思&#xff1f; 带死区控制的互补输出应用之H桥 捕获/比较通道的输出部分&#xff08;通道1至3&#xff09; 死区时间计算 举个栗子&#xff08;F1为例&#xff09;&#xff1a;DTG[7:0]250&#xff0c;250即二进制&#x…...

编程日记 2025/7/8 5:07:41

chatwoot 开源客服系统搭建

1. 准备开源客服系统&#xff08;我是用的Chatwoot &#xff09; 可以选择以下开源客服系统作为基础&#xff1a; Chatwoot: 开源&#xff0c;多语言&#xff0c;跟踪和分析&#xff0c;支持多渠道客户对接&#xff0c;自动化和工作流等。源码Zammad: 现代的开源工单系统。Fr…...

编程日记 2025/7/14 23:29:38

Ungoogled Chromium127编译指南 Linux篇 - 安装Docker（六）

1. 引言 在了解了Docker的重要性后&#xff0c;我们需要在系统中正确安装和配置Docker环境。Docker的安装过程看似简单&#xff0c;但要确保其能够完美支持Ungoogled Chromium的编译&#xff0c;还需要进行一些特殊的配置。本文将详细介绍如何在Ubuntu系统上安装Docker&#x…...

编程日记 2025/7/13 5:02:14

试用ChatGPT的copilot编写一个程序从笔记本电脑获取语音输入和图像输入并调用开源大模型进行解析

借助copilot写代码和自己手写代码的开发过程是一样的。 首先要有明确的开发需求&#xff0c;开发需求越详细&#xff0c;copilot写出的代码才能越符合我们的预期。 其次&#xff0c;有了明确的需求&#xff0c;最好先做下需求拆解&#xff0c;特别是对于比较复杂的应用&#xf…...

编程日记 2025/7/7 5:51:13

Kafka 性能提升秘籍：涵盖配置、迁移与深度巡检的综合方案

文章目录 1.1.网络和io操作线程配置优化1.2.log数据文件刷盘策略1.3.日志保留策略配置1.4.replica复制配置1.5.配置jmx服务1.6.系统I/O参数优化1.6.1.网络性能优化1.6.2.常见痛点以及优化方案1.6.4.优化参数 1.7.版本升级1.8.数据迁移1.8.1.同集群broker之间迁移1.8.2.跨集群迁…...

编程日记 2025/7/12 10:30:23

2024年常用工具

作为本年度高频使用工具&#xff0c;手机端也好&#xff0c;桌面端也好&#xff0c;筛选出来9款产品&#xff0c;这里也分享给关注我的小伙伴 &#xff0c;希望对你有些帮助&#xff0c;如果你更好的产品推荐&#xff0c;欢迎留言给我。 即刻 产品经理的聚集地&#xff0c;“让…...

编程日记 2025/7/14 14:54:28