当前位置：首页 > news >正文

OCR实践-Table-Transformer

news 来源：原创 2025/5/14 17:35:02

前言

书接上文

OCR实践—PaddleOCR

Table-Transformer 与 PubTables-1M

table-transformer，来自微软，基于Detr，在PubTables1M 数据集上进行训练，模型是在提出数据集同时的工作，

paper PubTables-1M: Towards comprehensive table extraction from unstructured documents，发表在2022年的 CVPR

数据来自 PubMed PMCOA 数据库的一百万个文章表格

PubTables-1M 针对表格处理一共有三个任务（所以table transformer 也能做到）

表格检测（表格定位）TD
表格结构识别（行、列、spanning cell，grid cell， text cell）TSR
表格分析（表头 cell，projected row header cell) FA

在这里插入图片描述

table-transformer

是第一个将 detr 用于表格处理任务的模型，没有使用任何特别的定制模块，简称为 TATR

we apply the Detection Transformer (DETR) [2] for the first time to the tasks of TD, TSR, and FA, and demonstrate how with PubTables-1M all three tasks can be addressed with a transformer-based object detection framework without any special customization for these tasks.

有关模型详细的权重、指标信息可以通过论文和 Github仓库可以进一步了解

https://arxiv.org/abs/2110.00061

https://github.com/microsoft/table-transformer

官方也在HuggingFace 上提供了各个模型权重

https://huggingface.co/collections/microsoft/table-transformer-6564528e330b667bb267502e
在这里插入图片描述

各个模型的版本和区别信息如下

在这里插入图片描述

官方提示，microsoft/table-transformer-structure-recognition-v1.1-all 是最好的结构识别模型

实践代码

如有问题，需要帮助，欢迎留言、私信或加群交流【群号：392784757】

表格检测 TD

通过以下设置，可以加速下载以及保存模型到当前文件夹下

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"
os.environ['HF_HUB_CACHE'] = './hf_models/'
os.environ['TRANSFORMERS_CACHE'] = './hf_models'
os.environ['HF_HOME'] = './hf_models'

打开文件

table_img_path = './table.jpg'
image = Image.open(table_img_path).convert("RGB")
file_name = table_img_path.split('/')[-1].split('.')[0]

加载模型

image_processor = AutoImageProcessor.from_pretrained("microsoft/table-transformer-detection")
model = TableTransformerForObjectDetection.from_pretrained("microsoft/table-transformer-detection")

模型推理与后处理

inputs = image_processor(images=image, return_tensors="pt")
outputs = model(**inputs)target_sizes = torch.tensor([image.size[::-1]])
results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[0]

结果解析

i = 0
for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):box = [round(i, 2) for i in box.tolist()]print(f"Detected {model.config.id2label[label.item()]} with confidence "f"{round(score.item(), 3)} at location {box}")region = image.crop(box) #检测region.save(f'./{file_name}_{i}.jpg')i += 1

表格结构识别 TSR

打开图片与模型加载

from transformers import DetrFeatureExtractor
feature_extractor = DetrFeatureExtractor()file_path = "./locate_table.jpg"
image = Image.open(file_path).convert("RGB")encoding = feature_extractor(image, return_tensors="pt")
model = TableTransformerForObjectDetection.from_pretrained("microsoft/table-transformer-structure-recognition-v1.1-all")
print(model.config.id2label)
# {0: 'table', 1: 'table column', 2: 'table row', 3: 'table column header', 4: 'table projected row header', 5: 'table spanning cell'}

模型推理与后处理

with torch.no_grad():outputs = model(**encoding)target_sizes = [image.size[::-1]]
results = feature_extractor.post_process_object_detection(outputs, threshold=0.6, target_sizes=target_sizes)[0]
# print(results)

结果解析

header

headers_box_list = [results['boxes'][i].tolist() for i in range(len(results['boxes'])) if results['labels'][i].item()==3] 
crop_image = image.crop(headers_box_list[0]) 
crop_image.save('header.png')

column

columns_box_list = [results['boxes'][i].tolist() for i in range(len(results['boxes'])) if results['labels'][i].item()==1] 
print(len(columns_box_list))

row

rows_box_list = [results['boxes'][i].tolist() for i in range(len(results['boxes'])) if results['labels'][i].item()==2] 
print(len(rows_box_list))

cell

cell_draw_image = image.copy()
cell_draw = ImageDraw.Draw(cell_draw_image)# col row inserction
for col in columns_box_list:for row in rows_box_list:cell = intersection(col,row) # 自行定义 if cell is not None:cell_draw.rectangle(cell, outline="red", width=3)cell_draw_image.save("cells.png")

效果

在这里插入图片描述

效果还不错

感谢

感谢以下文章提供的灵感与代码参考

[表格检测与识别入门 - My Github Blog](https://percent4.github.io/表格检测与识别入门/#表格结构识别
表格检测与识别的初次尝试

OCR实践-Table-Transformer

前言书接上文 OCR实践—PaddleOCR Table-Transformer 与 PubTables-1M table-transformer，来自微软，基于Detr，在PubTables1M 数据集上进行训练，模型是在提出数据集同时的工作， paper PubTables-1M: Towards comp…...

编程日记 2025/5/14 17:35:02

代码随想录五刷day6

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、力扣144. 二叉树的前序遍历(递归)二、力扣144. 二叉树的前序遍历(迭代)三、力扣145. 二叉树的后序遍历(递归)四、力扣145. 二叉树的后序遍历(迭代)五、力扣…...

编程日记 2025/5/14 16:37:18

【自信息、信息熵、联合熵、条件熵、互信息】

文章目录一、自信息 I(X)二、信息熵：衡量系统的混乱程度信息熵 H(X)联合熵 H(X,Y) 三、条件熵H(Y|X) 联合熵H(X,Y) - 信息熵H(X)四、互信息 I(X,Y)五、总结References 一、自信息 I(X) 自信息(Self-information) 是由香农提出的，用来衡量单一事件发生…...

编程日记 2025/5/11 14:53:30

我的秋招总结

我的秋招总结个人背景双非本，985硕，科班准备情况以求职为目的学习Java的时间大概一年。八股，一开始主要是看B站黑马的八股文课程，背JavaGuide和小林coding还有面试鸭。算法，250，刷了3遍左右项目&…...

编程日记 2025/5/14 17:24:16

最近在研究struct page的引用计数refcount，看到有个page_ref_freeze()特性很有意思。用这篇博客记录一下。本文分析基于linux4.19.195 static inline int page_ref_freeze(struct page *page, int count) {int ret likely(atomic_cmpxchg(&page->_refcoun…...

编程日记 2025/5/14 16:21:42

Python毕业设计选题：基于python的酒店推荐系统_django+hadoop

开发语言：Python框架：djangoPython版本：python3.7.7数据库：mysql 5.7数据库工具：Navicat11开发软件：PyCharm 系统展示管理员登录管理员功能界面用户管理酒店客房管理客房类型管理客房预定管理用户…...

编程日记 2025/5/14 16:38:22

选择 SquashFS 作为启动分区的文件系统格式：详细教程

SquashFS 是一种高压缩率的只读文件系统，广泛用于嵌入式系统、Linux 发行版以及其他需要节省存储空间的场景。它特别适合用于启动分区、只读根文件系统（rootfs）等应用，因为它通过压缩技术极大地节省了存储空间。在本博客中，我们将详细介绍如何在 RK3568 等嵌入式设备上使用…...

编程日记 2025/5/14 15:55:48

Unity 读Excel，读取xlsx文件解决方案

Unity读取表格数据效果： 思路： Unity可以解析Json，但是读取Excel需要插件的帮助，那就把这个功能分离开，读表插件就只管读表转Json，Unity就只管Json解析，中间需要一个存储空间，使用…...

编程日记 2025/5/14 9:17:28

【C语言】指针数组、数组指针、函数指针、指针函数、函数指针数组、回调函数

【C语言】函数指针与指针函数文章目录 [TOC](文章目录) 前言一、指针数组二、数组指针三、函数指针四、指针函数五、函数指针数组六、回调函数七、参考资料总结前言使用工具： 1.DEVC 提示：以下是本篇文章正文内容，下面案例可供参考一、…...

编程日记 2025/5/14 17:25:19

EasyExcel 模板+公式填充

使用 CellWriteHandler 的实现类来实现公式写入 Data NoArgsConstructor public class CustomCellWriteHandler implements CellWriteHandler {private int maxRowNum 2000;// 动态传入列表数量public CustomCellWriteHandler(int maxRowNum) {this.maxRowNum maxRowNum;}Ov…...

编程日记 2025/5/13 17:10:22

vue最新源码探索分析

我在github上fork了最新版本vue3.5版本的源码并做了大幅删除，保留最核心的代码，有兴趣的可以看看，欢迎大家提出PR 仓库地址 https://github.com/greatanimalion/core 本项目vue版本3.5.13 为了方便查看与分析，减少心智负担已…...

编程日记 2025/5/14 16:19:33

产品初探Devops！以及AI如何赋能Devops？

DevOps源自Development（开发）和Operations（运维）的组合，是一种新的软件工程理念，旨在打破传统软件工程方法中“开发->测试->运维”的割裂模式，强调端到端高效一致的交付流程，实…...

编程日记 2025/5/14 12:06:10

深入解析MVCC中Undo Log版本底层存储读取逻辑

一、引言多版本并发控制（MVCC，Multi-Version Concurrency Control）是一种广泛应用于关系数据库管理系统中的并发控制技术。它通过保存数据的历史版本，使得在事务并发执行时，每个事务都能看到数据的一致性视图。在MVC…...

编程日记 2025/5/11 8:35:29

【生产问题记录-Mysql分区】

描述月报是根据日报的数据统计出来的，但是今天早上发现月报没有数据，日报是有数据的，那么为什么会导致这个结果呢？ 问题解决设计因为日报table_day每天的数据量都在60w，所以我们采用了分区的形式，进…...

编程日记 2025/5/14 15:05:57

大型语言模型（LLMs）演化树 Large Language Models

大型语言模型（LLMs）演化树 Large Language Models flyfish 下面的图来自论文地址 Transformer 模型（如 BERT 和 GPT-3）已经给自然语言处理（NLP）领域带来了革命性的变化。这得益于它们具备并行化能力&…...

编程日记 2025/5/12 16:27:30

【LeetCode: 3159. 查询数组中元素的出现位置 + 统计下标】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨ 🌲 作者简介：硕风和炜，…...

编程日记 2025/5/14 7:11:49

git自动压缩提交的脚本

可以将当前未提交的代码自动执行 git addgit commitgit squash Git 命令安装指南 1. 创建脚本目录如果目录不存在，创建它： mkdir -p ~/.local/bin2. 创建脚本文件 vim ~/.local/bin/git-squash将完整的脚本代码复制到此文件中。 3. 设置脚本权限…...

编程日记 2025/5/13 17:18:39

uniapp中Nvue白屏问题 ReferenceError: require is not defined

uniapp控制台输出如下 exception function:createInstanceContext, exception:white screen cause create instanceContext failed,check js stack ->Uncaught ReferenceError: require is not defined 或者 exception function:createInstanceContext, exception:white s…...

编程日记 2025/5/13 19:41:32

Centos8安装图形化界面

由于Centos8已经停止维护，所以在使用的时候会遇到yum元数据找不到的情况 1、更新yum数据源进入目录： cd /etc/yum.repos.d/ 修改文件： sed -i s/mirrorlist/#mirrorlist/g /etc/yum.repos.d/CentOS-* sed -i s|#baseurlhttp://mirror.cent…...

编程日记 2025/5/12 5:17:08

2023年厦门市第30届小学生C++信息学竞赛复赛上机操作题（三、2023C. 太空旅行（travel））

#include <bits/stdc.h>using namespace std;struct Ship {int u; // 从地球到火星的时间int v; // 从火星到天王星的时间 };// 自定义比较函数 bool cmp(const Ship &a, const Ship &b) {return a.u max(a.v, b.u) b.v < b.u max(b.v, a.u) a.v; }int ma…...

编程日记 2025/5/12 10:19:34

Doris的SQL原理解析

今天来介绍下Doris的SQL原理解析，主要从语法、解析、分析、执行等几个方面来介绍，可以帮助大家对Doris底层有个清晰的理解~ 一、Doris简介 Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，能够较好的满足报表分析、即席查询、…...

编程日记 2025/5/11 21:51:45

【RAG实战】语言模型基础

语言模型赋予了计算机理解和生成人类语言的能力。它结合了统计学原理和深度神经网络技术，通过对大量的样本数据进行复杂的概率分布分析来学习语言结构的内在模式和相关性。具体地，语言模型可根据上下文中已出现的词序列，使用概率推断来预测接…...

编程日记 2025/5/10 1:19:40

探索 .idea 文件夹：Java Maven 工程的隐形守护者

一、.idea文件夹深度解析：IntelliJ IDEA项目配置的核心在Java Maven工程的开发环境中，.idea文件夹扮演着举足轻重的角色。这是IntelliJ IDEA项目特有的一个配置文件夹，它包含了项目所需的各种配置信息，以确保项目能够在不同的开…...

编程日记 2025/5/12 21:33:08

JAVA代理模式和适配器模式

文章目录 Java 代理模式和适配器模式代理模式（Proxy Pattern）适配器模式（Adapter Pattern）代理模式和适配器模式的区别代理模式的使用举例静态代理实现:用代理模式记录方法调用日志动态代理实现:使用 Java 动态代理记录方法调用日…...

编程日记 2025/5/6 11:49:56

Python大数据可视化：基于python大数据的电脑硬件推荐系统_flask+Hadoop+spider

开发语言：Python框架：flaskPython版本：python3.7.7数据库：mysql 5.7数据库工具：Navicat11开发软件：PyCharm 系统展示管理员登录管理员功能界面价格区间界面用户信息界面品牌管理笔记本管理电脑主机…...

编程日记 2025/5/8 21:36:11

【YOLOv3】源码（train.py）

概述主要模块分析参数解析与初始化功能：解析命令行参数，设置训练配置项目经理制定详细的施工计划和资源分配日志记录与监控功能：初始化日志记录器，配置监控系统项目经理使用监控和记录工具，实时跟踪施工进度和质量…...

编程日记 2025/5/8 19:28:25

一维、线性卡尔曼滤波的例程（MATLAB）

这段 MATLAB 代码实现了一维线性卡尔曼滤波器的基本功能，用于估计在存在噪声的情况下目标状态的真实值文章目录一维线性卡尔曼滤波代码运行代码介绍1. **初始化部分**2. **数据生成**3. **卡尔曼滤波器实现**4. **结果可视化**5. **统计输出** 源代码总结一维线…...

编程日记 2025/5/13 11:06:16

【Rust自学】6.2. Option枚举

喜欢的话别忘了点赞、收藏加关注哦，对接下来的教程有兴趣的可以关注专栏。谢谢喵！(･ω･) 6.2.1. 什么是Option枚举它定义于标准库中，在Prelude（预导入模块）中，负责描述这样的场景…...

编程日记 2025/5/6 4:14:20

unity学习1：第1个template的项目platformer 学习

目录 0 教训，不要学生思路：路径依赖 1 从unity的编辑器里直接下载一个template 2 第一个下马威：下载到本地的这个模板项目第一次运行就报错, 其次关了重进就好了 2.1 报错 2.2 解决 2.3 解决 3 第2个拦路虎： 项目的声音大小…...

编程日记 2025/5/14 5:04:40

初识 Conda：一站式包管理和环境管理工具

文章目录 1. 什么是 Conda？2. 为什么选择 Conda？3. Conda 的安装3.1 安装步骤（以 Miniconda 为例） 4. Conda 的核心功能4.1 包管理4.2 环境管理4.3 Conda Forge4.4 设置国内镜像 5. 常见使用场景5.1 数据科学项目5.2 离线安装5.3 …...

编程日记 2025/5/11 9:39:52

vue.js 组件化开发根组件

Vue.js是一个用于构建用户界面的渐进式JavaScript框架。组件化开发是Vue.js的核心理念之一，它允许开发者将部分代码封装为可重用的组件，从而提高代码的复用性和可维护性。而根组件是Vue.js应用的最顶层组件，它包含了其他所有的组件。下面详…...

编程日记 2025/5/12 23:56:52

ASP.NET WebForms：实现全局异常捕获与处理的最佳实践

在ASP.NET WebForms中，你可以通过以下方法来统一捕获后台异常： 1. 在Global.asax中使用Application_Error Global.asax文件允许你处理应用程序级别的异常。你可以在Application_Error事件中捕获所有未处理的异常，并根据需要记录或处理它们。…...

编程日记 2025/4/15 10:03:58

vue3配置测试环境、开发环境、生产环境

第一步：在src同级新建 .env.production 、.env.test 、.env.development文件第二步：在文件中配置开发环境、生产环境、测试环境 // 开发环境 .env.developmentNODE_ENV developmentVUE_APP_MODE development outputDir dist_dev // 打出包的名称VUE_…...

编程日记 2025/5/6 6:20:00

农历节日倒计时：基于Python的公历与农历日期转换及节日查询小程序（升级版）

农历节日倒计时：基于Python的公历与农历日期转换及节日查询小程序升级版调整的功能上一个小程序只是能计算当年的农历节日的间隔时间，那么这次修改一下，任意年份的农历节日都可以，并且能输出农历节日对应的阳历日期&#xff0…...

编程日记 2025/5/10 12:20:31

linux Python环境部署

登录Python官网去下载对应的版本：Python下载地址在data目录下创建python文件夹 mkdir python上传下载的安装包 Python-3.8.18.tgz解压 tar -xf Python-3.8.18.tgz进入解压后的目录 cd Python-3.8.18/编译安装 ./configure --prefix/data/python38 make &&…...

编程日记 2025/5/11 8:03:38

Python基础语法知识——数据类型的查询、数据类型转化

今天第一次学习python，之前学习过C，感觉学习起来还可以，就是刚用的时候有点手残，想的是python代码，结果写出来就是C,本人决定每天抽出时间写点。同时继续更新NX二次开发专栏学习，话不多说，晚上的…...

编程日记 2025/5/13 17:02:09

命令行之巅：Linux Shell编程的至高艺术（中）

文章一览前言一、输入/输出及重定向命令1.1 输入/输出命令1.1.1 read命令1.1.2 echo命令 1.2 输入/输出重定向1.3 重定向深入讲解1.4 Here Document1.4.1 /dev/null 文件二、shell特殊字符和命令语法2.1 引号2.1.1 双引号2.1.2 单引号2.1.3 倒引号 2.2 注释、管道线和后台命令…...

编程日记 2025/5/11 21:33:39

利用Gurobi追溯模型不可行原因的四种方案及详细案例

文章目录 1. 引言2. 追溯不可行集的四种方法2.1 通过约束增减进行判断2.2 通过computeIIS函数获得冲突集2.3 利用 feasRelaxS() 或 feasRelax() 函数辅助排查2.4 利用 IIS Force 属性1. 引言模型不可行是一个让工程师头疼的问题，对于复杂模型而言，导致模型不可行的原因可能…...

编程日记 2025/5/11 6:48:51

「matplotlib」绘制图线和数据点的样式风格和颜色表大全

绘制图线和数据点的样式风格和颜色表大全显示图例 legend() 属性 linestyle 属性 marker 属性color 1、legend() 显示坐标轴中图线的对应标注的显示位置plt.legend(loc) locloc codebest （default）0upper right1upper left2lower left3lower rig…...

编程日记 2025/5/10 7:31:24

【基础还得练】 KKT 条件

优秀教程-真正理解拉格朗日乘子法和 KKT 条件： link优秀教程-最优化(6)：一般约束优化问题的最优性理论： link KKT条件（Karush-Kuhn-Tucker条件）是非线性规划中的一组必要条件，在某些情况下也是最优解的充分…...

编程日记 2025/5/10 0:17:25

Node.JS 版本管理工具 Fnm 安装及配置（Windows）

安装流程可参考：fnm 安装及配置(Windows)_fnm安装-CSDN博客然后就是在git bash如何生效在 Git Bash 中使用 fnm 需要确保你正确设置了环境变量。你可以按照以下步骤进行配置： 1. **打开 Git Bash**： 启动 Git Bash。 2. **编辑 .bas…...

编程日记 2025/5/9 18:19:18

STM32-笔记11-手写带操作系统的延时函数

1、为什么带操作系统的延时函数，和笔记10上的延时函数不能使用同一种？ 因为笔记10的延时函数在每次调用的时候，会一直开关定时器，而在FreeRTOS操作系统中，SysTick定时器当作时基使用。时基是一个时间显示的基本单位。…...

编程日记 2025/5/14 10:43:59

CCNP_SEC_ASA 第六天作业

实验需求： 为保障内部用户能够访问Internet，请把10.1.1.0/24网络动态转换到外部地址池202.100.1.100-202.100.1.200，如果地址池耗尽后，PAT到Outside接口提示：需要看到如下输出信息 Inside#telnet 202.100.1.1 Trying …...

编程日记 2025/5/13 4:34:22

Python小括号( )、中括号[ ]和大括号{}代表什么

python语言最常见的括号有三种，分别是：小括号( )、中括号[ ]和大括号也叫做花括号{ }，分别用来代表不同的python基本内置数据类型。小括号（）：struct结构体，但不能改值 python中的小括号( )&am…...

编程日记 2025/5/13 17:34:55

electron node-api addon开发

解决方案入口拷贝日志以及json等第三方源码增加包含目录编写接口默认模板已经有一个回调函数了照葫芦画瓢就行其中几个重要的点要注意 1.参数传入比如如下的例子： 头文件定义： public:下增加 Napi::Value StartAnswer (const Napi::Callb…...

编程日记 2025/5/11 17:52:12

vue之axios基本使用

文章目录 1. axios 网络请求库2. axiosvue 1. axios 网络请求库 <body> <input type"button" value"get请求" class"get"> <input type"button" value"post请求" class"post"> <!-- 官网提供…...

编程日记 2025/5/14 3:35:50

uniapp中wx.getFuzzyLocation报错如何解决

一、用wx.getLocation接口审核不通过用uniapp开发小程序时难免需要获取当前地理位置。代码如下： uni.getLocation({type: wgs84,success: function (res) {console.log(当前位置的经度： res.longitude);console.log(当前位置的纬度： r…...

编程日记 2025/5/7 3:37:06

Peter Lax线性代数教材：Linear Algebra and Its Applications 2nd Ed

这本线性代数教材，印象很深刻，记得是高中时期自学线性代数的时候看过。这本书跟Gilbert Strang的教材MIT线性代数教材：Linear Algebra and Its Applications相比，内容没这么紧凑，而且表述也更加代数风格，很…...

编程日记 2025/5/13 6:07:57

vue3封装而成的APP ，在版本更新后，页面显示空白

一、问题展示更新之后页面空白，打不开 ，主要是由于缓存造成的二、解决办法 1、随机数代码实现使用随机数来动态的生成静态资源目录名可以避免浏览器缓存，但同时每次也会导致浏览器每次都下载最新的资源。如果静态资源过大，可…...

编程日记 2025/5/13 17:16:25

技术栈整理

java系列: javaSE, javaEE，jdk8，jdk17，jdk21 springframework(4, 5, 6) springboot(2, 3) mybatis mybatisplus hibernate springjpa，springjdbc springmvc, springwebflux，structs springsecurity dubbo zookeeper s…...

编程日记 2025/4/30 5:58:20

前言

Table-Transformer 与 PubTables-1M

实践代码

表格检测 TD

表格结构识别 TSR

效果

感谢

相关文章：