RAG数据拆分之PDF
- 引言
- RAG数据简介
- PDF解析方法及工具
- 代码实现
- 总结
二、正文内容
- 引言
本文将介绍如何将RAG数据拆分至PDF格式，并探讨PDF解析的方法和工具，最后提供代码示例。
- RAG数据简介
RAG（关系型属性图）是一种用于表示实体及其关系的图数据结构。在RAG中，节点表示实体，边表示实体之间的关系，属性则用于描述实体和边的特征。
- PDF解析方法及工具
（1）PDF解析方法
- DOM解析：将PDF文档转换为树形结构，便于操作和遍历。
- SAX解析：基于事件驱动，适用于处理大型PDF文档。
（2）PDF解析工具
- PyPDF2：一个Python库，用于读取、分割、合并PDF文件。
- PDFMiner：一个强大的PDF解析库，支持提取文本、图片等元素。
- pdfplumber：一个专注于文本提取的PDF解析库。
- 代码实现
以下是一个使用PyPDF2将RAG数据拆分至PDF的示例代码：
import PyPDF2# 读取PDF文件
with open('source.pdf', 'rb') as file:reader = PyPDF2.PdfFileReader(file)num_pages = reader.numPages# 遍历每一页for page_num in range(num_pages):page = reader.getPage(page_num)text = page.extractText()# 拆分RAG数据# 假设RAG数据以特定格式存储，例如：实体1-关系-实体2entities = text.split('-')# 创建新的PDF文件pdf_writer = PyPDF2.PdfFileWriter()pdf_writer.addPage(page)with open(f'output/page_{page_num + 1}.pdf', 'wb') as output_file:pdf_writer.write(output_file)print('PDF文件拆分完成！')
解析表格：
def extract_continuous_tables(pdf, start_page_num):"""从指定页开始提取连续的表格内容:param pdf: PDF文档对象:param start_page_num: 开始页码:return: 包含处理页码和表格文本的字典"""continuous_tables = [] # 存储连续表格内容processed_pages = [] # 存储处理过的页码current_page_num = start_page_num# 添加起始页processed_pages.append(current_page_num)while current_page_num < len(pdf.pages):current_page = pdf.pages[current_page_num]current_page = remove_header_footer(current_page)# 提取当前页的表格current_tables = current_page.extract_tables()if current_tables:# 将当前页的表格添加到结果中continuous_tables.extend(current_tables)# 检查是否还有下一页if current_page_num + 1 >= len(pdf.pages):break# 获取下一页内容next_page = pdf.pages[current_page_num + 1]next_page = remove_header_footer(next_page)# 提取下一页的内容next_page_tables = next_page.extract_tables()next_page_words = next_page.extract_words(keep_blank_chars=True, extra_attrs=['fontname', 'size'])# 过滤页眉页脚header_height = 50footer_height = 50def is_header_content(word):text = word['text'].lower()# 位置检查if word['top'] <= header_height or word['top'] >= (next_page.height - footer_height):return True# 电话号码模式phone_patterns = [r'tel[\s:]*[\d\-/]+',r'电话[\s:]*[\d\-/]+',r'传真[\s:]*[\d\-/]+',r'fax[\s:]*[\d\-/]+',r'\d{2,4}[\-/]\d{4,8}', # 匹配常见电话号码格式]# 使用正则表达式匹配import reif any(re.search(pattern, text, re.IGNORECASE) for pattern in phone_patterns):return True# 页眉特征检查header_features = [# 位置特征word['top'] < header_height * 1.2, # 稍微放宽高度限制word['size'] < 10, # 字体较小# 内容特征any(pattern in text for pattern in ['页码', '第', '页', 'page','copyright', '版权所有','机密', '保密','草稿', 'draft','文档编号', 'doc','日期', 'date']),# 格式特征bool(re.match(r'.*\d+.*页', text)), # 包含页码bool(re.match(r'.*\d{4}[-/]\d{1,2}[-/]\d{1,2}', text)), # 日期格式]return any(header_features)# 过滤词filtered_words = [word for word in next_page_wordsif not is_header_content(word)]# 如果需要，还可以按垂直位置排序filtered_words.sort(key=lambda x: x['top'])# 判断下一页是否以表格开始starts_with_table = Falseif filtered_words and next_page_tables: # 确保有文字和表格try:if next_page_tables[0] and next_page_tables[0][0]: # 确保表格有内容# 获取第一个表格的位置first_table = next_page.find_tables()[0]if first_table:first_table_top = first_table.bbox[1]# 获取第一个文字的位置first_word_top = filtered_words[0]['top']# 如果表格在文字之前，则认为页面以表格开始if first_table_top < first_word_top:starts_with_table = Trueexcept (IndexError, AttributeError):starts_with_table = Falseif not starts_with_table:# 如果下一页不是以表格开始，则结束提取break# 继续处理下一页current_page_num += 1processed_pages.append(current_page_num)# 将表格转换为文本table_texts = []for table in continuous_tables:if table:table_text = []for row in table:# 过滤None和空字符串，并确保所有值都转换为字符串row_text = []for cell in row:if cell is not None and str(cell).strip():cell_str = str(cell).strip().replace("\n", " ")# if cell_str: # 只添加非空字符串row_text.append(cell_str)else:row_text.append(" ") # 将None转换为空字符串if row_text: # 只添加非空行table_text.append('##'.join(row_text))filtered_table_text = [row for row in table_text if '##' in row]if filtered_table_text:table_texts.append('\n'.join(filtered_table_text))# 返回包含页码列表和表格文本的字典result = {'processed_pages': processed_pages,'table_text': '\n\n'.join(table_texts) if table_texts else ""}return result1.pdfplumber
https://blog.csdn.net/fuhanghang/article/details/122579548
1
pdfplumber的主要类和方法
pdfplumber对于表格的提取
参考https://github.com/jsvine/pdfplumber/blob/stable/examples/notebooks/extract-table-ca-warn-report.ipynb
1
代码：
pdf = pdfplumber.open("../pdfs/ca-warn-report.pdf")
p0=pdf.pages[0]
im = p0.to_image() #display 第一页
table = p0.extract_table() 抽取其中最大的表格import pandas as pd
df = pd.DataFrame(table[1:], columns=table[0])
for column in ["Effective", "Received"]:df[column] = df[column].str.replace(" ", "") 使用panda来吧table抽取到的数据转成dataFrame格式- 总结
本文介绍了RAG数据拆分至PDF的方法和工具，并通过代码示例展示了如何使用PyPDF2进行PDF文件拆分。在实际应用中，可根据需求选择合适的解析方法和工具。
希望这个分享笔记大纲和代码示例能帮助你完成你的分享笔记。在实际编写过程中，可以根据具体需求进行调整和优化。
相关文章：
RAG数据拆分之PDF
引言RAG数据简介PDF解析方法及工具代码实现总结 二、正文内容 引言 本文将介绍如何将RAG数据拆分至PDF格式，并探讨PDF解析的方法和工具，最后提供代码示例。 RAG数据简介 RAG（关系型属性图）是一种用于表示实体及其关系的图数据…...
基于STM32的传感器数据采集系统设计：Qt、RS485、Modbus Rtu协议（代码示例）
一、项目概述 项目目标与用途 本项目旨在设计并实现一个基于STM32F103RCT6微控制器的传感器数据采集系统。该系统通过多个传感器实时监测环境参数，并将采集到的数据传输至上位机进行处理和分析。系统的主要应用领域包括环境监测、工业控制、智能家居等。通过该系统…...
【计网不挂科】计算机网络——＜34道经典简述题＞特训
前言 大家好吖，欢迎来到 YY 滴计算机网络 系列 ，热烈欢迎！ 本章主要内容面向接触过C的老铁 本博客主要内容，收纳了一部门基本的计算机网络题目，供yy应对期中考试复习。大家可以参考 本章为分章节的习题内容题库&#x…...
Spring Web开发（请求）获取JOSN对象| 获取数据（Header）
大家好，我叫小帅今天我们来继续Spring Boot的内容。 文章目录 1. 获取JSON对象2. 获取URL中参数PathVariable3.上传⽂件RequestPart3. 获取Cookie/Session3.1 获取和设置Cookie3.1.1传统获取Cookie3.1.2简洁获取Cookie 3. 2 获取和存储Session3.2.1获取Session&…...
)
算法训练营day22(二叉树08:二叉搜索树的最近公共祖先,插入,删除)
第六章 二叉树part08 今日内容： ● 235. 二叉搜索树的最近公共祖先 ● 701.二叉搜索树中的插入操作 ● 450.删除二叉搜索树中的节点 详细布置 235. 二叉搜索树的最近公共祖先 相对于 二叉树的最近公共祖先 本题就简单一些了，因为 可以利用二叉搜索树的…...
【论文阅读】 Learning to Upsample by Learning to Sample
论文结构目录 一、之前的上采样器二、DySample概述三、不同上采样器比较四、整体架构五、设计过程（1）初步设计（2）第一次修改（3）第二次修改（4）第三次修改 六、DySample四种变体七、复…...
Android 图形系统之五：Gralloc
Gralloc (Graphics Allocator) 是 Android 系统中的关键组件之一，用于管理图形缓冲区的分配、映射以及处理。在 Android 的图形架构中，Gralloc 充当了 HAL (Hardware Abstraction Layer) 的一部分，为系统和硬件提供了通用的接口，使…...
【大数据学习 | Spark调优篇】Spark之内存调优
1. 内存的花费 1）每个Java对象，都有一个对象头，会占用16个字节，主要是包括了一些对象的元信息，比如指向它的类的指针。如果一个对象本身很小，比如就包括了一个int类型的field，那么它的对象头实…...
Spring Data JPA（一） 基础入门
Spring Data JPA（一） 基础入门 JPA 的全称是 Java Persistence API , 即 Java 持久层 API。Spring Data JPA 是 Spring 生态中提出的一套数据库 ORM （对象关系映射）规范、抽象标准，或者说它是对ORM框架实现的顶层抽象…...
Flutter | 基于函数式编程的通用单选列表设计
背景 项目中多次用到如下图的通用单选列表页： 常规封装 此列表需要三样东西： 标题数组当前选中项的 index点击 cell 的回调 封装大体如下： import package:flutter/material.dart;class ListPage1 extends StatefulWidget {const ListPa…...
华三防火墙F1000-AK系列策略路由配置案例（WEB）
1 配置需求或说明 1.1 适用的产品系列 本案例适用于如F1000-AK180、F1000-AK170等F1000-AK系列的防火墙。 1.2 配置需求及实现的效果 防火墙作为网络出口设备，外网有移动和联通两条线路。内网有192.168.1.0和192.168.2.0两个网段，需要实现192.168.1.0网段走移动线路，192…...
Oracle 锁表的解决方法及避免锁表问题的最佳实践
背景介绍 在 Oracle 数据库中，锁表或锁超时相信大家都不陌生，是一个常见的问题，尤其是在执行 DML（数据操作语言）语句时。当一个会话对表或行进行锁定但未提交事务时，其他会话可能会因为等待锁资源而出现超…...
深度学习中的生成对抗网络（GAN）原理与应用
引言 生成对抗网络（Generative Adversarial Network，简称GAN）是由Ian Goodfellow等人在2014年提出的一种深度学习模型，它通过对抗训练的方式生成与真实数据分布相似的假数据。GAN的出现极大地推动了深度学习和生成模型的研究&…...
Swing中JScrollPane面板
一、介绍 在设置界面时，可能会遇到在一个较小的容器窗体中显示一个较大部分的内容的情况，这时可使用JScrollPane面板。JScrollPane面板是带滚动条的面板，是一种容器，但是JScrollPane只能放置一个组件，并且不可使用布局…...
【学习笔记】检测基于RTOS的设计中的堆栈溢出-第2部分
有许多技术可用于检测堆栈溢出。有些使用硬件，而有些则完全在软件中执行。正如我们很快将看到的那样，在硬件中具有这种能力到目前为止是更可取的，因为堆栈溢出可以在发生时立即检测到，事实上，可以避免，因为硬件实际上可以防止对无效访问的写入。 硬件堆栈溢出检测机制通…...
PHP 函数
在php中有非常多的函数，函数这种东西不需要记全，直到怎么使用就行了，如果想了解多点函数，可以查看php官方函数手册，或者参考菜鸟PHP 5 Array 函数 | 菜鸟教程。 创建 PHP 函数 通常函数创建完毕后是用来调用。 语法格…...
centos更换源文件，换源，替换源
期初怎么折腾就是不行，换了源也是不能使用的，最后发现不是换的源不行，而是之前的源文件不行，然后给所有的源文件在yum源统一放在了bak目录下，随后我们再去下载安装源文件。 您将yum源下载之后，先将您的其他…...
【深度学习】四大图像分类网络之VGGNet
2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司一起研发了新的卷积神经网络，并命名为VGGNet。VGGNet是比AlexNet更深的深度卷积神经网络，该模型获得了2014年ILSVRC竞赛的第二名，…...
线性表-链式描述（C++）
链式实现的线性表： 链式实现的线性表，即链表（Linked List），是一种通过节点（Node）的集合来存储数据的线性数据结构。在链表中，每个节点包含两部分：存储数据的域ÿ…...
C++高阶算法[汇总]
（一）高精度算法概述 高精度算法是指能够处理超出常规数据类型表示范围的数值的算法。在 C 中，标准数据类型通常有固定的位数和精度限制，而高精度算法可以解决大数运算、金融计算和科学计算等领域的问题。 （二&#x…...
机器学习之DeepMind推出的DreamerV3
开放域任务强化学习（Open-Ended Task Reinforcement Learning）的目标是使智能体能够在多样化且未见过的任务中表现出色，同时能够实现任务间的迁移学习。这类研究的重点在于开发通用的学习算法，能够在没有明确任务定义的情况下，从环境中学习并推广到新任务。DeepMind的Drea…...
【Zookeeper】四，Zookeeper节点类型、通知、仲裁、会话
文章目录 Zookeeper的架构znode的版本Zookeeper的节点类型层级树状结构znode的不同类型 Zookeeper监视与通知通知的类型 Zookeeper的仲裁Zk的会话会话的生命周期 Zookeeper的架构 Zookeeper的服务器端运行两种模式：独立模式（standalone）和仲…...
Vue 集成和使用 SQLite 的完整指东
1. 引言 SQLite 是一种轻量级的关系型数据库管理系统，以其简单易用、无需服务器等特点广泛应用于嵌入式系统、移动应用和小型应用程序中。在 Web 开发中，尤其是前端应用开发中，SQLite 可以作为客户端本地存储的一种选择，为用户提…...
CMAKE常用命令详解
NDK List基本用法 Get–获取列表中指定索引的元素 list(Get list_name index output_var)解释 list_name: 要操作集合的名称index: 要取得的元素下标output_var: 保存从集合中取得元素的结果 栗子 list(GET mylist 0 first_element) # 获取第一个元素APPEND–在列表末尾…...
【嵌入式——QT】QT制作安装包
第一步 QT程序写好之后，编译release版本 第二步 拿到release生成的.exe文件 第三步 新建文件夹deploy 第四步 将.exe文件复制到deploy目录下 第五步 在该目录下输入cmd指令，回车 第六步 在打开的命令窗口下输入 windeployqt TegNetCom_1.0.…...
JavaScript 前端开发：从入门到精通的奇幻之旅
目录 一、引言 二、JavaScript 基础 （一）变量与数据类型 （二）运算符 （三）控制结构 三、函数 （一）函数定义与调用 （二）函数作用域 （三&am…...
shell编程基础笔记
目录 echo改字体颜色和字体背景颜色 bash基本功能： 运行方式：推荐使用第二种方法 变量类型 字符串处理： 条件判断：（使用echo $?来判断条件结果，0为true，1为false） 条件语句&a…...
FPGA实现GTP光口视频转USB3.0传输，基于FT601+Aurora 8b/10b编解码架构，提供3套工程源码和技术支持
目录 1、前言工程概述免责声明 2、相关方案推荐我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目我这里已有的 GT 高速接口解决方案本博已有的FPGA驱动USB通信方案 3、工程详细设计方案工程设计原理框图输入Sensor之-->OV5640摄像头输入Sensor之-->芯片解码的…...
使用 PDF API 合并 PDF 文件
内容来源： 如何在 Mac 上合并 PDF 文件 1. 注册与认证 您可以注册一个免费的 ComPDFKit API 帐户，该帐户允许您在 30 天内免费无限制地处理 1,000 多个文档。 ComPDFKit API 使用 JSON Web Tokens 方法进行安全身份验证。从控制面板获取您的公钥和密钥&…...
Jenkins Nginx Vue项目自动化部署
目录 一、环境准备 1.1 Jenkins搭建 1.2 NVM和Nodejs安装 1.3 Nginx安装 二、Jenkins配置 2.1 相关插件安装 2.2 全局工具安装 2.3 环境变量配置 2.4 邮箱配置（构建后发送邮件） 2.5 任务配置 三、Nginx配置 3.1 配置路由转发 四、部署项目 …...
python代码实现问卷星问卷内容获取并写入word文档保存
以下附完整代码。 import os from tkinter import Tk, simpledialog, messagebox from docx import Document import time import requests import re from tkinter import ttk# 使用 tkinter 创建一个简单的输入框来获取用户输入的问卷链接 root Tk() root.title("问卷…...
C# 2024年Visual Studio实用插件集合
在2024年，Visual Studio作为.NET开发者的首选IDE，其插件生态不断壮大，为开发者提供了更高效、便捷的开发体验。本文将介绍一些实用的Visual Studio插件，特别是针对C#开发者，帮助提升开发效率和代码质量。 1. GitHub C…...
基于PHP的香水销售系统的设计与实现
摘 要 时代科技高速发展的背后，也带动了经济的增加，人们对生活质量的要求也不断提高。香水作为一款在人际交往过程中，给对方留下良好地第一印象的产品，在生活中也可以独自享受其为生活带来的点缀。目前香水市场体量庞大ÿ…...
QT去除窗口边框（无边框）
ch21_TencentMeetingLogin::ch21_TencentMeetingLogin(QWidget *parent): QDialog(parent) {ui.setupUi(this);this->setWindowFlags(Qt::FramelessWindowHint);//去除窗口边框 } 但此时窗口不能拖动且点击任务栏程序图标不能最小化！ this->setWindowFlags(Q…...
【k8s】监控metrics-server
metrics-server介绍 Metrics Server是一个集群范围的资源使用情况的数据聚合器。作为一个应用部署在集群中。Metric server从每个节点上KubeletAPI收集指标，通过Kubernetes聚合器注册在Master APIServer中。为集群提供Node、Pods资源利用率指标。 就像Linux 系统一样…...
「Qt Widget中文示例指南」如何为窗口实现流程布局？（二）
Qt 是目前最先进、最完整的跨平台C开发工具。它不仅完全实现了一次编写，所有平台无差别运行，更提供了几乎所有开发过程中需要用到的工具。如今，Qt已被运用于超过70个行业、数千家企业，支持数百万设备及应用。 本文将展示如何为不…...
EditInPlace就地编辑：Dom vs Form
利用Dom和Form实现就地编辑（EditInPlace）功能，两者在实现方式、用户体验和适用场景上有一些区别。下面我将详细解释这些区别： 1. EditInPlace 就地编辑（EditInPlace）是一种用户界面设计模式，允…...
【SCT63142FIB】15W高集成、高效率的无线功率发射PMIC
SCT63142FIB 15W高集成、高效率的无线功率发射PMIC 描述 SCT63142是一款高度集成的电源管理IC，可实现符合WPC规范的高性能，高效率和成本效益的无线电源发送系统，支持高达15W的功率传输，可与无线应用特定控制器或基于通用MCU的发送…...
STM32F4系列单片机新玩法---Micropython--pyBoard
只需要更改main.py文件的内容即可，例程CRTLV 1、流水灯： # main.py -- put your code here! import pyb while(1): for n in range(1,5) ledpyb.LED(n) led.on() pyb.delay(1000) led.off() 2、灯条,可以改变delay值来凸显效果…...
MFC中如何在工具条动态增加菜单
在C:\temp\VCSamples-master\VC2010Samples\MFC\Visual C 2008 Feature Pack\WordPad 这个例子中倒是有在工具条上动态增加菜单的方法，但有个缺陷，必须预先将需要的按钮定死。现将方法总结如下： 效果如下：点击前： 点击…...
行为型模式-迭代器模式
迭代器模式（Iterator Pattern）是一种行为型设计模式，主要用于提供一种方法顺序访问一个聚合对象中的各个元素，而不需要暴露其内部表示。这个模式常被用于集合类对象（如列表、数组、图等）的实现中。 模式结构…...
SAP SD学习笔记17 - 投诉处理3 - Credit/Debit Memo依赖，Credit/Debit Memo
上一章讲了 请求书（发票）的取消。 SAP SD学习笔记16 - 请求书的取消 - VF11-CSDN博客 再往上几章，讲了下图里面的返品传票： SAP SD学习笔记14 - 投诉处理1 - 返品处理（退货处理）的流程以及系统实操&#…...
: C语言读取MNIST数据集)
digit_eye开发记录(3): C语言读取MNIST数据集
在前两篇，我们解读了 MNIST 数据集的 IDX 文件格式，并分别用 C 和 Python 做了 读取 MNIST 数据集的实现。 基于 C 的代码稍长，基于 Python 的代码则明显更短，然而它们的共同特点是：依赖了外部库： 基于 C …...
快速学习GO语言总结
干货分享，感谢您的阅读！备注：本博客将自己初步学习GO的总结进行分享，希望大家通过本博客可以在短时间内快速掌握GO的基本程序编码能力，如有错误请留言指正，谢谢！ 一、初步了解Go语言 …...
开源多媒体处理工具ffmpeg是什么?如何安装?使用ffmpeg将M3U8格式转换为MP4
目录 一、FFmpeg是什么二、安装FFmpeg（windows）三、将M3U8格式转换为MP4格式 一、FFmpeg是什么 FFmpeg是一款非常强大的开源多媒体处理工具，它几乎可以处理所有类型的视频、音频、字幕以及相关的元数据。 FFmpeg的主要用途包括但不限于&…...
Python面试实战：高效处理海量日志，找出高频IP
Python面试实战：高效处理海量日志，找出高频IP 问题描述 在处理海量服务器日志时，一个常见的需求是统计出现次数最多的IP地址。这不仅有助于分析网站访问流量，还能为安全监控提供有价值的信息。然而，当日志文件过大，无法一次性加载到内存时，如何高效地解决这个问题就成…...
基于Java Springboot蛋糕订购小程序
一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境 开发工具：IDEA/eclipse 微信…...
Java进程为什么会消失
深夜，办公室里只剩下电脑屏幕的微光。小王正在紧张地盯着生产环境的监控面板，突然发现一个重要的Java应用进程不见了，就像人间蒸发一般。这种情况在Java开发中并不罕见，让我们一起走进这个技术探案，揭开Java进程神秘消…...
老手机不显示的问题)
继上一篇,设置弹框次数以及自适应图片弹框,部分机型(vivo)老手机不显示的问题
上一篇写的本来测试好多型号都无事, 今天下午公司的战斗机vivo横空冒出… 晕 弹框直接显示都出不来了,现在还有用这种老的机型的,但是没办法咯~ 前端遇到这种兼容性的问题就要勇于解决 主要解决了这几点: // 添加图片加载事件 <imgv-if"imageUrl":src"image…...
【docker】容器卷综合讲解，以及go实现的企业案例
容器卷（Volumes）基础讲解： 容器概念 容器卷（Volumes）是 Docker 提供的一种持久化存储机制，允许容器持久化数据，即使容器被删除或重新创建，数据仍然可以保留。 卷是独立于容器的&…...