当前位置：首页 > news >正文

基于关键字定位的自动化PDF合同拆分

news 来源：原创 2025/9/15 0:50:16

需求背景：

问题描述：
我有一份包含多份合同的PDF文件，需要将这些合同分开并进行解析。
传统方法（如以固定页数作为分割点）不够灵活，无法满足需求。
现有方法的不足：
网上找到的工具大多依赖手动输入页数作为分割点，这种方式不够智能，且需要用户提前知道每份合同的页数范围，效率较低。

灵感核心：

动态分割点：
通过输入一个唯一关键字（如“合同编号”、“甲方”等）来自动定位合同的分割点，从而实现自动分割。
实现步骤：

1、将PDF文件的每一页转换为图片。

2、使用OCR技术识别图片内容，提取关键字。

3、定位关键字所在的页码，并将这些页码作为分割点。

4、使用PDF处理工具将PDF文件拆分为多个独立文件。

注意：1，2步是因为我的PDF文件包含图片，读取内容困难，所以采用OCR识别技术提取文字。如果你的不是就可以修改成直接读取pdf文件内容。

代码实现

1、用到了百度OCR所以需要去获取access_token，代码如下：

import requests
import json"""
client_id,client_secret去百度OCR中获取
详情看链接：https://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjhhu
"""def getAccessToken(client_id, client_secret):url = f"https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={client_id}&client_secret={client_secret}"payload = ""headers = {'Content-Type': 'application/json','Accept': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)if str(response) == "<Response [200]>":# print(response.text)# 将JSON字符串解析为字典data = json.loads(response.text)token = data.get("access_token")print("执行成功：", response)print("access_token:", token)return tokenelse:print("错误信息：", response.content)return response

2、具体实现代码

需要提前下载以下库：PyMuPDF，requests，PyPDF2

import re
from PyPDF2 import PdfReader, PdfWriter
import fitz  # PyMuPDF
import base64
import os
import requestsdef pdf_to_images(pdf_path, output_folder, dpi=300):"""将PDF文件的每一页转换为图片。参数:pdf_path (str): 输入PDF文件的路径。output_folder (str): 输出图片文件夹路径。dpi (int): 图片分辨率，默认为300 DPI。"""# 确保输出文件夹存在if not os.path.exists(output_folder):os.makedirs(output_folder)# 打开PDF文件doc = fitz.open(pdf_path)# 遍历每一页并转换为图片for page_num in range(len(doc)):page = doc.load_page(page_num)pix = page.get_pixmap(dpi=dpi)image_path = os.path.join(output_folder, f"page_{page_num + 1}.png")pix.save(image_path)print(f"已保存图片：{image_path}")def perform_ocr(image_path, access_token):"""对单个图片文件进行OCR识别。参数:image_path (str): 图片文件的路径。access_token (str): OCR API的访问令牌。返回:str: OCR识别结果。"""ocr_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/accurate_basic"headers = {'Content-Type': 'application/x-www-form-urlencoded'}# 读取图片文件并进行Base64编码with open(image_path, 'rb') as img_file:img_data = base64.b64encode(img_file.read())# 发送OCR请求response = requests.post(f"{ocr_url}?access_token={access_token}",data={'image': img_data},headers=headers)# 解析OCR结果if response.status_code == 200:ocr_result = response.json()return '。'.join(item['words'] for item in ocr_result.get('words_result', []))return ""def find_split_pages(image_folder, access_token, search_text):"""查找包含目标文本的页码。参数:image_folder (str): 包含图片的文件夹路径。access_token (str): OCR API的访问令牌。search_text (str): 要查找的文本。返回:list: 包含目标文本的页码列表。"""split_pages = []# 遍历图片文件夹中的所有图片for filename in os.listdir(image_folder):if filename.lower().endswith(('.png', '.jpg', '.jpeg', '.bmp')):image_path = os.path.join(image_folder, filename)result = perform_ocr(image_path, access_token)# 提取页码并检查是否包含目标文本page_num = int(re.findall(r'\d+', filename)[0])if search_text in result:split_pages.append(page_num)return sorted(split_pages)def split_pdf(input_pdf, split_pages, output_folder):"""根据指定的页码分割PDF文件。参数:input_pdf (str): 输入PDF文件的路径。split_pages (list): 分割点页码列表。output_folder (str): 输出文件夹路径。"""# 确保输出文件夹存在if not os.path.exists(output_folder):os.makedirs(output_folder)# 获取输入PDF的文件名前缀output_prefix = os.path.splitext(os.path.basename(input_pdf))[0]# 打开PDF文件with open(input_pdf, 'rb') as pdf_file:reader = PdfReader(pdf_file)prev_split = 0# 分割PDFfor part_num, split_page in enumerate(split_pages, 1):writer = PdfWriter()for page_num in range(prev_split, split_page):writer.add_page(reader.pages[page_num])output_path = os.path.join(output_folder, f"{output_prefix}_part{part_num}.pdf")with open(output_path, 'wb') as output_file:writer.write(output_file)print(f"已保存分割文件：{output_path}")prev_split = split_page# 保存剩余部分if prev_split < len(reader.pages):writer = PdfWriter()for page_num in range(prev_split, len(reader.pages)):writer.add_page(reader.pages[page_num])output_path = os.path.join(output_folder, f"{output_prefix}_part{len(split_pages) + 1}.pdf")with open(output_path, 'wb') as output_file:writer.write(output_file)print(f"已保存最后分割文件：{output_path}")def main():# 输入和输出路径input_pdf = r"D:\project\合同\供应商版本采购合同\1月份合同.pdf"image_folder = r"D:\project\合同\供应商版本采购合同\分割"output_folder = r"D:\project\合同\供应商版本采购合同\分割结果"# OCR相关参数search_text = "双方买卖约定"access_token = "24.2******"# 将PDF转换为图片pdf_to_images(input_pdf, image_folder)# 查找包含目标文本的页码split_pages = find_split_pages(image_folder, access_token, search_text)if not split_pages:print(f"未找到包含文本 '{search_text}' 的页，无法进行分割。")return# 分割PDF文件split_pdf(input_pdf, split_pages, output_folder)if __name__ == "__main__":main()

基于关键字定位的自动化PDF合同拆分

需求背景： 问题描述： 我有一份包含多份合同的PDF文件，需要将这些合同分开并进行解析。传统方法（如以固定页数作为分割点）不够灵活，无法满足需求。现有方法的不足： 网上找到的工具大多依赖手动…...

编程日记 2025/9/15 0:50:16

ssh连接远程Host key verification failed.

问题描述在对已部署的项目进行维护过程中，遇到的一个小问题，记录一下。 SSH连接云服务器ssh xxx云服务器IP地址，提示： The authenticity of host xxxxxx (xx.xxx.123.321) cant be established. ECDSA key fingerprint is SHA…...

编程日记 2025/9/6 10:38:38

Matlab 汽车ABS的bangbang控制和模糊PID控制

1、内容简介 Matlab 197-汽车ABS的bangbang控制和模糊PID控制可以交流、咨询、答疑 2、内容说明略摘要：本文旨在设计一种利用模糊控制理论优化的pid控制器，控制abs系统，达到对滑移率最佳控制范围的要求 ，所提出的方案采用级联…...

编程日记 2025/9/5 7:44:45

kotlin的takeIf使用

takeIf用于判断指定对象是否满足条件，满足就返回该对象自身，不满足返回null。因为可以返回对象自身，所以可以用作链式调用，以简化代码，又因takeIf可能返回空，所以常常和let结合使用，示例如下&am…...

编程日记 2025/9/10 3:38:32

MySQL 进阶 - 2 （ 9000 字详解）

一： SQL 优化 1.1 插入数据 1.1.1 批量插入单条 INSERT 语句执行时，需经历语法解析、事务提交、磁盘 I/O 等多个步骤。批量插入将多条数据合并为一条 SQL，能够减少网络通信和事务开销。 -- 单条插入（低效） INSERT…...

编程日记 2025/9/12 11:28:05

Devops之GitOps：什么是Gitops，以及它有什么优势

GitOps 定义 GitOps 是一种基于版本控制系统（如 Git）的运维实践，将 Git 作为基础设施和应用程序的唯一事实来源。通过声明式配置，系统自动同步 Git 仓库中的期望状态到实际运行环境，实现持续交付和自动化运维。其核心…...

编程日记 2025/9/9 6:16:59

VSCode和Fitten Code

提示：本文为学习记录，若有错误，请联系作者。文章目录一、离线安装二、在线安装总结一、离线安装访问 Open VSX 镜像站打开 https://open-vsx.org，搜索 Fitten Code 点击“从VSIX安装”，选择下载的VSIX即可。安装…...

编程日记 2025/9/13 12:18:36

在 Visual Studio Code 中安装 Python 环境

在 Visual Studio Code 中安装 Python 环境 1. 安装 Visual Studio Code 首先，下载并安装 Visual Studio Code（VS Code）： 下载链接：Visual Studio Code 官网安装步骤：按照下载页面的说明进行安装。 2. …...

编程日记 2025/9/6 12:58:35

[问题帖] vscode 重启远程终端

原理有的时候，在vscode 远程ssh连接到服务器的时候，可能遇到需要重启终端才能生效的配置，比如add group的时候，而此时无论你是关闭vscode终端重启，还是reload窗口都是没用的。因为不管你本地是否连接了远程的vscode服…...

编程日记 2025/9/12 0:26:47

PostgreSQL技术大讲堂 - 第86讲：数据安全之--data_checksums天使与魔鬼

PostgreSQL技术大讲堂 - 第86讲，主题：数据安全之--data_checksums天使与魔鬼 1、data_checksums特性 2、避开DML规则，嫁接非法数据并合法化 3、避开约束规则，嫁接非法数据到表中 4、避开数据检查，读取坏块中的数据…...

编程日记 2025/9/3 16:52:30

No staged files match any configured task

我在拉取一个新项目的时候，进行 git commit 的时候就出现了这个问题然后我现在来说一下我出现这个问题的解决思路我们点击 “显示命令输出” 我们把第二行的错误 subject may not be empty [subject-empty] 复制搜索一下这是其他人写的博客：subje…...

编程日记 2025/8/17 20:18:06

Sqlite3 查看db文件

以下是一些 SQLite3 常用命令的整理，涵盖数据库操作、表管理、数据查询等场景： 1. 数据库连接与退出打开/创建数据库：sqlite3 filename.db # 打开或创建数据库文件退出 SQLite3 命令行：.exit # 退出 .quit …...

编程日记 2025/9/11 17:06:10

【leetcode hot 100 152】乘积最大子数组

错误解法：db[i]表示以i结尾的最大的非空连续，动态规划：dp[i] Math.max(nums[i], nums[i] * dp[i - 1]); class Solution {public int maxProduct(int[] nums) {int n nums.length;int[] dp new int[n]; // db[i]表示以i结尾的最大的非空连…...

编程日记 2025/9/9 7:14:41

微信小程序实时日志记录-接口监控

文章目录微信小程序如何抓取日志，分析用户异常问题可查看用户具体页面行为操作web体验分析![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/dd20bb72606842128aa1eaf0881196f6.png) 腾讯小程序平台，提供了非常好用的，。 web分析工…...

编程日记 2025/9/7 1:25:23

【C++刷题】二叉树基础OJ题

📝前言说明： 本专栏主要记录本人的基础算法学习以及刷题记录，使用语言为C。每道题我会给出LeetCode上的题号（如果有题号），题目，以及最后通过的代码。没有题号的题目大多来自牛客网。对于题目的…...

编程日记 2025/9/8 7:01:53

CSS高级技巧

目录一、精灵图二、字体图标三、CSS制作三角形四、CSS用户界面样式 1、鼠标样式 cursor 2、轮廓线 outline 3、防止拖拽文本域 resize 五、vertical-align 属性六、溢出的文字省略号显示 1、单行文本溢出显示省略号 2、多行文本溢出显示省略号七、常见布局技…...

编程日记 2025/9/9 17:49:21

70. 爬楼梯：动态规划

题目来源 70. 爬楼梯 - 力扣（LeetCode） 题目描述思路 1.观察每个较少的台阶的方法 2.dp[0,1,2,3,5,8,13]---->dp[i]表示爬上第i阶的方法数 3.观察dp：dp[i]dp[i-1]dp[i-2]; 代码 public int climbStairs(int n) {int[] dp new int…...

编程日记 2025/9/8 9:18:35

使用治疗前MR图像预测脑膜瘤Ki-67的多模态深度学习模型

大家好，我是带我去滑雪！ 脑膜瘤是一种常见的脑部肿瘤，Ki-67作为肿瘤细胞增殖的标志物，对于评估肿瘤的生物学行为、预后以及治疗方案的制定具有至关重要的作用。然而，传统的Ki-67检测依赖于组织学切片和免疫组化染色等方…...

编程日记 2025/9/10 10:45:22

Skynet.socket 函数族使用详解

目录 Skynet.socket 函数族使用详解核心功能分类一、TCP 连接管理1. 监听端口2. 建立连接3. 关闭连接二、数据读写操作1. 阻塞式读取2. 写入数据2.1 socket.write(fd, data) 的返回值2.2 示例代码2.3 关键注意事项2.4 与其他函数的区别2.5 底层原理2.6 总结三、UDP 处理1. 创…...

编程日记 2025/9/13 1:24:33

Python signal 模块详解：优雅处理异步事件

诸神缄默不语-个人技术博文与视频目录在 Linux 或类 Unix 系统中，信号（Signal）是一种用于进程间通信的机制，允许操作系统或其他进程向目标进程发送异步通知。 Python 的 signal 模块提供了对这些信号的访问和处理能力&#xff0…...

编程日记 2025/9/11 4:48:48

[LeetCode 189] 轮转数组

[LeetCode 189] 轮转数组题目描述： 给定一个整数数组 nums，将数组中的元素向右轮转 k 个位置，其中 k 是非负数。示例 1: 输入: nums [1,2,3,4,5,6,7], k 3 输出: [5,6,7,1,2,3,4] 示例 2: 输入：nums [-1,-100,3,99], k 2 …...

编程日记 2025/9/10 4:41:45

【Qt】qDebug() ＜＜ “中文测试“；乱码问题

环境 Qt Creator版本：4.7.1 编译器：MSVC2015_32bit 解法一在.pro文件中添加 msvc:QMAKE_CXXFLAGS -execution-charset:utf-8注意： 1、需要清理项目，并重新qmake，然后构建。测试项目下载：https://do…...

编程日记 2025/8/17 21:35:57

解析Java根基：Object类核心方法

Object类常见方法解析在Java编程中，Object类是所有类的根类，它包含了许多实用的方法，这些方法在不同的场景下发挥着重要作用。下面我们来详细了解一下Object类中的一些常见方法。 1. toString方法 toString方法是用于将对象转换为字符串表…...

编程日记 2025/9/3 7:29:18

最近在工作中感受到了设计模式的重要性

之前了解设计模式：只是应付一下面试在之前一年多的工作中也没遇到使用场景最近在搭建验证环境的时候，才发现这玩意这么重要首先是设计模式的使用场景一定是在很复杂繁琐的场景下进行的之所以说是复杂/繁琐的场景，因为一些场景也许逻辑不难…...

编程日记 2025/9/4 11:05:22

Docker 镜像、容器与数据卷的高效管理：最佳实践与自动化脚本20250411

Docker 镜像、容器与数据卷的高效管理：最佳实践与自动化脚本引言在现代软件开发中，容器化技术正变得越来越重要。Docker 作为容器化的代表工具，在各大企业中得到了广泛的应用。然而，随着容器化应用的增多，如何高效…...

编程日记 2025/8/23 23:01:27

[UEC++]UE5C++各类变量相关知识及其API（更新中）

基础变量 UE自己定义的目的：1.跨平台；2.兼容反射；3.方便宏替换 FString 基础赋值与初始化遍历与内存迭代器访问清除系列操作合并插入与移除 RemoveFromStart是从开头看，没有则移除失败返回false； RemoveFromEnd是…...

编程日记 2025/9/11 10:19:47

C++中的设计模式

设计模式是软件工程中用于解决常见问题的可复用解决方案。它们提供了一种标准化的方法来设计和实现软件系统，从而提高代码的可维护性、可扩展性和可重用性。C 是一种支持多种编程范式（如面向对象、泛型编程等）的语言，因此可以方便…...

编程日记 2025/9/12 21:11:31

Java 设计模式：装饰者模式详解

Java 设计模式：装饰者模式详解装饰者模式（Decorator Pattern）是一种结构型设计模式，它通过动态地为对象添加新功能，扩展其行为，而无需修改原有类的代码。装饰者模式遵循“开闭原则”，提供了比…...

编程日记 2025/9/9 15:54:01

#include <algorithm> #include <iterator> class Solution { public:/*** 计算两个数之和* param s string字符串表示第一个整数* param t string字符串表示第二个整数* return string字符串*/string solve(string s, string t) {// 处理空字符串的情况&#xf…...

编程日记 2025/9/13 18:28:09

Spring IoC深度解析：掌控Bean存储艺术与分层架构的智慧

一、IoC的本质：从"造物主"到"使用者"的思维跃迁在传统编程中，开发者像"造物主"一样亲手创建每个对象（new UserController()），并管理它们的依赖关系。这种方式导致代码高度耦合&#xf…...

编程日记 2025/9/11 14:52:04

8.4 容器2

编程日记 2025/9/9 1:05:52

一组可能的机器学习问题列表

线性回归与多项式拟合的关系最小二乘法在机器学习中的应用梯度下降是如何实现的贝叶斯分类器的应用场景高斯分布与判定在哪里用到模型的评估有哪些参数误差中的偏差和方差定义训练集分组的快捷方式如何度量模型性能查准率查全率的定义roc,aux的含义正则化是什么意思k均值用来解…...

编程日记 2025/9/7 21:52:24

Android 权限列表

权限名称描述android.permission.ACCESS_CHECKIN_PROPERTIES访问登记属性读取或写入登记 check-in 数据库属性表的权限android.permission.ACCESS_COARSE_LOCATION获取粗略位置通过 WiFi 或移动基站的方式获取用户粗略的经纬度信息，定位精度大概误差在 30~1500 米an…...

编程日记 2025/9/12 11:33:40

探索在视频深度伪造中的细微的表情变化或对特定面部特征的小改动检测方法

概述 2019 年，美国众议院议长南希佩洛西成为了一次针对性的、技术含量相对较低的“深度伪造”式攻击的目标。真实的佩洛西视频被编辑，让她看起来像是喝醉了酒。这一不真实的事件在真相大白之前被分享了数百万次，而且在一些人没有关注后续报道…...

编程日记 2025/9/7 3:26:11

调用阿里云API实现身份证文字识别

TOC# 1.作者介绍姚元帅，男，西安工程大学电子信息学院，2024级研究生研究方向：机器视觉与人工智能电子邮件：3183969029qq.com 乔幸荣，女，西安工程大学电子信息学院，2024级研究生&a…...

编程日记 2025/9/8 0:21:09

使用UFW+IPSET禁用海外IP配置持久化操作

上一章我们介绍了如何使用ufwipset禁用海外IP，但是如果服务器重启动，之前的配置就无效了，所以让配置持久化可以避免我们反复设置的麻烦。 IPSET配置持久化的方法有很多种，目前我配置成的是设置ipset后台服务，具体方法…...

编程日记 2025/9/8 11:36:00

深入Linux内核理解socket的本质

本文将从一个初学者的角度开始聊起，让大家了解 Socket 是什么以及它的原理和内核实现。一、Socket 的概念 Socket 就如同我们日常生活中的插头与插座的连接关系。在网络编程中，Socket 是一种实现网络通信的接口或机制。想象一下，插头插入…...

编程日记 2025/8/31 0:54:57

Python使用爬虫IP抓取数据过程

用户之前询问了不同语言的爬虫示例，特别是Python、Node.js和Ruby。现在他们希望详细扩展Python版本中使用代理IP的过程。用户可能已经掌握了基本的爬虫编写，但遇到了IP被封的问题，或者想防止被封。他们需要知道如何集成代理IP到现有的代码中…...

编程日记 2025/9/2 19:01:52

通过MCP+数据库实现AI检索和分析

通过 MCP（Multi-Agent Collaboration Platform，多智能体协作平台） 数据库，实现一个AI检索和分析系统。一、系统目标实现通过 AI 多智能体对结构化（数据库）和非结构化（文档、文本&#xff09…...

编程日记 2025/9/10 5:31:50

51单片机烧录程序演示教程

51单片机烧录程序演示教程 51单片机是一种经典的8位单片机，广泛应用于嵌入式系统开发中。烧录程序是指将编译好的代码下载到单片机的存储器中，以便单片机能够按照程序运行。以下是详细的烧录流程和步骤。所需工具和材料硬件： 51单片机开发…...

编程日记 2025/9/13 4:19:08

06软件测试需求分析案例-添加用户

给职业顾问部的老师添加用户密码后，他们才能登录使用该软件。只有admin账户具有添加用户、修改用户信息、删除用户的权利。admin是经理或团队的第一个人的账号，后面招一个教师就添加一个账号。通读需求是提取信息，提出问题，输出…...

编程日记 2025/9/11 1:14:35

Asp.NET Core WebApi IOptions＜T＞详解

IOptions<T> 是 ASP.NET Core 中用于访问配置数据的一个接口，它属于 Microsoft.Extensions.Options 命名空间。通过 IOptions<T>，你可以将配置绑定到强类型的类中，并在应用程序的不同部分中注入和使用这些配置。这种方式不仅使得…...

编程日记 2025/9/8 4:36:13

Gartner发布软件供应链安全市场指南：软件供应链安全工具的8个强制功能、9个通用功能及全球29家供应商

攻击者的目标是由开源和商业软件依赖项、第三方 API 和 DevOps 工具链组成的软件供应链。软件工程领导者可以使用软件供应链安全工具来保护他们的软件免受这些攻击的连锁影响。主要发现越来越多的软件工程团队现在负责解决软件供应链安全 (SSCS) 需求。软件工件、开发人员身…...

编程日记 2025/9/13 9:54:19

（四十三）Dart 中的空安全与 `required` 关键字

Dart 中的空安全与 required 关键字空安全（Null Safety） 空安全（Null Safety）是 Dart 语言的一项重要特性，旨在帮助开发者避免空指针异常（NullPointerException）。空安全通过在编译时检查变量…...

编程日记 2025/9/9 4:05:24

《解锁分布式软总线：构建智能设备统一管理平台》

智能设备的数量呈爆发式增长，从智能家居里的各类电器，到智能办公中的电脑、打印机，再到工业领域的各种自动化设备，不一而足。如何对这些纷繁复杂的智能设备进行有效管理，成为摆在我们面前的一道难题。分布式软总线技术…...

编程日记 2025/9/10 7:17:46

【android bluetooth 协议分析 01】【HCI 层介绍 1】【hci_packets.pdl 介绍】

在 AOSP 的蓝牙协议栈 (Gabeldorsche) 中，hci_packets.pdl 是一个协议描述语言文件，用于定义 HCI (Host Controller Interface) 层的数据包结构和通信协议。以下是详细解析： 1. 文件作用 system/gd/hci/hci_packets.pdl 协议自动化生成&…...

编程日记 2025/9/12 8:04:04

远程升级组件设计

----------------------- | 主应用程序 | ---------------------- | 通信接口（使用本地socket通信发送给远程升级模块进程或者线程 | (如何启动进程程execl或execv函数）,启动线程用std::sthread。 v ---------------------- 远程升级模块 ----------…...

编程日记 2025/9/12 20:10:07