当前位置：首页 > news >正文

基于多模态文档解析与RAG的行业知识库构建技术指南

news 来源：原创 2025/6/27 21:43:43

1. 技术背景

随着企业非结构化数据（扫描件、PDF、图像等）占比超过80%，传统关键词检索已无法满足精准问答需求。本文提出融合**计算机视觉（CV）与大语言模型（LLM）**的解决方案，关键技术栈包括：

文档解析层：PyMuPDF/fitz、YOLOv11、pytesseract
数据处理层：Label-Studio、LayoutLMv3
应用层：Dify、Streamlit、LangChain
向量化工具：BAAI/bge、FAISS/Milvus

2. 技术架构

3. 核心模块实现

3.1 文档解析优化

扫描件处理（YOLOv11+OCR）

# 区域检测+选择性OCR
model = YOLO('yolo11n.pt')
results = model('doc.jpg', classes=[0,1,2])  # 0=表格,1=签名,2=图表for box in results[0].boxes:x1,y1,x2,y2 = box.xyxy[0].tolist()cropped = image[y1:y2, x1:x2]text = pytesseract.image_to_string(cropped, config='--psm 6 -c preserve_interword_spaces=1')save_to_markdown(f"## {model.names[box.cls]}\n{text}")

关键创新：

采用YOLOv11n的自适应缩放技术，相比YOLOv8在文档上的mAP提升12%
OCR参数优化：preserve_interword_spaces保持表格对齐

数字PDF解析（PyMuPDF进阶用法）

import fitz
doc = fitz.open("contract.pdf")for page in doc:# 提取文本块及其坐标blocks = page.get_text("dict")["blocks"]for b in blocks:if b['type'] == 0:  # 文本块text = b["lines"][0]["spans"][0]["text"]rect = b["bbox"]  # 坐标信息用于后续布局分析

3.2 数据标注与训练

Label-Studio配置模板

<View><Image name="image" zoom="true"/><RectangleLabels name="bbox" toName="image"><Label value="表格" background="#FF0000"/><Label value="签名" background="#00FF00"/><Label value="条形码" background="#0000FF"/></RectangleLabels><TextArea name="transcription" toName="image"editable="true" perRegion="true"/>
</View>

最佳实践：

启用AI辅助预标注减少70%人工工作量

导出YOLO格式时保留OCR文本：

# dataset.yaml
path: ../dataset
train: images/train
val: images/val
names: 0: 表格1: 签名2: 条形码

LLaMA-Factory微调

# 使用行业数据微调
python src/train_bash.py \--model_name_or_path Llama-3-8B \--dataset_dir ./law_data \--template default \--lora_target q_proj,v_proj \--per_device_train_batch_size 2 \--gradient_accumulation_steps 8

参数调优：

LoRA秩选择：法律文本建议rank=64，医疗文本rank=32
学习率：3e-5（通用领域）→ 5e-6（专业领域）

3.3 RAG系统搭建

混合检索方案

from langchain.retrievers import BM25Retriever, EnsembleRetriever
from langchain_community.vectorstores import FAISS# 语义检索
vectorstore = FAISS.load_local("vector_db", embeddings)
vector_retriever = vectorstore.as_retriever(search_kwargs={"k": 3})# 关键词检索
bm25_retriever = BM25Retriever.from_documents(docs)# 混合检索
ensemble_retriever = EnsembleRetriever(retrievers=[bm25_retriever, vector_retriever],weights=[0.4, 0.6]
)

性能对比：

检索方式	准确率@5	响应时间
纯向量	72.3%	120ms
纯BM25	65.1%	80ms
混合检索	78.9%	150ms

4. 部署优化

4.1 Streamlit性能增强

@st.cache_resource
def load_models():# 多模型并行加载yolo = YOLO('yolo11n.pt').to('cuda')llm = AutoModelForCausalLM.from_pretrained(...)return {"yolo": yolo, "llm": llm}models = load_models()  # 全局缓存

优化效果：

页面加载时间从8s→1.2s
GPU内存占用减少40%（通过FP16量化）

4.2 Dify插件开发

# 自定义法律条款解析插件
from dify.plugins import Pluginclass LawClausePlugin(Plugin):def process(self, text: str) -> str:# 调用YOLO检测条款编号clauses = yolo_detect(text)return json.dumps(clauses)

功能扩展：

自动关联相关法条（基于知识图谱）
版本差异对比（通过git管理文档变更）

5. 行业落地案例

5.1 金融合同审查

技术组合：
YOLOv11（表格检测） + LayoutLMv3（跨页关联） + bge-large（向量化）
效果：
- 合同审查时间从2小时→15分钟
- 关键条款召回率92.6%

5.2 医疗报告分析

创新点：
- 使用Label-Studio标注DICOM元数据
- 微调LLaMA-3的LoRA适配器仅3.8MB
准确率：
指标传统OCR 本方案
药品名识别 68% 94%
剂量单位关联 52% 89%

指标	传统OCR	本方案
药品名识别	68%	94%
剂量单位关联	52%	89%

6. 致谢

本文技术方案已在GitHub开源：

文档解析工具包：github.com/doc-ai-toolkit
RAG模板项目：github.com/rag-starter-kit

（注：文中所有实验数据均基于NVIDIA A10G测试环境，完整复现步骤详见项目README）

基于多模态文档解析与RAG的行业知识库构建技术指南

1. 技术背景随着企业非结构化数据（扫描件、PDF、图像等）占比超过80%，传统关键词检索已无法满足精准问答需求。本文提出融合**计算机视觉（CV）与大语言模型（LLM）**的解决方案，关键技…...

编程日记 2025/6/27 21:43:43

UVa1408/LA4018 Flight Control

UVa1408/LA4018 Flight Control 题目链接题意分析AC 代码题目链接本题是2007年icpc亚洲区域赛成都赛区的F题题意有一个N行M列的数组(1 ≤ N ≤ 50, 1 ≤ M ≤ 9)记录机场各个航班的飞行传感数据，其每个元素都是整数。如果某元素小于等于0，则其一定不…...

编程日记 2025/6/27 23:35:16

【STM32 HAL库】使用HAL库操作FLASH

操作顺序先解锁Flash，再擦除片区，再写入，写完了别忘了加锁。 HAL_FLASH_Unlock(); HAL_FLASHEx_Erase(); HAL_FLASH_Program(); HAL_FLASH_Lock();擦除操作首先有个问题，我们为什么要擦除，不能直接覆写吗&#xf…...

编程日记 2025/6/27 23:02:11

【学习笔记】2.2 Encoder-Decoder

参考资料：https://github.com/datawhalechina/happy-llm 在 Transformer 中，使用注意力机制的是其两个核心组件——Encoder（编码器）和 Decoder（解码器）。 2.2.1 Seq2Seq 模型 Seq2Seq（序列到…...

编程日记 2025/6/27 22:46:58

批量创建tmux tmux批量

目录获取空进程 tmux 获取空进程tmux并关闭批量创建tmux 批量创建tmux 设置CUDA_VISIBLE_DEVICES： python 读取CUDA_VISIBLE_DEVICES 获取空进程 tmux for session in $(tmux ls -F #S); dopid=$(tmux list-panes -t "$session" -F "#{pane_pid}"…...

编程日记 2025/6/27 23:26:47

7.索引库操作

mapping映射属性 mapping是对索引库中文档的约束常见的mapping属性包括： type 字段数据类型，常见的简单类型有： 字符串：text(可分词的文本) keyword(精确值，例如：品牌、国家，ip地址) 数值&…...

编程日记 2025/6/27 2:24:56

Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CNN五模型多变量时序预测

Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CNN五模型多变量时序预测目录 Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CNN五模型多变量时序预测预测效果基本介绍程序设计参考资料预测效果基本介绍 Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CN…...

编程日记 2025/6/27 2:40:07

ROS2 笔记汇总（2）通信接口

在 ROS 系统中，通信接口（Interface） 是节点之间传递信息的标准“语言协议”，确保了不同功能节点之间可以正确理解和使用彼此传送的数据内容。我们可以将其理解为“数据结构格式定义”，贯穿于话题（Topic&…...

编程日记 2025/6/27 23:34:25

更新已打包好的 Spring Boot JAR 文件中的 class 文件

# 1. 解压原始 JAR unzip -q original-app.jar -d temp # 2. 替换 class 文件 cp ~/projects/new-classes/*.class temp/BOOT-INF/classes/com/example/ # 3. 保留原始清单 cp temp/META-INF/MANIFEST.MF . # 4. 重新打包 jar -cf0m new-app.jar MANIFEST.MF -C temp/ . # …...

编程日记 2025/6/27 22:46:56

matlab实现求解兰伯特问题

求解兰伯特问题的matlab代码，非常好用 solve_lambertLYP.m , 1899 StumpffC.m , 136 StumpffdF.m , 294 StumpffF.m , 151 StumpffS.m , 167 Stumpffy.m , 96 text2.m , 104...

编程日记 2025/6/27 23:05:01

英福康INFICON VGC501, VGC502, VGC503 单通道、双通道和三通道测量装置

英福康INFICON VGC501, VGC502, VGC503 单通道、双通道和三通道测量装置...

编程日记 2025/6/27 23:12:21

解决IDEA插件使用Lombok找不到符号问题

https://juejin.cn/post/7013998800842784782 -Djps.track.ap.dependenciesfalse...

编程日记 2025/6/27 23:31:21

ULVAC DC-10-4P 400V input 10kW DC Pulse power supply 爱发科直流电源

ULVAC DC-10-4P 400V input 10kW DC Pulse power supply 爱发科直流电源...

编程日记 2025/6/27 23:27:25

pip安装python第三方库报错

ERROR: Could not install packages due to an OSError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。: C:\\Users\\Lenovo\\AppData\\Local\\Temp\\pip-unpack-9i5hs6ml\\tensorflow-2.10.1-cp310-cp310-win_amd64.whl Consider using the --user optio…...

编程日记 2025/6/27 23:19:28

湖南大学CS-2024期末考试解析

【前言】这是一张引流贴，标准答案跳转至23级同学的博客。但需要指出，本人没来得及校准答案。感谢23级同学做出的开源贡献。【参考答案】湖南大学CS-2024期末考试解析-CSDN博客...

编程日记 2025/6/27 2:22:55

SpringBoot-Thymeleaf

大佬写的真好：Thymeleaf一篇就够了-阿里云开发者社区...

编程日记 2025/6/27 23:11:23

Docker镜像之windows系统

https://github.com/dockur/windows 在 Docker 容器中运行 Windows 功能 ISO 下载器KVM 加速基于网页的查看器使用方法启动容器并通过浏览器连接到端口 8006。整个安装过程将全自动完成，无需手动干预。当桌面界面出现时，表示 Windows 安装已完成&a…...

编程日记 2025/6/27 23:28:04

学到新的日志方法mp

使用mp技术的时候可以在类上加上注解Slf4j 就可以使用日志不需要在定义变量log,注意日志只能在方法内使用，不能在方法外进行使用...

编程日记 2025/6/27 23:34:38

PythonWeb项目开发脚手架

项目技术选型 1、FastAPI python web开发框架 2、SQLAlchemy ORM框架 (MySQL) 3、Dynaconf 配置管理 4、JWT Passlib(hash加密) 码云地址： pyhappy: Python Web 项目开发脚手架...

编程日记 2025/6/27 23:01:09

相机--相机标定

教程相机标定分类相机标定分为内参标定和外参标定。内参标定目的作用原理外参标定...

编程日记 2025/6/27 23:16:09

IoTGateway项目生成Api并通过swagger和Postman调用

IoTGateway项目生成Api并通过swagger和Postman调用-CSDN博客...

编程日记 2025/6/27 23:22:44

vscode code runner 使用python虚拟环境

转载如下： zVS Code插件Code Runner使用python虚拟环境_coderunner python-CSDN博客...

编程日记 2025/6/27 1:53:51

IEE754标准，double和int转换，在线计算器

1.在线计算器在线进制转换-IEE754浮点数16进制转换 2.标准解释西门子PLC接收的ModbusRTU数据帧中IEEE754 格式4字节数据转为浮点数转换程序_西门子modbus读取32位浮点数-CSDN博客浮点数表示（IEEE 754）_浮点数举个例子-CSDN博客 IEEE754 浮点数&a…...

编程日记 2025/6/27 23:38:00

语音转文字工具

平时工作和学习比较忙，可能没时间听讲座，只能看回放，回访也很长，这时，我们可以借助语言转文字，通过阅读文字快速了解讲座的重点，今天给大家分享一个本人经常用的语言转文字工具，改工…...

编程日记 2025/6/27 15:31:05

微前端之micro-app数据通信

在这之前如果还没接触过微前端，可以找一些视频、资料先去了解一下，就不在这里赘述了。现在常见的微前端框架包括： single-spa micro-app qiankun EMP 无界目前了解到的基本上是这些哈，大家感兴趣可以自行去了解一下，看下它们之间的区别。因为我目前使用的是mic…...

编程日记 2025/6/27 23:14:31

【代码坏味道】无用物Dispensables

💬 Comments（注释过多） 🧾 症状方法中充满了解释性注释。 🧠 问题原因作者意识到代码不易懂，靠注释来“掩盖”结构不清的问题。 🛠️ 应对方法用好名字代替注释：好名字胜过…...

编程日记 2025/6/27 22:47:11

C++ 观察者模式：设计与实现详解

一、引言在现代软件开发中，组件间的交互与通信是系统设计的核心挑战之一。观察者模式（Observer Pattern）作为一种行为设计模式，提供了一种优雅的解决方案，用于实现对象间的一对多依赖关系。本文将深入探讨 C++ 中观察者模式的设计理念、实现方式及其应用场景。二、观察…...

编程日记 2025/6/27 17:02:55

C++ 17 正则表达式

正则表达式不是C语言的一部分，这里仅做简单的介绍。将这项技术引进，在』的讨论正则表达式描述了一种字符串匹配的模式。一般使用正则表达式主要是实现下面三个需求： 1,检查一个串是否包含某种形式的子串； 2,将匹配的子串替换&a…...

编程日记 2025/6/27 22:50:14

[Windows] 剪映视频编辑处理

附链接：夸克网盘分享（点击蓝色字体自行保存下载）...

编程日记 2025/6/27 23:11:19

docker安装和镜像源替换

这个博主的方法很好：Docs...

编程日记 2025/6/27 23:15:27

MAC软件游戏打开提示已损坏

打开「终端.app」，输入以下命令并回车，输入开机密码回车 sudo spctl --master-disable 按照上述步骤操作完成后，打开「系统偏好设置」-「安全与隐私」-「通用」，确保已经修改为「任何来源」。打开「终端.app」，输入…...

编程日记 2025/6/27 23:39:32

数据库概念

1. 数据库核心组成：包括数据集合(DB)、管理系统(DBMS)和完整系统(DBS)，具有共享性、独立性、低冗余、一致性、完整性和安全性等特点。 2. 关系型数据库基础：采用二维表结构存储数据，核心概念包括表、行(元组)、列(属性)、主键(唯…...

编程日记 2025/6/27 23:34:27

每日Prompt：指尖做画

提示词微缩景观，微距摄影，俯瞰角度，特写，硕大食指手指甲，一个小小的人正在做画，小人右手拿画笔，小人左手拿调色盘，在指甲上作画，画的是中国古代山水画，背景…...

编程日记 2025/6/27 22:47:07

线程池的详细知识(含有工厂模式)

前言下午学习了线程池的知识。重点探究了ThreadPoolExecutor里面的各种参数的含义。我详细了解了这部分的知识。其中有一个参数涉及工厂模式，我将这一部分知识分享给大家~ 线程池的详细介绍(含工厂模式) 结语分享到此结束啦。byebye~...

编程日记 2025/6/27 10:30:12

【c语言输入不大于26的整数，输出全部大写字母输入3输出ABC】2022-1-30

缘由c语言简单运用，越简单越好-编程语言-CSDN问答 int x 0, n 0; scanf_s("%d", &n); //std::cin >> n;while (x<n)printf_s("%c", (char)(A x)), x; // std::cout << (char)(A x), x;...

编程日记 2025/6/27 23:17:54

91.评论日记

2025年5月30日20:27:06 AI画减速器图纸？ 呜呜为什么读到机械博士毕业了才有啊 | 新迪数字2025新品发布会 | AI工业软件 | 三维CAD | 国产自主_哔哩哔哩_bilibili...

编程日记 2025/6/27 23:03:56

redis持久化策略

RDB 是通过生成数据快照来实现持久化的，相当于给内存中的数据拍一张"照片"保存到磁盘上。AOF 记录所有写操作命令，以Redis协议格式追加到文件末尾。 RDB 在满足特定条件时触发内存快照，生成新的RDB文件替换旧文件 AOF 先写入内…...

编程日记 2025/6/27 22:58:13

gitLab 切换中文模式

点击【头像】--选择settings 选择【language】,选择中文，点击【保存】即可。...

编程日记 2025/6/27 22:47:15

VScode ios 模拟器安装cocoapods

使用 Homebrew 安装（推荐） 如果你有 Homebrew，直接用它安装更稳定： brew install cocoapods...

编程日记 2025/6/27 22:38:25

什么是Docker容器？

什么是Docker？看这一篇干货文章就够了！ - 知乎直接上链接（感谢小灰老师！） 后续可能会补充菜狗的自我见解（太菜了，要慢慢学！）...

编程日记 2025/6/27 13:54:35

相机--RGBD相机

教程分类原理和标定 RGBD相机RGB相机深度；...

编程日记 2025/6/27 23:12:32

阻塞队列的学习以及模拟实现一个阻塞队列

前言今天上午学习了阻塞队列。之前在数据结构的时候，学过队列。把队列放在多线程中，对队列会有新的体会。我自己也实现了一个阻塞队列结合生产消费模型，希望对于大家有帮助~ 阻塞队列的相关知识结语本次的分享就结束啦。端午安康~...

编程日记 2025/6/27 22:47:14

wireshark分析国标rtp ps流

1.将抓到的tcp或者udp视频流使用decode as 转为rtp包 2.电话->RTP->RTP播放器选择Export 里面的Payload 就可以导出原始PS流...

编程日记 2025/6/27 23:17:32

ai如何绘制mg人物眉毛

ai如何绘制mg人物眉毛解决方法: 1、使用椭圆工具，画个扁扁的圆，长度和眉毛长度一致 2、切换到直接选择工具，选择椭圆底部的锚点，按住键盘上键往上移动，画出眉毛弧度如果想更细致一点，比如绘制眉峰可参…...

编程日记 2025/6/27 9:43:37

系统安装出现的问题老毛桃

有的电脑这样，不一定能进入u盘启动，需要再 save Exid栏目里，点击那个use disk2.0...

编程日记 2025/6/27 22:47:09

CTA-861-G-2017中文pdf版

CTA-861-G标准（2016年11月发布）规范未压缩高速数字接口的DTV配置，涵盖视频格式、色彩编码、辅助信息传输等，适用于DVI、HDMI等接口，还涉及EDID数据结构及HDR元数据等内容。...

编程日记 2025/6/27 8:18:48

ai如何绘制mg人物的睫毛

ai如何绘制mg人物的睫毛解决方法: 1、先ctrlc，再ctrlf原地复制粘贴眼眶图层，复制两次（图层1在图层2的上一层），填充颜色改成睫毛颜色，黑色 2、切换到选择工具，选中图层1，点击一次键…...

编程日记 2025/6/27 23:32:04

eNSP企业综合网络设计拓扑图

1.拓扑图 2.拓扑配置此拓扑还有一些瑕疵，仅做参考和技术提升使用。想要配置的可以关注下载大型网络综合实验拓扑图（eNSP）资源-CSDN文库...

编程日记 2025/6/27 23:05:06

ST-GCN

1.bash 安装git 在目录下右键使用git bash打开需要安装wgetbash download_model.sh，下载.sh文件 wget: command not found，Windows系统使用git命令下载预训练权重_sh文件下载-CSDN博客 bash tools/get_models.sh 生成了三个.pt文件...

编程日记 2025/6/27 22:29:13

k8s pod启动失败问题排查

1. 查看日志 kubectl describe pod xxx -n xxx kubectl logs podname -n xxx --tail200 2. 镜像到pod所在主机检查pod所需的镜像是否能成功拉取（docker images） 3.硬件资源检查pod所在服务器的磁盘空间是否被占满（df -h 和 du -sh /&a…...

编程日记 2025/6/27 6:10:14