当前位置：首页 > news >正文

centos7使用gpu加速的MinerU

news 来源：原创 2025/8/16 9:29:25

https://mineru.readthedocs.io/zh-cn/latest/user_guide/install/boost_with_cuda.html
由于官方只有ubantu的安装教程，并没有基于centos7的，故需要自己修改命令安装并使用。

在运行此 Docker 容器之前，您可以使用以下命令检查您的设备是否支持 Docker 上的 CUDA 加速。

docker run --rm --gpus=all nvidia/cuda:12.1.0-base-centos7 nvidia-smi

注意cuda的版本需要和nvidia-smi中显示的一致
验证结果：
在这里插入图片描述
那就不用docker，直接新建环境并在conda环境中使用gpu加速即可。

1.安装 magic-pdf

conda create -n mineru python=3.10
conda activate mineru
pip install -U "magic-pdf[full]" --extra-index-url https://wheels.myhloli.com

2.下载模型

将download_models_hf.py修改为使用modelscope下载

import json
import osimport requests
from modelscope import snapshot_downloaddef download_json(url):# 下载JSON文件response = requests.get(url)response.raise_for_status()  # 检查请求是否成功return response.json()def download_and_modify_json(url, local_filename, modifications):if os.path.exists(local_filename):data = json.load(open(local_filename))config_version = data.get('config_version', '0.0.0')if config_version < '1.1.1':data = download_json(url)else:data = download_json(url)# 修改内容for key, value in modifications.items():data[key] = value# 保存修改后的内容with open(local_filename, 'w', encoding='utf-8') as f:json.dump(data, f, ensure_ascii=False, indent=4)if __name__ == '__main__':# ModelScope 模型路径mineru_patterns = ["models/Layout/LayoutLMv3/*","models/Layout/YOLO/*","models/MFD/YOLO/*","models/MFR/unimernet_small_2501/*","models/TabRec/TableMaster/*","models/TabRec/StructEqTable/*",]model_dir = snapshot_download('opendatalab/PDF-Extract-Kit-1.0', allow_patterns=mineru_patterns)layoutreader_pattern = ["*.json","*.safetensors",]#layoutreader_model_dir = snapshot_download('hantian/layoutreader', allow_patterns=layoutreader_pattern)layoutreader_model_dir = snapshot_download('zxyayase/layoutreader', allow_patterns=layoutreader_pattern)model_dir = model_dir + '/models'print(f'model_dir is: {model_dir}')print(f'layoutreader_model_dir is: {layoutreader_model_dir}')json_url = 'https://github.com/opendatalab/MinerU/raw/master/magic-pdf.template.json'config_file_name = 'magic-pdf.json'home_dir = os.path.expanduser('~')config_file = os.path.join(home_dir, config_file_name)json_mods = {'models-dir': model_dir,'layoutreader-model-dir': layoutreader_model_dir,}download_and_modify_json(json_url, config_file, json_mods)print(f'The configuration file has been configured successfully, the path is: {config_file}')

遇到报错说模型不存在：
在这里插入图片描述
修改为’zxyayase/layoutreader’即可

3.验证json文件

如果 JSON 中不存在以下项目，请手动添加必填项目并删注释内容。

{// other config"layout-config": {"model": "doclayout_yolo" // Please change to "layoutlmv3" when using layoutlmv3.},"formula-config": {"mfd_model": "yolo_v8_mfd","mfr_model": "unimernet_small","enable": true  // The formula recognition feature is enabled by default. If you need to disable it, please change the value here to "false".},"table-config": {"model": "rapid_table",  // Default to using "rapid_table", can be switched to "tablemaster" or "struct_eqtable"."sub_model": "slanet_plus",  // When the model is "rapid_table", you can choose a sub_model. The options are "slanet_plus" and "unitable""enable": true, // The table recognition feature is enabled by default. If you need to disable it, please change the value here to "false"."max_time": 400}
}

在这里插入图片描述

4.cpu运行

wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/demo/small_ocr.pdf
magic-pdf -p small_ocr.pdf -o ./output

在这里插入图片描述

可见每页的处理时间大概是20多s。

5. gpu运行

修改【用户目录】中配置文件 magic-pdf.json 中”device-mode”的值

{"device-mode":"cuda"
}

再次执行

magic-pdf -p small_ocr.pdf -o ./output

在这里插入图片描述

centos7使用gpu加速的MinerU

https://mineru.readthedocs.io/zh-cn/latest/user_guide/install/boost_with_cuda.html 由于官方只有ubantu的安装教程，并没有基于centos7的，故需要自己修改命令安装并使用。在运行此 Docker 容器之前，您可以使用以下命令检查您的设备是否…...

编程日记 2025/8/16 9:29:25

反射、反射调用以及修改成员变量，成员方法，构造函数、反射的应用

DAY11.2 Java核心基础反射（第二弹） 第一弹请访问链接： 反射（第一篇） getMethod(String name, Class… parameterTypes)getMethods()getDeclaredMethod(String name,Class… parameterTypes)getDeclaredMethods() …...

编程日记 2025/8/16 12:57:26

对Spring的每种事务传播级别的应用场景和失效场景

好的，下面针对Spring的每种事务传播级别，详细说明其应用场景和失效场景，帮助更好地理解它们的实际使用。 1. REQUIRED（默认） 应用场景： 大多数业务方法，尤其是需要事务支持的操作。例如&#x…...

编程日记 2025/8/16 11:28:11

DeepSeek linux服务器（CentOS）部署命令笔记

Linux（CentOS）FinalShellOllama远程访问，本地部署deepseek 自备CentOS服务器，并且已经使用FinalShell连接到服务器一、准备工作 1.更新服务器 apt-get update-y 2.下载Ollama curl -fsSL https://ollama.com/install.sh | …...

编程日记 2025/8/15 13:11:17

阿里巴巴发布 R1-Omni：首个基于 RLVR 的全模态大语言模型，用于情感识别

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/8/16 11:55:54

OpenCV 拆分、合并图像通道方法及复现

视频讲解 OpenCV 拆分、合并图像通道方法及复现环境准备：安装 OpenCV 库（pip install opencv-python） 内容： 1. 读取任意图片（支持 jpg/png 等格式） 2. 使用 split () 函数拆解成 3 个单色通道&#xf…...

编程日记 2025/8/16 11:26:15

Node 使用 SSE 结合redis 推送数据(echarts 图表实时更新)

1、实时通信有哪些实现方式？ 特性轮询（Polling）WebSocketSSE (Server-Sent Events)通信方向单向（客户端 → 服务端）双向（客户端 ↔ 服务端）单向（服务端 → 客户端）连接方…...

编程日记 2025/8/16 12:34:17

提升 Instagram 账号安全性：防止数据泄露的步骤

提升 Instagram 账号安全性：防止数据泄露的步骤在这个数字化时代，Instagram 不仅是我们分享生活点滴的平台，也是个人信息交换的场所。随之而来的，是数据泄露的风险。保护好自己的 Instagram 账号，防止个人信息外泄&a…...

编程日记 2025/8/16 11:36:00

实现“XXX一张图“进行环境设施设备可视化管理

实现“电网一张图”、“铁路一张图”、“水库一张图”、“森林一张图”等概念，本质上是将某一领域的空间数据、设施设备、运行状态等信息整合到一个统一的数字化平台上，实现全域可视化、智能化管理和协同运营。这种“一张图”模式依赖于地理信息系统（GIS）、物联网（IoT）、…...

编程日记 2025/8/16 11:40:08

RTDETR融合[CVPR2025]ARConv中的自适应矩阵卷积

RT-DETR使用教程： RT-DETR使用教程 RT-DETR改进汇总贴：RT-DETR更新汇总贴《Adaptive Rectangular Convolution for Remote Sensing Pansharpening》一、模块介绍论文链接：https://arxiv.org/pdf/2503.00467 代码链接：https:/…...

编程日记 2025/8/16 12:18:23

深度解读DeepSeek部署使用安全（48页PPT）（文末有下载方式）

深度解读DeepSeek：部署、使用与安全详细资料请看本解读文章的最后内容。引言 DeepSeek作为一款先进的人工智能模型，其部署、使用与安全性是用户最为关注的三大核心问题。本文将从本地化部署、使用方法与技巧、以及安全性三个方面，对Deep…...

编程日记 2025/8/16 13:03:10

微服务无状态服务设计

微服务无状态服务设计是构建高可用、高扩展性系统的核心方法。一、核心设计原则请求独立性每个请求必须携带完整的上下文信息，服务不依赖本地存储的会话或用户数据。例如用户认证通过JWT传递所有必要信息，而非依赖服务端Session。状态外置化将会话…...

编程日记 2025/8/16 11:31:02

Android 高版本 DownloadManager 封装工具类，支持 APK 断点续传与自动安装

主要有以下优点兼容高版本 Android：适配 Android 10 及以上版本的存储权限和安装权限。断点续传：支持从断点继续下载。下载进度监听：实时获取下载进度并回调。错误处理：处理下载失败、网络异常等情况。自动安装 APK：…...

编程日记 2025/8/16 9:42:05

Apache Hudi 性能测试报告

一、测试背景数据湖作为一个集中化的数据存储仓库，支持结构化、半结构化以及非结构化等多种数据格式，数据来源包含数据库数据、增量数据、日志数据以及数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据集中存储和管理在高性价比的分布式存储系统中，对外提供…...

编程日记 2025/8/16 11:24:24

Flask使用Blueprint注册管理路由

在 Flask 中，可以使用蓝图（Blueprint） 来组织和注册路由，从而让代码更加模块化和易于维护。以下是完整的使用方法： 1. 创建 Flask 项目结构建议的项目目录结构如下： my_flask_app/ │── app.py …...

编程日记 2025/8/16 9:42:09

文章目录 GlossaryDeclaring and Accessing External Symbolsffi.cdef(def)ffi.Cclib ffi.load(name [,global])例子：ffi.load 函数的使用 Creating cdata Objectscdata ffi.new(ct [,nelem] [,init...]) cdata ctype([nelem,] [init...])例子：匿名 C…...

编程日记 2025/8/15 18:44:14

[资源分享]-web3/区块链/学习路线/资料/找工作方式/水龙头

记录个人学习web3整理的资料后续如果有了解/入坑打算, 提前收藏一下. 1. 学习路线登链社区-学习路线图 2. 学习资料国内成系统的资料比较少,我整理的网盘的,关注私信我,资料互相学习前言 | 区块链技术指南学习web3-僵尸小游戏 web3.js文档 ethers.js官方文档 Hardhat文…...

编程日记 2025/8/16 9:42:07

Django-ORM-prefetch_related

Django-ORM-prefetch_related 模型定义N1 查询问题示例使用 prefetch_related 优化查询处理更复杂的查询示例：预取特定条件的书籍示例：预取多个关联字段性能比较注意事项总结通过 Author 和 Books 两个模型来理解 Django 的 prefetch_related 方法。 …...

编程日记 2025/8/16 4:29:38

MySQL 批量插入 vs 逐条插

MySQL 插入数据：批量插入 vs 逐条插入，哪个更快？ 在 MySQL 中，插入数据有两种常见方式： 批量插入：一条 SQL 插入多条数据。逐条插入：每次插入一条数据。这两种方式有什么区别？哪…...

编程日记 2025/8/16 9:42:23

Linux centos 7 grub引导故障恢复

CentOS 7误删GRUB2可以通过以下步骤恢复： 进入救援模式 1. 插入CentOS 7安装光盘，重启系统。在开机时按BIOS设置对应的按键（通常是F2等），将启动顺序调整为CD - ROM优先。 2. 系统从光盘启动后，选择“…...

编程日记 2025/8/16 9:42:30

要在Unreal Engine 5（UE5）中实现角色打击怪物并让怪物做出受击反应，

UE5系列文章目录文章目录 UE5系列文章目录前言一、实现思路二、最终效果前言 ue5角色受击没有播放受击动画，主角达到怪物身上没有反应一、实现思路要在Unreal Engine 5（UE5）中实现角色打击怪物并让怪物做出受击反应，你需要…...

编程日记 2025/8/16 11:29:00

Navicat for Snowflake 震撼首发，激活数据仓库管理全新动能

近日，Navicat 家族迎来了一位全新成员 — Navicat for Snowflake。Snowflake 是一款基于云架构的现代数据仓库解决方案，以其弹性扩展、高性能和易用性著称。这次首发的Navicat for Snowflake 专为简化 Snowflake 数据库管理任务而精心打造。它凭借其直观…...

编程日记 2025/8/16 9:43:48

【redis】发布订阅

Redis的发布订阅（Pub/Sub）是一种基于消息多播的通信机制，它允许消息的**发布者（Publisher）向特定频道发送消息，而订阅者（Subscriber）**通过订阅频道或模式来接收消息。其核心特点如…...

编程日记 2025/8/16 11:44:54

高级java每日一道面试题-2025年2月26日-框架篇[Mybatis篇]-Mybatis是如何将sql执行结果封装为目标对象并返回的?都有哪些映射形式 ?

如果有遗漏,评论区告诉我进行补充面试官: Mybatis是如何将sql执行结果封装为目标对象并返回的?都有哪些映射形式 ? 我回答: 在Java高级面试中讨论MyBatis如何将SQL执行结果封装为目标对象并返回的过程时，我们可以从过程细节和映射形式两个方面来综合解答这个问…...

编程日记 2025/8/16 9:45:06

linux root丢失修改密

在RHEL7下重置密码第一种方式：光驱进入急救模式 //做之前最好 selinuxdisabled Conntinue 然后chroot /mnt/sysimag 然后编辑/etc/shadow文件第二种方式： 1：编辑启动菜单按e,找到linux16行，在行尾加入 init/bin/sh,同时在…...

编程日记 2025/8/16 11:14:23

OpenCV中文路径图片读写终极指南（Python实现）

文章目录 OpenCV中文路径图片读写终极指南（Python实现）一、问题深度解析1.1 现象观察1.2 底层原因二、中文路径读取方案2.1 终极解决方案（推荐）2.2 快速修复三、中文路径保存方案3.1 通用保存函数3.2 使用示例四、技术原理详解…...

编程日记 2025/8/16 9:42:25

linux 时间同步(阿里云ntp服务器)

1、安装ntp服务 rootlocalhost ~]# yum -y install ntp 已加载插件：fastestmirror, langpacks Loading mirror speeds from cached hostfile* base: mirrors.nju.edu.cn* centos-sclo-rh: mirrors.nju.edu.cn* centos-sclo-sclo: mirrors.huaweicloud.com* epel: m…...

编程日记 2025/8/16 6:06:47

Go vs Rust vs C++ vs Python vs Java：谁主后端沉浮

一、核心性能对比（基于TechEmpower基准测试）语言单核QPS延迟(ms)内存消耗适用场景Rust650,0000.1245MB高频交易/区块链C++720,0000.0932MB游戏服务器/实时渲染Go230,0000.45110MB微服务/API网关Java180,0001.2450MB企业ERP/银行系统Python12,0008.5220MBAI接口/快速原型技术…...

编程日记 2025/8/16 9:43:50

5 分钟搭建 Prometheus + Grafana 监控

一.安装 Prometheus cd /usr/local/ wget https://github.com/prometheus/prometheus/releases/download/v2.38.0/prometheus-2.38.0.linux-amd64.tar.gz tar xvf prometheus-2.38.0.linux-amd64.tar.gz ln -s prometheus-2.38.0.linux-amd64 prometheus二.安装 node_exporter…...

编程日记 2025/8/16 8:06:33

【机器人-基础知识】标定 - 相机内参求解原理（单应性矩阵、内参约束方程）

1. 求解目标：内参从世界坐标系到像素坐标系的齐次坐标形式： s [ u v 1 ] K [ R t ] [ X w Y w Z w 1 ] s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} K \, [\, R \quad t \,] \begin{bmatrix} X_w \\ Y_w \\ Z_w \\ 1 \end{bmatrix} s uv1 K…...

编程日记 2025/8/16 1:35:39

【QT】-一文说清楚QT定时器怎么用

在 Qt 中，定时器（QTimer）是用来定时执行某些任务的非常有用的类。它可以帮助你在指定的时间间隔后重复执行某个函数。常见的用法是启动一个定时器，每过一段时间自动执行某个操作，比如更新 UI、检查状态或发送数据等。 …...

编程日记 2025/8/16 12:21:41

QT编程之JSON处理

一、核心类库及功能 Qt 提供了一套完整的 JSON 处理类库（位于 QtCore 模块），支持解析和生成 JSON 数据： ‌QJsonDocument‌：表示完整的 JSON 文档，支持从 QJsonObject 或 QJsonArray 初始化‌。‌QJsonOb…...

编程日记 2025/8/16 12:12:51

优选算法系列（1.双指针_下）

目录五. 有效三角形的个数（medium） 题目链接：有效三角形的个数解法: 代码： 六：和为 s 的两个数字（easy） 题目链接：和为 s 的两个数字解法： 代码; 七&#xf…...

编程日记 2025/8/16 4:58:27

江科大51单片机笔记【15】直流电机驱动（PWM）

写在前言此为博主自学江科大51单片机（B站）的笔记，方便后续重温知识在后面的章节中，为了防止篇幅过长和易于查找，我把一个小节分成两部分来发，上章节主要是关于本节课的硬件介绍、电路图、原理图等理论…...

编程日记 2025/8/16 1:43:35

MS51FB9AE单片机解密实践与解析

MS51FB9AE 单片机解密实践与解析在电子技术领域，MS51FB9AE 作为一款基于 8051 内核的单片机，凭借其强大功能与良好性能，在家用电器、智能仪表等诸多领域广泛应用，深受市场青睐。然而，厂家所采用的独特加密技术&#x…...

编程日记 2025/8/16 11:31:47

java 手搓一个http工具类请求传body

import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.nio.charset.StandardCharsets;public class HttpUtil {/*** JSON请求发起*/public static String httpJsonRequest(String requestUrl, String requestJson) {String responseJson &…...

编程日记 2025/8/16 11:21:13

1.安装 magic-pdf

2.下载模型

3.验证json文件

4.cpu运行

5. gpu运行

相关文章：