当前位置：首页 > news >正文

【MinerU】：一款将PDF转化为机器可读格式的工具——RAG加强（Docker版本）

news 来源：原创 2025/7/4 20:03:52

创建容器

安装miniconda

安装mineru

CPU运行

GPU加速

多卡问题

创建容器

构建Dockerfile文件

开启ssh服务，设置密码为1234等操作

# 使用官方 Ubuntu 24.04 镜像
FROM ubuntu:24.04# 安装基础工具和SSH服务
RUN apt-get update && \apt-get install -y --no-install-recommends \openssh-server \vim \curl \net-tools \iputils-ping && \rm -rf /var/lib/apt/lists/*# 配置SSH
RUN mkdir -p /var/run/sshd && \echo 'root:1234' | chpasswd && \sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config# 暴露SSH端口
EXPOSE 22# 启动SSH守护进程
CMD ["/usr/sbin/sshd", "-D"]

将Dockerfile文件构建为镜像

docker build -t ubuntu_lfl .

启动一个docker容器

 docker run -d   --name mineru-1   --restart=unless-stopped --gpus '"device=0"'  -v /mnt/LTSDataset:/mnt/LTSDataset   -v /mnt/Share400T:/mnt/Share400T  -p 9999:22   ubuntu_lfl:latest

安装miniconda

连接进入容器

可以使用ssh或者vscode或者xshell等

安装wget

apt update && apt install wget -y

下载miniconda安装的运行脚本

 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh

运行脚本

 bash miniconda.sh -b -p ~/miniconda3

环境变量生效

source ~/.bashrc

用查看版本来验证是否安装成功

conda --version

安装mineru

创建一个py10的conda环境

conda create -n mineru python=3.10

进入环境

conda activate mineru

安装相关的包

pip install -U "magic-pdf[full]" --extra-index-url https://wheels.myhloli.com -i https://mirrors.aliyun.com/pypi/simple

安装modelscope，用来下载模型的（也可以自己下）

pip install modelscope

下载使用modelscope包下载模型的python运行脚本

wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py -O download_models.py

运行python脚本（可以自己写）

python download_models.py

验证安装

 magic-pdf -v

CPU运行

上传了一个pdf文件

magic-pdf -p /root/olb_ug-1.7r0.pdf -o /root/outputs -m auto

运行报错，缺少了一些图像处理的包

安装对应的包

apt-get update && apt-get install -y libgl1 libglib2.0-0

成功启动

结果如下

运行时间

8:52-11:05 共 73分钟

GPU加速

将用户目录下的magic-pdf.json文件修改为（原来是cpu）

"device-mode":"cuda"

运行时间为3分钟

GPU加速的效果确实很好

多卡问题

使用其官方镜像运行发现也不会多卡加速

所以对于多张卡的用户就授予不同的GPU权限，分开跑，比如我可以四个docker容器分别跑。

【MinerU】：一款将PDF转化为机器可读格式的工具——RAG加强（Docker版本）

目录创建容器安装miniconda 安装mineru CPU运行 GPU加速多卡问题创建容器构建Dockerfile文件开启ssh服务，设置密码为1234等操作 # 使用官方 Ubuntu 24.04 镜像 FROM ubuntu:24.04# 安装基础工具和SSH服务 RUN apt-get update && \apt-get ins…...

编程日记 2025/7/4 20:03:52

leetcode 69和367

69. Sqrt(x) 代码： class Solution { public:int mySqrt(int x) {int left 0;int right x;long long mid 0;int res 0;long long temp 0;while(left < right){mid left ((right - left)>>1);temp mid*mid;if(temp x){res mid;break;}else if(te…...

编程日记 2025/7/4 19:49:11

# 代码随想录算法训练营Day37 | Leetcode300.最长递增子序列、674.最长连续递增序列、718.最长重复子数组

代码随想录算法训练营Day37 | Leetcode300.最长递增子序列、674.最长连续递增序列、718.最长重复子数组一、最长递增子序列相关题目：Leetcode300 文档讲解：Leetcode300 视频讲解：Leetcode300 1. Leetcode300.最长递增子序列给你一个整数数…...

编程日记 2025/7/4 20:01:08

中小企业技术跃迁：云原生后端如何实现高效低成本系统建设

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：技术变革的“门槛”能否被跨越？过去十年，云计算与容器化技术飞速发展，互联网巨头纷纷构建自己的云原生基础设施，实现系统模块化、弹性伸缩、自动化运维。然而，中小企业在这股浪潮中…...

编程日记 2025/7/4 19:59:07

系统架构师2025年论文《系统架构风格2》

论软件系统架构风格摘要：某市医院预约挂号系统建设推广应用项目是我市卫生健康委员会 2019 年发起的一项医疗卫生行业信息化项目，目的是实现辖区内患者在辖区各公立医疗机构就诊时，可以通过多种线上渠道进行预约挂号。我作为系统架构师参与此项目。本文围绕软件系统架构…...

编程日记 2025/6/29 11:00:33

Java面试实战：电商场景下的Spring Cloud微服务架构与缓存技术剖析

第一轮提问面试官: 谢飞机，我们先从基础问题开始。请问你知道Spring Boot和Spring Cloud的区别吗？ 谢飞机: 当然知道！Spring Boot主要用于快速构建独立运行的Spring应用，而Spring Cloud则是在Spring Boot的基础上实现分布式系统…...

编程日记 2025/7/4 18:55:34

快速配置linux远程开发-go语言

1.go安装包安装 2.go env 配置 go env -w GO111MODULEon go env -w GOPROXYxx go env -w GOSUMDBoff go env -w GOPRIVATExx 3.复制linux公钥到gitlab中，用于通过ssh免密拉取gitlab项目 ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 4.设置…...

编程日记 2025/7/4 19:10:43

C++23文本编码革新：迈向更现代的字符处理

文章目录一、字符集与编码（P2314R4）二、统一的字符字面量编码（P2316R2）三、具名通用字符转义（P2071R2）四、带分隔的转义序列（P2290R3）五、支持UTF-8作为可移植源文件编码&#xff0…...

编程日记 2025/7/4 19:48:18

CentOS系统中MySQL安装步骤分享

在 CentOS 系统上安装 MySQL，需要依次进行环境检查、软件源配置、安装 MySQL、启动服务等操作。我将按照规范流程，为你详细分享完整且具体的安装步骤。在 CentOS 系统中安装 MySQL 数据库，能够为各类应用提供高效稳定的数据存储和管理服务。…...

编程日记 2025/7/4 19:10:43

【产品经理从0到1】Axure介绍

01. 上期内容回顾创建元件库的时候，在添加原件时不知道怎么操作。讲解很耐心，希望课上分解步骤多带着练习下；PC 端的原型，相对于移动端，非常自由，没有任何的设计规范；但是，要求 PC…...

编程日记 2025/7/4 19:22:53

30天通过软考高项-第二天

30天通过软考高项-第二天任务：项目立项管理、项目整合管理思维导图阅读知识点记忆章节习题练习知识点练习手写回忆ITTO 立项管理-背 1. 项目可研的5个方面基金社运法技术可行性、经济可行性、社会效益可行性、运行环境可行性、其他（法律、政…...

编程日记 2025/7/4 19:19:36

yt-dlp 下载时需要 cookie

下载 b 站歌曲 yt-dlp -x --proxy http://127.0.0.1:1080 --audio-format mp3 https://www.bilibili.com/video/BV1Zn4y1X75b解决方案，使用 firefox 登录相关网站 yt-dlp -o "downloads/%(title)s.%(ext)s" -f "bestvideo[height<1080]bestaud…...

编程日记 2025/7/4 18:18:25

快速上手GO的net/http包，个人学习笔记

更多个人笔记：（仅供参考，非盈利） gitee： https://gitee.com/harryhack/it_note github： https://github.com/ZHLOVEYY/IT_note 针对GO中net/http包的学习笔记基础快速了解创建简单的GOHTTP服务 func …...

编程日记 2025/7/4 18:04:04

Flask + ajax上传文件（二）--多文件上传

Flask多文件上传完整教程本教程将详细介绍如何使用Flask实现多文件上传功能，并使用时间戳为上传文件自动命名，避免文件名冲突。一、环境准备确保已安装Python和Flask pip install flask项目结构 flask_upload/ ├── app.py ├── upload/ # 上传文…...

编程日记 2025/7/4 19:11:26

sysstat介绍以及交叉编译

文章目录 1. 工具集介绍2. 指令使用参考3. 交叉编译3.1 源码下载3.2 编译步骤 4. 工具验证4.1 将相关工具导入到设备4.2 功能验证 1. 工具集介绍 Sysstat 是一个功能强大的 Linux 系统性能监控工具包，提供实时监控和历史数据分析功能，帮助管理员优化系统…...

编程日记 2025/7/4 19:35:34

常见正则表达式整理与Java使用正则表达式的例子

一、常见正则表达式整理 1. 基础验证类邮箱地址 ^[a-zA-Z0-9._%-][a-zA-Z0-9.-]\\.[a-zA-Z]{2,}$ （匹配如 userexample.com）手机号 ^1[3-9]\\\\d{9}$ （匹配国内11位手机号，如 13812345678）中文字符 ^[\u4e00-\u9fa5…...

编程日记 2025/7/4 16:27:34

UE5 Assimp 自用

记录一下配assimp库到ue中的过程。因为想在ue里面实现一些几何处理(虽然ue好像有相关的geo的代码），遂配置了一下assimp。 1. 编译整理生成自己所需要的文件。cmake编译，下载github 的官方的assimp-master，然后cmake都是默认的就行…...

编程日记 2025/7/4 20:03:02

java—12 kafka

目录一、消息队列的优缺点二、常用MQ 1. Kafka 2. RocketMQ 3. RabbitMQ 4. ActiveMQ 5. ZeroMQ 6. MQ选型对比适用场景——从公司基础建设力量角度出发适用场景——从业务场景角度出发四、基本概念和操作 1. kafka常用术语 2. kafka常用指令 3. 单播消息&a…...

编程日记 2025/7/4 19:06:23

VS Code 智能代理模式：重塑开发体验

在编程领域，效率与精准度无疑是开发者们永恒的追求。而如今，VS Code 推出的智能代理模式（Agent Mode），正以前所未有的方式，彻底颠覆了传统开发流程，为程序员们带来了一场前所未有的效率革命。本…...

编程日记 2025/6/29 11:29:44

基于深度学习和单目测距的前车防撞及车道偏离预警系统

随着人工智能与计算机视觉技术的飞速发展，高级驾驶辅助系统（ADAS）已成为现代汽车智能化的关键标志。它不仅能有效提升行车安全，还能为自动驾驶时代的全面到来奠定坚实基础。本文深入剖析一套功能完备、基于深度学习模型的 ADAS 系统的架构与核心实现，带您领略智能驾驶背后…...

编程日记 2025/7/4 18:40:55

第二篇：Django配置及ORM操作

第二篇：Django配置及ORM操作文章目录第二篇：Django配置及ORM操作一、静态文件配置1、为什么要配置静态文件？2、如何配置静态文件？3、静态文件动态解析4、form表单默认是get请求数据二、request对象方法初识三、pycharm链接数据…...

编程日记 2025/7/4 16:55:54

亚马逊英国站FBA费用重构：轻小商品迎红利期，跨境卖家如何抢占先机？

一、政策背景：成本优化成平台与卖家共同诉求 2024年4月，亚马逊英国站（Amazon.co.uk）发布近三年来力度最大的FBA费用调整方案，标志着英国电商市场正式进入精细化成本管理时代。这一决策背后，是多重因素的叠…...

编程日记 2025/7/4 17:58:40

算法时代的“摩西十诫”：AI治理平台重构数字戒律

一、引言数字时代的狂飙突进中，人工智能（AI）正以颠覆性的力量重塑人类社会。从医疗诊断到金融决策，从智能制造到舆论传播，AI的触角已延伸至每个角落。然而，斯坦福大学《2024年人工智能指数报告》揭示的…...

编程日记 2025/7/4 19:53:18

Kafka的ISR机制是什么？如何保证数据一致性？

一、Kafka ISR机制深度解析 1. ISR机制定义 ISR（In-Sync Replicas）是Kafka保证数据一致性的核心机制，由Leader副本（复杂读写）和Follower副本(负责备份)组成。当Follower副本的延迟超过replica.lag.time.max.ms&#…...

编程日记 2025/7/4 19:53:56

Flink 消费 Kafka 数据流的最佳实践

一、前言：Kafka 只是开始，消费才是关键 Kafka 提供了优雅的 Topic 管理与消息缓冲机制，但只有当 Flink 能稳定、有序、无数据丢失地消费并处理这些数据流，实时数仓系统才真正发挥作用。本篇将围绕 Flink 如何“吃好” Kafka 数据…...

编程日记 2025/7/4 19:13:27

UEC++第10天|UEC++获取对象、RTTI是C++

最近在写UEC项目，这里写几个案例里的问题，还在学习阶段 1. 如何获取小鸟对象？ void AFlappyBirdGameModeBase::BeginGame() { // 让管道动起来PipeActor->SetMoveSpeed();// 让小鸟开始飞行// 如何获取到小鸟对象APawn* Pawn UGameplayS…...

编程日记 2025/7/4 16:36:42

原生微信小程序，canvas生成凭证，保存到手机

原生微信小程序通过canvas可以将表单( 文本、图片 )转化成图片，同时添加水印，生成凭证，这里只是基本功能实现。可以继续完善和扩展。 <view class"container"><canvas type"2d" id&…...

编程日记 2025/7/4 19:53:58

如何轻松将 Python 英文版切换至中文界面

Python 是一种广泛使用的编程语言，尤其在数据科学、人工智能和网络开发等领域。在最近的 Python 版本中，用户可以方便地使用多种语言，这也包括将 Python 界面语言从英文切换至中文。这不仅是出于用户体验的考虑，也能帮助初学者更快…...

编程日记 2025/7/4 17:22:50

2025.04.24【3D】3D绘图入门指南

Nifty graph A contribution by Matt Asher. 3D animation A 3D animated scatterplot made with R and rgl. 文章目录 Nifty graph3D animation 2025.04.24【3D】| 3D绘图入门指南什么是3D绘图？为什么使用3D绘图？如何在R中进行3D绘图？安装…...

编程日记 2025/7/4 19:53:18

R-CNN,Fast-R-CNN-Faster-R-CNN个人笔记

注：此博客主要为了方便笔者快速复习，只讲大致框架，只讲推理，不讲训练，因此内容不会很详实。 1.R-CNN R-CNN系列的开山之作。本文将该框架划分为3个模块： 1.region proposal generator 2.CNN&#xff08…...

编程日记 2025/7/4 18:15:49

【深度学习核心技术解析】从理论到实践的全链路指南

目录前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现（MNIST分类）运行结果验证三、性能对比测试方法论量化数据对比结果分析四…...

编程日记 2025/7/4 18:40:55

【QT网络】构建简单Udp回显服务器

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/7/4 16:26:41

浅谈国产数据库多租户方案：提升云计算与SaaS的资源管理效率

近年来，“数据库多租户”这一概念在技术圈内频频出现，成为云计算和SaaS（软件即服务）架构中的重要组成部分。多租户架构不仅为企业提供了高效的资源隔离与共享解决方案，还能大幅降低成本，提高系统的可扩展性…...

编程日记 2025/7/4 16:58:34

【霍夫变换】图像处理（OpenCV）-part11

20 霍夫变换 20.1 理解霍夫变换霍夫变换的基本思想是将图像空间中的几何元素（如直线、圆等）通过参数方程转换到参数空间中，形成一个参数空间的累加器数组。图像空间中的每个点在参数空间中对应一个曲线或曲面，而几何形状在图像…...

编程日记 2025/7/4 19:31:47

Flink 源码编译

打包命令打包整个项目 mvn clean package -DskipTests -Drat.skiptrue打包单个模块 mvn clean package -DskipTests -Drat.skiptrue -pl flink-dist如果该模块依赖其他模块，可能需要先将其他模块 install 到本地，如果依赖的模块的源代码有修改&#…...

编程日记 2025/7/4 20:01:10

React19源码阅读之commitRoot

commitRoot入口在finishConcurrentRender函数，commitRootWhenReady函数，commitRoot函数。 commitRoot流程图 commitRoot函数 commitRoot 函数是 React 渲染流程中用于提交根节点的关键函数。它的主要作用是设置相关的优先级和状态，然后调…...

编程日记 2025/7/4 16:43:47

单例模式

设计模式（Design Pattern）说白了就是一套方法论，是我们的前辈们不断试错总结出来的。一般意义上的设计模式有23种，分为创建型、结构型、行为型三大类。今天先拿最简单的单例模式开刀吧。六大原则在正式进入设计模式的学习之前&…...

编程日记 2025/7/4 18:22:11

如何在 Postman 中，自动获取 Token 并将其赋值到环境变量

在 Postman 中，你可以通过预请求脚本（Pre-request Script） 和测试脚本（Tests） 实现自动获取 Token 并将其赋值到环境变量，下面是完整的操作步骤： ✅ 一、创建获取 Token 的请求通常这个请求…...

编程日记 2025/7/4 18:42:29

CentOS 7 基于 Nginx 的 HTML 部署全流程指南

一、Nginx 安装（两种主流方式） 1. YUM 安装（推荐新手） # 安装 EPEL 扩展源（部分系统需要） yum install epel-release -y# 安装 Nginx yum install nginx -y# 启动并设置开机自启 systemctl start nginx s…...

编程日记 2025/7/4 19:48:18

spring-ai使用Document存储至milvus的数据结构

1、 spring:application:name: spring-ai-alibaba-rag-milvus-exampleai:dashscope:api-key: sk-xxxxxxoooooovectorstore:milvus:client:host: xxx.ooo.mmm.nnnport: 19530username: rootpassword: MilvusdatabaseName: defaultcollectionName: vector_store#初始化 collecti…...

编程日记 2025/7/4 19:04:52

创建容器

安装miniconda

安装mineru

CPU运行

GPU加速

多卡问题

相关文章：