当前位置：首页 > news >正文

使用 vllm 部署 MiniCPM-o 2.6

news 来源：原创 2025/6/9 2:09:49

使用 vllm 部署MiniCPM-o 2.6

1. 创建虚拟环境
2. 克隆代码
3. 从代码安装 vllm
4. 安装 flash-attn
5. 启动 MiniCPM-o 2.6
6. 使用 chatbox 客户端访问并测试一下

1. 创建虚拟环境

conda create -n vllm_openbmb python=3.11 -y
conda activate vllm_openbmb

2. 克隆代码

git clone https://github.com/OpenBMB/vllm.git
cd vllm
git checkout minicpmo

3. 从代码安装 vllm

VLLM_USE_PRECOMPILED=1 pip install --editable .

4. 安装 flash-attn

pip install flash-attn --no-build-isolation

5. 启动 MiniCPM-o 2.6

CUDA_VISIBLE_DEVICES=3,1,0,2 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \ 
vllm serve openbmb/MiniCPM-o-2_6 --trust-remote-code --served-model-name gpt-4 --gpu-memory-utilization 0.98 --tensor-parallel-size 4 --port 8000 --api-key sk-123456

6. 使用 chatbox 客户端访问并测试一下

在这里插入图片描述

参考资料：

https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file#efficient-inference-with-llamacpp-ollama-vllm

使用 vllm 部署 MiniCPM-o 2.6

使用 vllm 部署MiniCPM-o 2.6 1. 创建虚拟环境2. 克隆代码3. 从代码安装 vllm4. 安装 flash-attn5. 启动 MiniCPM-o 2.66. 使用 chatbox 客户端访问并测试一下 1. 创建虚拟环境 conda create -n vllm_openbmb python3.11 -y conda activate vllm_openbmb 2. 克隆代码 git clo…...

编程日记 2025/6/4 1:49:40

WSL 2 自动更新虚拟 IP 到 window hosts

window下的wsl2 开发中使用到域名映射，但是WSL2 每次启动都会被分配一个虚拟的 ip 地址，每次启动虚拟ip 都不一样，导致要频繁更改 window 的 hosts 文件，太麻烦了，所以写一个自动执行的 .sh 脚本，每次启动…...

编程日记 2025/5/31 8:55:48

非常棒的长文本输入大模型：MiniMax以及基于它的海螺AI模型

非常棒的长文本输入大模型：基于MiniMax的海螺AI模型，快来体验一下吧！ 海螺AI—MiniMax 旗下生产力产品，你的AI伙伴，10倍速提升工作学习效率这个大模型最大的特点就是支持长文本输入，而且是从内部就擅长对长…...

编程日记 2025/6/3 22:50:39

python milvus及curl命令进行query请求

代码如下： from pymilvus import MilvusClient client = MilvusClient( uri="http://localhost:19530", token="root:Milvus" ) res = client.query( collection_name="query_collection", filter="color like \"…...

编程日记 2025/6/1 9:00:09

谈谈MySQL中的索引和事务

目录 1. 索引 1.1 索引介绍 1.2 缺陷 1.3 使用 1.3.1 查看索引 1.3.2 创建索引 1.3.3 删除索引 2. 索引底层的数据结构 2.1 B树 3. 事务 3.1 为什么使用事务 3.2 事务的使用 3.3 事务的基本特性 1. 索引 1.1 索引介绍索引相当于一本书的目录(index), 在一…...

编程日记 2025/6/1 9:01:18

Java 资源管理教程：掌握 close 方法、Cleaner 类与 Runtime.addShutdownHook

在 Java 编程中，高效地管理资源是至关重要的，特别是当你处理文件、数据库连接、网络连接等有限资源时。为了确保这些资源得到正确释放，Java 提供了多种机制。本教程将深入探讨 close 方法、Cleaner类以及 Runtime.addShutdownHook 方法&#…...

编程日记 2025/6/2 23:24:25

tensorflow源码编译在C++环境使用

https://tensorflow.google.cn/install/source?hlzh-cn查看tensorflow和其他需要下载软件对应的版本，最好一模一样 1、下载TensorFlow源码 https://github.com/tensorflow/tensorflow 2、安装编译protobuf（3.9.2） protobuf版本要和TensorFlo…...

编程日记 2025/6/3 6:46:53

算法日记8：StarryCoding60（单调栈）

一、题目二、解题思路： 题意为让我们找到每个元素的左边第一个比它小的元素，若不存在则输出-1 2.1法一：暴力（0n2） 首先，我们可以想到最朴素的算法：直接暴力两层for达成目标核心代码如下&…...

编程日记 2025/6/1 5:11:28

HarmonyOS快速入门

HarmonyOS快速入门 1、基本概念 UI框架： HarmonyOS提供了一套UI开发框架，即方舟开发框架（ArkUI框架）。方舟开发框架可为开发者提供应用UI开发所必需的能力，比如多种组件、布局计算、动画能力、UI交互、绘制等。方…...

编程日记 2025/6/4 15:14:37

基于微信小程序高校订餐系统的设计与开发ssm+论文源码调试讲解

第4章系统设计一个成功设计的系统在内容上必定是丰富的，在系统外观或系统功能上必定是对用户友好的。所以为了提升系统的价值，吸引更多的访问者访问系统，以及让来访用户可以花费更多时间停留在系统上，则表明该系统设计得比较专…...

编程日记 2025/6/3 6:42:47

stm32使用MDK5.35时遇到*** TOOLS.INI: TOOLCHAIN NOT INSTALLED

mdk5.35出现*** TOOLS.INI: TOOLCHAIN NOT INSTALLED的问题！！！！ 以管理员身份重新打开MDK5.35.0.0，用keygen破解密码，但是一直提示我是没有破解成功。解决办法： target 改成ARM...

编程日记 2025/5/31 10:27:26

Java面试专题——常见面试题1

引入本文属于专题中的常见面试题模块，属于面试时经常遇到的，适合需要面试的小伙伴做面试前复习准备用，后续会持续补充 1.面向对象基本特征面向对象的基本特征是什么？怎么理解？ 面向对象的基本特征是封装、继承、…...

编程日记 2025/6/3 5:36:11

【C++】在线五子棋对战项目网页版

目录 1.Websocket 1.1.Websocket的简单认识 1.2.什么是轮询呢？ 1.3.websocket协议切换过程 1.4.websocketpp库常用接口认识 1.5.websocketpp库搭建服务器流程 1.6.websocketpp库搭建服务器 2.mysqlclient库-接口认识 3.项目模块的划分： 4.项目…...

编程日记 2025/5/31 7:37:35

【Docker】搭建一个功能强大的自托管虚拟浏览器 - n.eko

前言本教程基于群晖的NAS设备DS423的docker功能进行搭建，DSM版本为 DSM 7.2.2-72806 Update 2。 n.eko 支持多种类型浏览器在其虚拟环境中运行，本次教程使用 Chromium 浏览器镜像进行演示，支持访问内网设备和公网地址。简介 n.eko 是…...

编程日记 2025/6/4 17:25:13

学习ASP.NET Core的身份认证（基于JwtBearer的身份认证7）

本文验证基于请求头中传递token信息的认证方式，webapi项目的控制器类中新建如下函数，仅通过验证的客户端能调用，需要客户端请求在Header中添加’Authorization’: Bearer token’的键值对且通过token验证后才能调用。 [Authorize] [HttpGet]…...

编程日记 2025/6/2 6:45:41

Linux 内核自旋锁spinlock（一）

文章目录前言一、自旋锁1.1 简介1.2 API1.2.1 spin_lock/spin_unlock1.2.2 spin_lock_irq/spin_unlock_irq1.2.3 spin_lock_irqsave/spin_unlock_irqstore1.2.4 spin_lock_bh/spin_unlock_bh1.2.5 补充二、自选锁原理三、自旋锁在内核的使用3.1 struct file3.2 struct dentry…...

编程日记 2025/6/4 15:44:55

JAVA 使用反射比较对象属性的变化，记录修改日志。使用注解【策略模式】，来进行不同属性枚举值到中英文描述的切换，支持前端国际化。

1.首先定义一个接口，接口中有两个方法，分别是将属性转换成英文描述和中文描述。其实就是将数据库中记录的 0 1 ，转换成后面的描述这边定义了中文转换为默认方法，是因为有些属性不需要进行中文转换，或者该属性的枚举…...

编程日记 2025/6/4 1:28:24

利用免费GIS工具箱实现高斯泼溅切片，将 PLY 格式转换为 3dtiles

在地理信息系统（GIS）和三维数据处理领域，不同数据格式有其独特应用场景与优势。PLY（Polygon File Format）格式常用于存储多边形网格数据，而 3DTiles 格式在 Web 端三维场景展示等方面表现出色。将 PLY 格式…...

编程日记 2025/5/31 2:23:59

Mysql视图（学习自用）

一、概念二、创建视图三、查询视图四、修改视图五、删除视图六、视图检查选项七、视图的更新八、视图的作用...

编程日记 2025/4/28 19:36:56

企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心

近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模…...

编程日记 2025/6/3 1:07:18

linux下一些参数的说明

/proc/sys/net/corebpf_jit_enable 作用：用于控制是否启用BPF（Berkeley Packet Filter）的即时编译（JIT）功能。当启用该功能时，JIT编译器会将eBPF（extended Berkeley Packet Filter）…...

编程日记 2025/6/2 19:03:14

CKS认证 | Day1 K8s集群部署与安全配置

一、K8s安全运维概述 Kubernetes（K8s） 是一个广泛使用的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。随着 K8s 在生产环境中的普及，安全运维成为确保系统稳定性和数据安全的关键。 1.1 安全运维的重要性万物互联&…...

编程日记 2025/6/2 17:14:46

新手上路：Anaconda虚拟环境创建和配置以使用PyTorch和DGL

文章目录前言步骤 1: 安装 Anaconda步骤 2: 创建新的 Anaconda 环境步骤 3: 安装最新版本的 PyTorch步骤 4: 安装特定版本的 PyTorch步骤 5: 安装最新版本的 DGL步骤 6: 安装特定版本的 DGL步骤 7: Pycharm中使用虚拟环境解释器第一种情况：创建新项目第二种情况&am…...

编程日记 2025/6/3 3:20:05

什么是PCB的Mark点？如何进行设计Mark点？

一、什么是Mark点？ PCB的Mark点，也被称为基准点或光学定位点，是在印刷电路板（Printed Circuit Board, PCB）上设置的一种特殊标记。图1.1 PCB的Mark点 Mark点的主要作用是为表面贴装技术（Surface Mount…...

编程日记 2025/6/2 23:38:54

Spark SQL中的from_json函数详解

Spark SQL中的from_json函数详解在Spark SQL中，from_json是一个用于解析JSON数据的函数，主要用于将JSON格式的字符串解析为结构化的数据（即StructType或其他Spark SQL数据类型）。这个函数在处理半结构化数据（如JSON日…...

编程日记 2025/6/3 16:07:38

Vue 引入及简单示例

Vue 渐进式JavaScript 框架学习笔记 - Vue 引入及简单示例目录与jquery区别 Vue引入两种方式引入下载到本地代码结构简单示例 Style中引入vue.js 对vue语法进行解析对三目运算符支持设置变量（状态） 总结与jquery区别不需要手动操…...

编程日记 2025/6/2 7:47:27

JDK长期支持版本（LTS）

https://blogs.oracle.com/java/post/the-arrival-of-java-23 jdk长期支持版本（LTS）：JDK 8、11、17、21：...

编程日记 2025/6/3 4:14:05

审计文件标识作为水印打印在pdf页面边角

目录说明说明将审计文件的所需要贴的编码直接作为水印贴在页面四个角落，节省辨别时间我曾经写过一个给pdf页面四个角落加上文件名水印的python脚本，现在需要加一个图形界面进一步加强其实用性。首先通过路径浏览指定文件路径，先检测该路…...

编程日记 2025/6/2 3:44:05

图片专栏——概念

欢迎来到图片世界，大家一起学习交流! 1. 像素（Pixel） 定义：像素是图像的最小单位，是“图像元素”的缩写。你可以把像素想象成拼图中的一个最小块，无数个像素组合在一起就形成了完整的图像。作用&#xff…...

编程日记 2025/6/3 16:02:47

江天科技主要产品销售单价下滑，应收账款、存货周转率大幅下降

《港湾商业观察》廖紫雯日前，苏州江天包装科技股份有限公司（以下简称：江天科技）冲击北交所，保荐机构为国投证券。江天科技主要从事标签印刷产品的研发、生产与销售，公司主要产品包括薄膜类和纸张类的不…...

编程日记 2025/6/4 11:18:58

HTB：Remote[WriteUP]

目录连接至HTB服务器并启动靶机信息收集使用rustscan对靶机TCP端口进行开放扫描将靶机TCP开放端口号提取并保存使用nmap对靶机TCP开放端口进行脚本、服务扫描使用nmap对靶机TCP开放端口进行漏洞、系统扫描使用nmap对靶机常用UDP端口进行开放扫描使用ftp尝试匿名…...

编程日记 2025/6/2 7:18:53

【开源免费】基于SpringBoot+Vue.JS密接者跟踪系统（JAVA毕业设计）

本文项目编号 T 145 ，文末自助获取源码 \color{red}{T145，文末自助获取源码} T145，文末自助获取源码目录一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程四、功能截图五、文案资料5.1 选题背景5.2 国内…...

编程日记 2025/6/3 0:08:09

机器学习10-解读CNN代码Pytorch版

机器学习10-解读CNN代码Pytorch版我个人是Java程序员，关于Python代码的使用过程中的相关代码事项，在此进行记录文章目录机器学习10-解读CNN代码Pytorch版1-核心逻辑脉络2-参考网址3-解读CNN代码Pytorch版本1-MNIST数据集读取2-CNN网络的定义1-无注释版…...

编程日记 2025/6/3 23:31:55

Python 电脑定时关机工具

Python 电脑定时关机工具相关资源文件已经打包成EXE文件，可双击直接运行程序，且文章末尾已附上相关源码，以供大家学习交流，博主主页还有更多Python相关程序案例，秉着开源精神的想法，望大家喜欢&#xff0c…...

编程日记 2025/6/3 7:31:32

机器学习09-Pytorch功能拆解

机器学习09-Pytorch功能拆解我个人是Java程序员，关于Python代码的使用过程中的相关代码事项，在此进行记录文章目录机器学习09-Pytorch功能拆解1-核心逻辑脉络2-个人备注3-Pytorch软件包拆解1-Python有参和无参构造构造方法的基本语法示例解释注意事项…...

编程日记 2025/6/3 7:31:50

Qt之QDjango-db的简单使用

QDjango是一款由C编写、依托于Qt库的Web开发框架，其设计理念受到了广受欢迎的Python框架Django的影响。这个项目旨在提供一个高效、灵活且易于使用的工具集，帮助开发者构建高质量的Web应用。其项目地址: https://gitcode.com/gh_mirrors/qd/qdjango&…...

编程日记 2025/6/3 16:38:07

滑动窗口最大值(力扣239)

刚拿到这道题，我们第一反应就是遍历每一个滑动窗口，然后在滑动窗口中遍历找到该窗口的最大值,但是这样的时间复杂度为O(k*n).有没有更简单的方法呢？答案是使用队列。更准确的说是双向队列。下面我将详细讲解一下如何使用双向队列解决这道问题…...

编程日记 2025/6/4 8:50:00

HTTP / 2

序言在之前的文章中我们介绍过了 HTTP/1.1 协议，现在再来认识一下迭代版本 2。了解比起 1.1 版本，后面的版本改进在哪里，特点在哪里？话不多说，开始吧⭐️！ 一、 HTTP / 1.1 存在的问题很多时候新的版本的…...

编程日记 2025/6/3 16:39:11

Python 脚本-显示给定文件的文件信息

目录 Python 代码实现 Python 代码解释 1.导入必要的模块： 2.函数 get_file_info： 3.函数 print_file_info： 4.主函数 main： 5.程序入口： 使用方法 Python 代码实现 import os import stat import sys import…...

编程日记 2025/6/3 19:31:07

C# 通用缓存类开发：开启高效编程之门

引言嘿，各位 C# 开发者们！在当今快节奏的软件开发领域，提升应用程序的性能就如同给跑车装上涡轮增压，能让你的项目在激烈的竞争中脱颖而出。而构建一个高效的 C# 通用缓存类，无疑是实现这一目标的强大武器。想象一…...

编程日记 2025/6/3 16:38:38

Mac安装Homebrew

目录安装修改homeBrew源常用命令安装卸载软件升级软件相关清理相关安装官网 https://brew.sh/不推荐官网安装方式（很慢很慢或者安装失败联网失败） 检测是否安装homebrewbrew -v执行安装命令苹果电脑常规安装脚本 （推荐完全体几分钟就…...

编程日记 2025/6/3 16:38:54

MySQL面试题2025 每日20道【其四】

1、你们生产环境的 MySQL 中使用了什么事务隔离级别？为什么？ 中等在生产环境中，MySQL数据库的事务隔离级别通常由开发团队或数据库管理员根据应用的需求来设定。MySQL支持四种标准的事务隔离级别： 读未提交（Read Unc…...

编程日记 2025/6/3 16:37:35

maven 微服务项目多包版本问题

mvn dependency:tree查看jar包直接的关系找到重复的包!!!! 可以查看包版本问题 [INFO] | - org.jpedal:OpenViewerFX:jar:6.6.14:compile [INFO] | | - org.eclipse.birt.runtime.3_7_1:org.mozilla.javascript:jar:1.7.2:compile [INFO] | | - bouncycastle:bcprov-j…...

编程日记 2025/6/3 16:38:23

skipcrossnets模型详解及代码复现

模型背景在SkipcrossNets模型提出之前，多模态融合在自动驾驶领域已取得显著进展。然而，传统的两流网络仅在特定层进行融合，需要大量人工尝试来设置，并且随着网络深度增加，模态特征差异增大，容易影响性能。为解决这些问题，研究人员开发了SkipcrossNets模型，旨在提供…...

编程日记 2025/6/3 16:37:19

【0397】Postgres内核 checkpoint process ⑦ 获取 delaying checkpoint VXIDs（delayChkpt）

1. Top-level transactions 顶级事务（Top-level transactions）通过由 PGPROC 字段 backendId 和 lxid 组成的 VirtualTransactionIDs 来标识。对于已准备的事务，LocalTransactionId 是一个普通的 XID。这些在短期内保证唯一，但在数据库重启或 XID 滚转后会被重新使用；因此…...

编程日记 2025/6/3 16:37:51

Go语言-学习一

简介：Go语言经过多年的快速发展，已经被光广泛应用到各个领域，成为当前最热的计算机语言之一。Go自带许多高级特性及常用工具，使Go一出世就以高并发和高性能为程序员所追捧。 go语言特点 1、静态类型、编译型、开源 2、脚本化&…...

编程日记 2025/6/4 17:17:13

学习记录-统计记录场景下的Redis写请求合并优化实践

学习记录-使用Redis合并写请求来优化性能 1.业务背景学习进度的统计功能:为了更精确的记录用户上一次播放的进度，采用的方案是：前端每隔15秒就发起一次请求，将播放记录写入数据库。但问题是，提交播放记录的业务太复杂了&#x…...

编程日记 2025/6/3 10:36:18

Java中json的一点理解

一、Java中json字符串与json对象 1、json本质 json是一种数据交换格式。常说的json格式的字符串 > 发送和接收时都只是一个字符串，它遵循json这种格式。 2、前后端交互传输的json是什么？ 前后端交互传输的json都是json字符串比如：…...

编程日记 2025/6/3 15:02:17

用于牙科的多任务视频增强

Multi-task Video Enhancement for Dental Interventions 2022 miccai Abstract 微型照相机牢牢地固定在牙科手机上，这样牙医就可以持续地监测保守牙科手术的进展情况。但视频辅助牙科干预中的视频增强减轻了低光、噪音、模糊和相机握手等降低视觉舒适度的问题。…...

编程日记 2025/6/3 15:00:58

二、vue智能Ai对话（高仿通义千问）流式进阶版

1、安装依赖、启动 // 安装依赖 npm install // 启动服务 node server.js 2、浏览器运行html 3、流式进阶版视频地址：流式进阶版视频 4、各位如有需要，请下载源码包。...

编程日记 2025/6/3 15:01:45