当前位置：首页 > news >正文

【2025最新】Baichuan-M1-instruct部署教程

news 来源：原创 2025/7/13 1:00:23

首先机器至少要A100、4090、3090

这里选AutoDL的4090D，运行至少要20G显存。这里镜像选基础镜像11.8【更新！！！！！！！！！24G带不动！显存不够】

有时候会看见两种不同的4090，这里解释一下。选4090D主要是因为便宜：

RTX 4090 和 RTX 4090D 存在多方面的区别，具体如下：

核心规格3：
- CUDA 核心数量：RTX 4090 拥有 16,384 个 CUDA 核心，而 RTX 4090D 的 CUDA 核心数量为 14,592 个，相比 4090 减少了约 11%。
- SM 单元：RTX 4090 有 128 个 SM 单元，RTX 4090D 为 114 个。
- Tensor 核心：RTX 4090 有 512 个 Tensor 核心，RTX 4090D 有 456 个，减少了大约 11%。
- RT 核心：RTX 4090 有 128 个光线追踪核心，RTX 4090D 有 114 个。
- 频率：RTX 4090 基础频率为 2,235MHz，RTX 4090D 为 2,280MHz，两者加速频率相同，均为 2,520MHz。
性能表现6：
- 理论性能：RTX 4090D 的性能约为 RTX 4090 性能的 95%，两者有 5% 左右的性能差距。
- 游戏性能：在 3DMark 基准测试中，RTX 4090D 跑分落后 RTX 4090 约 5%-8%。在 4K 光栅化游戏测试中，RTX 4090D 的游戏帧数比 RTX 4090 弱 5.5% 左右；在 4K 光追游戏测试和 4K DLSS 游戏测试中，RTX 4090D 的游戏帧数比 RTX 4090 弱 5.8% 左右。
- AI 推理性能：在 AI 推理测试中，RTX 4090D 的单精度和双精度浮点运算性能与 RTX 4090 的差距约为 5%，整数性能仅落后 2.6%。
功耗散热3：
- 功耗：RTX 4090 的功耗为 450W，对系统电源要求较高。RTX 4090D 的功耗约为 420-425W，相对更节能。
- 散热：由于功耗较低，RTX 4090D 温度控制更稳定，适合长时间高负载运行。
市场定位与价格3：
- 市场定位：RTX 4090 是面向全球市场的旗舰显卡；RTX 4090D 是为满足中国市场需求、规避美国政府对尖端 AI 智能芯片的管制而推出的特供版。
- 价格：两款显卡首发定价都是 12,999 元，但 RTX 4090 现在在国内仍然处于禁售状态，从非官方渠道购买最便宜的价格也得 15,000 元以上；4090D 显卡各显卡品牌官方店有在售，价格普遍更便宜，也更容易入手。
其他特性3：RTX 4090 可超频，而 RTX 4090D 锁定了超频功能。不过，两者均搭载 24GB GDDR6X 显存，位宽 384bit，带宽 1,008GB/s，并且都支持 NVIDIA 的 DLSS 3 技术和双 AV1 编码器。

链接服务器：

先往数据盘传一下这个文件，对应cuda11、torch2.5、python3.12

新建环境

conda create -n baichuanm1 python=3.12.9

加载环境

source ~/.bashrc

如果环境安装错了，用下面的命令卸载：

conda env remove -n baichuanm1

激活环境以后：

pip install sentencepiece

pip install einops==0.8.0

pip install torch==2.5.0

pip install torchvision==0.20.0

pip install torchaudio==2.5.0

确认一下环境：

查看cuda版本，cuda版本为V11.8.89

nvcc -V

(myenv) root@autodl-container-6c3e4aa234-8adeb2ea:~# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

接着把这个包安装一下 pip install ，注意这个包对应的是cuda11、torch2.5、python3.12，其它情况对应的包在这里找：

Releases · Dao-AILab/flash-attention · GitHub

接下来下载模型，把这个文件传到服务器并运行

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('baichuan-inc/Baichuan-M1-14B-Instruct',cache_dir='/root/autodl-tmp/')

运行测试代码看看效果，这里注意bachuanM1-14B-instruct只支持16位量化

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import os#os.environ["CUDA_VISIBLE_DEVICES"] = "7"
# 1. Load pre-trained model and tokenizer
model_name = "/root/autodl-tmp/baichuan-inc/Baichuan-M1-14B-Instruct/"
tokenizer = AutoTokenizer.from_pretrained(model_name,trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name,trust_remote_code=True,torch_dtype = torch.bfloat16).cuda()
# 2. Input prompt text
prompt = "May I ask you some questions about medical knowledge?"# 3. Encode the input text for the model
messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "please introduce yourself"}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)# 4. Generate text
generated_ids = model.generate(**model_inputs,max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]# 5. Decode the generated text
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]# 6. Output the result
print("Generated text:")
print(response)

【2025最新】Baichuan-M1-instruct部署教程

首先机器至少要A100、4090、3090 这里选AutoDL的4090D，运行至少要20G显存。这里镜像选基础镜像11.8【更新！！！！！！！！！24G带不动！显存不够】有时候…...

编程日记 2025/7/13 1:00:23

Unity与Unreal Engine（UE）的深度解析及高级用法

以下是Unity与Unreal Engine（UE）的深度解析及高级用法对比，结合技术特性、行业应用与未来发展进行综合阐述：一、核心差异与适用场景对比 1. 技术架构与编程模式 Unity 语言与脚本：主要使用C#，语法简洁且易于学习，适合快速原型开发和中小型项目。支持可视化脚本工具（如…...

编程日记 2025/7/13 0:05:02

网络：TCP三次握手、四次挥手

目录深刻理解三次握手深刻理解四次挥手深刻理解三次握手三次握手时，如果最后一个ACK包，服务器没有收到，此时： 客户端：认为已经建立链接服务器：认为没有建立链接，还在超时等待。而此时…...

编程日记 2025/7/13 0:38:35

spdlog自定义formatter

用了之后发现，spdlog的默认日志记录格式为： [2014-10-31 23:46:59.678] [my_loggername] [info] Some message 但是这个格式不是我想要的，怎么办，这个也简单，上面的内容也就是几个标签的组合而已，spdlog自定…...

编程日记 2025/7/2 15:21:19

Spring AI 实战：第四章、Spring AI多模态之看图说话

引言：从"码农"到"多媒体魔术师" “曾经，我们的代码核心擅长处理文本，就像餐厅里只会做炒饭的厨师。现在有了Spring AI多模态支持，我们突然拥有满汉全席的烹饪技巧！” 作为一名常年与String打交道的开发者，当第一次看到Spring AI可以同时处理图片、音…...

编程日记 2025/7/13 0:33:11

ES6入门---第二单元模块五：模块化

js不支持模块化注意： 需要放到服务器环境 1、如何定义模块？ export 东西例：1.js文件中 console.log(1模块加载了);//显示是否加载了 export const a 12; export const b 5; export let c 101; const a12; const b5; const c101;ex…...

编程日记 2025/7/12 23:51:16

Python 函数装饰器和闭包(变量作用域规则)

本章内容： Python 如何计算装饰器句法 Python 如何判断变量是不是局部的闭包存在的原因和工作原理 nonlocal 能解决什么问题掌握这些基础知识后，我们可以进一步探讨装饰器： 实现行为良好的装饰器标准库中有用的装饰器实现一个参数化装饰器…...

编程日记 2025/7/12 23:39:41

什么是constexpr？

什么是constexpr？ 简单来说，constexpr就是告诉编译器：“我这个变量或函数的值可以在编译时算出来，请帮我提前算好，运行时直接用结果，不用再算了。” • **传统const**只表示变量不可修改，但不…...

编程日记 2025/7/13 0:43:43

如何在 PowerEdge 服务器上设置 NIC 分组

以下文章提供了有关 Windows、VMware 和 Linux 中的 NIC 分组的信息。什么是网络适配器分组？设置 NIC 分组 Windows设置 NIC 分组 VMware设置 NIC 分组 Linux 什么是网络适配器分组（绑定）？ 网络适配器分组是一个术语&#xff0…...

编程日记 2025/7/13 0:31:04

ES6入门---第三单元模块四：Set和WeakSet

set数据结构: 类似数组，但是里面不能有重复值，如果有，只显示一个 set用法: let setArr new Set([a,b]); setArr.add(a); 往setArr里面添加一项 let setArr new Set().add(a).add(b).add(c); setArr.delete(b); 删除一项 setArr.ha…...

编程日记 2025/7/13 0:39:29

架构进阶：75页架构规划方法课件【附全文阅读】

本文概述了一个关于架构规划方法的目录及其目的，重点介绍了基于联邦企业架构（FEAF）的架构建模方法，并提及了不同层面的架构建模方法以及培训的目的。以下是对该内容的简洁总结： **架构规划方法目录及其目的** 本文旨在…...

编程日记 2025/7/12 23:56:28

前端面经-VUE3篇（三）--vue Router（二)导航守卫、路由元信息、路由懒加载、动态路由

一、导航守卫 vue Router 中的导航守卫（Navigation Guards） 是一个非常重要的功能，用于在路由切换过程中，拦截、控制、检查或延迟页面跳转。你可以理解为： 🔐 “进门前的保安”，控制哪些页面…...

编程日记 2025/6/29 5:09:19

RTX-3090 Qwen3-8B Dify RAG环境搭建

RTX-3090 Qwen3-8B Dify RAG环境搭建一、环境配置二、操作步骤1、创建容器2、下载`Qwen3-8B`和embedding模型3、安装`transformers`4、安装`vllm`5、安装`flash-attention`6、启动兼容OpenAI API的服务1、方案一:启动`vllm`服务【不支持多任务】2、方案二:Flask和PyTorch实现的…...

编程日记 2025/6/29 7:47:42

Circular Plot系列(三)：【视频教程】复现NCS图表之高大上的单细胞UMAP环形图

高端复杂的UMAP复现： 这又是一个高大上且炫酷的单细胞UMAP图，展示的信息很多，有大类细胞和亚群，以及marker基因和cell count信息，还可以增加其他的分组信息等等。没错，看这个图就是circlize一层层画的。我们…...

编程日记 2025/7/13 0:27:41

MCP智能体多Agent协作系统设计（Multi-Agent Cooperation）

目录 🚀 MCP智能体多Agent协作系统设计（Multi-Agent Cooperation） 🌟 为什么需要多Agent协作？ 🧠 多Agent协作系统架构设计 🛠️ 1. 构建基础智能体基类（Agent Base）…...

编程日记 2025/7/13 0:30:18

栈Stack

一栈:先进后出一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。栈中的数据元素遵守后进先出LIFO（Last In First Out）的原则。 Stack<Integer> sta…...

编程日记 2025/6/29 7:29:30

HTML01：HTML基本结构

HTML基本结构 <html> <head><meta charset"UTF-8"><title>我的第一个网页</title> </head> <body>我的第一个网页 </body> </html><body、</body等成对的标签，分别叫开发标签和闭合标签单独…...

编程日记 2025/7/13 0:17:37

QT聊天项目DAY07

1.Win配置和使用GRPC 1.1 克隆GRPC库克隆GRPC git clone -b v1.34.0 https://gitee.com/mirrors/grpc-framework.git 查看Git有没有安装没有安装 1.1.1 安装Git https://git-scm.com/ 一路next 添加Git的路径到系统环境变量下我这次没用管理员权限，并且也没…...

编程日记 2025/7/13 0:30:18

2025年PMP 学习三

4.2制定项目管理计划 4. 项目管理计划 - 内容（输出） 项目目标的制定原因： 3个基准（范围基准、进度基准、成本基准） 子管理计划：范围、需求、进度、成本、质量、资源、沟通、风险、采购等管理计划&#xf…...

编程日记 2025/7/13 0:01:12

软考-软件设计师中级备考 10、文件管理、设备管理

一、文件管理 1、文件目录文件控制块（FCB）：是操作系统为管理文件而设置的数据结构，包含了文件的基本信息（如文件名、文件大小、文件类型等）、存取控制信息（如文件所有者的权限、其他用户的权…...

编程日记 2025/7/13 0:11:03

Linux环境下的进程创建-fork函数的使用，进程退出exit和_exit的区别，以及进程等待waitpid和status数据的提取方法

目录一、进程创建 1.fork函数 1）进程调用fork函数是如何创建子进程的 2）代码示范 2.写时拷贝二、进程退出 1.退出码 1）什么是退出码？ 2）为什么要有退出码？ 3）退出码是怎么做到的？ …...

编程日记 2025/6/28 22:36:01

【数据结构与算法】常见排序算法详解（C++实现）

目录一、排序的基本概念二、插入排序 2.1 直接插入排序 2.2 折半插入排序 2.3 希尔排序三、交换排序 3.1 冒泡排序 3.2 快速排序四、选择排序 4.1 简单选择排序 4.2 堆排序五、归并排序六、基数排序七、计数排序结语一、排序的基本概念排序就是重新…...

编程日记 2025/7/13 0:21:03

STM32GPIO输入实战-按键key模板及移植

STM32GPIO输入实战-按键key模板及移植一，按键模板展示二，按键模板逻辑1，准备工作：头文件与全局变量2，读取硬件状态：key_read_raw()3,核心处理：key_process_simple() 的四行代码三，…...

编程日记 2025/7/13 0:00:25

LeetCode 1128.等价多米诺骨牌对的数量：计数

【LetMeFly】1128.等价多米诺骨牌对的数量：计数力扣题目链接：https://leetcode.cn/problems/number-of-equivalent-domino-pairs/ 给你一组多米诺骨牌 dominoes 。形式上，dominoes[i] [a, b] 与 dominoes[j] [c, d] 等价当且仅当 (a …...

编程日记 2025/7/13 0:14:05

Spring MVC设计与实现

DispatcherServlet的初始化与请求处理流程初始化阶段 Servlet 生命周期触发：当 Web 容器（如 Tomcat）启动时，根据注解/配置，DispatcherServlet 的 init() 方法被调用。初始化 WebApplicationContext 根 WebApplicat…...

编程日记 2025/7/13 0:40:44

日语学习-日语知识点小记-进阶-JLPT-N1阶段（1）：语法单词

日语学习-日语知识点小记-进阶-JLPT-N1阶段（1）：语法单词 1、前言（1）情况说明（2）工程师的信仰（3）高级语法N1语法和难点一、N1语法学习内容（高级语法&#xff…...

编程日记 2025/7/12 23:42:48

stm32week14

stm32学习十.GPIO 2.基本结构基本结构： F1与其它的的最大区别是上下拉电阻的位置施密特触发器是一种整形电路，可以将非标准方波，整形成方波图中MOS管的输出规则： 3.8中工作模式 ①输入浮空： 上下拉电阻均不工…...

编程日记 2025/6/29 5:37:12

WPF中Binding

绑定ViewModel中的数据添加数据上下文方法一：在XAML中添加 <Window.DataContext><local:MainWindowViewModel /> </Window.DataContext>方法二：在界面层的cs文件中添加 this.DataContext new MainWindowViewModel();绑定 publ…...

编程日记 2025/6/29 7:36:07

Google Agent space时代，浅谈Agent2Agent (A2A) 协议和挑战！

如果说去年Google Cloud大会大家还在数“AI”这个词被提了多少次，那么今年，绝对是“Agent”的主场！开发者主题演讲几乎被它“刷屏”，展区的许多 Demo 也都号称是 Agent 应用。但我得诚实地说，大会现场关于 Agents 的 …...

编程日记 2025/7/8 14:28:25

爬虫的应用

在自然语言处理（NLP）领域，文本数据的预处理是至关重要的基础环节。它如同工匠雕琢璞玉前的打磨工作，直接影响后续模型分析与挖掘的效果。本文将基于 Python，以电商平台的差评和优质评价文本数据为例，详细展…...

编程日记 2025/6/29 8:11:18

力扣面试150题--相同的树

Day 41 题目描述做法 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, TreeNode left, TreeNode right…...

编程日记 2025/6/29 6:28:38

Java后端开发day40--异常File

（以下内容全部来自上述课程） 异常异常：异常就是代表程序出现的问题 1. 异常的分类 1.1 Error 代表的是系统级别的错误（属于严重问题） 系统一旦出现问题，sun公司会把这些错误封装成Error对象。 Error…...

编程日记 2025/6/29 8:06:24

集成算法学习

集成算法通过组合多个弱学习器提升模型性能，以下是核心内容详解： 一、核心思想 - 组合优势：结合多个简单模型（如决策树），通过“少数服从多数”或“加权平均”等策略，降低方差、偏差或过拟合风险…...

编程日记 2025/6/29 8:06:36

工业认知智能：从数据分析到知识创造

工业认知智能：从数据分析到知识创造引言当前制造业面临的知识管理困境令人震惊：68%的工艺知识存储于老员工头脑中，30%的企业因知识传承断层导致质量事故。麦肯锡研究显示，应用认知智能技术的企业，其工艺创新速度提升3-5倍。本文将系统阐述工业认知智能的"感知-理…...

编程日记 2025/6/29 7:36:20

8.1 Python+Docker+企业微信集成实战：自动化报告生成与CI/CD部署全攻略

Python+Docker+企业微信集成实战：自动化报告生成与CI/CD部署全攻略关键词：PDF报告生成, Word文档自动化, 企业微信集成, Docker容器化, CI/CD流水线 1. 多格式报告生成实战通过扩展报告输出格式，满足不同用户的文档需求。我们使用Python生态的成熟库实现PDF/Word生成，并…...

编程日记 2025/6/29 5:11:13

25.5.4数据结构|哈夫曼树学习笔记

知识点前言一、搞清楚概念 ●权：___________ ●带权路径长度：__________ WPL所有的叶子结点的权值*路径长度之和 ●前缀编码：____________ 二、构造哈夫曼树 n个带权值的结点，构造哈夫曼树算法： 1、转化成n棵树组成的…...

编程日记 2025/6/29 5:11:02

统计学中的p值是什么？怎么使用？

李升伟整理在统计学中，p值（p-value）是帮助研究者判断假设检验结果是否具有统计显著性的重要指标。以下是关于p值的详细解释和使用方法： 1. p值的定义 p值表示在原假设（H0）为真的情况下，观察…...

编程日记 2025/6/29 6:50:45

22：一维码与二维码区别

一维码（条形码） 一维条码即指条码条和空的排列规则，常用的一维码的码制包括：EAN码、39码、交叉25码、UPC码、128码、93码，ISBN码，及Codabar（库德巴码）等。条码是由一组规则排列的条…...

编程日记 2025/6/29 8:33:51

Java学习手册：SQL 优化技巧

一、SQL 查询优化选择合适的索引列 ：索引可以显著提高查询速度，但需要选择合适的列来创建索引。通常，对于频繁作为查询条件的列、连接操作的列以及排序或分组操作的列，应该考虑创建索引。例如，在一个订单表中&#xf…...

编程日记 2025/6/29 3:53:49

《Vue3学习手记8》

vue3中的一些API shallowRef ( ) 和shallowReactive ( ) shallowRef (浅层响应式) 1.作用:创建一个响应式数据，但只对顶层属性进行响应式处理。 2.用法: const originalref(...) const original2shallowRef(original) 3.特点:只跟踪引用值的变化，不关心…...

编程日记 2025/7/12 20:48:54

平衡二叉搜索树模拟实现1-------AVL树(插入,删除,查找)

本章目标 1.AVL树的概念 2.AVL树的模拟实现 1.AVL树的概念 1.AVL树是最先被发明的平衡二叉搜索树,AVL树是一颗空树或者具有以下的性质它的左右子树都是AVL树,并且左右高度差不超过1,AVL树是一颗高度平衡二叉搜索树,通过高度差去控制平衡 2.为什么高度差是1? 当结点个数为8…...

编程日记 2025/7/10 15:35:05

运算放大器的主要技术指标

运放（运算放大器）是一种基础电子器件，具有输入阻抗高、开环放大倍数大、输入端电流小、同相端与反相端电压几乎相等等特点。在选型时，需要考虑技术指标如输入失调电压、输入失调电压漂移、输入失调电流、共模抑制比、压摆率、建立…...

编程日记 2025/7/12 17:15:31

51单片机入门教程——每个音符对应的重装载值

前言本教程基于B站江协科技课程进行个人学习整理，专为拥有C语言基础的零基础入门51单片机新手设计。既帮助解决因时间差导致的设备迭代调试难题，也助力新手快速掌握51单片机核心知识，实现从C语言理论到单片机实践应用的高效过渡。...

编程日记 2025/7/9 21:37:03

新一代智能座舱娱乐系统软件架构设计文档

一文档概述本文档描述了基于Android系统与多模态大模型融合的新一代智能座舱娱乐系统的软件架构设计。该系统将通过深度学习的个性化适配、多模态感知融合和持续自进化能力，重新定义人车交互体验。二整体架构设计 2.1 分层架构视图系统采用五层垂直架构与三…...

编程日记 2025/7/12 23:26:44

深度优先搜索（DFS）与广度优先搜索（BFS）：图与树遍历的两大利器

深度优先搜索（DFS）与广度优先搜索（BFS）：图与树遍历的两大利器在数据结构与算法的世界中，深度优先搜索（DFS）和广度优先搜索（BFS）是两种非常经典的遍历算法。…...

编程日记 2025/7/12 18:16:18

比较 TensorFlow 和 PyTorch

TensorFlow和PyTorch是深度学习领域中两个非常流行的开源机器学习框架，下面为你详细介绍。 1. 历史与背景 TensorFlow：由Google开发和维护，于2015年开源。因其强大的生产能力和广泛的工具支持，在工业界得到了广泛应用。PyTorch&…...

编程日记 2025/7/12 21:46:35

jeecg查询指定时间

jeecg查询指定时间 ApiOperation(value"请假表-分页列表查询", notes"请假表-分页列表查询")GetMapping(value "/list")public Result<IPage<MlLeaveRequest>> queryPageList(MlLeaveRequest mlLeaveRequest,RequestParam(name&qu…...

编程日记 2025/7/12 19:06:11

无人机视觉：连接像素与现实世界 —— 像素与GPS坐标双向转换指南

在无人机航拍应用中，一个核心的需求是将图像上的某个点与现实世界中的地理位置精确对应起来。无论是目标跟踪、地图测绘还是农情监测，理解图像像素与其对应的经纬度（GPS坐标）之间的关系至关重要。本文将详细介绍如何实现单个像素坐…...

编程日记 2025/7/12 13:36:25

php study 网站出现404 - Page Not Found 未找到

最近在用php study搭建本地网站时，出现了404 - Page Not Found 未找到的情况，解决方式如下： 第一种：在wp 后台固定链接设置中修改链接形式第二种:没有安装伪静态! 小皮面板中设置--配置文件--编辑你所搭建的网站在红色框框处…...

编程日记 2025/7/12 0:40:15

互联网大厂Java求职面试：核心技术点深度解析

互联网大厂Java求职面试：核心技术点深度解析在互联网大厂的Java岗位面试中，技术总监级别的面试官通常会从实际业务场景出发，层层深入地考察候选人的技术能力。本文通过一个严肃专业的技术总监与搞笑但有技术潜力的程序员郑薪苦之间的互动对…...

编程日记 2025/7/12 2:11:03

相关文章：