当前位置：首页 > news >正文

Qwen2.5-7B-Instruct FastApi 部署调用教程

news 来源：原创 2025/9/14 17:36:24

1 环境准备

基础环境最低要求说明：

环境名称	版本信息1
Ubuntu	22.04.4 LTS
Cuda	V12.1.105
Python	3.12.4
NVIDIA Corporation	RTX 3090

首先 pip 换源加速下载并安装依赖包

# 升级pip
python -m pip install --upgrade pip
# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip install requests==2.31.0
pip install fastapi==0.115.1
pip install uvicorn==0.30.6
pip install transformers==4.44.2
pip install huggingface-hub==0.25.0
pip install accelerate==0.34.2
pip install modelscope==1.18.0

2 模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

新建 model_download.py 文件并在其中输入以下内容，粘贴代码后请及时保存文件，如下图所示。并运行 python model_download.py 执行下载，模型大小为 15GB，下载模型大概需要 5 分钟。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Qwen/Qwen2.5-7B-Instruct', cache_dir='/', revision='master')

注意：记得修改 cache_dir 为你的模型下载路径哦~

3 代码准备

新建 api.py 文件并在其中输入以下内容，粘贴代码后请及时保存文件。以下代码有很详细的注释，大家如有不理解的地方，欢迎提出 issue 。

from fastapi import FastAPI, Request
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import uvicorn
import json
import datetime
import torch# 设置设备参数
DEVICE = "cuda"  # 使用CUDA
DEVICE_ID = "0"  # CUDA设备ID，如果未设置则为空
CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE  # 组合CUDA设备信息# 清理GPU内存函数
def torch_gc():if torch.cuda.is_available():  # 检查是否可用CUDAwith torch.cuda.device(CUDA_DEVICE):  # 指定CUDA设备torch.cuda.empty_cache()  # 清空CUDA缓存torch.cuda.ipc_collect()  # 收集CUDA内存碎片# 创建FastAPI应用
app = FastAPI()# 处理POST请求的端点
@app.post("/")
async def create_item(request: Request):global model, tokenizer  # 声明全局变量以便在函数内部使用模型和分词器json_post_raw = await request.json()  # 获取POST请求的JSON数据json_post = json.dumps(json_post_raw)  # 将JSON数据转换为字符串json_post_list = json.loads(json_post)  # 将字符串转换为Python对象prompt = json_post_list.get('prompt')  # 获取请求中的提示messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]# 调用模型进行对话生成input_ids = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([input_ids], return_tensors="pt").to('cuda')generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]now = datetime.datetime.now()  # 获取当前时间time = now.strftime("%Y-%m-%d %H:%M:%S")  # 格式化时间为字符串# 构建响应JSONanswer = {"response": response,"status": 200,"time": time}# 构建日志信息log = "[" + time + "] " + '", prompt:"' + prompt + '", response:"' + repr(response) + '"'print(log)  # 打印日志torch_gc()  # 执行GPU内存清理return answer  # 返回响应# 主函数入口
if __name__ == '__main__':# 加载预训练的分词器和模型model_name_or_path = 'Qwen/Qwen2.5-7B-Instruct'tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map="auto", torch_dtype=torch.bfloat16)# 启动FastAPI应用# 用8080端口可以将端口映射到本地，从而在本地使用apiuvicorn.run(app, host='0.0.0.0', port=8080, workers=1)  # 在指定端口和主机上启动应用

注意：记得修改 model_name_or_path 为你的模型下载路径哦~

4 Api 部署

在终端输入以下命令启动api服务：

python api.py

加载完毕后出现如下信息说明成功。

默认部署在 8080端口，通过 POST 方法进行调用，可以使用 curl 调用，如下所示：

curl -X POST "http://127.0.0.1:8080" \-H 'Content-Type: application/json' \-d '{"prompt": "你好"}'

也可以使用 python 中的 requests 库进行调用，如下所示：

import requests
import jsondef get_completion(prompt):headers = {'Content-Type': 'application/json'}data = {"prompt": prompt}response = requests.post(url='http://127.0.0.1:8080', headers=headers, data=json.dumps(data))return response.json()['response']if __name__ == '__main__':print(get_completion('你好'))

得到的返回值如下所示：

{'response': '你好！很高兴为你提供帮助。你可以问我任何问题。', 'status': 200, 'time': '2024-09-19 10:13:08'}

Qwen2.5-7B-Instruct FastApi 部署调用教程

1 环境准备基础环境最低要求说明： 环境名称版本信息1Ubuntu22.04.4 LTSCudaV12.1.105Python3.12.4NVIDIA CorporationRTX 3090 首先 pip 换源加速下载并安装依赖包 # 升级pip python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set g…...

编程日记 2025/9/14 17:36:24

潇洒浪： Dify 上传自定义文件去除内容校验 File validation failed for file: re.json

Dify上传文件添加其他文件类型如 my.myselfsuffix 上传成功执行报错 File validation failed for file: re.json 解决办法 Notepad 搜索dify源码注释掉，重启容器或者直接在容器中修改重启...

编程日记 2025/9/10 10:21:03

【力扣hot100题】（088）最长有效括号

这题目真是越做越难了。但其实只是思路很难想到，一旦会了方法就很好做。但问题就在方法太难想了…… 思路还是只要遍历一遍数组，维护动态规划数组记录截止至目前位置选取该元素的情况下有效括号的最大值。光是知道这个还不够，看了答案…...

编程日记 2025/9/10 12:47:41

XML、JSON 和 Protocol Buffers (protobuf) 对比

目录 1. XML (eXtensible Markup Language) 1）xml的特点： 2）xml的适用场景： 2. JSON (JavaScript Object Notation) 1）JSOM的特点： 2）JSON的适用场景： 3. Protocol Buffers (…...

编程日记 2025/9/10 4:07:23

C++ 入门四：类与对象 —— 面向对象编程的核心基石

一、类的定义 1. 类的基本形式 class 类名 { public: // 公有成员（类内外均可访问）数据类型数据成员; // 公有数据成员数据类型成员函数(参数列表); // 公有成员函数声明 protected: // 保护成员（类内和派生类可访问&…...

编程日记 2025/9/11 22:51:41

DeepSeek：穿透行业知识壁垒的搜索引擎攻防战

DeepSeek：穿透行业知识壁垒的搜索引擎攻防战文 / 产业智能观察组（人机协同创作） 一、搜索引擎的"认知折叠"危机 2024年Q1数据显示，百度搜索结果前10页中，61.7%的内容存在"伪专业化"现象——看似…...

编程日记 2025/9/13 7:31:59

SQL 查询中涉及的表及其作用说明

SQL 查询中涉及的表及其作用说明： 涉及的数据库表表名别名/用途关联关系dbo.s_orderSO（主表）存储订单主信息（订单号、日期、客户等）dbo.s_orderdetailSoD（订单明细）通过 billid SO.billid 关…...

编程日记 2025/9/14 17:36:24

数组 array

1、数组定义是一种用于存储多个相同类型数据的存储模型。 2、数组格式 （1）数据类型[ ] 变量名（比较常见这种格式） 例如： int [ ] arr0，定义了一个int类型的数组，数组名是arr0； &am…...

编程日记 2025/9/9 6:42:41

Git 查看提交历史

Git作为最流行的版本控制工具，其提交历史管理是开发者日常工作的核心部分。无论是回溯代码变更、定位问题根源，还是进行版本回退，掌握Git提交历史的操作技巧都至关重要。本文将全面解析Git提交历史相关命令，助你成为版本管理高手&…...

编程日记 2025/9/13 1:24:24

电脑提示“找不到mfc140u.dll“的完整解决方案：从原因分析到彻底修复

当你启动某个软件或游戏时，突然遭遇"无法启动程序，因为计算机中丢失mfc140u.dll"的错误提示，这确实令人沮丧。mfc140u.dll是Microsoft Foundation Classes（MFC）库的重要组成部分，属于Visual C Re…...

编程日记 2025/8/17 19:31:20

windows安卓子系统wsa隐藏应用列表的安装激活使用

Windows 11 安卓子系统应用部署全攻略 windows安卓子系统wsa隐藏应用列表的安装激活使用|过检测核心前端在 Windows 11 系统中，安卓子系统为用户带来了在电脑上运行安卓应用的便利。经过一系列的操作，我们已经完成了 Windows 11 安卓子系统的底层和前端…...

编程日记 2025/9/13 1:24:40

深入探索 PyTorch：回归与分类模型的全方位解析

深入探索 PyTorch：回归与分类模型的全方位解析在当今数据驱动的时代，机器学习与深度学习技术正广泛应用于各个领域，助力我们从海量数据中挖掘有价值的信息。而 PyTorch 作为一款备受青睐的深度学习框架，为开发者们提供了简洁且高…...

编程日记 2025/9/7 17:20:32

案例分析：东华新径，拉动式生产的智造之路

目录文章目录目录南京东华智能转向系统有限公司是一家什么公司？背景知识：新能源汽车生产制造流程简介东华遇见了什么问题？东华希望如何解决？解决思路：从 “推动式生产” 到 “拉动式生产”，从 “冗余式思…...

编程日记 2025/8/17 19:29:16

【android bluetooth 框架分析 01】【关键线程 5】【bt_main_thread介绍】

1. 概述 system/stack/btu/btu_task.cc bt_main_thread 是 Android Bluetooth 协议栈中的核心线程，负责处理蓝牙协议栈中的大部分关键任务和事件。它相当于蓝牙协议栈的"大脑"，协调各种蓝牙功能的运行。 2. 重要性 bt_main_thread 的重要性…...

编程日记 2025/9/10 18:17:15

城市应急安防系统EasyCVR视频融合平台：如何实现多源视频资源高效汇聚与应急指挥协同

一、方案背景 1）项目背景在当今数字化时代，随着信息技术的飞速发展，视频监控和应急指挥系统在公共安全、城市应急等领域的重要性日益凸显。尤其是在关键场所，高效的视频资源整合与传输能力对于应对突发公共事件、实现快速精准的…...

编程日记 2025/9/12 10:05:26

自动化测试常用函数

自动化测试常用函数前言1. 元素的定位1.1 cssSelector1.2 xpath1.2.1 获取 HTML 页面所有的节点1.2.2 获取 HTML 页面指定的节点1.2.3 获取一个节点中的直接子节点1.2.4 获取一个节点的父节点1.2.5 实现节点属性的匹配1.2.6 使用指定索引的方式获取对应的节点内容 2. 操作测试…...

编程日记 2025/9/4 11:46:53

OpengGL教程(七)---摄像机

本章参考官方教程：摄像机本系列历史文 OpengGL教程(一)—OpenGL环境的配置(GLFW3,GLAD) OpengGL教程(二)—渲染一个简单的窗体 OpengGL教程(三)—使用VAO和VBO方式绘制三角形 OpengGL教程(四)—使用EBO方式绘制矩形 OpengGL教程(五)—纹理的应用 OpengGL教程(六)—…...

编程日记 2025/9/8 1:29:13

使用 application.properties 在 application.properties 中添加如下配置： spring.web.resources.add-mappingsfalse使用 application.yml 在 application.yml 中添加如下配置： spring:web:resources:add-mappings: false配置解释 spring.web.resou…...

编程日记 2025/9/7 3:31:38

猫咪如厕检测与分类识别系统系列【二】多图上传及猫咪分类特征提取更新

前情提要家里养了三只猫咪，其中一只布偶猫经常出入厕所。但因为平时忙于学业，没法时刻关注牠的行为。我知道猫咪的如厕频率和时长与健康状况密切相关，频繁如厕可能是泌尿问题，停留过久也可能是便秘或不适。为了更科学地了解牠的…...

编程日记 2025/9/5 4:00:42

‌ViewModel和AndroidViewModel的主要区别

‌ViewModel和AndroidViewModel的主要区别在于它们的继承关系、构造函数以及使用场景。‌ ‌继承关系与构造函数‌： ‌ViewModel‌：ViewModel是一个抽象类，位于androidx.lifecycle包中。它是所有ViewModel类的基类，构造函数较为…...

编程日记 2025/9/9 0:12:06

myeclise导入项目并运行

1、把项目复制到myeclise工作目录 2、导入项目：将项目导入到myeclise工作目录 3、配置jre 4、把项目放到tomcat 5、运行项目配置数据库后运行...

编程日记 2025/9/10 1:27:02

XSS 防御转义规则笔记

一、转义规则概述核心目标：防止用户输入被浏览器解析为可执行代码，确保输入始终被视为数据而非代码。关键策略：根据数据嵌入的上下文环境（HTML、JavaScript、CSS 等），对特殊字符进行转义或编码。二、不…...

编程日记 2025/9/13 6:34:11

【2025年认证杯数学中国数学建模网络挑战赛】C题完整论文全三问模型+求解+代码

目录【2025年认证杯数学建模挑战赛】C题数据预处理与全三问求解一、问题重述二、模型假设与符号说明2.1 模型基本假设2.2 符号说明三、数据预处理及分析四、问题一五、问题二5.1 基于互相关函数的反应延时识别5.2 反应过程延时结果分析5.3 基于BP神经网络的不合格产物预测5.4…...

编程日记 2025/9/14 0:44:48

iOS应用开发指南

开发一款iOS应用是一个系统化的过程，涵盖从环境搭建、界面设计、编码实现到测试发布的各个环节。以下是一份面向初学者的iOS移动应用开发指南，帮助你从零开始构建自己的App。一、准备工作：开发环境与工具必备设备 Mac电脑：iO…...

编程日记 2025/9/13 9:52:26

小刚说C语言刷题——第21讲一维数组

在日常生活中，我们经常输入一组数据。例如输入一个班30名学生的语文成绩，或者输入一组商品的价格。这个时候，我们如何输入一组类型相同的数据呢？这里我们就要用到数组。 1.数组的概念所谓数组就是一组相同类型数据的集合。数组中…...

编程日记 2025/9/11 16:34:35

苍穹外卖2

根据id查询员工调用顺序：Controller—>Service—>ServiceImpl—>Mapper—>xml 1.controller层一个tab秒了（ai生成） 由于result泛型中希望返回一个employee对象，所以定义一个employee来接受Service的getbyid方法,在…...

编程日记 2025/9/12 6:45:31

C语言之双层for循环

一、第一小题引入循环次数用外层循环内层循环这一题即是: 3412(次) 外循环一次内循环一趟(可以形象理解为时针和分针) 运行结果如下: 一、第二小题引入请阅读下列代码: 执行程序.程序执行的循环次数为多少? 答案:20次这一题外层循环从5开始到i结束中间的i是…...

编程日记 2025/9/8 9:20:53

第8课：多智能体系统评估与迭代

多智能体系统评估与迭代：从指标设计到持续优化的全流程指南一、引言：当智能体协作出现“磨合期”：评估与迭代为何是必经之路？在多智能体系统（MAS）的实际运行中，即使架构设计合理，也可能面临“协作效率下降”“资源浪费”等问题：任务完成率突然从95%降至70%，却找…...

编程日记 2025/9/5 14:49:59

HTTP：三.HTTP报文

报文流 http报文是以一种类似的流的方式来发送数据的，所以报文流讲述了http报文的一些客观状态，相关术语：流入、流出形容事务处理。http报文任何时候是从上游向下游流入的！其中进过的节点既可能是上游，有可能是下游，如果从某个节点流出，那么相对于此节点流入的那个节点…...

编程日记 2025/9/8 20:42:09

.NET MAUI教程1-入门并发布apk包安装到真机

由于本人水平有限，如有写得不对的地方往指出，由于是使用公司的电脑，电脑的操作系统是英文的，没有权限修改，所以本文截图中的vs是英文版的以发布android为例进行讲解测试环境： window 11 vs2022 步骤如…...

编程日记 2025/9/9 17:48:19

你所拨打的电话是空号？手机状态查询API

一、引言在当今数字化营销时代，电话销售仍然是许多企业获取客户的重要手段之一。然而，电销过程中常常遇到空号、风险号和沉默号等问题，这不仅降低了营销效率，还增加了企业的运营成本。例如，频繁拨打空号浪费了大量时…...

编程日记 2025/9/9 18:40:42

C++顺序栈的实现

顺序栈详细介绍定义与特点顺序栈（Sequential Stack）是一种基于数组实现的栈结构，利用数组的连续内存空间存储元素，遵循后进先出（LIFO）原则。其核心特点包括： 固定或动态容量：初始…...

编程日记 2025/9/10 11:13:22

element-ui 中的 select 组件如何 remote-method 函数中传参

在 select 组件中我们使用其 change 事件可以传参，请查看：el-select 中change 事件传参问题。在我们使用 select 组件的远程搜索时，我们如何给 remote-method 这个方法添加自定义参数呢？ 代码实现如下： <el-sel…...

编程日记 2025/9/12 17:27:21

浅谈解释型语言的运用

不得不说，程序不需要编译，程序在运行时才翻译成机器语言，每执行一次，都要翻译一次，因此效率比较低。在运行程序时才翻译，专门有一个解释器去进行翻译，每个语句都是执行的时候才翻译，…...

编程日记 2025/9/14 1:05:25

云手机哪个平台最好用？云手机性能、服务、技术等多维度测评分析

在云手机市场日渐繁荣的当下，面对琳琅满目的云手机平台，用户往往难以抉择云手机哪个平台最好。下面我们就从从性能、价格等多维度分析，云手机平台哪家强，队国内好用的云手机平台进行排行盘点。好用的云手机平台排行盘点第一&…...

编程日记 2025/9/4 16:09:18

idea版的cursor：Windsurf Wave 7

在企业环境中，Visual Studio Code和JetBrains系列是最常用的开发工具，覆盖了全球绝大多数开发者。这两类IDE各有优势，但JetBrains系列凭借其针对特定语言和企业场景的深度优化，使得用户很难轻易更换工具。虽然Windsurf编辑器是基…...

编程日记 2025/9/8 13:32:47

【IDEA】创建 SpringBoot 项目连接 MySQL

前言 IntelliJ IDEA 作为一款专业的 Java 开发工具，在创建和管理 Spring Boot 项目方面具有显著优势。它深度集成了 Spring Boot 的开发流程，从项目初始化到最终部署都提供了高效的支持。IDEA 内置的 Spring Initializr 工具让项目创建变得极其简单&…...

编程日记 2025/9/13 18:28:07

使用 IntelliJ IDEA 进行远程调试

1. 前言今天线上出现了个 Bug ，而且比较坑的是涉及到k8s环境相关的东西不能线下调试。传统方式是在代码中各种的日志 log 埋点然后重新部署进行调试，再根据 log 中的信息进行分析。如果你的 log 埋点不合理，就要不停的修改代码、不停的打包…...

编程日记 2025/9/10 20:23:31

Linux操作系统--进程状态

目录 1.运行、阻塞、挂起 1.1运行 1.2阻塞 1.3挂起(了解一下即可，基本不会出现这种情况) 2.进程状态 2.1进程状态查看 2.2 Z-僵尸进程 2.3孤儿进程 1.运行、阻塞、挂起 1.1运行运行状态： 进程正在占用CPU执行指令。此时进程对系统资源&#xff…...

编程日记 2025/8/27 13:01:21

【端到端】端到端自动驾驶依赖Occupancy进行运动规划？还是可以具有生成局部地图来规划？

端到端自动驾驶系统的架构设计，目前主流做法实际上已经出现两种路径，我们来拆解一下： 🚘 一、Occupancy 是否用于运动规划？ 一种趋势是使用 Occupancy 表示作为中间表征，用于： 运动规划&…...

编程日记 2025/9/1 16:28:31

HarmonyOS-ArkUIV2装饰器-@Param：组件外部输入

上文我们了解了@Local装饰器，讲明了Local装饰器不允许外部传入值对其进行初始化。详见： HarmonyOS-ArkUI V2装饰器@Local装饰器：组件内部状态-CSDN博客。但总有场景是需要外部组件传值过来，然后本组件接收这个值这种场景的。而且很多情况下，一个状态变量的作用范围会是…...

编程日记 2025/9/6 18:57:11

报错 ImportError: cannot import name ‘packaging‘ from ‘pkg_resources‘

解决方法一 （推荐） 先检查setuptools是否为70.0.0版本 pip list | grep setuptools再降低版本 python -m pip install setuptools69.5.1或者： 解决方法二上述的报错信息表明：在安装 mmcv 时出现了 pkg_resources 模块的问题…...

编程日记 2025/9/4 10:01:40

Ollama调用多GPU实现负载均衡

文章目录 📊 背景说明🛠️ 修改 systemd 服务配置1. 配置文件路径2. 编辑服务文件2. 重新加载配置并重启服务3. 验证配置是否成功 📈 应用效果示例1. 调用单个70b模型2. 调用多个模型（70b和32b模型） 总结📌…...

编程日记 2025/9/9 14:21:51

Next.js 简介

Next.js 是一个由 Vercel 开发的基于 React 的 Web 开发框架，旨在简化 React 应用的开发流程，提供更好的性能和开发体验。 🌟 Next.js 的核心特点 1. 文件系统路由（File-system Routing） 在 pages/ 目录中创建文件就…...

编程日记 2025/9/9 11:12:41

使用Apache POI（Java）创建docx文档和表格

1、引入poi 依赖组件 <dependency><groupId>org.apache.poi</groupId><artifactId>poi-scratchpad</artifactId><version>4.0.0</version> </dependency> <dependency><groupId>org.apache.poi</groupId>&…...

编程日记 2025/9/6 19:57:34

Dynamics365 ExportPdfTemplateExportWordTemplate两个Action调用的body构造

这两天在用ExportPdfTemplate做pdf导出功能时，遇到了如下问题InnerException : Microsoft.OData.ODataException: An unexpected StartArray node was found when reading from the JSON reader. A PrimitiveValue node was expected. 我的场景是使用power automate…...

编程日记 2025/9/8 1:29:15

《算法笔记》3.3小节——入门模拟-＞图形输出

1036 跟奥巴马一起编程 #include <iostream> #include <cmath> using namespace std;int main() {int n,m;char c;cin>>n>>c;for (int i 0; i < n; i) {cout<<c;}cout<<endl;m round(1.0*n/2)-2;//round里面不能直接写n/2，…...

编程日记 2025/9/14 10:13:20

iOS 上的内存管理是如何处理的？

iOS主要通过自动引用计数（ARC）和内存管理模型来处理内存。以下是对这两者的详细介绍以及在实际工作中的应用场景： 1. 自动引用计数（ARC） ARC是iOS和macOS中的内存管理机制。它能自动跟踪和管理应用程序的内存使用情况…...

编程日记 2025/9/13 1:24:30

河北工程大学e2e平台，python

题目，选择题包100分！ 题目，选择题包100分！ 题目，选择题包100分！ 联系🛰：18039589633...

编程日记 2025/8/17 19:30:47

【Qt】spdlog日志模块的使用

版本 spdlog版本：1.5.0 采用1.5.0版本主要基于以下考虑：兼容Qt5.9.X版本和兼容C11。 spdlog 1.5.0下载地址：https://github.com/gabime/spdlog/releases/tag/v1.5.0 摘要在Qt应用程序开发中，良好的日志系统至关重要。本文将介…...

编程日记 2025/9/5 14:24:10

1 环境准备

2 模型下载

3 代码准备

4 Api 部署

相关文章：