当前位置：首页 > news >正文

RTX-3090 Qwen3-8B Dify RAG环境搭建

news 来源：原创 2025/7/13 1:31:34

RTX-3090 Qwen3-8B Dify RAG环境搭建

- 一、环境配置
- 二、操作步骤
- - 1、创建容器
  - 2、下载`Qwen3-8B`和embedding模型
  - 3、安装`transformers`
  - 4、安装`vllm`
  - 5、安装`flash-attention`
  - 6、启动兼容OpenAI API的服务
  - - 1、方案一:启动`vllm`服务【不支持多任务】
    - 2、方案二:Flask和PyTorch实现的Qwen3-8B和Embeddings 兼容OpenAI API的服务
  - 7、测试API服务
  - 8.安装`Dify`

一、环境配置

属性	值
CUDA Driver Version	555.42.02
CUDA Version	12.5
OS	Ubuntu 20.04.6 LTS
Docker version	24.0.5, build 24.0.5-0ubuntu1~20.04.1
GPU	NVIDIA GeForce RTX 3090 24GB显存

二、操作步骤

1、创建容器

docker run --runtime nvidia --gpus all -ti \-v $PWD:/home -w /home \-p 8000:8000 --ipc=host nvcr.io/nvidia/pytorch:24.03-py3 bash

2、下载`Qwen3-8B`和embedding模型

cd /home
pip install modelscope
modelscope download --model Qwen/Qwen3-8B  --local_dir Qwen3-8B
modelscope download --model maidalun/bce-embedding-base_v1 --local_dir bce-embedding-base_v1

3、安装`transformers`

cd /home
git clone https://github.com/huggingface/transformers.git
cd transformers
git checkout v4.51.0
pip install tokenizers==0.21
python3 setup.py install

4、安装`vllm`

pip install vllm
pip install flashinfer-python==v0.2.2
python3 -m pip install --upgrade 'optree>=0.13.0'
pip install bitsandbytes>=0.45.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

5、安装`flash-attention`

git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention/
git checkout fd2fc9d85c8e54e5c20436465bca709bc1a6c5a1
python setup.py build_ext
python setup.py bdist_wheel
pip install dist/flash_attn-*.whl

6、启动兼容OpenAI API的服务

1、方案一:启动`vllm`服务【不支持多任务】

cd /home
export TORCH_CUDA_ARCH_LIST="8.6+PTX"
vllm serve ./Qwen3-8B/ --quantization bitsandbytes --enable-prefix-caching --dtype bfloat16

2、方案二:Flask和PyTorch实现的Qwen3-8B和Embeddings 兼容OpenAI API的服务

cat > dify_api_srv.py <<-'EOF'
from transformers import AutoModelForCausalLM, AutoTokenizer
import time
import torch
from transformers import AutoModel
from typing import List
import numpy as np
from transformers import TextStreamer
from flask import Flask, request, jsonify, Response
import uuid
import jsonapp = Flask(__name__)# 加载模型和分词器
model_name = "./Qwen3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto",device_map="auto"
)# 加载本地嵌入模型
MODEL_PATH = "./bce-embedding-base_v1"  # 本地模型路径
rerank_tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
rerank_model = AutoModel.from_pretrained(MODEL_PATH)@app.route('/v1/completions', methods=['POST'])
def handle_completion():"""处理文本补全请求"""data = request.get_json()print(data)# 解析请求参数prompt = data.get('prompt', '')max_tokens = data.get('max_tokens', 32768)temperature = float(data.get('temperature', 1.0))top_p = float(data.get('top_p', 1.0))# 构建模型输入messages = [{"role": "user", "content": prompt}]formatted_text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True,enable_thinking=False)inputs = tokenizer(formatted_text, return_tensors="pt").to(model.device)# 生成文本generated_ids = model.generate(**inputs,max_new_tokens=max_tokens,temperature=temperature,do_sample=False,top_p=top_p,pad_token_id=tokenizer.eos_token_id)# 解析生成结果output_ids = generated_ids[0][len(inputs.input_ids[0]):]try:think_token_id = tokenizer.convert_tokens_to_ids("</think>")index = len(output_ids

RTX-3090 Qwen3-8B Dify RAG环境搭建

RTX-3090 Qwen3-8B Dify RAG环境搭建一、环境配置二、操作步骤1、创建容器2、下载`Qwen3-8B`和embedding模型3、安装`transformers`4、安装`vllm`5、安装`flash-attention`6、启动兼容OpenAI API的服务1、方案一:启动`vllm`服务【不支持多任务】2、方案二:Flask和PyTorch实现的…...

编程日记 2025/7/13 1:31:34

Circular Plot系列(三)：【视频教程】复现NCS图表之高大上的单细胞UMAP环形图

高端复杂的UMAP复现： 这又是一个高大上且炫酷的单细胞UMAP图，展示的信息很多，有大类细胞和亚群，以及marker基因和cell count信息，还可以增加其他的分组信息等等。没错，看这个图就是circlize一层层画的。我们…...

编程日记 2025/7/13 0:27:41

MCP智能体多Agent协作系统设计（Multi-Agent Cooperation）

目录 🚀 MCP智能体多Agent协作系统设计（Multi-Agent Cooperation） 🌟 为什么需要多Agent协作？ 🧠 多Agent协作系统架构设计 🛠️ 1. 构建基础智能体基类（Agent Base）…...

编程日记 2025/7/13 0:30:18

栈Stack

一栈:先进后出一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。栈中的数据元素遵守后进先出LIFO（Last In First Out）的原则。 Stack<Integer> sta…...

编程日记 2025/7/13 1:24:14

HTML01：HTML基本结构

HTML基本结构 <html> <head><meta charset"UTF-8"><title>我的第一个网页</title> </head> <body>我的第一个网页 </body> </html><body、</body等成对的标签，分别叫开发标签和闭合标签单独…...

编程日记 2025/7/13 0:17:37

QT聊天项目DAY07

1.Win配置和使用GRPC 1.1 克隆GRPC库克隆GRPC git clone -b v1.34.0 https://gitee.com/mirrors/grpc-framework.git 查看Git有没有安装没有安装 1.1.1 安装Git https://git-scm.com/ 一路next 添加Git的路径到系统环境变量下我这次没用管理员权限，并且也没…...

编程日记 2025/7/13 0:30:18

2025年PMP 学习三

4.2制定项目管理计划 4. 项目管理计划 - 内容（输出） 项目目标的制定原因： 3个基准（范围基准、进度基准、成本基准） 子管理计划：范围、需求、进度、成本、质量、资源、沟通、风险、采购等管理计划&#xf…...

编程日记 2025/7/13 0:01:12

软考-软件设计师中级备考 10、文件管理、设备管理

一、文件管理 1、文件目录文件控制块（FCB）：是操作系统为管理文件而设置的数据结构，包含了文件的基本信息（如文件名、文件大小、文件类型等）、存取控制信息（如文件所有者的权限、其他用户的权…...

编程日记 2025/7/13 0:11:03

Linux环境下的进程创建-fork函数的使用，进程退出exit和_exit的区别，以及进程等待waitpid和status数据的提取方法

目录一、进程创建 1.fork函数 1）进程调用fork函数是如何创建子进程的 2）代码示范 2.写时拷贝二、进程退出 1.退出码 1）什么是退出码？ 2）为什么要有退出码？ 3）退出码是怎么做到的？ …...

编程日记 2025/7/13 1:13:43

【数据结构与算法】常见排序算法详解（C++实现）

目录一、排序的基本概念二、插入排序 2.1 直接插入排序 2.2 折半插入排序 2.3 希尔排序三、交换排序 3.1 冒泡排序 3.2 快速排序四、选择排序 4.1 简单选择排序 4.2 堆排序五、归并排序六、基数排序七、计数排序结语一、排序的基本概念排序就是重新…...

编程日记 2025/7/13 0:21:03

STM32GPIO输入实战-按键key模板及移植

STM32GPIO输入实战-按键key模板及移植一，按键模板展示二，按键模板逻辑1，准备工作：头文件与全局变量2，读取硬件状态：key_read_raw()3,核心处理：key_process_simple() 的四行代码三，…...

编程日记 2025/7/13 0:00:25

LeetCode 1128.等价多米诺骨牌对的数量：计数

【LetMeFly】1128.等价多米诺骨牌对的数量：计数力扣题目链接：https://leetcode.cn/problems/number-of-equivalent-domino-pairs/ 给你一组多米诺骨牌 dominoes 。形式上，dominoes[i] [a, b] 与 dominoes[j] [c, d] 等价当且仅当 (a …...

编程日记 2025/7/13 0:14:05

Spring MVC设计与实现

DispatcherServlet的初始化与请求处理流程初始化阶段 Servlet 生命周期触发：当 Web 容器（如 Tomcat）启动时，根据注解/配置，DispatcherServlet 的 init() 方法被调用。初始化 WebApplicationContext 根 WebApplicat…...

编程日记 2025/7/13 0:40:44

日语学习-日语知识点小记-进阶-JLPT-N1阶段（1）：语法单词

日语学习-日语知识点小记-进阶-JLPT-N1阶段（1）：语法单词 1、前言（1）情况说明（2）工程师的信仰（3）高级语法N1语法和难点一、N1语法学习内容（高级语法&#xff…...

编程日记 2025/7/12 23:42:48

stm32week14

stm32学习十.GPIO 2.基本结构基本结构： F1与其它的的最大区别是上下拉电阻的位置施密特触发器是一种整形电路，可以将非标准方波，整形成方波图中MOS管的输出规则： 3.8中工作模式 ①输入浮空： 上下拉电阻均不工…...

编程日记 2025/6/29 5:37:12

WPF中Binding

绑定ViewModel中的数据添加数据上下文方法一：在XAML中添加 <Window.DataContext><local:MainWindowViewModel /> </Window.DataContext>方法二：在界面层的cs文件中添加 this.DataContext new MainWindowViewModel();绑定 publ…...

编程日记 2025/6/29 7:36:07

Google Agent space时代，浅谈Agent2Agent (A2A) 协议和挑战！

如果说去年Google Cloud大会大家还在数“AI”这个词被提了多少次，那么今年，绝对是“Agent”的主场！开发者主题演讲几乎被它“刷屏”，展区的许多 Demo 也都号称是 Agent 应用。但我得诚实地说，大会现场关于 Agents 的 …...

编程日记 2025/7/8 14:28:25

爬虫的应用

在自然语言处理（NLP）领域，文本数据的预处理是至关重要的基础环节。它如同工匠雕琢璞玉前的打磨工作，直接影响后续模型分析与挖掘的效果。本文将基于 Python，以电商平台的差评和优质评价文本数据为例，详细展…...

编程日记 2025/6/29 8:11:18

Day 41 题目描述做法 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, TreeNode left, TreeNode right…...

编程日记 2025/6/29 6:28:38

Java后端开发day40--异常File

（以下内容全部来自上述课程） 异常异常：异常就是代表程序出现的问题 1. 异常的分类 1.1 Error 代表的是系统级别的错误（属于严重问题） 系统一旦出现问题，sun公司会把这些错误封装成Error对象。 Error…...

编程日记 2025/6/29 8:06:24

集成算法学习

集成算法通过组合多个弱学习器提升模型性能，以下是核心内容详解： 一、核心思想 - 组合优势：结合多个简单模型（如决策树），通过“少数服从多数”或“加权平均”等策略，降低方差、偏差或过拟合风险…...

编程日记 2025/6/29 8:06:36

工业认知智能：从数据分析到知识创造

工业认知智能：从数据分析到知识创造引言当前制造业面临的知识管理困境令人震惊：68%的工艺知识存储于老员工头脑中，30%的企业因知识传承断层导致质量事故。麦肯锡研究显示，应用认知智能技术的企业，其工艺创新速度提升3-5倍。本文将系统阐述工业认知智能的"感知-理…...

编程日记 2025/6/29 7:36:20

8.1 Python+Docker+企业微信集成实战：自动化报告生成与CI/CD部署全攻略

Python+Docker+企业微信集成实战：自动化报告生成与CI/CD部署全攻略关键词：PDF报告生成, Word文档自动化, 企业微信集成, Docker容器化, CI/CD流水线 1. 多格式报告生成实战通过扩展报告输出格式，满足不同用户的文档需求。我们使用Python生态的成熟库实现PDF/Word生成，并…...

编程日记 2025/6/29 5:11:13

25.5.4数据结构|哈夫曼树学习笔记

知识点前言一、搞清楚概念 ●权：___________ ●带权路径长度：__________ WPL所有的叶子结点的权值*路径长度之和 ●前缀编码：____________ 二、构造哈夫曼树 n个带权值的结点，构造哈夫曼树算法： 1、转化成n棵树组成的…...

编程日记 2025/6/29 5:11:02

统计学中的p值是什么？怎么使用？

李升伟整理在统计学中，p值（p-value）是帮助研究者判断假设检验结果是否具有统计显著性的重要指标。以下是关于p值的详细解释和使用方法： 1. p值的定义 p值表示在原假设（H0）为真的情况下，观察…...

编程日记 2025/6/29 6:50:45

22：一维码与二维码区别

一维码（条形码） 一维条码即指条码条和空的排列规则，常用的一维码的码制包括：EAN码、39码、交叉25码、UPC码、128码、93码，ISBN码，及Codabar（库德巴码）等。条码是由一组规则排列的条…...

编程日记 2025/6/29 8:33:51

Java学习手册：SQL 优化技巧

一、SQL 查询优化选择合适的索引列 ：索引可以显著提高查询速度，但需要选择合适的列来创建索引。通常，对于频繁作为查询条件的列、连接操作的列以及排序或分组操作的列，应该考虑创建索引。例如，在一个订单表中&#xf…...

编程日记 2025/6/29 3:53:49

《Vue3学习手记8》

vue3中的一些API shallowRef ( ) 和shallowReactive ( ) shallowRef (浅层响应式) 1.作用:创建一个响应式数据，但只对顶层属性进行响应式处理。 2.用法: const originalref(...) const original2shallowRef(original) 3.特点:只跟踪引用值的变化，不关心…...

编程日记 2025/7/12 20:48:54

平衡二叉搜索树模拟实现1-------AVL树(插入,删除,查找)

本章目标 1.AVL树的概念 2.AVL树的模拟实现 1.AVL树的概念 1.AVL树是最先被发明的平衡二叉搜索树,AVL树是一颗空树或者具有以下的性质它的左右子树都是AVL树,并且左右高度差不超过1,AVL树是一颗高度平衡二叉搜索树,通过高度差去控制平衡 2.为什么高度差是1? 当结点个数为8…...

编程日记 2025/7/10 15:35:05

运算放大器的主要技术指标

运放（运算放大器）是一种基础电子器件，具有输入阻抗高、开环放大倍数大、输入端电流小、同相端与反相端电压几乎相等等特点。在选型时，需要考虑技术指标如输入失调电压、输入失调电压漂移、输入失调电流、共模抑制比、压摆率、建立…...

编程日记 2025/7/12 17:15:31

51单片机入门教程——每个音符对应的重装载值

前言本教程基于B站江协科技课程进行个人学习整理，专为拥有C语言基础的零基础入门51单片机新手设计。既帮助解决因时间差导致的设备迭代调试难题，也助力新手快速掌握51单片机核心知识，实现从C语言理论到单片机实践应用的高效过渡。...

编程日记 2025/7/9 21:37:03

新一代智能座舱娱乐系统软件架构设计文档

一文档概述本文档描述了基于Android系统与多模态大模型融合的新一代智能座舱娱乐系统的软件架构设计。该系统将通过深度学习的个性化适配、多模态感知融合和持续自进化能力，重新定义人车交互体验。二整体架构设计 2.1 分层架构视图系统采用五层垂直架构与三…...

编程日记 2025/7/12 23:26:44

深度优先搜索（DFS）与广度优先搜索（BFS）：图与树遍历的两大利器

深度优先搜索（DFS）与广度优先搜索（BFS）：图与树遍历的两大利器在数据结构与算法的世界中，深度优先搜索（DFS）和广度优先搜索（BFS）是两种非常经典的遍历算法。…...

编程日记 2025/7/12 18:16:18

比较 TensorFlow 和 PyTorch

TensorFlow和PyTorch是深度学习领域中两个非常流行的开源机器学习框架，下面为你详细介绍。 1. 历史与背景 TensorFlow：由Google开发和维护，于2015年开源。因其强大的生产能力和广泛的工具支持，在工业界得到了广泛应用。PyTorch&…...

编程日记 2025/7/12 21:46:35

jeecg查询指定时间

jeecg查询指定时间 ApiOperation(value"请假表-分页列表查询", notes"请假表-分页列表查询")GetMapping(value "/list")public Result<IPage<MlLeaveRequest>> queryPageList(MlLeaveRequest mlLeaveRequest,RequestParam(name&qu…...

编程日记 2025/7/12 19:06:11

无人机视觉：连接像素与现实世界 —— 像素与GPS坐标双向转换指南

在无人机航拍应用中，一个核心的需求是将图像上的某个点与现实世界中的地理位置精确对应起来。无论是目标跟踪、地图测绘还是农情监测，理解图像像素与其对应的经纬度（GPS坐标）之间的关系至关重要。本文将详细介绍如何实现单个像素坐…...

编程日记 2025/7/12 13:36:25

php study 网站出现404 - Page Not Found 未找到

最近在用php study搭建本地网站时，出现了404 - Page Not Found 未找到的情况，解决方式如下： 第一种：在wp 后台固定链接设置中修改链接形式第二种:没有安装伪静态! 小皮面板中设置--配置文件--编辑你所搭建的网站在红色框框处…...

编程日记 2025/7/12 0:40:15

互联网大厂Java求职面试：核心技术点深度解析

互联网大厂Java求职面试：核心技术点深度解析在互联网大厂的Java岗位面试中，技术总监级别的面试官通常会从实际业务场景出发，层层深入地考察候选人的技术能力。本文通过一个严肃专业的技术总监与搞笑但有技术潜力的程序员郑薪苦之间的互动对…...

编程日记 2025/7/12 2:11:03

【Java idea配置】

IntelliJ IDEA创建类时自动生成注释 /** * program: ${PROJECT_NAME} * * since: jdk1.8 * * description: ${description} * * author: ${USER} * * create: ${YEAR}-${MONTH}-${DAY} ${HOUR}:${MINUTE} **/自动导入和自动移除无用导入 idea彩色日志不生效调试日志输出在…...

编程日记 2025/7/9 23:21:17

[GESP202503 四级] 二阶矩阵c++

题目描述小 A 有一个 n 行 m 列的矩阵 A。小 A 认为一个 22 的矩阵 D 是好的，当且仅当。其中表示矩阵 D 的第 i 行第 j 列的元素。小 A 想知道 A 中有多少个好的子矩阵。输入第一行，两个正整数 n,m。接下来 n 行，每行 m 个整数…...

编程日记 2025/7/12 16:18:07

PyQt5基本介绍

PyQt5是基于Digia公司强大图形框架Qt5的python接口，由一组python模块构成。是一个用于创建桌面应用程序的Python库，它是Qt图形用户界面工具包的Python绑定。 Qt是一个跨平台的C库，提供了一套丰富的工具和功能，用于开发图形用户界…...

编程日记 2025/6/29 8:16:27

Spring AI 实战：第十章、Spring AI RAG之博学多才

引言：从“博闻强记”到“博学多才” 在人工智能的发展历程中，大语言模型（LLM）已经展现了惊人的“博闻强记”能力——它们能写诗、编码、解答常识问题，甚至模拟人类对话。然而，当面对专业领域知识或实时更新的信息时，这些模型往往会暴露其局限性：要么“一本正经地胡说八…...

编程日记 2025/7/11 23:53:03

Runnable 组件生命周期监听器与使用场景

Runnable 生命周期监听器 1.1 监听机制演进在 LangChain 框架中，Runnable 组件提供两种监控方案： 传统模式：通过 config callbacks 参数传递回调配置增强模式：使用 with_listeners() 方法实现生命周期订阅 …...

编程日记 2025/7/12 18:47:16

五、shell脚本--函数与脚本结构：搭积木，让脚本更有条理

随着我们的脚本越来越长、越来越复杂，直接把所有命令堆在一起会变得难以阅读和维护。这时候，函数 (Function) 就派上大用场了！ 函数就像一个可以重复使用的代码块，你可以给它起个名字，然后在脚本的任何地方通过名字来…...

编程日记 2025/7/12 18:05:13

单调栈与单调队列（c艹）、可视化Qt？

单调栈和单调队列的区别在于 ChatGLM 单调栈和单调队列都是数据结构中用于处理序列问题的工具，它们在处理问题时具有不同的特性和应用场景。以下是单调栈和单调队列的主要区别： 定义： 单调栈：是一种特殊的栈，其中的元…...

编程日记 2025/7/12 21:42:11

哈夫曼树和哈夫曼编码

哈夫曼编码一般用来对字符串进行编码格式的表示。其中要克服的最大问题，莫过于就是一串由0或者1组成的编码，你无法区分哪些01组成的编码部分是属于哪些字符的，因此哈夫曼编码的出现解决了这个问题。在介绍哈夫曼编码之前，先介绍…...

编程日记 2025/7/10 4:02:34

基于 AI 的人像修复与编辑技术：CompleteMe 系统的研究与应用

概述加利福尼亚大学默塞德分校与 Adobe 的新合作在人像补全领域取得了突破性进展——人像补全是一项备受关注的任务，旨在“揭示”人像中被遮挡或隐藏的部分，可用于虚拟试穿、动画制作和照片编辑等场景。除了修复损坏的图像或根据用户意愿更改图像外&a…...

编程日记 2025/6/29 5:37:54

spring 使用FactoryBean注入bean

spring 使用FactoryBean注入bean 1、介绍通常是ApplicationContext，就是IOC容器，ApplicationContext是BeanFactory的实现类，是spring最核心的接口。用getBean来加载bean。BeanFactory相当于是IOC的基础类。而FactoryBean是另一个东西&a…...

编程日记 2025/6/29 7:18:20

AI 编程日报 · 2025 年 5 月 04 日｜GitHub Copilot Agent 模式发布，Ultralytics 优化训练效率

1、OpenAI 确认 GPT-4o“谄媚”个性更新已完全回滚 OpenAI 官方已确认，先前推送的一项旨在改进 GPT-4o 模型个性的更新已被完全撤销。该更新最初目标是提升模型的智能与个性，使其交互更直观有效，但实际效果却导致模型表现出过度“谄媚”和“…...

编程日记 2025/7/12 22:28:47

C++ STL简介：构建高效程序的基石

0. 引言在现代软件开发领域，C语言凭借其强大的性能和灵活性占据着重要地位。而C标准模板库（Standard Template Library，简称STL）作为C标准库的核心组件，更是开发者手中不可或缺的利器。它犹如一座知识宝库&#xff0…...

编程日记 2025/6/29 5:09:33

RTX-3090 Qwen3-8B Dify RAG环境搭建

一、环境配置

二、操作步骤

1、创建容器

2、下载Qwen3-8B和embedding模型

3、安装transformers

4、安装vllm

5、安装flash-attention

6、启动兼容OpenAI API的服务

1、方案一:启动vllm服务【不支持多任务】

2、方案二:Flask和PyTorch实现的Qwen3-8B和Embeddings 兼容OpenAI API的服务

相关文章：

2、下载`Qwen3-8B`和embedding模型

3、安装`transformers`

4、安装`vllm`

5、安装`flash-attention`

1、方案一:启动`vllm`服务【不支持多任务】