当前位置：首页 > news >正文

普通用户的服务器连接与模型部署相关记录

news 来源：原创 2025/6/4 16:52:30

普通用户的服务器连接与模型部署相关记录

一、从登录到使用自己的conda

1.账号登陆：

ssh xxx@172.31.226.236

2.下载与安装conda：

下载conda：

wget -c https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh

安装conda：

bash Anaconda3-2023.03-1-Linux-x86_64.sh

设置环境：

vim ~/.bashrc

export PATH="/home/data5/xxx/anaconda3/bin:$PATH"

刷新环境：
source ~/.bashrc

激活自己的conda：

source /home/data5/xxx/anaconda3/bin/activate

可直接写入~/.bashrc

/home/data5/xxx/anaconda3/bin/activate

3.过程性问题

系统环境变量中显示/不显示环境名称：

conda config --add envs_dirs /home/data5/xxx/anaconda3/envsconda config --remove envs_dirs /home/adminroot/anaconda3/envs~/.condarc

envs_dirs中写入:/home/data5/xxx/anaconda3/envs

验证

出现自己的conda的版本而不是系统的conda版本即可

conda --version

实时查看gpu占用

watch -n 1 nvidia-smi

二、pychram连接服务器

pychram连接服务器：
Pycharm远程连接服务器并运行代码（详细！）_pycharm将代码同步到远程服务器-CSDN博客

Pycharm 远程开发时，使用远程服务器的终端功能_pycharm远程连接服务器怎么用终端-CSDN博客

三、window下ollama本地大模型部署

window安装ollama和docker和Open-WebUI：

在Windows上轻松部署本地大语言模型：Ollama与Open-WebUI的完整指南_ollama 安装-CSDN博客

Open-WebUI安装：

史上最简单open-webui安装方式!!!_open-webui 安装-CSDN博客

四、window下大模型部署

flash-attn要求torch版本较低

但是Qwen2要求tranformer版本较高，torch版本也较高

然后跑Qwen2模型又不得不两个都具备，所以在window上无解

五、linux下使用vllm部署大模型（request请求形式–可多卡）

1、linux安装vllm

pip install vllm

2、vllm启动Qwen2-VL-7B-Instruct

1）首先启动Qwen2-VL-7B-Instruct–CPU的

vllm serve Qwen2-VL-7B-Instruct --dtype auto --port 8000 --limit_mm_per_prompt image=4 --max_model_len 8784 --gpu_memory_utilization 0.8

或者先安装conda install -c nvidia nccl

启动Qwen2-VL-7B-Instruct-GPU的：vllm serve Qwen2-VL-7B-Instruct --dtype half --port 8000 --tensor-parallel-size 2 --pipeline-parallel-size 2 --gpu-memory-utilization 0.7 --limit_mm_per_prompt image=4 --max_model_len 8784

2）其次调用

Vllm进行Qwen2-vl部署（包含单卡多卡部署及爬虫请求）_vllm部署 qwen2-vl-CSDN博客

不能进行图片啊啊啊，似乎还是属于内存分配不够的问题

六、linux下部署大模型（非请求形式)

跑模型Qwen2-VL-7B-Instruct出现爆内存情况

1、转更小的模型Qwen2-VL-2B-Instruct+量化（flash-attn或者Auto-GPTQ）

将cuda10.2换成cuda11.8才能配flash-attn：

手动安装flash地址（实际上只能手动，自动报错解决不了）：Releases · Dao-AILab/flash-attention

自动安装flash：安装flash-attention失败的终极解决方案_building wheels for collected packages: flash-attn-CSDN博客

Linux 服务器下非root用户安装CUDA完整流程（多次踩雷经验总结）_linux cuda安装-CSDN博客

cp cudnn-linux-x86_64-8.9.7.29_cuda11-archive/include/cudnn.h /home/data5/xxx

/cuda11.8/include/

cp cudnn-linux-x86_64-8.9.7.29_cuda11-archive/lib/libcudnn* /home/data5/xxx/cuda11.8/lib64/

chmod a+r /home/data5/xxx/cuda11.8/include/cudnn*.h

chmod a+r /home/data5/xxx/cuda11.8/lib64/libcudnn*

source ~/.bashrc

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple auto-gptq

使用：Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略-CSDN博客

结果：

2B+单图：量化与否都可以

2B+双图：得量化

7B+单图：得量化

7B+双图：得量化

实现网页跑qwen2：Qwen2本地web Demo_qwen2 7b 硬件要求-CSDN博客

qwen2测试代码地址（没有考虑显存不足的情况）：MLM之Qwen：Qwen2-VL的简介、安装和使用方法、案例应用之详细攻略_qwen2-vl使用-CSDN博客

2、分卡跑

本地多卡(3090)部署通义千问Qwen-72B大模型提速实践：从龟速到够用_千问72b部署-CSDN博客

大模型笔记之-Qwen72B-chat-int4部署 |使用双卡3090成功运行_运行qwen-72b-CSDN博客

conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0  pytorch-cuda=11.8 -c pytorch -c nvidiapip install imodelsxpip install pillow requestspip install transformerspip install torch==2.4.0pip install accelerate>=0.26.0pip install flash_attn-2.6.3+cu118torch2.4cxx11abiFALSE-cp311-cp311-linux_x86_64.whlpip install qwen_vl_utilspip install --upgrade spark_ai_pythonpip install openaipip install opencv-python

普通用户的服务器连接与模型部署相关记录

普通用户的服务器连接与模型部署相关记录一、从登录到使用自己的conda 1.账号登陆： ssh xxx172.31.226.236 2.下载与安装conda： 下载conda： wget -c https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh 安装con…...

编程日记 2025/6/4 16:52:30

WebSocket解决方案的一些细节阐述

今天我们来看看WebSocket解决方案的一些细节问题： 实际上，集成WebSocket的方法都有相关的工程挑战，这可能会影响项目成本和交付期限。在最简单的层面上，构建 WebSocket 解决方案似乎是添加接收实时更新功能的前进方向。但是&…...

编程日记 2025/6/4 16:37:32

架构思维：构建高并发扣减服务_分布式无主架构

文章目录 Pre无主架构的任务简单实现分布式无主架构设计和实现扣减中的返还什么是扣减的返还返还实现原则原则一：扣减完成才能返还原则二：一次扣减可以多次返还原则三：返还的总数量要小于等于原始扣减的数量原则四：返还要保证幂等…...

编程日记 2025/6/4 16:33:34

C++函数基础：定义与调用函数，参数传递（值传递、引用传递）详解

1. 引言函数是C编程中的核心概念之一，它允许我们将代码模块化，提高代码的可读性、复用性和可维护性。本文将深入探讨： 函数的定义与调用参数传递方式（值传递 vs 引用传递）应用场景与最佳实践 2. 函数的定义与调用 …...

编程日记 2025/5/27 4:23:01

深入解析Python中的Vector2d类：从基础实现到特殊方法的应用

引言在Python面向对象编程中，特殊方法（或称魔术方法）是实现对象丰富行为的关键。本文将以Vector2d类为例，详细讲解如何通过特殊方法为自定义类添加多种表示形式和操作能力。 Vector2d类的基本行为 Vector2d类是一个二维向量类…...

编程日记 2025/6/2 13:38:32

【25软考网工】第六章（7）网络安全防护系统

博客主页：christine-rr-CSDN博客专栏主页：软考中级网络工程师笔记大家好，我是christine-rr !目前《软考中级网络工程师》专栏已经更新三十多篇文章了，每篇笔记都包含详细的知识点，希望能帮助到你&#x…...

编程日记 2025/5/19 6:20:36

Mac下载bilibili视频

安装安装 yt-dlp brew install yt-dlp安装FFmpeg 用于合并音视频流、转码等操作 brew install ffmpeg使用下载单个视频查看可用格式 yt-dlp -F --cookies-from-browser chrome "https://www.bilibili.com/video/BV15B4y1G7F3?spm_id_from333.788.recommend_more_vid…...

编程日记 2025/5/23 1:53:58

6个月Python学习计划：从入门到AI实战（前端开发者进阶指南）

作者：一名前端开发者的进阶日志计划时长：6个月每日学习时间：2小时覆盖方向：Python基础、爬虫开发、数据分析、后端开发、人工智能、深度学习 📌 目录学习目标总览每日时间分配建议第1月：Python基础与编…...

编程日记 2025/5/19 6:20:35

批量处理 Office 文档高画质提取图片、视频、音频素材助手

各位办公小能手们！你们有没有遇到过想从 Office 文档里提取图片、音频和视频，却又搞得焦头烂额的情况？今天就给大家介绍一款超厉害的工具——OfficeImagesExtractor！ 这货的核心功能那可真是杠杠的！首先是高画质提取&a…...

编程日记 2025/5/19 6:20:34

【甲方安全建设】Python 项目静态扫描工具 Bandit 安装使用详细教程

文章目录一、工具简介二、工具特点1.聚焦安全漏洞检测2.灵活的扫描配置3.多场景适配4.轻量且社区活跃三、安装步骤四、使用方法场景1：扫描单个Python文件场景2：递归扫描整个项目目录五、结果解读六、总结一、工具简介 Bandit 是由Python官方推荐的静态代码分析工具（SAST）…...

编程日记 2025/5/19 6:20:34

【推荐】新准则下对照会计报表172个会计科目解释

序号科目名称对应的会计报表项目序号科目名称对应的会计报表项目　一、资产类　　二、负债类　 1 1001 库存现金货币资金 103 2001 短期借款短期借款 2 1002 银行存款货币资金 104 2101 交易性金融负债易性金融负债 3 1012 其他货币资…...

编程日记 2025/5/19 6:19:32

IntelliJ IDEA设置编码集

在IntelliJ IDEA中设置Properties文件的编码格式，主要涉及以下步骤和注意事项： 1. ‌全局和项目编码设置‌ 打开设置界面：File -> Settings -> Editor -> File Encodings。在Global Encoding和Project Encoding下拉菜单中均选择UT…...

编程日记 2025/5/19 6:19:32

类魔方：多变组合，灵活复用

文章目录一、类的基础1. 类的基本结构与语法1. 类的定义与实例化2. 成员变量（属性）3. 构造函数（Constructor）4. 成员方法 2. 访问修饰符1. 基本访问规则2. 子类对父类方法的重写3. 构造函数的访问修饰符4. 参数属性与继承总结 3.…...

编程日记 2025/5/26 21:09:13

支持多方式拼接图片的软件

软件介绍本文介绍一款名为 PicMerger 的图片拼接软件。拼接亮点 PicMerger 这款软件最大的亮点在于，它能够将不同分辨率的图片完美地拼接在一起。拼接时会自动以分辨率最小的图片为标准，操作十分方便。拼接方式与设置该软件支持横向和纵向的拼接…...

编程日记 2025/5/27 7:50:34

Qt音视频开发过程中一个疑难杂症的解决方法/ffmpeg中采集本地音频设备无法触发超时回调

一、前言最近在做实时音视频通话的项目中，遇到一个神奇的问题，那就是用ffmpeg采集本地音频设备，当音频设备拔掉后，采集过程会卡死在av_read_frame函数中，尽管设置了超时时间，也设置了超时回调interrupt_c…...

编程日记 2025/5/31 5:52:42

Android studio Could not move temporary workspace

Android studio Could not move temporary workspace 在Window上运行AS出现Could not move temporary workspace报错方法一（有效）方法二方法三方法四总结在Window上运行AS出现Could not move temporary workspace报错 Could not move temporary workspa…...

编程日记 2025/5/29 12:56:03

深度估计中为什么需要已知相机基线(known camera baseline)？

在计算机视觉和立体视觉的上下文中，“已知相机基线”（known camera baseline）的解释 1. 相机基线的定义相机基线是指两个相机中心之间的距离。在立体视觉系统中，通常有两个相机（或一个相机在不同位置拍摄两张图像&a…...

编程日记 2025/5/29 16:43:13

Spring Cloud 技术实战

Spring Cloud 简介 Spring Cloud 是基于 Spring Boot 构建的微服务框架，提供了一套完整的微服务解决方案。它利用 Spring Boot 的开发便利性，并通过各种组件简化分布式系统的开发。核心组件 Spring Cloud Netflix Eureka: 服务注册与发现Spring Clou…...

编程日记 2025/5/29 14:00:30

《云端共生体：Flutter与AR Cloud如何改写社交交互规则》

当Flutter遇上AR Cloud，一场关于社交应用跨设备增强现实内容共享与协作的变革正在悄然发生。 Flutter是谷歌推出的一款开源UI软件开发工具包，其最大的优势在于能够实现一套代码，多平台部署，涵盖iOS、Android、Web、Windows、macO…...

编程日记 2025/5/29 11:16:21

【数据结构】1-3 算法的时间复杂度

数据结构知识点合集：数据结构与算法 • 知识点 • 时间复杂度的定义 1、算法时间复杂度事前预估算法时间开销T(n)与问题规模 n 的关系（T 表示 “time”） 2、语句频度算法中语句的执行次数对于以上算法，语句频度：…...

编程日记 2025/5/29 12:48:31

Science Robotics 封面论文：基于形态学开放式参数化的仿人灵巧手设计用于具身操作

人形机械手具有无与伦比的多功能性和精细运动技能，使其能够精确、有力和稳健地执行各种任务。在古生物学记录和动物王国中，我们看到了各种各样的替代手和驱动设计。了解形态学设计空间和由此产生的涌现行为不仅可以帮助我们理解灵巧的作用及其演变&#…...

编程日记 2025/5/29 22:13:03

Vue百日学习计划Day24-28天详细计划-Gemini版

总目标: 在 Day 24-27 熟练掌握 Vue.js 的各种模板语法，包括文本插值、属性绑定、条件渲染、列表渲染、事件处理和表单绑定，并能结合使用修饰符。所需资源: Vue 3 官方文档 (模板语法): https://cn.vuejs.org/guide/essentials/template-syntax.htmlVu…...

编程日记 2025/5/28 8:01:33

C++_数据结构_哈希表(hash)实现

✨✨ 欢迎大家来到小伞的大讲堂✨✨ 🎈🎈养成好习惯，先赞后看哦~🎈🎈 所属专栏：C学习小伞的主页：xiaosan_blog 制作不易！点个赞吧！！谢谢喵！&…...

编程日记 2025/5/29 8:55:47

elasticsearch kibana ik 各版本下载

https://release.infinilabs.com/analysis-ik/stable/或者 https://github.com/infinilabs/analysis-ik/releases...

编程日记 2025/6/1 21:26:23

Uniapp 与 Uniapp X 对比：新手上手指南及迁移到 Uniapp X 的注意事项

文章目录前言一、Uniapp 与 Uniapp X 核心区别二、Uniapp X 的核心优势三、新手学习 Uniapp X 必备技能栈3.1 基础技能要求3.2 平台相关知识3.3 工具链掌握四、从 Uniapp 迁移到 Uniapp X 的注意事项4.1 语法转换：4.2 组件替换：4.3 状态管理&#xff1…...

编程日记 2025/5/26 22:20:55

SQL性能分析

查看数据库操作频次使用SHOW GLOBAL STATUS LIKE Com_______; 指令，能查看当前数据库的INSERT、UPDATE、DELETE、SELECT访问频次。若以查询为主，需重点优化查询相关性能，如索引；若以增删改为主，可考虑事务处理、批量…...

编程日记 2025/5/28 16:39:18

CANoe测试应用案例之A2L

写在前面本系列文章主要讲解CANoe测试应用案例之A2L的相关知识，希望能帮助更多的同学认识和了解CANoe测试。若有相关问题，欢迎评论沟通，共同进步。(*^▽^*) CANoe Option AMD/XCP支持加载A2L到CANoe中，方便ECU内部变量在功能验…...

编程日记 2025/5/29 11:05:14

H2数据库源码学习+debug, 数据库 sql、数据库引擎、数据库存储从此不再神秘

一、源码结构概览 H2源码采用标准Maven结构，核心模块在src/main/org/h2目录下： ├── command/ # SQL解析与执行 ├── engine/ # 数据库引擎核心（会话、事务） ├── table/ # 表结构定义与操作 ├── index/ # 索引实现&am…...

编程日记 2025/5/25 22:47:00

PopSQL：一个支持团队协作的SQL开发工具

PopSQL 是一款专为团队协作设计的现代化 SQL 编辑器，通过通团队过协作编写 SQL 查询、交互式可视化以及共享结果提升数据分析和管理效率。 PopSQL 提供了基于 Web 的在线平台以及跨系统（Windows、macOS、Linux）的桌面应用，包括免费…...

编程日记 2025/5/29 12:52:37

tomcat查看状态页及调优信息

准备工作先准备一台已经安装好tomcat的虚拟机，tomcat默认是状态页是默认被禁用的 1.添加授权用户 vim /usr/local/tomcat/conf/tomcat-users.xml22 <role rolename"manager-gui"/>23 <user username"admin" password"tomcat&q…...

编程日记 2025/5/29 15:32:52

贝塞尔曲线原理

文章目录一、低阶贝塞尔曲线1.一阶贝塞尔曲线2. 二阶贝塞尔曲线3. 三阶贝塞尔曲线一、低阶贝塞尔曲线 1.一阶贝塞尔曲线如下图所示， P 0 P_0 P0, P 1 P_1 P1 是平面中的两点，则 B ( t ) B ( t ) B(t) 代表平面中的一段线段。…...

编程日记 2025/5/26 14:49:23

【MYSQL】笔记

编程日记 2025/6/2 7:32:28

构建 TypoView：一个富文本样式预览工具的全流程记录

我正在参加CodeBuddy「首席试玩官」内容创作大赛，本文所使用的 CodeBuddy 免费下载链接：腾讯云代码助手 CodeBuddy - AI 时代的智能编程伙伴在一次和 CodeBuddy 的日常交流中，我提出了一个构想：能不能帮我从零构建一个富文本样式…...

编程日记 2025/6/2 6:21:59

使用conda创建python虚拟环境，并自定义路径

创建虚拟环境 conda create --prefixE:/ai-tools/Luoxuejiao/envs/Luo24 python3.8 此时虚拟环境没有名字，只有路径，下面将名字添加到配置中： conda config --append envs_dirs E:/ai-tools/Luoxuejiao/envs/...

编程日记 2025/6/2 7:44:40

【自然语言处理与大模型】向量数据库技术

向量数据库，是专门为向量检索设计的中间件！ 高效存储、快速检索和管理高纬度向量数据的系统称为向量数据库一、向量数据库是什么有什么用？ 向量数据库是一种专门用于高效存储和检索高维向量数据的系统。它通过嵌入模型将各类非结构化数据&am…...

编程日记 2025/6/2 7:16:45

Java中的伪共享（False Sharing）：隐藏的性能杀手与高并发优化实战

引言在高性能Java应用中，开发者通常会关注锁竞争、GC频率等显性问题，但一个更隐蔽的陷阱——伪共享（False Sharing）——却可能让精心设计的并发代码性能骤降50%以上。伪共享是由CPU缓存架构引发的底层问题，常见于多…...

编程日记 2025/6/2 7:25:26

【数据结构】2-3-3单链表的查找

数据结构知识点合集知识点单链表的按位查找 GetElem(L,i)：按位查找操作。获取表L中第i个位置的元素的值。 /*查找L中的第i个节点并返回*/ LNode *GetElm(LinkList L,int i) { /*位置不合法返回NULL*/ if(i<0) return NULL; /*p指向当前节…...

编程日记 2025/6/2 7:47:32

从0开始学linux韦东山教程第四章问题小结（1）

本人从0开始学习linux，使用的是韦东山的教程，在跟着课程学习的情况下的所遇到的问题的总结,理论虽枯燥但是是基础。说实在的越看视频越感觉他讲的有点乱后续将以他的新版PDF手册为中心，视频作为辅助理解的工具。参考手册为嵌入式Linux应用开发…...

编程日记 2025/6/2 6:48:33

TYUT-企业级开发教程-第三章

JAVAWEB的三大组件在 Spring Boot 项目中，会自动将 Spring 容器中的 Servlet 、 Filter 、 Listener 实例注册为 Web 服务器中对应的组件。因此，可以将自定义的 Java Web 三大组件作为 Bean 添加到 Spring 容器中，以实现组件的注册。使用 S…...

编程日记 2025/6/2 7:54:05

【数据结构】2-3-2 单链表的插入删除

数据结构知识点合集知识点按位序插入带头节点链表 ListInsert(&L,i,e)：插入操作。在表L中的第i个位置上插入指定元素e；找到第 i-1 个结点，将新结点插入其后。 /*在带头节点的单链表L的第i个位置插入元素e*/ bool ListInsert(LinkList …...

编程日记 2025/6/2 7:49:20

spark-配置yarn模式

1.上传并解压spark-3.1.1-bin-hadoop3.2.tgz （/opt/software) 解压的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module (cd /opt/software 进入software） 2.重命名解压之后的目录为spark-yarn（原为spark-3.1.1-…...

编程日记 2025/6/2 6:32:43

鸿蒙系统电脑：开启智能办公新时代

鸿蒙系统电脑：开启智能办公新时代引言 2025 年 5 月 8 日，华为正式推出了鸿蒙系统电脑，这款具有里程碑意义的产品，不仅彰显了华为在智能设备领域的创新实力，也为用户带来了全新的智能办公体验。在数字化转型加速的背…...

编程日记 2025/6/2 7:02:48

Ubuntu---omg又出bug了

自用遇到问题的合集 250518——桌面文件突然消失 ANS：参考博文...

编程日记 2025/6/2 7:30:06

COCO数据集神经网络性能现状2025.5.18

根据当前搜索结果，截至2025年5月，COCO数据集上性能最佳的神经网络模型及其关键参数如下： 1. D-FINE（中科大团队） 性能参数： 在COCO数据集上以78 FPS的速度实现了59.3%的平均精度（AP&#xff0…...

编程日记 2025/6/2 7:43:00

elementplus menu 设置 activeindex

<el-menu:default-active"defaultActive"> 更改当前激活的 index 可以绑定:default-active"defaultActive" 改变 defaultActive 值即会改变 index 但不会改变路径 watch(() > route.fullPath,(newPath: string) > {defaultActive.value…...

编程日记 2025/6/2 7:52:11

张心理问题的分类以及解决流程

心理问题的分类以及解决流程目录心理问题的分类以及解决流程心理问题的分类**一、心理问题的分类与层次****1. 一般心理问题****2. 严重心理问题****3. 神经症性心理问题（神经症）****4. 精神障碍**轻度问题以心理咨询==判断：时间(3个月，1年，大于1年=神经质)，社会功能（…...

编程日记 2025/6/2 7:13:40