Ubuntu 22 Linux上部署DeepSeek R1保姆式操作详解（Xinference方式）
一、安装步骤
1.基础环境安装
安装显卡驱动、cuda，根据自己硬件情况查找相应编号，本篇不介绍这部分内容，只给出参考指令，详情请读者自行查阅互联网其它参考资料。
sudo apt install nvidia-utils-565-server
sudo apt install nvidia-cuda-toolkit
因机器上有其它使用python环境的应用，故使用conda来管理python环境。
（1）安装conda管理器
更新软件包
sudo apt update
sudo apt upgrade
安装基本依赖
sudo apt install wget curl bzip2 ca-certificates
下载Anaconda安装脚本
wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh
运行安装脚本，按提示一路执行下去，中间需要输入yes并确认
bash Anaconda3-2023.03-1-Linux-x86_64.sh
初始化Anaconda，执行下面指令，或者关闭命令窗口后重新开启一个窗口。
source ~/.bashrc
验证安装结果
conda env list
（2）创建xinference所需的虚拟环境并激活它
conda create -n Xinference python=3.10.15
conda activate Xinference
（3）安装chatglm-cpp
https://github.com/li-plus/chatglm.cpp/releases
切换到刚下载的文件所在目录，运行指令：
pip install chatglm_cpp-0.4.2-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
2.安装Xinfernece
pip install xinference[all]
xinference有好几种支持的种类，如gpu/cpu/transformers/vllm/metal，用all参数代表全部安装，这样以后不管接入哪种类型的大模型都不需要再次安装了。
3.检验环境是否安装成功
检验pytorch是否支持gpu，运行python指令
import torch
print(torch.__version__)
print(torch.cuda.is_available())
如果报错，运行下面指令安装支持gpu的依赖包。（根据自己显卡配置确定cuda版本号，ubuntu系统正常在安装xinference过程中已经安装了以下依赖包）
pip install torch==2.6.0+cu128 torchvision==0.21.0+cu128 torchaudio==2.6.0+cu128 --index-url https://download.pytorch.org/whl/cu128
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu128
安装后验证是否成功：
二、启动Xinference
xinference-local --host 0.0.0.0 --port 9999
windows下只能使用127.0.0.1或者局域网中的本机ip地址，linux可以使用0.0.0.0包含127.0.0.1和局域网中的本机ip地址，这样就可以在企业内共享了，同时也能使用127.0.0.1访问。
运行成功后界面如下
三、配置注册模型文件
1.下载模型文件
到https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
如果不能科学上网，打不开上面网址，也可以到国内阿里的开源网站下载：
https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/files
红色框内的文件全部下载，保存到同一个目录中，根据硬件配置选择不同的模型文件，这里我是演示，所以选择1.5B，一般企业内做知识库，建议至少选择32B，显存32GB以上，我试过32GB跑32B的模型很吃力，响应很慢。
2.注册模型文件
上图中的路径要换成linux的目录格式，如/home/qkm/deepseekR1/1-5B，因为截图忘保存了，用windows模式下的截图替换了一下。
3.启动模型文件
四、体验与模型对话
点击下图箭头处，可以启动与大模型的聊天
使用conda创建的虚拟环境和安装的依赖包，往同类操作系统复制时，只要直接拷贝过去即可，基本可以与docker的跨系统部署相媲美了。
相关文章：
Ubuntu 22 Linux上部署DeepSeek R1保姆式操作详解（Xinference方式）
一、安装步骤 1.基础环境安装 安装显卡驱动、cuda，根据自己硬件情况查找相应编号，本篇不介绍这部分内容，只给出参考指令，详情请读者自行查阅互联网其它参考资料。 sudo apt install nvidia-utils-565-server sudo apt install…...
C语言查漏补缺:占位符篇
占位符篇 1. 整数类型2. 字符类型3. 浮点数类型4. 指针类型5. 字符串6. 修饰符 1. 整数类型 %d / %i：用于 int（有符号十进制整数）。int num -42; printf("%d", num); // 输出: -42%u：用于 unsigned int（无…...
springcloud现常用的组件都有哪些，如何使用
Spring Cloud是一个用于构建分布式系统的开源框架，它提供了多个常用的组件来简化分布式系统的开发和部署。以下是Spring Cloud中常用的一些组件： Spring Cloud Config：用于集中式管理配置，并提供配置的动态刷新功能。Spring Clou…...
Vue3响应式引擎解密：从依赖追踪到性能调优的深度之旅
一、响应式内核架构演进 1.1 响应式范式升级 1.2 新旧架构性能对比 操作类型Vue2(ms)Vue3(ms)提升幅度深对象初始化8502203.86x数组操作响应120186.67x嵌套属性访问340655.23x批量更新响应210326.56x 二、依赖追踪机制剖析 2.1 依赖收集实战案例 // 数据模型const state r…...
主流程发起，去除子流程的时长计算问题
问题： 有三个流程，流程1.2.3，流程2.3是流程1的子流程，若在流程1的过程中发起流程2.3，计算流程1的时长要排除流程2.3的时间，流程2.3之间可能是包含、交集、无交集三种。 实现 代码： import jav…...
Java 8 到 Java 21 系列之 新日期时间API：精确的时间管理（Java 8）
Java 8 到 Java 21 系列之 新日期时间API：精确的时间管理（Java 8） 系列目录 Java8 到 Java21 系列之 Lambda 表达式：函数式编程的开端（Java 8）Java 8 到 Java 21 系列之 Stream API：数据处理的…...
【LeetCode】在每个树行中找最大值（DFS 深度优先搜索）
📌题目链接：LeetCode 515. 在每个树行中找最大值 题目描述 给定一棵二叉树的根节点 root，请找出该二叉树中每一层的最大值。 示例 示例 1 输入: root [1,3,2,5,3,null,9] 输出: [1,3,9]示例 2 输入: root [1,2,3] 输出: [1,3]思路分析 …...
深度学习中模型量化那些事
在深度学习中模型量化可以分为3块知识点，数据类型、常规模型量化与大模型量化。本文主要是对这3块知识点进行浅要的介绍。其中数据类型是模型量化的基本点。常规模型量化是指对普通小模型的量化实现，通常止步于int8的量化，绝大部分推理引擎都…...
手写JSX实现虚拟DOM
🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》、《前端求职突破计划》 🍚 蓝桥云课签约作者、…...
Redis的Spring客户端的使用
Redis 的 Spring 客户端使用 前面使用 Jedis 时, 是借助 Jedis 对象中的各种方法来对 Redis 进行操作. 而在 Spring 框架中, 则是通过 StringRedisTemplate 来操作 Redis. 最开始提供的类是 RedisTemplate, StringRedisTemplate 是 RedisTemplate 的子类, 专门用于处理文本数据…...
7.4 SVD 的几何背景
一、SVD 的几何解释 SVD 将矩阵分解成三个矩阵的乘积： ( 正交矩阵 ) ( 对角矩阵 ) ( 正交矩阵 ) (\pmb{正交矩阵})\times(\pmb{对角矩阵})(\pmb{正交矩阵}) (正交矩阵)(对角矩阵)(正交矩阵)，用几何语言表述其几何背景： ( 旋转 ) ( 伸缩 )…...
WEB安全--内网渗透--LMNTLM基础
一、前言 LM Hash和NTLM Hash是Windows系统中的两种加密算法，不过LM Hash加密算法存在缺陷，在Windows Vista 和 Windows Server 2008开始，默认情况下只存储NTLM Hash，LM Hash将不再存在。所以我们会着重分析NTLM Hash。 在我们内…...
BN 层做预测的时候, 方差均值怎么算
✅ 一、Batch Normalization（BN）回顾 BN 层在训练和推理阶段的行为是不一样的，核心区别就在于： 训练时用 mini-batch 里的均值方差，预测时用全局的“滑动平均”均值方差。 🧪 二、训练阶段（Trai…...
【AI热点】meta新发布llama4深度洞察（快速认知）
以下是一份针对新发布的 Llama 4 模型的深度洞察报告。报告将从模型家族整体概览、技术创新与架构特点、功能与性能表现、多模态与超长上下文、与主流竞品比较、应用场景与未来展望六大部分进行分析和总结。 一、Llama 4 家族整体概览 家族成员 Llama 4 Scout 总参数量约 10…...
大厂机考——各算法与数据结构详解
目录及其索引 哈希双指针滑动窗口子串普通数组矩阵链表二叉树图论回溯二分查找栈堆贪心算法动态规划多维动态规划学科领域与联系总结 哈希 学科领域：计算机科学、密码学、数据结构 定义：通过哈希函数将任意长度的输入映射为固定长度…...
前端面试的ACM模式笔试输入模式
在前端面试的ACM模式笔试中，输入参数的读取是核心技能之一，以下是常见场景的代码实现及注意事项： 一、JavaScript的两种输入模式 1. V8模式（浏览器环境/部分OJ平台） • 核心方法：通过 read_line() 或 rea…...
AIP-215 API特定proto
编号215原文链接AIP-215: API-specific protos状态批准创建日期2018-10-01更新日期2018-10-01 API通常使用API特定proto定义，偶尔依赖通用组件。保持API相互隔离可以避免版本问题和客户端库打包问题。 指南 所有特定于某个API的protos 必须 位于带有主版本号的包…...
计算机毕业设计指南
哈喽各位大四的小伙伴们，以下是一份详细的计算机专业毕业设计指南，涵盖选题、流程、技术选型、开发建议和常见问题解决方案，帮助你高效完成毕业设计，如有其他问题，欢迎点击文章末尾名片进行咨询，可免费赠送…...
内网渗透-Linux提权之suid提权
Linux提权之suid提权 suid简介 在Linux系统中的文件，通常有rwx也就是读、写、执行三种权限，但其实还有第四种权限，也就是suid权限。在执行拥有suid权限的文件的过程中，会获得文件属主的权限。例如，当cat命令具有suid…...
FreeCAD傻瓜教程-钣金工作台SheetMetal的安装和简单使用
起因： 因为需要在平面上固定一段比较短的铝型材，角码太占用横向空间，所以想做两个Z字固定片，将型材从两端进行螺丝固定。在绘图的时候想到，板材折弯后的长度。开孔位置等都会有所变化，如何确定相关的尺寸&a…...
)
语法: ptr=malloc(size)
MALLOC( ) 语法: ptrmalloc(size) 参数: size是一个整数,表示被分配的字节个数; 返回值: 如果允许的话,返回值是一个指向被分配存储器的指针;否则的话, 返回值是一个非指针; 功能: 该函数用来分配一定大小的空间给一个对象,其大小为size,但该空间的值为不确定值; 有…...
（五）安卓开发中的滚动布局（ScrollView / HorizontalScrollView）使用详解
在安卓开发中，滚动布局是一种非常重要的布局方式，它允许用户在屏幕上滚动查看超出屏幕范围的内容。本文将详细讲解滚动布局的基本概念、主要属性、代码示例以及具体的使用场景，帮助开发者深入理解并灵活运用。 基本概念 滚动布局本质上是一个…...
Matlab:三维绘图
目录 1.三维曲线绘图命令：plot3 实例——绘制空间直线 实例——绘制三角曲线 2.三维曲线绘图命令：explot3 3.三维网格命令：mesh 实例——绘制网格面 实例——绘制山峰曲面 实例——绘制函数曲线 1.三维曲线绘图命令：plot3 …...
Java中String、Array、List的相互转换工具类
Java中的数组与集合类的使用，系列文章： 《Java数组》 《Java集合类》 《Java中String、Array、List的相互转换工具类》 《Java8使用Stream流实现List列表的查询、统计、排序、分组》 《Java实现List集合的排序：Comparable接口、Comparator接口、stream().sorted()方法的使用…...
【HFP】蓝牙HFP应用层核心技术研究
免提配置文件（Hands-Free Profile, HFP）作为实现设备间音频通信的关键协议，广泛应用于车载系统、蓝牙耳机等场景。本文将基于最新技术规范，深入剖析HFP应用层的功能要求、协议映射及编解码器支持，为蓝牙开发工程师提供详尽的技术指南。 一、HFP应用层功能全景图 HFP定义…...
)
P1734 最大约数和(dp)
题目描述 选取和不超过 S 的若干个不同的正整数，使得所有数的约数（不含它本身）之和最大。 输入格式 输入一个正整数 S。 输出格式 输出最大的约数之和。 输入输出样例 输入 #1复制 11 输出 #1复制 9 说明/提示 【样例说明】 取数…...
P1596 [USACO10OCT] Lake Counting S（DFS）
题意翻译 由于近期的降雨，雨水汇集在农民约翰的田地不同的地方。我们用一个 NM(1≤N≤100,1≤M≤100) 的网格图表示。每个网格中有水（W） 或是旱地（.）。一个网格与其周围的八个网格相连，而一组相连的网格视…...
ROS Bag 数据裁剪教程
ROS Bag 数据裁剪教程 文章目录 ROS Bag 数据裁剪教程1. Bag 数据显示2. Bag 数据裁剪2.1 基本命令2.2 过滤更多条件2.3 注意事项 在使用 ROS 进行机器人开发和调试时，我们经常需要使用 rosbag 工具来记录和回放传感器数据、日志等信息。本文将介绍如何使用 rosba…...
AF3 OpenFoldDataLoader类解读
AlphaFold3 data_modules 模块的 OpenFoldDataLoader 类继承自 PyTorch 的 torch.utils.data.DataLoader。该类主要对原始 DataLoader 做了批数据增强与控制循环迭代次数（recycling）相关的处理。 源代码： class OpenFoldDataLoader(torch.utils.data.DataLoader):def __in…...
)
基于内容的课程推荐网站的设计与实现00(SSM+htmlL)
基于内容的课程推荐网站的设计与实现(SSMhtml) 该系统是一个基于内容的课程推荐网站，旨在为用户提供个性化的课程推荐。系统包含多个模块，如教学视频、教学案例、课程信息、系统公告、个人中心和后台管理。用户可以通过首页访问不同的课程分类ÿ…...
【Linux网络】以太网（数据链路层）
认识以太网 两台主机在同一个局域网下是可以进行通信的,因为每台主机都有自己的标识符. 太网是负责直接相连的两个设备之间的可靠数据传输,"以太网" 不是一种具体的网络, 而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容.在局域网中&#x…...
大模型学习五：DeepSeek Janus-Pro-7B 多模态半精度本地部署指南：环境是腾讯cloudstudio高性能GPU 16G免费算力
一、说明介绍 由于前面玩过了，所以啥也别说，就是显存不够玩，要优化，没钱就是这么回事，看下图，显存实际只有15360M，确实是16G 如何获取算力 二、如何获取算力 1、进入网址 Cloud Studio 2、没有…...
Spring 中的事务
🧾 一、什么是事务？ 🧠 通俗理解： 事务 一组操作，要么全部成功，要么全部失败，不能只做一半。 比如你转账： A 账户扣钱B 账户加钱 如果 A 扣了钱但 B 没收到，那就出问…...
2025-04-06 NO.2 Quest3 基础配置与打包
文章目录 1 场景配置1.1 开启手势支持1.2 创建 OVRCameraRig1.3 创建可交互 Cube 2 打包配置 环境： Windows 11Unity6000.0.42f1 Quest3 开发环境配置见 2025-03-17 NO.1 Quest3 开发环境配置教程_quest3 unity 开发流程-CSDN博客。 1 场景配置 1.1 开启手势支持 …...
人脸考勤管理一体化系统（人脸识别系统，签到打卡）
人脸考勤管理一体化系统 项目介绍 本项目是基于Flask、SQLAlchemy、face_recognition库的人脸考勤管理一体化系统。 系统通过人脸识别技术实现员工考勤打卡、人脸信息采集、人脸模型训练等功能。 项目采用前后端分离的技术框架，基于Flask轻量级Web框架搭建后端服务…...
LeetCode 每日一题 2025/3/31-2025/4/6
记录了初步解题思路 以及本地实现代码；并不一定为最优 也希望大家能一起探讨 一起进步 目录 3/31 2278. 字母在字符串中的百分比4/1 2140. 解决智力问题4/2 2873. 有序三元组中的最大值 I4/3 2874. 有序三元组中的最大值 II4/4 1123. 最深叶节点的最近公共祖先4/5 1…...
mybatis plus 实体类基于视图，更新单表的时候报视图或函数‘v_视图名‘不可更新，因为修改会影响多个基表的错误的简单处理方法。
1、之前的文章中写了一下基于视图的实体，因为当前测试通过了，可能有缓存。 2、然后今天又用到了这个方法，发现报错了： 建了一下视图，将实体类绑定到了视图中，并不是原表中。 3、用mybatis提供的注解或者x…...
；)
语法: i8=make8( var, offset)；
MAKE8( ) 语法: i8make8( var, offset); 参数: var是16位或32位整数; offset是字节的偏移量,为1,2或3; 返回值: 返回值是一个8位整数; 功能: 该函数用来摘取以var为基址, offset为偏移量,所指向单元的字节;除了执行单字节复制之外,还相当于i8( ( var>>(offset…...
Seata TCC模式是怎么实现的？
Seata TCC 模式实现原理 TCC（Try-Confirm-Cancel）是 Seata 提供的分布式事务解决方案之一，适用于 高并发、高性能 场景，通过 业务补偿 保证最终一致性。其核心思想是将事务拆分为三个阶段： Try：预留资源（冻结数据，检查约束）。Confirm：确认提交（真正扣减资源）。Can…...
sentinel新手入门安装和限流,热点的使用
1 sentinel入门 1.1下载sentinel控制台 🔗sentinel管理后台官方下载地址 下载完毕以后就会得到一个jar包 1.2启动sentinel 将jar包放到任意非中文目录，执行命令： java -jar 名字.jar如果要修改Sentinel的默认端口、账户、密码ÿ…...
对责任链模式的理解
对责任链模式的理解 一、场景1、题目【[来源](https://kamacoder.com/problempage.php?pid1100)】1.1 题目描述1.2 输入描述1.3 输出描述1.4 输入示例1.5 输出示例 二、不采用责任链模式1、代码2、缺点 三、采用责任链模式1、代码2、优点 四、思考 一、场景 1、题目【来源】 …...
AGI大模型（11）：RAG系统
1 RAG概念 RAG（Retrieval Augmented Generation）顾名思义，通过检索外部数据，增强大模型的生成效果。 RAG即检索增强生成，为LLM提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG基本上是Search + LLM 提示，可以通过大模型回答查询，并将搜索算法所找到的信…...
请问你了解什么测试方法？
测试方法在软件测试中是保障软件质量的关键手段，我将从黑盒测试、白盒测试、灰盒测试等方面为你介绍常见的测试方法： 黑盒测试方法 黑盒测试把软件看作一个黑盒子，不考虑内部结构和实现细节，只关注输入和输出。 等价类划分法：将输入数据划分为有效等价类和无效等价类，从…...
【springcloud】快速搭建一套分布式服务springcloudalibaba（三）
第三篇 基于nacos搭建分布式项目 分布式事务（分布式锁事务） 项目所需 maven nacos java8 idea git mysql(下单) redis(分布式锁) 本文主要讲解客户下单时扣减库存的操作，网关系统/用户系统/商品系统/订单系统 请先准备好环境࿰…...
Nginx-keepalived-高可用
Nginx 高可用 通常 借助 Keepalived 实现， Keepalived 能通过 VRRP （虚拟路由冗余协议）让多个 Nginx 服务器 组成一个 热备集群，当主服务器故障时自动切换到备用服务器，保障服务不间断。 一、环境准备 角色IP 地址主…...
Linux系统管理（十九）——欧拉系统硬盘挂载、网络配置以及Docker环境安装
挂载硬盘 如果数据盘在安装操作系统的时候没有挂载，需要自己做一下硬盘的挂载 查看需要挂载硬盘的路径 fdisk -l这里的可挂载的硬盘路径为：/dev/sdb MBR分区方式转换成GPT MBR分区能挂载的硬盘空间有限，无法挂载全部硬盘空间࿰…...
vue记忆卡牌游戏
说明： 我希望用vue做一款记忆卡牌游戏 游戏规则如下： 游戏设置：使用3x4的网格，包含3对字母（A,B,C,D,E,F）。 随机洗牌：初始字母对被打乱顺序，生成随机布局。 游戏流程：…...
LearnOpenGL-笔记-其九
今天让我们完结高级OpenGL的部分： Instancing 很多时候，在场景中包含有大量实例的时候，光是调用GPU的绘制函数这个过程都会带来非常大的开销，因此我们需要想办法在每一次调用GPU的绘制函数时尽可能多地绘制，这个过程就…...
开源软件与自由软件：一场理念与实践的交锋
在科技的世界里，“开源软件”和“自由软件”这两个词几乎无人不知。很多人或许都听说过，它们的代码是公开的，可以供所有人查看、修改和使用。然而，若要细究它们之间的区别，恐怕不少朋友会觉得云里雾里。今天࿰…...
关于使用HAL_ADC_Start函数时为什么要放在while里的解释
HAL_ADC_Start() 是一个用于启动 ADC（模数转换器）转换的函数，那为什么有时候我们会看到它被放在 while 循环里呢？其实取决于你使用的是哪种ADC采样方式，我们来细说👇： 🧠 一、先搞清…...