ubuntu20.04+RTX4060Ti大模型环境安装
装显卡驱动
这里是重点,因为我是跑深度学习的,要用CUDA,所以必须得装官方的驱动,Ubuntu的附件驱动可能不太行.
进入官网https://www.nvidia.cn/geforce/drivers/,选择类型,最新版本下载。
挨个运行,更新/安装必须的包
sudo apt-get update
sudo apt-get install g++
sudo apt-get install gcc
sudo apt-get install make
禁用自带的显卡驱动nouveau
终端运行以下命令:
sudo gedit /etc/modprobe.d/blacklist.conf
在弹出的文本文档最后写入以下两行内容:
blacklist nouveau
options nouveau modeset=0
(3)终端依次运行以下代码更新系统,并重启
sudo update-initramfs -u # 更新
sudo reboot # 重启
(4)验证禁用是否成功
lsmod | grep nouveau
若没有任何输出,则禁用成功。
(5)卸载原有驱动,这个新装系统的话可以跳过,不过跑一遍也没影响
sudo apt-get remove nvidia-*
命令行输入以下命令进入命令行界面,注意要黑屏了,不要慌
sudo telinit 3
进去之后就会弹出来login让你登录,你就先输入用户名回车,然后输入密码回车,这里输入是不会显示的,不用管,你输完回车就行
接着关闭显示服务,Ubuntu20.04的显示是gdm3,老版本Ubuntu的可能是lightdm
输入以下命令或者直接按Ctrl + Alt + F1F6中的一个(分别对应进入tty1tty6)
sudo service gdm3 stop
sudo chmod 777 NVIDIA-Linux-x86_64-550.54.14.run # 给安装文件root权限
sudo ./NVIDIA-Linux-x86_64-550.54.14.run -no-opengl-files -no-x-check -no-nouveau-check
如果你忘了下载的显卡驱动版本,你就输入 ls 查看当前目录下的文件夹,然后 cd 你之前放显卡驱动的文件夹
ls # 查看文件夹
cd /home/xxx # 进入你放驱动的文件夹
进入文件夹后你输入NVI的时候就可以按一下tab,应该会自动补全
然后就跳出来几个选项:
①选continue install
②Install NVIDIA’s 32-bit compatibility libraries? 选no
③Would you like to run the nvidia-xconfig 选no
(7)打开显示服务,然后会跳回桌面界面
输入以下命令或者直接按Ctrl + Alt + F1/F7/F8
sudo service gdm3 start
(8)验证是否安装成功
nvidia-smi
每隔1秒刷新一次显卡状态信息,可以用来监控显卡状态
watch -n 1 nvidia-smi
装conda
下载anaconda或者miniconda都可以,这里下载anaconda也没有那个可视化界面,所以推荐下载miniconda(https://docs.anaconda.com/miniconda/)比较轻量 Miniconda — Anaconda 文档
可以手动下载.sh文件,然后在文件夹鼠标右键-在终端命令打开,然后终端输入以下命令安装:
bash Miniconda3-latest-Linux-x86_64.sh
中间出现[y/n]或者[yes/no]就输入y回车,如果出现很长的用户协议就输入q跳过
这里最后一步有个问你是否init,他默认“no>>”,你直接回车就麻烦了,你要输入yes再回车
还有注意不要用sudo bash,这样会把你安装的文件夹锁住(root权限才能打开)
执行命令:
source ~/.bashrc
conda -V
然后就能看到版本输出了
py虚拟环境创建
使用国内镜像源
由于你遇到的错误可能与国际网络连接有关,如果你位于中国大陆,访问国外的 conda 仓库可能会较慢。此时你可以考虑使用 国内镜像源,这样可以显著提高访问速度和稳定性。
你可以选择 Anaconda 或 conda-forge 的国内镜像,例如清华大学镜像源。以下是将 conda 配置为使用国内镜像的步骤:
步骤 1: 配置 Anaconda 使用清华镜像
首先,打开终端,执行以下命令:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
步骤 2: 配置 conda-forge 镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
步骤 3: 检查配置
你可以通过以下命令查看当前配置的镜像源:
conda config --show channels
然后设置不自动激活base虚拟环境,执行如下命令
conda config --set auto_activate_base false
激活、关闭基础虚拟环境,如下:
conda activate base
conda deactivate
此时,anaconda安装完成。
创建虚拟环境
创建一个自定义的虚拟环境,如下:
conda create -n test_env -y python=3.8
Westlake - Omni本地部署实践
环境准备
创建新的conda环境并安装所需的软件包:
conda install pytorch2.3.0 torchvision0.18.0 torchaudio==2.3.0 -c pytorch
git clone https://github.com/xinchen-ai/Westlake-Omni.git
cd Westlake-Omni
pip install -r requirements.txt
如果pip很慢,则指定一下源:
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
然后报错
运行:
pip install --upgrade python-dateutil
2、 启动运行
1)gradio启动演示
python gradio_demo.py
打开py文件
从huggingface上把模型下载下来,放到同级文件夹下的ckpt文件夹中
2)本地cli测试
python generate.py – 用户音频数据/声音/输入.Wav – 用户文本嗯,最近心情不是很好,能聊聊吗?
python generate.py – 用户音频数据/声音/input.wav
相关文章:
ubuntu20.04+RTX4060Ti大模型环境安装
装显卡驱动 这里是重点,因为我是跑深度学习的,要用CUDA,所以必须得装官方的驱动,Ubuntu的附件驱动可能不太行. 进入官网https://www.nvidia.cn/geforce/drivers/,选择类型,最新版本下载。 挨个运行&#…...
汽车智能座舱的技术演进与用户体验重构 —— 基于多模态交互与 AI 融合的范式创新
摘要: 汽车智能座舱作为人 - 车 - 环境交互的核心载体,正经历从功能驱动到体验驱动的范式变革。本文通过技术解构与用户行为分析,深入揭示智能座舱在异构计算、多模态感知、服务生态等维度的创新路径。研究表明,智能座舱的竞争焦…...
TresJS:用Vue组件构建3D场景的新选择
在当今数字化时代,3D图形技术正以前所未有的速度发展,从游戏开发到虚拟现实(VR)、增强现实(AR),再到各种沉浸式体验,3D技术的应用场景日益丰富。TresJS作为一款基于Three.js的Web3D开…...
【鸿蒙HarmonyOS Next实战开发】实现ArkTS/JS和C/C++的交互-Node-API
一、HarmonyOS Node-API简介 在HarmonyOS应用开发中,通常以ArkTS/JS语言为主,但在一些特殊场景下,例如游戏开发、物理模拟等,由于对性能、效率等有较高要求,需要借助现有的C/C库来实现。为了满足这种需求,…...
QT笔记——多语言翻译
文章目录 1、概要2、多语言切换2.1、结果展示2.2、创建项目2.2、绘制UI2.2、生成“.st”文件2.4、生成“.qm”文件2.5、工程demo 1、概要 借助QT自带的翻译功能,实现实际应用用进行 “多语言切换” 2、多语言切换 2.1、结果展示 多语言切换 2.2、创建项目 1、文件…...
JPG、PNG、GIF有什么区别?
JPG、PNG、GIF是三种常见的数字图像格式,它们各自具有不同的特点和适用场景。以下是它们之间的主要区别以及如何进行选择: 一、JPG与PNG、GIF的区别 1. JPG(JPEG): 特点:JPG是一种有损压缩的图像格式&…...
Excel 融合 deepseek
效果展示 代码实现 Function QhBaiDuYunAIReq(question, _Optional Authorization "Bearer ", _Optional Qhurl "https://qianfan.baidubce.com/v2/chat/completions")Dim XMLHTTP As ObjectDim url As Stringurl Qhurl 这里替换为你实际的URLDim postD…...
机器学习在环境科学中的应用
机器学习在环境科学中的应用 第一节 机器学习的基本概念 什么是机器学习 机器学习是一种通过对大量数据的学习和分析,让计算机系统能够逐渐改善其性能和行为的技术。它通过建立数学模型来识别数据中的模式和规律,进而进行预测和决策。 机器学习在环境科学…...
【AIGC魔童】DeepSeek v3推理部署:vLLM/SGLang/LMDeploy
【AIGC魔童】DeepSeek v3推理部署:vLLM/SGLang/LMDeploy (1)使用vLLM推理部署DeepSeek(2)使用SGLang推理部署DeepSeek(3)使用LMDeploy推理部署DeepSeek (1)使用vLLM推理部…...
Monorepo保姆级教程
Monorepo是一种将多个项目或组件存储在一个统一的代码仓库中的策略,旨在提高代码复用性和团队协作效率。以下是一个详细的Monorepo管理多个项目的保姆级教程: 1. 初始化项目 首先,创建一个新的项目目录并初始化为Git仓库: mkdi…...
【蓝桥杯—单片机】第十一届省赛真题代码题解题笔记 | 省赛 | 真题 | 代码题 | 刷题 | 笔记
第十一届省赛真题代码部分 前言赛题代码思路笔记竞赛板配置内部振荡器频率设定键盘工作模式跳线扩展方式跳线 建立模板明确设计要求和初始状态显示功能部分数据界面第一部分第二部分第三部分调试时发现的问题 参数设置界面第一部分第二部分和第四部分第三部分和第五部分 按键功…...
hive的几种复杂数据类型
Hive的几种复杂数据类型 Hive 提供了几种复杂数据类型,能够支持更灵活和多样的数据存储。这些复杂数据类型对于处理嵌套数据或不规则数据特别有用。主要包括以下几种: 文章目录 Hive的几种复杂数据类型1. 数组(ARRAY)2. 结构体&a…...
使用 `WITH` 子句优化复杂 SQL 查询
使用 WITH 子句优化复杂 SQL 查询 在 SQL 中,处理复杂的查询需求时,代码往往会变得冗长且难以维护。为了解决这个问题,SQL 提供了 WITH 子句(也称为公用表表达式,Common Table Expression,CTE)…...
k8s网络插件及基础命令
一、k8s的cni网络插件 1.k8s的内部网络模式 pod内的容器与容器之间的通信。一个节点上的pod之间的通信,docker0网桥直接通信。不同节点上的pod之间的通信:通过物理网卡的ip地址和其他节点上的物理网卡的设备进行通信,然后把流量转发到指定的…...
组合总和II(力扣40)
这道题的难点就在于题目所给的集合中有重复的数字,我们需要进行去重操作。首先明确去重指的是去重哪一部分。注意并不是对递归的集合去重,而是对当前集合的遍历进行去重。这么说可能有点抽象,举个例子:假设集合为1,1,2,3,4&#x…...
【vue3 入门到实战】7. 标签中的 ref
目录 1. ref 的作用 2. 如何使用 1. ref 的作用 用于注册模板引用 用在普通DOM标签上,获取的是DOM节点。 用在组件标签上,获取的是组件的实例对象。 2. 如何使用 代码如下 <template><div class"app"><h2 ref"titl…...
MAC OS安装Homebrew
文章目录 1.下载Homebrew2.完成安装3.验证安装4.更新 Homebrew作为一个包管理器,提供了一种简便的方式来安装、更新和卸载各种命令行工具和应用程序。相比于手动下载和编译源代码,或者从不同的网站下载安装包,使用Homebrew可以显著减少这些操…...
数据结构之栈和队列(超详解)
文章目录 概念与结构栈队列 代码实现栈栈是否为空,取栈顶数据、栈的有效个数 队列入队列出队列队列判空,取队头、队尾数据,队列的有效个数 算法题解有效的括号用队列实现栈用栈实现队列复用 设计循环队列数组结构实现循环队列构造、销毁循环队…...
[Deepseek-自定义Ollama 安装路径+lmStudio 简易安装]
ollama 先下载 https://ollama.org.cn/download 使用 发现报错 检查路径 自己的路径! 再用 .\OllamaSetup.exe /DIRE:\MySoftware\Ollama 删除掉 多余模型 ollama delete <model_name> 例如 ollama delete deepseek-r1:1.5b 下载 ollama run deepseek-r1:1.5b…...
uniapp mqttjs 小程序开发
在UniApp中集成MQTT.js开发微信小程序时,需注意平台差异、协议兼容性及消息处理等问题。以下是关键步骤与注意事项的综合指南: 一、环境配置与依赖安装 安装MQTT.js 推荐使用兼容性较好的版本:mqtt4.1.0(H5和小程序兼容性最佳&…...
LabVIEW位移测量系统
本文介绍了一种基于LabVIEW的位移测量系统,结合先进的硬件设备与LabVIEW平台的强大功能,能够实现对位移的精确测量和高效数据处理。该系统具备高精度、实时性和良好的可扩展性,适用于工程与科学实验中对位移测量的多种需求。 项目背景 位移…...
VMware下Linux和macOS遇到的一些问题总结
1.解决.NET程序通过网盘传到Linux和macOS不能运行的问题 这是文件权限的问题。当你通过U盘将文件传输到虚拟机的macOS和Linux系统时,文件的权限和所有权可能得到了保留或正确设置。但如果你通过网盘上传,文件的权限或所有权可能没有正确设置,…...
Mac: docker安装以后报错Command not found: docker
文章目录 前言解决办法(新的)解决步骤(原来的)不推荐总结 前言 本操作参考 http://blog.csdn.net/enhenglhm/article/details/137955756 原作者,更详细请,查看详细内容请关注原作者。 一般,…...
深度学习里面的而优化函数 Adam,SGD,动量法,AdaGrad 等 | PyTorch 深度学习实战
前一篇文章,使用线性回归模型逼近目标模型 | PyTorch 深度学习实战 本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started 本篇文章内容来自于 强化学习必修课:引领人工智能新时代【梗直哥瞿炜】 深度学习里面的而优化函数 …...
C++自研3D教程OPENGL版本---动态批处理的基本实现
又开始找工作了,借机休息出去旅行两个月,顺便利用这段时间整理下以前写的东西。 以下是一个简单的动态批处理实现: #include <GL/glew.h> #include <GLFW/glfw3.h> #include <iostream> #include <vector>// 顶点结…...
如何使用deepseek开发一个翻译API
什么是deepseek Deepseek 是一个基于人工智能技术的自然语言处理平台,提供了多种语言处理能力,包括文本翻译、语义分析、情感分析等。它通过深度学习模型和大规模语料库训练,能够实现高质量的文本翻译和多语言理解。Deepseek 的核心优势在于…...
Java使用aspose实现pdf转word
Java使用aspose实现pdf转word 一、下载aspose-pdf-21.6.jar包【下载地址】,存放目录结构如图;配置pom.xml。 <!--pdf to word--> <dependency><groupId>com.aspose</groupId><artifactId>aspose-pdf</artifactId>…...
fs 文件系统模块
在 Node.js 中,fs(File System)模块提供了与文件系统进行交互的能力。无论是读取、写入还是操作文件和目录,fs 模块都提供了丰富的 API 支持。本文将详细介绍 fs 模块的基本用法、异步与同步方法的区别以及一些高级功能࿰…...
正激变换器拓扑
正激变换器拓扑是一种常见的DC-DC电源拓扑结构,以下是关于它的详细介绍: 基本组成 - 主开关:通常为MOSFET,用于控制输入电压的通断。 - 变压器:实现电压隔离和电压变换,传递能量。 - 续流二极管&#x…...
Rsyslog omhttp(HTTP输出模块)
个人博客地址:Rsyslog omhttp(HTTP输出模块) | 一张假钞的真实世界 使用Rsyslog的omhttp模块可以将收集的日志数据以HTTP请求的方式输出。该模块支持单条/批量发送数据,支持GZIP压缩,支持HTTPS。 Rsyslog默认未包含o…...
防火墙与Squid代理服务器
服务器的安装、搭建与配置准备前期 虚拟机版本:redhat Enterprise Linux Server release 7.2(Maipo)系统架构:x86虚拟机服务器地址:192.168.195.3Window地址:192.168.195.237进行ISO挂载操作进入root模式[yonghu@localhost 桌面]#su 返回上级目录文件进入media文件中,创建…...
为何实现大语言模型的高效推理以及充分释放 AI 芯片的计算能力对于企业级落地应用来说,被认为具备显著的研究价值与重要意义?
🍉 CSDN 叶庭云:https://yetingyun.blog.csdn.net/ AI 芯片:为人工智能而生的 “大脑” AI 芯片,又称人工智能加速器或计算卡,是专为加速人工智能应用,特别是深度学习任务设计的专用集成电路(A…...
【教程】docker升级镜像
转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 目录 自动升级 手动升级 无论哪种方式,最重要的是一定要通过-v参数做数据的持久化! 自动升级 使用watchtower,可…...
k8s常见面试题2
k8s常见面试题2 安全与权限RBAC配置如何保护 Kubernetes 集群的 API Server?如何管理集群中的敏感信息(如密码、密钥)?如何限制容器的权限(如使用 SecurityContext)?如何防止容器逃逸࿰…...
mysql运维
1、msyqlLinux通用二进制安装 1. MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/https://downloads.mysql.com/archives/community/https://downloads.mysql.com/archives/community/https://downloads.mysql…...
将Deepseek接入pycharm 进行AI编程
目录 专栏导读1、进入Deepseek开放平台创建 API key 2、调用 API代码 3、成功4、补充说明多轮对话 总结 专栏导读 🌸 欢迎来到Python办公自动化专栏—Python处理办公问题,解放您的双手 🏳️🌈 博客主页:请点击——…...
Redis03 - 高可用
Redis高可用 文章目录 Redis高可用一:主从复制 & 读写分离1:主从复制的作用2:主从复制原理2.1:全量复制2.2:增量复制(环形缓冲区) 3:主从复制实际演示3.1:基本流程准…...
日常知识点之面试后反思遗留问题汇总
梳理一下最近接触到的几个知识点: 1:突然问到端口复用 (SO_REUSEADDR) 端口复用一般用在服务端重启时,套接字处于time_wait状态时,无法绑定该端口,导致无法启动问题。 设置端口复用ÿ…...
软考教材重点内容 信息安全工程师 第15章 网络安全主动防御技术与应用
目录 15.1.1 人侵阻断技术原理 15.1.2 人侵阻断技术应用 15.3 网络流量清洗技术与应用 15.3.1 网络流量清洗技术原理 15.3.2 网络流量清洗技术应用 15.4 可信计算技术与应用 15.4.1 可信计算技术原理 15.5 数字水印技术与应用 15.5.1 数字水印技术原理 15.5.2 数字水…...
大模型的底层逻辑及Transformer架构
一、大模型的底层逻辑 1.数据驱动 大模型依赖海量的数据进行训练,数据的质量和数量直接影响模型的性能。通过大量的数据,模型能够学习到丰富的模式和规律,从而更好地处理各种任务。 2.深度学习架构 大模型基于深度学习技术,通常采用多层神经网络进行特征学习与抽象。其中…...
PostgreSQL-字符串函数
字符串连接 SELECT A||B; 字符串连接,适用于字符串与数字连接 SELECT CONCAT(10,a,hello,20.0); 连接所有参数,个数不限,类型不限 字母转换 SELECT LOWER(ABCD); 将字符转换成小写 SELECT UPPER(ABCD); 将字符转换成大写 SELECT IN…...
Qt修仙之路2-1 炼丹初成
widget.cpp #include "widget.h" #include<QDebug> //实现槽函数 void Widget::login1() {QString userusername_input->text();QString passpassword_input->text();//如果不勾选无法登入if(!check->isChecked()){qDebug()<<"xxx"&…...
华为的IPD模式VS敏捷项目管理模式
本文介绍了华为的IPD模式与敏捷项目管理模式的对比。文章详细阐述了两种模式的特点、适用范围及实施要点,为读者提供了全面的理解。 重点内容: 1. IPD模式强调跨部门协同,注重产品全生命周期管理,适用于复杂产品领域。 2. 敏捷…...
Ollama python交互:chat+embedding实践
Ollama简介 Ollama 是一个开源的大型语言模型(LLM)平台,旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型,支持文本生成、翻译、代码编写、问答等…...
Redis进阶
Redis持久化: 前面我们讲到mysql事务有四个比较核心的特性: 原子性:保证多个操作打包成一个。一致性:A给B100,A少一百,B必须多一百。持久性:针对事务操作必须要持久生效,不管是重启…...
【蓝桥杯嵌入式】6_定时器输入捕获
全部代码网盘自取 链接:https://pan.baidu.com/s/1PX2NCQxnADxYBQx5CsOgPA?pwd3ii2 提取码:3ii2 这是两个信号发生器,可以通过调节板上的两个电位器R39和R40调节输出频率。 将PB4、PA15选择ch1,两个信号发生器只能选择TIM3和TIM…...
C#常用集合优缺点对比
先上结论: 在C#中,链表、一维数组、字典、List<T>和ArrayList是常见的数据集合类型,它们各有优缺点,适用于不同的场景。以下是它们的比较: 1. 一维数组 (T[]) 优点: 性能高:数组在内存中…...
Python调取本地MongoDB招投标数据库,并结合Ollama部署的DeepSeek-R1-8B模型来制作招投标垂直领域模型
根据你的需求,以下是使用Python调取本地MongoDB招投标数据库,并结合Ollama部署的DeepSeek-R1-8B模型来制作招投标垂直领域模型的步骤: 安装PyMongo 首先,确保你已经安装了PyMongo库,用于Python与MongoDB的交互。如果未…...
【MySQL】深入了解索引背后的内部结构
目录 索引的认识: 作用: 索引的使用: 索引底层的数据结构: 哈希表 AVL树 红黑树 B树: B树: B树搜索: 索引的认识: 索引是数据库中的一个数据结构,用于加速查询…...
pytest-xdist 进行多进程并发测试
在自动化测试中,运行时间过长往往是令人头疼的问题。你是否遇到过执行 Pytest 测试用例时,整个测试流程缓慢得让人抓狂?别担心,pytest-xdist 正是解决这一问题的利器!它支持多进程并发执行,能够显著加快测试…...