当前位置：首页 > news >正文

大模型实践：图文解锁Ollama在个人笔记本上部署llm

news 来源：原创 2025/8/25 18:22:19

在这里插入图片描述

使用在线模型服务时，我们常常需要支付API调用费用，这对于个人开发者或小型组织来说可能是一笔不小的开支。那么，有没有方法可以在本地免费使用这些强大的模型呢？答案是肯定的——Ollama就是这样一个工具。
当然如果是比较大的组织或大模型推荐使用vLLM部署,强烈推荐您看（占坑，后续填上）

本文将介绍Ollama并且带您一步步在个人PC上部署一个自己的LLM。
笔者的电脑是windows，无GPU。
将带您部署（若您计算机性能比较高，只需要参考文中模型与配置关系，更改更大模型即可）

Gemma 2B版本：约1.7GB

什么是Ollama？

Ollama是一个开源的大语言模型管理平台，它允许用户在本地机器上部署、管理和使用各种开源语言模型。

Ollama最出色的优点如下：

将开源模型（如DeepSeek、Llama等）下载并部署到本地。从而让公司实现私有化+免费部署LLM。
性能强大:充分利用本地资源，既可以使用GPU也可以使用CPU。如果没有Ollama，我们需要自己配置GPU环境如cuda等等，与传统的模型部署相比，Ollama大大简化了GPU环境配置的复杂性，降低了使用门槛。
跨平台支持：Ollama 支持 macOs、Windows、Linux 以及 Docker多种操作系统环境下顺利部署和使用。无论你使用什么系统，都可以轻松部署和使用Ollama。

Ollama的下载与安装

在官网下载即可，本文以windows为例。
最好确保您的计算机C盘有10G+磁盘空间，因为后文下的大模型都会比较大。
在这里插入图片描述

以Windows为例，Ollama的安装过程非常简单，笔者安装中也没有遇到任何问题：

双击下载的EXE安装包
在弹出的安装界面中点击"Install"按钮
等待安装完成（通常只需几分钟）

本机部署问答模型

Ollama支持多种流行的开源大语言模型，您可以通过访问Ollama官网的Models页面浏览所有可用模型。
在这里插入图片描述
浏览Ollama模型库时，您会注意到每个模型都有不同的版本，如7B、13B、33B等。这里的"B"表示"Billion"（十亿），所以7B表示70亿参数，13B表示130亿参数，依此类推。

根据Ollama官方的建议，不同参数量的模型对系统资源（特别是内存）有以下最低要求：

模型参数量	最低内存需求
7B	8GB RAM
13B	16GB RAM
33B	32GB RAM
70B	128GB RAM

需要特别注意的是，虽然一些特别大的模型（如400GB+）可以下载到本地，但您的设备可能没有足够的GPU或CPU资源来流畅运行它们。

对于普通个人电脑用户，建议选择10GB以下大小的模型以保证运行流畅。

语言类模型推荐

Gemma - Google开发的开源模型，性能优秀，资源需求适中
DeepSeek - 中国开发的强大语言模型，各方面表现均衡
Qwen（千问） - 阿里巴巴开发的模型，中文能力出色

视觉类模型推荐

LLaVA - 专为图像识别和理解训练的模型，能够分析和描述图片内容
MiniCPM-V - 轻量级但功能强大的视觉模型，支持图像理解和生成

实操过程

安装完Ollama后，我们首先需要下载模型才能开始使用。本文我们以Google开发的Gemma 2b模型为例。在官网查询gemma模型，输入后可以看到以下界面。红色方框的是命令行下下载gemma的命令ollama run gemma:2b。同时也可以看到这个模型大概会占用1.7GB磁盘
在这里插入图片描述
CMD中安装，下载完成后会直接启动该模型，我问了个给我讲个笑话:

常见命令

ollama list 列出所有已安装的模型
ollama pull [模型名称] 下载模型但不运行
ollama run [模型名称] 运行模型(首次会自动下载)
/clear 清除当前对话上下文，保持模型运行
Ctrl+D 退出当前模型

Ollama进阶：自定义模型创建与参数调优指南

在Ollama中，自定义模型是指基于已有的开源模型，通过调整其参数和行为特征来创建一个新模型。这个过程不涉及真正的模型训练或微调，而是通过配置文件来改变模型的输出特性和交互方式。

步骤一：创建Modelfile配置文件

首先，我们需要创建一个名为Modelfile的文本文件，在这个文件中定义模型的基础信息和参数。这个文件的基本结构如下：

FROM [基础模型名称]
PARAMETER [参数名] [参数值]
SYSTEM [系统提示词]

例如，我们的Modelfile是这样的：

FROM gemma:2b
PARAMETER temperature 0.8
SYSTEM 你是一名叫做小智的助手，专长领域是文学和历史相关内容，喜欢使用生动有趣的方式与用户交谈。

这个配置包含三个主要部分：

FROM：指定基础模型，这里我们选择了本机已装好的gemma:2b模型
PARAMETER：设置模型参数，这里将temperature（温度）设为0.9
SYSTEM：定义系统提示词，告诉模型它的角色和行为特点

步骤二：保存Modelfile文件

将创建好的Modelfile保存到本地磁盘，例如保存到C盘根目录。需要注意的是，这个文件不需要任何扩展名，就是纯文本的Modelfile。

这里笔者是保存在C:\Users\86199\AppData\Local\Ollama中的
在这里插入图片描述

步骤三：使用Ollama创建命令

使用以下命令创建自定义模型：

ollama create [自定义模型名称] -f [Modelfile路径]

例如：

ollama create mymodel -f C:\Users\86199\AppData\Local\Ollama\Modelfile

执行该命令后，Ollama会读取Modelfile中的配置，基于指定的基础模型创建一个新的自定义模型。成功后，会显示"success"提示。

若您想明确模型是否创建成功，使用ollama list命令查看本地模型列表，确认自定义模型已成功创建。新创建的模型会以指定的名称出现在列表中。
在这里插入图片描述

步骤四：使用自定义模型

创建完成后，可以像使用其他模型一样运行自定义模型：

ollama run mymodel

在这里插入图片描述

大模型实践：图文解锁Ollama在个人笔记本上部署llm

使用在线模型服务时，我们常常需要支付API调用费用，这对于个人开发者或小型组织来说可能是一笔不小的开支。那么，有没有方法可以在本地免费使用这些强大的模型呢？答案是肯定的——Ollama就是这样一个工具。当然如果是比较大的组织…...

编程日记 2025/8/25 18:22:19

如何提高情商？（优化版）

引言提高情商（EQ）是一个需要长期练习和自我反思的过程，核心在于理解自己、管理情绪、共情他人并有效沟通。以下是一些具体且可操作的方法，结合理论和实际场景，帮助你逐步提升： 一、核心方法：…...

编程日记 2025/8/24 20:40:39

学习黑客Linux权限

在 Linux 的王国里，“权限”就是装备与技能加成：决定谁能拔剑（读 r）、挥剑（写 w）、进入房间（执行 x）。本文用“闯关升级”视角，把常见 rwx、八进制数字、SUID/SGID/Stick…...

编程日记 2025/8/21 13:55:43

信息系统监理师第二版教材模拟题第二组（含解析）

信息系统监理师模拟题第二组（30题）监理理论与法规根据《信息系统工程监理暂行规定》，监理单位应当独立于（） A. 建设单位和承建单位 B. 政府监管部门 C. 行业组织 D. 最终用户答案：A 解析：监理单位应当保持独立性，不得与建设单位和承建单位有隶属关系或其他利害关系…...

编程日记 2025/8/25 18:22:18

C与指针——输入输出

错误定位当一个库函数出错时，errno会被重置 perror(const char* s);\\输出s: errno 对应的错误信息 \\如果单独想要错误信息可以 char* e strerror(errno);\\系统错误码转换为对应的错误信息字符串输出缓冲区一般输出缓冲区满的时候才刷新，也就是…...

编程日记 2025/8/22 6:18:19

RR（Repeatable Read）级别如何防止幻读

在 MySQL 数据库事务隔离级别中，RR（可重复读） 通过 MVCC（多版本并发控制） 和锁机制的组合策略来避免幻读问题。一、MVCC机制：快照读与版本控制快照读（Snapshot Read） 每个事务启…...

编程日记 2025/8/22 6:18:17

Python之学习笔记（六）

文章目录 1. 字典（Dictionary）2. 集合（Set）3. 字典 vs 集合4. 应用场景5. 注意事项 Python中的字典（ dict）和集合（ set）是两种高效且常用的数据结构，适用于不同的场景。…...

编程日记 2025/8/22 6:18:15

Easy云盘总结篇-文件上传02

说在前面：此项目是跟着B站一位大佬写的，不分享源码，支持项目付费文件预览主要分视频和其他文件预览，但实现逻辑相同，只是请求路径有区别。这段逻辑： 拿视频预览举例： 视频开始时&#xff…...

编程日记 2025/8/22 6:18:13

window-docker的容器使用宿主机音频设备

文章目录前言操作配置前言你有没有遇到过这种情况？ 你兴冲冲地在Windows上用Docker搭了个语音识别项目，准备让容器高歌一曲，或者至少"Hey Docker"一下。结果——静音。 Docker Desktop一脸无辜：“亲，默…...

编程日记 2025/8/23 15:41:21

NaVILA: Legged Robot Vision-Language-ActionModel for Navigation

摘要本文旨在解决基于视觉与语言导航（VLN）在四足机器人上的实现问题。该任务不仅为人类提供了一种灵活的指令方式，还使机器人能够在更具挑战性和杂乱的场景中导航。然而，将人类自然语言指令转换为低层次的腿部关节控制指令并非易…...

编程日记 2025/8/23 7:40:06

LeetCode 2071 你可以安排的最多任务数目题解(附带自己的错误做题思路过了25/49)

示例输入：tasks [3,2,1], workers [0,3,3], pills 1, strength 1 输出：3 解释： 我们可以按照如下方案安排药丸： - 给 0 号工人药丸。 - 0 号工人完成任务 2（0 1 > 1） - 1 号工人完成任务 1&#…...

编程日记 2025/8/24 7:23:52

高翔《视觉SLAM十四讲》中第13讲，单目稠密重建中的RMODE数据集

高翔《视觉SLAM十四讲》中第13讲，单目稠密重建，中的RMODE数据集， 原作者苏黎世大学slam小组提供，但是网址已失效下载方式： 1 https://vj6cqktnxq.feishu.cn/wiki/KBqtwD6XJio3Rmkm2FkckMY8nPg 2 参考地址&#xff1a…...

编程日记 2025/8/22 6:18:06

PyTorch_张量形状操作

搭建模型时，数据都是基于张量形式的表示，网络层与层之间很多都是以不同的shape的方式进行表现和运算。对张量形状的操作，以便能够更好处理网络各层之间的数据连接。 reshape 函数的用法 reshape 函数可以再保证张量数据不变的前提下改变数…...

编程日记 2025/8/22 2:00:36

【浅尝Java】变量与数据类型（含隐式类型转换、强制类型转换、整型与字符串互相转换等）

🍞自我激励：每天努力一点点，技术变化看得见文章目录字面常量数据类型变量变量概念语法格式整型变量字节型变量（byte）短整型变量（short）整型变量（int）长整型&#xff08…...

编程日记 2025/8/22 6:18:02

Ubuntu环境下使用uWSGI服务器【以flask应用部署为例】

0、前置内容说明首先要知道WSGI是什么，关于WSGI服务器的介绍看这篇：WSGI（Web Server Gateway Interface）服务器由于从Python 3.11开始限制了在系统级 Python 环境中使用 pip 安装第三方包，以避免与系统包管理器&am…...

编程日记 2025/8/24 18:07:40

安装 GCC Ubuntu/Debian: sudo apt update && sudo apt install gcc gCentOS/RHEL: sudo yum install gcc gcc-cmacOS (通过 Homebrew): brew install gcc基本用法编译 C 程序 gcc hello.c -o hello # 编译 hello.c，生成可执行文件 hello ./hello …...

编程日记 2025/8/25 9:40:34

虚函数 vs 纯虚函数 vs 静态函数（C++）

🧩 一图看懂：虚函数 vs 纯虚函数特性虚函数（Virtual）纯虚函数（Pure Virtual）语法virtual void foo();virtual void foo() 0;是否必须实现✅ 必须在类中实现❌ 不在基类实现，派生类必须实现是…...

编程日记 2025/8/21 12:16:46

CF1000E We Need More Bosses

CF1000E We Need More Bosses 题目描述题目大意： 给定一个 n n n 个点 m m m 条边的无向图，保证图连通。找到两个点 s , t s,t s,t，使得 s s s到 t t t必须经过的边最多（一条边无论走哪条路线都经过ta，这条边就是…...

编程日记 2025/8/23 13:09:02

Python：Seaborn 美化图表的技术指南

🎨 1、简述 Seaborn 是建立在 Matplotlib 基础上的高级可视化库，提供了更美观、更简洁的数据统计图表。本文将带你深入了解 Seaborn 的强大功能，并通过多个实践案例掌握使用技巧。 2、Seaborn 1️⃣ 什么是 Seaborn？ Seaborn 是一个基于 matplotlib 构建的 Python 可视…...

编程日记 2025/8/24 5:03:57

go实现循环链表

需求实现循环链表的节点生成、顺序遍历、指定删除。实现 package mainimport ("fmt" )type zodiac_sign struct {number intdizhi stringanimal stringyear intnext *zodiac_sign }// 添加 // func add_node_by_order(previous_node zodiac_sign, current_…...

编程日记 2025/8/23 12:37:06

QT | 常用控件

前言 💓 个人主页：普通young man-CSDN博客 ⏩ 文章专栏：C_普通young man的博客-CSDN博客 ⏩ 本人giee: 普通小青年 (pu-tong-young-man) - Gitee.com 若有问题评论区见📝 🎉欢迎大家点赞👍收藏⭐文章 —…...

编程日记 2025/8/25 11:10:01

EasyExcel使用总结

EasyExcel 文章目录 EasyExcel1、导入1.1、基本方式导入1.导入依赖2. 加载源文件基本语法 3. 读取数据行4. 读取结果 1.2、模型映射导入1.定义实体映射类2. 操作读取基本语法 3. 读取数据行4. 读取结果 1.3、导入类型转换器语法 1.4、导入监听器基本语法： 1.5、多行…...

编程日记 2025/8/22 6:17:46

【形式化验证】动态逻辑（DL）的定义解释与示例

动态逻辑（Dynamic Logic, DL）是一种用于描述和验证程序行为的逻辑系统。它结合了命题逻辑、谓词逻辑以及模态逻辑的特点，特别适用于表达程序执行前后的状态变化。以下将从语法、语义以及实际应用等方面详细介绍DL公式的相关内容。 1. 动态逻…...

编程日记 2025/8/24 21:54:22

OpenCv实战笔记（1）在win11搭建opencv4.11.1 + qt5.15.2 + vs2019_x64开发环境

一. 准备工作 Visual Studio 2019（安装时勾选 C 桌面开发和 Windows 10 SDK） CMake 3.20（官网下载） Qt 5.15.2（下载 Qt Online Installer）安装时勾选 MSVC 2019 64-bit 组件。 opencv 4.11.1 源码下载 git…...

编程日记 2025/8/21 21:03:10

四年级数学知识边界总结思考-上册

目录一、背景二、过程1.大数的认识**一、知识点梳理****二、知识点的由来****三、作用与意义****四、总结** 2. 公顷和平方千米**一、知识点梳理****二、知识点的由来****三、作用与意义** 3.角的度量**一、知识点梳理****二、知识点的由来****三、作用与意义** 4.平行四边形和…...

编程日记 2025/8/25 0:29:43

(undone) MIT6.S081 2023 学习笔记 (Day10: LAB9 fs file system)

url: https://pdos.csail.mit.edu/6.1810/2023/labs/fs.html 任务1：Large files (moderate) ----------------- 完成本次作业中，你将扩大xv6文件的最大容量。当前xv6文件被限制为268个块（即268*BSIZE字节，xv6中BSIZE为1024&…...

编程日记 2025/8/25 9:22:04

SpringMVC详解

一：Maven 1.1 概述 （1）项目结构所有IDE使用Maven创建的项目结构完全一样，maven项目可通用 （2）构建流程（编译、测试、打包、发布） （3）依赖管理定义&#xff…...

编程日记 2025/8/22 6:17:37

【Python】一直没搞懂生成器是什么。。

生成器上期我们讲解了迭代器：【Python】一直没搞懂迭代器是什么。。-CSDN博客这期我们来讲讲它的好兄弟——生成器生成器 (Generator)？生成器是一种特殊的迭代器 (Iterator)。迭代器是你可以逐个访问其元素的对象（比如在 for 循环中使用）。列表、元组、字典、字符…...

编程日记 2025/8/24 6:21:13

高等数学同步测试卷同济7版试卷部分上做题记录第四章不定积分同步测试卷 B卷

第四章不定积分同步测试卷 B卷一、单项选择题(本大题共5小题,每小题3分,总计15分) 1. 2. 3. 4. 5. 二、填空题(本大题共5小题,每小题3分,总计15分) 6. 7. 8. 9. 10. 三、求解下列各题(本大题共5小题,每小题6分,总计30分) 11. 12. …...

编程日记 2025/8/22 6:17:33

只用Prettier进行格式化项目

1.下载Prettier插件，禁用ESlint 2.在项目根目录新建.prettierrc文件 {"singleQuote": true,"jsxSingleQuote": true,"printWidth": 100,"trailingComma": "none","tabWidth": 2,"semi": f…...

编程日记 2025/8/21 11:51:45

ARM寻址方式

寻址方式指的是确定操作数位置的方式。寻址方式： 立即数寻址直接寻址（绝对寻址），ARM不支持这种寻址方式，但所有CISC处理器都支持寄存器间接寻址 3种寻址方式总结如下： 助记符 RTL格式描述 ADD r0,r1…...

编程日记 2025/8/22 3:06:54

2025年- H25-Lc133- 104. 二叉树的最大深度（树）---java版

1.题目描述 2.思路返回左右子树中，最高高度的子树,高度从0开始计数。 3.代码实现 class TreeNode {int val;TreeNode left;TreeNode right;TreeNode() {}TreeNode(int val) { this.val val; }TreeNode(int val, TreeNode left, TreeNode right) {this.val val;…...

编程日记 2025/8/22 6:17:28

深入理解 Spring MVC：DispatcherServlet 与视图解析机制

import javax.servlet.ServletException; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.util.Locale; import java.util.Map;// 继承自 FrameworkServlet 的 DispatcherServlet 类…...

编程日记 2025/8/21 14:49:22