当前位置：首页 > news >正文

Ollama 运行从 ModelScope 下载的 GGUF 格式的模型

news 来源：原创 2025/5/13 15:53:17

本文系统环境

Windows 10

Ollama 0.5.7

Ollama 是什么？

Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型，并允许用户通过简单的 API 进行调用

Ollama 的安装

Ollama 官网有其下载及安装方法，非常简便

但如果希望不占用系统盘大量空间，可以参考 Ollama Windows 文档这样安装

1. 把 Ollama 安装到其它磁盘

命令行定位到 Ollama 安装包 OllamaSetup.exe 的目录下，运行如下命令，指定你希望的安装目录

OllamaSetup.exe /DIR="D:\Program Files\Ollama"

2. 更改 Ollama 的模型存放位置

Ollama 后续下载安装的模型默认存放在系统盘，会非常占用位置

设置 OLLAMA_MODELS 系统变量，指定希望的模型存放目录

设置完后，如果 Ollama 服务已在运行，要重启一下 Ollama 服务方能生效

从 ModelScope 下载模型并加载

Ollama 官方安装模型的方法很简单

例如：

ollama run qwen2.5

但下载速度一般非常慢

我们可以从 ModelScope 先下载模型，再通过 Ollama 加载模型

1. 下载 GGUF 格式模型

Ollama 能轻易加载 GGUF 格式的模型，检索 GGUF 模型进行下载

推荐用官方命令行方式下载，下载过程中有进度条，可指定下载目录

modelscope download --model 'Qwen/Qwen1.5-0.5B-Chat-GGUF' --local_dir 'D:\Models\Qwen1.5-0.5B-Chat-GGUF'

下载完成后，目录类似这样：

关于 gguf 文件，简单理解就是体积越大的回答准确率就越高

2. 加载 GGUF 模型

参考 Ollama 关于加载 GGUF 的说明和 Qwen 官网关于 Ollama 加载 GGUF 模型的文档

在上述下载 gguf 模型的目录中新建一个名为 Modelfile 的文件

Modelfile 文件内容如下

FROM ./qwen1_5-0_5b-chat-q5_0.gguf

在 gguf 模型的目录下运行 Ollama 加载 gguf 的命令

ollama create qwen1.5:0.5b -f Modelfile

至此，在上面 OLLAMA_MODELS 系统变量对应的目录下会生成 Ollama 的模型数据

Ollama 运行模型

由于 Ollama 已安装，因此 ollama 命令可用

ollama run qwen1.5:0.5b

Ollama 运行从 ModelScope 下载的 GGUF 格式的模型

本文系统环境 Windows 10 Ollama 0.5.7 Ollama 是什么？ Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型，并允许用户通过简单的 API 进行调用 Ollama 的安装 Ollama 官网有其下载及安装方法，非常简便但如果希…...

编程日记 2025/5/13 15:53:17

【2025年最新版】Java JDK安装、环境配置教程（图文非常详细）

文章目录【2025年最新版】Java JDK安装、环境配置教程 （图文非常详细）1. JDK介绍2. 下载 JDK3. 安装 JDK4. 配置环境变量5. 验证安装6. 创建并测试简单的 Java 程序6.1 创建 Java 程序：6.2 编译和运行程序：6.3 在显示或更改文件的…...

编程日记 2025/5/13 15:51:53

探索性测试与自动化测试的结合

随着软件开发周期的不断缩短和质量要求的不断提高，测试行业正在经历一场深刻的变革。自动化测试因其高效性和可重复性成为测试团队必不可少的工具，而探索性测试（Exploratory Testing, ET）则因其灵活性和创意性在面对复杂、动态变化…...

编程日记 2025/5/13 13:38:34

我是如何写作的？

以前是如何写作的从小学三年级开始学写作文，看的作文书，老师布置作文题目，内容我都是自己写的。那时会积累一些好词，听到什么好词就记住了。并没有去观察什么，也没有好好花心思在写作上。总觉得我写的作文与真正好的…...

编程日记 2025/5/13 14:10:12

智慧园区管理系统为企业提供高效运作与风险控制的智能化解决方案

内容概要快鲸智慧园区管理系统，作为一款备受欢迎的智能化管理解决方案，致力于为企业提供高效的运作效率与风险控制优化。具体来说，这套系统非常适用于工业园、产业园、物流园、写字楼及公寓等多种园区和商办场所。它通过数字化与智能化的手…...

编程日记 2025/5/10 0:34:35

附录 Appendix B: 首字母缩略词和缩写ACRONYMS AND ABBREVIATIONS AD 难易程度的进阶 Advancement Degree of Difficulty AI 人工智能 Artificial Intelligence CM 配置管理 Configuration Management ConOps 运作理念 Concept of Operations COTS 商业现货 Comme…...

编程日记 2025/5/12 17:33:16

VS2008 - debug版 - 由于应用程序配置不正确，应用程序未能启动。重新安装应用程序可能会纠正这个问题。

文章目录 VS2008 - debug版 - 由于应用程序配置不正确，应用程序未能启动。重新安装应用程序可能会纠正这个问题。概述笔记VS2008安装环境VS2008测试程序设置默认报错的情况措施1措施2备注 - exe清单文件的问题是否使用静态库?_BIND_TO_CURRENT_VCLIBS_VERSION的出处…...

编程日记 2025/5/13 12:10:17

Docker容器数据恢复

Docker容器数据恢复 1 创建mongo数据库时未挂载数据到宿主机2 查找数据卷位置3 将容器在宿主机上的数据复制到指定目录下4 修改docker-compose并挂载数据（注意端口）5 重新运行新容器以mongodb8.0.3为例。 1 创建mongo数据库时未挂载数据到宿主机 versi…...

编程日记 2025/5/13 23:37:15

翼星求生服务器搭建【Icarus Dedicated Server For Linux】

一、前言本次搭建的服务器为Steam平台一款名为Icarus的沙盒、生存、建造游戏，由于官方只提供了Windows版本服务器导致很多热爱Linux的小伙伴无法释怀，众所周知Linux才是专业服务器的唯一准则。虽然Github上已经有大佬制作了容器版本但是容终究不够完美，毕竟容器无法与原生L…...

编程日记 2025/5/11 19:18:15

如何在data.table中处理缺失值

📊💻【R语言进阶】轻松搞定缺失值，让数据清洗更高效！ 👋 大家好呀！今天我要和大家分享一个超实用的R语言技巧——如何在data.table中处理缺失值，并且提供了一个自定义函数calculate_missing_va…...

编程日记 2025/5/9 0:52:15

react中如何获取dom元素

实现代码 const inputRef useRef(null) inputRef.current.focus()...

编程日记 2025/5/9 10:43:49

引入@Inject的依赖包

maven引入Inject的依赖包在 Maven 项目中引入 Inject 注解所需的依赖包同样取决于你打算使用的依赖注入框架。以下是一些常见框架及其 Maven 依赖配置的示例： 1. Google Guice 如果你打算使用 Google Guice，你需要在 pom.xml 文件中添加 Guice 的依赖…...

编程日记 2025/5/12 23:38:28

Deep Seek R1本地化部署

目录说明一、下载ollama 二、在ollama官网下载模型三、使用后记说明操作系统：win10 使用工具：ollama 一、下载ollama 从官网下载ollama： ollama默认安装在C盘，具体位置为C:\Users\用户名\AppData\Local\Programs\O…...

编程日记 2025/5/13 15:24:50

RDMA 工作原理 | 支持 RDMA 的网络协议

注：本文为 “RDMA” 相关文章合辑。英文引文机翻未校。图片清晰度受引文所限。 Introduction to Remote Direct Memory Access (RDMA) Written by: Dotan Barak on March 31, 2014.on February 13, 2015. What is RDMA? 什么是 RDMA？ Direct me…...

编程日记 2025/5/13 11:09:27

再见了流氓软件~~

聊一聊最近一直在测试软件，需要装各种软件和工具配合测试，导致现在电脑都快装满了，需要把不用的软件卸载。电脑自带的卸载只能一个一个卸载，不但麻烦还卸载不干净。相信很多人也有这方面的需要，电脑装了很多软件&a…...

编程日记 2025/5/7 21:40:37

165. 比较版本号

两个注意的点： 分割字符串的时候，要用split("\\.")而不能用split(".")，因为前者表示“对.使用斜杠转义，\\表示一个斜杠”，而后者表示匹配任意单个字符，例如version2 "1.2.3&quo…...

编程日记 2025/5/11 12:36:38

一文大白话讲清楚webpack进阶——9——ModuleFederation实战

文章目录一文大白话讲清楚webpack进阶——9——ModuleFederation实战1. 啥是ModuleFederation2. 创建容器应用3. 创建远程应用4. 启动远程应用5. 使用远程应用的组件一文大白话讲清楚webpack进阶——9——ModuleFederation实战 1. 啥是ModuleFederation 先看这篇文章&#…...

编程日记 2025/5/13 12:13:03

【llm对话系统】LLM 大模型Prompt 怎么写？

如果说 LLM 是一个强大的工具，那么 Prompt 就是使用这个工具的“说明书”。一份好的 Prompt 可以引导 LLM 生成更准确、更相关、更符合你期望的输出。今天，我们就来聊聊 LLM Prompt 的编写技巧，掌握这把解锁 LLM 潜能的钥匙！ 一…...

编程日记 2025/5/13 17:37:21

INCOSE需求编写指南-附录 C: 需求模式

附录 Appendix C: 需求模式 Requirement Patterns C.1 需求模式简介 Introduction to Requirement Patterns 需求模式（样板或模板）的概念最初于 1998 年在英国的未来水面战斗人员 (FSC) 国防项目中应用（Dick 和 Llorens，2012 年…...

编程日记 2025/5/11 2:48:11

WGCLOUD使用介绍 - 如何监控ActiveMQ和RabbitMQ

根据WGCLOUD官网的信息，目前没有针对ActiveMQ和RabbitMQ这两个组件专门做适配不过可以使用WGCLOUD已经具备的通用监测模块：进程监测、端口监测或者日志监测、接口监测来对这两个组件进行监控...

编程日记 2025/5/14 2:01:19

【VASP】AIMD计算总结

【VASP】AIMD计算总结 vasp 计算文件INCAR 参数介绍后处理二维材料与异质结的构造除了筛选优势还应该判断是否稳定，所以我在这分享一篇基于vasp6.2计算的AIMD 示例： https://www.vasp.at/wiki/index.php/Liquid_Si_-_Standard_MD vasp 计算文件 POSCA…...

编程日记 2025/5/11 20:40:58

春节旅游高峰，人力资源如何巧妙应对？‌

‌春节旅游高峰，人力资源如何巧妙应对？‌ 春节等假期一到，各大旅游景区便人潮汹涌，游客如织。面对这种旅游高峰，工作人员往往要连续超负荷运转，身心俱疲。特别是在那些热门景区和网红打卡地，人…...

编程日记 2025/5/14 2:08:20

zsh安装插件

0 zsh不仅在外观上比较美观，而且其具有强大的插件，如果不使用那就亏大了。官方插件库 https://github.com/ohmyzsh/ohmyzsh/wiki/Plugins 官方插件库并不一定有所有的插件，比如zsh-autosuggestions插件就不再列表里，下面演示zs…...

编程日记 2025/5/11 22:37:35

continuous batching、chunked-prefill相关概念

batching VS. continuous batching batching是所有requests的output都生成完毕之后，才能开始处理下一个batch。一般要做input padding，要等待凑够batch才运行（也有超时bar）。 continuous batching是每完成1个request，就…...

编程日记 2025/5/11 11:40:54

python算法和数据结构刷题[2]：链表、队列、栈

链表链表的节点定义： class Node():def __init__(self,item,nextNone):self.itemitemself.nextNone 删除节点： 删除节点前的节点的next指针指向删除节点的后一个节点添加节点： 单链表 class Node():"""单链表的结点&quo…...

编程日记 2025/5/13 4:19:06

认知神经科学0-----关于心智的生物学（2011年第三版）

译者序人类的科学事业所面临的挑战之一-就是认识意识与物质或心灵(智慧)与大脑的关系。从古希腊哲学先贤或更早的时代开始，人类对这一-古老问题就有了大量的探讨或臆测;但仅仅是在近代和现代，人们才真正在科学的意义上探索心智与大脑的关系。脑…...

编程日记 2025/5/12 14:26:34

想品客老师的第九天：原型和继承

原型与继承前置看这里原型原型都了解了，但是不是所有对象都有对象原型 let obj1 {}console.log(obj1)let obj2 Object.create(null, {name: {value: 荷叶饭}})console.log(obj2) obj2为什么没有对象原型？obj2是完全的数据字典对象，没有…...

编程日记 2025/5/11 22:07:22

指针(C语言)从0到1掌握指针，为后续学习c++打下基础

目录一，指针二，内存地址和指针 1，什么是内存地址 2，指针在不同系统下所占内存三，指针的声明和初始化以及类型 1,指针的声明 2,指针的初始化 1， 初始化方式优点及适用场景 4,指针的声明初始化类型…...

编程日记 2025/5/14 0:33:32

php接口连接数据库

框架：https://www.thinkphp.cn/doc 创建网站域名自己写创建文件夹，“test”拉取框架，地址栏输入 composer create-project topthink/think5.1.* tp5 会自动创建一个tp5文件夹根目录选择刚刚创建拉框架的文件夹以test为示例 “D:\test\…...

编程日记 2025/5/13 15:24:09

Qt中json的使用

目录一、json相关类和接口 1.QJsonDocument 2.QJsonObject 3.QJsonArray 4.QJsonValue 二、json写文件 1.写文件基本流程 2.代码示例三、json读文件 1.读文件基本流程 2.代码示例 json是一种轻量级的数据交换格式，在Qt中使用json数据可以通过Qt提供的Q…...

编程日记 2025/5/13 0:08:09

OpenAI-Edge-TTS：本地化 OpenAI 兼容的文本转语音 API，免费高效！

文本转语音（TTS）技术已经成为人工智能领域的重要一环，无论是语音助手、教育内容生成，还是音频文章创作，TTS 工具都能显著提高效率。今天要为大家介绍的是 OpenAI-Edge-TTS，一款基于 Microsoft Edge 在线文本…...

编程日记 2025/5/12 22:20:04

物业系统改革引领行业智能化管理与提升服务质量的新征程

内容概要在当今迅速变化的社会中，物业系统改革正在悄然推动行业的智能化管理进程。物业管理作为一个古老而传统的领域，面临着诸多挑战，包括效率低下、业主需求难以满足等。数字化转型为这一现象注入了新活力，帮助物业公司通过先…...

编程日记 2025/5/13 6:09:42

【LLM】Deepseek本地部署学习

文章目录 1. 访问ollama官网安装平台2. 选择配置3. 下载和运行 1. 访问ollama官网安装平台 https://ollama.com/ 2. 选择配置参考以下配置要求 3. 下载和运行 ollama run deepseek-r1:7b...

编程日记 2025/5/13 11:57:17

Vscode编辑器下 Markdown无法显示图片

1.问题在vscode 编辑器中无法预览 markdon 文件中的图片 2.解决方案大部分出现这种情况是因为新版本的vscode会阻拦有风险的资源显示，将安全等级调低即可。方式一： 1.打开任意 MD 文件，ctrl，调出设置 2. 输入 markdown.ch…...

编程日记 2025/5/13 21:13:44

Java实现.env文件读取敏感数据

文章目录 1.common-env-starter模块1.目录结构2.DotenvEnvironmentPostProcessor.java 在${xxx}解析之前执行，提前读取配置3.EnvProperties.java 这里的path只是为了代码提示4.EnvAutoConfiguration.java Env模块自动配置类5.spring.factories 自动配置和注册Enviro…...

编程日记 2025/5/13 20:23:02

高效学习方法分享

高效学习方法分享引言在信息高速发展的今天，学习已经成为每个人不可或缺的一部分。你是否曾感到学习的疲惫，信息的爆炸让你无从下手？今天，我们将探讨几种高效的学习方法，帮助你从中找到适合自己的学习之道。关于学…...

编程日记 2025/5/9 22:14:01

分库分表相关问题

问题：分库后，就有多个数据源需要，dbproxy 对机器做代理，一般需要lvs/f5 等手段来实现流量的负载均衡，跨机房可能需要dns分发，例如 mycat 阿里的主键。就这个问题通过一问一答的方式解答什么是 dbproxy&…...

编程日记 2025/5/13 17:10:33

【Linux系统】进程间通信：实现命名管道通信

认识命名管道通信命名管道通信的结构图示： 图中的 Server 和 Client 是不同的进程， Server 负责发送数据， Client 则是接收数据，进程之间通过命名管道进行数据通信准备工作： 创建以下文件 Server.hpp #服务器类的…...

编程日记 2025/5/11 14:13:06

IT服务管理平台（ITSM）：构建高效运维体系的基石

IT服务管理平台（ITSM）：构建高效运维体系的基石在数字化转型浪潮的推动下，企业对IT服务的依赖日益加深，如何高效管理和优化IT服务成为企业面临的重要课题。IT服务管理平台（ITSM）应运而生，以其系统化的管理方法和工具，助力企业实现IT服务的规范化、高效化和智能化。本…...

编程日记 2025/5/10 16:03:28

SSM开发(八) MyBatis解决方法重载

目录一、Mybatis能否支持方法重载？二、解决 MyBatis 方法重载问题的几种方法解决方法一： (注解方式) 将重载方法命名为不同的方法名解决方法二：采用@SelectProvider注解解决方法三：使用 MyBatis 的标签和动态 SQL 来构建不同参数的 SQL 查询三、总结一、Myb…...

编程日记 2025/5/13 10:37:04

AIGC时代的Vue或React前端开发

在AIGC（人工智能生成内容）时代，Vue开发正经历着深刻的变革。以下是对AIGC时代Vue开发的详细分析： 一、AIGC技术对Vue开发的影响代码生成与自动化 AIGC技术使得开发者能够借助智能工具快速生成和优化Vue代码。例如，通…...

编程日记 2025/5/11 4:04:22

【实践案例】使用Dify构建文章生成工作流【在线搜索+封面图片生成+内容标题生成】

文章目录概述开始节点图片封面生成关键词实时搜索主题参考生成文章详情和生成文章标题测试完整工作流运行测试结果概述使用Dify构建文章生成工作流，使用工具包括：使用 Tavily 执行的搜索查询，使用Flux生成封面图片，使用Stable…...

编程日记 2025/5/9 13:50:40

使用 Context API 管理临时状态，避免 Redux/Zustand 的持久化陷阱

在开发 React Native 应用时，我们经常需要管理全局状态，比如用户信息、主题设置、网络状态等。而对于某些临时状态，例如数据同步进行中的状态 (isSyncing)，我们应该选择什么方式来管理它？ 在项目开发过程中&#xff…...

编程日记 2025/5/12 1:27:53

【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.26 统计圣殿：从描述统计到推断检验

1.26 统计圣殿：从描述统计到推断检验目录 #mermaid-svg-3nz11PRr47fVfGWZ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3nz11PRr47fVfGWZ .error-icon{fill:#552222;}#mermaid-svg-3nz11PRr47fVfGWZ…...

编程日记 2025/5/12 17:33:45

C# 添加、替换、提取、或删除Excel中的图片

在Excel中插入与数据相关的图片，能将关键数据或信息以更直观的方式呈现出来，使文档更加美观。此外，对于已有图片，你有事可能需要更新图片以确保信息的准确性，或者将Excel 中的图片单独保存，用于资料归档、备…...

编程日记 2025/5/12 22:41:09

商密测评题库详解：商用密码应用安全性评估从业人员考核题库详细解析（9）

1. 申请商用密码测评机构需提交材料考点根据《商用密码应用安全性测评机构管理办法（试行）》，申请成为商用密码应用安全性测评机构的单位应当提交的材料不包括（）。 A. 从事与普通密码相关工作情况的说明 B. 开展测评工作所需的软硬件及其他服务保障设施配备情况 C. 管…...

编程日记 2025/5/12 13:40:28

开源项目Umami网站统计MySQL8.0版本Docker+Linux安装部署教程

Umami是什么？ Umami是一个开源项目，简单、快速、专注用户隐私的网站统计项目。下面来介绍如何本地安装部署Umami项目，进行你的网站统计接入。特别对于首次使用docker的萌新有非常好的指导、参考和帮助作用。 Umami的github和docker镜像地…...

编程日记 2025/5/13 9:57:53

模型I/O功能之模型包装器

文章目录模型包装器分类LLM模型包装器、聊天模型包装器截至2023年7月，LangChain支持的大语言模型已经超过了50种，这其中包括了来自OpenAI、Meta、Google等顶尖科技公司的大语言模型，以及各类优秀的开源大语言模型。对于这些大语言模型&…...

编程日记 2025/5/13 3:09:07

免杀国内主流杀软的恶意样本分析

目录下存在愤怒的小鸟.exe和fun.dll文件，最新版火绒，windows defender，腾讯电脑管家，360静态扫描都未发现恶意程序动态执行，杀软也未拦截上传到virustotal网站分析恶意程序，只有三个引擎检测出来 die分析…...

编程日记 2025/5/11 19:59:54

Cloudreve：Star22.3k,免费开源的网盘，支持多种存储方式，它允许用户快速搭建个人或团队的私有云存储服务。

嗨，大家好，我是小华同学，关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法 Cloudreve是一个基于Web的文件管理和分享系统，它允许用户快速搭建个人或团队的私有云存储服务。该项目以其高度的可定制性和灵活性&#x…...

编程日记 2025/5/12 11:16:20