当前位置：首页 > news >正文

Ollama 框架本地部署教程：开源定制，为AI 项目打造专属解决方案！

news 来源：原创 2025/8/28 13:36:26

Ollama 是一款开源的本地大语言模型（LLM）运行框架，用于管理和运行语言模型。具有以下核心特点：

开源可定制：采用 MIT 开源协议，开发者能自由使用、阅读源码并定制，可根据自身需求进行功能扩展和修改。
多模型支持：支持 Llama、DeepSeek-R1、Phi-4、Gemma 2 等众多语言模型，用户无需为每种模型单独搭建环境，能轻松在不同模型间切换以满足不同任务需求。
易于部署：提供主流操作系统安装包，没有技术背景的用户也可轻松部署。还支持 Docker 部署，进一步简化部署流程，方便在不同环境中快速搭建。
高性能：通过动态加载等技术优化资源使用，在保证高质量语言处理能力的同时，能快速响应用户请求，减少处理时间，提高运行效率。
可扩展性：支持自定义模型和插件系统，可扩展文件搜索、数学计算等功能，方便用户根据具体应用场景进行功能扩展。
多平台支持：支持 macOS、Windows、Linux 等操作系统，还能在 Linux 的虚拟服务器上安装，满足不同用户在不同设备和系统上的使用需求。

本镜像在 ollama 的框架上安装了 open-webui 可视化聊天框架，使操作更加便捷。除此之外，还提供了开机自启动功能。

Ollama

启动并运行大型语言模型。

macOS
下载

windocs
下载

Linux

  curl -fsSL https://ollama.com/install.sh | sh

手动安装说明

Docker
Docker Hub 上提供了官方的 Ollama Docker 镜像。ollama/ollama

Libraries
OLLAMA-Python
OLLAMA-JS
Community
Discord
Reddit
快速入门
使用OLlama 运行 Llama 3.2：

  ollama run llama3.2

模型库
Ollama 支持 ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型：

注意

您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 的型号，32 GB 的 RAM 来运行 33B 型号。

自定义模型
从 GGUF 导入
Ollama 支持在 Modelfile 中导入 GGUF 模型：

创建一个文件，其中包含要导入的模型的本地文件路径的指令。

  
FROM ./vicuna-33b.Q4_0.gguf

在 Ollama 中创建模型

  ollama create example -f Modelfile

运行模型

  ollama run example

从 Safetensor 导入
请参阅导入模型以了解更多信息。

自定义提示
Ollama 库中的模型可以通过提示进行自定义。例如，要自定义模型：llama3.2

  ollama pull llama3.2

创建一个：Modelfile

  
FROM llama3.2# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

接下来，创建并运行模型：

  
ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

有关使用 Modelfile 的更多信息，请参阅 Modelfile 文档。

CLI Reference

创建模型
ollama create用于从 Modelfile 创建模型。

ollama create mymodel -f ./Modelfile

拉取模型

  ollama pull llama3.2

此命令还可用于更新本地模型。只会拉取 diff。

删除模型

  ollama rm llama3.2

复制模型

  ollama cp llama3.2 my-model

多行输入
对于多行输入，您可以使用：“”"

  
>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

多模态模型

  ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"

输出：图像具有黄色笑脸，这可能是图片的中心焦点。

将提示作为参数传递

  ollama run llama3.2 "Summarize this file: $(cat README.md)"

输出：Ollama 是一个轻量级的可扩展框架，用于在本地计算机上构建和运行语言模型。它提供了一个用于创建、运行和管理模型的简单 API，以及一个可在各种应用程序中轻松使用的预构建模型库。

显示模型信息

  ollama show llama3.2

列出计算机上的模型

  ollama list

列出当前加载的模型

  ollama ps

停止当前正在运行的模型

  ollama stop llama3.2

启动 Ollama

  ollama serve

当您想在不运行桌面应用程序的情况下启动 OLLAMA 时使用。

查看开发人员指南

本地部署

启动Ollama服务：

  
./ollama serve

在单独的 shell 中运行一个模型：

  ./ollama run llama3.2

REST API
Ollama 有一个用于运行和管理模型的 REST API。

生成响应

  curl http://localhost:11434/api/generate -d '{"model": "llama3.2","prompt":"Why is the sky blue?"
}'

与模型聊天

  curl http://localhost:11434/api/chat -d '{"model": "llama3.2","messages": [{ "role": "user", "content": "why is the sky blue?" }]
}'

请参阅所有端点的 API 文档。

社区集成

Web & 桌面
Open WebUI
Enchanted (macOS native)
Hollama
其它信息请参阅GitHub

Ollama 框架本地部署教程：开源定制，为AI 项目打造专属解决方案！

Ollama 是一款开源的本地大语言模型（LLM）运行框架，用于管理和运行语言模型。具有以下核心特点： 开源可定制：采用 MIT 开源协议，开发者能自由使用、阅读源码并定制，可根据自身需求进行功能扩展和…...

编程日记 2025/8/28 13:36:26

【单片机项目】电源如何扩展、电源模块、电池模块如何接线

一、前言解决2个关键问题： 【1】如果项目编号小于172之前的项目。可能会遇到电源模块不够接，需要扩展电源的问题。【2】如果项目编号是大于 172之后项目，部分项目用到了稳压电源模块或者是电池模块。这篇文章单独讲解一下如何接线。 …...

编程日记 2025/8/25 11:57:56

汽车智能钥匙中PKE低频天线的作用

PKE（Passive Keyless Entry）即被动式无钥匙进入系统，汽车智能钥匙中PKE低频天线在现代汽车的智能功能和安全保障方面发挥着关键作用，以下是其具体作用： 信号交互与身份认证低频信号接收：当车主靠近车辆时…...

编程日记 2025/8/26 0:53:05

mongodb安装教程以及mongodb的使用

MongoDB是由C语言编写的一种面向文档的NoSQL数据库，旨在为WEB应用提供可扩展的高性能数据存储解决方案。与传统的关系型数据库（如 MySQL 或 PostgreSQL）不同，MongoDB 存储数据的方式是以 BSON（类似于 JSON 的二进制格式…...

编程日记 2025/8/25 22:20:48

SpringMVC学习（controller层加载控制与(业务、功能)bean加载控制、Web容器初始化配置类）(3)

目录一、SpringMVC、Spring的bean加载控制。 （1）实际开发的包结构层次。 （2）如何"精准"控制两个容器分别加载各自bean。(分析) <1>SpringMVC相关bean加载控制。(方法) <2>Spring相关bean加载控制。(方法) …...

编程日记 2025/8/27 22:48:01

redis基础结构

title: redis基础结构 date: 2025-03-04 08:39:12 tags: redis categories: redis笔记 Redis入门 （NoSQL, Not Only SQL） 非关系型数据库关系型数据库：以表格的形式存在，以行和列的形式存取数据，一系列的行和列被…...

编程日记 2025/8/20 5:29:57

树莓派学习（一）——3B+环境配置与多用户管理及编程实践

树莓派学习（一）——3B环境配置与多用户管理及编程实践一、实验目的掌握树莓派3B无显示器安装与配置方法。学习Linux系统下多用户账号的创建与管理。熟悉在树莓派上使用C语言和Python3编写简单程序的方法。二、实验环境硬件设备：树莓派…...

编程日记 2025/8/25 20:42:42

【音视频】ffplay播放控制

一、ffplay播放控制 1.1、ffplay打开视频比如我当前目录下现在有一个1.mp4的视频，可以使用下面的命令用ffplay打开并播放它 ffplay 1.mp4输入后回车即可打开相应的视频 1.2 ffplay播放控制使用q、ESC退出播放按f、双击切换全屏状态按m切换为静音按9减少音量&a…...

编程日记 2025/8/23 0:02:33

基于ReAct（Reasoning Acting）框架的自主智能体 import re from typing import List, Tuplefrom langchain_community.chat_message_histories.in_memory import ChatMessageHistory from langchain_core.language_models.chat_models import BaseChatM…...

编程日记 2025/8/27 8:55:16

Redis系列之慢查询分析与调优

Redis 慢查询分析与优化：提升性能的实战指南 Redis 作为一款高性能的内存数据库，因其快速的数据读写能力和灵活的数据结构，被广泛应用于缓存、消息队列、排行榜等多种业务场景。然而，随着业务规模的扩大和数据量的增加&#xff0…...

编程日记 2025/8/18 15:26:21

分布式锁—2.Redisson的可重入锁一

大纲 1.Redisson可重入锁RedissonLock概述 2.可重入锁源码之创建RedissonClient实例 3.可重入锁源码之lua脚本加锁逻辑 4.可重入锁源码之WatchDog维持加锁逻辑 5.可重入锁源码之可重入加锁逻辑 6.可重入锁源码之锁的互斥阻塞逻辑 7.可重入锁源码之释放锁逻辑 8.可重入锁…...

编程日记 2025/8/21 8:04:26

大模型巅峰对决：DeepSeek vs GPT-4/Claude/PaLM-2 全面对比与核心差异揭秘

文章目录一、架构设计深度解剖1.1 核心架构对比图谱1.2 动态MoE架构实现架构差异分析表二、训练策略全面对比2.1 训练数据工程对比2.2 分布式训练代码对比DeepSeek混合并行实现GPT-4 Megatron实现对比 2.3 关键训练参数对比三、性能表现多维评测3.1 基准测试全景对比3.2 推理…...

编程日记 2025/8/19 21:16:02

解决各大浏览器中http地址无权限调用麦克风摄像头问题（包括谷歌，Edge，360，火狐）后续会陆续补充

项目场景： 在各大浏览器中http地址调用电脑麦克风摄像头会没有权限，http协议无法使用多媒体设备原因分析： 为了用户的隐私安全，http协议无法使用多媒体设备。因为像摄像头和麦克风属于可能涉及重大隐私问题的API，ge…...

编程日记 2025/8/23 7:40:34

Linux - 网络套接字

一、网络编程 1）地址结构 1. IP地址结构 struct in_addr：是用于表示 IPv4 地址的结构体，定义在头文件 <netinet/in.h> 中。它的主要作用是存储一个 32 位的 IPv4 地址，通常与 struct sockaddr_in 一起使用。 struct in_a…...

编程日记 2025/8/18 18:13:19

Oracle数据库监听学习

官方文档： Net Services Administrators Guide Net Services Reference 一、动态注册 1.实例启动后，LREG 进程每分钟自动将服务名（service_name）注册到监听器中也可以通过 alter system register 命令实现立刻注册。&#x…...

编程日记 2025/8/21 10:10:49

利率债、信用债、可转债区别与优势

利率债、信用债、城投债和可转债是债券市场的主要品种，它们在发行主体、风险收益特征和投资优势上各有不同。以下是它们的区别和优势： 1. 利率债定义：利率债是由政府或政府支持的机构发行的债券，主要包括国债、政策性金融债&…...

编程日记 2025/8/25 10:38:30

C语言番外篇（4）------------------＞VS环境下源码的隐藏

假设你是一个优秀的程序员，开发了一款功能十分强大的计算器。现在有一家做计算器的公司看上了你的功能，想通过每一年给你几万块钱使用这个功能。那我们是只提供一个头文件和静态库给他们使用这个功能就行呢？还是连同源代码一起给这家公司呢&a…...

编程日记 2025/8/27 21:38:30

Java集合

写在前面本人在学习JUC过程中学习到集合和并发时有许多稀碎知识点需要总结梳理思路与知识点本文内容会涉及到ArrayList，HashMap以及扩容机制，ConcurrentHashMap，Synchronized，Volatile，ReentrantLock，…...

编程日记 2025/8/28 5:07:10

el-input 设置类型为number时，输入中文后光标会上移，并且会出现上下箭头

光标上移设置 el-input 的 typenumber后，只能输入数字，输入中文后会自动清空，但是会出现一个问题：【光标会上移，如下图】解决方法：修改样式注意：需要使用样式穿透 :deep( ) /*解决el-in…...

编程日记 2025/8/23 10:33:09

迷你世界脚本自定义UI接口：Customui

自定义UI接口：Customui 彼得兔更新时间: 2024-11-07 15:12:42 具体函数名及描述如下:（除前两个，其余的目前只能在UI编辑器内部的脚本使用） 序号函数名函数描述 1 openUIView(...) 打开一个UI界面（注意…...

编程日记 2025/8/23 12:21:02

解决windows npm无法下载electron包的问题

1.将nsis.zip解压到C:\Users\XXX\AppData\Local\electron-builder\Cache 2.将winCodeSign.zip解压到C:\Users\XXX\AppData\Local\electron-builder\Cache 3.将electron-v20.3.8-win32-ia32.zip复制到C:\Users\XXX\AppData\Local\electron\Cache 4.将electron-v20.3.8-win32-…...

编程日记 2025/8/26 17:45:42

Notepad++ 8.6.7 安装与配置全攻略（Windows平台）

一、软件定位与核心优势 Notepad 是开源免费的代码/文本编辑器，支持超过80种编程语言的高亮显示，相比系统自带记事本具有以下优势： 轻量高效：启动速度比同类软件快30%插件扩展：支持NppExec、JSON Viewer等200插件跨文…...

编程日记 2025/8/27 12:40:54

Unity InputField + ScrollRect实现微信聊天输入框功能

1、实现动态高度尺寸的的InputField 通过这两个部件就可以实现inputField的动态改变尺寸。将inputField放入到scrollview当中作为子类将scrollview 链接到UIChatInputField脚本中。 2、实现UIChatInputField //聊天输入框（类似wechat） [RequireComp…...

编程日记 2025/8/26 16:26:14

Java-servlet（三）Java-servlet-Web环境搭建（下）详细讲解利用maven和tomcat搭建Java-servlet环境

Java-servlet（三）Java-servlet-Web环境搭建（下）利用maven和tomcat搭建Java-servlet环境前言一、配置maven阿里镜像二、利用IDEA创建maven文件创建maven文件删除src文件创建新的src模版删除example以及org文件三、在第二个xml文件…...

编程日记 2025/8/24 5:58:37

在 CLion 中使用 Boost.Test 进行 C++ 单元测试

1. 安装 Boost.Test Boost.Test 是 Boost C 库的一部分，因此需要安装完整的 Boost 库。方法 1：使用包管理器安装（推荐） Windows（vcpkg） 直接使用 CLion 集成的 vcpkg安装 boost-test： 也可…...

编程日记 2025/8/28 8:19:54

极狐GitLab 17.9 正式发布，40+ DevSecOps 重点功能解读【二】

GitLab 是一个全球知名的一体化 DevOps 平台，很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。学习极狐GitLab 的相关资料： 极狐GitLab 官网极狐…...

编程日记 2025/8/24 16:02:34

文本处理Bert面试内容整理-BERT的预训练任务是什么？

BERT的预训练任务主要有两个，分别是 Masked Language Model (MLM) 和 Next Sentence Prediction (NSP)。这两个任务帮助BERT学习从大规模未标注文本中提取深层次的语义和上下文信息。 1. Masked Language Model (MLM)（掩码语言模型）...

编程日记 2025/8/16 11:18:10

【蓝桥杯】每天一题，理解逻辑（3/90）【Leetcode 快乐数】

闲话系列：每日一题，秃头有我，Hello！！！！！,我是IF‘Maxue，欢迎大佬们来参观我写的蓝桥杯系列，我好久没有更新博客了，因为up猪我寒假用自己的劳动换了…...

编程日记 2025/8/26 12:52:22

“深入浅出”系列之Linux篇：（10）基于C++实现分布式网络通信RPC框架

分布式网络通信rpc框架项目是分布式网络通信rpc框架， 文中提到单机服务器的缺点： 硬件资源的限制影响并发：受限于硬件资源，聊天服务器承受的用户的并发有限模块的编译部署难：任何模块小的修改，都导致整…...

编程日记 2025/8/27 13:20:03

Python的那些事第四十一篇：简化数据库交互的利器Django ORM

Django ORM：简化数据库交互的利器摘要随着互联网技术的飞速发展，Web开发越来越受到重视。Django作为一款流行的Python Web框架，以其高效、安全、可扩展等特点受到了广大开发者的喜爱。其中，Django ORM（对象关系映射）是Django框架的核心组件之一，它为开发者提供了一种…...

编程日记 2025/8/26 11:26:18

[自动驾驶-传感器融合] 多激光雷达的外参标定

文章目录引言外参标定原理ICP匹配示例参考文献引言多激光雷达系统通常用于自动驾驶或机器人，每个雷达的位置和姿态不同，需要将它们的数据统一到同一个坐标系下。多激光雷达外参标定的核心目标是通过计算不同雷达坐标系之间的刚性变换关系&#xff08…...

编程日记 2025/8/26 14:24:33

初学STM32之简单认识IO口配置（学习笔记）

在使用51单片机的时候基本上不需要额外的配置IO，不过在使用特定的IO的时候需要额外的设计外围电路，比如PO口它是没有内置上拉电阻的。因此若想P0输出高电平，它就需要外接上拉电平。（当然这不是说它输入不需要上拉电阻，…...

编程日记 2025/8/28 3:44:40

【长安大学】苹果手机/平板自动连接认证CHD-WIFI脚本(快捷指令)

背景： 已经用这个脚本的记得设置Wifi时候，关闭“自动登录” 前几天实在忍受不了CHD-WIFI动不动就断开，一天要重新连接，点登陆好几次。试了下在网上搜有没有CHD-WIFI的自动连接WIFI自动认证脚本，那样我就可以解放双手&…...

编程日记 2025/8/16 11:21:32

powermock,mock使用笔记

介于日本的形式主义junit4单体测试，特记笔记，以下纯用手机打出来，因为电脑禁止复制粘贴。 pom文件 powermock-module-junit1.7.4 powermock-api-mokcito 1.7.4 spring-test 8 1，测试类头部打注解 RunWith(PowerMockRunner.class…...

编程日记 2025/8/24 18:12:03

大模型微调实战指南

1. 引言在人工智能领域，大模型（如GPT、BERT、DeepSeek等）已经展现出了强大的通用能力。然而，要让这些模型在特定任务或领域中发挥最佳性能，微调（Fine-tuning）是必不可少的一步。本文将带你从零…...

编程日记 2025/8/28 9:09:30

计算机毕业设计Python+Django+Vue3微博数据舆情分析平台微博用户画像系统微博舆情可视化(源码+ 文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/8/26 5:04:15

HTML第四节

一.复合选择器 1.后代选择器注：1.后代选择器会选中后代所有的要选择的标签 2.儿子选择器 3.并集选择器注：1.注意换行，同时选中多种标签 4.交集选择器注：1.标签选择器放在最前面，例如放在类选择器的前面 2.两个选择…...

编程日记 2025/8/28 4:49:44

Kubernetes 的正式安装

1.基础的网络结构说明软件路由器 ikuai 当然同一个仅主机模式相当于在同一个我们所谓的广播域内所以相当于它们的几张网卡是被连接起来的为了防止出现问题我们可以把第二块网卡临时关闭一下 2.准备路由器 ikuai 爱快 iKuai-商业场景网络解决方案提供商 (ikuai8.com)…...

编程日记 2025/8/18 9:24:28

VS2022C#windows窗体应用程序调用DeepSeek API

目录一、创建DeepSeek API Key 二、创建窗体应用程序三、设计窗体 1、控件拖放布局‌‌ 2、主窗体【Form1】设计 3、多行文本框【tbContent】 4、提交按钮【btnSubmit】 5、单行文字框四、撰写程序五、完整代码六、运行效果七、其它一、创建DeepSeek API Ke…...

编程日记 2025/8/27 1:08:40

7. 机器人记录数据集（具身智能机器人套件）

1. 树莓派启动机器人 conda activate lerobotpython lerobot/scripts/control_robot.py \--robot.typelekiwi \--control.typeremote_robot2. huggingface平台配置 huggingface官网注册登录申请token（要有写权限）安装客户端 # 安装 pip install -U …...

编程日记 2025/8/23 1:40:45

阿里云操作系统控制台——ECS操作与性能优化

引言：在数字化时代，云服务器作为强大的计算资源承载平台，为企业和开发者提供了灵活且高效的服务。本文将详细介绍如何一步步操作云服务器 ECS，从开通到组件安装，再到内存全景诊断，帮助快速上手，…...

编程日记 2025/8/27 15:56:42

在飞腾E2000Q开发板上，基于RT-Thread操作系统，实现DeepSeek语音交互

目录一 ，简介二 ，流程与结果分享 1. Phytium E2000q demo开发板连接 2. RT-Thread Kconfig 配置选择 （1）驱动 （2）软件包 3. 主要代码 （1）录音功能，将录音结果保存…...

编程日记 2025/8/26 5:26:46

navicat导出postgresql的数据库结构、字段名、备注等等

1、执行sql语句 SELECT A.attnum AS "序号",C.relname AS "表名",CAST ( obj_description ( relfilenode, pg_class ) AS VARCHAR ) AS "表名描述",A.attname AS "字段名称",A.attnotnull as "是否不为null",(case when A…...

编程日记 2025/8/27 14:56:17

K8s 1.27.1 实战系列（三）安装网络插件

Kubernetes 的网络插件常见的有 Flannel 和 Calico ，这是两种主流的 CNI（容器网络接口）解决方案，它们在设计理念、实现方式、性能特征及适用场景上有显著差异。以下是两者的综合对比分析：一、Flannel 和 Calico 1. 技术基础与网络实现 Flannel 核心机制：基于 Overlay …...

编程日记 2025/8/23 20:52:31

Python实现鼠标点击获取窗口进程信息

最近遇到挺无解的一个问题：电脑上莫名其妙出现一个白色小方块，点击没有反应，关也关不掉，想知道它和哪个软件有关还是显卡出了问题，也找不到思路，就想着要不获取一下它的进程号看看。于是写了一个Python脚本…...

编程日记 2025/8/23 15:28:58

文件解析：doc、docx、pdf

1.doc解析 ubuntu/debian系统应先安装工具 apt-get install python-dev libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr \ flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig pip install textract解析： import te…...

编程日记 2025/8/25 3:42:12

JDBC 完全指南：掌握 Java 数据库交互的核心技术

JDBC 完全指南：掌握 Java 数据库交互的核心技术一、JDBC 是什么？为什么它如此重要？ JDBC（Java Database Connectivity）是 Java 语言中用于连接和操作关系型数据库的标准 API。它允许开发者通过统一的接口访问不同的数…...

编程日记 2025/8/28 12:11:06

【STM32】STM32系列产品以及新手入门的STM32F103

📢 STM32F103xC/D/E 系列是一款高性能、低功耗的 32 位 MCU，适用于工业、汽车、消费电子等领域；基于 ARM Cortex-M3，主频最高 72MHz，支持 512KB Flash、64KB SRAM，适合复杂嵌入式应用，提供丰富的…...

编程日记 2025/8/25 11:03:46

esp32驱动带字库芯片TFT屏幕

前言学习esp32单片机开发，前段时间在网上买了一块2.0寸TFT屏幕。长这个样子，这个屏幕带汉字字库的硬件模块。我仔细看了一下这个字库模块上面写的字是25Q32FVSIG 1336 文档卖家也发来了开发文档，是个doc文档，张这个样子。开…...

编程日记 2025/8/28 1:48:08

[Python入门学习记录(小甲鱼)]第5章列表元组字符串

第5章列表元组字符串 5.1 列表一个类似数组的东西 5.1.1 创建列表一个中括号[ ] 把数据包起来就是创建了 number [1,2,3,4,5] print(type(number)) #返回 list 类型 for each in number:print(each) #输出 1 2 3 4 5#列表里不要求都是一个数据类型 mix [213,"…...

编程日记 2025/8/28 0:17:04

Ollama

CLI Reference

本地部署

社区集成

相关文章：