当前位置： 首页 > news >正文

一起学大语言模型-通过ollama搭建本地大语言模型服务

news 来源：原创 2025/6/27 19:51:38

文章目录

  • Ollama的github地址链接
  • 安装
    • 下载
    • 需求配置
    • 更改安装目录
    • 安装
    • 更改下载的模型存储位置
    • Ollama一些目录说明
      • 日志目录
  • 运行一个模型测试下
    • 测试下
    • 更改服务监听地址和端口号

Ollama的github地址链接

https://github.com/ollama/ollama

安装

下载

mac安装包下载地址：

https://ollama.com/download/Ollama-darwin.zip

windows 安装包下载地址：

https://ollama.com/download/OllamaSetup.exe

linux安装命令：

curl -fsSL https://ollama.com/install.sh | sh

linux手动安装：

https://github.com/ollama/ollama/blob/main/docs/linux.md

本文是在windows上安装搭建， 所以下载的windows安装包。

需求配置

这个是文档链接地址： https://github.com/ollama/ollama/tree/main/docs

可以在这里找到对应的系统安装配置详细文档， 以windows为例， 找到windows.md， 这个文档就是windows安装配置文档

windows安装需要的配置需求如下（没有独显也可以安装的， 我的电脑用的集显）

  • Windows 10 22H2 or newer, Home or Pro
  • NVIDIA 452.39 or newer Drivers if you have an NVIDIA card
  • AMD Radeon Driver Drivers and Support for Processors and Graphics if you have a Radeon card

Ollama uses unicode characters for progress indication,
which may render as unknown squares in some older terminal fonts in
Windows 10. If you see this, try changing your terminal font settings.

更改安装目录

默认安装目录是 %LocalAppData%/Programs/Ollama

如果想改变安装目录， 可以通过如下命令（目录替换成你想安装的目录）：

OllamaSetup.exe /DIR="d:\some\location"

安装

按照安装向导一步一步来就行了。

更改下载的模型存储位置

通过设置环境变量 OLLAMA_MODELS 来设置模型下载的存储位置

Ollama一些目录说明

日志目录

日志目录是%LocalAppData%/Ollama

  • app.log: 图形应用日志

  • server.log: 服务日志

  • upgrade.log: 更新日志

安装好之后就可以简单的测试下了

运行一个模型测试下

打开命令行， 运行如下命令，启动模型llama3.2

ollama run llama3.2

出现send a message输入提示表示启动模型成功了。

测试下

可以使用curl或者postman发个请求

如下命令是通过curl请求

curl http://localhost:11434/api/chat -d '{
"model": "llama3.2", "stream": false,
"messages": [{"role": "system", "content": "使用中文回答"},
{"role": "user", "content": "中国首都是哪个城市?"}
]}'

会返回如下结果：

{"model": "llama3.2","created_at": "2025-04-01T05:21:33.3777246Z","message": {"role": "assistant","content": "中国的首都是北京。"},"done_reason": "stop","done": true,"total_duration": 775795700,"load_duration": 38845600,"prompt_eval_count": 36,"prompt_eval_duration": 266016400,"eval_count": 8,"eval_duration": 468865200
}

更改服务监听地址和端口号

默认监听地址和端口号是： 127.0.0.1:11434

可以通过设置环境变量 OLLAMA_HOST ， 然后在任务管理器里杀掉ollama进程， 再重新运行就可以了。

相关文章：

一起学大语言模型-通过ollama搭建本地大语言模型服务

文章目录 Ollama的github地址链接安装下载需求配置更改安装目录安装更改下载的模型存储位置Ollama一些目录说明日志目录 运行一个模型测试下测试下更改服务监听地址和端口号 Ollama的github地址链接 https://github.com/ollama/ollama 安装 下载 mac安装包下载地址&#xff1…...

编程日记 2025/6/27 19:51:38

webpack配置详解+项目实战

webpack在vue中的配置，适合想重新认知webpack的你 webpack配置-初级配置 1、配置入口和出口文件 2、配置loader 3、配置eslint（可组装js、jsx检查工具） 4、配置babel（将高级的js语法转换成低版本的js语法） 5、使用 ht…...

编程日记 2025/6/26 7:48:57

【学习笔记】文件上传漏洞--js验证、mime验证、.user.ini、短标签、过滤、文件头

概念 文件上传漏洞 什么是文件上传漏洞？ 文件上传漏洞是指由于程序员在对用户文件上传部分的控制不足或者处理缺陷，而导致的用户可以越过其本身权限向服务器上上传可执行的动态脚本文件。 这里上传的文件可以是木马，病毒，恶意脚…...

编程日记 2025/6/25 3:33:44

经典卷积神经网络LeNet实现（pytorch版）

LeNet卷积神经网络 一、理论部分1.1 核心理论1.2 LeNet-5 网络结构1.3 关键细节1.4 后期改进1.6 意义与局限性二、代码实现2.1 导包2.1 数据加载和处理2.3 网络构建2.4 训练和测试函数2.4.1 训练函数2.4.2 测试函数2.5 训练和保存模型2.6 模型加载和预测一、理论部分 LeNet是一…...

编程日记 2025/6/24 8:58:59

【VM虚拟机ip问题】

我就是我，不一样的烟火。 文章目录 前言一、启动VM虚拟机1. 开启虚拟机2. 输入账号密码登录3. 依次输入指令 二、主机ping地址测试1. ping ip地址-成功 三、安装-MobaXterm_Personal_21.51. 点击Session2. 选择SSH连接3. 输入信息4. 首次进入5. 连接成功 总结 前言 …...

编程日记 2025/6/27 19:48:04

【计算机视觉】YOLO语义分割

一、语义分割简介 1. 定义 语义分割（Semantic Segmentation）是计算机视觉中的一项任务，其目标是对图像中的每一个像素赋予一个类别标签。与目标检测只给出目标的边界框不同，语义分割能够在像素级别上区分不同类别，从…...

编程日记 2025/6/23 19:34:33

【C++游戏引擎开发】《线性代数》（3）：矩阵乘法的SIMD优化与转置加速

一、矩阵乘法数学原理与性能瓶颈 1.1 数学原理 矩阵乘法定义为：给定两个矩阵 A （ m n ） \mathrm{A}（mn） A（mn）和 B （ n p ） \mathrm{B}（np） B（np），它们的乘积 C = A B \mathrm{C}=AB C=AB 是一个 m p \mathrm{m}p mp 的矩阵，其中： C i , j = ∑ k = 1…...

编程日记 2025/6/25 21:38:15

聚焦交易能力提升！EagleTrader 模拟交易系统打造交易成长新路径

在全球市场波动加剧的背景下，交易者面临的挑战已不仅限于技术分析层面。许多交易者在实盘操作中常因情绪干扰导致决策变形，如何构建科学的交易心理与风险控制体系成为行业关注焦点。 国内自营交易考试EagleTrader运用自己研发的模拟交易系统&#xff0c…...

编程日记 2025/6/27 16:48:34

文件分片上传

1前端 <inputtype"file"accept".mp4"ref"videoInput"change"handleVideoChange"style"display: none;">2生成hash // 根据整个文件的文件名和大小组合的字符串生成hash值&#xff0c;大概率确定文件的唯一性fhash(f…...

编程日记 2025/6/27 9:03:49

C#Lambda表达式与委托关系

1. 核心关系图示 A[委托] --> B[提供方法容器] B --> C[Lambda表达式] C --> D[委托实例的语法糖] A --> E[类型安全约束] C --> F[编译器自动生成委托实例] 2. 本质联系 2.1 类型关系 ‌Lambda表达式‌是编译器生成的‌委托实例‌表达式自动匹配符合签名的…...

编程日记 2025/6/23 19:52:10

机器翻译和文本生成评估指标：BLEU 计算公式

&#x1f4cc; BLEU 计算公式 BLEU 主要由**n-gram精确匹配率&#xff08;Precision&#xff09;和长度惩罚&#xff08;Brevity Penalty, BP&#xff09;**组成。 1️⃣ n-gram 精确匹配率 计算不同长度的 n-gram&#xff08;1-gram, 2-gram, ..., n-gram&#xff09;在生成…...

编程日记 2025/6/27 14:57:32

24 python 类

在办公室里&#xff0c;类就像一个部门&#xff08;如销售部、财务部&#xff09;&#xff0c;定义了该部门员工的共同属性&#xff08;姓名、职位&#xff09;和行为&#xff08;处理客户、提交报表&#xff09;。 一、面向对象技术简介 作为一个要入门码农的牛马&#xff0…...

编程日记 2025/6/25 1:21:04

pycharm与python版本

python 3.6-3.9 pycharm 2021版本搭配最好 python 3.8 pycharm 2019版本搭配最好 pycharm各版本下载...

编程日记 2025/5/26 15:31:49

23种设计模式-结构型模式-外观

文章目录 简介问题解决方案示例代码总结 简介 也称&#xff1a;门面模式、Facade。外观是一种结构型设计模式&#xff0c;能为程序库、框架或其他复杂类提供一个简单的接口。 问题 假设你必须在代码中使用某个复杂的库或框架中的众多对象。正常情况下&#xff0c;你需要负责…...

编程日记 2025/6/25 12:05:15

open3d教程 （三）点云的显示

官方文档位置&#xff1a; Visualization - Open3D 0.19.0 documentationhttps://www.open3d.org/docs/release/tutorial/visualization/visualization.html核心方法&#xff1a; o3d.visualization.draw_geometries([几何对象列表]) import open3d as o3dprint("Load …...

编程日记 2025/6/23 20:05:31

node.js、npm相关知识

Node.js 是一个基于 Chrome V8 JavaScript 引擎 构建的开源、跨平台的 JavaScript 运行时环境&#xff0c;主要用于服务器端编程。它允许开发者使用 JavaScript 编写高性能的后端服务&#xff0c;突破了 JavaScript 仅在浏览器中运行的限制。 npm&#xff08;Node Package Man…...

编程日记 2025/6/26 10:39:05

大象如何学会太空漫步？美的：科技领先、To B和全球化

中国企业正处在转型的十字路口。一边是全新的技术、全新的市场机遇&#xff1b;一边是转型要面临的沉重负累和巨大投入&#xff0c;无数中国制造、中国品牌仍在寻路&#xff0c;而有的人已经走至半途。 近日&#xff0c;美的集团交出了一份十分亮眼的2024年财报。数据显示&…...

编程日记 2025/6/26 22:53:23

Go红队开发— 收官工具

文章目录 免责声明个人武器开发美观输出Whois查询反查ip目录扫描子域名爆破被动扫描主动扫描(字典爆破)CDN检测 免责声明 &#x1f4a1; 本博客绝不涉及任何非法用途。 &#x1f4a1; 使用者风险自担&#xff0c;违规后果自负。 &#x1f4a1; 守法为先&#xff0c;技术向善。 …...

编程日记 2025/6/27 19:49:35

Android 应用程序包的 adb 命令

查看所有已安装应用的包名 命令&#xff1a;adb shell pm list packages说明&#xff1a;该命令会列出设备上所有已安装应用的包名。可以通过管道符|结合grep命令来过滤特定的包名&#xff0c;例如adb shell pm list packages | grep com.pm&#xff0c;这将只显示包名中包含co…...

编程日记 2025/6/27 13:10:55

北京南文观点：后糖酒会营销，以战略传播重构品牌信心坐标

第112届全国糖酒会落下帷幕&#xff0c;参展品牌面临一个关键命题。如何在流量洪流中沉淀品牌价值&#xff1f;北京南文&#xff08;全称&#xff1a;南文乐园科技文化&#xff08;北京&#xff09;有限公司&#xff09;认为&#xff0c;糖酒会的结束恰是算法时代品牌认知战的真…...

编程日记 2025/6/26 10:23:30

Qt - findChild

findChild 1. 函数原型2. 功能描述3. 使用场景4. 示例代码5. 注意事项6. 总结 在 Qt 中&#xff0c;每个 QObject 都可以拥有子对象&#xff0c;而 QObject 提供的模板函数 findChild 就是用来在对象树中查找满足特定条件的子对象的工具。下面我们详细介绍一下它的使用和注意事…...

编程日记 2025/6/20 22:31:25

2025年3月个人工作生活总结

本文为 2025年3月工作生活总结。 研发编码 一个curl下载失败问题的记录 问题&#xff1a; 某程序&#xff0c;指定IP和账户密码配置&#xff0c;再使用curl库连接sftp服务器&#xff0c;下载文件。在CentOS系统正常&#xff0c;但在某国产操作系统中失败&#xff0c;需要用命…...

编程日记 2025/6/21 13:18:46

Spring Boot 七种事务传播行为只有 REQUIRES_NEW 和 NESTED 支持部分回滚的分析

Spring Boot 七种事务传播行为支持部分回滚的分析 支持部分回滚的传播行为 REQUIRES_NEW&#xff1a;始终开启新事务&#xff0c;独立于外部事务&#xff0c;失败时仅自身回滚。NESTED&#xff1a;在当前事务中创建保存点&#xff08;Savepoint&#xff09;&#xff0c;可局部…...

编程日记 2025/6/24 12:44:04

NVIDIA工业设施数字孪生中的机器人模拟

工业设施数字孪生中的机器人模拟 文章目录 工业设施数字孪生中的机器人模拟数字孪生技术的价值NVIDIA Omniverse平台工业机器人仿真的核心组件示例一&#xff1a;使用Isaac Sim创建基本机器人场景示例二&#xff1a;机器人运动规划和轨迹执行示例三&#xff1a;传感器集成与感知…...

编程日记 2025/6/23 22:12:36

docker安装jenkins

docker安装jenkins 1.安装javaJDK 服务器安装javaJDK ,因为我的服务器是直接集成了宝塔面板&#xff0c;我就直接从宝塔面板去安装JDK 最好安装17的JDK&#xff0c;因为后面会安装jenkins&#xff0c;需要17的版本 1.2查看安装是否完成 java --version 安装成功如下&#x…...

编程日记 2025/6/23 5:46:26

量子计算与人工智能融合的未来趋势

最近研学过程中发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击链接跳转到网站人工智能及编程语言学习教程。读者们可以通过里面的文章详细了解一下人工智能及其编程等教程和学习方法。 在当今科技飞速发展…...

编程日记 2025/6/24 8:21:59

人工智能在生物医药-新版ChatGPT-4o辅助一键生成机制图

新版ChatGPT-4o辅助一键生成机制图 作为一位生物医学教授专家&#xff0c;我将基于PubMed最新研究和科研大数据信息&#xff0c;遵循您的要求&#xff0c;一步一步进行思考和预测。 核心问题&#xff1a;乳酸化修饰促进肾透明细胞癌&#xff08;ccRCC&#xff09;恶性进展的机…...

编程日记 2025/6/1 14:57:30

支持 MCP 协议的开源 AI Agent 项目

关键要点 研究表明&#xff0c;目前有多个开源 AI Agent 项目支持 MCP 协议&#xff0c;包括 ChatMCP、HyperChat、5ire 和 Cherry Studio 等。这些项目主要用于聊天或桌面助手&#xff0c;允许通过 MCP 协议连接外部数据和工具。MCP 协议是 2024 年 11 月由 Anthropic 开源的…...

编程日记 2025/6/25 19:21:50

JavaRedis和数据库相关面试题

JavaRedis面试题 1. Redis是什么以及Redis为什么快&#xff1f; ​ Redis&#xff08;Remote Dictionary Server&#xff09;是一个开源的内存键值数据库&#xff0c;支持多种数据结构&#xff08;如字符串、哈希、列表、集合等&#xff09;&#xff0c;并提供持久化、复制、…...

编程日记 2025/6/25 16:33:33

Android开发RxJava3延迟操作

Android开发RxJava3延迟操作 直接上代码&#xff1a; /*** param timeMillis 毫秒单位* desc : 延迟多少毫秒操作,* 注&#xff1a;它和Activity生命周期绑定&#xff0c;界面关闭了不会再执行delayTodoListener.delayTodo()* author : congge on 2021-03-25 15:31**/p…...

编程日记 2025/6/25 8:30:58

android 设置状态栏背景

一 让activity ui界面和手机状态栏一样的背景 要让 Activity 的 UI 界面和手机状态栏具有相同的背景颜色&#xff0c;并且能够随着深色模式和非深色模式的切换而改变颜色&#xff0c;你可以按照以下步骤操作&#xff1a; 1. 让 Activity 和 状态栏背景颜色一致 使用 window.s…...

编程日记 2025/4/11 14:21:44

vue 常见优化手段

文章目录 vue常见的优化手段前言使用key（避免明明相同的dom，每次更新都要重新生成）使用冻结的对象（避免无意义的响应式数据）使用函数式组件（减少vue组件实例的生成）vue3vue2使用计算属性（减少数据计算的次数）非实时绑定的表单项（避免表单过多触发监听事件）保持对象的…...

编程日记 2025/5/28 2:55:31

vue生命周期、钩子以及跨域问题简介

Vue 的生命周期是指 Vue 实例从创建到销毁的整个过程。在这个过程中&#xff0c;Vue 提供了一系列的生命周期钩子&#xff08;Lifecycle Hooks&#xff09;&#xff0c;允许开发者在特定的时间点执行代码。以下是 Vue 的生命周期和钩子的简单说明&#xff1a; Vue 的生命周期阶…...

编程日记 2025/6/27 16:47:55

主相机绑定小地图

资源初始化&#xff1a;在类中通过 property 装饰器定义主相机、小地图相机、小地图精灵等资源属性&#xff0c;便于在编辑器中赋值。在 start 方法里&#xff0c;当确认这些资源存在后&#xff0c;创建渲染纹理并设置其大小&#xff0c;将渲染纹理与小地图相机关联&#xff0c…...

编程日记 2025/5/28 10:35:28

关于音频采样率，比特，时间轴的理解

是的&#xff0c;你的理解完全正确&#xff01;-ar、-af aresampleasync1000 和 -b:a 64k 分别用于控制音频的采样率、时间戳调整和比特率。它们各自有不同的作用&#xff0c;但共同确保音频的质量和同步性。下面我将详细解释每个参数的作用和它们之间的关系。 1. -ar 参数 作用…...

编程日记 2025/6/26 4:03:32

三、FFmpeg学习笔记

​ FFmpeg是一个开源、跨平台的多媒体处理框架&#xff0c;能够实现音视频的录制、转换、剪辑、编码、解码、流媒体传输、过滤与后期处理等几乎所有常见的多媒体操作。其强大之处在于几乎支持所有的音视频格式、编解码器和封装格式&#xff0c;是业界公认的“瑞士军刀”。 FFmp…...

编程日记 2025/6/26 8:04:01

什么是 Java 泛型

一、什么是 Java 泛型&#xff1f; 泛型&#xff08;Generics&#xff09; 是 Java 中一种强大的编程机制&#xff0c;允许在定义类、接口和方法时使用类型参数。通过泛型&#xff0c;可以将数据类型作为参数传递&#xff0c;从而实现代码的通用性和类型安全。 简单来说&…...

编程日记 2025/6/22 12:09:07

从 WPF 到 MAUI：跨平台 UI 开发的进化之路

一、引言 在软件开发领域&#xff0c;用户界面&#xff08;UI&#xff09;开发一直是至关重要的环节。随着技术的不断发展&#xff0c;开发者对于创建跨平台、高性能且美观的 UI 需求日益增长。Windows Presentation Foundation&#xff08;WPF&#xff09;和 .NET Multi - pl…...

编程日记 2025/6/24 10:39:05

Docker学习之dockerfile篇（day8）

文章目录 前言一、问题描述二、具体内容1. Docker 镜像原理2. Docker 镜像制作3. Dockerfile 概念Dockerfile 的基本结构&#xff1a; 4. Dockerfile 关键字5. Docker 实战案例5.1 基于 Nginx 构建 Web 服务器 6. 验证与总结6.1 验证 Dockerfile6.2 总结 前言 Docker 是一种轻…...

编程日记 2025/6/23 17:13:41

Kotlin 作用域函数：apply、let、run、with、also

在 Kotlin 开发中&#xff0c;作用域函数&#xff08;Scope Functions&#xff09;是一组能让代码更简洁、更函数式的高阶函数。它们通过不同的作用域规则和返回值设计&#xff0c;解决了对象配置、空安全处理、链式操作等常见场景问题。本文将结合核心特性、代码示例和对比表格…...

编程日记 2025/6/27 17:16:13

Java 线程池与 Kotlin 协程 高阶学习

以下是Java 线程池与 Kotlin 协程 高阶学习的对比指南&#xff0c;结合具体代码示例&#xff0c;展示两者在异步任务处理中的差异和 Kotlin 的简化优势&#xff1a; 分析&#xff1a; 首先&#xff0c;我们需要回忆Java中线程池的常见用法&#xff0c;比如通过ExecutorService创…...

编程日记 2025/6/22 23:49:56

C++学习笔记（三十三）——forward_list

一、std::forward_list (1) forward_list与其适用场景 std::forward_list 是 C的STL中的单向链表&#xff08;Singly Linked List&#xff09;&#xff0c;它相比 std::list&#xff08;双向链表&#xff09;更轻量&#xff0c;适用于仅需要单向遍历的场景。 主要特点&#…...

编程日记 2025/6/21 17:59:06

ROS订阅相机图像识别颜色并发布识别信息

一、前言 区别于之前的直接驱动相机&#xff0c;这里改为读取图像话题进行处理&#xff0c;原因是如果opencv驱动相机后只能单一使用&#xff0c;就限制了其他识别功能&#xff08;除非将原始图像发布出来&#xff09;&#xff0c;所以这里改成可以读取任意相机图像话题的方法…...

编程日记 2025/6/24 11:41:58

Redis-15.在Java中操作Redis-Spring Data Redis使用方式-操作集合类型的数据

一.操作集合类型的数据 package com.sky.test;import org.junit.jupiter.api.Test; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.data.redis.core.*;import j…...

编程日记 2025/6/24 1:42:15

第十一届蓝桥杯大赛软件赛省赛C/C++ 大学 B 组

1.字串排序 不会做&#xff0c;感觉挺难的&#xff0c;有兴趣的可以看下面题解 #include <iostream> #include <string.h> using namespace std; int V; int len;//符合交换次数V&#xff0c;字符串长度最小值 int now; //当前已经构造好的那一部分字符串逆序对个数…...

编程日记 2025/6/23 17:14:20

CentOS 安装 zip

安装软件 sudo yum install zip unzip # CentOS 7 sudo dnf install zip unzip # CentOS 8/9压缩文件 # 压缩单个文件 zip 压缩包名.zip 文件1# 压缩多个文件 zip 压缩包名.zip 文件1 文件2 文件3# 压缩目录&#xff08;包含子目录&#xff09; zip -r 压缩包名.zip 目…...

编程日记 2025/6/27 6:32:17

FastPillars：一种易于部署的基于支柱的 3D 探测器

FastPillars&#xff1a;一种易于部署的基于支柱的 3D 探测器Report issue for preceding element Sifan Zhou 1 , Zhi Tian 2 , Xiangxiang Chu 2 , Xinyu Zhang 2 , Bo Zhang 2 , Xiaobo Lu11{}^{1}start_FLOATSUPERSCRIPT 1 end_FLOATSUPERSCRIPT11footnotemark: 1 Chengji…...

编程日记 2025/6/24 23:59:11

LVS高可用负载均衡

一、项目图 二、主机规划 主机系统安装应用网络IPclientredhat 9.5无NAT192.168.72.115/24lvs-masterredhat 9.5ipvsadm&#xff0c;keepalivedNAT192.168.72.116/24 VIP 192.168.72.100/32lvs-backupredhat 9.5ipvsadm&#xff0c;keepalivedNAT192.168.72.117/24 VIP 192.168…...

编程日记 2025/6/24 14:33:31

Kafka延迟队列实现分级重试

技术方案 方案背景 Kafka队列消息消费处理过程中&#xff0c;发生处理异常&#xff0c;需要实现重试机制&#xff0c;并基于重试次数实现不同延迟时间重试方案。 方案介绍 通过实现Kafka延迟队列来实现消息重试机制。 目标&#xff1a; 支持所有业务场景的延迟重试支持多…...

编程日记 2025/6/26 6:33:32

谷粒微服务高级篇学习笔记整理---异步线程池

多线程回顾 多线程实现的4种方式 1. 继承 Thread 类 通过继承 Thread 类并重写 run() 方法实现多线程。 public class MyThread extends Thread {Overridepublic void run() {System.out.println("线程运行: " Thread.currentThread().getName());} }// 使用 pub…...

编程日记 2025/6/23 6:02:48