当前位置：首页 > news >正文

【编程干货】本地用 Ollama + LLaMA 3 实现 Model Context Protocol（MCP）对话服务

news 来源：原创 2025/8/20 14:06:39

模型上下文协议（MCP）本身提供的是一套标准化的通信规则和接口，简化了客户端应用的开发。

MCP 实际上是一套规范，官方把整套协议分成「传输层 + 协议层 + 功能层」三大块，并对初始化握手、能力协商、数据/工具暴露、安全约束等均给出了约束性 JSON-Schema。

基于 JSON-RPC 2.0 的开放协议，目标是像 USB-C 一样为 LLM 应用提供统一“插槽”。它定义三方角色——Host（应用）／Client（适配层）／Server（能力提供者），通过标准消息把资源、工具、提示模板等上下文按需送进 LLM，同时保留“人-机共管”审批流程，实现安全、可组合的本地或远程代理体系。

但是，需要注意，不要连接不信任的 server，MCP 没有在数据安全上提供任何保障。

下面我们可以实现一个最简的 MCP 服务。

0 先决条件

软件	版本建议	作用
操作系统	Windows 10/11、macOS 13+ 或任何较新的 Linux	仅需能运行 Ollama
Ollama	≥ 0.1.34	本地大语言模型后端
Python	3.10 – 3.12	运行 FastAPI 服务
Git	最新	克隆或管理代码
CUDA 12+（可选）	若使用 NVIDIA GPU	提升推理速度

CPU 也可运行，但 LLaMA 3-8B 在 GPU 上体验最佳。

1 安装 Ollama 并拉取 LLaMA 3

# 1.1 安装（macOS / Linux）
curl -fsSL https://ollama.com/install.sh | sh
# Windows 请下载 .msi 并双击安装# 1.2 启动后台（首次安装会自动启动）
ollama serve# 1.3 拉取 8B 模型（约 4.7 GB）
ollama pull llama3:8b

2 创建最小可用的 MCP 后端

2.1 目录结构

mcp-ollama/
│
├── app/
│   ├── main.py # FastAPI 入口
│   ├── mcp.py # 协议封装
│   └── store.py # 简易上下文存储
└── requirements.txt

2.2 requirements.txt

fastapi==0.110.*
uvicorn[standard]==0.29.*
httpx==0.27.*
python-dotenv==1.0.*

2.3 MCP 协议封装（app/mcp.py）

from typing importList, Dictdefbuild_prompt(history: List[Dict[str, str]], user_msg: str) -> str:"""把历史消息与当前输入拼接成大模型 prompt。MCP 规定 key 为 role / content，与 OpenAI messages 一致。"""lines = []for msg in history:lines.append(f"{msg['role'].upper()}: {msg['content']}")lines.append(f"USER: {user_msg}")return"\n".join(lines)SYSTEM_PROMPT = ("You are an AI assistant that follows instructions precisely. ""Answer in the same language as the question."
)

2.4 上下文存储（app/store.py）

from collections import defaultdict, deque_MAX_TURNS = 8 # 只保留最近 8 轮
_history = defaultdict(lambda: deque(maxlen=_MAX_TURNS))def add_msg(session_id: str, role: str, content: str):_history[session_id].append({"role": role, "content": content})def get_history(session_id: str):return list(_history[session_id])

2.5 FastAPI 入口（app/main.py）

import os, uuid, httpx
from fastapi import FastAPI
from pydantic import BaseModel
from app.mcp import build_prompt, SYSTEM_PROMPT
from app.store import add_msg, get_historyOLLAMA_URL = os.getenv("OLLAMA_URL", "http://localhost:11434")classChatReq(BaseModel):session_id: str | None = Nonemessage: strclassChatResp(BaseModel):session_id: stranswer: strapp = FastAPI(title="MCP Demo")@app.post("/chat", response_model=ChatResp) async def chat(req: ChatReq):sid = req.session_id orstr(uuid.uuid4())history = get_history(sid)prompt = f"{SYSTEM_PROMPT}\n{build_prompt(history, req.message)}"payload = {"model": "llama3:8b", "prompt": prompt, "stream": False}asyncwith httpx.AsyncClient() as client:r = await client.post(f"{OLLAMA_URL}/api/generate", json=payload, timeout=120)r.raise_for_status()ans = r.json()["response"]add_msg(sid, "user", req.message)add_msg(sid, "assistant", ans)return ChatResp(session_id=sid, answer=ans)

2.6 运行服务

pip install -r requirements.txt
uvicorn app.main:app --reload --port 8000

3 验证接口

# 第一次调用
curl -X POST http://localhost:8000/chat \
-H "Content-Type: application/json" \
-d '{"message":"Hello, what is MCP?"}' # 记录返回的 session_id# 带历史上下文的第二次调用
curl -X POST http://localhost:8000/chat \
-H "Content-Type: application/json" \
-d '{"session_id":"<上一步返回的id>","message":"Explain in Chinese."}'

你将看到回答中自动继承了第一轮对话，上下文逻辑即生效。

【编程干货】本地用 Ollama + LLaMA 3 实现 Model Context Protocol（MCP）对话服务

模型上下文协议（MCP）本身提供的是一套标准化的通信规则和接口，简化了客户端应用的开发。 MCP 实际上是一套规范，官方把整套协议分成「传输层协议层功能层」三大块，并对初始化握手、能力协商、数据/工具暴露、安全…...

编程日记 2025/8/20 14:06:39

华为策略路由

路由策略：是对路由条目进行控制，通告控制路由条目影响报文的转发路径。路由策略为控制平面。策略路由：是根据报文特征，认为的控制报文从某个即可转发出去，不修改路由表。即策略路由为在转发平面。路由策略策略路由…...

编程日记 2025/8/20 14:00:58

Spring Boot3 实现定时任务每10分钟执行一次，同时要解决分布式的问题区分不同场景

在Spring Boot 3中实现分布式定时任务，确保多实例环境下任务仅执行一次，可以采用以下方案： 方案一：Redis分布式锁（推荐） import org.springframework.data.redis.core.StringRedisTemplate; import org.sp…...

编程日记 2025/8/20 2:03:18

山东大学项目实训-创新实训-法律文书专家系统-项目报告（四）

项目简介法律文书专家系统是一个 Web 应用，提供法律文书摘要提取、法律预测报告生成和法律考试问题答疑三大核心功能。用户需要登录或注册后，进入主页面选择所需功能，进行相应的操作。用户群体律师：需要快速提取法律文书摘要…...

编程日记 2025/8/20 14:02:19

sqli-labs靶场通关保姆级教学（Get传输篇）Less-1Less-10

sqli-labs靶场通关保姆级教学（Get传输篇）Less-1~Less-10（纯手注） sqli - labs 靶场是一个专门用于网络安全学习和测试 SQL 注入漏洞的开源靶场。包含报错盲注、布尔盲注、基于联合查询的 SQL 注入等多种类型的 SQL 注入漏洞&…...

编程日记 2025/8/20 7:31:15

Day17 聚类算法（K-Means、DBSCAN、层次聚类）

一、聚类算法 1. K-Means 聚类原理：K-Means 是一种基于划分的聚类算法，目标是将 n n n 个样本划分到 k k k 个簇中，使得簇内样本的相似度尽可能高，簇间样本的相似度尽可能低。算法通过迭代的方式，不断更新簇的质心…...

编程日记 2025/8/20 14:06:36

构建 Web 浏览 AI Agent：Pydantic + MCP 实现指南

在当今快节奏的数字世界中，高效地从网站提取和总结信息可以成为改变游戏规则的利器。大型语言模型(LLM)提供了令人难以置信的能力，但它们本身并不知道如何浏览网络或获取实时内容。本文演示如何创建一个由Python驱动的AI Agent，它能够阅读和总结网站内容，使其成为研究人员…...

编程日记 2025/8/20 14:01:32

解决 pnpm dev 运行报错的坎坷历程

解决 pnpm dev 运行报错的坎坷历程在项目开发过程中， 在clone完别人的代码后启动项目时：nodejs 和 pnpm版本都没问题 ，但是无法运行 pnpm dev 命令启动项目时，往往会遇到各种各样的报错问题。最近在处理 yudao-ui-admin-vue3 项…...

编程日记 2025/8/20 14:00:08

从贴牌到品牌：出海官网如何让中国制造“贵”起来？

在全球经济一体化的当下，中美关税战如同一记重锤，给国际贸易格局带来了巨大震荡。自贸易摩擦爆发以来，双方多次调整关税政策，涉及的商品种类不断增多，税率持续攀升，众多中国企业的出口业务遭受重创&#xf…...

编程日记 2025/8/20 14:00:05

ultralytics框架进行RT-DETR目标检测训练

自DETR提出以来，其采用匈牙利匹配方式真正的实现了端到端检测效果，避免了NMS等后处理过程，同时，相较CNN的局部特征提取，其凭借着Transformer强大的全局特征提取能力，在目标检测领域可谓大杀四方&#xff0c…...

编程日记 2025/8/20 13:59:09

SQLite基本函数

目录 1 核心函数和聚合函数 1.1 核心函数 1.2 聚合函数 2 字符串函数 3 日期和时间函数 4 数学函数 5 JSON函数 (SQLite 3.9.0) 6 窗口函数 (SQLite 3.25.0) 7 加密和安全函数 8 其他实用函数 9 C#代码示例：使用SQLite函数 9.1 准备工作 9.2 代码实现…...

编程日记 2025/8/20 14:06:37

使用Java和LangChain4j实现人工智能：从分类到生成式AI

人工智能（AI）从科幻小说中的梦想逐步演变为现实，驱动了从语音助手到自动驾驶汽车的各种应用。AI 的发展主要基于两种方法：基于编码的传统方法和基于机器学习的现代方法。机器学习通过神经网络和大量训练数据实现分类、生成等任务&…...

编程日记 2025/8/20 14:03:54

数据分析指标体系

目录 1. 构建业务公式，用量化逻辑串联业务 1.1 明确公式结果 1.2 拆解业务过程 1.3 构建计算关系（yaxb） 经典的成交额业务公式小疑问： 如何让自己的指标看起来更专业？ 量化业务过程的量化，到底是什…...

编程日记 2025/8/19 21:35:19

分布式、高并发-Day04

以下是 Day 4 详细学习内容（CAS 与原子操作实战，30 分钟完整计划），包含原理解析、分步代码实战和性能对比： 📖 今日学习目标掌握 CAS（Compare-And-Swap）无锁算法的核心原理学会使…...

编程日记 2025/8/19 7:55:19

计算机中的逻辑运算

目录一、总览二、详情 1. 基本逻辑运算（与、或、非）： 2. 其他常用的逻辑运算（异或、同或、与非、或非）： 在计算机中，逻辑运算是构成数字电路和计算机程序基础的关键操作。它们处理的是真值…...

编程日记 2025/8/19 23:56:35

Dify - Stable Diffusion

Stable Diffusion 是一种基于文本提示生成图像的工具，Dify 已经实现了访问 Stable Diffusion WebUI API 的接口，因此你可以直接在 Dify 中使用它。以下是在 Dify 中集成 Stable Diffusion 的步骤。 1. 初始化本地环境推荐使用装有较强 GPU 的机器来安…...

编程日记 2025/8/18 5:29:40

weapp-vite - 微信小程序工具链的另一种选择

weapp-vite - 微信小程序工具链的另一种选择前言 weapp-vite 是由笔者 icebreaker 开发的一个基于 vite 的现代化微信小程序开发工具链。我给它设定的目标初心是: 为小程序开发者带来笑容。自从在 2024 年的 8 月正式发布之后，到现在也过了将近 9 个月的时间。…...

编程日记 2025/8/17 8:30:53

图形化编程重塑 IoT 边缘开发：技术革新与生态竞合新范式

本文以图形化编程技术为核心，深度剖析其在 IoT 边缘开发中的创新应用与行业变革。通过对传统开发困局的系统解构，结合 iVX 项目等典型案例，揭示图形化编程如何通过可视化逻辑设计、自动代码生成及 AI 驱动架构，实现开发效率与应用…...

编程日记 2025/8/19 21:50:19

node-sass安装失败解决方案

1、python环境问题 Error: Cant find Python executable "python", you can set the PYTHON env variable. 提示找不到python2.7版本， 方法一：可安装一个python2.7或引用其他已安装的python2.7 通过设置环境变量可以解决； 方法二&…...

编程日记 2025/8/17 8:31:01

PDF内容搜索--支持跨文件夹多文件、组合词搜索

平时我们接触到的PDF文档特别多，需要对PDF文档做一些处理，那么今天给大家带来的这两个软件非常的棒，可以帮你提升处理文档的效率。 PDF内容搜索快速检索我用夸克网盘分享了「PDF搜索PDF 转长图.zip」，点击链接即可保存。打开「…...

编程日记 2025/8/17 9:00:00

我用cursor 搭建了临时邮箱服务-Temp Mail 365

用业余时间搭建了一个临时邮箱，对于后端程序员出身的我，对前端了解的不太多，有了cursor的帮助，补齐了自己的短板，搭建了这个服务，下面对临时邮箱架构设计与安全性做一个分析。 https://temp-mail-365.com 临…...

编程日记 2025/8/17 20:36:26

RN学习笔记 ✅

太无聊了最近，找点事做，学一下RN丰富一下技术栈🫡。但是开发APP除了RN，还有一种选择就是WebView，但是基于WebView的APP的性能被普遍认为不如RN，因为WebView本质上是一个容器，用于在应用中嵌入网…...

编程日记 2025/8/18 21:19:42

使用原生 CSS 实现轮播

提示：记录工作中遇到的需求及解决办法文章目录前言一、核心新特性1. ::scroll-button()2. ::scroll-marker()二、基础实现步骤1. 创建滚动容器2. 添加滚动按钮3. 集成滚动标记三、高级功能1. 滚动驱动动画2. 状态查询3. 响应式布局四、展示前言最新！原生CSS也可以实现轮播…...

编程日记 2025/8/17 9:25:30

C语言进阶—函数（static，递归，回调，指针，内联，变参，结构体尺寸）

目录一 static函数 1. static变量 1.静态局部变量 2.静态全局变量 2. static函数二递归函数三指针函数&函数指针 1. 指针函数 2. 函数指针四回调函数五内联函数 1. 核心特性表 2. 优缺点分析表 3. 用场景建议 3.1 推荐使用场景 3.2 应避免场景六…...

编程日记 2025/8/18 5:29:24

碰一碰发视频源码搭建的定制化开发实践

在数字化营销与信息交互的浪潮中，碰一碰发视频技术以其便捷性和高效性，成为吸引用户的重要手段。然而，通用的碰一碰发视频系统往往难以满足企业多样化的业务需求。通过对源码进行定制化开发，可以打造出契合特定场景的专属系统。本…...

编程日记 2025/8/19 9:15:05

代码mark：脚本获取包含全角字符的字符串的长度

脚本获取包含全角字符的字符串的长度 function myLen(s) { var r 0; for (var i 0; i < s.length; i) { var c s.charCodeAt(i); // Shift_JIS: 0x0 ～ 0x80, 0xa0 , 0xa1 ～ 0xdf , 0xfd ～ 0xff // Unicode : 0x0 &…...

编程日记 2025/8/18 19:26:15

FPGA----基于ZYNQ 7020实现petalinux并运行一个程序

引言：上一节我们讲到了使用Alinx 7020b自带的sd卡中的petalinux进行epics的编译，但此种方案个性化程度不足。如：我们项目需要FPGA侧的配合，那么我们需要重新编译petalinx。注意：本文的知识点来自下面两篇文章&#x…...

编程日记 2025/8/20 2:52:28

微服务架构详解

微服务架构的思想本质我们为什么需要微服务架构，它一定是为了解决我们某些问题才出现了。这篇文章我们讨论下微服务架构模式所解决的问题，带来的挑战，以及他的核心思想本质。 1 早期的服务架构上图是一个典型的服务分层架构：…...

编程日记 2025/8/17 9:35:00

error:0308010C:digital envelope routines::unsupported

npm run dev 报错： \node_modules\webpack\hot\dev-server.jsnode:internal/crypto/hash:71 this[kHandle] new _Hash(algorithm, xofLen); Error: error:0308010C:digital envelope routines::unsupported opensslErrorStack: [ error:03000086:digital env…...

编程日记 2025/8/17 9:28:26

Blender 初学者指南以及模型格式怎么下载

glbxz.com glbxz.com 可以直接下载Blender格式模型第 1 步：打开这就是 blender 打开时的样子。您面对的是左侧和右侧的工具栏，顶部是文件作，底部是时间轴，中间是 3D 视图。 Blender 的默认起始网格是一个立方体&#xff0c…...

编程日记 2025/8/19 16:29:49

开个帖子记录一下自己学spring源码的过程

一、写在开头简单记录下来时路，以后也能回头看看鼓励下自己。我以前不喜欢拍照，觉得没什么意思，有一天百度云盘给我推不知道什么时候从相册推到百度云相册的照片，那是我口罩时期在家上体育课的照片，我现在回头望过去…...

编程日记 2025/8/17 8:53:54

【coze】工作流（B站视频总结改写）

【coze】工作流（B站视频总结改写） 1.创建智能体2.工作流2.1 获取视频文案2.2 串联试运行2.3 二次创作（大模型）2.4 MD格式2.5 输出2.6 发布并调用关于工作流： 简单业务， 如果智能体的逻辑比较简单&#xf…...

编程日记 2025/8/17 9:26:47

文化符号与隐形的社会话语权力：解码布尔迪厄理论下的意识形态操控机制

文化符号与隐形的社会话语权力：解码布尔迪厄理论下的意识形态操控机制引言：符号背后的权力博弈在当代社会，文化符号早已超越其表层的审美或实用功能，成为维系社会等级、塑造意识形态的隐形权力工具。从故宫博物院的金色琉璃瓦…...

编程日记 2025/8/17 10:37:43

一个关于fsaverage bem文件的说明

MNE文档：基于模板 MRI 的 EEG 前向算子 Head model and forward computation 在了解了脑图谱发展的过程之后，对脑的模版有了更深的认识，所以，对于之前使用的正向的溯源文件，进行一下解析，查看包含的信息&a…...

编程日记 2025/8/18 21:48:17

如何解决Kafka集群中Broker磁盘IO瓶颈？

针对Kafka集群Broker磁盘IO瓶颈问题，这里从实际运维场景出发给出解决方案： 1. 分区负载均衡优化分区迁移策略 # 查看Topic分区分布（识别热点Broker） kafka-topics --bootstrap-server broker1:9092 --describe --topic high_t…...

编程日记 2025/8/19 19:18:29

42 python http之urllib库

作为办公室牛马，日常工作中总少不了和网络数据打交道。比如从公司内部系统抓取数据做报表。Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理一、Urllib 基础入门 urllib 是 Python 内置的一个强大的处理 URL 和网络请求的库，它包含了多个模块，每个模块都有…...

编程日记 2025/8/18 5:29:06

如何把阿里云a账号下面的oss迁移到阿里云b账号下面（同区域）

1.登录a账号进入bucket选择同区域复制 2.登录b账号进入bucket选择bucket授权策略，选择接受复制对象，手动输入，然后是a账号的id和角色名字即可。 3.然后在去a账号保存下同步任务，开始同步了就。...

编程日记 2025/8/17 10:28:49

cuda多维线程的实例

1、注意：在多维中的变化时与平常的不一样，如下图所示，横向变换x，纵向变换y 2、cuda内置变量： 1、thread（线程）： 一个线程可作为一个运算单元，多个thread可组成一个block(…...

编程日记 2025/8/17 9:03:46

哈希表的设计

1. 哈希表的基本原理哈希表是一种通过哈希函数将元素的键（Key）映射到存储位置的数据结构。哈希函数的作用：通过键值计算存储位置，公式一般为 index hash(key) % capacity。哈希冲突：不同的键可能被映射到同一…...

编程日记 2025/8/17 10:58:30

前端取经路——入门取经：初出师门的九个CSS修行

大家好，我是老十三，一名前端开发工程师。CSS就像前端修行路上的第一道关卡，看似简单，实则暗藏玄机。在今天的文章中，我将带你一起应对九大CSS难题，从Flexbox布局到响应式设计，从选择器优先级到B…...

编程日记 2025/8/19 22:30:49

网络安全等级保护有关工作事项[2025]

公安部发布公网安〔2025〕1846号文件，关于对网络安全等级保护有关共工作事项的进一步说明一、备案相关问题 1、如何执行系统备案动态更新工作? 全面梳理与重新填报： 答复：运营者需**全面梳理已备案系统**的情况，对于已完成定…...

编程日记 2025/8/18 17:55:36

柯西不等式应用题

第一种方法是作两个相似三角形ABC和CDE,求出AE长度为3。那么BD最大长度为3。方法二：柯西不等式（a＋b）（c＋d）≥（ac＋bd） （1√（5-2x&…...

编程日记 2025/8/17 8:31:04

聚焦多种检测场景，华大基因推出全流程本地化检测综合解决方案

“从毫米到微米，神秘的微观世界被发现；从微米到纳米，生命的本源被不断认知。”在时代背景及战略机遇的多重影响下，精准医学已成为新兴的发展趋势，对医学模式的发展具有重要的意义。一直以来，华大基因都致力…...

编程日记 2025/8/17 10:07:12

职场口语之名词从句

目录一、主语从句二、宾语从句三、表语从句四、同位语从句一、主语从句 1. Who will win the game is uncertain. 谁将赢得这场比赛还不确定。 2. Why he was late isnt clear. 他为什么迟到还不清楚。 3. What we should do next is important. 我们接下来应该做什么…...

编程日记 2025/8/17 8:31:06