当前位置：首页 > news >正文

Ollama+Deepseek-R1+AnythingLLM本地个人知识库搭建

news 来源：原创 2025/8/28 9:42:48

一、Ollama+Deepseek-R1+AnythingLLM本地个人知识库搭建

在搭建强大的本地个人知识库以及提升开发效率的技术体系中，Ollama、DeepSeek-R1 和 AnythingLLM 扮演着举足轻重的角色。Ollama 作为模型运行与管理工具，是整个技术架构中的关键枢纽，负责模型的高效调度；DeepSeek-R1 凭借其卓越的语言理解和生成能力，为后续的知识处理和应用提供核心支持；AnythingLLM 则凭借丰富功能，助力构建多样化知识体系，丰富知识储备。

1、Ollama安装

1) 安装前了解

Ollama 是什么？

Ollama 是一个开源项目，用于运行和管理大型语言模型（LLM）的工具或平台。它提供了一个简化的框架，让用户能够在个人计算机或服务器上部署和运行这些模型，而无需依赖云端服务。Ollama 支持多种模型，并允许用户通过命令行或 API 与模型进行交互。

为什么 DeepSeek 本地化部署先安装 Ollama？

DeepSeek 是一个基于大型语言模型的应用，可以独立配置部署。

不过使用Ollama 提供的本地化部署能力，有以下几个原因：

1.模型管理：Ollama 简化了大型语言模型的下载、安装和管理，DeepSeek 需要这些模型来运行。

2.本地运行：Ollama 支持在本地运行模型，确保数据隐私和安全，这对 DeepSeek 的本地化部署至关重要。

3.性能优化：Ollama 针对本地环境进行了优化，确保模型在本地硬件上高效运行，提升 DeepSeek 的性能。

4.依赖集成：在其它工具中集成能简化部署、高效管理模型、优化性能，还能借助社区生态拓展应用。

2）官网下载

打开官网：ollama官网（ Ollama ），点击DownLoad，选择与自己电脑匹配的版本进行下载，我的电脑是Mackbook Pro，芯片是 Apple M3 Pro，所以下载macOS。

3）安装Ollama

下载到本地后，只需双击对应的下载包，按照安装向导的提示逐步完成安装操作。安装完成后，点击启动按钮，此时你便能在电脑右上角的任务栏中看到已启动的 Ollama 应用图标，

然后使用浏览器检查是否安装启动成功，地址： http://localhost:11434/ ,如果页面显示“Ollama is running”，则代表启动成功

📢 后面的安装，注意不要退出Ollama哦~

2、DeepSeek-R1安装

1）安装前了解

deepseek-r1下载方式

方式有"Download via Ollama"和"Download via Hugging Face"途径下载，本文是通过ollama来下载，直接打开地址选好模型： deepseek-r1下载（ deepseek-r1 ）

为什么 Apple M3 Pro 18GB 的设备最后还是要选择DeepSeek-R1 的 1.5b 版本？

按照理想状态的选择逻辑是：

•最佳选择：7b 版本（尤其是量化版本），在性能和资源占用之间取得最佳平衡。

•轻量级选择：1.5b 版本，适合对性能要求不高的场景。

•高性能选择：如果 DeepSeek-R1 提供 8b 量化版本，可以尝试运行，但需要监控内存使用情况。

但实际运行发现，如果涉及代码较多的改动或生成个小项目，电脑会卡顿，所以：

对于 Apple M3 Pro 18GB 的设备，推荐运行 DeepSeek-R1 的 1.5b 版本。如果任务稍复杂，可以选择 DeepSeek-R1 的 7b 版本。但是运行较大模型时，务必监控内存使用情况，避免系统资源不足。

📢 我本机使用的DeepSeek-R1 的 7b版本，后续介绍依于此哈！！！

硬件配置可以参考

	典型用途	CPU 建议	GPU 建议	内存建议 (RAM)	磁盘空间建议	适用场景
1.5b (15亿)	小型推理、轻量级任务	4核以上 (Intel i5 / AMD Ryzen 5)	可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)	8GB	10GB 以上 SSD	小型 NLP 任务、文本生成、简单分类
7b (70亿)	中等推理、通用任务	6核以上 (Intel i7 / AMD Ryzen 7)	中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)	16GB	20GB 以上 SSD	中等规模 NLP、对话系统、文本分析
14b (140亿)	中大型推理、复杂任务	8核以上 (Intel i9 / AMD Ryzen 9)	高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)	32GB	50GB 以上 SSD	复杂 NLP、多轮对话、知识问答
32b (320亿)	大型推理、高性能任务	12核以上 (Intel Xeon / AMD Threadripper)	高性能 GPU (如 NVIDIA A100, 40GB 显存)	64GB	100GB 以上 SSD	大规模 NLP、多模态任务、研究用途
70b (700亿)	超大规模推理、研究任务	16核以上 (服务器级 CPU)	多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)	128GB	200GB 以上 SSD	超大规模模型、研究、企业级应用
671b (6710亿)	超大规模训练、企业级任务	服务器级 CPU (如 AMD EPYC / Intel Xeon)	多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)	256GB 或更高	1TB 以上 NVMe SSD	超大规模训练、企业级 AI 平台