当前位置：首页 > news >正文

EXO分布式部署deepseek r1

news 来源：原创 2025/6/10 15:50:22

EXO 是一个支持分布式 AI 计算的框架，可以用于在多个设备（包括 Mac Studio）上运行大语言模型（LLM）。以下是联调 Mac Studio 512GB 的步骤：

安装 EXO
• 从 EXO GitHub 仓库下载源码或使用 git clone 获取项目。

• 运行安装脚本：

source install.sh

或者使用虚拟环境安装依赖项。

启动 EXO
• 在 Mac Studio 上运行：

exo

• 如果有多台设备（如 Mac mini 或其他 Mac Studio），可以在每台设备上运行 exo，EXO 会自动以 P2P（点对点）方式连接。

配置 Mac Studio 512GB
• 内存优化：EXO 要求所有设备的总内存足够容纳模型。Mac Studio 512GB 可以运行大模型（如 DeepSeek R1），但需确保 macOS 的 VRAM 分配足够（可能需要手动调整上限）。

• 性能优化：

• 升级到最新 macOS（如 Sequoia）。

• 运行 ./configure_mlx.sh 优化 GPU 内存分配。

运行模型
• 使用 EXO 的 API 或 WebUI：

• API 调用示例：

```bash
curl http://localhost:52415/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "deepseek-r1","messages": [{"role": "user", "content": "你的问题"}],"temperature": 0.7}'
```

• WebUI：访问 http://localhost:52415 使用类似 ChatGPT 的界面。

分布式计算（可选）
• 如果结合其他设备（如 Mac mini），EXO 会自动分配计算负载，提升推理速度。
注意事项
• 模型量化：对于大模型（如 DeepSeek R1），建议使用 4-bit 或 8-bit 量化以减少内存占用。

• 散热管理：长时间运行大模型可能导致 Mac Studio 发热，确保通风良好。

如果需要更详细的配置（如量化模型或微调），可参考 EXO 官方文档或 Unsloth 优化指南。

参考：https://blog.csdn.net/buvuvib66/article/details/146114658

EXO分布式部署deepseek r1

EXO 是一个支持分布式 AI 计算的框架，可以用于在多个设备（包括 Mac Studio）上运行大语言模型（LLM）。以下是联调 Mac Studio 512GB 的步骤： 安装 EXO • 从 EXO GitHub 仓库下载源码或使用 git clone 获取…...

编程日记 2025/5/18 6:53:07

机器学习 KNN算法

KNN算法 1. sklearn机器学习概述2. KNN算法-分类1 样本距离判断2 KNN 算法原理3 KNN缺点4 API5 sklearn 实现KNN示例6 模型保存与加载葡萄酒(load_wine)数据集KNN算法(1)wine.feature_names:(2)wine.target_names(3)KNN算法实现 1. sklearn机器学习概述获取数据、数据处理、特…...

编程日记 2025/5/27 20:25:52

强化学习赋能医疗大模型：构建闭环检索-反馈-优化系统提升推理能力

引言人工智能技术在医疗领域的应用正经历前所未有的发展，特别是在大型语言模型(LLMs)技术的推动下，医疗大模型(Medical Large Models)展现出巨大的潜力。这些模型不仅能够理解复杂的医学术语和概念，还能通过自然语言与用户交互，为医疗专业人士和患者提供有价值的信息和建…...

编程日记 2025/5/18 6:52:05

深入解析Spring Boot与JUnit 5的集成测试实践

深入解析Spring Boot与JUnit 5的集成测试实践引言在现代软件开发中，测试是确保代码质量和功能正确性的关键环节。Spring Boot作为目前最流行的Java Web框架之一，提供了强大的支持来简化测试流程。而JUnit 5作为最新的JUnit版本，引入了许多…...

编程日记 2025/5/18 6:52:02

哈希的原理、实现

目录引言一、哈希概念二、哈希函数三、哈希冲突解决方法四、unordered系列关联式容器（以unordered_map为例） 五、哈希的应用完整代码六、总结引言在计算机科学领域，哈希是一种非常重要的数据结构和算法思想，广…...

编程日记 2025/5/18 6:51:00

端口443在git bash向github推送时的步骤

端口443在git bash向github推送时的步骤你的环境可能因防火墙限制无法使用默认的 SSH 端口（22），因此需要改用 SSH over HTTPS（端口 443） 进行 Git 推送。 github与git bash绑定问题详见博主先前写过的参考博文&#…...

编程日记 2025/5/18 6:50:59

Ankr：Web3基础设施的革新者

在Web3技术蓬勃发展的今天，去中心化基础设施的重要性日益凸显。Ankr作为这一领域的佼佼者，凭借其强大的分布式云计算能力和创新的技术解决方案，正在成为推动Web3发展的关键力量。本文将深入探讨Ankr的技术亮点、应用场景以及其在区块链生态中…...

编程日记 2025/5/18 6:50:58

配置git从公网能访问-基于frp

git从公网能访问一个小小的疏忽带来了一下午上午的工作量起因与上下文与结论主要收获1。公网主机的防火墙需要至少三条3。gitlab的http端口和ssh端口，需要分为两个3。不要用nginx来解析二级域名测试指令最终的成功的指令是： 用到的指令ssh1. 生成 SSH …...

编程日记 2025/5/18 6:50:58

HarmonyOS：重构万物互联时代的操作系统范式

HarmonyOS：重构万物互联时代的操作系统范式引言：操作系统的新纪元在数字化转型的深水区，操作系统作为数字世界的基石正在经历前所未有的变革。当全球科技巨头还在移动终端操作系统领域激烈角逐时，华为推出的HarmonyOS以分布式…...

编程日记 2025/5/18 6:49:56

告别“知识孤岛”：RAG赋能网络安全运营

一、背景在网络安全运营工作中，我们积累了大量的内部知识内容，涵盖了威胁情报、事件响应流程、安全策略、合规性要求等多个方面。然而，这些知识虽然数量庞大、内容丰富，却因形式多样、结构分散，难以让每一位成员真正…...

编程日记 2025/5/18 6:49:55

A级、B级弱电机房数据中心建设运营汇报方案

该方案围绕A 级、B 级弱电机房数据中心建设与运营展开，依据《数据中心设计规范》等标准，施工范围涵盖 10 类机房及配套设施，采用专业化施工团队与物资调配体系，强调标签规范、线缆隐藏等细节管理。运营阶段建立三方协同运维模式，针对三级故障制定30 分钟至 1 小时响应机制…...

编程日记 2025/5/18 6:49:54

C 语言学习笔记（数组）

C 语言基础：第 08天笔记内容提要数组排序算法：冒泡排序二维数组字符数组数组冒泡排序排序思想（向前冒泡）： 一次排好一个数，针对n个数，最差情况需要n - 1次就可以排好每次排序假定第一…...

编程日记 2025/5/18 6:48:53

jvm安全点(二)openjdk17 c++源码垃圾回收安全点信号函数处理线程阻塞

1. 信号处理与桩代码（Stub） 当线程访问安全点轮询页（Polling Page）时： 触发 SIGSEGV 信号：访问只读的轮询页会引发 SIGSEGV 异常。信号处理函数：pd_hotspot_signal_handl…...

编程日记 2025/5/18 6:48:52

uni-app 开发HarmonyOS的鸿蒙影视项目分享：从实战案例到开源后台

最近，HBuilderX 新版本发布，带来了令人兴奋的消息——uni-app 现在支持 Harmony Next 平台的 App 开发。这对于开发者来说无疑是一个巨大的福音，意味着使用熟悉的 Vue 3 语法和开发框架，就可以为鸿蒙生态贡献自己的力量。前言作…...

编程日记 2025/5/18 6:48:52

【赵渝强老师】在PostgreSQL中访问Oracle

在PostgreSQL数据库中，oracle_fdw是PostgreSQL数据库支持的外部扩展。通过使用oracle_fdw扩展可以读取到Oracle数据库中的数据。它是一种非常方便且常见的PostgreSQL与Oracle的同步数据的方法。使用oracle_fdw扩展需要依赖Oracle的Instance Client环境。视频讲解如…...

编程日记 2025/5/18 6:48:51

板凳-------Mysql cookbook学习（二）

生成一个包含cookbook数据库中的表备份的名为backup.sql的dump文件。 sql C:\Users\lenovo>mysqldump -u root -p --default-character-setutf8mb4 cookbook > D:\sql\Mysql_learning\backup.sql mysqldump 不是内部或外部命令，也不是可运行的程序或批处理文…...

编程日记 2025/5/18 6:48:51

sudo apt update是什么意思呢？

非常好的问题！ ✅ sudo apt update 是什么意思？ 它的作用是： 更新你的 Ubuntu 系统中软件列表的信息（但不安装软件） 就像你每天先去超市了解今天上架了哪些新商品（只是“查看”而不是“买”）&a…...

编程日记 2025/5/18 6:47:49

.NET Core 中 Swagger 配置详解：常用配置与实战技巧

随着微服务架构和 RESTful API 的广泛应用，API 文档的管理和自动化生成成为了开发中的重要部分。Swagger（现为 OpenAPI）是一款功能强大的工具，它可以自动生成 API 文档，并提供交互式 UI，帮助开发者、测试人…...

编程日记 2025/5/18 6:47:48

spring cache使用指南

Spring cache Spring Cache 是一个框架，实现了基于注解的缓存功能，只需要简单地加一个注解，就能实现缓存功能。 Spring Cache 提供了一层抽象，底层可以切换不同的缓存实现。例如:EHCache，Caffeine，Redi…...

编程日记 2025/5/18 6:46:47

9.DMA

目录 DMA —为 CPU 减负 DMA 的简介和使用场景 DMA 的例子讲解 STM32 的 DMA 框图和主要特性编辑 DMA 的通道的对应通道外设 – DMA 和哪些外设使用编辑编辑ADC_DR 寄存器地址的计算常见的数据滤波方法 ADCDMA 的编程 DMA —为 CPU 减负 DMA 的简介和使用场…...

编程日记 2025/5/18 6:46:45

Python自学笔记3 常见运算符

常用运算符加减法 python的自动数据类型转换整形转为浮点型实数转为复数数字类型不能和浮点数类型相加减乘除法数据转换基本同加减法， 但字符串可以和整数相加减，作用是字符串的自我复制反斜杠成员运算符判断一个元素是不是一个序列的成员…...

编程日记 2025/5/18 6:46:45

【C/C++】C++中constexpr与const的深度对比

文章目录 C中constexpr与const的深度对比1. 编译期确定性2. 更严格的优化保证3. 适用范围更广4. 类型安全与错误检查5. 现代 C 的演进方向何时使用 const？constexpr应用场景1. 配置常量与全局参数2. 数据验证与业务规则检查3. 数学计算与业务逻辑优化4. 模板元编程与…...

编程日记 2025/5/18 6:46:44

牛客OJ在线编程常见输入输出练习--Java版

目录一、链接二、题目一、链接牛客输入输出链接：牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网二、题目 1.只有输出 public class Main {public static void main(String[] args) {System.out.println("H…...

编程日记 2025/5/18 6:45:40

STM32 | FreeRTOS 递归信号量

递归信号量一、概述互斥量的使用比较单一，因为它是信号量的一种，并且它是以锁的形式存在。在初始化的时候，互斥量处于开锁的状态，而被任务持有的时候则立刻转为闭锁的状态。递归类型的互斥量可以被拥有者重复获取。拥有互斥量…...

编程日记 2025/5/27 11:13:51

STM32 | 软件定时器

01 一、概述软件定时器是用程序模拟出来的定时器，可以由一个硬件定时器模拟出成千上万个软件定时器，这样程序在需要使用较多定时器的时候就不会受限于硬件资源的不足，这是软件定时器的一个优点，即数量不受限制。但由于软件定…...

编程日记 2025/5/18 6:45:37

2025年EB SCI2区TOP，多策略改进黑翅鸢算法MBKA+空调系统RC参数辨识与负载聚合分析，深度解析+性能实测

目录 1.摘要2.黑翅鸢优化算法BKA原理3.改进策略4.结果展示5.参考文献6.代码获取7.读者交流 1.摘要随着空调负载在电力系统中所占比例的不断上升，其作为需求响应资源的潜力日益凸显。然而，由于建筑环境和用户行为的变化，空调负载具有异质性和…...

编程日记 2025/5/18 6:44:34

互联网大厂Java面试：从Spring到微服务的全面探讨

文章简述本文模拟了一个互联网大厂Java求职者的面试场景，涵盖了Java核心语言与平台、构建工具、Web框架、微服务与云原生等多个技术栈。通过面试问答的形式，展示了在真实业务场景下如何应用这些技术点，帮助初学者理解和学习。场景介绍在…...

编程日记 2025/5/18 6:44:34

Python爬虫之路(14)--playwright浏览器自动化

playwright 前言你有没有在用 Selenium 抓网页的时候，体验过那种「明明点了按钮，它却装死不动」的痛苦？或者那种「刚加载完页面，它又刷新了」的抓狂？别担心，你不是一个人——那是 Selenium 在和现代前…...

编程日记 2025/5/27 12:43:49

Elasticsearch Fetch阶段面试题

Elasticsearch Fetch阶段面试题 🚀 目录基础原理性能优化错误排查场景设计底层机制总结基础原理 🔍 面试题1：基础原理题目：请描述Elasticsearch分布式搜索中Query阶段和Fetch阶段的工作流程，为什么需要将搜索过程拆分为这两个阶段？ 👉 点击查看答案查询流程…...

编程日记 2025/5/18 6:43:32

RAGFlow Arbitrary Account Takeover Vulnerability

文章目录 RAGFlowVulnerability Description[1]Vulnerability Steps[2]Vulnerability Steps[3]Vulnerability Steps RAGFlow RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine developed by Infiniflow, focused on deep document understanding and d…...

编程日记 2025/5/18 6:43:31

相关文章：