当前位置：首页 > news >正文

mit6.824-lab1

news 来源：原创 2025/5/15 14:24:06

1.任务及要求

https://pdos.csail.mit.edu/6.824/labs/lab-mr.html

2 Coordinator 与 Worker 的设计分析

2.1 Coordinator（协调器）的核心职责

协调器是 MapReduce 系统的核心控制节点，负责全局任务调度与状态管理，具体功能如下：

1. 任务分配与状态监控

任务类型分发
Coordinator 维护两个任务数组（MapTasks 和 ReduceTasks），根据当前阶段（Map 或 Reduce）向 Worker 分配任务。
- 任务状态标记：每个任务包含状态字段（Pending, Active, Completed），确保任务不会被重复分配。
- 超时监控：为每个任务记录开始时间，通过后台 goroutine 定期扫描超时任务（例如 10 秒未完成），将其状态重置为 Pending 以供重试。

type Task struct {FileName       stringTaskID         int      // 唯一标识符TaskType       TaskType // "map" 或 "reduce"ReduceNum      int      // Reduce的数量，任何任务都要用到Status         TaskStatusStartTime      time.Time
}

2. 阶段推进控制

Map → Reduce 的条件
当所有 Map 任务完成（生成中间文件 mr-X-Y）后，Coordinator 切换至 Reduce 阶段。
Reduce 完成标志
所有 Reduce 任务完成后，Coordinator 标记整个作业为完成状态。

func (c *Coordinator) allMapTasksDone() bool {for _, t := range c.mapTasks {if t.Status != Completed {return false;}}return true;
}

3. 容错机制

Worker 故障处理
若 Worker 崩溃或超时，Coordinator 将任务重新标记为 Pending，确保其他 Worker 可接管。
幂等性保证
即使 Worker 重复提交任务结果（如网络重传），Coordinator 仅接受第一次成功的结果。

2.2 Worker（工作节点）的核心职责

Worker 负责执行具体的 Map/Reduce 计算任务，并与 Coordinator 协作。

1. 任务生命周期管理

任务拉取
通过 RPC 向 Coordinator 请求任务（GetTask 接口）。
任务执行
- Map 任务：读取输入文件，调用用户定义的 mapF，生成中间键值对并分区为 mr-X-Y 文件（X 为 Map ID，Y 为 Reduce ID）。
- Reduce 任务：收集所有 mr-X-Y 文件（Y 对应 Reduce ID），按键排序后调用 reduceF，输出最终结果 mr-out-Y。
结果上报
通过 CompleteTask RPC 通知 Coordinator 任务完成状态。

func StartWorker(mapf func(string, string) []KeyValue,reducef func(string, []string) string) {worker := NewWorker(coordinatorIp + ":" + coordinatorPort)// 1. 连接协调器for {if err := worker.connectToCoordinator(); err != nil {log.Printf("Failed to initialize connection: %v", err)log.Println("Retrying in 10 seconds...")time.Sleep(10 * time.Second)continue}log.Println("Successfully connected to coordinator.")break}// 2. 主循环：请求任务 -> 执行任务 -> 报告任务完成for {err := worker.callGetTask()if err != nil {log.Printf("Failed to get Task:")time.Sleep(5 * time.Second) // 等待一段时间后重试continue}// 根据任务类型执行相应的操作switch worker.task.TaskType {case MapTask:time.Sleep(5 * time.Second)log.Printf("Executing Map Task: %+v\n", worker.task)worker.executeMapTask(Map)case ReduceTask:log.Printf("Executing Reduce Task: %+v\n", worker.task)worker.executeReduceTask(Reduce)default:log.Printf("没有任务，需要等待")time.Sleep(5 * time.Second)}//完成任务if err := worker.callTaskDone(); err != nil {log.Printf("Failed to report Task done: %v", err)}log.Println("")}
}

2. 文件原子写入

临时文件
Worker 将结果先写入临时文件（如 mr-tmp-X-Y），完成后通过 os.Rename 原子性重命名为正式文件，避免其他 Worker 读取不完整数据。

2.3 代码结构设计

Coordinator 关键数据结构

type Coordinator struct {// 作业状态Status  CoordinatorStatus // "idle", "mapping", "reducing", "completed"nReduce int// Map任务列表mapTasks []Task // Reduce任务列表reduceTasks []Task mu sync.Mutex // 用于同步访问共享资源：比如访问结构体内的字段
}

Worker 关键数据结构

2.4 测试与验证

执行流程1.启动协调器
cd main
go run .\mrcoordinator.go pg-being_ernest.txt pg-dorian_gray.txt pg-frankenstein.txt pg-grimm.txt  pg-huckleberry_finn.txt  pg-metamorphosis.txt pg-sherlock_holmes.txt pg-tom_sawyer.txt2.打开其他终端启动worker
go run .\mrworker.go3.测试超时机制
在worker任务进行时停止进程

在这里插入图片描述

测试用例

基础功能测试
- 单次 MapReduce 流程的正确性验证。
- 中间文件分区的完整性检查。
容错测试
- 模拟 Worker 崩溃，验证任务重试机制。
- 强制超时触发任务重新分配。
并发压力测试
- 启动多个 Worker，观察任务分配均衡性。

常见问题与解决

竞态条件：未加锁导致的任务状态不一致（通过 sync.Mutex 修复）。
文件冲突：多个 Worker 同时写入同一文件（通过临时文件+原子重命名解决）。
任务死锁：所有 Worker 等待不存在的任务（检查阶段切换逻辑）。

3. 总结及项目地址

https://gitee.com/the-wind-is-clear-and-silent/mit6.824-lab1

先做好两个进程间通讯的功能，这方面 Go rpc的传递数据有严格的要求，没接触过的可能会出错

在写分发任务的时候再思考需要什么字段，可不可以不要哪些

在重要的地方多写日志

mit6.824-lab1

1.任务及要求 https://pdos.csail.mit.edu/6.824/labs/lab-mr.html 2 Coordinator 与 Worker 的设计分析 2.1 Coordinator（协调器）的核心职责协调器是 MapReduce 系统的核心控制节点，负责全局任务调度与状态管理，具体功能如下…...

编程日记 2025/5/15 14:24:06

Vision Transformer：打破CNN垄断，全局注意力机制重塑计算机视觉范式

目录引言一、ViT模型的起源和历史二、什么是ViT？ 图像处理流程图像切分展平与线性映射位置编码 Transformer编码器分类头（Classification Head） 自注意力机制注意力图三、Coovally AI模型训练与应用平台四、ViT与图像…...

编程日记 2025/5/14 7:27:44

linux查看所有程序占用的本地端口

sudo ss -tulwnp ss是Socket Statistics的缩写，用来替代旧的netstat工具，功能更强大，执行更快。它用于查看系统的网络连接情况，包括TCP、UDP等协议的信息。查阅ss的帮助文档（man ss），发现选项…...

编程日记 2025/5/14 4:40:45

java后端开发day15--字符串（一）

（以下内容全部来自上述课程） 1.API （Application Programming Interface 应用程序编程接口） 1.简单理解简单理解：API就是别人已经写好的东西，我们不需要自己编写，直接使用即可。 Java API&…...

编程日记 2025/5/12 6:11:44

C++STL容器之map的使用及复现

map 1. 关联式容器 vector、list、deque、forward_list(C11) 等STL容器，其底层为线性序列的数据结构，里面存储的是元素本身，这样的容器被统称为序列式容器。而 map、set 是一种关联式容器，关联式容器也是用来存储数据的&#xf…...

编程日记 2025/5/15 7:31:44

lvs的DR模式

基于Linux的负载均衡集群软件 LVS 全称为Linux Virtual Server,是一款开源的四层(传输层)负载均衡软件 Nginx 支持四层和七层(应用层)负载均衡 HAProxy 和Nginx一样,也可同时支持四层和七层(应用层)负载均衡基于Linux的高可用集群软件 Keepalived Keepalived是Linux…...

编程日记 2025/5/14 9:48:05

FlutterWeb实战：07-自动化部署

Flutter Web 开发打包后，可以手动发布到服务器上，通过 nginx 来托管静态页面。本文将介绍如何将这一过程自动化。整体思路使用脚本自动化构建，然后使用 Docker 打包成镜像，最后部署在服务器上。自动化构建这里使用 GitLab-…...

编程日记 2025/5/12 4:21:49

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20020.%20%E5%9B%9E%E6%96%87%E5%AD%90%E5%AD%97%E7%AC%A6%E4%B8%B2%E7%9A%84%E4%B8%AA%E6%95%B0/README.md 剑指 Offer II 020. 回文子字符串的个数题目描述 …...

编程日记 2025/5/12 11:22:31

vue中附件下载及打印功能

1.附件dom 注：fileList是由后台返回的附件数组，数组中包含附件名称fileName,附件地址url，附件id等信息 <el-form-item label"附件" style"width: 100% !important;" v-if"modelTypeborrowDetail"><d…...

编程日记 2025/5/9 0:51:17

Python(十九)实现各大跨境船公司物流查询数据处理优化

一、前言之前已经实现了常用跨境物流船司基础信息查询功能，如下所示实现各大跨境船公司[COSCO/ZIM/MSK/MSC/ONE/PIL]的物流信息查询：https://blog.csdn.net/Makasa/article/details/145484999?spm1001.2014.3001.5501 然后本章在其基础上做了一些…...

编程日记 2025/5/15 9:41:00

android 安装第三方apk自动赋予运行时权限

摘要：行业机使用场景点击运行时权限很麻烦，而随着android的演进，对于权限的管控越发严格。故本文通过对系统的修改实现第三方app在运行时直接获取全部权限。通过属性ro.perms.force_grant控制功能开关。 Index: frameworks/base/services/…...

编程日记 2025/5/13 17:14:50

java8、9新特性

JAVA8 Lambda 表达式 (parameters) -> expression 或 (parameters) ->{ statements; } 提供了一种更为简洁的语法，尤其适用于函数式接口。相比于传统的匿名内部类，Lambda 表达式使得代码更为紧凑，减少了样板代码的编写。它允许将函…...

编程日记 2025/5/14 3:12:34

程序诗篇里的灵动笔触：指针绘就数据的梦幻蓝图＜9＞

大家好啊，我是小象٩(๑ω๑)۶ 我的博客：Xiao Xiangζั͡ޓއއ 很高兴见到大家，希望能够和大家一起交流学习，共同进步。这一节是对之前内容的修整目录一、传值调用和传址调用二、数组名的理解三、指针访问数组四、结尾一…...

编程日记 2025/5/14 13:56:15

Java网络编程入门

网络编程是指通过计算机网络进行数据传输和通信的过程。在Java中，网络编程提供了一套强大的API，使得开发者能够轻松地创建网络应用程序。本文将介绍Java网络编程的基本概念和一些常用的类。 1.网络编程的基本概念在网络编程中，我们通常需要…...

编程日记 2025/5/12 17:43:11

2.4 构建模块化应用

第4章：构建模块化应用模块化应用是 JDK 9 的核心特性之一，通过模块化系统（Project Jigsaw）实现代码的强封装和显式依赖管理。本章详细讲解如何从零构建一个模块化应用，包括模块定义、编译、打包、运行及调试。 4.1 模…...

编程日记 2025/4/25 4:21:43

14.1 Auto-GPT 项目定位与价值解读：揭开自主智能体的神秘面纱

Auto-GPT 项目定位与价值解读：揭开自主智能体的神秘面纱关键词：Auto-GPT 核心机制、自主任务分解、LangChain 智能体、持续自我优化、AGI 实践路径一、为什么 Auto-GPT 能引爆技术圈？ 1.1 从工具到员工的范式转移维度传统AI系统Auto-GPT 智能体输入方式精确指令（“翻译…...

编程日记 2025/5/11 17:56:18

【Elasticsearch】分析器的构成

在Elasticsearch中，分析器（Analyzer）是一个处理文本数据的管道，它将输入的文本转换为一系列词元（tokens），并可以对这些词元进行进一步的处理和规范化。分析器由以下三个主要组件构成&#xff1a…...

编程日记 2025/5/11 18:00:06

2025 年前端开发现状分析：卷疯了还是卷麻了？

一、前端现状：框架狂飙，开发者崩溃如果你是个前端开发者，那么你大概率经历过这些场景： 早上打开 CSDN（或者掘金，随便），发现又有新框架发布了，名字可能是 VueXNext.js 之…...

编程日记 2025/5/15 8:51:51

单例模式详解（Java）

单例模式详解（Java）一、引言 1.1 概述单例模式的基本概念和重要性单例模式是一种常用的软件设计模式，它确保一个类在整个应用程序中只有一个实例，并提供一个全局访问点来访问这个唯一实例。这种模式在资源管理、配置设置和日志记录等方面非常有用，因为它们通常只需要…...

编程日记 2025/5/12 15:15:57

后端面试题

以下是一些常见的后端面试题：一、通用基础请简述HTTP协议的工作原理。答案： HTTP是基于请求 - 响应模型的协议。客户端（通常是浏览器）向服务器发送一个HTTP请求，请求包含请求行（包含请求方法，如GET、POST等、请求的URL和HTTP版本）、请求头（包含诸如浏览器类型、接…...

编程日记 2025/5/14 6:54:10

深入理解Linux网络随笔（一）：内核是如何接收网络包的（上篇）

深入理解Linux网络随笔（一）：内核是如何接收网络包的（上篇） 1、TCP/IP模型概述从Linux视角看，TCP/IP网络分层模型包括用户空间和内核空间。用户空间（应用层）负责HTTP、FTP等协议的…...

编程日记 2025/5/12 8:54:49

SQL-leetcode—1393. 股票的资本损益

1393. 股票的资本损益 Stocks 表： ---------------------- | Column Name | Type | ---------------------- | stock_name | varchar | | operation | enum | | operation_day | int | | price | int | ---------------------- (stock_name, operation_day) 是这张…...

编程日记 2025/5/9 7:04:01

热更图片方案

项目平常需要对线上一些图片资源修正，所以需要热更图片功能。远端入口新增字段配json文件 {"1.1.22030303":{"sprite":{"assets/ui/common/images/acient_gold.png" : "https://aaaa.png","assets/ui/common/image…...

编程日记 2025/5/11 22:22:49

Flutter PIP 插件 ---- iOS Video Call

以下是一篇关于在 iOS 中实现画中画(PiP)功能的技术博客: iOS 画中画(PiP)功能实现指南简介画中画(Picture in Picture, PiP)是一项允许用户在使用其他应用时继续观看视频内容的功能。本文将详细介绍如何在 iOS 应用中实现 PiP 功能。系统要求 iOS 15.0 及以上版本AVKi…...

编程日记 2025/5/11 18:00:08

本地部署DeepSeek开源大模型：从零开始的详细教程

友情提示：本文内容全部由银河易创（https://ai.eaigx.com）AI创作平台deepseek-reasoner模型生成，仅供参考。请根据具体情况和需求进行适当的调整和验证。近年来，随着人工智能技术的飞速发展，大模型在各个领…...

编程日记 2025/5/12 21:01:54

java项目之基于SSM会议管理系统的设计与实现源码(ssm+mysql)

项目简介基于SSM会议管理系统的设计与实现实现了以下功能： 基于SSM会议管理系统的设计与实现的主要使用者分为：管理员登录后修改个人的密码。用户管理中，对公司内的用户进行管理，包括会议管理员和员工，管理部门信息…...

编程日记 2025/5/11 18:00:10

PortSwigger——WebSockets vulnerabilities

文章目录一、WebSockets二、Lab: Manipulating WebSocket messages to exploit vulnerabilities三、Lab: Manipulating the WebSocket handshake to exploit vulnerabilities四、Using cross-site WebSockets to exploit vulnerabilities4.1 跨站WebSocket劫持（cro…...

编程日记 2025/5/11 2:14:01

STM32系统架构介绍

STM32系统架构 1. CM3/4系统架构2. CM3/4系统架构-----存储器组织结构2.1 寄存器地址映射（特殊的存储器）2.2 寄存器地址计算2.3 寄存器的封装 3. CM3/4系统架构-----时钟系统 STM32 和 ARM 以及 ARM7是什么关系? ARM 是一个做芯片标准的公司&#xff0c…...

编程日记 2025/5/13 23:05:24

智能GUI Agent是什么，有什么应用领域

智能GUI Agent是什么研究背景与目的：GUI长期主导人机交互，LLM特别是多模态模型的出现，为GUI自动化带来变革，催生了基于LLM的GUI智能体。这些智能体可理解自然语言指令，处理复杂GUI元素并执行操作，改变了用户与软件交互方式。论文旨在梳理该领域发展脉络，剖析关键要素，…...

编程日记 2025/5/12 12:57:19

Python3操作MongoDB批量upsert

个人博客地址：Python3操作MongoDB批量upsert | 一张假钞的真实世界代码如下： mongoClient MongoClient(mongodb://172.16.72.213:27017/) opsDb mongoClient.ops azScheduled opsDb.azScheduledFlowbulkOpers [] for flow in scheduledFlows.valu…...

编程日记 2025/5/13 22:34:07

3dgs 2025 学习笔记

CVPR 2024 3D方向总汇包含（3DGS、三维重建、深度补全、深度估计、全景定位、表面重建和特征匹配等）_cvpr2024-structure-awaresparse-viewx-ray3dreconstr-CSDN博客 https://github.com/apple/ml-hugs 3DGS COLMAP-Free 3D Gaussian Splatting ⭐code &…...

编程日记 2025/5/10 12:14:15

大模型笔记：pytorch实现MOE

0 导入库 import torch import torch.nn as nn import torch.nn.functional as F 1 专家模型 #一个简单的专家模型，可以是任何神经网络架构 class Expert(nn.Module):def __init__(self, input_size, output_size):super(Expert, self).__init__()self.fc nn.L…...

编程日记 2025/5/14 21:39:39

C#/.NET/.NET Core技术前沿周刊 | 第 25 期（2025年2.1-2.9）

前言 C#/.NET/.NET Core技术前沿周刊，你的每周技术指南针！记录、追踪C#/.NET/.NET Core领域、生态的每周最新、最实用、最有价值的技术文章、社区动态、优质项目和学习资源等。让你时刻站在技术前沿，助力技术成长与视野拓宽。欢迎投稿、推荐…...

编程日记 2025/5/14 17:19:38

package.json 文件配置

创建 Node.js 的配置文件 package.json npm init -y package.json 文件配置说明配置说明示例name指定项目的名称，必须是小写字母，可以包含字母、数字、连字符（-）或下划线（_），不能有特殊字符…...

编程日记 2025/5/15 13:19:49

相机模数转换

模拟图像是什么？ 模拟图像是指连续变化的图像，它通常来源于现实世界的物理场景，并通过光学系统（如相机镜头）投射到感光介质上。模拟图像是连续的，这意味着它在空间和颜色值上都有无穷的细节。例如&#xf…...

编程日记 2025/5/15 0:48:34

mysql大数据量分页查询

一、什么是‌MySQL大数据量分页查？ MySQL大数据量分页查‌是指在使用MySQL数据库时，将大量数据分成多个较小的部分进行显示，以提高查询效率和用户体验。分页查询通常用于网页或应用程序中，以便用户能够逐步浏览结果集。二、为什…...

编程日记 2025/5/12 17:54:17

组织结构改革：激活企业活力的 “源头活水”

难以适应市场变化、内部沟通与协作不畅、决策效率低下、运营成本增加、人才流失严重、员工士气下降、战略目标难以实现……企业如何根据市场环境变化和自身发展需求，灵活调整组织框架，赋能企业的持续健康发展？ 某国有投资建设集团旗下的二级…...

编程日记 2025/5/10 16:42:24

金融风控项目-1

文章目录一. 案例背景介绍二. 代码实现1. 加载数据2. 数据处理3. 查询三. 业务解读一. 案例背景介绍通过对业务数据分析了解信贷业务状况数据集说明从开源数据改造而来，基本反映真实业务数据销售，客服可以忽略账单周期，放款日期账单金…...

编程日记 2025/5/14 9:58:40

Java常用设计模式面试题总结(内容详细，简单易懂)

设计模式的分类创建型模式：通过隐藏对象创建的细节，避免直接使用 new 关键字实例化对象，从而使程序在判断和创建对象时更具灵活性。常见的模式包括： 工厂模式抽象工厂模式单例模式建造者模式原型模式结构型模式：通…...

编程日记 2025/5/12 12:43:17

【Elasticsearch】文本分析Text analysis概述

文本分析概述文本分析使 Elasticsearch 能够执行全文搜索，搜索结果会返回所有相关的结果，而不仅仅是完全匹配的结果。如果你搜索“Quick fox jumps”，你可能希望找到包含“A quick brown fox jumps over the lazy dog”的文档&#xff0c…...

编程日记 2025/5/12 17:34:32

ATF系统安全从入门到精通

CSDN学院课程连接：https://edu.csdn.net/course/detail/39573...

编程日记 2025/5/9 8:38:21

C# 上位机--变量

C# 上位机--变量在 C# 上位机开发领域，变量是构建程序逻辑的基础元素之一。它就像是一个容器，用于存储各种类型的数据，从简单的数值到复杂的对象。正确理解和使用变量，对于开发出高效、稳定且易于维护的上位机程序至关重要。本文…...

编程日记 2025/5/14 23:45:51

π 的奥秘：如何用有理数逼近无理数？

本文将围绕有理数、无理数、连续统以及它们之间的深刻联系展开讨论，并结合具体的数学理论如康托尔区间套定理、戴德金分割、柯西施瓦茨不等式等，进行简要探讨由于本文并未深入探讨，可能存在部分不严谨的地方，也欢迎各位进行纠正…...

编程日记 2025/5/12 3:54:14

LeetCode --- 436周赛

题目列表 3446. 按对角线进行矩阵排序 3447. 将元素分配给有约束条件的组 3448. 统计可以被最后一个数位整除的子字符串数目 3449. 最大化游戏分数的最小值一、按对角线进行矩阵排序直接模拟，遍历每一个斜对角线，获取斜对角线上的数字，排…...

编程日记 2025/5/12 10:34:48

绘制中国平安股价的交互式 K 线图

在本文中，探索如何使用 Python 的强大库进行股市数据分析与可视化。我们将以中国平安（股票代码：sh601318）为例，展示如何获取其股票数据，并绘制一张交互式 K 线图。 K 线图是股市分析中不可或缺的工具，它能够直观地显示股票的波动情况，包括开盘价、收盘价、最高价和最低…...

编程日记 2025/5/11 11:18:09

【ISO 14229-1:2023 UDS诊断全量测试用例清单系列：第二节】

ISO 14229-1:2023 UDS诊断服务测试用例全解析（ECU复位0x11服务） 作者：车端域控测试工程师更新日期：2025-02-12 关键词：UDS诊断协议、ECU复位服务、0x11服务、ISO 14229-1:2023 二、ECU复位服务（0x11服务&…...

编程日记 2025/5/12 9:37:55

Unity URP的2D光照简介

官网工程，包括2d光照，动画，动效介绍： https://unity.com/cn/blog/games/happy-harvest-demo-latest-2d-techniques https://docs.unity3d.com/6000.0/Documentation/Manual/urp/Lights-2D-intro.html 人物脸部光照细节和脚上的阴影…...

编程日记 2025/5/11 1:27:12

自学人工智能大模型，满足7B模型的训练和微调以及推理，预算3万，如何选购电脑

如果你的预算是 3万元人民币，希望训练和微调 7B 参数规模的人工智能大模型（如 LLaMA、Mistral 等），你需要一台高性能的深度学习工作站。在这个预算范围内，以下是推荐的配置： 1. 关键硬件配置 (1) GPU (显卡…...

编程日记 2025/5/11 14:23:05

shell脚本自动安装MySQL8

环境：centos7版本：8.0.28安装包：mysql-8.0.28-linux-glibc2.12-x86_64.tar.xz 二进制包要求：安装包和shell脚本在同一目录下执行方式：sudo ./install_mysql8.sh #!/bin/bash# 定义MySQL安装目录和压缩包名称MYSQL_DIR…...

编程日记 2025/5/10 6:59:07

使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器进行模型检查点处理

2023 年 11 月，Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元（数据集和数据加载器）的实现。它支持用于随机数据访问模式的地图样式数据集和用于流式处理…...

编程日记 2025/5/15 15:27:09