当前位置：首页 > news >正文

[每周一更]-(第133期)：Go中MapReduce架构思想的使用场景

news 来源：原创 2025/5/9 23:46:40

在这里插入图片描述

文章目录

- - **MapReduce 工作流程**
  - Go 中使用 MapReduce 的实现方式：
  - **Go MapReduce 的特点**
  - **哪些场景适合使用 MapReduce？**
  - 使用场景
  - - 1. 数据聚合
    - 2. 数据过滤
    - 3. 数据排序
    - 4. 数据转换
    - 5. 数据去重
    - 6. 数据分组
    - 7. 数据统计
    - 8.**统计文本中单词出现次数**
    - - **代码实现**
  - MapReduce vs. 扇入/扇出
  - - 示例1：爬取多个网页
    - 示例2：多个 goroutine 计算结果，并聚合
  - 参考
  - 注意事项

新年开工，2025重新出发

为什么需要 MapReduce

在 Go 中，虽然没有内置的 MapReduce 框架，但我们可以利用 Go 的并发特性（如 goroutines 和 channels）来实现 MapReduce。

在 Go 语言中，MapReduce 是一种编程模型，用于处理和生成大规模数据集。它将任务分解为两个主要阶段：Map（映射）和 Reduce（归约），并通过并行处理提高效率。MapReduce 模型最初由 Google 提出，广泛应用于大数据处理、分布式计算等领域。

它的核心思想是将问题分解成多个较小的子问题并行处理，然后将结果合并。MapReduce 分为两个主要步骤：

Map 阶段：将输入数据映射到中间结果。这个阶段将输入数据拆分成小块，分配给不同的处理单元，并对每个数据项应用一个映射函数。
Reduce 阶段：将 Map 阶段的中间结果进行合并。通常是通过聚合或汇总中间结果，生成最终输出。

MapReduce 工作流程

输入数据：将大规模数据分成多个小块。
Map（映射）：对数据进行并行处理，并生成中间结果。
Shuffle（洗牌，可选）：对中间结果进行归类，按 key 组织数据。
Reduce（归约）：合并和处理 Map 阶段的中间结果，得出最终结果。

Go 中使用 MapReduce 的实现方式：

Go 提供了 goroutine 和 channel，这使得它非常适合实现并行计算的场景。一个简单的 Go 实现通常会使用以下步骤：

Map：通过 goroutine 处理每个数据块。
Shuffle（可选）：将中间结果通过 channel 或其他方式传递到 Reduce 阶段。
Reduce：聚合结果，得到最终输出。

通过 Go 的并发模型，可以利用多个 CPU 核心实现 MapReduce 的并行计算。

Go MapReduce 的特点

高并发：
- 通过 goroutine 并行执行 Map 和 Reduce 操作，提升计算效率。
- Go 的 goroutine 轻量级，支持大规模并发执行 Map 任务，不会像 Java 线程那样占用大量内存。
无锁数据传输：
- channel 作为数据流通管道，避免手动加锁，提高代码可读性和安全性。
- Go 提供了 sync.WaitGroup、sync.Map 等并发工具，可以更简单地管理 MapReduce 任务。
适用于大规模数据处理：
- 适合处理日志分析、数据聚合、分布式计算等任务。

哪些场景适合使用 MapReduce？

场景	Map 阶段	Reduce 阶段
日志分析	读取大量日志，提取关键字段	统计访问次数、错误率等
搜索引擎索引	解析网页，提取关键词	统计关键词出现次数
基因数据分析	解析 DNA 序列，计算某个基因的出现频率	归并统计结果，得出全局基因分布
机器学习	计算训练数据的特征	训练模型，计算最终的回归参数
推荐系统	计算用户的浏览、点击数据	归并计算得到推荐结果
并行图像处理	处理图像的每个区域	合并所有区域结果，生成完整图像

常见使用场景：

大规模数据处理： MapReduce 适用于批量处理大量数据，例如日志分析。
并发数据处理： 在需要并发处理的场景中，例如查询数据库，MapReduce 可以将任务拆分成并发请求，从而减少处理时间并提高性能。处理结果可以被聚合起来。
分布式数据处理和合并： MapReduce 用于以分布式方式处理和合并数据。大型数据集被分成较小的部分，由不同的机器或线程处理，然后合并。

使用场景

1. 数据聚合

场景：统计日志文件中不同状态码的出现次数。

拆解：

Map阶段：读取日志文件，提取状态码，生成键值对（状态码, 1）。
Reduce阶段：汇总相同状态码的计数，生成最终结果（状态码, 总次数）。

func mapFunc(line string) map[string]int {parts := strings.Split(line, " ")statusCode := parts[8] // 假设状态码在第9个字段return map[string]int{statusCode: 1}
}func reduceFunc(statusCode string, counts []int) int {return sum(counts)
}

2. 数据过滤

场景：从大量数据中筛选出符合特定条件的记录。

拆解：

Map阶段：检查每条记录是否满足条件，满足则输出（记录, 1）。
Reduce阶段：汇总符合条件的记录。

func mapFunc(record Record) map[Record]int {if record.Age > 30 {return map[Record]int{record: 1}}return nil
}func reduceFunc(record Record, counts []int) Record {return record
}

3. 数据排序

场景：对大规模数据集进行排序。

拆解：

Map阶段：将数据分片并局部排序。
Reduce阶段：合并各分片的排序结果。

func mapFunc(data []int) []int {sort.Ints(data)return data
}func reduceFunc(sortedSlices [][]int) []int {return mergeSortedSlices(sortedSlices)
}

4. 数据转换

场景：将数据从一种格式转换为另一种格式。

拆解：

Map阶段：将原始数据转换为目标格式。
Reduce阶段：合并转换后的数据。

func mapFunc(input InputType) OutputType {return transform(input)
}func reduceFunc(outputs []OutputType) OutputType {return combine(outputs)
}

5. 数据去重

场景：去除数据集中的重复记录。

拆解：

Map阶段：将每条记录作为键输出（记录, 1）。
Reduce阶段：合并相同记录，输出唯一记录。

func mapFunc(record Record) map[Record]int {return map[Record]int{record: 1}
}func reduceFunc(record Record, counts []int) Record {return record
}

6. 数据分组

场景：按某个字段对数据进行分组。

拆解：

Map阶段：根据分组字段生成键值对（分组字段, 记录）。
Reduce阶段：将相同分组字段的记录合并。

func mapFunc(record Record) map[string]Record {return map[string]Record{record.GroupField: record}
}func reduceFunc(groupField string, records []Record) []Record {return records
}

7. 数据统计

场景：计算数据集的平均值、最大值、最小值等统计信息。

拆解：

Map阶段：计算局部统计信息。
Reduce阶段：合并局部统计信息，生成全局统计结果。

func mapFunc(data []int) Stat {return calculateLocalStat(data)
}func reduceFunc(stats []Stat) Stat {return combineStats(stats)
}

8.统计文本中单词出现次数

同步 Map 阶段：
- 通过 sync.WaitGroup 确保所有 mapFunction 任务完成后才关闭 mapChannel，避免 Reduce 过早读取导致数据丢失。
使用 go func() 异步关闭 channel：
- mapWG.Wait() 结束后，关闭 mapChannel，确保 Reduce 读取完整数据。
Reduce 处理改进：
- reduceFunction 直接从 channel 读取数据，并合并为最终的 map[string]int 结果。

代码实现

package mainimport ("fmt""strings""sync"
)// Map 阶段：统计部分数据中的单词频率
func mapFunction(text string, out chan<- map[string]int, wg *sync.WaitGroup) {defer wg.Done()wordCount := make(map[string]int)words := strings.Fields(text)for _, word := range words {wordCount[word]++}out <- wordCount
}// Reduce 阶段：合并多个 map 结果
func reduceFunction(in <-chan map[string]int) map[string]int {result := make(map[string]int)for partialMap := range in {for word, count := range partialMap {result[word] += count}}return result
}func main() {// 输入数据texts := []string{"hello world","go is great","hello go","map reduce in go","go go go",}// 创建 channel 传输 map 结果mapChannel := make(chan map[string]int, len(texts))var mapWG sync.WaitGroup// 启动多个 Map 任务for _, text := range texts {mapWG.Add(1)go mapFunction(text, mapChannel, &mapWG)}// 确保所有 map 任务完成后再关闭 channelgo func() {mapWG.Wait()close(mapChannel)}()// Reduce 阶段：合并 map 结果result := reduceFunction(mapChannel)// 输出最终结果fmt.Println("Word Count Result:", result)
}

MapReduce vs. 扇入/扇出

历史文章：[每周一更]-(第24期)：Go的并发模型，提到过Go 并发模式：扇入、扇出，这里简单对比一下

MapReduce 和 Go 的 扇入（Fan-in）/扇出（Fan-out） 在并发模型上是类似的，但它们的侧重点和应用场景有所不同。

如果只是单机并发任务（如 API 调用、爬虫），用扇入/扇出
如果要处理大数据（如日志分析、搜索索引），用 MapReduce

特性	MapReduce	扇入（Fan-in）/扇出（Fan-out）
核心思想	拆分任务并行计算，再归并结果	并行处理任务，聚合结果到一个 channel
Map 阶段 / 扇出	并发执行多个子任务	启动多个 goroutine 处理任务
Reduce 阶段 / 扇入	归并多个子任务的结果	读取多个 goroutine 结果并处理
数据流动方式	Map → Reduce	多个 goroutine → 单个 channel
适用场景	大规模数据计算（如日志分析、搜索引擎索引）	并发任务管理（如爬虫、API 并发请求）
是否涉及分布式	适用于分布式计算	主要用于单机并发任务

示例1：爬取多个网页

package mainimport ("fmt""net/http""sync"
)var urls = []string{"https://golang.org","https://go.dev","https://gophercises.com",
}// 扇出：启动多个 goroutine 并发爬取网页
func fetch(url string, wg *sync.WaitGroup) {defer wg.Done()resp, err := http.Get(url)if err != nil {fmt.Println("Error:", err)return}fmt.Println("Fetched:", url, "Status:", resp.Status)
}func main() {var wg sync.WaitGroupfor _, url := range urls {wg.Add(1)go fetch(url, &wg)}wg.Wait()fmt.Println("All requests finished!")
}

示例2：多个 goroutine 计算结果，并聚合

package mainimport ("fmt""sync"
)func worker(id int, out chan<- int, wg *sync.WaitGroup) {defer wg.Done()out <- id * id // 计算平方并发送
}func main() {out := make(chan int, 5)var wg sync.WaitGroup// 扇出：启动多个 goroutinefor i := 1; i <= 5; i++ {wg.Add(1)go worker(i, out, &wg)}// 等待所有任务完成后关闭 channelgo func() {wg.Wait()close(out)}()// 扇入：聚合所有 goroutine 的结果sum := 0for result := range out {sum += result}fmt.Println("Total Sum:", sum) // 计算最终结果
}

参考

go-zero中介绍MapReduce使用场景：
- 介绍原理：go-zero/core/mr/readme-cn.md at master · zeromicro/go-zero
- 示例：zero-examples/mapreduce at main · zeromicro/zero-examples

注意事项

数据并行性: MapReduce适合数据并行处理的任务，即任务可以分解为多个独立的子任务。
数据规模: 对于小规模数据，MapReduce可能引入不必要的开销，应根据数据规模选择合适的处理方式。
实时性要求: MapReduce不适合实时处理要求很高的任务，因为它通常用于批处理。

[每周一更]-(第133期)：Go中MapReduce架构思想的使用场景

文章目录 **MapReduce 工作流程**Go 中使用 MapReduce 的实现方式：**Go MapReduce 的特点****哪些场景适合使用 MapReduce？**使用场景1. 数据聚合2. 数据过滤3. 数据排序4. 数据转换5. 数据去重6. 数据分组7. 数据统计8.**统计文本中单词出现次数****代码…...

编程日记 2025/5/9 23:46:40

C 移位运算符

宏定义 #define GET_BIT(n) ((1 << (n))) 用于生成一个整数，该整数在第 n 位上是 1，其余位都是 0。这个宏通常用于位操作，比如设置、清除或检查某个特定位置的标志位。 1 << (n)：这是位移操作符。它将数字 1 左移 n …...

编程日记 2025/5/9 23:14:25

redis高级数据结构布隆过滤器

文章目录背景什么是布隆过滤器Redis 中的布隆过滤器布隆过滤器使用注意事项实现原理空间占用估计背景我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻…...

编程日记 2025/5/9 22:53:38

活动预告 |【Part1】Microsoft 安全在线技术公开课：安全性、合规性和身份基础知识

课程介绍通过参加“Microsoft 安全在线技术公开课：安全性、合规性和身份基础知识”活动提升你的技能。在本次免费的介绍性活动中，你将获得所需的安全技能和培训，以创造影响力并利用机会推动职业发展。你将了解安全性、合规性和身份的基础知识…...

编程日记 2025/5/9 14:09:22

基于DeepSeek模型的思维导图智能系统

基于DeepSeek模型的思维导图智能系统摘要：本文研究了Prompt技术在自然语言处理（NLP）中的应用，重点探讨了其在用户输入语言转换任务中的作用。基于DeepSeek模型，文章通过设计不同的Prompt并结合API调用，…...

编程日记 2025/5/9 23:36:12

【玩转 Postman 接口测试与开发2_019】第15章：利用 Postman 初探 API 性能测试（含实战截图）

《API Testing and Development with Postman》最新第二版封面文章目录第十五章 API 接口性能测试1 性能负载的类型2 Postman 负载配置3 Postman 性能测试实战3.1 Fixed 型负载下的性能测试3.2 基于数据驱动的 Postman 接口性能测试 4 性能测试的注意事项写在前面终于来到了…...

编程日记 2025/5/9 13:52:20

使用 Three.js 实现炫酷的除夕烟花特效

1，前言在除夕夜，璀璨的烟花点亮夜空，为节日增添了浓厚的喜庆氛围。在 Web 端，我们可以使用 Three.js 来模拟这种美轮美奂的烟花特效，让网页也能展现绚丽的节日气息。本文将介绍如何利用 Three.js 及其着色器技术&…...

编程日记 2025/5/6 17:03:25

【Redis keys命令有什么问题？】

Redis keys命令有什么问题？性能问题实际使用中的限制替代方案示例讲解Redis keys命令的问题示例替代方案：使用SCAN命令Java代码示例性能问题时间复杂度：keys命令的时间复杂度是O(n)，其中n是Redis中键的总数。这意味着，当Redis中存储的键数量非常大时，执行keys命令会遍历…...

编程日记 2025/5/9 22:19:56

STC51案例操作

案例 1：LED 闪烁功能描述：通过操作 P1 口寄存器，让连接在 P1.0 引脚的 LED 以一定间隔闪烁。 #include <reg51.h>// 延时函数 void delay(unsigned int time) {unsigned int i, j;for (i 0; i < time; i)for (j 0; j < 123; …...

编程日记 2025/5/9 23:09:13

顺丰数据分析（数据挖掘）面试题及参考答案

你觉得数据分析人员必备的技能有哪些？数据分析人员需具备多方面技能，以应对复杂的数据处理与解读工作。数据处理能力：这是基础且关键的技能。数据常以杂乱、不完整的形式存在，需通过清洗，去除重复、错误及缺失值数据，确保数据质量。例如，在电商销售数据中，可能存在价…...

编程日记 2025/5/9 22:39:32

【信息系统项目管理师-案例真题】2016下半年案例分析答案和详解

更多内容请见：备考信息系统项目管理师-专栏介绍和目录文章目录试题一【问题1】4 分【问题2】12 分【问题3】3 分【问题4】6 分试题二【问题1】3 分【问题2】4 分【问题3】8 分【问题4】5 分【问题5】5 分试题三【问题1】4 分【问题2】8 分【问题3】5 分【问题4】8 分试题一…...

编程日记 2025/5/9 7:53:10

前端学习-页面尺寸事件以及阻止默认行为(三十三)

目录前言页面尺寸事件语法检测屏幕宽度获取宽高元素尺寸的位置总结示例代码阻止默认行为阻止冒泡语法阻止冒泡如何做阻止元素默认行为如何做总结前言晚上好各位页面尺寸事件会在窗口尺寸改变的时候触发条件语法 window.addEventListener(…...

编程日记 2025/5/9 23:08:08

人工智能领域-CNN 卷积神经网络性能调优

在自动驾驶领域，对卷积神经网络（CNN）进行性能调优至关重要，以下从数据处理、模型架构、训练过程、超参数调整和模型部署优化等多个方面为你详细介绍调优方法，并给出相应的代码示例。 1. 数据处理数据增强&#xff1…...

编程日记 2025/5/9 9:58:58

STM32的HAL库开发---高级定时器---输出比较模式实验

一、高级定时器输出比较模式实验原理定时器的输出比较模式总共有8种，本文使用其中的翻转模式，当TIMXCCR1TIMXCNT时，翻转OC1REF的电平，OC1REF为输出参考信号，高电平有效，OC1REF信号连接到0C1上面&#xff…...

编程日记 2025/5/9 22:28:48

DeepSeek使用技巧大全（含本地部署教程）

在人工智能技术日新月异的今天，DeepSeek 作为一款极具创新性和实用性的 AI，在众多同类产品中崭露头角，凭借其卓越的性能和丰富的功能，吸引了大量用户的关注。 DeepSeek 是一款由国内顶尖团队研发的人工智能，它基于先进…...

编程日记 2025/5/9 23:22:46

python安装mitmproxy遇到的问题

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 加-i https://pypi.tuna.tsinghua.edu.cn/simple是为了加速下载。 1、vc build-tools 发现下面错误。需要安装vc build-tools，有些py包需要vc来编译。安装路径：Micr…...

编程日记 2025/5/9 17:35:49

基于HTML生成网页有什么优势

在互联网时代，网页是人们获取信息、交流互动的重要窗口，而基于HTML生成网页，是搭建网络大厦的关键。HTML语法简洁直观，标签和属性语义明确，新手也能迅速上手，创建包含基础元素的网页，极大降低了…...

编程日记 2025/5/9 23:00:14

c++ template-3

第 7 章按值传递还是按引用传递从一开始，C就提供了按值传递（call-by-value）和按引用传递（call-by-reference）两种参数传递方式，但是具体该怎么选择，有时并不容易确定：通常对复杂类…...

编程日记 2025/5/9 22:48:18

【实战篇】巧用 DeepSeek，让 Excel 数据处理更高效

一、为何选择用 DeepSeek 处理 Excel 在日常工作与生活里，Excel 是我们频繁使用的工具。不管是统计公司销售数据、分析学生成绩，还是梳理个人财务状况，Excel 凭借其强大的功能，如数据排序、筛选和简单公式计算，为我们提供了诸多便利。但当面对复杂的数据处理任务，比如从…...

编程日记 2025/5/9 23:46:39

【prompt实战】AI +OCR技术结合ChatGPT能力项目实践（BOL提单识别提取专家）

本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）目录 1. 需求背景 2. 目标 3. BOL通用处理逻辑…...

编程日记 2025/5/9 18:36:38

黑马 Linux零基础快速入门到精通笔记

初识Linux Linux简介提及操作系统，我们可能最先想到的是windows和mac，这两者都属于个人桌面操作系统领域，而Linux则属于服务器操作系统领域。无论是后端软件、大数据系统、网页服务等等都需要运行在Linux操作系统上。 Linux是一个开源的操作…...

编程日记 2025/5/9 22:06:14

蓝桥杯真题 - 像素放置 - 题解

题目链接：https://www.lanqiao.cn/problems/3508/learning/ 个人评价：难度 3 星（满星：5） 前置知识：深度优先搜索整体思路深搜，在搜索过程中进行剪枝，剪枝有以下限制条件&#xf…...

编程日记 2025/5/9 22:58:00

即梦（Dreamina）技术浅析（六）：多模态生成模型

多模态生成模型是即梦（Dreamina）的核心技术之一，旨在结合文本和图像信息，生成更符合用户需求的视觉内容。多模态生成模型通过整合不同类型的数据（如文本和图像），能够实现更丰富、更精准的生成效果。 1. 基本原理 1.1 多模态生成模型概述多模态生成模型的目标是结合不…...

编程日记 2025/5/9 23:28:02

C++小等于的所有奇数和=最大奇数除2加1的平方。

缘由三种思路解题：依据算术推导得到一个规律：小等于的所有奇数和等于最大奇数除以2加1的平方。将在后续发布，总计有十种推导出来的实现代码。 int a 0,aa 1,aaa 0;cin >> a; while (aa<a) aaa aa, aa 2;cout << aaa;i…...

编程日记 2025/5/9 22:43:59

react的antd表单校验，禁止输入空格并触发校验提示

首先需要用到form组件，在form.item内添加rules属性，写正则表达式 <Form.Itemlabel"员工姓名"name"name"rules{[{ required: true, message: 员工姓名 },{ pattern: /^(?!\s*$).$/, message: 不能全是空格 },]}> <Input p…...

编程日记 2025/5/9 22:31:01

Kubernetes架构原则和对象设计（三）

云原生学习路线导航页（持续更新中） kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes常见问题解答本文主要对kubernetes的核心技术概念和核心A…...

编程日记 2025/5/9 22:10:24

Qt+海康虚拟相机的调试

做机器视觉项目的时候，在没有相机或需要把现场采集的图片在本地跑一下做测试时，可以使用海康的虚拟相机调试。以下是设置步骤： 1.安装好海康MVS软件，在菜单栏->工具选择虚拟相机工具，如下图： 2.打开虚拟…...

编程日记 2025/5/9 22:58:00

485网关数据收发测试

目录 1.UDP SERVER数据收发测试使用产品： || ZQWL-GW1600NM 产品||【智嵌物联】智能网关型串口服务器 1.UDP SERVER数据收发测试 A（TX）连接RX B（RX）连接TX 打开1个网络调试助手，模拟用户的UDP客户端设…...

编程日记 2025/5/9 22:49:23

【C#】一维、二维、三维数组的使用

在C#中，数组是用于存储固定数量相同类型元素的数据结构。根据维度的不同，可以分为一维数组、二维数组（矩阵阵列）、三维数组等。每增加一个维度，数据的组织方式就会变得更加复杂。一维数组一维数组是最简单的数组形…...

编程日记 2025/5/8 23:43:53

65【服务器攻击原理讲解】

我们经常可能会听说，某某的服务器被打了，被打死了，这里的打死并不一是指服务器直接死机服务器有2个决定性参数 1：宽带，宽带越大，能传输的数据就越多 2：CPU，CPU越好能处理的运算…...

编程日记 2025/5/9 22:45:06

用AI写游戏3——模拟发牌

提示词写一个python程序 ，输入参数为玩家数，输出参数为每个玩家的3张扑克牌 # 写一个python程序 ，输入参数为玩家数，输出参数为每个玩家的3张扑克牌 # 为了实现这个功能，我们可以使用Python的标准库random来生成随机…...

编程日记 2025/5/9 23:18:31

React 生命周期函数详解

React 组件在其生命周期中有多个阶段，每个阶段都有特定的生命周期函数（Lifecycle Methods）。这些函数允许你在组件的不同阶段执行特定的操作。以下是 React 组件生命周期的主要阶段及其对应的生命周期函数，并结合了 React 16.3 的…...

编程日记 2025/5/9 13:11:47

android 动态库加载机制

省流：android 不兼容 glibc，而是写了一套独立的 c 运行时库 (bionic libc)，为移动设备和 google 自己推的东西做了大量优化。在这套工具链里，aosp 实现了一个兼容 bionic libc 的链接器，放到系统中代替 ld。这个链接…...

编程日记 2025/5/9 23:22:46

PyTorch torch.sign函数介绍

torch.sign 是 PyTorch 库中用于计算输入张量每个元素符号的函数。下面从功能概述、函数原型、参数解释、返回值、使用示例以及与相关函数对比等方面详细介绍 torch.sign。功能概述 torch.sign 函数会返回一个与输入张量形状相同的新张量，其中每个元素的值表示输…...

编程日记 2025/5/9 8:35:01

Flink CDC YAML：面向数据集成的 API 设计

摘要：本文整理自阿里云智能集团、Flink PMC Member & Committer 徐榜江（雪尽）老师在 Flink Forward Asia 2024 数据集成（一）专场中的分享。主要分为以下四个方面： Flink CDC YAML API Transform A…...

编程日记 2025/5/9 17:52:29

计算机网络知识速记：TCP 与 UDP

计算机网络知识速记：TCP 与 UDP 一、概念 TCP (Transmission Control Protocol): 一个面向连接的协议，确保数据在传输过程中完整无误。通过建立连接和数据确认机制，提高数据传输的可靠性。是面向字节传输的。 UDP (User Datagram Protocol)…...

编程日记 2025/5/9 23:03:48

差分算法解析

差分（Difference Array）是一种常见的算法技巧，广泛应用于区间更新与区间查询的问题。它通过将数组的更新操作转化为数组的差分操作，使得某些类型的算法能在更短的时间内完成计算，尤其在处理频繁的区间更新时表现得尤为…...

编程日记 2025/5/9 21:12:22

makefile 的strip，filter，ifeq，ifneq基础使用

目录一、strip1.1 语法1.2 示例1.3 使用场景二、filter2.1 语法2.2 示例2.3 使用 * 和 ? 通配符2.4 结合使用2.5 使用场景三、ifeq 和 ifneq3.1 ifeq3.1.1 语法3.1.2 示例 3.2 ifneq3.2.1 语法3.2.2 示例 3.3 典型使用场景3.3.1 根据版本控制编译选项:3.3.2 选择不同的源文…...

编程日记 2025/5/9 15:05:24

SOA（面向服务架构）全面解析

1. 引言什么是SOA（面向服务架构） SOA（Service-Oriented Architecture，面向服务架构）是一种将应用程序功能以“服务”的形式进行模块化设计的架构风格。这些服务是独立的功能模块，它们通过定义明确的接口…...

编程日记 2025/5/8 0:05:48

B树详解及其C语言实现

目录一、B树的基本原理二、B树操作过程图形化演示三、B树的应用场景四、C语言实现B树及示例五、代码执行结果说明六、应用实例：文件系统目录索引七、总结一、B树的基本原理 B树（B-Tree） 是一种自平衡的树数据结构，…...

编程日记 2025/5/6 11:10:31

3.1 学习UVM中的uvm_component类分为几步？

文章目录前言一、定义1.1 角色和功能：1.2 与其他UVM类的区别：1.3 主要属性和方法： 二、使用方法2.1 定义和实例化：2.2 生命周期管理：2.3 组件间通信： 三、何时使用3.1 使用场景3.2 适用组件3.3 与uvm_obje…...

编程日记 2025/5/9 2:59:42

python:面向对象之魔法方法

概念：主要是提供一些特殊的功能。 1.__init__方法： 一.不带参数： python中类似__xx__() __init__():初始化对象class Car():def __init__(self):self.color blueself.type suvdef info(self):print(f车的颜色是：{self.color})p…...

编程日记 2025/5/7 2:31:56

postgresql 游标（cursor）的使用

概述 PostgreSQL游标可以封装查询并对其中每一行记录进行单独处理。当我们想对大量结果集进行分批处理时可以使用游标，因为一次性处理可能造成内存溢出。另外我们可以定义函数返回游标类型变量，这是函数返回大数据集的有效方式，函数调用者…...

编程日记 2025/5/8 3:44:05

vivado 7 系列器件时钟

7 系列器件时钟注释： 本章节以 Virtex -7 时钟源为例。 Virtex-6 的时钟资源与此类似。如果使用不同的架构，请参阅有关器件的《时钟资源指南》 [ 参照 40] 。 Virtex-6 和 Virtex-7 器件内含 32 个称为 BUFG 的全局时钟缓存。 BUFG 可满…...

编程日记 2025/5/4 14:00:42

Vue 3 部分新特性解析

1. 引言 Vue 3 引入了许多新特性和改进，使得开发更加高效和灵活。本文将深入探讨 Vue 3 的高阶部分，包括 Composition API、自定义指令、插件开发、状态管理和性能优化。 2. Composition API 2.1 引入 Composition API Composition API 是 Vue 3 中引…...

编程日记 2025/5/3 11:45:40

ubuntu24.04安装布置ros

最近换电脑布置机器人环境，下了24.04，但是网上的都不太合适，于是自己试着布置好了，留作有需要的人一起看看。文章目录目录前言一、确认 ROS 发行版名称二、检查你的 Ubuntu 版本三、安装正确的 ROS 发行版四、对于Ubuntu24…...

编程日记 2025/5/5 2:29:08

数据结构与算法-链表

单向链表（带哨兵） public class SinglyLinkedList {private Node head new Node(Integer.MIN_VALUE, null); // 定义一个哨兵节点作为头部节点，避免对头节点进行特殊处理// 节点类，包含值和指向下一个节点的引用private static …...

编程日记 2025/5/9 17:48:35