当前位置： 首页 > news >正文

Hadoop之02：MR-图解

news 来源：原创 2025/9/11 9:53:49

1、不是所有的MR都适合combine

1.1、map端统计出了不同班级的每个学生的年龄

如：(class1, 14)表示class1班的一个学生的年龄是14岁。

第一个map任务：

class1 14
class1 15
class1 16
class2 10

第二个map任务：

class1 16
class2 10
class2 11

平均年龄：

class1: ((14+15+16)+16)/4 = 61/4 = 15.25
class2: (10+10+11)/3 = 10.333
1.2、若强制使用combine的话。

第一个map任务：

class1 14
class1 15
class1 16
class2 10
==>平均值：
class1: (14+15+16)/3 = 15
class2: 10/1 = 10

第二个map任务：

class1 16
class2 10
class2 11
==>平均值：
class1: 16/1 = 16
class2: (10+11)/2  =10.5

平均年龄：

==>汇总求平均值：
class1: (15+16)/2  =15.5
class2: (10+10.5) = 10.25

比对结果：

class1: 15.25不等于15.5
class2: 10.333不等于10.25
1.3、结论：并非所有MR都适合combine操作

2、reduce端merge 排序 分组

第一个map输出

(hadoop,1)
(hadoop,1)
(hive,1)

第二个map输出

(hadoop,1)
(hive,1)

第三个map输出

(hadoop,1)
(hive,1)
(hive,1)
–>merge
(hadoop,1)
(hadoop,1)
(hive,1)
(hadoop,1)
(hive,1)
(hadoop,1)
(hive,1)
(hive,1)
–>排序
(hadoop,1)
(hadoop,1)
(hadoop,1)
(hadoop,1)(hive,1)
(hive,1)
(hive,1)
(hive,1)
–>分组
一组
(hadoop,1)
(hadoop,1)
(hadoop,1)
(hadoop,1)
二组
(hive,1)
(hive,1)
(hive,1)
(hive,1)
–>每组调用一次reduce方法
(hadoop,1)
(hadoop,1)  -> hadoop, Iterable(1,1,1,1) -> reduce(hadoop, Iterable(1,1,1,1), context){...}
(hadoop,1)
(hadoop,1)

⭐️3、wordcount+combine过程

在这里插入图片描述

⭐️4、wordcount shuffle

在这里插入图片描述

5、grouping

在这里插入图片描述

6、自定义OutputFormat

在这里插入图片描述

相关文章：

Hadoop之02：MR-图解

1、不是所有的MR都适合combine 1.1、map端统计出了不同班级的每个学生的年龄 如：(class1, 14)表示class1班的一个学生的年龄是14岁。 第一个map任务： class1 14 class1 15 class1 16 class2 10第二个map任务： class1 16 class2 10 class…...

编程日记 2025/9/11 9:53:49

YOLOv8目标检测推理流程及C++代码

这部分主要是使用c++对Onnx模型进行推理，边先贴代码，过段时间再详细补充下代码说明。 代码主要分成三部分，1.main_det.cpp推理函数主入口；2.inference_det.h 头文件及inference_det.cpp具体函数实现；3.CMakeList.txt. 1.main_det 推理配置信息全部写在config.txt中，执行…...

编程日记 2025/9/10 0:11:47

【AVRCP】深入解析AVRCP应用层：功能支持与映射

在最近的项目开发中，深入研究了Audio/Video Remote Control Profile（AVRCP）的应用层特性。在蓝牙音频/视频远程控制规范（AVRCP）的架构中，应用层扮演着至关重要的角色，它定义了符合该规范的设备所…...

编程日记 2025/9/11 7:08:06

springboot之HTML与图片生成

背景 后台需要根据字段动态生成HTML&#xff0c;并生成图片&#xff0c;发送邮件到给定邮箱 依赖 <!-- freemarker模板引擎--> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-freemarker</artifa…...

编程日记 2025/9/7 16:45:44

Hive-04之存储格式、SerDe、企业级调优

一、主题 hive表的数据压缩和文件存储格式hive的自定义UDF函数hive的JDBC代码操作hive的SerDe介绍和使用hive的优化 二、要点 1. hive表的文件存储格式 Hive支持的存储数的格式主要有&#xff1a;TEXTFILE&#xff08;行式存储&#xff09; 、SEQUENCEFILE(行式存储)、ORC&…...

编程日记 2025/9/11 9:52:20

链表的概念和结构

文章目录 1. 链表的概念2. 链表的分类3. 单向不带头非循环链表3.1 接口设计&#xff08;SList.h&#xff09;3.2 接口实现&#xff08;SList.c&#xff09;1&#xff09;打印和创建结点2&#xff09;头尾插入删除3&#xff09;查找和插入4&#xff09;删除和销毁 3.3 完整代码S…...

编程日记 2025/9/11 9:52:16

使用AI后为什么思考会变得困难？

使用AI后为什么思考会变得困难&#xff1f; 我总结了四篇近期的研究论文&#xff0c;来展示AI是如何以及为什么侵蚀我们的批判性思维能力。 作者使用AI制作的图像 前言&#xff1a;作者在这篇文章中&#xff0c;借AI技术的崛起&#xff0c;揭示了一场悄然发生的思想博弈。表面…...

编程日记 2025/9/11 9:52:16

Github 2025-03-02 php开源项目日报Top10

根据Github Trendings的统计，今日(2025-03-02统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量PHP项目10Blade项目1JavaScript项目1Nextcloud服务器：安全的数据之家 创建周期：2796 天开发语言：PHP, JavaScript协议类型：GNU Affero Gene…...

编程日记 2025/9/8 20:11:04

智能座舱介绍

目录 智能座舱智能座舱的核心技术组成车载信息娱乐系统（IVI）数字仪表盘与HUD（抬头显示）语音交互与AI助手多屏联动与场景化交互生物识别技术智能座舱的发展趋势沉浸式体验情感化与个性化多模态交互融合车联网（V2X）生态扩展应用场景挑战与未来硬件系统软件系统关键技术智能…...

编程日记 2025/9/8 15:10:34

2025年能源工作指导意见

2025年是“十四五”规划收官之年&#xff0c;做好全年能源工作意义重大。为深入贯彻落实党中央、国务院决策部署&#xff0c;以能源高质量发展和高水平安全助力我国经济持续回升向好&#xff0c;满足人民群众日益增长的美好生活用能需求&#xff0c;制定本意见。 一、总体要求…...

编程日记 2025/8/31 4:53:38

​豪越科技：智慧园区后勤单位消防安全管理，实时告警与整改闭环

在当今数字化、智能化飞速发展的时代&#xff0c;智慧园区已成为现代产业发展的重要载体。而园区后勤单位的消防安全管理&#xff0c;作为保障园区安全运营的关键环节&#xff0c;正面临着前所未有的挑战与机遇。豪越科技凭借其先进的技术和丰富的经验&#xff0c;为智慧园区后…...

编程日记 2025/9/9 6:34:39

zookeeper-docker版

Zookeeper-docker版 1 zookeeper概述 1.1 什么是zookeeper Zookeeper是一个分布式的、高性能的、开源的分布式系统的协调&#xff08;Coordination&#xff09;服务&#xff0c;它是一个为分布式应用提供一致性服务的软件。 1.2 zookeeper应用场景 zookeeper是一个经典的分…...

编程日记 2025/9/11 3:57:32

华为手机自助维修的方法

测试环境&#xff1a;华为荣耀 &#xff08;全文完&#xff09;...

编程日记 2025/8/16 11:47:44

基于Springboot博物馆文博资源库系统【附源码】

基于Springboot博物馆文博资源库系统 效果如下&#xff1a; 系统登陆页面 文物信息管理页面 流动申请页面 文物报修页面 个人信息页面 文物保修管理页面 系统主页面 文物类型页面 研究背景 随着信息技术的飞速发展&#xff0c;博物馆文博资源的管理与利用日益受到重视。传统…...

编程日记 2025/9/3 19:32:51

辛格迪客户案例 | 祐儿医药科技GMP培训管理（TMS）项目

01 项目背景&#xff1a;顺应行业趋势&#xff0c;弥补管理短板 随着医药科技行业的快速发展&#xff0c;相关法规和标准不断更新&#xff0c;对企业的质量管理和人员培训提出了更高要求。祐儿医药科技有限公司&#xff08;以下简称“祐儿医药”&#xff09;作为一家专注于创新…...

编程日记 2025/9/4 22:49:21

Git 2.48.1 官方安装与配置全流程指南（Windows平台）

一、软件简介 Git 是 分布式版本控制系统 的标杆工具&#xff0c;由 Linus Torvalds 开发&#xff0c;广泛应用于代码版本管理、团队协作开发等场景。2.48.1 版本优化了文件系统监控性能&#xff0c;并修复了跨平台兼容性问题。 二、下载准备 1. 官方下载地址 访问 Git 官网…...

编程日记 2025/9/8 21:46:51

MATLAB中asManyOfPattern函数用法

目录 语法 说明 示例 匹配尽可能多的模式实例 指定要匹配的最小模式数 指定要匹配的最小和最大模式数 asManyOfPattern函数的功能是模式匹配次数尽可能多。 语法 newpat asManyOfPattern(pat) newpat asManyOfPattern(pat,minPattern) newpat asManyOfPattern(pat,m…...

编程日记 2025/9/3 22:16:58

大模型推理时的尺度扩展定律

大模型推理时的尺度扩展定律 FesianXu at 20250212 at Wechat Search Team 前言 大模型的尺度扩展定律告诉我们&#xff1a;『LLM的性能会随着模型的参数量、模型的训练量、模型的训练数据量的增加而增加』。训练存在尺度扩展定律&#xff0c;测试也存在尺度扩展定律&#xff…...

编程日记 2025/9/8 17:08:23

迷你世界脚本世界UI接口：UI

世界UI接口&#xff1a;UI 彼得兔 更新时间: 2023-10-25 10:40:44 具体函数名及描述如下: 序号 函数名 函数描述 1 setGBattleUI(...) 设置战斗总结UI 2 world2RadarPos(...) 世界坐标转换到小地图 3 world2RadarDist(...) 世界长度转换到小地图 4 …...

编程日记 2025/9/9 16:36:16

局域网自动识别机器名和MAC并生成文件的命令

更新版本&#xff1a;添加了MAC 地址 确定了设备唯一性 V1.1 局域网自动识别机器名和MAC并生成文件的批处理命令 echo off setlocal enabledelayedexpansionREM 设置输出文件 set outputFilenetwork_info.txtREM 清空或创建输出文件 echo Scanning network from 192.168.20.1…...

编程日记 2025/9/4 19:40:20

神经网络之词嵌入模型（基于torch api调用）

一、Word Embedding&#xff08;词嵌入&#xff09;简介 Word Embedding&#xff08;词嵌入&#xff09;&#xff1a; 词嵌入技术是自然语言处理&#xff08;NLP&#xff09;领域的一项重大创新&#xff0c;它极大地推动了计算机理解和处理人类语言的能力。 通过将单词、句子甚…...

编程日记 2025/8/30 10:23:34

微服务即时通信系统---（七）文件管理子服务

目录 功能设计 模块划分 业务接口/功能示意图 服务实现流程 服务代码实现 封装文件操作模块（utils.hpp） 获取唯一标识ID 文件读操作 文件写操作 编写proto文件 文件元信息 文件管理proto 单文件上传 多文件上传 单文件下载 多文件下载 RPC调用 服务端创建子…...

编程日记 2025/9/5 19:36:58

鸿蒙5.0实战案例：基于原生能力获取视频缩略图

往期推文全新看点&#xff08;文中附带全新鸿蒙5.0全栈学习笔录&#xff09; ✏️ 鸿蒙&#xff08;HarmonyOS&#xff09;北向开发知识点记录~ ✏️ 鸿蒙&#xff08;OpenHarmony&#xff09;南向开发保姆级知识点汇总~ ✏️ 鸿蒙应用开发与鸿蒙系统开发哪个更有前景&#…...

编程日记 2025/9/8 4:32:11

《Canvas修仙传·第三重天金丹境（下集）》 ——量子烟花与物理宇宙的混沌法则

各位道友久候&#xff01;上集我们炼就了《灵蛇奇谭》的元神&#xff0c;今日将开启Canvas修仙路上最绚丽的篇章——掌控微观粒子的创世之力&#xff01;(&#xff89;≧∀≦)&#xff89; 章前黑话词典 &#x1f50d; 量子境术语表&#xff1a; 对象池&#xff08;Object Po…...

编程日记 2025/9/8 11:01:20

Hutool - POI：让 Excel 与 Word 操作变得轻而易举

各位开发者们&#xff0c;在日常的 Java 开发工作里&#xff0c;处理 Excel 和 Word 文件是相当常见的需求。无论是从 Excel 里读取数据进行分析&#xff0c;还是将数据写入 Excel 生成报表&#xff0c;亦或是对 Word 文档进行内容编辑&#xff0c;传统的 Apache POI 库虽然功能…...

编程日记 2025/9/11 4:03:11

请谈谈 Node.js 中的流（Stream）模块，如何使用流进行数据处理？

1. Node.js中的流&#xff08;Stream&#xff09;模块 流的基本概念&#xff1a; 流是 Node.js 中用于处理流式数据的抽象接口。 它是一种高效的数据处理机制&#xff0c;适合处理大文件或高数据吞吐量的场景。 流主要有四种类型&#xff1a; Readable&#xff1a;可读流&am…...

编程日记 2025/9/9 1:08:51

DeepSeek 202502 开源周合集

DeepSeek 本周的开源项目体现了其在 AI 技术栈中的深厚积累&#xff0c;从硬件协同优化&#xff08;FlashMLA&#xff09;、通信库&#xff08;DeepEP&#xff09;、核心计算&#xff08;DeepGEMM&#xff09;到推理模型&#xff08;DeepSeek-R1&#xff09;&#xff0c;覆盖了…...

编程日记 2025/9/11 9:27:32

《从0到1：用Python在鸿蒙系统开发安防图像分类AI功能》

在人工智能与移动应用深度融合的当下，类目标签AI功能成为众多行业提升效率和用户体验的关键技术。本文聚焦于HarmonyOS NEXT API 12及以上版本，以图像分类在智能家居安防领域的应用为例，为开发者详细阐述如何利用Python开发类目标签AI功能，助力鸿蒙技术在该领域的创新应用。…...

编程日记 2025/9/8 0:55:12

【机器学习chp10】降维——(核化)PCA + MDS + lsomap + 拉普拉斯特征映射 + t-NSE + UMAP

目录 一、降维的意义与本质 1、意义 2、本质 3、常见降维方法 &#xff08;1&#xff09;线性降维 &#xff08;2&#xff09;非线性降维 二、基于重构的降维 1、PCA 2、核化PCA &#xff08;1&#xff09;实现过程 步骤一&#xff1a;数据映射与核函数定义 步骤二…...

编程日记 2025/9/7 6:35:27

Visual Studio 2022 常用快捷键

1. 格式化代码&#xff1a;ctrl K,ctrl f 2. 向下插入一行&#xff1a;ctrl shift 回车 3. 全部变成大写&#xff1a;ctrl shift U 4. 全部变成小写&#xff1a;ctrl U 5. 查找&#xff1a; ctrl f 6. 删除当前行&#xff1a; ctrl shi…...

编程日记 2025/9/8 10:40:02

JavaWeb——CSS

一、什么是CSS CSS(Cascading Style Sheet)&#xff1a;层叠样式表&#xff0c;是一种用于描述网页内容外观和样式的语言&#xff0c;主要用于控制网页的布局、颜色、字体、间距、动画等视觉效果。 CSS基本语法&#xff1a; CSS基本语法十分简单&#xff0c;基本由以下几个部分…...

编程日记 2025/9/10 4:54:49

Oracle 数据库基础入门（四）：分组与联表查询的深度探索（下）

在 Oracle 数据库的操作中&#xff0c;联合查询与子查询是获取复杂数据的关键手段。当单表数据无法满足业务需求时&#xff0c;联合查询允许我们从多张表中提取关联信息&#xff0c;而子查询则能以嵌套的方式实现更灵活的数据筛选。对于 Java 全栈开发者而言&#xff0c;掌握这…...

编程日记 2025/9/9 2:30:39

【欢迎来到Git世界】Github入门

241227 241227 241227 Hello World 参考&#xff1a;Hello World - GitHub 文档. 1.创建存储库 r e p o s i t o r y repository repository&#xff08;含README.md&#xff09; 仓库名需与用户名一致。 选择公共。 选择使用Readme初始化此仓库。 2.何时用分支&#xf…...

编程日记 2025/9/6 18:33:42

从矩阵乘法探秘Transformer

目录 前言1. transformer背景1.1 回顾线性代数的知识1.1.1 矩阵和行向量1.1.2 矩阵相乘和算子作用1.1.3 从分块矩阵的乘法来看 Q K T V QK^TV QKTV 1.2 encoder-decoder1.3 低阶到高阶语义向量的转换1.4 核心的问题 2. transformer网络结构2.1 基于KV查询的相似性计算2.2 在一个…...

编程日记 2025/8/16 12:44:58

【前端基础】Day 3 CSS-2

目录 1. Emmet语法 1.1 快速生成HTML结构语法 1.2 快速生成CSS样式语法 2. CSS的复合选择器 2.1 后代选择器 2.2 子选择器 2.3 并集选择器 2.4 伪类选择器 2.4.1 链接伪类选择器 2.4.2 focus伪类选择器 2.5 复合选择器总结 3. CSS的元素显示模式 3.1 什么是元素显示…...

编程日记 2025/9/9 0:09:52

Difyにboto3を変更したカスタムDockerイメージの構築手順

Difyにboto3を変更したカスタムDockerイメージの構築手順 はじめに1. Dockerfileの作成2. Dockerイメージのビルド3. docker-compose.yamlの更新変更点&#xff1a; 4. コンテナの再起動注意事項まとめ はじめに DifyのDockerイメージに特定バージョンのboto3を変更する手順を…...

编程日记 2025/9/6 20:09:21

C++ 类和对象（上）

Hello&#xff01;&#xff01;&#xff01;大家早上中午晚上好&#xff01;&#xff01;&#xff01;今天我们来复习C中最重要的内容之一&#xff1a;类和对象&#xff01;&#xff01; 一、类的定义 1.1语法 类定义关键字class 类名 {//括号体类定义成员变量或成员函数}&…...

编程日记 2025/9/8 7:59:42

虚拟机快照与linux的目录结构

虚拟机快照是对虚拟机某一时刻状态的完整捕获&#xff0c;包括内存、磁盘、配置及虚拟硬件状态等&#xff0c;保存为独立文件。 其作用主要有数据备份恢复、方便系统测试实验、用于灾难恢复以及数据对比分析。具有快速创建和恢复、占用空间小、可多个快照并存的特点。在管理维…...

编程日记 2025/9/7 1:08:42

代码随想录算法训练营第三十天 | 卡码网46.携带研究材料（二维解法）、卡码网46.携带研究材料（滚动数组）、LeetCode416.分割等和子集

代码随想录算法训练营第三十天 | 卡码网46.携带研究材料&#xff08;二维解法&#xff09;、卡码网46.携带研究材料&#xff08;滚动数组&#xff09;、LeetCode416.分割等和子集 01-1 卡码网46.携带研究材料&#xff08;二维&#xff09; 相关资源 题目链接&#xff1a;46. 携…...

编程日记 2025/9/8 21:05:39

计算机基础：二进制基础03，二进制数的位基和位权

专栏导航 本节文章分别属于《Win32 学习笔记》和《MFC 学习笔记》两个专栏&#xff0c;故划分为两个专栏导航。读者可以自行选择前往哪个专栏。 &#xff08;一&#xff09;WIn32 专栏导航 上一篇&#xff1a;计算机基础&#xff1a;二进制基础02&#xff0c;用二进制来计数…...

编程日记 2025/9/9 3:18:16

知识库技术选型：主流Embedding模型特性对比

知识库技术选型&#xff1a;主流Embedding模型特性对比 1. 知识库与大模型结合的背景 知识库是存储和管理结构化知识的系统&#xff0c;广泛应用于问答系统、推荐系统和搜索引擎等领域。随着大语言模型&#xff08;LLM&#xff09;的发展&#xff0c;知识库与大模型的结合成为…...

编程日记 2025/9/11 3:40:03

鸿蒙开发第4篇__关于在鸿蒙应用中使用Java语言进行设计

本博文对于鸿蒙APP程序员来说&#xff0c;很重要 HarmonyOS从 API8 开始不再支持使用Java作为开发语言&#xff0c;未来的新功能将在ArkTS中实现. API 8对应的是HarmonyOS 3.0.0版本, 2022年7月27日&#xff0c; 华为发布了HarmonyOS 3.0。 请看下图&#xff1a; 因此&#…...

编程日记 2025/9/4 22:26:30

监控视频流web端播放

最近在弄一个视频监测系统&#xff0c;核心功能之一就是视频监控查看。选择的方案是FFMPEGRTSP2web组合。 1、环境搭建&前期准备&#xff1a; 准备好软件&#xff0c;&#xff08;ffmpeg网上很多&#xff0c;大家自己去下载吧&#xff0c;rtsp-server已上传&#xff0c;方…...

编程日记 2025/9/9 18:45:41

Java中的泛型类 --为集合的学习做准备

学习目标 ● 掌握在集合中正确使用泛型 ● 了解泛型类、泛型接口、泛型方法 ● 了解泛型上下限 ● 了解基本的使用场景 1.有关泛型 1.1泛型的概念 泛型&#xff08;Generics&#xff09;是Java中引入的参数化类型机制&#xff0c;允许在定义类、接口或方法时使用类型参数&a…...

编程日记 2025/9/10 20:16:03

【MySQL】表的基本操作

??表的基本操作 文章目录&#xff1a; 表的基本操作 创建查看表 创建表 查看表结构 表的修改 表的重命名 表的添加与修改 删除表结构 总结 前言&#xff1a; 在数据库中&#xff0c;数据表是存储和组织数据的基本单位&#xff0c;对于数据表的操作是每个程序员需要烂熟…...

编程日记 2025/9/9 17:54:15

横向移动靶场-Tr0ll: 3

Tr0ll: 3来自 <Tr0ll: 3 ~ VulnHub> 1&#xff0c;将两台虚拟机网络连接都改为NAT模式 2&#xff0c;攻击机上做namp局域网扫描发现靶机 nmap -sn 192.168.23.0/24 那么攻击机IP为192.168.23.182&#xff0c;靶场IP192.168.23.187 3&#xff0c;对靶机进行端口服务探测 …...

编程日记 2025/9/6 16:56:07

房屋租赁|房屋租赁系统|基于Springboot的房屋租赁系统设计与实现(源码+数据库+文档)

房屋租赁系统目录 目录 基于Springboot的房屋租赁系统设计与实现 一、前言 二、系统功能设计 三、系统实现 管理员功能模块 房主功能模块 用户功能模块 四、数据库设计 1、实体ER图 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取&#xff1a…...

编程日记 2025/9/7 9:15:27

自然语言处理：词频-逆文档频率

介绍 大家好&#xff0c;博主又来给大家分享知识了。本来博主计划完成稠密向量表示的内容分享后&#xff0c;就开启自然语言处理中文本表示的讲解。可在整理分享资料的时候&#xff0c;博主发现还有个知识点&#xff0c;必须得单独拎出来好好说道说道。 这就是TF-IDF&#xf…...

编程日记 2025/9/5 18:15:09

Linux | 程序 / 进程调用库依赖关系查看

注&#xff1a;本文为 “Linux | 程序 / 进程调用库依赖” 相关文章合辑。 英文引文&#xff0c;机翻未校。 未整理去重。 How to Check Library Dependencies in Linux 如何在 Linux 系统中检查库依赖关系 Mohd Shakir Zakaria Programs on Linux often require external…...

编程日记 2025/9/8 9:07:30

3-4 WPS JS宏 工作表的新建、删除与错务内容处理(批量新建工作表)学习笔记

************************************************************************************************************** 点击进入 -我要自学网-国内领先的专业视频教程学习网站 *******************************************************************************************…...

编程日记 2025/9/7 4:27:35