MapReduce相关概念（自用）
MapReduce：分布式计算模型
MapReduce 是一种分布式计算模型，由 Google 在 2004 年提出，用于大规模数据集（TB 或 PB 级别）的分布式处理。它通过简单的编程模型，将复杂的分布式计算分解为两个基本阶段：Map（映射） 和 Reduce（归约）。这种模型高度抽象了并行计算的复杂性，用户只需关注具体的任务逻辑，底层的分布式计算由框架完成。
MapReduce 的核心思想
- 分而治之：将计算任务分割成小的子任务并分发到多个节点并行处理。
- 键值对处理：输入数据和输出数据都以 键值对 (key-value pairs) 的形式组织，方便分布式存储和处理。
- 两阶段操作：
- Map 阶段：对输入数据进行预处理，产生中间键值对。
- Reduce 阶段：对 Map 阶段生成的中间键值对进行归约（聚合）。
MapReduce 的执行流程
1. 输入数据
输入数据通常以 分布式文件系统（如 HDFS） 存储的大文件形式存在，数据会被划分为多个块（Block）存储在不同的节点上。
2. Map 阶段
- 输入：分块后的数据，每个块由 Map Task 处理。
- 过程：
- 每个 Map Task 从输入数据中读取一部分数据并进行处理。
- 输出的是一组 中间键值对 (key, value)。
- 框架会根据键值对的键（Key）进行分区，以确保相同键的值（Value）会被分配到同一个 Reduce Task。
- 输出：中间的键值对。
3. Shuffle 阶段
- 过程：
- 将 Map 阶段的输出重新组织，相同键的值（Value）会被聚合到一起。
- Shuffle 阶段包括 排序（Sort） 和 分组（Group） 两个子过程。
- 输出：每个 Reduce Task 接收的键值对（相同键聚合在一起）。
4. Reduce 阶段
- 输入：由 Shuffle 阶段分发的键值对。
- 过程：
- 每个 Reduce Task 对相同键的值进行聚合处理。
- 用户定义的 Reduce 函数在这里执行聚合逻辑。
- 输出：最终的计算结果（通常也是键值对形式）。
5. 输出数据
Reduce 阶段的结果会被写回到分布式文件系统中，供后续使用。
MapReduce 执行示例
问题：统计文本文件中每个单词的出现次数
-
输入文件内容：
file1: "Hello World" file2: "Hello Hadoop World" -
Map 阶段：
- 每个 Map Task 读取一部分数据，输出键值对。
Mapper 1 Input: file1 Mapper 1 Output: [(Hello, 1), (World, 1)]Mapper 2 Input: file2 Mapper 2 Output: [(Hello, 1), (Hadoop, 1), (World, 1)] -
Shuffle 阶段：
- 将相同的键聚合到一起。
[(Hello, [1, 1]), (World, [1, 1]), (Hadoop, [1])] -
Reduce 阶段：
- 对相同键的值进行归约。
Reducer Output: [(Hello, 2), (World, 2), (Hadoop, 1)] -
输出文件：
- 最终结果写入分布式存储系统。
Hello 2 World 2 Hadoop 1
MapReduce 的特点
优点：
- 可扩展性：
- 支持数千台节点并行处理大规模数据集。
- 容错性：
- 如果某个节点失败，框架可以重新调度任务到其他节点执行。
- 抽象性：
- 用户只需定义 Map 和 Reduce 函数，底层的并行化和分布式调度由框架处理。
- 数据本地化：
- 任务尽量在数据所在的节点上运行，减少数据传输开销。
- 适合批处理：
- 高效处理离线批量数据分析任务。
缺点：
- 高延迟：
- MapReduce 设计用于批处理任务，不能高效处理实时或低延迟的任务。
- 迭代计算效率低：
- 需要多次读取和写入数据（如机器学习中的迭代算法），效率较低。
- 编程模型简单但受限：
- Map 和 Reduce 模型不适合表达某些复杂的计算逻辑（如 DAG 图结构的任务）。
MapReduce 的应用场景
- 日志分析：
- 统计和分析大规模日志文件，如用户行为日志。
- 文本处理：
- 单词计数、反向索引构建。
- 大数据处理：
- 数据预处理、清洗、转换。
- 图计算：
- PageRank、社交网络分析。
- 机器学习：
- 大规模数据的分布式训练，如矩阵分解、K-means 聚类。
MapReduce 的实现
- Hadoop MapReduce：
- Apache Hadoop 是最常用的 MapReduce 框架，支持大规模分布式计算，使用 HDFS 作为底层存储。
- Google MapReduce：
- 最早的 MapReduce 框架，由 Google 提出，但不公开。
- Spark：
- Apache Spark 提供了更高效的分布式计算框架，通过 RDD 和 DAG 提供对 MapReduce 的扩展。
MapReduce 的工作原理图
-
简单结构图：
Input -> Map -> Shuffle -> Reduce -> Output -
详细图解：
Input Data| [ Map ]| --> Local Disk (Intermediate Output) [ Shuffle ]| --> Intermediate Grouping [ Reduce ]| Output Data
总结
- MapReduce 是一种简单高效的大数据计算模型，它通过分布式存储和并行计算，解决了大规模数据处理的复杂性问题。
- 通过 Map 和 Reduce 两阶段操作，用户可以轻松完成任务的分解和归约。
- 尽管 MapReduce 在实时计算和复杂计算场景中的效率有限，但其思想为现代分布式计算奠定了基础，仍然是大数据领域的核心模型之一。
相关文章：
MapReduce相关概念（自用）
MapReduce：分布式计算模型 MapReduce 是一种分布式计算模型，由 Google 在 2004 年提出，用于大规模数据集（TB 或 PB 级别）的分布式处理。它通过简单的编程模型，将复杂的分布式计算分解为两个基本阶段&#…...
)
Nginx - 整合lua 实现对POST请求的参数拦截校验(不使用Openresty)
文章目录 概述步骤 1: 安装 Nginx 和 Lua 模块步骤 2: 创建 Lua 脚本用于参数校验步骤 3: 配置 Nginx 使用 Lua 脚本写法二： 状态码写法三 ： 返回自定义JSON复杂的正则校验 步骤 4: 测试和验证ngx.HTTP_* 枚举值 概述 一个不使用 OpenResty 的 Nginx 集…...
I2C（一）：存储器模式：stm32作为主机对AT24C02写读数据
存储器模式：在HAL库中，I2C有专门对存储器外设设置的库函数 I2C（一）：存储器模式的使用 1、I2C轮询式写读AT24C02一页数据2、I2C轮询式写读AT24C02多页数据3、I2C中断式写读AT24C02一页数据4、I2C使用DMA式写读AT24C02一…...
AI助手网站
chatgpt ：https://chatgpt.com/ https://openai.com/index/chatgpt/ 百度ai助手 https://chat.baidu.com/ 百度AI助手https://chat.baidu.com/ 文心快码 文心快码BaiduComate 文心快码BaiduComate 文心快码BaiduComate有代码问题，问文…...
初始nginx
华子目录 nginx介绍nginx功能介绍基础特性web服务相关功能nginx进程结构web请求处理机制 nginx进程间通信nginx启动与http连接建立http处理过程 nginx模块介绍nginx命令演示 nginx介绍 nginx是免费的、开源的、高性能的HTTP和反向代理服务器、邮件代理服务器、以及TCP/UDP代理服…...
可扩展性设计架构模式——事件驱动架构
事件驱动架构（Event-Driven Architecture, EDA）是一种可扩展性设计软件架构模式，它通过事件来触发和通信（以事件为核心），实现不同系统组件之间的解耦（促进应用程序或系统部件之间的松耦合通信&a…...
Prometheus 专栏 —— Prometheus安装、配置
配置文件基本结构 global: 全局配置 scrape_interval: 抓取目标指标的频率，默认为 1minevaluation_interval: 评估告警规则的频率，默认为 1minscrape_timeout: 抓取目标指标数据拉取超时，默认为 10s，如果出现 context deadline e…...
Java并发编程面试题：线程池Fork/Join（19题）
🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...
【每日学点鸿蒙知识】WebView代理、2D绘制矩形圆角、TextInput清理按钮、pdf滑动、icon配置问题
1、HarmonyOS Webview 支持设置代理功能吗？ 使用Web的onInterceptRequest先拦截再代理来实现。具体可以参考文档：https://developer.huawei.com/consumer/cn/doc/harmonyos-references-V5/ts-basic-components-web-V5#ZH-CN_TOPIC_0000001930757269__on…...
抽奖系统（1）（Java 实现）
1. 需求描述 1. 包含管理员的注册与登录 1) 注册包含：姓名、邮箱、手机号、密码 2) 登录包含两种方式 (1) 电话 密码登录 (2) 电话 短信登录；验证码获取 (3) 登录需要校验管理员身份 2. 人员管理：管理员支持创建普通用户，查看…...
数据库系统原理复习汇总
数据库系统原理复习汇总 一、数据库系统原理重点内容提纲 题型：主观题 1、简答题 第一章：数据库的基本概念：数据库、数据库管理系统、三级模式；两级映像、外码 第二章：什么是自然连接、等值连接； 第三…...
基于16QAM的载波同步和定时同步性能仿真,采用四倍采样,包括Costas环和gardner环
目录 1.算法仿真效果 2.算法涉及理论知识概要 3.MATLAB核心程序 4.完整算法代码文件获得 1.算法仿真效果 matlab2022a仿真结果如下（完整代码运行后无水印）： 仿真操作步骤可参考程序配套的操作视频。 2.算法涉及理论知识概要 载波同步是…...
鸿蒙next RCP网络请求工具类进阶版来了
前言： 各位同学大家好，有一段时间没有更新文章了,最近因为鸿蒙官方的网络请求换掉了了rcp 之前是使用http 这些都是原生开发的 当然有那种三方大家熟知的 axios (这个也是基于http 后面也会过时)所以大家还是要了解一下rcp的原生的网络请求的。那么我们…...
driftingblues6_vh靶机
首先把靶机换成NAT模式 使用 arp-scan 命令扫描网段内存活的主机，以获取靶机ip地址 arp-scn -l 尝试访问ip 使用御剑扫描子域名，尝试访问robots.txt文件 通过访问文件我们发现了一个/textpattern/textpattern目录 访问一下目录发现了登录页面 他还给了…...
Go语言入门
文章目录 零、Linux下Go的安装1.下载、解压2.添加环境变量3.验证安装4.初始化Go模块(1)cd到项目目录(2)初始化模块(3)获取依赖包(4)清理和验证依赖(5)检查 go.mod 文件(6)介绍 go.mod 和 go.sum 文件 5.项目目录结构 一、感性认识1.从 Hello world 开始2.加法函数 二、Go语法1.…...
VS Code中怎样查看某分支的提交历史记录
VsCode中无法直接查看某分支的提交记录，需借助插件才行，常见的插件如果git history只能查看某页面的改动记录，无法查看某分支的整体提交记录，我们可以安装GIT Graph插件来解决这个问题 1.在 VSCode的插件库中搜索 GIT Graph安装&a…...
【杂谈】-AI搜索引擎如何改变传统SEO及其在内容营销中的作用
AI搜索引擎如何改变传统SEO及其在内容营销中的作用 文章目录 AI搜索引擎如何改变传统SEO及其在内容营销中的作用1、什么是AI搜索引擎2、AI搜索引擎对SEO策略的影响3、AI搜索引擎在内容营销转型中的作用4、AI搜索引擎在营销领域的挑战、道德问题和未来5、总结 在当今的数字营销世…...
快速掌握Haproxy原理架构
文章目录 一、原理架构二、无负载均衡三、四层负载均衡的工作流程四、七层负载均衡工作流程五、基础属性mode 属性retries 属性maxconn 属性clitimeout 属性servtimeout 属性states uri 属性 一、原理架构 四层tcp代理：Haproxy仅在客户端和服务器之间双向转发流量&…...
Java中以某字符串开头且忽略大小写字母如何实现【正则表达式（Regex）】
第一种思路是先将它们都转换为小写或大写，再使用String类的startsWith()方法实现: 例如，如下的二个示例： "Session".toLowerCase().startsWith("sEsSi".toLowerCase()); //例子之一//例子之二String str "Hello Wo…...
如何提高Redis服务器的最大打开文件数限制
文章目录 如何提高Redis服务器的最大打开文件数限制问题诊断解决步骤1. 修改系统级别的限制2. 为Redis进程特别设置限制3. 修改Redis配置文件4. 修改systemd服务文件5. 重新加载systemd并重启Redis6. 验证更改 注意事项 如何提高Redis服务器的最大打开文件数限制 在运行高并发…...
React 组件通信完整指南 以及 自定义事件发布订阅系统
React 组件通信完整指南 1. 父子组件通信 1.1 父组件向子组件传递数据 // 父组件 function ParentComponent() {const [data, setData] useState(Hello from parent);return <ChildComponent message{data} />; }// 子组件 function ChildComponent({ message }) {re…...
代码随想录算法【Day5\Day6】
DAY5\Day6 1.熟悉哈希表的数据结构：数组、map和set，使用方法、使用场景 2.哈希表应用场景：解决给你一个元素，判断它在集合里是否出现过。 242.有效的字母异位词 本题用数组解决的。 class Solution { public:bool isAnagram(…...
Oracle 数据库执行计划的查看与分析技巧
目录 Oracle 数据库执行计划的查看与分析技巧一、什么是执行计划二、查看执行计划的方法（一）使用 EXPLAIN PLAN 命令（二）通过 SQL Developer 工具查看（三）启用 AUTOTRACE 功能 三、执行计划中的关键信息解读…...
VMD-SSA-BiLSTM、VMD-BiLSTM、BiLSTM时间序列预测对比
VMD-SSA-BiLSTM、VMD-BiLSTM、BiLSTM时间序列预测对比 目录 VMD-SSA-BiLSTM、VMD-BiLSTM、BiLSTM时间序列预测对比预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.MATLAB实现VMD-SSA-BiLSTM、VMD-BiLSTM、BiLSTM时间序列预测对比; 2.单变量时间序列预测 就是先vmd把变…...
QGIS二次开发（地图符号库操作）
实习三 地图符号库操作 3.1 任务要求 基于QGIS，实现地图符号的设计/存储与显示；基于QGIS实现一个点、线、面shp矢量图层文件的显示。通过设置引用的符号，改变矢量图层的显示效果；可编辑地图的符号库汇中的点符号、线符号、面符号…...
wordpress网站用token登入开发过程
生成跳转token 示例： function generate_login_token($user_id, $secret_key) {$payload [user_id > $user_id,timestamp > time(),];$payload_json json_encode($payload);$signature hash_hmac(sha256, $payload_json, $secret_key);return base64_en…...
Uniapp在浏览器拉起导航
Uniapp在浏览器拉起导航 最近涉及到要在浏览器中拉起导航，对目标点进行路线规划等功能，踩了一些坑，找到了使用方法。（浏览器拉起） 效果展示 可以拉起三大平台及苹果导航 点击选中某个导航，会携带经纬度跳转…...
在 CentOS 上安装 FFmpeg
在CentOS 上安装 FFmpeg 方法一：在线安装 添加 EPEL 和 RPM Fusion 源： sudo yum install epel-release sudo yum install https://download1.rpmfusion.org/free/el/rpmfusion-free-release-$(rpm -E %rhel).noarch.rpm安装 FFmpeg： sudo yu…...
)
影刀进阶指令 | liblib反推 (SD AI绘图反推)
文章目录 影刀进阶指令 | liblib反推 (SD AI绘图反推)一. 需求二. 流程三. 实现3.1 流程概览3.2 流程步骤讲解1\. 获取png地址2\. 打开页面3\. 上传png文件4\. 获取png的prompt信息 四. 运维 影刀进阶指令 | liblib反推 (SD AI绘图反推) 先看看我们要实现的功能，li…...
WebStorm 创建一个Vue项目
一、下载并安装WebStorm 步骤一 步骤二 选择激活方式 激活码： I2A0QUY8VU-eyJsaWNlbnNlSWQiOiJJMkEwUVVZOFZVIiwibGljZW5zZWVOYW1lIjoiVU5JVkVSU0lEQURFIEVTVEFEVUFMIERFIENBTVBJTkFTIiwiYXNzaWduZWVOYW1lIjoiVGFvYmFv77yaSkVU5YWo5a625qG25rAIOa0uW3peS9nOWupC…...
回归预测 | MATLAB实现CNN-LSTM卷积长短期记忆神经网络多输入单输出回归预测
回归预测 | MATLAB实现CNN-LSTM卷积长短期记忆神经网络多输入单输出回归预测 目录 回归预测 | MATLAB实现CNN-LSTM卷积长短期记忆神经网络多输入单输出回归预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 MATLAB实现CNN-LSTM卷积长短期记忆神经网络多输入单输出回归…...
rust windwos 两个edit框
use winapi::shared::minwindef::LOWORD; use windows::{core::*,Win32::{Foundation::*,Graphics::Gdi::{BeginPaint, EndPaint, PAINTSTRUCT},System::LibraryLoader::GetModuleHandleA,UI::WindowsAndMessaging::*,}, };// 两个全局静态变量，用于保存 Edit 控件的…...
ArcGIS计算矢量要素集中每一个面的遥感影像平均值、最大值等统计指标
本文介绍在ArcMap软件中，基于矢量面要素集，计算在其中每一个面区域内，遥感影像的像元个数、平均值、总和等统计值，并将统计信息附加到矢量图层的属性表中的方法。 首先，明确一下本文的需求。现在有一个矢量面要素集&am…...
)
JavaScript高级程序设计基础（十一)
上接语言基础：JavaScript高级程序设计基础（十) 五、集合引用类型 5.1 object 此处简单介绍object，object由两种方式可以创造：由构造函数new Object(),或者对象字面量。如果想要修改对象的值可以用点语法，如object.na…...
【服务器学习专栏 1.2 -- 带外管理】
请阅读 嵌入式学习必备专栏 文章目录 Overview服务器带外管理BMC 介绍BMC 特点BMC 工作原理 Overview 从技术的角度，网络管理可分为带外管理（out-of-band）和带内管理（in-band）两种管理模式。 带内管理，是指…...
《Vue3 二》Vue 的模板语法
在 React 中，想要编写 HTML，是使用 JSX，之后通过 Babel 将 JSX 编译成 React.createElement 函数调用；在 Vue 中，也支持 JSX 的开发模式，但大多数情况下都是使用基于 HTML 的模板语法，在模板中允…...
手机租赁平台开发全攻略打造高效便捷的租赁服务系统
内容概要 手机租赁平台开发，简单说就是让用户能轻松租赁各类手机的高效系统。这一平台不仅帮助那些想要临时使用高端手机的人们节省了不少资金，还为商家开辟了新的收入渠道。随着智能手机的普及，很多人并不需要长期拥有一部手机，…...
【Ext.js 初步入门】Ext.js 作用以及用法 概述
一、Ext.js的作用 首先我们需要了解类似Ext.js以及easyui类似产品的作用是什么。 我的理解是就是相当于一个组件库，它与bootstrap类似产品的区别在于，bootstrap与ext.js和easyui面向的问题不同，bootstrap面向的问题样式，ext.js和…...
基于源码剖析：深度解读JVM底层运行机制
每日禅语 佛说，给你修路的，是你自己；埋葬你的，也是你自己；帮助你的，是你自己；毁灭你的，也是你自己；成就你的，自然还是你自己。所以佛说：自作自受&…...
redis延迟队列
Redis延迟队列 Redis延迟队列是基于Redis构建的消息队列，用来处理需延迟执行的任务。 基本原理 它借助Redis的有序集合（Sorted Set）数据结构达成目的。会把任务及其执行时间分别当成成员与分值存进有序集合，由于执行时间作为分值&…...
GDPU Vue前端框架开发 期末赛道出勇士篇（更新ing）
记住，年底陪你跨年的不会仅是方便面跟你的闺蜜，还有孑的笔记。 选择题 1.下列选项用于设置Vue.js页面视图的元素是（）。 A. Template B. script C. style D. title 2.下列选项中能够定义Vuejs根实例对象的元素是（&…...
（附脚本）)
WordPress TutorLMS插件 SQL注入漏洞复现(CVE-2024-10400)（附脚本）
0x01 产品描述： Tutor LMS是一个功能强大的...
小程序配置文件 —— 14 全局配置 - tabbar配置
全局配置 - tabBar配置 tabBar 字段：定义小程序顶部、底部 tab 栏，用以实现页面之间的快速切换；可以通过 tabBar 配置项指定 tab 栏的表现，以及 tab 切换时显示的对应页面； 在上面图中，标注了一些 tabBar …...
基于python+Django+mysql文档格式转换工具系统设计与实现
博主介绍：黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育、辅导。 所有项目都配有从入门到精通的基础知识视频课程ÿ…...
异步线程池中，ThreadPoolTaskExecutor和ThreadPoolExecutor有什么区别？
异步线程池中，org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor和java.util.concurrent.ThreadPoolExecutor有什么区别？ org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor 和 java.util.concurrent.ThreadPoolExec…...
【机器学习】SVM支持向量机（二）
介绍 支持向量机（Support Vector Machine, SVM）是一种监督学习模型，广泛应用于分类和回归分析。SVM 的核心思想是通过找到一个最优的超平面来划分不同类别的数据点，并且尽可能地最大化离该超平面最近的数据点（支持向量…...
基于NodeMCU的物联网电灯控制系统设计
最终效果 基于NodeMCU的物联网电灯控制系统设计 小程序关灯 上图展现了小程序关灯过程的数据传输过程：用户下达关灯指令→小程序下发关灯指令→MQTT服务器接收关灯指令→下位机接收与处理关灯指令。 项目介绍 该项目是“物联网实验室监测控制系统设计（…...
源码安装redis后配置redis开机自启动
initd风格 #!/bin/sh ### BEGIN INIT INFO # Provides: redis # Required-Start: $remote_fs $syslog # Required-Stop: $remote_fs $syslog # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Start/stop Redis server ### END…...
 IntervalBudget)
WebRTC服务质量（11）- Pacer机制（03) IntervalBudget
WebRTC服务质量（01）- Qos概述 WebRTC服务质量（02）- RTP协议 WebRTC服务质量（03）- RTCP协议 WebRTC服务质量（04）- 重传机制（01) RTX NACK概述 WebRTC服务质量（…...
22.跳过报错（最简） C#例子
这是一个跳过报错的例子，如果代码出错了会自动跳过，代码正确了就正常执行。 然而这不是一种推荐的做法，正确的做法应该是使用bool类型的值去检测代码运行结果，然后分支判断，在代码内部解决错误。 这只是一种好玩的做…...