当前位置： 首页 > news >正文

Hadoop的组成

news 来源：原创 2025/7/4 2:52:40

（一）Hadoop的组成
        对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。

        在Hadoop3.X中，hadoop一共有三个组成部分：MapReduce，Yarn，HDFS。它们的作用如下：

MapReduce: 用来提供计算。
HDFS: 用来提供文件存储功能。
Yarn: 用来协调调度。
（二）HDFS
        Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。在hadoop体系中，它用来存储文件。

  例如，当我们把一个文件（例如500M），保存到hadoop中时，它的背后要实现两个效果：

如果文件较大(>128M)把大文件拆小，并分别传输。
存储3份在不同的主机上。
        在它的内部，有三个角色，分别如下：

        （1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。

        （2）DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验和。

        （3）Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

（三）YARN
        Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。

      （1）ResourceManager(RM):整个集群资源（内存，CPU等）的管理者

      （2）NodeManager(NM): 单个节点服务器资源的管理者

Yarn和HDFS的关系说明：逻辑上分离，物理上在一起。

        逻辑上分离：不是说非要启动HDFS集群才能启动YARN集群，不是先有哪个再有哪个？每个框都是一个进程，可能都运行在一台主机上，但是，属于不同的集群。

        物理上在一起：每一台机器上都有NN, NM。

（四）MapReduce
        MapReduce用来提供计算的能力。它将计算过程分为两个阶段：Map和Reduce。

      （1）Map阶段并行处理输入数据

      （2）Reduce阶段对Map结果进行汇总

相关文章：

Hadoop的组成

（一）Hadoop的组成 对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。 在Hadoop3.X中，hadoop一共有三个组成部分&#…...

编程日记 2025/7/4 2:52:40

Android锁

引言 🔒 在 Android 应用的开发过程中，随着业务需求的复杂度不断提升，多线程并发场景层出不穷。为了保证数据一致性与线程安全，锁（Lock）成为了不可或缺的工具。本篇博客将深入剖析 Android 中常用的锁机制…...

编程日记 2025/6/29 0:12:51

XD08M3232接近感应单片机的接近感应模块的工作原理

XD08M3232接近感应单片机的接近感应模块基于电容式感应原理，通过硬件电路与软件配置实现对物体接近的检测。以下是其工作原理的详细解析： 一、硬件架构与核心组件 1. 核心电路组成 接近感应模块由三大关键部分构成： 两个轨到轨运算放大器&…...

编程日记 2025/6/29 1:33:50

编程日志5.6

串的习题 1.2236. 判断根结点是否等于子结点之和 - 力扣（LeetCode） /** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNode *left; * TreeNode *right; * TreeNode() : val(0), left(nullptr), right(nullptr) {} * Tr…...

编程日记 2025/6/29 0:37:00

量子计算实用化突破：从云端平台到国际竞合，开启算力革命新纪元

在硅谷某生物医药实验室，研究员艾米丽正盯着量子计算模拟界面露出微笑 —— 搭载中电信 "天衍" 量子计算云平台的 880 比特超导量子处理器，用 17 分钟完成了传统超算需 3 个月才能跑完的新型抗生素分子键合模拟。这个场景标志着量子计算正从 &…...

编程日记 2025/6/29 1:08:25

Made with Unity | 拓展“双点”宇宙版图

双点工作室（Two Point Studios）团队成立于2016年，其创立初衷是打造一个完美的游戏IP：构建一个既能持续吸引玩家，又具备足够扩展空间，同时经得起时间考验的虚拟世界。2018年，团队以《双点医院&am…...

编程日记 2025/6/29 1:28:59

3D 数据可视化系统是什么？具体应用在哪方面？

目录 一、3D 数据可视化系统的定义与内涵 （一）基本概念 （二）核心要素 二、3D 数据可视化系统的优势 三、3D 数据可视化系统的应用领域 （一）城市规划与管理 （二）工业制造 &am…...

编程日记 2025/7/4 2:44:19

2025-5-14渗透测试：利用Printer Bug ，NTLMv2 Hash Relay（中继攻击），CVE-2019-1040漏洞复现

python3 printerbug.py test.com/test192.168.186.131 192.168.186.134 sudo python2 MultiRelay.py -t 192.168.186.132 -u ALLPrinter Bug 原理 PrinterBug（CVE-2018-0886）是Windows打印系统服务（Spooler）的一个设计缺陷&…...

编程日记 2025/7/4 2:36:24

OracleLinux7.9-ssh问题

有套rac环境，db1主机无法ssh db1和db1-priv，可以ssh登录 db2和db2-priv [rootdb1 ~]# ssh db1 ^C [rootdb1 ~]# ssh db2 Last login: Wed May 14 18:25:19 2025 from db2 [rootdb2 ~]# ssh db2 Last login: Wed May 14 18:25:35 2025 from db1 [rootdb2…...

编程日记 2025/6/29 1:31:47

《AI大模型应知应会100篇》第64篇：构建你的第一个大模型 Chatbot

第64篇：构建你的第一个大模型 Chatbot 手把手教你从零开始搭建一个基于大模型的聊天机器人 摘要 你是否想过，自己也能构建一个像 ChatGPT 一样能对话、能思考的聊天机器人（Chatbot）？别担心，这并不需要你是…...

编程日记 2025/7/3 8:39:50

鸿蒙OSUniApp 实现精美的用户登录和注册页面#三方框架 #Uniapp

UniApp 实现精美的用户登录和注册页面 前言 在开发鸿蒙APP时，登录注册页面作为用户与应用交互的第一道门槛，其体验与质量往往决定了用户的第一印象。去年我接手了一个电商小程序项目，产品经理特别强调要做一个既美观又实用的登录注册页面。…...

编程日记 2025/7/4 2:44:17

c#中equal方法与gethashcode方法之间有何关联？

文章目录 前言一、对hash运算的深入思考二、equal与gethashcode的关联三、 equal与gethashcode不同步的后果四、 规范的重写gethashcode 前言 大家有没有遇到过，当你重写了c#对象的equal方法之后，编译器会提示你对相应的gethashcode进行重写&#xff0c…...

编程日记 2025/6/28 22:59:04

查询公网IP地址的方法：查看自己是不是公网ip，附内网穿透外网域名访问方案

本地搭建服务并提供互联网连接时，较为传统的方法是使用公网IP地址。因此，如何查询本地自己是不是公网IP，是必须要掌握的一种技巧。当面对确实无公网IP时，则可以通过内网穿透方案，如nat123网络映射工具，将本…...

编程日记 2025/6/28 23:17:37

【轻松学 C：编程小白的大冒险】— 16 函数的定义与调用

在编程的艺术世界里，代码和灵感需要寻找到最佳的交融点，才能打造出令人为之惊叹的作品。而在这座秋知叶i博客的殿堂里，我们将共同追寻这种完美结合，为未来的世界留下属于我们的独特印记。 【轻松学 C：编程小白的大冒险…...

编程日记 2025/7/4 2:40:21

【Tools】CPU 分析

CPU 分析 Windows SDK 本指南提供了可用于调查影响评估指标的中央处理单元 (CPU) 相关问题的详细技术。 特定于评估的分析指南中的各个指标或问题部分确定了需要调查的常见问题。 本指南提供了可用于调查这些问题的技术和工具。 本指南中的技术使用 Windows Performance Too…...

编程日记 2025/6/28 22:59:18

进阶2_1：QT5多线程与定时器共生死

1、在widget.ui中使用 LCD Number控件 注意：若 LCD 控件不是多线程，LCD控件则会瞬间自增到最大的数值，如上图，说明两者都是多线程处理 2、实现方式 1、创建 LCD 控件并修改为 LCD1 2、创建任务类 mytask. h，对任务类…...

编程日记 2025/7/4 2:38:02

ECharts：数据可视化的强大引擎

在当今这个信息爆炸的时代，如何有效地展示和理解复杂的数据成为了每一个开发者和技术爱好者面临的挑战。Apache ECharts 作为一款基于 JavaScript 的开源可视化库，以其强大的功能、丰富的图表类型以及高度的可定制性，迅速成为了数据可视化领域…...

编程日记 2025/6/29 0:31:02

记录 QT 在liunx 下 QFileDialog 类调用问题 （）Linux下QFileDialog没反应）

1. 2025.05.14 踩坑记录 因为QT 在 liunx 文件系统不同导致的 Windows ： QString filePath QFileDialog::getOpenFileName(nullptr, "选择文件", ".", "文本文件 (*.txt);所有文件 (*.*)"); 没问题 liunx 下 打不开&#xff…...

编程日记 2025/6/28 22:59:14

通用软件项目技术报告 - 导读III

现在，我们正式进入报告的第六个主要领域：6. 领域六：与第三方服务/API 集成 (含 LLM API)。 连接: 在现代软件开发中，很少有应用程序是完全孤立的。我们经常需要与各种外部的第三方服务或 API 进行集成，以利用它们提供的特定功能（如支付处理、地图服务、社交媒体登录、云…...

编程日记 2025/6/28 23:31:55

Kali Linux 桌面环境安装与配置指南

一、为什么选择 Kali Linux？ Kali Linux 由 Offensive Security 维护，集成了数百种安全测试工具（如 Metasploit、Nmap 和 Burp Suite），非常适合安全研究。但需要注意的是，Kali 默认以 root 用户运行&#…...

编程日记 2025/7/3 19:56:06

FFmpeg视频编码的完整操作指南

步骤如下： 安装和准备FFmpeg：确保包含所需编码器（如libx264）。基本命令行编码：使用ffmpeg命令进行转码，设置视频编码器、CRF、预设等。API编码流程（针对开发者）： a. 注册…...

编程日记 2025/7/3 10:28:07

【网络协议】TCP、HTTP、MQTT 和 WebSocket 对比

从协议本质、工作原理、特点、应用场景等方面详细对比 TCP、HTTP、MQTT 和 WebSocket。 1. TCP（Transmission Control Protocol，传输控制协议） 本质 协议类型：传输层协议（OSI模型第4层）。核心功能&#x…...

编程日记 2025/6/28 22:58:57

Leetcode数组day1

704 二分查找 注意点&#xff0c;左闭右闭 class Solution { public:int search(vector<int>& nums, int target) {//整数类型的动态数组的引用。int left0;int right nums.size()-1;while (left < right){int middle (rightleft)/2;if (nums[middle]>targ…...

编程日记 2025/6/28 23:40:03

leetcode2934. 最大化数组末位元素的最少操作次数-medium

1 题目&#xff1a;最大化数组末位元素的最少操作次数 官方标定难度&#xff1a;中 给你两个下标从 0 开始的整数数组 nums1 和 nums2 &#xff0c;这两个数组的长度都是 n 。 你可以执行一系列 操作&#xff08;可能不执行&#xff09;。 在每次操作中&#xff0c;你可以选…...

编程日记 2025/6/28 22:59:01

常见相机焦段的分类及其应用

相机焦段是指镜头的焦距范围&#xff0c;决定了拍摄时的视角、画面范围和透视效果。不同焦段适合不同的拍摄场景和主题&#xff0c;以下是常见焦段的分类及其应用&#xff1a; 一、焦段的核心概念 焦距&#xff1a;镜头光学中心到成像传感器的距离&#xff08;单位&#xff1a…...

编程日记 2025/6/29 0:24:07

FPGA在光谱相机中的核心作用

FPGA&#xff08;现场可编程门阵列&#xff09;作为光谱相机的核心控制与加速单元&#xff0c;通过硬件级并行处理能力和动态可编程特性&#xff0c;实现高速、高精度的光谱数据采集与处理。以下是其具体作用分类&#xff1a; 一、高速光电信号处理 ‌实时光谱复原‌ 通过硬…...

编程日记 2025/6/29 0:01:00

【证书与信任机制​】证书透明度（Certificate Transparency）：如何防止恶意证书颁发？​​

证书透明度&#xff08;Certificate Transparency, CT&#xff09;的核心原理 证书透明度&#xff08;CT&#xff09;是一项由Google主导的开放标准&#xff0c;旨在通过公开记录所有SSL/TLS证书的颁发行为&#xff0c;防止恶意CA错误或故意颁发虚假证书。其核心机制如下&#…...

编程日记 2025/6/29 1:05:23

【RabbitMq C++】消息队列组件

RabbitMq 消息队列组件 1. RabbitMq介绍2. 安装RabbitMQ3. 安装 RabbitMQ 的 C客户端库4. AMQP-CPP 库的简单使用4.1 使用4.1.1 TCP 模式4.1.2 扩展模式 4.2 常用类与接口介绍4.2.1 Channel4.3.2 ev 5. RabbitMQ样例编写5.1 发布消息5.2 订阅消息 1. RabbitMq介绍 RabbitMq - …...

编程日记 2025/6/28 23:00:36

基于SpringBoot+Vue的房屋租赁管理系统源码包（完整版）开发实战

基于SpringBootVue的房屋租赁管理系统源码包&#xff08;完整版&#xff09;开发实战 一、引言 随着城市化进程加速&#xff0c;房屋租赁市场规模持续扩大&#xff0c;传统管理方式已无法满足高效、精准的业务需求。本文基于SpringBootVue框架&#xff0c;设计并实现了一套完…...

编程日记 2025/6/28 23:42:21

《AI大模型应知应会100篇》第61篇：FastAPI搭建大模型API服务

第61篇&#xff1a;FastAPI搭建大模型API服务 摘要 随着大语言模型&#xff08;LLM&#xff09;在各行各业的广泛应用&#xff0c;构建一个高性能、可扩展的大模型 API 服务变得尤为重要。FastAPI 以其异步支持、类型安全、自动生成文档等优势&#xff0c;成为当前最流行的选择…...

编程日记 2025/6/28 22:59:20

Java 源码 HashMap源码分析

Java 源码 HashMap源码分析 1 初始容量 /*** The default initial capacity - MUST be a power of two.* 默认的初始容量&#xff0c;必须为2的幂*/static final int DEFAULT_INITIAL_CAPACITY 1 << 4; // aka 16容量表示哈希表中槽的数量&#xff08;即哈希数组的长度…...

编程日记 2025/6/28 23:14:15

requestAnimationFrame 与 requestIdleCallback 对比

提示：记录工作中遇到的需求及解决办法 文章目录 前言一、背景与问题场景二、核心API对比分析三、选择 requestIdleCallback 的核心原因四、特殊场景处理建议五、最佳实践总结六、结论前言 看过埋点库 sunshine-track ，很多人疑惑为啥批量上报埋点信息的时候，用的是 request…...

编程日记 2025/6/28 23:35:25

【C/C++】自定义类型：结构体

文章目录 前言自定义类型&#xff1a;结构体1.结构体类型的声明1.1 结构体回顾1.1.1 结构的声明 1.1.2 结构体变量的创建和初始化1.2 结构的特殊声明1.3 结构的自引用 2.结构体内存对齐2.1 对⻬规则2.2 为什么存在内存对齐&#xff1f;2.3 修改默认对⻬数 3. 结构体传参4.结构体…...

编程日记 2025/6/28 23:34:42

视频编解码学习十二之Android疑点

一、android.view.SurfaceControl.setDisplaySurface的作用 android.view.SurfaceControl.setDisplaySurface 是 Android 系统中一个 native 层级别的 API&#xff0c;主要用于 设置某个物理显示屏&#xff08;Display&#xff09;的输出 Surface&#xff0c;属于 SurfaceFlin…...

编程日记 2025/6/28 23:40:19

web第三次课后作业--基于JDBC对mysql数据库的增删查改操作

一、工程搭建步骤 1.新建java项目&#xff0c;添加jdbc依赖 2.写java程序 3.添加mysql数据源&#xff0c;连接本地数据库 4.运行程序二、运行结果 三、代码 代码解析 加载数据驱动 try {Class.forName("com.mysql.jdbc.Driver"); } catch (ClassNotFoundExceptio…...

编程日记 2025/6/28 23:02:37

fiftyone-数据库配置和config与app_config配置文件

一数据库配置&#xff1a;&#xff08;以本地为例&#xff09; fiftyone数据库信息存在配置文件中&#xff1a; 配置文件地址&#xff1a; ~/.fiftyone/config.json 这个配置文件的作用&#xff1a;存放数据库地址信息&#xff1b;&#xff08;如果不配置&#xff0c;fiftyon…...

编程日记 2025/6/29 1:16:52

Nginx的核心功能--正向代理、反向代理、缓存和Rewrite

Nginx作为高性能的Web服务器&#xff0c;其核心功能主要体现在以下四大模块&#xff1a; 一、正向代理 主要用于客户端访问外部网络的中转服务。典型配置示例&#xff1a; server {listen 8080;resolver 8.8.8.8;location / {proxy_pass http://$http_host$request_uri;prox…...

编程日记 2025/6/29 1:22:10

mac latex vscode 配置

mac latex vscode 配置 安装mactex.pkg 这里有个快速下载的镜像 https://mirrors.aliyun.com/CTAN/systems/mac/mactex/ 可以检查是否将 PATH 写入 export PATH"/Library/TeX/texbin:$PATH"vscode 下载插件 Latex Workshop 在配置文件 settings.json 中输入如下的…...

编程日记 2025/6/29 0:25:25

【GESP真题解析】第 4 集 GESP一级 2023 年 3 月编程题 1：每月天数

大家好&#xff0c;我是莫小特。 这篇文章给大家分享 GESP 一级 2023 年 3 月编程题第 1 题&#xff1a;每月天数。 题目链接 洛谷链接&#xff1a;B3835 每月天数 一、完成输入 根据题目要求&#xff0c;我们需要输入两个整数&#xff0c;分别表示一个日期的年份和月份。 年…...

编程日记 2025/6/28 23:01:44

国产免费工作流引擎star 6.5k，Warm-Flow升级1.7.2（新增案例和修复缺陷）

文章目录 主要更新内容项目介绍功能思维导图设计器流程图演示地址官网Warm-Flow视频 主要更新内容 [feat] 开启流程实例&#xff0c;新增流程定义是否存在校验[feat] 新增合同签订流程案例[feat] 新增企业采购流程案例[update] mybatis-plus逻辑删除&#xff0c;删除值和未删除…...

编程日记 2025/6/29 0:43:25

计算机网络：移动通信蜂窝网络指的是什么？

无线基站的蜂窝网络（Cellular Network）是现代移动通信系统的核心架构，其核心思想是通过蜂窝状小区划分和频率复用，实现广域覆盖、高效频谱利用和动态资源管理。以下从设计原理、网络架构、关键技术及实际挑战等方面深入解析蜂窝网络。 一、蜂窝网络的设计原理 1. 蜂窝结构…...

编程日记 2025/6/29 0:22:21

scratch基础-外观模块

一、本次任务 二、内容详解 1、模块介绍 1、说[你好] (2)秒&#xff1a;临时对话框&#xff0c;短暂对话 2、说[你好]&#xff1a;持续显示对话框&#xff0c;长文本显示 3、思考[嗯…] (2)秒&#xff1a;临时显示思考气泡&#xff0c;用于角色思考 4、思考[嗯…] &#xff1a…...

编程日记 2025/6/29 0:16:36

前端服务器部署分类总结

目前所了解的部署有三种方式&#xff1a; 一是本地服务器部署&#xff1b;二是 nginx 服务器部署&#xff1b;三是云服务器部署 本地部署&#xff0c;准备好部署的包 以Vue项目为例&#xff0c;执行npm run build 命令打成前端包 第二步&#xff1a;将打包结果交给服务器(本地…...

编程日记 2025/6/29 1:33:00

精益数据分析（58/126）：移情阶段的深度实践与客户访谈方法论

精益数据分析&#xff08;58/126&#xff09;&#xff1a;移情阶段的深度实践与客户访谈方法论 在创业的漫长旅途中&#xff0c;正确识别和验证问题是成功的第一步。今天&#xff0c;我们继续围绕《精益数据分析》中创业阶段的核心内容&#xff0c;深入探讨移情阶段的关键实践…...

编程日记 2025/6/29 0:59:56

MK米客方德SD NAND:无人机存储的高效解决方案

在无人机技术迅猛发展的当下&#xff0c;飞控系统的数据记录对于飞行性能剖析、故障排查以及飞行安全保障极为关键。以往&#xff0c;SD 卡是飞控 LOG 记录常见的存储介质&#xff0c;但随着技术的革新&#xff0c;新的存储方案不断涌现。本文聚焦于以 ESP32 芯片为主控制器的无…...

编程日记 2025/6/29 0:27:52

LVDS系列12：Xilinx Ultrascale系可编程输入延迟(二)

本节讲解Ultrascale IDELAYE3的参数&#xff1b;  IDELAYE3参数&#xff1a; REFCLK_FREQUENCY&#xff1a;如果使用COUNT模式&#xff0c;保持300MHz的默认值即可&#xff1b; 如果使用TIME模式&#xff0c;则该值与IDELAYCTRL参考时钟要匹配&#xff1b; DELAY_SRC&#…...

编程日记 2025/6/29 1:15:33

Spring的bean的生命周期？

Spring中bean的生命周期包括以下步骤&#xff1a; 通过BeanDefinition获取bean的定义信息。 调用构造函数实例化bean。 进行bean的依赖注入&#xff0c;例如通过setter方法或Autowired注解。 处理实现了Aware接口的bean。 执行BeanPostProcessor的前置处理器。 调用初始化…...

编程日记 2025/6/29 0:59:42

OpenCV CUDA模块中逐元素操作------逻辑运算

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 比较、AND、OR、NOT等。这类操作可用于创建基于条件的掩码&#xff0c;这对于图像分割或特征选择非常有用。 主要函数 1. 按位与 (cv::cuda::b…...

编程日记 2025/6/28 23:51:10

微信开发者工具里面模拟操作返回、录屏、网络速度、截屏等操作

微信开发者工具里面模拟操作返回、录屏、网络速度、截屏等操作...

编程日记 2025/6/28 23:08:08

Void: Cursor 的开源平替

GitHub&#xff1a;https://github.com/voideditor/void 更多AI开源软件&#xff1a;发现分享好用的AI工具、AI开源软件、AI模型、AI变现 - 小众AI Void&#xff0c;这款编辑器号称是开源的 Cursor 和 GitHub Copilot 替代品&#xff0c;而且完全免费&#xff01; 在你的代码库…...

编程日记 2025/6/28 23:58:38