当前位置： 首页 > news >正文

Spark，hadoop的组成

news 来源：原创 2025/7/28 0:19:31


（一）Hadoop的组成

        对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。
        在Hadoop3.X中，hadoop一共有三个组成部分：MapReduce，Yarn，HDFS。它们的作用如下：
MapReduce: 用来提供计算。
HDFS: 用来提供文件存储功能。
Yarn: 用来协调调度。
（二）HDFS

        Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。在hadoop体系中，它用来存储文件。
  例如，当我们把一个文件（例如500M），保存到hadoop中时，它的背后要实现两个效果：
如果文件较大(>128M)把大文件拆小，并分别传输。
存储3份在不同的主机上。
        在它的内部，有三个角色，分别如下：
        （1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。
        （2）DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验和。
        （3）Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

HDFS集群：一主加三从，额外再配一个小秘书
（三）YARN

        Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。
      （1）ResourceManager(RM):整个集群资源（内存，CPU等）的管理者
      （2）NodeManager(NM): 单个节点服务器资源的管理者

Yarn和HDFS的关系说明：逻辑上分离，物理上在一起。
        逻辑上分离：不是说非要启动HDFS集群才能启动YARN集群，不是先有哪个再有哪个？每个框都是一个进程，可能都运行在一台主机上，但是，属于不同的集群。
        物理上在一起：每一台机器上都有NN, NM。
（四）MapReduce

        MapReduce用来提供计算的能力。它将计算过程分为两个阶段：Map和Reduce。
      （1）Map阶段并行处理输入数据
      （2）Reduce阶段对Map结果进行汇总

 
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/2401_87076452/article/details/146391307

相关文章：

Spark，hadoop的组成

（一）Hadoop的组成 对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。 在Hadoop3.X中，hadoop一共有三个组成部分&#…...

编程日记 2025/7/28 0:19:31

数据结构中的各种排序

排序之冒泡排序 原理&#xff1a;比较相邻的元素&#xff0c;将大的元素放右边&#xff0c;小的元素放左边。每一趟排的最后的元素一定是最大的元素&#xff0c;所有下一趟需要排列的元素可减少一个 public int[] bubbleSort(int[] attr) {for (int i 0; i < attr.length…...

编程日记 2025/7/28 0:19:31

Android 中实现 GIF 图片动画

在 Android 中&#xff0c;ImageView 从 Android 9.0&#xff08;API 级别 28&#xff09; 开始原生支持 GIF 动画&#xff0c;通过 AnimatedImageDrawable 类实现。在之前的版本中&#xff0c;ImageView 并不支持直接播放 GIF 动画&#xff0c;只能显示 GIF 的第一帧。 一、 …...

编程日记 2025/7/27 0:15:58

linux安装mysql数据库

1.判断系统是多少位的 file /sbin/init2.下载linux安装包 5.7.25.64位安装包链接&#xff1a;https://pan.baidu.com/s/13vFuRikwJaI96K0AmUQXzg提取码&#xff1a;ga7h其他版本安装 去官网下载&#xff1a;https://dev.mysql.com/downloads/mysql/3.创建mysql文件夹 mkdir /…...

编程日记 2025/7/27 0:15:56

基于SA模拟退火算法的车间调度优化matlab仿真,输出甘特图和优化收敛曲线

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 基于SA模拟退火算法的车间调度优化matlab仿真,输出甘特图和优化收敛曲线。输出指标包括最小平均流动时间&#xff0c;最大完工时间&#xff0c;最小间隙时间。 2…...

编程日记 2025/7/27 0:15:54

uniapp云打包针对谷歌视频图片权限的解决方案

谷歌在24年底推出把图片和视频细分为两个权限&#xff0c;uniapp使用uni.chooseImage云打包默认图片视频为一个权限,不符合谷歌要求会被下架 解决方法&#xff0c;在项目根目录下新建AndroidManifest.xml移除不必要的权限 <?xml version"1.0" encoding"utf…...

编程日记 2025/7/27 0:15:52

DSRAM介绍

DSRAM&#xff08;双端口静态随机存储器&#xff09;介绍 1. 基本概念 DSRAM&#xff08;Dual-Port Static Random Access Memory&#xff09;是一种双端口SRAM&#xff0c;支持两个独立的读写接口&#xff0c;允许两个设备&#xff08;如CPU、DMA、FPGA&#xff09;同时访问…...

编程日记 2025/7/26 1:50:38

【仿Mudou库one thread per loop式并发服务器实现】HTTP协议模块实现

HTTP协议模块实现 1. Util模块2. HttpRequest模块3. HttpResponse模块4. HttpContext模块5. HttpServer模块 1. Util模块 这个模块是一个工具模块&#xff0c;主要提供HTTP协议模块所用到的一些工具函数&#xff0c;比如url编解码&#xff0c;文件读写…等。 #include "s…...

编程日记 2025/7/27 0:15:47

教育行业网络安全：守护学校终端安全，筑牢教育行业网络安全防线！

教育行业面临的终端安全问题日益突出&#xff0c;主要源于教育信息化进程的加速、终端设备多样化以及网络环境的开放性。 以下是教育行业终端安全面临的主要挑战&#xff1a; 1、设备类型复杂化 问题&#xff1a;教育机构使用的终端设备包括PC、服务器等&#xff0c;操作系统…...

编程日记 2025/7/27 0:15:45

【网工第6版】第5章 网络互联②

目录 ■ IPV6 ▲ IPV6报文格式 ◎ IPV6扩展报头&#xff08;RFC2460&#xff09; ◎ IPv6相关协议 ▲ IPV6地址分类 ◎ IPv6地址基础 ◎ IPv6地址举例 ◎ IPv6地址分类 ◎ 特殊地址对比IPv4 vs IPv6 ▲ 过渡技术 本章重要程度&#xff1a;☆☆☆☆☆ ■ IPV6 与IPv4…...

编程日记 2025/7/27 0:15:43

ASP.NET Core 分层项目中EFCore的使用

文章目录 前言一、核心二、项目分层结构1&#xff09;安装 NuGet 包Web 项目InfrastructureLibrary项目 2&#xff09;领域模型和仓储接口 (Domain 层)3&#xff09;基础设施层实现 (Infrastructure 层)4&#xff09;应用层服务 (Application 层)5&#xff09;Web API 配置6&am…...

编程日记 2025/7/27 0:15:41

.net core 中directory ， directoryinfo ，file， fileinfo区别，联系，场景

一、类定义及核心功能 ‌Directory类‌ ‌类型‌&#xff1a;静态类 ‌功能‌&#xff1a;提供目录操作的静态方法&#xff0c;包括创建、删除、移动目录&#xff0c;以及获取子目录或文件列表等。例如Directory.CreateDirectory()、Directory.GetFiles()。 ‌适用场景‌&…...

编程日记 2025/7/27 0:15:39

jvm-获取方法签名的方法

在Java中&#xff0c;获取方法签名的方法可以通过以下几种方式实现&#xff0c;具体取决于你的需求和使用场景。以下是详细的介绍&#xff1a; 1. 使用反射 API Java 提供了 java.lang.reflect.Method 类来获取方法的相关信息&#xff0c;包括方法签名。 示例代码&#xff1a…...

编程日记 2025/7/27 0:15:37

three.js中的instancedMesh类优化渲染多个同网格材质的模型

three.js小白的学习之路。 在上上一篇博客中&#xff0c;简单验证了一下three.js中的网格共享。写的时候就有一些想法&#xff0c;如果说某个场景中有一万棵树&#xff0c;这些树共享一个geometry和material&#xff0c;有没有好的办法将其进行一定程度上的渲染优化&#xff0…...

编程日记 2025/7/27 0:15:34

2025年一站式AI创作平台主要功能介绍及使用教程

在当今迅速发展的数字时代&#xff0c;人工智能&#xff08;AI&#xff09;已成为推动创新和提升工作效率的关键工具。今天给大家分享一个全面的一站式AIGC内容创作平台&#xff0c;对其主要功能及使用教程进行讲解&#xff0c;旨在帮助用户显著提升工作和学习效率。无论您需要…...

编程日记 2025/7/27 0:15:33

YOLO11改进,尺度动态损失函数Scale-based Dynamic Loss，减少标签不准确对损失函数稳定性的影响

在目标检测领域，标签噪声与尺度敏感问题始终是制约模型性能提升的"阿喀琉斯之踵"。2025年CVPR最佳论文提出的尺度动态损失函数（Scale-based Dynamic Loss, SDL），通过构建自适应损失调节机制，不仅实现了对YOLOv11检测精度的指数级提升，更重新定义了损失函数的设…...

编程日记 2025/7/27 0:15:31

＜项目代码＞YOLO小船识别＜目标检测＞

项目代码下载链接 YOLOv8是一种单阶段&#xff08;one-stage&#xff09;检测算法&#xff0c;它将目标检测问题转化为一个回归问题&#xff0c;能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法&#xff08;如Faster R-CNN&#xff09;&#xff0…...

编程日记 2025/7/26 1:05:55

我用deepseek做了一个提取压缩文件夹下pdf和word文件工具

由于最近需要把大量的压缩文件的pdf和word文件统一复制到一个文件夹中。 我们一般正常操作方式的是把一个压缩文件一个一个解压&#xff0c;然后在把一个的解压好的文件夹下文件复制到另外一个文件夹中。 这个也需太繁琐了&#xff0c;从以往统计的需要花费两个小时间&#x…...

编程日记 2025/7/27 0:15:25

单例模式 (Singleton Pattern)

单例模式是一种创建型设计模式&#xff0c;它确保一个类只有一个实例&#xff0c;并提供一个全局访问点来访问该实例。 核心特点 唯一性&#xff1a;一个类只能有一个实例 全局访问&#xff1a;提供全局访问该实例的方式 延迟初始化&#xff1a;通常在第一次被请求时才创建实…...

编程日记 2025/7/26 12:39:07

01-初识前端

一、邂逅前端开发 1.1. 软件开发、软件开发体系 这儿放个图~ 1.2.完善的应用程序包括哪些&#xff1f; 服务器开发 iOS开发、Android开发 Web开发 桌面开发&#xff08;windows&#xff0c;mac os&#xff09; iOS、mac os&#xff08;OC&#xff0c;swift&#xff09;&am…...

编程日记 2025/7/27 0:15:21

【JavaWeb后端开发03】MySQL入门

文章目录 1. 前言1.1 引言1.2 相关概念 2. MySQL概述2.1 安装2.2 连接2.2.1 介绍2.2.2 企业使用方式(了解) 2.3 数据模型2.3.1 **关系型数据库&#xff08;RDBMS&#xff09;**2.3.2 数据模型 3. SQL语句3.1 DDL语句3.1.1 数据库操作3.1.1.1 查询数据库3.1.1.2 创建数据库3.1.1…...

编程日记 2025/7/27 0:15:19

使用纯前端技术html+css+js实现一个蔬果商城的前端模板！

当我们刚开始学习前端的时候&#xff0c;我们都会先学习一些基础的编程知识点。对于网站开发前端学习&#xff0c;我们就会学习 html css js 等基础的前端技术&#xff0c;我们学习了基础编程知识后&#xff0c;肯定是需要一些项目&#xff0c;或者一些练习题&#xff0c;巩固一…...

编程日记 2025/7/27 0:15:17

SAP系统生产跟踪报表入库数异常

生产跟踪报表入库数异常 交库21820,入库43588是不可能的 原因排查: 报表的入库数取值,是取移动类型321 (即系检验合格后过账到非限制使用)的数. 查凭证,101过账2次21807,321过账了2次21794,然后用102退1次21794.就是说这批物料重复交库了. 解决&#xff1a; 方案一:开发增强设…...

编程日记 2025/7/27 0:15:15

mac 本地 docker 部署 nacos

标题查看 docker 的 nacos 版本 查看可用的Nacos版本,以最新版为例. 指定版本 自己修改即可. 访问Nacos镜像库地址&#xff1a;https://hub.docker.com/r/nacos/nacos-server/tags?page1&orderinglast_updated 标题二、挂载目录配置步骤 标题‌创建本地目录‌ 按用户要…...

编程日记 2025/7/27 0:15:13

cgroup threaded功能例子

一、背景 cgroup在如今的系统里基本都是默认打开的一个功能。对于cgroup的cpu子系统&#xff0c;默认的颗粒度是进程为维度进行cgroup的cpu及cpuset的控制。而对于一些复杂进程&#xff0c;可能的需求是进程里一些个别线程要绑定在X1-Xn这些cpu核上&#xff0c;而除了这些个别…...

编程日记 2025/7/26 23:53:16

Elasticsearch插件：IDEA中的Elasticsearch开发利器

Elasticsearch插件&#xff1a;IDEA中的Elasticsearch开发利器 一、插件概述 Elasticsearch插件是为IntelliJ IDEA设计的专业工具&#xff0c;它让开发者能在IDE内直接与Elasticsearch集群交互&#xff0c;提供了查询编写、索引管理、数据分析等全方位支持。 核心价值&#…...

编程日记 2025/7/27 0:15:08

electron从安装到启动再到打包全教程

目录 介绍 安装 修改npm包配置 执行安装命令 源代码 运行 打包 先安装git, 安装打包工具 导入打包工具 执行打包命令 总结 介绍 electron确实好用，但安装是真的要耗费半条命。每次安装都会遇到各种问题，然后解决了之后。后面就不需要安装了，但有时候比如电脑重装…...

编程日记 2025/7/27 0:15:06

【Linux】轻量级命令解释器minishell

Minishell 一、项目背景 在linux操作系统中&#xff0c;用户对操作系统进行的一系列操作都不能直接操作内核&#xff0c;而是通过shell间接对内核进行操作。 Shell 是操作系统中的一种程序&#xff0c;它为用户提供了一种与操作系统内核和计算机硬件进行交互的界面。用户可以通…...

编程日记 2025/7/27 0:15:04

KEIL报错解决方案：No Algorithm found for: 08001000H - 080012EBH？

改这里&#xff1a; Cortex JLink/JTrace Target Drive - Flash Download - Size&#xff1a; 配好你这款芯片应该用的空间大小...

编程日记 2025/7/27 0:15:02

用银河麒麟 LiveCD 快速查看原系统 IP 和打印机配置

原文链接&#xff1a;用银河麒麟 LiveCD 快速查看原系统 IP 和打印机配置 Hello&#xff0c;大家好啊&#xff01;今天给大家带来一篇在银河麒麟操作系统的 LiveCD 或系统试用镜像环境下&#xff0c;如何查看原系统中电脑的 IP 地址与网络打印机 IP 地址的实用教程。在系统损坏…...

编程日记 2025/7/27 0:15:00

DeepseekV3MLP 模块

目录 代码代码解释导入和激活函数配置类初始化方法前向传播方法计算流程 代码可视化 代码 import torch import torch.nn as nn import torch.nn.functional as F# 定义激活函数字典 ACT2FN {"relu": F.relu,"gelu": F.gelu,"silu": F.silu,&q…...

编程日记 2025/7/27 0:14:58

Ubuntu 系统下安装和使用性能分析工具 perf

在 Ubuntu 系统下安装和使用性能分析工具 perf 的步骤如下&#xff1a; 1. 安装 perf perf 是 Linux 内核的一部分&#xff0c;通常通过安装 linux-tools 包获取&#xff1a; # 更新软件包列表 sudo apt update# 安装 perf&#xff08;根据当前内核版本自动匹配&#xff09; …...

编程日记 2025/7/26 20:52:48

安恒Web安全面试题

《网安面试指南》https://mp.weixin.qq.com/s/RIVYDmxI9g_TgGrpbdDKtA?token1860256701&langzh_CN 5000篇网安资料库https://mp.weixin.qq.com/s?__bizMzkwNjY1Mzc0Nw&mid2247486065&idx2&snb30ade8200e842743339d428f414475e&chksmc0e4732df793fa3bf39…...

编程日记 2025/7/27 0:14:53

OSPF --- LSA

文章目录 一、OSPF LSA&#xff08;链路状态通告&#xff09;详解1. LSA通用头部2. OSPFv2 主要LSA类型a. Type 1 - Router LSAb. Type 2 - Network LSAc. Type 3 - Summary LSAd. Type 4 - ASBR Summary LSAe. Type 5 - AS External LSAf. Type 7 - NSSA External LSA 3. LSA泛…...

编程日记 2025/7/26 0:58:45

IDEA/WebStorm中Git操作缓慢的解决方案

问题描述 在WebStorm中进行前端开发时&#xff0c;发现Git操作&#xff08;如push、checkout、pull等&#xff09;特别缓慢&#xff0c;而在命令行(cmd)中执行相同的Git命令却很快&#xff0c;排除了网络问题。 解决方案 通过修改WebStorm安装目录下的runnerw.exe文件名可以…...

编程日记 2025/7/27 0:14:49

网络威胁情报 | Yara

Yara 是一个在威胁情报、数字取证和威胁猎取方面较为常用的语言。本文并非是Yara语言的教程&#xff0c;更多的是希望可以让大家知道这个语言的神奇之处及其在当今信息安全领域的重要性。 Yara 是什么&#xff1f; “恶意软件研究人员&#xff08;以及其他所有人&#xff09;…...

编程日记 2025/7/27 0:14:47

12.QT-Combo Box|Spin Box|模拟点餐|从文件中加载选项|调整点餐份数(C++)

Combo Box QComboBox 表⽰下拉框 核⼼属性 属性说明currentText当前选中的⽂本currentIndex当前选中的条⽬下标.从0开始计算.如果当前没有条⽬被选中,值为-1editable是否允许修改设为true时, QComboBox 的⾏为就⾮常接近 QLineEdit ,也可以 设置 validatoriconSize下拉框图标…...

编程日记 2025/7/26 22:11:54

FTTR 全屋光纤架构分享

随着光纤网络技术的发展&#xff0c;FTTR 技术逐步普及到千家万户&#xff0c;为了战未来&#xff0c;从现在开始构建并铺设 FTTR 全屋光纤是非常有必要的。 在前期 FTTR 全屋光纤网络的载荷搭建&#xff0c;可以额定为千兆网络或者2.5GE光纤网络&#xff0c;万兆光网最大的成本…...

编程日记 2025/7/27 2:36:44

内网穿透快解析免费开放硬件集成SDK

一、行业问题 随着物联网技术的发展&#xff0c;符合用户需求的智能硬件设备被广泛的应用到各个领域&#xff0c;而智能设备的远程运维管理也是企业用户遇到的问题 二、快解析内网穿透解决方案 快解析是一款内网穿透产品&#xff0c;可以实现内网资源在外网访问&#xff0c;…...

编程日记 2025/7/27 0:14:44

实验八 版本控制

实验八 版本控制 一、实验目的 掌握Git基本命令的使用。 二、实验内容 1.理解版本控制工具的意义。 2.安装Windows和Linux下的git工具。 3.利用git bash结合常用Linux命令管理文件和目录。 4.利用git创建本地仓库并进行简单的版本控制实验。 三、主要实验步骤 1.下载并安…...

编程日记 2025/7/27 0:14:42

《马尼拉》桌游期望计算器

《马尼拉》桌游期望计算器&#xff1a;做出最明智的决策 注&#xff1a;本项目仍在开发验证中&#xff0c;计算结果可能不够准确&#xff0c;欢迎游戏爱好者提供协助&#xff01; 在线使用 | GitHub 项目简介 马尼拉期望计算器是一个基于 Vue 3 Vite 开发的网页应用&#xff…...

编程日记 2025/7/27 0:14:40

VLAN间通讯技术

多臂路由 路由器使用多条物理线路&#xff0c;每条物理线路充当一个 VLAN 的网管 注意&#xff1a;路由器对端的交换机接口&#xff0c;需要设定 Access 类型&#xff0c;因为路由器的物理接口无法处理 VLAN 标签 。 单臂路由 使用 以太网子接口 (sub-interface) 实现。 …...

编程日记 2025/7/27 0:14:38

linux基础学习--linux文件与目录管理

linux文件与目录管理 1. 目录与路径 1.1 相对路径与绝对路径 绝对路径&#xff1a;路径写法一定从根目录/写起。 绝对路径的正确度要高。 相对路径&#xff1a;路径写法不是由/写起。 1.2 目录的相关操作 切换目录的命令是cd&#xff0c;下面是比较特殊的目录&#xff1a;…...

编程日记 2025/7/26 17:46:23

云原生--基础篇-2--云计算概述（云计算是云原生的基础，IaaS、PaaS和SaaS服务模型）

1、云计算概念 云计算是一种通过互联网提供计算资源&#xff08;包括服务器、存储、数据库、网络、软件等&#xff09;和服务的技术模式。用户无需拥有和维护物理硬件&#xff0c;而是可以根据需要租用这些资源&#xff0c;并按使用量付费。 2、云计算特点 &#xff08;1&am…...

编程日记 2025/7/26 16:30:46

存储器综合：内存条

一、RW 1000题刷题 1、计算Cache缺失率 2、 二、前提回顾 1、CPU从单个DRAM芯片中取地址 注意&#xff1a;Cache与主存的交互以“主存块”为单位&#xff0c;当出现Cache Miss时&#xff0c;主存以“主存块”为单位传输至Cache中。 2、内存条编址 多个DRAM芯片组成内存条&a…...

编程日记 2025/7/27 0:14:36

树莓派超全系列教程文档--(38)config.txt视频配置

config.txt视频配置 视频选项HDMI模式树莓派4-系列的HDMI树莓派5-系列的HDMI 复合视频模式enable_tvout LCD显示器和触摸屏ignore_lcddisable_touchscreen 通用显示选项disable_fw_kms_setup 文章来源&#xff1a; http://raspberry.dns8844.cn/documentation 原文网址 视频选…...

编程日记 2025/7/27 0:14:34

pytest-项目结构

项目结构 api_test_project/ ├── config/ │ └── config.py # 配置文件&#xff0c;存储接口的基本信息&#xff0c;如 URL、请求头、认证信息等 ├── data/ │ └── test_data.json # 测试数据文件&#xff0c;存储接口的请求参数、预期结果等 ├── tests/…...

编程日记 2025/7/26 20:00:10

几何编码：启用矢量模式地理空间机器学习

在 ML 模型中使用点、线和多边形&#xff0c;将它们编码为捕捉其空间属性的向量。 自地理信息系统 (GIS) 诞生之初&#xff0c;“栅格模式”和“矢量模式”之间就存在着显著的区别。在栅格模式下&#xff0c;数据以值的形式呈现在规则的网格上。这包括任何形式的图像&#xff0…...

编程日记 2025/7/27 0:14:28

什么是SPA，SPA与MAP区别

什么是SPA&#xff0c;SPA与MAP区别 文章目录 什么是SPA&#xff0c;SPA与MAP区别一、什么是SPA二、SPA和MPA的区别一、单页应用与多页应用的区别**二、SPA 的优缺点对比**三、WPA的优缺点 **三、SPA 实现关键技术**hash 模式模式history模式 四、SPA 的适用场景与原因**适用场…...

编程日记 2025/7/27 0:14:26

计算机前沿技术课程论文 K-means算法在图像处理的应用

K-means算法在图像处理的应用 这是本人在计算机前沿技术课程中的课程论文文章&#xff0c;为了方便大家参考学习&#xff0c;我把完整的论文word文档发到了我的资源里&#xff0c;有需要的可以自取。 点击完整资源链接 目录 K-means算法在图像处理的应用摘要&#xff1a;引言1…...

编程日记 2025/7/27 2:36:42