当前位置： 首页 > news >正文

Hadoop的三大结构及各自的作用？

news 来源：原创 2025/8/16 15:17:02

1.HDFS 作用：

  • 存储海量数据，支持高容错（数据自动备份）和高吞吐量（适合大文件读写）。

  • 采用主从架构：

    • NameNode：管理文件系统的元数据（如文件目录结构）。

    • DataNode：存储实际数据块（默认128MB/块，3副本）。

适用场景：

  • 存储日志、视频、大型数据集等非结构化或半结构化数据。

2.YARN 作用：

  • 资源管理：统一分配集群的CPU、内存等资源。

  • 任务调度：支持多种计算框架（如MapReduce、Spark、Flink）在同一个集群上运行。

  • 核心组件：

    • ResourceManager（RM）：全局资源调度。

    • NodeManager（NM）：单节点资源管理。

    • ApplicationMaster（AM）：单个作业的任务协调。

优势：

  • 提高集群资源利用率，避免传统MapReduce的单一任务调度瓶颈。

3.MapReduce 作用：

  • 分布式批处理计算框架，通过Map和Reduce两个阶段处理数据。

    • Map阶段：并行处理输入数据，生成键值对（<key, value>）。

    • Reduce阶段：汇总Map的结果，输出最终数据。

特点：

  • 高容错：自动处理节点故障。

  • 离线计算：适合大规模静态数据集（如日志分析、ETL）。

示例：

  • 词频统计（WordCount）、数据清洗、聚合分析等。

相关文章：

Hadoop的三大结构及各自的作用？

1.HDFS 作用&#xff1a; 存储海量数据&#xff0c;支持高容错&#xff08;数据自动备份&#xff09;和高吞吐量&#xff08;适合大文件读写&#xff09;。 采用主从架构&#xff1a; NameNode&#xff1a;管理文件系统的元数据&#xff08;如文件目录结构&#xff09;。 Dat…...

编程日记 2025/8/16 15:17:02

在Ubuntu系统中安装和升级RabbitVCS

在Ubuntu系统中安装和升级RabbitVCS 目前在ubuntu中使用svn的GUI工具&#xff0c;已经安装了。想升级一下。 当前遇到的问题是&#xff0c;我想用它看看我当前的代码对应的版本号&#xff0c;然后再决定是否update。但是&#xff0c;好像我看不出来。根本不如在windows使用To…...

编程日记 2025/8/15 11:23:38

深入理解红黑树：原理、实现与应用

深入理解红黑树&#xff1a;原理、实现与应用 引言 红黑树&#xff08;Red-Black Tree&#xff09;是计算机科学中一种重要的自平衡二叉查找树。它通过简单的规则和高效的调整策略&#xff0c;保证了插入、删除、查找等操作的时间复杂度均为 O(log n)。红黑树广泛应用于实际开…...

编程日记 2025/8/15 13:31:10

Java学习手册：Java并发编程最佳实践

在Java并发编程中&#xff0c;遵循最佳实践可以显著提高程序的性能、可靠性和可维护性。本文将总结Java并发编程中的关键最佳实践&#xff0c;帮助开发者避免常见陷阱并编写高效的并发程序。 1. 选择合适的并发工具 Java提供了丰富的并发工具&#xff0c;选择合适的工具可以简…...

编程日记 2025/8/13 5:07:43

接口自动化测试(二)

一、接口测试流程&#xff1a;接口文档、用例编写 拿到接口文档——编写接口用例以及评审——进行接口测试——工具/自动化框架进行自动化用例覆盖(70%)——输出测试报告 自动化的目的一般是为了回归 第一件事情&#xff1a;理解需求&#xff0c;学会看接口文档 只需要找到我…...

编程日记 2025/8/12 1:48:47

C++类和对象上

1. 面向对象编程与面向过程编程的比较 我们一开始接触的C语言就是一门面向过程编程的语言&#xff0c;而C就是一门面向对象编程的语言。那么这两者有什么区别呢&#xff1f; 举个例子&#xff0c;就比如说点外卖&#xff0c;如果是C语言的话&#xff0c;那么在程序的编写过程…...

编程日记 2025/8/15 23:35:31

hadoop的三大结构及各自的作用

Hadoop 分布式文件系统&#xff08;HDFS&#xff09; 存储大量数据&#xff1a;HDFS 被设计用于在商品硬件上存储海量数据&#xff0c;它将大文件分割成多个数据块&#xff0c;并分布存储在集群中的不同节点上&#xff0c;支持数据的可靠存储和高效访问。提供数据冗余和容错机制…...

编程日记 2025/8/15 2:00:36

珈和科技遥感赋能农业保险创新 入选省级卫星应用示范标杆

为促进空天信息与数字经济深度融合&#xff0c;拓展卫星数据应用场景价值&#xff0c;提升卫星数据应用效能和用户体验&#xff0c;加速卫星遥感技术向民生领域转化应用&#xff0c;近日&#xff0c;湖北省国防科工办组织开展了2024年湖北省卫星应用示范项目遴选工作。 经多渠…...

编程日记 2025/8/11 6:51:10

香港服务器CPU对比：Intel E3与E5系列核心区别与使用场景

香港服务器的 CPU 配置(核心数与主频)直接决定了其并发处理能力和数据运算效率&#xff0c;例如高频多核处理器可显著提升多线程任务响应速度。在实际业务场景中&#xff0c;不同负载需求对 CPU 架构的要求存在显著差异——以 Intel E3 和 E5 系列为例&#xff0c;由于两者在性…...

编程日记 2025/8/16 11:29:02

【人工智能】DeepSeek 与 RAG 技术：构建知识增强型问答系统的实战

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 本文深入探讨了如何利用 DeepSeek R1 模型结合检索增强生成（RAG）技术，构建一个高效的知识增强型问答系统。RAG 技术通过结合信息检索与生…...

编程日记 2025/8/12 11:39:04

得佳胜哲讯科技 SAP项目启动会：胶带智造新起点 数字转型新征程

在全球制造业加速向数字化、智能化转型的浪潮中&#xff0c;胶带制造行业正迎来以“自动化生产、数据化运营、智能化决策”为核心的新变革。工业互联网、大数据分析与智能装备的深度融合&#xff0c;正推动胶带制造从传统生产模式向“柔性化生产精准质量控制全链路追溯”的智慧…...

编程日记 2025/8/16 4:34:48

超导体的应用价值：超导磁探测技术开启科技与生活的新变革

科技的飞速发展&#xff0c;带来了一种新型材料的快速应用&#xff0c;那就是超导体材料。超导体的特性&#xff0c;能够为当今社会众多领域带来革命性的变革&#xff0c;也将极大的改变我们现在的生活质量。 超导体的特性 超导体是指在特定温度下的电阻会突然消失&#xff0c…...

编程日记 2025/8/14 6:47:03

UNION和UNION ALL的主要区别

UNION和UNION ALL的主要区别在于处理重复数据和排序的方式。 UNION和UNION ALL都是SQL语言中用于合并两个或多个SELECT语句结果集的关键字。它们的主要区别如下&#xff1a; 1、对重复结果的处理&#xff1a;UNION在进行表链接后会筛选掉重复的记录&#xff0c;而UNION ALL不会…...

编程日记 2025/8/16 5:35:20

软件项目验收报告模板

软件项目验收报告 一、项目基本信息 项目名称XX智能仓储管理系统开发单位XX科技有限公司验收单位XX物流集团合同签订日期2023年3月15日项目启动日期2023年4月1日验收日期2024年1月20日 二、验收范围 入库管理模块&#xff08;包含RFID识别、库存预警&#xff09;出库调度模…...

编程日记 2025/8/14 8:54:30

第五章 SQLite数据库：5、SQLite 进阶用法：JOIN、UNION、TRIGGER、INDEX、ALIAS、INDEXED BY 等模块

一、JOIN&#xff1a;跨表查询的核心机制 1. JOIN 类型总览 JOIN 是连接多个表获取综合信息的关键手段。常见 JOIN 类型如下&#xff1a; INNER JOIN&#xff08;内连接&#xff09;&#xff1a;仅返回两个表中满足连接条件的行。LEFT OUTER JOIN&#xff08;左连接&#xf…...

编程日记 2025/8/12 11:56:06

中间件--ClickHouse-10--海量数据存储如何抉择ClickHouse和ES？

在Mysql数据存储或性能瓶颈时&#xff0c;采用冷热数据分离的方式通常是一种选择。ClickHouse和Elasticsearch&#xff08;ES&#xff09;是两个常用的组件&#xff0c;但具体使用哪种组件取决于冷数据的存储目的、查询模式和业务需求等方面。 1、核心对比 &#xff08;1&…...

编程日记 2025/8/16 15:16:44

JESD204B标准及其在高速AD采集系统中的应用详解

一、JESD204B协议的本质与核心价值 JESD204B是由JEDEC制定的第三代高速串行接口标准&#xff08;2011年发布&#xff09;&#xff0c;专为解决高速ADC/DAC与FPGA/ASIC间数据传输瓶颈而设计。其核心突破体现在&#xff1a; 速率革命性提升 支持每通道最高12.5Gbps&#xff08;通…...

编程日记 2025/8/14 1:12:48

给予FLUX更好的控制：FLUX.1-dev-ControlNet-Union-Pro-2.0

Shakker Labs FLUX.1-dev-ControlNet-Union-Pro-2.0 一、模型概述 Shakker Labs发布的FLUX.1-dev-ControlNet-Union-Pro-2.0是一个统一的ControlNet模型&#xff0c;专为FLUX.1-dev模型设计。该模型在前一版本基础上进行了多项改进&#xff0c;包括移除模式嵌入以减小模型尺寸…...

编程日记 2025/8/12 22:53:28

Hadoop的三大结构及其作用？

Hadoop是一个分布式存储和计算框架&#xff0c;其三大核心组件是HDFS&#xff08;Hadoop Distributed File System&#xff09;、YARN&#xff08;Yet Another Resource Negotiator&#xff09;和MapReduce。它们各自有着重要的作用&#xff0c;共同构成了Hadoop生态系统的基础…...

编程日记 2025/8/13 13:57:20

langgraph框架之初识

1.什么是langgraph&#xff1f; LangGraph 是一个用于构建可控代理的底层编排框架。在AI中&#xff0c;代理也就是执行动作的智能体&#xff0c;也就是agent。使用这个框架可以构建一个可以自由控制的智能执行体&#xff0c;它可以帮我们做许多事情&#xff0c;如下&#xff1…...

编程日记 2025/8/16 1:29:30

3个实用的脚本

1. Linux 系统清理临时文件脚本 该脚本用于清理系统中 /tmp 目录下超过 7 天的临时文件。 #!/bin/bash# 清理 /tmp 目录下超过 7 天的文件 find /tmp -type f -atime 7 -exec rm -f {} \;# 清理 /var/tmp 目录下超过 7 天的文件 find /var/tmp -type f -atime 7 -exec rm -f {…...

编程日记 2025/8/15 8:08:16

Vue3 Composition API与十大组件开发案例详解

文章目录 一、Vue3核心API解析1.1 Composition API优势1.2 核心API 二、十大组件开发案例案例1&#xff1a;响应式表单组件案例2&#xff1a;动态模态框&#xff08;Teleport应用&#xff09;案例3&#xff1a;可复用列表组件案例4&#xff1a;全局状态通知组件案例5&#xff1…...

编程日记 2025/8/13 17:53:38

万用表判断MOS好坏

无论什么封装&#xff0c;D极一般在正面看的上面&#xff0c;或者焊盘面积最大的一面&#xff1a; 【零】烧个洞的那种&#xff0c;不用量了&#xff0c;一眼损坏 【一】万用表的二极管档位测量 检修&#xff1a;使用万用表的二极管档位&#xff0c;S极接红表笔&#xff0c;黑…...

编程日记 2025/8/8 20:38:05

算法驱动光场革命：SLM技术引领智能光学新时代

◀背景引入▶ 空间光调制器本质上是一种能够对光波的振幅、相位或偏振状态进行空间分布调制的动态光学器件&#xff0c;我司自主研发的SLM产品采用硅基液晶技术&#xff0c;通过电信号控制液晶分子的排列状态&#xff0c;实现对入射光波的精确调控。这种精确调控能力使得SLM成…...

编程日记 2025/8/16 7:36:04

webgl入门实例-11WebGL 视图矩阵 (View Matrix)基本概念

WebGL 视图矩阵 (View Matrix) 在WebGL中&#xff0c;视图矩阵(View Matrix)定义了观察者(相机)在世界空间中的位置和方向&#xff0c;它实现了从世界坐标系到相机坐标系的转换。 什么是视图矩阵&#xff1f; 视图矩阵是一个4x4的矩阵&#xff0c;用于&#xff1a; 将场景从…...

编程日记 2025/8/5 16:54:41

ESP32 搭建IDF+Vscode环境（详细教程）

1. IDF环境安装 1.1 ESP-IDF介绍​ ESP-IDF (Espressif IoT Development Framework) 是 Espressif( 乐鑫) 公司提供的面向ESP32 系列 的官方开源开发框架&#xff0c;用于开发物联网应用。ESP-IDF 的特点是高度的集成性和可移植性&#xff0c;提供了完整的 SDK&#xff0c;…...

编程日记 2025/8/13 14:24:43

精准计量+AI管控——安科瑞助力高校水电管理数字化转型

安科瑞顾强 传统管理痛点&#xff1a;效率低、隐患多、成本高 高校后勤水电管理长期面临多重挑战&#xff1a;人工抄表需宿管逐层逐户记录&#xff0c;耗时耗力且易出现漏抄、错抄&#xff0c;导致费用核算不公&#xff1b;老旧机械式电表误差率高达5%-10%&#xff0c;计量纠…...

编程日记 2025/8/11 5:47:10

PHP腾讯云人脸核身获取SIGN Ticket

参考腾讯云官方文档&#xff1a;人脸核身 获取 SIGN ticket_腾讯云 前提条件&#xff1a;已经获取了access_token。获取方法可参考&#xff1a; PHP腾讯云人脸核身获取Access Token-CSDN博客 public function getSignTicket(){$access_token file_get_contents(/data/confi…...

编程日记 2025/8/12 22:24:25

探索 Higress：下一代云原生 API 网关

引言 在云原生时代&#xff0c;API 网关作为连接客户端与后端服务的桥梁&#xff0c;扮演着至关重要的角色。Higress 是一款由阿里巴巴开发的先进云原生 API 网关&#xff0c;基于开源的 Istio 和 Envoy 构建。它通过将流量网关、微服务网关和安全网关三者高度集成&#xff0c…...

编程日记 2025/8/14 20:43:48

UE5编辑器静止状态下（非 Play 模式）睫毛和眼睛的渲染是正常的，而在 Play 模式下出现模糊

这通常指向以下几个 运行时&#xff08;Runtime&#xff09; 特有的原因&#xff1a; 抗锯齿 (Anti-Aliasing) 方法&#xff0c;特别是 Temporal Anti-Aliasing (TAA): 这是最可能的原因。 UE5 默认启用的 TAA 通过混合多帧信息来平滑边缘和减少闪烁&#xff0c;尤其是在运动中…...

编程日记 2025/8/7 9:31:16

ubuntu-24.04.2-live-server-arm64基于cloud-init实现分区自动扩容（LVM分区模式）

1. 环境 虚拟机镜像ISO&#xff1a;ubuntu-24.04.2-live-server-arm64.iso 2. 定制cloud-init镜像 2.1 安装OS 基于ubuntu-24.04.2-live-server-arm64.iso&#xff0c;通过virt-manager安装操作系统&#xff0c;语言建议选择英文&#xff0c;分区选择基于LVM的自动分区&…...

编程日记 2025/8/14 23:03:57

解决 Spring Boot 多数据源环境下事务管理器冲突问题（非Neo4j请求标记了 @Transactional 尝试启动Neo4j的事务管理器）

0. 写在前面 到底遇到了什么问题&#xff1f; 简洁版&#xff1a; 在 Oracle 与 Neo4j 共存的多数据源项目中&#xff0c;一个仅涉及 Oracle 操作的请求&#xff0c;却因为 Neo4j 连接失败而报错。根本原因是 Spring 的默认事务管理器错误地指向了 Neo4j&#xff0c;导致不相…...

编程日记 2025/8/10 1:38:00

直线轴承在自动化机械设备中的应用

直线轴承作为机械传动系统中的关键部件&#xff0c;凭借其高精度、低摩擦和稳定性能&#xff0c;被广泛应用于各类自动化设备中。以下是直线轴承在自动化领域的典型应用场景&#xff1a; CNC机床 在数控机床的进给系统中&#xff0c;直线轴承与精密导轨配合使用&#xff0c;为刀…...

编程日记 2025/8/11 10:28:12

生物化学笔记：医学免疫学原理22 肿瘤及肿瘤治疗

肿瘤及肿瘤治疗 免疫疗法 CAR-T细胞介绍...

编程日记 2025/8/16 6:07:37

6.数据手册解读—运算放大器（二）

目录 6、细节描述 6.1预览 6.2功能框图 6.3 特征描述 6.3.1输入保护 6.3.1 EMI抑制 6.3.3 温度保护 6.3.4 容性负载和稳定性 6.3.5 共模电压范围 6.3.6反相保护 6.3.7 电气过载 6.3.8 过载恢复 6.3.9 典型规格与分布 6.3.9 散热焊盘的封装 6.3.11 Shutdown 6.4…...

编程日记 2025/8/11 13:23:56

010数论——算法备赛

数论 模运算 一般求余都是对正整数的操作&#xff0c;如果对负数&#xff0c;不同编程语言结果可能不同。 C/javapythona>m,0<a%m<m-1 a<m,a%ma~5%32~-5%3 -21(-5)%(-3) -2~5%(-3)2-1正数&#xff1a;&#xff08;ab&#xff09;%m((a%m)(b%m))%m~正数&#xff…...

编程日记 2025/8/14 1:25:39

算法01-最小生成树prim算法

最小生成树prim算法 题源&#xff1a;代码随想录卡哥的题 链接&#xff1a;https://kamacoder.com/problempage.php?pid1053 时间&#xff1a;2025-04-18 难度&#xff1a;4⭐ 题目&#xff1a; 1. 题目描述&#xff1a; 在世界的某个区域&#xff0c;有一些分散的神秘岛屿&…...

编程日记 2025/8/14 16:22:53

轻量化高精度的视频语义分割

Video semantic segmentation (VSS)视频语义分割 Compact Models（紧凑模型） 在深度学习中，相对于传统模型具有更小尺寸和更少参数数量的模型。这些模型的设计旨在在保持合理性能的同时，减少模型的计算和存储成本。 紧凑模型的设计可以涉及以下一些技术： 深度剪枝（Deep…...

编程日记 2025/8/12 17:32:45

【AI飞】AutoIT入门七（实战）：python操控autoit解决csf视频批量转换（有点难，AI都不会）

背景&#xff1a; 终极目标&#xff1a;通过python调用大模型&#xff0c;获得结果&#xff0c;然后根据返回信息&#xff0c;控制AutoIT操作电脑软件&#xff0c;执行具体工作。让AI更具有执行力。 已完成部分&#xff1a; 关于python调用大模型的&#xff0c;可以参考之前的…...

编程日记 2025/8/12 19:35:12

Android守护进程——Vold (Volume Daemon)

简介 介绍&#xff1a;Vold 是用来管理 android 系统的存储设备&#xff0c;如U盘、SD卡、磁盘等移动设备的热插拔、挂载、卸载、格式化 框架结构&#xff1a;Vold 在系统中以守护进程存在&#xff0c;是一个单独的进程。处于Kernel和Framework之间&#xff0c;是两个层级连接…...

编程日记 2025/8/15 18:43:54

【实体转换】mapstruct详解

大家好&#xff0c;我是jstart千语。今天来给大家讲讲在项目中经常可以使用得到的一个“工具”&#xff0c;就是mapstruct。 一、工具介绍 这个工具有些类似于spring提供的BeanUtils.copyProperties()用于对象转化。而mapstruct是通过生成高效的、类型安全的映射代码来帮助开发…...

编程日记 2025/8/11 4:44:42

部署路线Ubuntu_MySQL_Django_绑定域名

第 1 步&#xff1a;绑定域名&#xff08;DNS&#xff09; 在域名服务商后台&#xff08;例如阿里云 / 腾讯云 / Cloudflare&#xff09;中设置&#xff1a; A 记录 →域名 → 指向服务器公网 IP 可选&#xff1a;也加一个 www.域名 → 同样指向服务器 第 2 步&#xff1a;安…...

编程日记 2025/8/11 18:02:01

大屏设计与汇报：政务服务可视化实践

大屏设计与汇报：政务服务可视化实践 引言 在政务服务数字化转型浪潮中，大屏设计成为展现业务能力与数据价值的关键手段。本文围绕政务大屏设计，从设计要点、业务逻辑到汇报技巧展开深入探讨，为相关从业者提供全面参考。 一、大屏设计核心要点 （一）多维度考量 设计大…...

编程日记 2025/8/14 12:59:17

【MySQL】数据库和表的操作详解

目录 一、数据库&#xff1a; 1、查看数据库&#xff1a; 2、创建数据库&#xff1a; 3、删除数据库&#xff1a; 4、数据库的编码问题&#xff1a; 5、校验规则对数据库的影响&#xff1a; 6、修改数据库&#xff1a; 7、库的备份与恢复&#xff1a; 8、查看链接情况…...

编程日记 2025/8/12 1:36:03

从PDF到播客：MIT开发的超越NotebookLM的工具

NotebookLM是谷歌推出的更具创意的AI产品之一，几个月前刚刚推出。 许多人对它的能力感到惊叹——尤其是将长文本转化为两位播客主持人之间有趣对话的功能。 NotebookLM提供的不仅仅是这些，还包括聊天（问答）甚至生成思维导图。 如果你还没有尝试过NotebookLM，我强烈建议…...

编程日记 2025/8/15 21:33:26

ubuntu系统上基于RKE2部署K8S及Rancher

由于我们特殊的网络环境&#xff0c;所以只能使用国内资源来进行安装 - Rancher Releases Mirrors&#xff1a;https://mirror.rancher.cn/ - 阿里云镜像仓库&#xff1a;registry.cn-hangzhou.aliyuncs.com 1、配置资源仓库及token rootdemo-1:~# mkdir -p /etc/rancher/r…...

编程日记 2025/8/14 7:35:34

STM32单片机入门学习——第40节: [11-5] 硬件SPI读写W25Q64

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难&#xff0c;但我还是想去做&#xff01; 本文写于&#xff1a;2025.04.18 STM32开发板学习——第一节&#xff1a; [1-1]课程简介第40节: [11-5] 硬件SPI读…...

编程日记 2025/8/9 14:22:03

vue3学习笔记之属性绑定

属性绑定 1. 基本语法 在 Vue 3 里&#xff0c;使用 : 或者 v-bind: 来进行属性绑定。这两种写法是等价的&#xff0c;: 是 v-bind: 的缩写形式。以下是示例代码&#xff1a; <template><!-- 使用缩写形式 --><img :src"imageUrl" alt"An exa…...

编程日记 2025/8/15 5:19:16

C++ 面向对象关键语法详解：override、虚函数、转发调用和数组引用传参-策略模式

int A(参数...) override { return 某个对象.A(参数...);} 一.目标 本文将用一个简单的“数学运算器”例子&#xff0c;从零解释以下 C 语法特性&#xff1a; virtual 虚函数 override 重写关键字 函数体内部的“转发调用” 数组引用作为函数参数 适合初学者和希望加深…...

编程日记 2025/8/16 10:35:29

Spring_MVC 快速入门指南

Spring_MVC 快速入门指南 一、Spring_MVC 简介 1. 什么是 Spring_MVC&#xff1f; Spring_MVC 是 Spring 框架的一个模块&#xff0c;用于构建 Web 应用程序。它基于 MVC&#xff08;Model-View-Controller&#xff09;设计模式&#xff0c;将应用程序分为模型&#xff08;M…...

编程日记 2025/8/12 4:56:30