当前位置：首页 > news >正文

【Hadoop入门】Hadoop生态圈概述：核心组件与应用场景概述

news 来源：原创 2025/8/25 9:20:16

1 Hadoop生态圈概述

Hadoop生态圈是以 HDFS（分布式存储） 和 YARN（资源调度） 为核心，围绕大数据存储、计算、管理、分析等需求发展出的一系列开源工具集合。

核心特点：

模块化：各组件专注解决特定问题（如HBase负责实时查询，Spark负责高速计算）
可扩展：支持多种计算框架（MapReduce/Spark/Flink）和存储系统（HDFS/HBase）
高容错：自动处理节点故障，保证数据可靠性

2 Hadoop生态核心组件

2.1 存储层

组件	定位	关键特性	适用场景
HDFS	分布式文件系统	高吞吐、顺序读写、数据分块（默认128MB）	离线批处理（日志存储）
HBase	分布式NoSQL数据库	低延迟随机读写、强一致性	实时查询（用户画像）
Kudu	列式存储引擎	兼顾实时更新与分析查询	时序数据（IoT传感器）

2.2 计算层

组件	计算模型	优势	典型案例
MapReduce	批处理	高容错、适合超大规模数据	ETL数据清洗
Spark	内存计算	DAG执行、比MR快10-100倍	机器学习（MLlib）
Flink	流计算	低延迟（毫秒级）、精确一次语义	实时风控
Tez	DAG优化引擎	减少中间数据落盘，提升Hive性能	交互式查询

2.3 资源管理层

YARN：统一资源调度系统，可同时运行MR/Spark/Flink等计算框架
ZooKeeper：分布式协调服务，保障集群一致性（如HBase依赖ZK）

2.4 数据仓库与SQL

组件	特点	查询引擎
Hive	将SQL转为MapReduce/Tez/Spark作业	批处理（分钟级延迟）
Impala	内存计算，免MR启动开销	交互式查询（秒级）
Presto	多数据源联邦查询（HDFS/MySQL等）	即席分析

2.5 数据采集与传输

Flume：高可靠日志收集（如服务器日志 → HDFS）
Kafka：分布式消息队列（实时数据缓冲）
Sqoop：关系数据库 ↔ HDFS双向数据传输

2.6 机器学习与高级分析

Mahout：基于MapReduce的机器学习库
Spark MLlib：支持分类、回归、推荐等算法
H2O：深度学习集成

3 Hadoop生态技术选型指南

需求	推荐组件	原因
海量日志存储	HDFS + Parquet	高压缩比，列式存储优化查询
实时用户行为分析	Kafka + Flink	低延迟流处理
交互式报表	Hive on Spark + Superset	平衡速度与成本
高并发点查询	HBase	毫秒级响应

4 Hadoop生态发展趋势

云原生转型：

存储计算分离（HDFS → S3/OBS）
容器化部署（YARN → Kubernetes）

实时化演进：

批流统一（Spark Structured Streaming/Flink）

AI融合：

大数据+机器学习Pipeline（TensorFlow on YARN）

【Hadoop入门】Hadoop生态圈概述：核心组件与应用场景概述

1 Hadoop生态圈概述 Hadoop生态圈是以 HDFS（分布式存储） 和 YARN（资源调度） 为核心，围绕大数据存储、计算、管理、分析等需求发展出的一系列开源工具集合。核心特点： 模块化：各组件专注解决特定…...

编程日记 2025/8/25 9:20:16

深度学习实战电力设备缺陷检测

本文采用YOLOv11作为核心算法框架，结合PyQt5构建用户界面，使用Python3进行开发。YOLOv11以其高效的实时检测能力，在多个目标检测任务中展现出卓越性能。本研究针对电力设备缺陷数据集进行训练和优化，该数据集包含丰富的电力设备缺…...

编程日记 2025/8/23 13:27:22

随机产生4位随机码（java）

Random类： 用于生成随机数 import java.util.Random; 导入必要的类 generateVerificationCode()方法： 这是一个静态方法，可以直接通过类名调用返回一个6位数字的字符串，首位不为0 生成首位数字： random.nextInt…...

编程日记 2025/8/20 22:34:40

音视频入门基础：RTCP专题（4）——RTCP协议简介（下）

本文接着《音视频入门基础：RTCP专题（3）——RTCP协议简介（中）》，继续对RTCP协议进行简介。本文的一级标题从“十四”开始。十四、SDES: Source Description RTCP Packet 本段内容对应《RFC 3550》的第6.5节…...

编程日记 2025/8/24 20:35:27

PyCharm2024.3.5专业版解决Conda executable is not found问题

项目场景： pycharm使用anaconda 内的虚拟环境 pycharm 2024.3.5 专业版 C:\Users\Administrator>conda infoactive environment : transmute_recipe_generatoractive env location : D:\anaconda3\envs\transmute_recipe_generatorshell level : 1user config…...

编程日记 2025/8/22 5:11:46

滑动窗口思想面试算法高频题

基本思想滑动窗口思想其实就是快慢型的特例计算机网络中滑动窗口协议（Sliding Window Protocol），该协议是TCP实现流量控制等的核心策略之一。事实上在与流量控制、熔断、限流、超时等场景下都会首先从滑动窗口的角度来思考问题&#xff0…...

编程日记 2025/8/25 9:20:16

Linux中特殊的变量

1.$# 含义：表示传入脚本或函数的参数数量。用法：用于检查用户是否提供了足够的参数。示例： #!/bin/bash echo "参数数量: $#"2.$? 含义：表示上一条命令的退出状态。如果命令成功执行，值为 0；…...

编程日记 2025/8/23 5:09:24

Linux文件系统与日志分析

目录一.日志 1.1日志的定义 1.2日志的功能 1.3日志的分类 1.4日志的文件格式 1.5用户日志 1.6一些常见的日志 1.7日志消息的级别二.系统日志管理 rsyslog 2.1rsyslog的定义 2.2rsyslog 配置文件 2.3rsyslog的实际应用----单独显示某一服务的日志 1.编辑rsyslog配…...

编程日记 2025/8/23 1:05:11

从传统物流到智能调度的全链路升级

一、TMS系统升级的核心目标与整体框架 （一）为什么要升级？传统物流管理的三大痛点调度效率低下：过去依赖人工分单、手动匹配承运商，订单量大时容易出错，比如不同区域的订单混排导致运输路线绕路&#xff…...

编程日记 2025/8/23 23:33:37

UE5中如何修复后处理动画蓝图带来的自然状态下的metablriger身体绑定形变(如耸肩)问题

【[metablriger] UE5中如何修复后处理动画蓝图带来的自然状态下的metablriger身体绑定形变(如耸肩)问题】 UE5中如何修复后处理动画蓝图带来的自然状态下的metablriger身体绑定形变(如耸肩)问题...

编程日记 2025/8/17 23:43:28

STL_vector_01_基本用法

👋 Hi, I’m liubo👀 I’m interested in harmony🌱 I’m currently learning harmony💞️ I’m looking to collaborate on …📫 How to reach me …📇 sssssdsdsdsdsdsdasd🎃 dsdsdsdsdsddfsg…...

编程日记 2025/8/20 21:30:03

css2学习总结之尚品汇静态页面

css2总结之尚品汇一、布局在 PC 端网页中，一般都会有一个固定宽度且水平居中的盒子，来显示网页的主要内容，这是网页的版心。版心的宽度一般是 960 ~ 1200 像素之间。版心可以是一个，也可以是多个。二、布局相关名词我…...

编程日记 2025/8/17 22:16:01

Lua 第5部分表

表（ Table ）是 Lua 语言中最主要（事实上也是唯一的）和强大的数据结构。使用表，Lua语言可以以一种简单、统一且高效的方式表示数组、集合、记录和其他很多数据结构。 Lua语言也使用表来表示包（ package &am…...

编程日记 2025/8/21 22:26:07

01分数规划

https://ac.nowcoder.com/acm/contest/22353/1011 并不需要高级数据结构，对答案二分即可。假定当前二分的答案为 x x x，则 ∑ v i ∑ w i ≥ x \frac{ \sum_{v_i} }{\sum_{w_i}} ≥ x ∑wi∑vi≥x 成立时 x x x 才可能是最后的答案。化简式…...

编程日记 2025/8/22 22:58:51

无人机动力系统全维度解析：技术演进、选型策略与未来趋势

一、动力系统技术理念与设计逻辑 （一）核心技术指标能量密度：决定续航能力的关键参数，单位为 Wh/kg。当前主流锂聚合物电池能量密度约 250-300Wh/kg，氢燃料电池可达 500-800Wh/kg，航空燃油则高达 12,000W…...

编程日记 2025/8/22 11:48:46

重新审视中国的GB标准(44495 – 44497)

此前，我们深入探讨了中国新推出的智能互联汽车(ICV)网络安全标准GB Standard 44495-2024。我们探讨了该标准对汽车制造商的影响、与UNECE R155和ISO/SAE 21434等全球标准的一致性，以及该标准对未来汽车网络安全的意义。然而，GB 44495-2024并…...

编程日记 2025/8/23 2:08:05

Linux进程控制（五）之做一个简易的shell

文章目录做一个简易的shell预备知识代码实现运行结果做一个简易的shell 重谈Shell shell是操作系统的一层外壳程序，帮我们用户执行指令， 获取到指令后，交给操作系统，操作系统执行完后，把执行结果通过shell交给用户…...

编程日记 2025/8/20 1:36:57

Apache Kafka全栈技术解析

目录第一章 Kafka概述与核心价值 1.1 消息队列的演进与Kafka的诞生 1.2 Kafka的核心应用场景 1.3 Kafka生态全景图第二章 Kafka核心概念与架构解析 2.1 核心概念深度剖析 2.2 Kafka架构设计精要第三章 Kafka环境搭建与配置 3.1 单机部署实战 3.2 集群部署最佳实践 …...

编程日记 2025/8/19 18:40:38

结合 Flink/Spark 进行 AI 大数据处理（实时数据 + AI 推理的应用场景）

随着企业对实时智能决策的需求日益增强，将 Flink / Spark 等流批计算框架与大模型推理能力相结合，正在成为 AI 工业化落地的重要实践路径。本篇文章将深入介绍如何将 AI 模型集成到大数据流处理系统中，实现实时感知、智能判断与自动反馈。 1. 为什么需要“实时数据 + AI 推…...

编程日记 2025/8/22 21:47:26

开发PDF时，如何比较 PDF 文件

在 PDF 论坛上，“如何比较 PDF 文件”是一个经常被提到的问题。在开始之前，重要的是要明确你想要比较的内容是什么。不同的 PDF 文件可能看起来一样吗？ 是的，可能。不同的 PDF 创建工具可能会生成在视觉上完全相同的页面&#x…...

编程日记 2025/8/25 5:43:01

自动提取pdf公式 ➕ 输出 LaTeX

# 创建打包脚本的主内容 script_content """ from doc2x.extract_formula import extract_formula_imgs from pix2text import Pix2Text from PIL import Image import osdef main():pdf_path "your_file.pdf" # 将你的PDF命名为 your_file.pdf 并…...

编程日记 2025/8/23 2:08:06

abaqus二次开发python程序集

abaqus二次开发python程序集 1、设置字体背景色等2、读取模态频率并写入 csv 文件3、在两个窗口快速对比各价模态 1、设置字体背景色等 # _*_ coding:UTF-8 _*_from abaqusConstants import* def fontsize(sessionNone):#设置字体session.viewports[Viewport: 1].viewportAnno…...

编程日记 2025/8/24 16:11:58

高级java每日一道面试题-2025年3月23日-微服务篇[Nacos篇]-如何使用Nacos进行服务发现？

如果有遗漏,评论区告诉我进行补充面试官: 如何使用Nacos进行服务发现？ 我回答: 在Java高级面试中讨论如何使用Nacos进行服务发现时，可以从多个角度深入探讨，包括基本概念、配置步骤、代码示例以及高级特性。以下是综合了多种信息的详细回…...

编程日记 2025/8/22 7:00:26

k8s核心资源对象一（入门到精通）

本文将深入探讨Kubernetes中的核心资源对象，包括Pod、Deployment、Service、Ingress、ConfigMap和Secret，详细解析其概念、功能以及实际应用场景，帮助读者全面掌握这些关键组件的使用方法。一、pod 1 pod概念 k8s最小调度单元，…...

编程日记 2025/8/23 8:43:15

了解 DeepSeek R1

了解DeepSeek R1 R1探索纯强化学习是否可以在没有监督微调的情况下学会推理的能力。 ‘Aha’ Moment 这种现象有点类似于人类在解决问题时突然意识到的方式，以下是它的工作原理： 初始尝试：模型对解决问题进行初始尝试识别：识别…...

编程日记 2025/8/22 23:01:24

【C语言】大小端字节序和字节序判断

前言： 在上章介绍了整形在内存的储存，了解了原码，反码，补码，知道了整数在内存的储存一般是补码，解决了负数相加的问题。那么在本章为大家讲解一下大小端字节序。一那字节序是什么呢？ 字节…...

编程日记 2025/8/18 0:48:24

DrissionPage移动端自动化：从H5到原生App的跨界测试

一、移动端自动化测试的挑战与机遇移动端测试面临多维度挑战： 设备碎片化：Android/iOS版本、屏幕分辨率差异混合应用架构：H5页面与原生组件的深度耦合交互复杂性：多点触控、手势操作、传感器模拟性能监控：内存…...

编程日记 2025/8/22 20:41:25

ARM 汇编启动代码详解：从中断向量表到中断处理

ARM 汇编启动代码详解：从中断向量表到中断处理引言在嵌入式系统开发中，ARM 处理器（如 Cortex-A 系列）的启动代码是系统初始化和运行的基础。启动代码通常包括中断向量表的创建、初始化硬件状态（如关闭缓存和 MMU&a…...

编程日记 2025/8/23 16:21:06

笔试专题（七）

文章目录乒乓球筐（哈希）题解代码组队竞赛题解代码删除相邻数字的最大分数（线性dp）题解代码乒乓球筐（哈希） 题目链接题解 1. 两个哈希表先统计第一个字符串中的字符个数，再统计第二个字…...

编程日记 2025/8/19 12:25:36

React基础知识（一）

文章目录概念特点React基本使用hello_react案例虚拟DOM的两种创建方式使用jsx创建使用js创建虚拟DOM和真实DOM React jsxXMLjsx语法规则作用基本语法规则js语句和js代码babel.js作用模块与组件模块组件 React面向组件编程函数式组件类组件概念 react是一个将数据渲染为Htm…...

编程日记 2025/8/21 22:25:55

红黑树（Red-Black Tree）核心知识点与面试高频问题

红黑树（Red-Black Tree）核心知识点与面试高频问题一、红黑树的核心性质红黑树是一种自平衡的二叉搜索树，通过以下规则确保平衡性： 节点颜色：每个节点是红色或黑色。根节点：根必须是黑色。叶子节点&a…...

编程日记 2025/8/24 21:34:37

SpringBoot整合SSM

一、SpringBoot整合SSM SpringBoot整合SpringSpringBoot整合SpringMVCSpringBoot整合MyBatis（主要） 步骤一：创建SpringBoot工程，添加druid依赖  <dependency><groupId>co…...

编程日记 2025/8/22 14:44:48

set/multiset容器

1.概念所有元素会在插入时自动排序 set/multiset属于关联式容器，底层结构是用二叉树实现。 set不允许重复元素，multiset允许重复元素。 2. set构造和赋值 set<T> st; set(const set &st);// 拷贝构造函数 set& operator(const set &a…...

编程日记 2025/8/23 13:27:16

vim 编辑器使用教程

Vim是一款强大的文本（代码）编辑器，它是由Bram Moolenaar于1991年开发完成。它的前身是Bill Joy开发的vi。名字的意义是Vi IMproved。打开vim，直接在命令行输入vim即可，或者vim <filename>. Vim分为四种模式&a…...

编程日记 2025/8/20 8:47:05

去中心化固定利率协议

核心机制与分类协议类型： 借贷协议（如Yield、Notional）：通过零息债券模型（如fyDai、fCash）锁定固定利率。收益聚合器（如Saffron、BarnBridge）：通过风险分级或博弈论…...

编程日记 2025/8/18 1:01:50

Python高阶函数-filter

1. 基本概念 filter() 是Python内置的高阶函数，用于过滤序列中的元素。它接收一个函数和一个可迭代对象作为参数，返回一个迭代器，包含使函数返回True的所有元素。 filter(function, iterable)2. 工作原理惰性计算：filter对象是…...

编程日记 2025/8/24 12:00:52

hive/doris查询表的创建和更新时间

hive查询表的创建和更新时间： SELECT d.NAME AS database_name, t.TBL_NAME AS table_name, FROM_UNIXTIME(t.CREATE_TIME) AS create_time, FROM_UNIXTIME(tp.PARAM_VALUE) AS last_ddl_time FROM metastore.TBLS t JOIN metastore.DBS d ON t.DB_ID d.DB_ID JOIN…...

编程日记 2025/8/19 9:03:24

40常用控件_WindowFrame的影响

window frame 的影响如果 widget 作为一个窗口(带有标题栏,最小化,最大化,关闭按钮),那么在计算尺寸和坐标的时候就有两种算法.包含 window frame 和不包含 window frame. 其中x(),y0,frameGeometry(), pos(),move() 都是按照包含 window frame 的方式来计算的. 其中 geome…...

编程日记 2025/8/21 15:15:28

PCB 赋能机器人技术革新：核心功能与前沿趋势

一、智能控制中枢的异构集成采用 20 层刚挠结合板架构，搭载 NVIDIA Jetson AGX Orin SoC（100TOPS 算力），集成 64 位 ARMv8 内核与 32GB 内存，实现多模态传感器数据融合与实时决策。板载 128MB DDR4 缓存支持 μs 级响…...

编程日记 2025/8/17 22:15:59

unity 环形UI菜单实现方法2

在项目中需要一个环形UI并且循环往复的效果，这个方法思路为提前预设好位置，让UI根据坐标预设的移动，然后使用mask遮罩达到循环往复效果的目的。下图分别分为了三个列表第一个列表poslist是提前预设的位置第二个列表为背景暂时不用看第三个…...

编程日记 2025/8/20 11:49:22

Redis进阶--主从复制

目录一、引言二、介绍三、解决问题四、配置主从复制 1.复制全量复制： 部分复制： 实时复制： 五、总结一、引言本篇文章将继续介绍Redis中的主从复制机制二、介绍主从复制是在分布式系统中实现的，希望有多个服务器…...

编程日记 2025/8/22 23:15:40

Redisson分布式锁：原理、使用

1. Redisson简介 Redisson是一个基于Redis的Java客户端库，提供了丰富的分布式对象和服务（如分布式锁、信号量、Map等）。其核心优势在于简化分布式锁的实现，并解决了原生Redis分布式锁的常见问题（如死锁、误删…...

编程日记 2025/8/23 8:07:43

Java设计模式之外观、享元、组合模式《三国争霸：模式风云录》

第一章：乱世起（外观初现） 黄巾余孽张角三兄弟操控"混沌子系统"，各地流民不堪996劳役。观国隐士诸葛孔明出山，在博望坡构建首个"军师智脑"： /*** 外观模式：军师智…...

编程日记 2025/8/22 17:01:39

设计模式之解释器模式：原理、实现与应用

引言解释器模式（Interpreter Pattern）是一种行为型设计模式，它定义了一种语言的文法表示，并提供一个解释器来解释该语言中的句子。解释器模式适用于需要解析特定语法规则的场景，如正则表达式、SQL解析等。本文将深入…...

编程日记 2025/8/21 8:37:29

redis itheima

缓存问题核心是如何避免大量请求到达数据库缓存穿透既不存在于 redis，也不存在于 mysql 的key，被重复请求 public Result queryById(Long id) {String key CACHE_SHOP_KEYid;// 1. redis & mysqlString shopJson stringRedisTemplate.opsFo…...

编程日记 2025/8/23 16:55:21

AF3 OpenFoldDataModule类setup方法解读

AlphaFold3 data_modules 模块的 OpenFoldDataLoader 类 setup 方法用于设置数据集的关键部分，负责根据不同的模式（训练、验证或预测）生成和初始化相应的数据集。源代码： def setup(self, stage=None):# Most of the arguments are the same for the three datasets data…...

编程日记 2025/8/23 21:01:35

服务器报错：xxx/libc.so.6: version `GLIBC_2.32‘ not found

/lib/x86_64-linux-gnu/libc.so.6: version GLIBC_2.32 not found (required by ./aima-sim-app-main) 解决思路根据错误信息，您的应用程序 aima-sim-app-main 和 libmujoco.so.3.1.6 库依赖于较新的 GNU C Library (glibc) 版本（如 GLIBC_2.32, GLIBC…...

编程日记 2025/8/20 4:34:34