当前位置： 首页 > news >正文

Hadoop/Spark 生态

news 来源：原创 2025/7/5 17:56:43

Hadoop/Spark 生态是大数据处理的核心技术体系，专为解决海量数据的存储、计算和分析问题而设计。以下从底层原理到核心组件详细讲解，帮助你快速建立知识框架！

一、为什么需要 Hadoop/Spark？

  1. ​传统单机瓶颈：
    • 数据量超过单机存储极限（如PB级数据）
    • 计算任务无法在合理时间内完成（如TB级日志分析）
  2. ​核心解决思路：
    • ​分布式存储：数据拆分到多台机器存储（如HDFS）
    • ​分布式计算：任务拆分到多台机器并行处理（如MapReduce/Spark）

二、Hadoop 生态详解

1. ​Hadoop 三大核心组件
组件作用类比解释
​HDFS分布式文件系统，存储海量数据类似Google的GFS，数据切块存储
​MapReduce分布式计算框架（批处理）分而治之：Map阶段拆分任务，Reduce阶段汇总结果
​YARN资源调度管理器，协调集群资源分配类似操作系统的任务调度器
2. ​Hadoop 生态扩展工具
工具用途
​Hive用SQL语法操作Hadoop数据（数据仓库工具）
​HBase分布式NoSQL数据库（实时读写海量数据）
​ZooKeeper分布式协调服务（管理集群节点状态）
​Sqoop在Hadoop和关系数据库之间转移数据
3. ​Hadoop 工作流程示例
1. 数据存储：将1TB日志文件存入HDFS → 自动拆分为128MB的块存储在不同机器
2. 计算处理：- Map阶段：多台机器并行统计每条日志的关键词- Shuffle阶段：按关键词分组- Reduce阶段：汇总每个关键词的总出现次数
3. 结果输出：生成关键词频率统计报告

三、Spark 生态详解

1. ​Spark 核心优势
  • ​速度比Hadoop快100倍：基于内存计算（Hadoop基于磁盘）
  • ​一站式解决方案：支持批处理、流处理、机器学习、图计算
  • ​API友好：支持Java/Scala/Python/R多种语言
2. ​Spark 核心模块
模块功能
​Spark Core底层执行引擎（任务调度、内存管理）
​Spark SQL用SQL或DataFrame API处理结构化数据
​Spark Streaming实时流数据处理（微批处理模式）
​MLlib机器学习库（分类、聚类、推荐算法）
​GraphX图计算库（社交网络分析、路径规划）
3. ​Spark vs Hadoop 对比
特性Hadoop MapReduceSpark
​计算速度慢（基于磁盘）快（基于内存）
​适用场景离线批处理迭代计算、实时流处理
​API易用性需手动编写Map/Reduce函数高阶API（DataFrame/SQL）
​资源管理依赖YARN自带集群管理器或YARN

四、Hadoop + Spark 整合架构

          [HDFS] 分布式存储↑↓[YARN] 资源管理↑↓
[Spark] ←→ [Hive] ←→ [HBase] ←→ [其他工具]
  • ​典型工作流：
    1. 用HDFS存储原始数据
    2. 用Spark SQL处理数据（替代Hive的MapReduce）
    3. 用MLlib训练机器学习模型
    4. 结果存回HBase或HDFS

五、应用场景

  1. ​Hadoop 典型场景：
    • 海量日志离线分析（如电商用户行为分析）
    • 历史数据归档存储（如银行交易记录）
  2. ​Spark 典型场景：
    • 实时推荐系统（如抖音视频推荐）
    • 金融风控实时计算（如欺诈交易检测）
    • 大规模机器学习（如广告点击率预测）

六、学习路径建议

  1. ​先掌握核心思想：
    • 理解分布式存储（HDFS）和计算（MapReduce/Spark）原理
  2. ​动手实践：
    • 本地安装Hadoop单机版（或使用Docker镜像）
    • 尝试用Spark DataFrame处理CSV文件（类似Pandas语法）
  3. ​逐步深入： 
    基础 → Hadoop HDFS命令 → MapReduce WordCount示例 → Spark WordCount
进阶 → Hive SQL查询 → Spark Streaming实时计数 → MLlib聚类分析

相关文章：

Hadoop/Spark 生态

Hadoop/Spark 生态是大数据处理的核心技术体系，专为解决海量数据的存储、计算和分析问题而设计。以下从底层原理到核心组件详细讲解，帮助你快速建立知识框架！ 一、为什么需要 Hadoop/Spark？ ​传统单机瓶颈： 数据量超…...

编程日记 2025/7/5 17:56:43

51单片机的五类指令（二）——算术运算类指令

目录 一、加法指令 （一）不带进位加法指令（ADD） （二）带进位加法指令（ADDC） （三）加 1 指令（INC） （四）十进制…...

编程日记 2025/7/5 17:04:59

uniapp选择文件使用formData格式提交数据

1. Vue实现 在vue项目中，我们有个文件，和一些其他字段数据需要提交的时候，我们都是使用axios 设置请求头中的Content-Type: multipart/form-data，然后new FormData的方式来进行提交。方式如下： const sendRequest = () => {const formData = new FormData()formData…...

编程日记 2025/7/5 17:31:38

mac Python多版本第三方库的安装路径

终端查看python版本是 3.12，但是pycharm使用的python版本是 3.9 终端正常安装包以后，pycharm都可以正常使用，但是将 pycharm的python换成 3.12 版本，之前安装的库都没有了 通过终端查看安装库的位置，确实是安装到py…...

编程日记 2025/6/28 4:34:39

第 26 场 蓝桥月赛 部分题解

第 26 场 蓝桥月赛 2.灯笼猜谜3.元宵分配4.摆放汤圆5.元宵交友（运行超时 通过90%） 2.灯笼猜谜 分析：以当前位置为视角，要想移动的距离尽可能的少，按顺序猜谜语，给你一个区间，有三种情况&#xf…...

编程日记 2025/7/5 17:20:38

【Vue3知识】Vue3集成富文本编辑器TinyMCE

Vue3集成富文本编辑器TinyMce 集成一、安装依赖二、基础集成示例1. 组件封装：RichEditor.vue 三、关键配置说明1. **API Key 配置**2. **图片上传处理**3. **多语言支持** 四、完整本地化部署步骤（无 API Key）五、在父组件中使用六、常见问题…...

编程日记 2025/6/29 17:21:38

pod生命周期

1.init容器：做主容器运行前需要做的准备条件 2.探针 通俗易懂就是检测容器是否正常运行工作 启动探针startupProbe：检测应用是否完成启动 ，如果启动则禁用其他探测 直到成功为止，探测失败则杀死容器，容器服从重启策略…...

编程日记 2025/7/4 9:23:01

Oracle数据库数据编程SQL＜3.3 PL/SQL 游标＞

游标(Cursor)是Oracle数据库中用于处理查询结果集的重要机制，它允许开发者逐行处理SQL语句返回的数据。 目录 一、游标基本概念 1. 游标定义 2. 游标分类 二、静态游标 （一）显式游标 【一】不带参数，普通的显示游标 1. 显式…...

编程日记 2025/6/30 15:55:36

OLLAMA 未授权访问-漏洞挖掘

1.漏洞描述 Ollama存在未授权访问漏洞。由于Ollama默认未设置身份验证和访问控制功能，未经授权的攻击者可在远程条件下调用Ollama服务接口，执行包括但不限于敏感模型资产窃取、虚假信息投喂、模型计算资源滥用和拒绝服务、系统配置篡改和扩大利用等恶意…...

编程日记 2025/7/3 13:58:03

多线程—线程安全集合类与死锁

上篇文章： 多线程—JUChttps://blog.csdn.net/sniper_fandc/article/details/146713322?fromshareblogdetail&sharetypeblogdetail&sharerId146713322&sharereferPC&sharesourcesniper_fandc&sharefromfrom_link 目录 1 线程安全的集合类 …...

编程日记 2025/7/3 22:09:21

【鸿蒙5.0】鸿蒙登录界面 web嵌入（隐私页面加载）

在鸿蒙应用中嵌入 Web 页面并加载隐私页面，可借助 WebView 组件来实现。以下是一个完整示例，展示如何在鸿蒙 ArkTS 里嵌入 Web 页面并加载隐私政策页面。 在 HarmonyOS 应用开发中，如果你希望嵌入一个网页，并且特别关注隐私页面加…...

编程日记 2025/7/5 17:21:36

C++轻量HeaderOnly的JSON库

文章目录 1 nlohmann/json库说明2 nlohmann/json特点3 nlohmann/json库的使用方法3.1 引入头文件3.2 解析JSON字符串3.3 访问JSON数据3.4 生成JSON对象3.5 修改JSON数据3.6 将JSON写入文件3.7 遍历JSON对象 4 代码示例4.1 定义JSON数值类型4.2 从STL容器转换到json4.3 string序…...

编程日记 2025/7/5 17:47:33

打包python文件生成exe

下载PyInstaller 官网 pip install pyinstaller验证是否安装成功 pyinstaller --version打包 pyinstaller "C:\Documents and Settings\project\myscript.py"会生成.spec,build,dist三项，其中build,dist为文件夹，dist是最后的可执行文件&a…...

编程日记 2025/7/1 23:08:12

Nginx — Nginx安装证书模块(配置HTTPS和TCPS)

一、安装和编译证书模块 [rootmaster nginx]# wget https://nginx.org/download/nginx-1.25.3.tar.gz [rootmaster nginx]# tar -zxvf nginx-1.25.3.tar.gz [rootmaster nginx]# cd nginx-1.25.3 [rootmaster nginx]# ./configure --prefix/usr/local/nginx --with-http_stub_…...

编程日记 2025/7/3 1:22:43

《Mycat核心技术》第21章：高可用负载均衡集群的实现（HAProxy + Keepalived + Mycat）

作者：冰河 星球：http://m6z.cn/6aeFbs 博客：https://binghe.gitcode.host 文章汇总：https://binghe.gitcode.host/md/all/all.html 星球项目地址：https://binghe.gitcode.host/md/zsxq/introduce.html 沉淀&#xff0c…...

编程日记 2025/7/5 17:29:37

Dynamic WallPaper-壁纸动态-Mac电脑-4K超高清

Dynamic WallPaper-壁纸动态-Mac电脑-4K超高清 文章目录 Dynamic WallPaper-壁纸动态-Mac电脑-4K超高清一、介绍二、效果三、下载 一、介绍 Dynamic Wallpaper for mac版，是一款4K超高清动态壁纸软件，告别单调的静态壁纸，拥抱活泼的动态壁纸…...

编程日记 2025/7/5 17:26:21

MySQL8.4 NDB Cluster 集群配置安装

文章目录 前置条件安装步骤环境准备下载 安装 RPM 包安装 NDB 组件与常见错误配置节点启用节点配置启动 MySQL 集群验证集群状态 关于 ndb_mgm集群管理备份与恢复集群配置管理日志相关 MySQL NDB Cluster 是一个分布式数据库解决方案，提供高可用性、数据分片和自动故…...

编程日记 2025/6/28 5:35:17

多线程开发中List的使用

由于ArrayList在多线程高并发情况下是不安全的，因此要慎用，那么此时如果涉及到集合操作，应该怎么选： 方案一：Vector: 特点：通过给所有方法都用 synchronized 修饰从而保证线程安全， 缺点&…...

编程日记 2025/7/5 17:55:17

Html 页面图标的展示列表

Html 页面中经常需要使用网页图标，这些图标的样式和名称都不容易记住。常用的网页图标展示页面链接记录如下： Material Design Icons 图标库 - FontAwesome 字体图标中文Icon...

编程日记 2025/6/28 4:21:29

Vue实现动态路由的后端控制

在传统开发后台管理系统时，都会涉及权限控制这一功能需求 即：根据不同登录的角色账号来使用该账号拥有的功能，也就是说系统左边的菜单栏不是固定不变的。 首先是基础路由配置带有component的。 const allRoutes [// 基础路由{path: /,name…...

编程日记 2025/7/5 17:36:29

​AI训练中的专有名词大白话版

​AI训练中的专有名词大白话版 ​1. 数据集（Dataset）​ 👉 ​人话：AI的“练习题题库”，包含一堆带答案的题目（比如猫狗照片标签）。 🔹 ​例子： 训练集（练习…...

编程日记 2025/7/5 17:12:53

kafka 与 RocketMQ对比

问题 1: 为什么使用消息队列?服务搭建KafkaRocketMQ编写 docker-compose.yml运行docker compose修改配置文件(解决网络问题)创建一个 topic运行skd尝试发送与接收功能 压力测试:Kafkabatch-size(批量大小)分区数:发送数据(MB/s)消费-线程数(15 分区) RocketMQ生产生产者数量批…...

编程日记 2025/7/5 17:56:43

instnatid模型加载器放在哪里

一般根据节点名称来放，如果没有就新建 ComfyUI\models\instantid...

编程日记 2025/7/5 17:44:55

Spring Boot自动配置原理解析

文章目录 前言一、SpringBootConfiguration二、EnableAutoConfiguration2.1、AutoConfigurationPackage2.2、Import(AutoConfigurationImportSelector.class) 三、ComponentScan四、自动配置源码4.1、获取所有候选的自动配置类4.2、过滤不满足条件的自动配置 总结 前言 在常规的…...

编程日记 2025/7/5 1:21:05

LlamaIndex实现(基于PDF|CSV文件)RAG检索增强生成:NaiveRAG

什么是 RAG？ RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合 信息检索（Retrieval） 和 文本生成（Generation） 的AI技术，用于提升大语言模型（L…...

编程日记 2025/7/5 17:36:29

分布式系统面试总结：3、分布式锁（和本地锁的区别、特点、常见实现方案）

仅供自学回顾使用，请支持javaGuide原版书籍。 本篇文章涉及到的分布式锁，在本人其他文章中也有涉及。 《JUC：三、两阶段终止模式、死锁的jconsole检测、乐观锁（版本号机制CAS实现）悲观锁》：https://blog.…...

编程日记 2025/7/5 16:14:50

vue3搭建实战项目笔记三

vue3搭建实战项目笔记三 3.1.行高偏移问题3.2.谷歌浏览器上不能定位3.2.2 移动端css隐藏滚动条 3.3.获取列表的数据3.3.1 服务器返回十万条数据3.3.2 分页展示数据3.3.2 防止展示数据为空报错 3.4.上拉加载数据3.4.1 加载更多数据3.4.2 监听页面滚动到底部3.4.3 监听滚动的时机…...

编程日记 2025/7/5 17:24:46

【商城实战(101)】电商未来已来：新技术引领商城发展新航向

【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用 uniapp、Element Plus、SpringBoot 搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配，乃至运营推广策略，102 章内容层层递进。无论是想…...

编程日记 2025/7/5 17:35:45

深入解析最大公约数（GCD）与最小公倍数（LCM）的C++实现

深入解析最大公约数（GCD）与最小公倍数（LCM）的C实现 一、GCD与LCM的数学定义 1. 最大公约数（GCD） 两个或多个整数共有约数中最大的一个。 例如： GCD(12, 18) 6GCD(21, 14) 7 2. 最小公倍数…...

编程日记 2025/6/30 20:06:20

低功耗LPWAN模块开发指南：远距离无线通信与边缘计算融合实战‌

在远程资产追踪、野外环境监测等场景中，稳定可靠的长距离通信与超低功耗是系统设计的核心挑战。eFish-SBC-RK3576通过 ‌原生双UART接口 USB OTG扩展能力‌ ，可无缝集成主流LPWAN模组（LoRa/NB-IoT），实现“数据采集-边…...

编程日记 2025/7/5 17:52:47

【质量管理】纠正、纠正措施和预防的区别与解决问题的四重境界

“质量的定义就是符合要求”，我们在文章【质量管理】人们对于质量的五个错误观念-CSDN博客中提到过，这也是质量大师克劳士比所说的。“质量的系统就是预防”，防止出现产品不良而造成的质量损失。 质量问题的解决可以从微观和宏观两个方面来考…...

编程日记 2025/7/5 17:10:23

STM32F103_LL库+寄存器学习笔记12 - 提高串口通讯程序的健壮性：异常监控 + 超时保护机制

导言 首先，进行USART和DMA状态监测、记录异常状态并主动处理，是高健壮性嵌入式系统开发的核心思想之一。 这种机制看似复杂，实则能有效保障系统长期、稳定地运行： 提升通讯可靠性。降低维护成本。增强系统自恢复能力。 因此&…...

编程日记 2025/7/5 17:52:47

搜索-BFS

马上蓝桥杯了，最近刷了广搜，感觉挺有意思的，广搜题类型都差不多，模板也一样，大家写的时候可以直接套模板 这里给大家讲一个比较经典的广搜题-迷宫 题目问问能否走到 (n,m) 位置，假设最后一个点是我们的&…...

编程日记 2025/7/5 16:52:20

Keil调试(RTT Debug 断点)

调试 打印操作 方式接口优缺点串口打印TXRX简单,但是占用串口,速度慢,重定向fputc简单RTT打印SWDIOSWCLK速度快,不占额外接口,直接移植RTT库断点打印SWDIOSWCLKDebug的时候断点操作SWOSWDIOSWCLKSWO需要连接SWO引脚,重定向fputc简单 这里我只介绍RTT打印和断点打印; 一. RT…...

编程日记 2025/7/5 17:06:22

【jQuery】插件

目录 一、 jQuery插件 1. 瀑布流插件： jQuery 之家 http://www.htmleaf.com/ 2. 图片懒加载： jQuery 插件库 http://www.jq22.com/ 3. 全屏滚动 总结不易~ 本章节对我有很大收获，希望对你也是~~~ 一、 jQuery插件 jQuery 功能…...

编程日记 2025/6/30 9:57:35

leetcode 28 Find the Index of the First Occurrence in a String

直接用kmp算法 class Solution { public:int strStr(string haystack, string needle) {return kmp(haystack,needle);}int kmp(std::string &text,std::string &pattern){int n text.size();int m pattern.size();if(m 0)return 0;std::vector<int> next;ne…...

编程日记 2025/7/5 17:08:42

nginx 动静分离

一.动静分离 1.动静分离的好处 Apache Tocmat 严格来说是一款java EE服务器&#xff0c;主要是用来处理 servlet请求。处理css、js、图片这些静态文件的IO性能不够好&#xff0c;因此&#xff0c;将静态文件交给nginx处理&#xff0c;可以提高系统的访问速度&#xff0c;减少…...

编程日记 2025/6/28 1:31:57

1.2 斐波那契数列模型：LeetCode 面试题 08.01. 三步问题

动态规划解三步问题&#xff1a;LeetCode 面试题 08.01. 三步问题 1. 题目链接 LeetCode 面试题 08.01. 三步问题 题目要求&#xff1a;小孩上楼梯&#xff0c;每次可以走1、2或3步&#xff0c;计算到达第 n 阶台阶的不同方式数&#xff0c;结果需对 1e9 7 取模。 2. 题目描述…...

编程日记 2025/7/5 17:15:41

关于AutoMapper

AutoMapper 概述 AutoMapper 是一个基于约定的对象 - 对象映射库&#xff0c;主要用于在不同对象类型之间自动映射属性值。它能根据配置的映射规则&#xff0c;将源对象的属性值填充到目标对象中&#xff0c;避免了手动编写大量繁琐的对象映射代码。 作用 提升开发效率&…...

编程日记 2025/7/5 16:45:19

是否每一层之间都要线性变换和激活函数？

1. 神经网络层的基本组成 一个典型的神经网络层通常包含两个步骤&#xff1a; 线性变换&#xff08;加权求和&#xff09;&#xff1a; z Wx} b 其中W 是权重矩阵&#xff0c;b是偏置向量&#xff0c;是输入&#xff0c;z 是线性输出。激活函数&#xff1a; 其中&#xff0c…...

编程日记 2025/7/5 17:39:49

golang 的reflect包的常用方法

目录 reflect 包方法总结 类型 (Type) 方法 值 (Value) 方法 代码示例&#xff1a; reflect 包方法总结 p : Person{Name: "小明", Age: 22}t : reflect.TypeOf(&p)v : reflect.ValueOf(p) 类型 (Type) 方法 方法名描述示例　　　　　　　　　　　　　　　Na…...

编程日记 2025/7/5 17:37:10

CentOS 7 安装 EMQX (MQTT)

CentOS 7 安装 EMQX 通过 Yum 源安装 EMQX 支持通过 Yum 源安装&#xff0c;您可通过以下 Yum 命令从中自动下载和安装 EMQX。 通过以下命令配置 EMQX Yum 源&#xff1a; curl -s https://assets.emqx.com/scripts/install-emqx-rpm.sh | sudo bash安装以下依赖项&#xff…...

编程日记 2025/7/5 17:34:13

Flask项目部署:Flask + uWSGI + Nginx

目录 1,网络架构 2,环境安装 2.1,安装yum:Shell软件包管理器 2.2 安装python 2.3 安装uWSGI 2.4 安装Flask 3,上传工程包到服务器,打包Flask项目 4,创建和配置 uwsgi 配置文件 uwsgi.ini 4.1配置文件 4.2配置文件注释详解 5,启动服务 6,安装nginx 7,nginx配置 8,…...

编程日记 2025/7/5 17:07:02

软件工程面试题（十五）

1、servlet 创建过程以及ruquest，response，session的生命周期？ Servlet的创建过程： 第一步 public class AAA extends HttpServlet{ 实现对应的doxxx方法 } 第二步: 在web.xml中配置 <servlet> <servlet-name></servlet-name> <servlet-c…...

编程日记 2025/6/29 14:32:28

当Kafka化身抽水马桶：论组件并发提升与系统可用性的量子纠缠关系

《当Kafka化身抽水马桶&#xff1a;论组件并发提升与系统可用性的量子纠缠关系》 引言&#xff1a;一场OOM引发的血案 某个月黑风高的夜晚&#xff0c;监控系统突然发出刺耳的警报——我们的数据发现流水线集体扑街。事后复盘发现&#xff1a;Kafka集群、Gateway、Discovery服…...

编程日记 2025/7/5 17:55:17

python和Java的区别

Python和Java是两种流行的编程语言&#xff0c;它们之间有一些重要的区别&#xff1a; 语法&#xff1a;Python是一种动态类型的脚本语言&#xff0c;语法简洁明了&#xff0c;通常使用缩进来表示代码块。Java是一种静态类型的编程语言&#xff0c;语法更为严格&#xff0c;需要…...

编程日记 2025/6/29 21:28:40

QFlightInstruments飞行仪表控件库

QFlightInstruments 是一个开源的飞行仪表控件库&#xff0c;专为基于 Qt 的应用程序设计。它提供了一系列仿真实飞机仪表的组件&#xff0c;适用于飞行模拟软件、航空电子系统或任何需要高仿真飞行仪表显示的项目。 主要功能 高仿真飞行仪表&#xff1a;包括空速表、高度表、…...

编程日记 2025/6/27 11:27:34

可发1区的超级创新思路（python\matlab实现）：MPTS+Lconv+注意力集成机制的Transformer时间序列模型

首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！ 应用场景 该模型主要用于时间序列数据预测问题，包含功率预测、电池寿命预测、电机故障检测等等。 一、模型整体架构（本文以光伏功率预测为例） 本模型由多尺度特征提取模块（MPTS）…...

编程日记 2025/6/28 7:08:56

Nginx — Nginx版本升级

例如&#xff1a;将10.224.11.220、10.224.11.221、10.208.11.220 三台服务器上的Nginx从1.21.1版本升级到1.23.3版本。 一、Nginx升级步骤 步骤一&#xff1a;备份老版本的Nginx&#xff08;10.224.11.220、10.224.11.221、10.208.11.220&#xff09; #关闭Nginx cd /usr/l…...

编程日记 2025/7/3 19:44:39

CSS学习笔记6——网页布局

目录 一、元素的浮动属性、清除浮动 清除浮动的其他方法 1、使用空标签清除浮动影响 2、使用overflow属性清除浮动 3、使用伪元素清除浮动影响 原理 overflow属性 二、元素的定位 1、相对定位 2、绝对定位 ​编辑 3、固定定位 z-index层叠等级属性 一、元素的浮动…...

编程日记 2025/7/5 17:38:43