当前位置：首页 > news >正文

【Hadoop入门】Hadoop生态之Oozie简介

news 来源：原创 2025/9/15 16:01:28

1 什么是Oozie？

Oozie是Apache基金会下的一个开源工作流调度系统，专门设计用于管理Hadoop作业。作为一个基于工作流的调度服务器，它能够在复杂的任务依赖关系中协调Hadoop MapReduce、Pig、Hive等任务的执行，是大数据平台中任务编排的核心组件之一。

Oozie允许用户将多个Hadoop任务（如MapReduce作业、Pig脚本、Hive查询、Spark作业等）组合成一个逻辑工作流，并按照预定义的顺序和依赖关系自动执行这些任务。Oozie通过提供一种声明式的方式来定义工作流，使得复杂的数据处理流程变得更加易于管理和维护。

2 Oozie的核心特点

工作流定义：通过XML文件定义任务执行流程
依赖管理：智能处理任务间的输入输出依赖关系
多任务支持：可调度MapReduce、Pig、Hive、Spark等多种Hadoop生态任务
时间触发：支持基于时间或数据的调度策略
可视化监控：提供Web界面监控工作流执行状态

3 Oozie的核心组件

工作流引擎(Workflow Engine)：负责解析和执行预定义的工作流，处理任务间的依赖关系，确保任务按正确顺序执行
协调器(Coordinator)：允许用户基于时间(定期)或数据可用性来触发工作流执行，实现自动化调度
捆绑器(Bundle)：管理一组协调器作业，提供更高层次的作业组织能力

4 Oozie工作流的核心概念

动作节点(Action Node)：执行具体任务(如MapReduce、Pig作业)
控制节点(Control Node)：决定工作流走向(如开始、结束、决策、分支/合并)
依赖关系：前驱任务成功完成后才能启动后继任务
参数传递：支持任务间的参数传递和数据依赖

5 Oozie的典型应用场景

ETL流程自动化：协调数据抽取、转换和加载的完整流程
复杂分析流水线：管理包含多个MapReduce/Pig/Hive任务的复杂分析作业
周期性报表生成：定时执行数据统计和报表生成任务
机器学习管道：编排特征提取、模型训练、评估等机器学习步骤

6 Oozie工作流示例

# 以下是一个简单的hive任务
<workflow-app name="sample-workflow" xmlns="uri:oozie:workflow:0.5"><start to="pig-node"/><action name="pig-node"><pig><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><script>script.pig</script></pig><ok to="mr-node"/><error to="fail"/></action><action name="mr-node"><map-reduce><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><configuration><property><name>mapred.mapper.class</name><value>com.example.MyMapper</value></property><property><name>mapred.reducer.class</name><value>com.example.MyReducer</value></property></configuration></map-reduce><ok to="end"/><error to="fail"/></action><kill name="fail"><message>Workflow failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message></kill><end name="end"/>
</workflow-app>

7 Oozie的优势与局限

优势：

与Hadoop生态深度集成：原生支持MapReduce、Pig、Hive等
复杂的依赖管理：能够处理非线性工作流和条件分支
失败处理机制：提供完善的错误处理和重试机制
参数化设计：支持变量替换和参数传递

局限：

配置复杂：XML定义文件较为冗长
实时性不足：更适合批处理场景

8 总结

作为Hadoop生态系统中成熟的工作流调度解决方案，Oozie在企业级大数据平台中扮演着至关重要的角色。为管理和调度Hadoop作业提供了强大的支持。通过定义工作流、协调器和Bundle等组件，Oozie能够灵活地组合和执行复杂的数据处理流程。其灵活性、可扩展性、可靠性和易用性等特点，使得Oozie在数据仓库构建、机器学习流程、定时报表生成等场景中发挥着重要作用

【Hadoop入门】Hadoop生态之Oozie简介

1 什么是Oozie？ Oozie是Apache基金会下的一个开源工作流调度系统，专门设计用于管理Hadoop作业。作为一个基于工作流的调度服务器，它能够在复杂的任务依赖关系中协调Hadoop MapReduce、Pig、Hive等任务的执行，是大数据平台中任务编…...

编程日记 2025/9/15 16:01:28

【Amazon EC2】为何基于浏览器的EC2 Instance Connect 客户端连接不上EC2实例

文章目录前言📖一、报错先知❌二、问题复现😯三、解决办法🎲四、验证结果👍五、参考链接🔗 前言📖 这篇文章将讲述我在 Amazon EC2 上使用 RHEL9 AMI 时无法连接到 EC2 实例时所遇到的麻烦😖 …...

编程日记 2025/9/4 16:50:50

【大模型系列篇】最强检索增强技术GraphRAG基本原理详解

GraphRAG是一种结合了知识图谱（Knowledge Graph）和大型语言模型（Large Language Model, LLM）的检索增强生成（Retrieval-Augmented Generation, RAG）技术。它通过引入图结构化的知识表示和处理方法&#xff…...

编程日记 2025/9/11 12:03:11

【高阶数据结构】第二弹---图的深度解析：从基本概念到邻接矩阵的存储与操作

✨个人主页： 熬夜学编程的小林 💗系列专栏： 【C语言详解】【数据结构详解】【C详解】【Linux系统编程】【高阶数据结构】目录 1、图的基本概念 2、图的存储结构 2.1、邻接矩阵 2.1.1、基本结构 2.1.2、图的创建 2.1.3、获取顶点下标…...

编程日记 2025/9/15 1:09:29

【Java实战】——手撕斐波那契数列

🎁个人主页：User_芊芊君子 🎉欢迎大家点赞👍评论📝收藏⭐文章 🔍系列专栏：【Java】内容概括这里写目录标题 1.什么是斐波那契数列？2.代码实现2.1 递归实现2.2 迭代实现 3.执行结果 …...

编程日记 2025/9/10 22:44:13

Python数据可视化-第7章-绘制3D图表和统计地图

环境开发工具 VSCode库的版本 numpy1.26.4 matplotlib3.10.1 ipympl0.9.7教材本书为《Python数据可视化》一书的配套内容，本章为第7章绘制3D图表和统计地图本章首先介绍了使用mplot3d工具包绘制3D图表，然后介绍了使用animation模块制作动画&#…...

编程日记 2025/9/13 4:46:06

操作系统 4.2-键盘

键盘中断初始化和处理提取的代码如下： // con_init 函数，初始化控制台（包括键盘）的中断 void con_init(void) {set_trap_gate(0x21, &keyboard_interrupt); } // 键盘中断处理函数 .globl _keyboard_interrupt _keyboard…...

编程日记 2025/9/12 21:56:42

24.0.2 双系统ubuntu 安装显卡驱动黑屏，系统启动界面键盘失灵

问题描述：通过run文件在ubuntu 界面版安装nvidia 驱动后，忽然黑屏，再次启动时，键盘鼠标失灵无法选择系统，只能进入ubuntu界面。第二个问题是ubuntu 也无法用户登录，左上角光标闪烁。查询方案，…...

编程日记 2025/9/11 3:44:25

探索多领域免费API资源库：打造数据查询利器

在当今信息爆炸的时代，获取各种领域的数据已成为许多人的需求。而免费API资源库的出现为我们提供了便捷的途径，让我们可以轻松地获取所需数据。本文将介绍涵盖20领域的免费API资源库，通过代码示例展示其功能，帮助读者更好地理解和…...

编程日记 2025/9/12 17:19:25

jenkins项目发布-安装k8s（rancher）客户端kubectl

找一台Linux 上安装 kubectl 以下是通过国内镜像源快速安装 kubectl 的方法，适合国内网络环境。 1. 下载 kubectl 通过国内镜像源下载指定版本的 kubectl： 使用阿里云镜像源下载： curl -LO "https://dl.k8s.io/release/$(curl -L -…...

编程日记 2025/9/8 1:29:33

【2025年认证杯数学中国数学建模网络挑战赛】C题数据预处理与问题一二求解

目录 2025认证杯网络挑战赛A题数据预处理与问题一求解三、数据预处理及分析3.1 数据可视化3.2 滑动窗口相关系数统计与动态置信区间耦合分析模型3.3 耦合关系分析结果四、问题一代码数据预处理问题一 2025认证杯网络挑战赛 A题数据预处理与问题一求解三、数据预处理及分析…...

编程日记 2025/9/11 10:18:41

天玑AI开发套件2.0模型库数量激增3.3倍，让AI开发选择更自由

AI终端能力的升级，从不止步于硬件性能的提升，更有赖于软硬一体的系统化能力建设。在MDDC 2025大会上，联发科整合发布AI游戏两大核心场景下的开发平台：Neuron Studio打通模型开发全流程；Dimensity Profiler从多个维度提…...

编程日记 2025/9/7 9:41:40

edge 更新到135后，Clash 打开后，正常网页也会自动跳转

发现了一个有意思的问题：edge 更新135后，以前正常使用的clash出现了打开deepseek也会自动跳转： Search Resultshttps://zurefy.com/zu1.php#gsc.tab0&gsc.qdeepseek ，也就是不需要梯子的网站打不开了，需要的一直正…...

编程日记 2025/9/13 19:12:20

Socket多路复用网络编程应用总结

Socket多路复用网络编程应用总结概述 • 传统I/O模型的局限性：传统阻塞式I/O模型每次仅在一个文件描述符（File Descriptor, FD）上执行I/O操作，导致程序需等待单个操作完成，无法高效处理多连接场景（如高并…...

编程日记 2025/9/15 12:35:47

APT攻击阶段划分，每个阶段分区方法

根据现有资料，APT（高级持续性威胁）攻击的阶段划分主要基于两种主流模型：洛克希德-马丁的杀伤链模型和生命周期模型。以下是分阶段详解及分区依据： 一、洛克希德-马丁杀伤链模型（7阶段） 核心逻辑…...

编程日记 2025/9/13 9:47:32

1. 颜色转换 import cv2 import matplotlib.pyplot as plotimg cv2.imread("tmp.jpg") img_r cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img_g cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) img_h cv2.cvtColor(img, cv2.COLOR_BGR2HSV) img_l cv2.cvtColor(img, cv2.C…...

编程日记 2025/9/14 20:07:38

【NLP 58、利用trl框架训练LLM】

孤独总比忍受傻逼好得多 —— 25.4.11 源代码网页： 项目文件预览 - trl:Train transformer language models with reinforcement learning. - GitCode TRL —— 变压器强化学习 trl：一个用于后训练基础模型的全面库 1.概述 TRL 是一个利用监督微调&a…...

编程日记 2025/9/12 15:32:07

数据仓库元数据的管理

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的…...

编程日记 2025/9/12 12:09:55

MySQL逻辑架构有什么？

1. MySQL逻辑架构分层 MySQL的逻辑架构可分为三层（自上而下）： 连接层（Client Layer）服务层（Server Layer）存储引擎层（Storage Engine Layer） -----------------------…...

编程日记 2025/9/13 1:24:57

蓝桥杯 web 常用到的一些知识点

reduce 方法遍历数组、将数组元素累计 ①reduce接收两个参数，一个回调函数，一个初始值 ②回调函数传递了两个参数，一个是累加值，另一个是当前值 reduce的写法： arrays.reduce(（a，c&#xff…...

编程日记 2025/9/15 7:31:06

构建高可靠C++服务框架：从日志系统到任务调度器的完整实现

构建高可靠C服务框架：从日志系统到任务调度器的完整实现一、深度解析示例代码技术体系 1.1 日志系统的进阶应用示例代码中的ZRY_LOG_XXX宏展示了基础日志功能，但在生产环境中我们需要更完善的日志系统： 推荐技术栈组合： sp…...

编程日记 2025/9/9 3:07:04

＜C#＞在 C# .NET 中,使用 LoggerExtensions方法创建日志

在 C# .NET 中，LoggerExtensions 是 Microsoft.Extensions.Logging 命名空间下的一组扩展方法，它们为 ILogger 接口提供了便捷的日志记录方式。借助这些扩展方法，你能轻松记录不同级别的日志，如调试信息、信息、警告、错误等。下面…...

编程日记 2025/9/15 1:37:13

微服务与Spring Cloud Alibaba简介

微服务（或微服务架构）是一种云原生架构方法，其中单个应用程序由许多松散耦合且可独立部署的较小组件或服务组成。本单元主要介绍微服务架构的定义、微服务的特征、微服务架构面临的挑战、Spring Cloud 定义、Spring Cloud 核心组件、Spring C…...

编程日记 2025/9/12 5:18:43

元生代品牌建设：平台实现工作流（comfyui）创建与技术文档说明

本文摘要：蓝耘科技自2004年成立以来，从传统IT系统集成业务转型为聚焦GPU算力云服务的科技公司。其发布的元生代平台，是一个集算力调度、应用市场和AI协作开发为一体的智算云平台。用户可在蓝耘平台使用ComfyUI进行AI绘图，通过添加…...

编程日记 2025/9/10 9:52:57

无线通信网

1.2.4G相邻信道间有干扰，5G相邻信道几乎无干扰 2.2.4G频段的优点是信号强，衰减小，穿墙强，覆盖距离远；缺点是带宽较窄，速度较慢，干扰较大。 5G频段的优点是带宽较宽，速度较快&#…...

编程日记 2025/9/9 3:50:07

WMware虚拟机Ubuntu磁盘扩容

VMware中操作： 选择要扩容的虚拟机，点击编辑虚拟机设置打开后点击磁盘——>点击扩展（注意：如果想要扩容的话需要删除快照） 调整到你想要的容量点击上图的扩展——>确定然后我们进到虚拟机里面首先&#…...

编程日记 2025/9/10 12:15:15

vscode头文件自由跳转

文章目录 1. 安装c/c扩展2. 建.vscode文件夹当你想要ctl鼠标左击跳转到三方库的定义的时候请往下看。 1. 安装c/c扩展 2. 建.vscode文件夹在.vscode文件夹下新建c_cpp_properties.json {"configurations": [{"name": "Linux","include…...

编程日记 2025/9/4 1:21:11

BUG:Cannot find implementation for xxx. database. xxx. xxx_Impl does not exist

问题背景使用Jetpack Compose将数据存储在room本地数据库时，编译报错： java. lang. RuntimeException: Cannot find implementation for com. example. androidproject. practice. roomdmeo. database. AppDatabase. AppDatabase_Impl does not exist …...

编程日记 2025/9/9 16:09:04

基于PySide6与pyCATIA的工程图智能文本替换工具开发指南

一、需求背景与实现价值在汽车、航空等制造领域，CATIA工程图的文本标注管理常面临批量修改需求。传统手工操作存在效率低、易出错等问题。本文实现的文本替换工具具有以下行业价值： 提升图纸修订效率（单次操作可处理数千个文本对象&#x…...

编程日记 2025/9/14 6:38:06

MCP协议下人工智能康复理疗智械融合编程方向分析

一、引言：AI 康复时代的技术革新在全球人口老龄化进程加速以及慢性病发病率持续走高的双重背景下，康复医疗领域正面临着前所未有的需求增长压力。据世界卫生组织（WHO）相关数据表明，预计到 2050 年，全球 60 岁及以上老年人口数量将激增至 21 亿，这一庞大群体中，绝大多…...

编程日记 2025/9/14 14:55:35

【嵌入式硬件】LAN9253说明书（中文版）

目录 1.介绍 1.1总体介绍 1.2模式介绍 1.2.1微控制器模式： 1.2.2 扩展模式 1.2.3 数字IO模式 1.2.4 各模式图 2.引脚说明 2.1 引脚总览 2.2 引脚描述 2.2.1 LAN端口A引脚 2.2.2 LAN端口B引脚 2.2.3 LAN端口A和、B电源和公共引脚 2.2.4 SPI/SQI PINS 2.2.5 分布式时…...

编程日记 2025/9/10 19:22:47

Java学习手册：Java基本语法与数据类型

Java语言以其简洁明了的语法和强大的数据类型系统而闻名。掌握Java的基本语法和数据类型是成为一名合格Java开发者的第一步。本文将深入探讨Java的基本语法结构和数据类型，帮助读者打下坚实的基础。 Java的基本语法 Java语言的语法设计简洁而强大，强调…...

编程日记 2025/9/13 8:59:18

操作系统 3.4-段页结合的实际内存管理

段与页结合的初步思路虚拟内存的引入： 为了结合段和页的优势，操作系统引入了虚拟内存的概念。虚拟内存是一段地址空间，它映射到物理内存上，但对用户程序是透明的。段到虚拟内存的映射： 用户程序中的段首先映射到虚…...

编程日记 2025/9/8 5:20:14

金融简单介绍及金融诈骗防范

在当今社会，金融学如同一股无形却强大的力量，深刻影响着我们生活的方方面面。无论是个人的日常收支、投资理财，还是国家的宏观经济调控，都与金融学紧密相连。一、金融学的概念金融学，简单来说，是研…...

编程日记 2025/9/11 21:40:46

基于docker搭建redis集群环境

在redis目录下创建redis-cluster目录，创建docker-compose.yml文化和generate.sh文件【配置generate.sh文件】 for port in $(seq 1 9); \ do \ mkdir -p redis${port}/ touch redis${port}/redis.conf cat << EOF > redis${port}/redis.conf port 6379 …...

编程日记 2025/9/10 13:47:19

CSS 中常见的布局相关属性及其功能分类

一、块级布局（Block Layout） 1. display 作用：定义元素的显示方式。常用值： block：块级元素，默认独占一行。inline：行内元素，与其他内容在同一行显示。inline-block：兼…...

编程日记 2025/9/6 4:20:46

用css画一条弧线

ui里有一条弧线，现在用css实现关键代码 border-bottom-left-radius: 100% 7px 两个参数分别代表横向和纵向的深度border-bottom-right-radius: 100% 7px...

编程日记 2025/8/17 19:41:13

CesiumForUnreal 本地矢量文件的加载，支持 shp/geojson 等常用格式

实现效果 Cesium for Unreal 集成 GDAL、LibPng 实现加载本地矢量文件实现步骤添加依赖在 cesium-unreal 中 extern -> cesium-native -> CMakeLists.txt 中的 57 行添加依赖库，代码如下： set(PACKAGES_PRIVATEabseil draco ktx modp-base64 meshoptimizer openssl …...

编程日记 2025/8/17 19:40:17

面向基于发布-订阅的物联网网络的匿名 MQTT 分析

中文标题： 面向基于发布-订阅的物联网网络的匿名 MQTT 分析英文标题： An Analysis of Anonymous MQTT for Publish-Subscribe-Based IoT Networks 作者信息 Yudai Fukushima：东京都立大学电气工程与计算机科学系硕士生，研究方向…...

编程日记 2025/9/11 13:06:25

＜C#＞详细介绍.NET 依赖注入

在 .NET 开发中，依赖注入（Dependency Injection，简称 DI）是一种设计模式，它可以增强代码的可测试性、可维护性和可扩展性。以下是对 .NET 依赖注入的详细介绍： 1. 什么是依赖注入在软件开发里&#xff0…...

编程日记 2025/9/15 4:45:45

批量给文件编排序号，支持数字序号及时间日期序号编排文件

当我们需要对文件进行编号的时候，我们可以通过这个工具来帮我们完成，它可以支持从 001 到 100 甚至更多的数字序号编号。也可以支持按照日期、时间等方式对文件进行编号操作。这是一种操作简单，处理起来也非常的高效文件编排序号的方法。工作…...

编程日记 2025/9/4 9:06:23

乳腺癌识别：双模型融合

本文为为🔗365天深度学习训练营内部文章原作者：K同学啊 import matplotlib.pyplot as plt import tensorflow as tf import warnings as w w.filterwarnings(ignore) # 支持中文 plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 …...

编程日记 2025/9/10 8:19:15

ubuntu 22.04配置cuda和cudnn

cuda：12.1 wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run sudo sh cuda_12.1.1_530.30.02_linux.runAbort/Continue选择Continue，不要勾选自带的driver 配置环境变量。~/.bashrc e…...

编程日记 2025/9/9 6:06:58

为什么Java不支持多继承？如何实现多继承？

一、前言 Java不支持多继承（一个类继承多个父类）主要出于文中设计考虑；核心目的是简化语言复杂性并避免潜在的歧义性问题。二、直接原因：菱形继承/钻石继承问题（Diamond Problem） 假设存在如下继承关系&…...

编程日记 2025/9/11 17:35:04

ESP32S3 链接到 WiFi

以下是关于如何让 ESP32S3 连接到 WiFi 的完整流程和代码示例： ESP32S3 链接到 WiFi 1. 设置工作模式 ESP32 可以工作在两种模式下： Station (STA) 模式：作为无线终端连接到无线接入点（AP），类似于手机或…...

编程日记 2025/9/10 1:27:19

AndroidTV D贝桌面-v3.2.5-[支持文件传输]

AndroidTV D贝桌面链接：https://pan.xunlei.com/s/VONXSBtgn8S_BsZxzjH_mHlAA1?pwdzet2# AndroidTV D贝桌面-v3.2.5[支持文件传输] 第一次使用的话，壁纸默认去掉的，不需要按遥控器上键，自己更换壁纸即可...

编程日记 2025/8/17 20:34:38

在spark中，窄依赖算子map和filter会组合为一个stage，这种情况下，map和filter是在一个task内进行的吗？

在 Spark 中，当 map 和 filter 这类窄依赖（Narrow Dependency）的算子连续应用时，它们会被合并到同一个 Stage 中，并且在同一个 Task 内按顺序执行。这种优化称为流水线（Pipeline）执行&#xff…...

编程日记 2025/9/5 22:51:24

展讯android15源码编译之apk单编

首先找到你要单编的apk生成的路径： sys\out_system\target\product\ussi_arm64\system_ext\app\HelloDemo\HelloDemo.apk接着打开下面这个文件： sys\out_system\ussi_arm64_full-userdebug-gms.system.build.log在里面找关键字"Running command&q…...

编程日记 2025/9/11 4:51:34

EtherCAT 转 ModbusTCP 网关

一、功能概述 1.1 设备简介本产品是 EtherCAT 和 Modbus TCP 网关，使用数据映射方式工作。本产品在 EtherCAT 侧作为 EtherCAT 从站，接 TwinCAT 、 CodeSYS 、 PLC 等；在 ModbusTCP 侧做为 ModbusTCP 主站（ C…...

编程日记 2025/9/15 3:18:47

SpringBoot集成阿里云文档格式转换实现pdf转换word,excel

一、前置条件 1.1 创建accessKey 如何申请：https://help.aliyun.com/zh/ram/user-guide/create-an-accesskey-pair 1.2 开通服务官方地址：https://docmind.console.aliyun.com/doc-overview 未开通服务时需要点击开通按钮，然后才能调用…...

编程日记 2025/9/12 5:23:45