当前位置：首页 > news >正文

【Hadoop入门】Hadoop生态之Flume简介

news 来源：原创 2025/9/12 10:47:44

1 什么是Flume？

Flume是Hadoop生态系统中的一个高可靠、高性能的日志收集、聚合和传输系统。它支持在系统中定制各类数据发送方（Source）、接收方（Sink）和数据收集器（Channel），从而能够高效地处理不同来源和格式的数据流。Flume的设计目标是将数据从多个数据源收集并传输到集中的数据存储系统中，如HDFS、HBase或Kafka等，以便进行后续的分析和处理。

2 Flume的核心特点

分布式架构：能够水平扩展以处理大规模数据流
高可靠性：确保数据在传输过程中不丢失
高容错性：自动处理节点故障，保证系统持续运行
灵活可扩展：支持自定义数据源、数据处理和目标存储
简单易用：通过配置文件即可实现复杂的数据流管道

3 Flume的核心概念

3.1 基本组件

Source（数据源）：

负责接收或收集数据
Flume支持多种数据源类型，如Avro Source（接收Avro格式的数据）、Exec Source（执行命令并收集输出）、Spooling Directory Source（监控目录并收集新文件）等

Channel（数据通道）：

作为数据的缓冲区，连接Source和Sink
支持多种Channel类型，如Memory Channel（内存通道，速度快但数据可能丢失）、File Channel（文件通道，数据持久化但速度较慢）等

Sink（数据接收方）：

负责将Channel中的数据发送到目的地
Flume支持多种Sink类型，如HDFS Sink（将数据写入HDFS）、Logger Sink（将数据输出到日志）、Kafka Sink（将数据发送到Kafka集群）等

3.2 工作流程

数据收集：Source从数据源收集数据，并将其发送到Channel中
数据缓存：Channel作为缓冲区，暂时存储数据，直到Sink准备好接收
数据传输：Sink从Channel中读取数据，并将其发送到目的地

4 Flume的典型应用场景

日志收集与聚合：从多台服务器收集日志到中央存储
实时数据管道：构建实时数据传输通道
事件数据采集：收集用户行为等事件数据
数据预处理：在数据传输过程中进行简单的数据清洗和转换

5 Flume的优势

多种数据源支持：可以接收来自文件、syslog、HTTP等多种来源的数据
灵活的目标存储：支持写入HDFS、HBase、Kafka等多种存储系统
可靠的传输机制：通过事务机制保证数据不丢失
水平扩展能力：可以通过增加节点来提高吞吐量
丰富的插件生态：社区提供了大量现成的组件

6 Flume的简单示例

# 以下是一个基本的Flume配置示例：
# 定义Agent组件名称
agent.sources = spool-source
agent.channels = file-channel
agent.sinks = hdfs-sink# 配置Spooling Directory Source
agent.sources.spool-source.type = spooldir
agent.sources.spool-source.spoolDir = /data/logs/flume_spool  # 监控的本地目录
agent.sources.spool-source.fileHeader = true
agent.sources.spool-source.deserializer.maxLineLength = 51200  # 单行最大长度(字节)# 配置File Channel（持久化通道）
agent.channels.file-channel.type = file
agent.channels.file-channel.checkpointDir = /data/flume/checkpoint  # 检查点目录
agent.channels.file-channel.dataDirs = /data/flume/data  # 数据存储目录
agent.channels.file-channel.capacity = 1000000  # 通道最大事件数
agent.channels.file-channel.transactionCapacity = 1000  # 事务处理量# 配置HDFS Sink
agent.sinks.hdfs-sink.type = hdfs
agent.sinks.hdfs-sink.hdfs.path = hdfs://namenode:8020/flume/events/%Y-%m-%d/%H  # HDFS存储路径
agent.sinks.hdfs-sink.hdfs.filePrefix = logs-  # 文件前缀
agent.sinks.hdfs-sink.hdfs.fileSuffix = .log  # 文件后缀
agent.sinks.hdfs-sink.hdfs.rollInterval = 3600  # 文件滚动间隔(秒)
agent.sinks.hdfs-sink.hdfs.rollSize = 128MB  # 文件滚动大小
agent.sinks.hdfs-sink.hdfs.rollCount = 0  # 基于事件数的滚动(0表示禁用)
agent.sinks.hdfs-sink.hdfs.fileType = DataStream  # 文件存储格式
agent.sinks.hdfs-sink.hdfs.writeFormat = Text  # 写入格式# 组件连接关系
agent.sources.spool-source.channels = file-channel
agent.sinks.hdfs-sink.channel = file-channel

7 Flume的进阶功能

多级流动：可以构建多级Flume代理，实现数据的层次化收集
负载均衡：支持在多个sink之间进行负载均衡
故障转移：当主sink不可用时自动切换到备用sink
拦截器链：可以串联多个拦截器实现复杂的数据处理逻辑

8 总结

Flume作为大数据生态系统中的重要组件，为海量数据收集提供了可靠的解决方案。其分布式、高可靠的特性使其特别适合企业级的大规模日志收集场景。通过灵活的配置和扩展能力，Flume可以适应各种复杂的数据采集需求，是大数据管道中不可或缺的一环。

随着大数据技术的不断发展，Flume也在持续进化，与Kafka、Spark等新一代大数据技术的集成越来越紧密，在未来仍将发挥重要作用。

【Hadoop入门】Hadoop生态之Flume简介

1 什么是Flume？ Flume是Hadoop生态系统中的一个高可靠、高性能的日志收集、聚合和传输系统。它支持在系统中定制各类数据发送方（Source）、接收方（Sink）和数据收集器（Channel），从而能…...

编程日记 2025/9/12 10:47:44

十六、Linus网络编程基础

1、Linux 网络的历史发展早期阶段（1991–1995） 1991年：Linus Torvalds 发布 Linux 内核的初始版本（0.01），此时内核不支持网络功能，仅是一个单机操作系统。1992年：受 BSD …...

编程日记 2025/9/12 10:43:09

【激活函数：神经网络的“调味料】

1. 激活函数：神经网络的“调味料” 想象你在做菜： 没有激活函数：就像只用水煮食材，味道单调（只能拟合线性关系）。加入激活函数：像加了盐、糖、辣椒，让菜有酸甜苦辣（非线…...

编程日记 2025/9/12 10:43:08

006.Gitlab CICD流水线触发

文章目录触发方式介绍触发方式类型触发方式实践分支名触发MR触发tag触发手动人为触发定时任务触发指定文件变更触发结合分支及文件变更触发正则语法触发触发方式介绍触发方式类型 Gitlab CICD流水线的触发方式非常灵活，常见的有如下几类触发方式： …...

编程日记 2025/9/3 0:42:34

服务器远程端口详解

服务器远程端口详解一、服务器远程端口的概念与作用 1. 端口的基本定义服务器远程端口是计算机网络中用于标识不同应用程序或服务的逻辑接口。通过TCP/IP协议栈的"Socket"机制，计算机可以通过软件方式与其他设备建立通信通道。每个端口对应一个16位无…...

编程日记 2025/9/12 10:42:04

如何在 Vue 3 中实现百度地图位置选择器组件

如何在 Vue 3 中实现百度地图位置选择器组件前言在开发前端应用时，地图选择器是一个非常常见的需求。尤其是在一些需要用户选择地址的场景，如电商平台、旅游网站、酒店预定等，百度地图组件能提供准确的地理位置服务。在本文中&#xff0c…...

编程日记 2025/9/12 10:46:58

es6学习02-let命令和const命令

一、let命令 1.let块级作用域： let关键字 VS var关键字 2.for循环计数器很适合let命令 var：整个for循环中一直都是同一个i在做1，最后输出的就是10； let：每循环一次都是多一个i的赋值，最后输出是可以调出…...

编程日记 2025/9/12 10:46:58

电路方案分析（二十）TPS63xxx系列DC/DC电源EMI PCB设计方案

tips：资料来自网络，仅供学习使用。[TOC](TPS63xxx系列DC/DC电源EMI PCB设计方案) 1.概述通过TPS63xxx系列DC/DC电源模块来分析降低直流/直流降压/升压转换器辐射 EMI 的来源以及相关PCB设计。下面都以最常用的TPS63070为例说明： 典型应用…...

编程日记 2025/9/12 10:45:27

DeepSeek大语言模型部署指南：从基础认知到本地实现

目录一、DeepSeek简介：开源领域的新兴力量 1.1 公司背景与发展历程 1.2 核心产品DeepSeek-R1的技术特点 1.3 行业影响与伦理挑战二、官方资源获取：全面掌握DeepSeek生态 2.1 官方网站与API服务 2.2 开源代码库资源 2.3 模型部署工具Ollama简介…...

编程日记 2025/9/12 5:38:22

09-设计模式企业场景面试题-mk

你之前项目中用过设计模式吗？需求：设计一个咖啡店点餐系统。设计一个咖啡类（Coffee），并定义其两个子类（美式咖啡【AmericanCoffee】和拿铁咖啡【LatteCoffee】）；再设计一个咖啡店类（CoffeeStore），咖啡店具有点咖啡的功能。具体类图设计如下：上面的对象都是ne…...

编程日记 2025/9/12 10:44:41

一、环境信息名称值CPU12th Gen Intel(R) Core(TM) i7-12700H操作系统CentOS Linux release 7.9.2009 (Core)内存4G逻辑核数2DM版本1 DM Database Server 64 V8 2 DB Version: 0x7000c 3 03134284194-20240703-234060-20108 4 Msg Versi…...

编程日记 2025/9/12 10:44:41

解决VS2022中scanf报错C4996

这个的原因是因为新版的VS认为scanf不安全，要去使用scanf_s，但在C语言中就需要scanf，所以我们只要以以下步骤解决就可以了。只要加入宏定义即可 #define _CRT_SECURE_NO_WARNINGS 因为本人已经很少写小案例了，所以就用这个办法…...

编程日记 2025/9/5 1:22:58

Python（11）Python判断语句全面解析：从基础到高级模式匹配

目录一、条件逻辑的工程价值1.1 真实项目中的逻辑判断1.2 判断语句类型矩阵二、基础判断深度解析2.1 多条件联合判断2.2 类型安全判断三、模式匹配进阶应用3.1 结构化数据匹配3.2 对象模式匹配四、判断语句优化策略4.1 逻辑表达式优化4.2 性能对比测试五、典型应用场景实战…...

编程日记 2025/8/17 19:42:57

Quartus II的IP核调用及仿真测试

目录第一章什么是IP核？第二章什么是LPM？第一节设置LPM_COUNTER模块参数第二节仿真第三章什么是PLL？第一节设置ALTPLL（嵌入式锁相环）模块参数第二节仿真第四章什么是RAM？第一节 RAM_1PORT的调用第…...

编程日记 2025/9/2 0:44:10

如何修改服务器TTL值

Windows默认返回的TTL值为128，Linux为64，我们怎么修改这个值呢？ 目录一. Windows 二. Linux 临时更改永久更改一. Windows WinR输入regedit，打开注册表路径：计算机\HKEY_LOCAL_MACHINE\SYSTEM\CurrentContro…...

编程日记 2025/8/17 19:52:41

大模型LLM表格报表分析：markitdown文件转markdown，大模型markdown统计分析

整体流程：用markitdown工具文件转markdown，然后大模型markdown统计分析 markitdown https://github.com/microsoft/markitdown 在线体验：https://huggingface.co/spaces/AlirezaF138/Markitdown 安装： pip install markitdown…...

编程日记 2025/8/17 21:22:42

劫持SUID程序提权彻底理解Dirty_Pipe：从源码解析到内核调试

DirtyPipe（CVE-2022-0847）漏洞内核调试全流程指南本文主要面向对内核漏洞挖掘与调试没有经验的初学者，结合 CVE-2022-0847——著名的 Dirty Pipe 漏洞，带你从零开始学习 Linux 内核调试、漏洞复现、原理分析与漏洞利用。该漏洞危害极大，并且概念简单明了，无需复杂前置知…...

编程日记 2025/8/23 22:08:00

React 组件样式

在这里插入图片描述分为行内和css文件控制行内通过CSS中类名文件控制...

编程日记 2025/9/8 16:08:49

嵌入式人工智能应用-第三章 opencv操作3 图像平滑操作下

5 高斯噪声（Gaussian Noise） 高斯噪声（Gaussian Noise）是一种符合正态（高斯）分布的随机噪声，广泛存在于传感器采集、信号传输等场景中。以下是关于高斯噪声的详细说明、添加方法及滤波方案。 …...

编程日记 2025/9/3 13:22:11

OSPF的接口网络类型【复习篇】

OSPF在不同网络环境下默认的不同工作方式 [a3]display ospf interface g 0/0/0 # 查看ospf接口的网络类型网络类型OSPF接口的网络类型（工作方式）计时器BMA（以太网）broadcast ，需要DR/BDR的选举hello：10s…...

编程日记 2025/8/23 9:04:26

maven编译jar踩坑[sqlite.db]

背景： 最近在项目中搞多数据源切换的job,在src/resource下有初始化的sqlite默认文件供后续拷贝使用，在测试阶段没有什么问题，但是一部署到服务器上运行就有问题。报错现象： 找不到这个sqlite.db文件或者文件格式有问题&#x…...

编程日记 2025/8/17 20:38:50

【软考系统架构设计师】软件工程

1、软件开发生命周期软件定义时期：包括可行性研究和详细需求分析过程，任务是确定软件开发工程必须完成的总目标，具体分为问题定义、可行性研究、需求分析等软件开发时期：软件的设计与实现，分为概要设计、详细设计、…...

编程日记 2025/9/3 0:38:08

蓝桥杯单片机刷题——ADC测量电位器的电压

设计要求通过PCF8591的ADC通道测量电位器RB2的输出电压，并使用套件上提供的USB转串口功能，完成下列程序设计要求。串口每次接收包含5个字符的字符串， 1）若接收的5个字符中有字符’a’或’A’，则数码管显示一位小数…...

编程日记 2025/8/17 19:24:29

零基础上手Python数据分析 (12)：DataFrame 数据清洗与预处理 (下) - 类型转换、格式化、文本与日期处理

写在前面上一篇博客，我们学习了如何使用 Pandas 处理数据分析中最常见的 “脏数据”：缺失值、重复值和异常值。这为我们处理数据质量问题打下了坚实的基础。然而，数据清洗的挑战远不止于此。在实际数据中，我们还会经常遇到数据类型不一致、数据格式不规范、文本数据混…...

编程日记 2025/8/17 19:23:24

免费下载 | 2025清华五道口：“十五五”金融规划研究白皮书

《2025清华五道口：“十五五”金融规划研究白皮书》的核心内容主要包括以下几个方面： 一、五年金融规划的重要功能与作用凝聚共识：五年金融规划是国家金融发展的前瞻性谋划和战略性安排，通过广泛听取社会各界意见，凝…...

编程日记 2025/9/2 16:36:17

制造一只电子喵 (qwen2.5:0.5b 微调 LoRA 使用 llama-factory)

AI (神经网络模型) 可以认为是计算机的一种新的 “编程” 方式. 为了充分利用计算机, 只学习传统的编程 (编程语言/代码) 是不够的, 我们还要掌握 AI. 本文以 qwen2.5 和 llama-factory 举栗, 介绍语言模型 (LLM) 的微调 (LoRA SFT). 为了方便上手, 此处选择使用小模型 (qwen2…...

编程日记 2025/8/17 19:19:15

Java中parallelStream并行流使用指南

Java中parallelStream并行流使用指南在 Java 中，parallelStream() 是 Java 8 引入的一个用于并行处理集合数据的工具，它基于 Fork/Join框架实现，能够自动将任务拆分成子任务并利用多核处理器并行执行。以下是对 parallelStream的详细说明和…...

编程日记 2025/9/7 22:45:43

Python及C++中的列表

一、Python中的列表（List） Python的列表是动态数组，内置于语言中，功能强大且易用，非常适合算法竞赛。 1. 基本概念定义：列表是一个有序、可变的序列，可以存储任意类型的元素（整数…...

编程日记 2025/9/9 15:01:22

mybatis plus 分页查询出来数据后对他二次修改数据封装返回

mybatis plus 分页查询出来数据后对他二次修改数据封装返回 /*** 搜索问卷** param keyword* param pageNo* param pageSize* return*/AutoLog(value "v_survey-搜索")ApiOperation(value"v_survey-搜索", notes"v_survey-搜索")GetMapping(v…...

编程日记 2025/9/6 3:34:50

海洋大地测量基准与水下导航系列之八我国海洋水下定位装备发展现状

中国国家综合PNT体系建设重点可概括为“51N”，“5”指5大基础设施，包括重点推进下一代北斗卫星导航系统、积极发展低轨导航增强系统、按需发展水下导航系统、大力发展惯性导航系统、积极探索脉冲星导航系统；“1”是实现1个融合发展&#xff0…...

编程日记 2025/8/17 21:32:11

基于单片机的电梯智能识别电动车阻车系统设计与实现

标题:基于单片机的电梯智能识别电动车阻车系统设计与实现内容:1.摘要随着电动车在日常生活中的普及，将电动车带入电梯带来的安全隐患日益凸显，如引发火灾等。本研究的目的是设计并实现一种基于单片机的电梯智能识别电动车阻车系统。方法上&#xff0c…...

编程日记 2025/9/8 12:53:59

什么是柜台债

柜台债（柜台债券业务）是指通过银行等金融机构的营业网点或电子渠道，为投资者提供债券买卖、托管、结算等服务的业务模式。它允许个人、企业及机构投资者直接参与银行间债券市场的交易，打破了以往仅限机构参与的壁垒。以下是综合多…...

编程日记 2025/8/27 15:29:23

.py文件和.ipynb文件的区别：完整教程

一、概述 Python开发者常用的两种文件格式.py和.ipynb各有特点，本教程将通过对比分析、代码示例和场景说明，帮助开发者全面理解二者的区别与联系。二、核心区别对比 1. 文件格式本质特性.ipynb文件.py文件文件类型JSON结构化文档纯文本文件存储内容…...

编程日记 2025/9/2 19:56:27

Python中NumPy的逻辑和比较

在数据科学和科学计算领域，NumPy是一个不可或缺的Python库。它提供了高效的多维数组对象以及丰富的数组操作函数，其中逻辑和比较操作是NumPy的核心功能之一。通过灵活运用这些操作，我们可以轻松实现数据筛选、条件判断和复杂的数据处理任务。…...

编程日记 2025/8/17 19:45:23

tt_Docker

快速上手查看 Docker 服务运行状态;查看本地镜像;从 Docker Hub 拉取基础镜像, 我们此处选择 ubuntu:18.04 镜像;再次查看本地镜像;使用 ubuntu:18.04 镜像构建容器，并交互式运行容器；在容器内部执行 LS 命令;退出容器;查看本地容器实例;再次启动停止的…...

编程日记 2025/8/24 15:01:16

虚幻引擎5-Unreal Engine笔记之“将MyStudent变量设置为一个BP_Student的实例”这句话如何理解？

虚幻引擎5-Unreal Engine笔记之“将MyStudent变量设置为一个BP_Student的实例”这句话如何理解？ code review! 文章目录虚幻引擎5-Unreal Engine笔记之“将MyStudent变量设置为一个BP_Student的实例”这句话如何理解？理解这句话的关键点1.类&#xff08…...

编程日记 2025/8/20 8:52:48

compose map 源码解析

目录 TileCanvas ZoomPanRotateState ZoomPanRotate 布局,手势处理完了,就开始要计算tile了 MapState TileCanvasState telephoto的源码已经分析过了.它的封装好,扩展好,适用于各种view. 最近又看到一个用compose写的map,用不同的方式,有点意思.分析一下它的实现流程与原…...

编程日记 2025/9/7 8:43:30

IDEA202403 常用设置【持续更新】

文章目录 1、设置maven2、设置JDK3、菜单栏固定展示4、连接Gitee第一步、安装插件第二步、Gitee账号配置 IDEA 是程序员的编程利器，需要具备其的各种配置，提高工作效率。Java项目启动，两个关键设置：Maven 和 JDK设置。 1、设置mav…...

编程日记 2025/9/7 22:16:06

从零开始开发纯血鸿蒙应用之语音输入

从零开始开发纯血鸿蒙应用〇、前言一、认识 speechRecognizer1、使用方式2、依赖权限3、结果回写二、实现语音识别功能1、创建语音识别引擎2、设置事件监听3、启动识别4、写入音频数据5、操作控制三、总结〇、前言除了从图片中识别文本外，语音输入也是一种现代…...

编程日记 2025/9/5 12:41:24

c++ STL常用工具的整理和思考

蓝桥杯后，我整理了这些常用的C STL工具作为一个算法竞赛的中等生，以前总觉得STL“花里胡哨”，不如自己写数组和循环踏实。但这次蓝桥杯发现，合理用STL能省很多时间，甚至避免低级错误。下面是我总结的常用知识点和踩过…...

编程日记 2025/9/10 1:26:16

Go：复合数据结构

数组定义：数组是固定长度、元素数据类型相同的序列。元素通过索引访问，索引从 0 到数组长度减 1 。可用len函数获取元素个数。初始化：默认元素初始值为类型零值（数字为 0 ） 。可使用数组字面量初始化，…...

编程日记 2025/9/6 11:31:24

SQL 语句基础（增删改查）

文章目录一、SQL 基础概念1. SQL 简介2. 数据库系统的层次结构二、SQL 语句分类1. DDL（Data Definition Language 数据定义语言）1.1 CREATE1.1.1 创建数据库1.1.2 创建数据表1.1.3 创建用户 1.2 ALTER1.2.1 AlTER 添加字段名1.2.2 ALTER 修改字段名1.2…...

编程日记 2025/8/17 20:04:33

【蓝桥杯 CA 好串的数目】题解

题目链接考虑令 p r e [ i ] pre[i] pre[i] 表示 [ p r e [ i ] , i ] [pre[i], i] [pre[i],i] 是连续非递减子串，这可以类似双指针 O ( n ) O(n) O(n) 预处理： std::vector<int> pre(n); for (int r 1, l 0; r < n; r) {if (s[r] ! s[…...

编程日记 2025/9/11 10:21:28

Oracle for Linux安装和配置（11）——Linux命令

11.1. Linux命令 Linux是目前比较常用和流行的操作系统，现在很多生产环境就会用到它。随着其功能、性能、稳定性和可靠性等方面的日渐增强和完善，加之其成本上的优势，其市场占有率逐日攀升，也得到越来越多广大用户的关注和青睐。但作为一种操作系统，其安装、配置、管理和…...

编程日记 2025/9/9 9:48:44

Linux基础7

一、逻辑卷管理查看所有物理卷：pvs 查看当前系统卷组：vgs 查看所有逻辑卷：lvs 新创建系统卷组：vgcreate [参数] [volume name] url/sdb[1-2] eg：vgcreate vg_Test /dev/sdb{1,2} >…...

编程日记 2025/9/6 15:29:48

C#打开文件及目录脚本

如果每天开始工作前都要做一些准备工作，比如打开文件或文件夹，我们可以使用代码一键完成。 using System.Diagnostics; using System.IO;namespace OpenFile {internal class Program{static void Main(string[] args){Console.WriteLine("Hello, …...

编程日记 2025/9/7 22:59:09

Docker 镜像的常用命令介绍

拉取镜像 $ docker pull imageName[:tag][:tag] tag 不写时，拉取的是 latest 的镜像查看镜像查看所有本地镜像 docker images or docker images -a查看完整的镜像的数字签名 docker images --digests查看完整的镜像ID docker images --no-trunc只查看所有的…...

编程日记 2025/8/17 19:19:24