当前位置：首页 > news >正文

Flume基础概念

news 来源：原创 2025/6/8 1:53:20

作用

Flume可以从各种来源（如日志文件、消息队列、网络数据、文件系统、数据库等）收集数据，并将其发送到指定的目标位置。
Flume通常用于从多个服务器、应用程序、网络设备等源头收集大量的日志数据，这些日志数据可能包括服务器日志、应用程序日志、安全事件日志等。

组件构成

Client

Client 是生产数据的实体，它运行在一个独立的线程中，负责生成需要被采集和传输的Event。Client不是Flume的一部分，而是与Flume交互的外部系统或应用程序。

Flow

Flow 描述了Event从源点（Source）到达目的点（通常是Sink，但也可能是另一个Agent的Source）的整个迁移过程。Flow是Flume数据管道的核心概念，它定义了数据的流动路径和处理逻辑。

Agent

Agent 是Flume的一个独立进程，它包含了Source、Channel和Sink三个核心组件。Agent负责在JVM上运行Flume，并且每台机器上通常只运行一个Agent。然而，一个Agent内部可以包含多个Source和Sink，以及它们之间的Channel连接。
在这里插入图片描述

Source

Source 是数据收集组件，它负责从Client或其他数据源接收数据，并将其封装成Event后传递给Channel。Source是Flume数据管道的起点，它定义了数据的来源和采集方式。
在这里插入图片描述

Sink

Sink 是数据输出组件，它从Channel中读取并移除Event，然后将这些Event传递到FlowPipeline中的下一个Agent（如果存在的话）或者最终的目的地（如HDFS、Kafka等）。Sink是Flume数据管道的终点，它定义了数据的去向和处理方式。
在这里插入图片描述

Event

Event 是Flume中的基本数据单元，由消息头和消息体组成。消息头包含了一些元数据（如时间戳、优先级等），而消息体则包含了实际的数据内容（如日志记录、Avro对象等）。

Channel
Channel 是一个临时存储，用于保存由Source传递过来的Event。Channel起到了缓冲和队列的作用，它允许Source和Sink以异步的方式工作，从而提高了整个数据管道的吞吐量和容错性。

和Log4j的区别与定位

在这里插入图片描述
Flume是一个日志收集系统，而Log4j只是一个java程序内部的日志框架

事务传出流程

输入到source

不解释，这个没什么需要特别说明的

source端输入

doPut: 将批数据先写入临时缓冲区putList
doCommit: 检查channel内存队列是否足够合并
doRollback: channel内存队列空间不足，回滚数据，直接将数据丢弃。

Channel 接收

Channel临时存储由Source传递过来的Event，起到了缓冲和队列的作用

输入到Sink

doTake: 将数据取到临时缓冲区takeList，并将数据发送到目标位置（比如：HDFS、Hive等）
doCommit: 如果数据全部发送成功，则清除临时缓冲区takeList
doRollback: 数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存队列。

Sink输出

不解释，没什么需要特别注明的

在这里插入图片描述

Flume基础概念

目录作用组件构成ClientFlowAgentSourceSinkEvent 和Log4j的区别与定位事务传出流程输入到sourcesource端输入Channel 接收输入到SinkSink输出作用 Flume可以从各种来源（如日志文件、消息队列、网络数据、文件系统、数据库等）收集数据，并将…...

编程日记 2025/6/2 23:36:24

哈希处理海量数据

接下来我们将以问题的形式来介绍如何用hash处理海量数据。 1.问题1 （位图） 给定100亿个整数，设计算法找到只出现一次的。 1.1问题分析 100亿个整数，一个整数占用4byte，那么就需要约40G左右的空间来存储。显然常见的…...

编程日记 2025/6/1 6:09:45

Go语言基础教程1

Go语言基础教程目录变量声明与使用基本数据类型常量切片操作字符串处理指针格式化输出参数一、变量声明 1.1 基本变量声明 // 标准声明 var variableName variableType// 示例 var age int var name string1.2 变量声明与初始化 // 显式类型声明 var age int 30// 类…...

编程日记 2025/6/3 13:44:08

【每日一道面试题】for与foreach的区别（2024/12/6)

目录 foreach的特点遍历时删除时 foreach 和 for循环遍历数组的差别关于 foreach 和 for 循环的效率问题首先我们要对foreach有个基本的了解，才能对它们进行区别 foreach的特点遍历时用foreach循环去遍历一个数组， 用foreach循环去遍历一个集合&…...

编程日记 2025/6/3 19:08:41

解密时序数据库的未来：TDengine Open Day技术沙龙精彩回顾

在数字化时代，开源已成为推动技术创新和知识共享的核心力量，尤其在数据领域，开源技术的涌现不仅促进了行业的快速发展，也让更多的开发者和技术爱好者得以参与其中。随着物联网、工业互联网等技术的广泛应用，时序数据库…...

编程日记 2025/6/1 12:37:21

React第十一节组件之间通讯之发布订阅模式（自定义发布订阅器）

组件之间通讯常用方案 1、通过props 2、通过context 3、通过发布订阅模式 4、通过Redux 后面会有专栏介绍什么情况下使用发布订阅模式 a、当我们想要兄弟组件之间通讯，而共同的父组件中又用不到这些数据时候； b、当多个毫无相关的组件之间想要进行数据…...

编程日记 2025/6/3 19:25:03

Vue 2与Vue 3项目中的屏幕缩放适配：使用vue2-scale-box和vue3-scale-box

🌟 前言欢迎来到我的技术小宇宙！🌌 这里不仅是我记录技术点滴的后花园，也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛，这里总有一些内容能触动你的好奇心。🔍 &#x…...

编程日记 2025/6/4 10:48:58

Brain.js（九）：LSTMTimeStep 实战教程 - 未来短期内的股市指数预测 - 实操要谨慎

系列的前一文RNNTimeStep 实战教程 - 股票价格预测讲述了如何使用RNN时间序列预测实时的股价， 在这一节中，我们将深入学习如何利用 JavaScript 在浏览器环境下使用 LSTMTimeStep 进行股市指数的短期预测。通过本次实战教程，你将了解到如何用…...

编程日记 2025/6/4 14:42:50

云计算考试题

1、与SaaS不同的，这种“云”计算形式把开发环境或者运行平台也作为一种服务给用户提供。(B) A、软件即服务 B、基于平台服务 C、基于WEB服务 D、基于管理服务 2、云计算是对（D）技术的发展与运用 A、并行计算 B、网格计算 C、分布式计算 D、三个选项都是 3、Amazon.com公司…...

编程日记 2025/5/28 5:31:50

【设计模式】装饰器模式在java中的应用

文章目录 1. 引言装饰器模式的定义与设计目的装饰器模式与其他设计模式的比较 2. 装饰器模式的结构组件接口（Component）具体组件（ConcreteComponent）装饰角色（Decorator）具体装饰类（ConcreteDec…...

编程日记 2025/6/3 1:32:16

【kafka】生产者的同步发送和异步发送

Kafka 的生产者端提供了同步发送和异步发送两种方式，适合不同的使用场景和性能需求。以下是两种发送模式的详细讲解： 同步发送概念同步发送是指生产者在发送一条消息后，会阻塞当前线程，等待 Kafka 返回发送结果（…...

编程日记 2025/5/31 1:04:05

8. Debian系统中显示屏免密码自动登录

本文介绍如何在Debian系统上，启动后，自动免密登录，不卡在登录界面。 1. 修改lightDM配置文件嵌入式Debian系统采用lightDM显示管理器，所以，一般需要修改它的配置文件/etc/lightdm/lightdm.conf，找到[Seat…...

编程日记 2025/6/2 10:17:25

SpringBoot 开源停车场管理收费系统

一、下载项目文件下载源码项目文件口令： 【前端小程序地址】(3.0)：伏脂火器白泽知洞座/~6f8d356LNL~:/【后台管理地址】(3.0)：伏脂火器仇恨篆洞座/~0f4a356Ks2~:/【岗亭端地址】(3.0)：动作火器智汇堂多好/~dd69356K6r~:/复制口令…...

编程日记 2025/6/4 16:16:00

QT的ui界面显示不全问题（适应高分辨率屏幕）

//自动适应高分辨率 QCoreApplication::setAttribute(Qt::AA_EnableHighDpiScaling);一、问题电脑分辨率高，默认情况下，打开QT的ui界面，显示不全按钮内容二、解决方案如果自己的电脑分辨率较高，可以尝试以下方案：自…...

编程日记 2025/6/3 20:26:51

MyLinkedList类 public class MyLinkedList {// 定义节点类static class Node {int val;Node prev;Node next;public Node() {}public Node(int val) {this.val val;}}// 定义头节点private Node head;// 定义尾结点private Node tail;// 头插public void headInsert(int val…...

编程日记 2025/6/1 19:40:14

速盾：高防cdn预热指定url就只刷新这个吗？

高防CDN预热是指在网站上线或更新之前，将网站内容缓存到CDN节点服务器上，以提高用户访问网站的速度和稳定性。通常，预热可以通过指定URL来进行，而不是刷新整个网站。预热指定URL的好处是可以选择性地进行缓存刷新，而…...

编程日记 2025/6/2 6:38:05

JDK21新特性

目录虚拟线程（JEP 444）： 顺序集合（JEP 431）： 字符串模板（JEP 430）： 模式匹配的增强（JEP 440、441以及443）： 结构化并发和作用域值…...

编程日记 2025/6/3 22:15:41

json学习

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，也易于机器解析和生成。它通常用于在服务器和客户端之间交换数据，特别是在 Web 应用中。 JSON 格式基于 JavaScript 对象表示法&#…...

编程日记 2025/6/2 10:12:02

005-mysql常用的名称

语言分类 DDL ：数据定义语言 1、线上DDL语句在对表操作，是要锁元数据表的，此时所有的修改类的命令无法正常运行。 2、对大表在高峰期进行DDL操作，可以使用工具：pt-online-schema-change gh-ost 工具（8.0以…...

编程日记 2025/5/30 18:05:41

PostgreSQL和MySQL区别

PostgreSQL 和 MySQL 有以下一些主要区别： 一、功能特性 1. 数据类型支持 - PostgreSQL：支持丰富的数据类型，包括数组、JSON、JSONB、hstore（键值对存储）、范围类型等。例如，可以直接在数据库中存储和查…...

编程日记 2025/6/4 1:19:01

Android笔记(三十四)：onCreate执行Handler.post在onResume后才能执行？

背景偶然发现一个点，就是在onCreate执行Handler.post在onResume后才执行，以下是测试代码多次运行的结果一致，为什么execute runnable不是在onCreate和onResume之间执行的呢，带着疑问撸了一遍Activity启动流程关键源码分析 …...

编程日记 2025/5/30 2:11:53

动手学深度学习d2l包M4芯片 gpu加速

conda创建环境 CONDA_SUBDIRosx-arm64 conda create -n ml python3.9 -c conda-forge conda env config vars set CONDA_SUBDIRosx-arm64 conda activate mlpip安装包 pip install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/n…...

编程日记 2025/6/3 8:35:33

游戏引擎学习第35天

开场介绍今天的任务是继续改进一个虚拟的瓦片地图系统，使其适合处理更大的世界。我们希望这个系统能管理大范围的游戏世界，其中包含按需存储的小区域。昨天，我们介绍了“内存区域”的概念，用于管理持久性存储。我们计划今天继续…...

编程日记 2025/5/30 18:26:42

Python 3 和 MongoDB 的集成使用

Python 3 和 MongoDB 的集成使用 MongoDB 是一个流行的 NoSQL 数据库，以其灵活的数据模型和强大的查询功能而闻名。Python 3 作为一种广泛使用的编程语言，与 MongoDB 的集成变得日益重要。本文将介绍如何在 Python 3 环境中集成和使用 MongoDB&#xff…...

编程日记 2025/6/3 22:14:22

MperReduce学习笔记下

自定义InputFormat合并小文件案例需求无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。案例分析小文件的优化无非以下几种方式： …...

编程日记 2025/5/31 16:05:17

react + antd desgin 使用form功能时upload，radio，checkbox不能回显的问题

最近使用react开发遇到form回显的问题 ，处理upload回显的问题，提示 react-refresh:160 Warning: [antd: Upload] value is not a valid prop, do you mean fileList? 查看文档后，在form.item 组件下有一个特殊属性 valuePropName 子节点的值…...

编程日记 2025/6/3 0:49:08

【NLP修炼系列之Bert】Bert多分类多标签文本分类实战（附源码下载）

引言今天我们就要用Bert做项目实战，实现文本多分类任务和我在实际公司业务中的多标签文本分类任务。通过本篇文章，可以让想实际入手Bert的NLP学习者迅速上手Bert实战项目。 1 项目介绍本文是Bert文本多分类和多标签文本分类实战，其中多分…...

编程日记 2025/5/29 23:33:44

OpenSSL 自建CA 以及颁发证书（网站部署https双向认证）

前言 1、前面写过一篇阿里云免费ssl证书申请与部署，大家可以去看下 2、建议大家看完本篇博客，可以再去了解 openssel 命令 openssl系列，写的很详细一、openssl 安装说明 1、这部分就不再说了，我使用centos7.9，是自…...

编程日记 2025/6/1 21:13:14

YOLOv11改进，YOLOv11添加U-Netv2分割网络中SDI信息融合模块，助力小目标检测

摘要理论介绍 SDI模块的架构：平滑卷积（SmoothConv）：用于平滑特征图，帮助减少噪声并使得特征更加稳定。Hadamard积：用于在特征图中进行逐元素相乘（点乘），以加强语义信息和细节信息的融合。通道注意力（ChannelAttention）：利用通道注意力机制来自动关注重要的特征通…...

编程日记 2025/5/31 16:23:06

flex布局 flex-end为什么overflow无法滚动及解决方法

flex-end为什么overflow无法滚动及解决方法在使用Flexbox布局时，我们经常使用justify-content和align-items属性来定位子元素。其中，align-items属性用于控制子元素在交叉轴上的位置，例如顶部对齐、底部对齐或居中对齐等。当我们将align-it…...

编程日记 2025/5/29 16:51:33

从ground_truth mask中获取图像的轮廓图

引言在图像取证领域，主要分为检测和定位两个方面。检测就是判断一张图片是否为伪造图，定位与传统意义上的语义分割任务相近，就是定位伪造像素的区域。如果单纯使用语义分割网络训练，只能获得次优解，而像多任务学习那样…...

编程日记 2025/6/2 15:10:51

Java项目实战II基于微信小程序的旅游社交平台（开发文档+数据库+源码）

目录一、前言二、技术介绍三、系统实现四、核心代码五、源码获取全栈码农以及毕业设计实战开发，CSDN平台Java领域新星创作者，专注于大学生项目实战开发、讲解和毕业答疑辅导。一、前言随着移动互联网的迅猛发展，旅游已经成为人…...

编程日记 2025/6/3 3:25:56

开源即时通讯与闭源即时通讯该怎么选择，其优势是什么？

在选择即时通讯软件时，应根据企业的经营领域来选择适合自身需求的开源或闭源方案。不同领域对开源和闭源即时通讯的理念存在差异，因此总结两个点简要分析这两种选择，有助于做出更明智的决策。一、开源与闭源的根本区别在于软件的源代码是否…...

编程日记 2025/5/29 23:56:45

【计算机网络】实验15：VLAN间通信的实现方法“单臂路由”

实验15 VLAN间通信的实现方法“单臂路由” 一、实验目的加深对VLAN间通信的实现方法“单臂路由”的理解。二、实验环境 Cisco Packet Tracer模拟器三、实验过程 1.构建网络拓扑，并配置好主机的IP地址、子网掩码、默认网关，如图1，2所…...

编程日记 2025/6/3 13:15:12

数据库学习记录04

DDL【数据定义语言】 MySQL命名规则数据库名不得超过30个字符，变量名限制为29个必须只能包含A-Z,a-z,0-9,_共63个字符不能在对象名的字符间留空格必须不能和用户定义的其他对象重名必须保证你的字段没有和保留字、数据库系统或常用方法冲突保持字段名和类型的一致…...

编程日记 2025/5/30 7:34:25

PDF文件打开之后不能打印，怎么解决？

正常的PDF文件是可以打印的，如果PDF文件打开之后发现文件不能打印，我们需要先查看一下自己的打印机是否能够正常运行，如果打印机是正常的，我们再查看一下，文件中的打印功能按钮是否是灰色的状态。如果PDF中的大多数功…...

编程日记 2025/5/31 2:24:51

A* 算法是什么？

A*（A-star）算法是一种启发式搜索算法，用于在图或网格中找到从起点到目标的最短路径。它被广泛用于路径规划问题，例如导航、游戏开发中的角色移动，以及机器人路径规划。 1. A 算法的基本概念* A* 算法结合了两种经典搜…...

编程日记 2025/6/1 18:38:09

ORM框架详解：为什么不直接写SQL？

想象一下，你正在开发一个小型的在线书店应用。你需要存储书籍信息、用户数据和订单记录。作为一个初学者，你可能会想：“我已经学会了SQL，为什么还要使用ORM框架呢？直接写SQL语句不是更简单、更直接吗？” 如…...

编程日记 2025/6/3 2:16:29

厘米级高精度RTK手持终端北斗卫星定位手持pda

RTK是一种测量技术叫“载波相位差分技术”，是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标，以此得到高精度坐标。随着技术的不断革新，GPS接收机也由原来只能用…...

编程日记 2025/6/3 5:04:12

Kafka-Connect源码分析

一、上下文《Kafka-Connect自带示例》中我们尝试了零配置启动producer和consumer去生产和消费数据，那么它内部是如何实现的呢？下面我们从源码来揭开它神秘的面纱。二、入口类有哪些？ 从启动脚本（connect-standalone.sh&#…...

编程日记 2025/6/3 8:50:05

【STM32 Modbus编程】-作为主设备读取保持/输入寄存器

作为主设备读取保持/输入寄存器文章目录作为主设备读取保持/输入寄存器1、硬件准备与连接1.1 RS485模块介绍1.2 硬件配置与接线1.3 软件准备2、读保持寄存器2.1 主设备发送请求2.2 从设备响应请求2.3 主机接收数据3、读输入寄存器4、结果4.1 保持寄存器4.2 输入寄存器在前面的…...

编程日记 2025/6/2 10:41:33

Kubesphere上搭建redis集群

Kubesphere上搭建redis集群版本：redis:6.2.3 1）挂载配置 redis.conf： cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 cluster-require-full-coverage no cluster-migration-barrier 1 appendonly yes …...

编程日记 2025/6/3 3:12:06

learn-(Uni-app)跨平台应用的框架

使用 Vue.js 开发所有前端应用的框架，开发者编写一份代码，可发布到iOS、Android、Web（包括微信小程序、百度小程序、支付宝小程序、字节跳动小程序、H5、App等）等多个平台。跨平台：Uni-app 支持编译到iOS、Android、W…...

编程日记 2025/6/3 13:32:15

target_compile_definitions

这个接口给目标定义的宏，不能像C中定义的宏一样，尝试利用宏进行替换： cmake_minimum_required(VERSION 3.8) project(compile_definitions_pro)add_executable(main_exec src/main.cpp)set(SYSTEM_NAME "") if(CMAKE_SYSTEM_NAME S…...

编程日记 2025/5/30 23:52:00