当前位置： 首页 > news >正文

Kafka和flume整合

news 来源：原创 2025/6/24 13:32:25

需求1：利用flume监控某目录中新生成的文件，将监控到的变更数据发送给kafka，kafka将收到的数据打印到控制台：

在flume/conf下添加.conf文件，

vi flume-kafka.conf

# 定义 Agent 组件

a1.sources=r1

a1.sinks=k1

a1.channels=c1

# 配置 Source（监控目录）

a1.sources.r1.type=spooldir

a1.sources.r1.spoolDir=/root/flume-kafka/

a1.sources.r1.inputCharset=utf-8

# 配置 Sink（写入 Kafka）

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink

#指定写入数据到哪一个topic

a1.sinks.k1.kafka.topic=testTopic

#指定写入数据到哪一个集群

a1.sinks.k1.kafka.bootstrap.servers=node01:9092,node02:9092,node03:9092

#指定写入批次

a1.sinks.k1.kafka.flumeBatchSize=20

#指定acks机制

a1.sinks.k1.kafka.producer.acks=1

# 配置 Channel（内存缓冲）

a1.channels.c1.type=memory

a1.channels.c1.capacity=1000

# 最大存储 1000 个 Event

a1.channels.c1.transactionCapacity=100

# 每次事务处理 100 个 Event

 

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

 

在指定目录之下创建文件夹：

kafka中创建topic：

kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic testTopic --partitions 3 --replication-factor 3

启动flume：

flume-ng agent -c /opt/software/flume/conf/ -f /opt/software/flume/conf/flume-kafka.conf -n a1 -Dflume.root.logger=INFO,console

启动kafka消费者，验证数据写入成功

kafka-console-consumer.sh --topic testTopic --bootstrap-server node01:9092,node02:9029,node03:9092 --from-beginning

新增测试数据：

echo "hello flume,hello kafka" >> /root/flume-kafka/1.txt

flume：

Kafka消费者

 

需求2：Kafka生产者生成的数据利用Flume进行采集，将采集到的数据打印到Flume的控制台上。

vi kafka-flume.conf

# 定义 Agent 组件

a1.sources=r1

a1.sinks=k1

a1.channels=c1

# 将 Flume Source 设置为 Kafka 消费者，从指定 Kafka 主题拉取数据。

a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource

#指定zookeeper集群地址

a1.sources.r1.zookeepers=node01:2181,node02:2181,node03:2181

#指定kafka集群地址

a1.sources.r1.kafka.bootstrap.servers=node01:9092,node02:9092,node03:9092

#指定生成消息的topic

a1.sources.r1.kafka.topics=testTopic

# 将 Flume 传输的数据内容直接打印到日志中，

a1.sinks.k1.type=logger

# 配置 Channel（内存缓冲）

a1.channels.c1.type=memory

a1.channels.c1.capacity=1000

a1.channels.c1.transcationCapacity=100

 

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动Kafka生产者

kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic testTopic

启动Flume

flume-ng agent -c /opt/software/flume/conf/ -f /opt/software/flume/conf/kafka-flume.conf -n a1 -Dflume.root.logger=INFO,console

在生产者中写入数据

Flume中采集到数据 

 

 

 

 

相关文章：

Kafka和flume整合

需求1：利用flume监控某目录中新生成的文件，将监控到的变更数据发送给kafka，kafka将收到的数据打印到控制台： 在flume/conf下添加.conf文件， vi flume-kafka.conf # 定义 Agent 组件 a1.sourcesr1 a1.sinksk1 a1.c…...

编程日记 2025/6/24 13:32:25

Linux 内核网络协议栈中 inet_stream_ops 与 tcp_prot 的深度解析

在 Linux 内核网络协议栈中，TCP 协议的实现依赖于多个关键结构体的协作。其中，inet_stream_ops 和 tcp_prot 是两个核心结构体，它们分别属于不同的层次，共同完成从用户态系统调用到底层协议处理的完整链路。本文将从功能定位、协作关系、代码示例及设计哲学等方面，深入分析…...

编程日记 2025/6/24 6:17:44

flume整合kafka

需求一： 启动flume 启动kafka消费者，验证数据写入成功 新增测试数据 需求二： 启动Kafka生产者 启动Flume 在生产者中写入数据...

编程日记 2025/6/20 21:59:52

EasyRTC音视频实时通话嵌入式SDK，打造社交娱乐低延迟实时互动的新体验

一、方案背景 在数字化时代，社交娱乐已经成为人们生活中不可或缺的一部分。随着移动互联网和智能设备的普及，用户对实时互动的需求越来越高。EasyRTC作为一款基于WebRTC技术的实时音视频通信解决方案，凭借其低延迟、高稳定性和跨平台兼容性&…...

编程日记 2025/6/21 1:40:42

制作一款打飞机游戏21：自定义工具

关于如何在Pico 8中创建我们自己的编辑器。 外部编辑器的需求 首先，我想谈谈为什么我们需要外部编辑器。外部编辑器通常用于编辑游戏中的数据。例如，一个游戏卡或程序通常包含一些代码，但也会包含数据，比如静态信息，…...

编程日记 2025/6/23 15:40:49

面向高性能运动控制的MCU：架构创新、算法优化与应用分析

摘要：现代工业自动化、汽车电子以及商业航天等领域对运动控制MCU的性能要求不断提升。本文以国科安芯的MCU芯片AS32A601为例，从架构创新、算法优化到实际应用案例，全方位展示其在高性能运动控制领域的优势与潜力。该MCU以32位RISC-V指令集为基…...

编程日记 2025/5/22 20:56:33

LWIP中两种重要的数据结构pbuf和pcb详细介绍

LWIP（Lightweight IP）是为嵌入式系统设计的轻量级TCP/IP协议栈。pbuf（Packet Buffer）和PCB（Protocol Control Block）是LwIP中两个核心数据结构，分别负责数据包管理和协议状态维护。 1. pbuf&…...

编程日记 2025/6/19 23:11:21

embedding_model模型通没有自带有归一化层该怎么处理？

embedding_model 是什么： 嵌入式模型（Embedding）是一种广泛应用于自然语言处理（NLP）和计算机视觉（CV）等领域的机器学习模型，它可以将高维度的数据转化为低维度的嵌入空间&#xff0…...

编程日记 2025/6/23 22:38:06

【蓝桥杯选拔赛真题104】Scratch回文数 第十五届蓝桥杯scratch图形化编程 少儿编程创意编程选拔赛真题解析

目录 scratch回文数 一、题目要求 1、准备工作 2、功能实现 二、案例分析 1、角色分析 2、背景分析 3、前期准备 三、解题思路 四、程序编写 五、考点分析 六、推荐资料 1、scratch资料 2、python资料 3、C++资料 scratch回文数 第十五届青少年蓝桥杯scratch编…...

编程日记 2025/6/19 22:07:39

1.2-1.3考研408计算机组成原理第一章 计算机系统概述

计算机组成原理第一章 计算机系统概述 一、计算机的层次结构 1.1 计算机系统组成 计算机系统由硬件系统和软件系统两大部分构成： 硬件系统：包括运算器、控制器、存储器、输入设备和输出设备五大核心部件（冯诺依曼体系结构）。软…...

编程日记 2025/6/23 15:57:56

【QQmusic自定义控件实现音乐播放器核心交互逻辑】第三章

🌹 作者: 云小逸 🤟 个人主页: 云小逸的主页 🤟 motto: 要敢于一个人默默的面对自己，强大自己才是核心。不要等到什么都没有了，才下定决心去做。种一颗树，最好的时间是十年前，其次就是现在&…...

编程日记 2025/6/22 1:28:59

基于图扑 HT 实现的智慧展馆数字孪生应用

在当今数字化时代，智慧展览馆作为传统展览场所的创新升级形态，借助前沿科技与现代化管理理念，实现了全方位的数字化、智能化转型。图扑软件凭借其自主研发的 HT 技术在智慧展馆领域取得了卓越成果，为城市基础设施数字化应用带来了…...

编程日记 2025/5/29 18:17:34

从线性到非线性：简单聊聊神经网络的常见三大激活函数

大家好，我是沛哥儿，我们今天一起来学习下神经网络的三个常用的激活函数。 引言：什么是激活函数 激活函数是神经网络中非常重要的组成部分，它引入了非线性因素，使得神经网络能够学习和表示复杂的函数关系。 在神经网络…...

编程日记 2025/6/21 7:01:27

重生之--js原生甘特图实现

需求： 一个树形结构，根据子节点的时间范围显示显示进度 ，不同的时间范围对应不同的颜色 数据类型大概是这个样子的 甘特图 dom部分 首先要计算所有节点的 最大时间和最小时间 然后再计算每个甘特图的宽度 再计算他的偏移量 再计算颜色...

编程日记 2025/5/26 0:40:23

pnpm monoreop 打包时 node_modules 内部包 typescript 不能推导出类型报错

报错信息如下： ../../packages/antdv/components/pro-table/src/form-render.vue:405:1 - error TS2742: The inferred type of default cannot be named without a reference to .pnpm/scroll-into-view-if-needed2.2.31/node_modules/scroll-into-view-if-needed…...

编程日记 2025/6/22 7:02:48

告别默认配置！Xray自定义POC开发指南

文章涉及操作均为测试环境，未授权时切勿对真实业务系统进行测试！ 下载与解压 官网地址： Xray GitHub Releases 根据系统选择对应版本： Windows：xray_windows_amd64.exe.zipLinux：xray_linux_amd64.zipmacOS：xray_darwin_amd64.zip解压后得到可执行文件（如 xray_linux_…...

编程日记 2025/6/23 22:14:47

websheet之 自定义函数

在线代码 {.is-success} 一、自定义函数约定 必须遵守本控件的自定函数约定才可以正常使用。 {.is-warning} 约定如下： 自定义类名称与函数名称一致。（强制）该类方法名称与函数名称一致，该方法是函数的入口。（强制&am…...

编程日记 2025/6/23 13:35:53

Jenkins Pipeline 构建 CI/CD 流程

文章目录 jenkins 安装jenkins 配置jenkins 快速上手在 jenkins 中创建一个新的 Pipeline 作业配置Pipeline运行 Pipeline 作业 Pipeline概述Declarative PipelineScripted Pipeline jenkins 安装 安装环境： Linux CentOS 10：Linux CentOS9安装配置Jav…...

编程日记 2025/6/23 12:59:13

电脑技巧：路由器内部元器件介绍

目录 1. 处理器（CPU） 2. 内存（RAM） 3. 固态存储（Flash Memory） 4. 网络接口卡（NIC） 5. 电源模块 6. 散热系统 7. 无线天线 结语 路由器是我们日常上网的重要设备，今天我们就来深入了解路由器内部的各个元器件，了解它们是如何协同工作，一起来看看吧。 1. 处理器（CPU…...

编程日记 2025/6/23 10:27:55

ArrayUtils：数组操作的“变形金刚“——让你的数组七十二变

各位数组操控师们好！今天给大家带来的是Apache Commons Lang3中的ArrayUtils工具类。这个工具就像数组界的"孙悟空"，能让你的数组随心所欲地变大、变小、变长、变短，再也不用对着原生数组的"死板"叹气了！ 一…...

编程日记 2025/6/22 9:53:30

电脑温度怎么看 查看CPU温度的方法

监测电脑温度对于保持硬件健康非常重要，特别是在进行高强度运算、游戏或超频等操作时。过高的温度可能导致硬件性能下降，甚至损坏。本篇文章将介绍查看电脑温度的4种方法。 一、使用Windows内置工具查看CPU温度 Windows系统本身并不直接提供查看CPU温度…...

编程日记 2025/6/23 19:19:58

【合新通信】---浸没式液冷光模块化学兼容性测试方法

一、测试目的与核心挑战 测试目标 验证冷媒（氟化液、矿物油等）与光模块材料的化学稳定性，确保长期浸没环境下无腐蚀、溶胀或性能衰减。关键风险点：密封材料（如硅胶、环氧树脂）的溶解或老化；金…...

编程日记 2025/6/1 8:51:24

shell 循环

shell 循环while语句，shell循环until语句在上一篇shell流程控制 1.shell循环until语句 until 条件 #当后面的条件表达式为假的时候的才循环，为真的时候就停止了 do 循环体 done [root@linux-server script]# cat until.sh (1) #!/bin/bash x=1 until [ $x -ge 10 ] 大于…...

编程日记 2025/5/31 9:18:03

【产品经理】常见的交互说明撰写方法

在产品原型设计中，交互说明是确保开发团队准确理解设计意图的关键文档。以下是常见的交互说明撰写方法及其应用场景，帮助您系统化地传达交互逻辑： 文字描述法 方法：用自然语言详细描述操作流程、反馈及规则。 适用场景&#xff…...

编程日记 2025/6/24 9:12:10

使用kubeadmin 部署k8s集群

成功搭建一个 Kubernetes 1.28.2 集群，包含以下组件和状态： 集群拓扑 1 个 Master 节点 IP：10.1.1.100 角色：control-plane 2 个 Worker 节点 Node2：10.1.1.101 Node3：10.1.1.102 核心组件状态 所有节点通过 kubectl get nodes 显示为 Ready。 核心 Pod（如 etc…...

编程日记 2025/6/19 18:52:42

二项式分布html实验

二项式分布html实验 本文将带你一步步搭建一个纯前端的二项分布 Monte-Carlo 模拟器。 只要一个 HTML 文件，打开就能运行： 动态输入试验次数 n、成功概率 p 与重复次数 m点击按钮立刻得到「模拟频数 vs 理论频数」柱状图随着 m 增大，两组柱状…...

编程日记 2025/6/20 1:48:15

[基础] Windows PCIe设备驱动框架与开发实践深度解析

Windows PCIe设备驱动框架与开发实践深度解析 1. PCIe设备驱动技术背景 PCI Express（Peripheral Component Interrupt Express）作为现代计算机系统的核心互连标准，其驱动程序开发涉及复杂的内核模式编程。Windows系统通过模块化的驱动架构支…...

编程日记 2025/6/23 21:07:11

面向智能家居安全的异常行为识别与应急联动关键技术研究与系统实现(源码+论文+部署讲解等)

需要资料，请文末系 一、平台介绍 3D家庭实景 - 动热力图 多模态看板 跌倒行为分析 二、论文内容 在这里插入图片描述](https://i-blog.csdnimg.cn/direct/2dfe7f45d3ce42399e0df9535870d26d.png) bash 摘要 Abstract第一章 绪论 1.1 研究背景与动机 o1.1.1…...

编程日记 2025/5/28 6:39:31

根据JSON动态生成表单表格

根据JSON动态生成表单表格 一. 子组件 DynamicFormTable.vue1，根据JSON数据动态生成表单表格，支持表单验证JS部分1.1，props数据1.2，表单数据和数据监听1.3，自动验证1.4，表单验证1.5，获取表单数据1.6，事件处理1.7，暴露方法给父组件2，HTML部分二，父组件1， 模拟数据2，…...

编程日记 2025/6/19 21:06:34

spring OncePerRequestFilter 作用

概要 OncePerRequestFilter 是 Spring Web 提供的一个抽象滤器基类，用于保证在一次 HTTP 请求的整个分派过程中，该滤器仅执行一次，无论该请求经历了多少次内部转发（forward）、包含（include）或错…...

编程日记 2025/6/23 8:38:32

关于开源大模型（如 LLaMA、InternLM、Baichuan、DeepSeek、Qwen 等）二次开发或训练经验的关键点和概述

以下是适合初学者理解的关于开源大模型（如 LLaMA、InternLM、Baichuan、DeepSeek、Qwen 等）二次开发或训练经验的关键点和概述，： 关键点： 研究表明，二次开发通常涉及微调模型以适应特定任务，需…...

编程日记 2025/6/22 16:11:41

promethus基础

1.下载prometheus并解压 主要配置prometheus.yml文件 在scrape_configs配置项下添加配置(hadoop202是主机名)： scrape_configs: job_name: ‘prometheus’ static_configs: targets: [‘hadoop202:9090’] 添加 PushGateway 监控配置 job_name: ‘pushgateway’…...

编程日记 2025/6/19 23:40:56

26考研 | 王道 | 数据结构 | 第八章 排序

第八章 排序 文章目录 第八章 排序**8.1** 排序的基本概念**8.2 插入排序****8.2.1 直接插入排序****8.2.2 折半插入排序****8.2.3 希尔排序** 8.3 交换排序8.3.1 冒泡排序8.3.2 快速排序 8.4 选择排序8.4.1 简单选择排序8.4.2 堆排序堆的概念：建立大根堆的代码堆排…...

编程日记 2025/5/28 7:18:49

SecMulti-RAG：兼顾数据安全与智能检索的多源RAG框架，为企业构建不泄密的智能搜索引擎

本文深入剖析SecMulti-RAG框架，该框架通过集成内部文档库、预构建专家知识以及受控外部大语言模型，并结合保密性过滤机制，为企业提供了一种平衡信息准确性、完整性与数据安全性的RAG解决方案，同时有效控制部署成本。 企业环境中A…...

编程日记 2025/6/22 17:48:35

kubesphere 单节点启动 etcd 报错

kubekey安装 ./kk create cluster -f config-sample.yaml --with-local-storage 时报错 etcd health check failed: Failed to exec command: sudo -E /bin/bash -c "export ETCDCTL_API2;export ETCDCTL_CERT_FILE/etc/ssl/etcd/ssl/admin-node1.pem;export ETCDCTL_KEY_…...

编程日记 2025/6/22 1:14:53

femap许可常见问题及解决方案

在使用Femap进行电磁仿真分析时，许可证管理是一个关键环节。然而，许多用户在许可证使用过程中可能会遇到各种问题。本文旨在解答关于Femap许可的常见疑问，并提供相应的解决方案，帮助您更顺畅地使用Femap许可证。 一、常见问题 许…...

编程日记 2025/5/29 15:37:10

游戏引擎学习第244天: 完成异步纹理下载

启动并运行游戏，注意到我们的纹理没有被下载 我们将继续完成游戏的开发。昨天，我们已经实现了多线程的纹理下载，但并没有时间调试它，因此纹理下载功能目前并没有正常工作。我们只是写了相关的代码，但由于大部分时间都…...

编程日记 2025/6/20 18:53:29

【安全扫描器原理】TCP/IP协议编程

【安全扫描器原理】TCP/IP协议编程 1.概述2.Windows Socket结构3.Windows socket转换类函数4.Windows Socket通信类函数 1.概述 TCP/IP协议是目前网络中使用最广泛的协议，Socket称为“套接口”​，最早出现在Berkeley Unix中，最初只支持TCP/I…...

编程日记 2025/6/22 18:51:19

Cuda-GDB Frame Unwind 管理（未完.）

在计算机编程中，Frame Unwind（栈展开） 是指函数调用栈的逆向操作，即在函数返回或异常发生时，系统逐层释放栈帧（Stack Frame）、恢复调用上下文的过程。以下是详细解释及其在 GPU编程（…...

编程日记 2025/6/21 22:19:35

如何在IDEA中高效使用Test注解进行单元测试？

在软件开发过程中，单元测试是保证代码质量的重要手段之一。而IntelliJ IDEA作为一款强大的Java开发工具，提供了丰富的功能来支持JUnit测试，尤其是通过Test注解可以快速编写和运行单元测试。那么，如何在IDEA中高效使用Test注解进行…...

编程日记 2025/6/20 9:39:53

什么是访客鉴权？全面解析核心原理与CC防护应用实践

一、访客鉴权是什么？ 访客鉴权（Visitor Authentication and Authorization）是系统对访问者进行身份验证和权限控制的过程，确保只有合法用户能够访问特定资源或执行特定操作。其核心目标是确认身份、控制权限、保障数据安全&#…...

编程日记 2025/6/19 19:19:41

DeepSeek大模型应用学习通知

随着人工智能在各领域深度融合发展，DeepSeek大模型迅速火爆全网，清华大学以最快的速度发布了DeepSeek从入门到精通使用技巧，能够更好的助力于企业和个人参与到AI研究和应用中，对于AI行业创新有重要意义，被誉为国运级的…...

编程日记 2025/4/26 7:07:16

时间序列预测模型比较分析：SARIMAX、RNN、LSTM、Prophet 及 Transformer

时间序列预测根据过去的模式预测未来事件。我们的目标是找出最佳预测方法，因为不同的技术在特定条件下表现出色。本文章将探讨各种方法在不同数据集上的表现，为你在任何情况下选择和微调正确的预测方法提供真知灼见。 我们将探讨五种主要方法&#xff1…...

编程日记 2025/6/20 17:18:49

快速了解redis，个人笔记

更多个人笔记：（仅供参考，非盈利） gitee： https://gitee.com/harryhack/it_note github： https://github.com/ZHLOVEYY/IT_note （基于mac展示，别的可以参考）接下来将直接…...

编程日记 2025/6/23 19:35:33

Dify依赖管理poetry切换为uv

Dify升级 1.3.0 后api的依赖管理从poetry切换为了 uv管理，但是官网暂时还没有更新。 升级 tag：Dify 1.3.0版本 在此记录一下 uv 依赖管理操作 使用方法 [重要事项] 在 v1.3.0 版本中，poetry 已被[ uv ](https://docs.astral.sh/uv/) 替代…...

编程日记 2025/6/23 15:56:32

VGA 接口静电防护方案

VGA(Video Graphics Array)即视频图形阵列，具有分辨率高、显示速 率快、颜色丰富等优点，亦称为 D-Sub 接口，在彩色显示器领域得到了广 泛的应用， 如笔记本、投影仪、LCD 液晶显示屏 等。VGA 接口主要用于连接 计算机与显示设备。当…...

编程日记 2025/4/26 7:06:08

MySQL 详解之用户、权限与审计：保障数据安全的基石

在数据库系统中，数据是核心资产，对其的访问必须受到严格控制。谁能连接到数据库？他们能看到哪些数据？能执行哪些操作（读、写、修改结构）？系统中的所有操作是否被记录以便追溯？这正是用户管理、权限系统和审计机制需要解决的问题。 在 MySQL 中： 用户 (Users)： 负责认…...

编程日记 2025/4/26 7:05:06

力扣面试150题--环形链表和两数相加

Day 32 题目描述 思路 采取快慢指针 /*** Definition for singly-linked list.* class ListNode {* int val;* ListNode next;* ListNode(int x) {* val x;* next null;* }* }*/ public class Solution {public boolean hasCycle(ListNod…...

编程日记 2025/6/20 18:51:34

HMI与组态，自动化的“灵珠”和“魔丸”

在现代工业自动化领域，组态（Configuration）和人机界面（HMI，Human-Machine Interface）是两个核心概念，它们在智能化控制系统中发挥着至关重要的作用。尽管这两者看似简单，但它们的功能…...

编程日记 2025/6/22 16:00:13

AbMole| CU-CPT-8m（CAS号125079-83-6；目录号M9746）

CU-CPT-8m是一种特异性的TLR8（toll-like receptor 8）拮抗剂，其IC50值为67 nM，Kd值为220 nM。 生物活性 CU-CPT-8m是一种特异性的TLR8（toll-like receptor 8）拮抗剂，其IC50值为67 nM，…...

编程日记 2025/6/20 19:08:08