当前位置：首页 > news >正文

大数据环境（单机版） Flume传输数据到Kafka

news 来源：原创 2025/8/28 21:46:51

文章目录

前言
一、准备
二、安装
三、配置环境变量
四、修改配置
- 4.1、kafka配置
- 4.2、Flume配置
五、启动程序
- 5.1、启动zk
- 5.2、启动kafka
- 5.3、启动flume
六、测试
- 6.1、启动一个kafka终端，用来消费消息
- 6.2、写入日志
其他

前言

flume监控指定目录，传输数据到kafka

一、准备

flume-1.10.1
kafka_2.11-2.4.1
zookeeper-3.4.13

二、安装

使用命令 tar -zxf 分别解压到指定目录

三、配置环境变量

vi ~/.bash_profile

export FLUME_HOME=/home/hadoop/install/flume-1.10.1
export PATH=$FLUME_HOME/bin:$PATHexport ZOOKEEPER_HOME=/home/hadoop/install/zookeeper-3.4.13
export PATH=$ZOOKEEPER_HOME/bin:$PATHexport KAFKA_HOME=/home/hadoop/install/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

# 使配置生效
source ~/.bash_profile

四、修改配置

4.1、kafka配置

修改zk地址

vi $KAFKA_HOME/config/server.properties

修改zk的连接地址
zookeeper.connect=localhost:2181

4.2、Flume配置

拷贝配置

cp $FLUME_HOME/config/flume-conf.properties.template $FLUME_HOME/config/flume-conf.properties

编辑配置

vi $FLUME_HOME/config/flume-conf.properties

增加如下配置

# 增加如下配置
a1.sources = r1
a1.channels = c1a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
# 这个目录是 flume监控的目录
a1.sources.r1.filegroups.f1 = /home/hadoop/install/temp/flume/applog/log/app.*
a1.sources.r1.positionFile = /home/hadoop/install/temp/flume/json/taildir_position.jsona1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = localhost:9092
# kafka的主题
a1.channels.c1.kafka.topic = topic_log
# 不把数据解析为 Flume的Event，kafka原样接收
a1.channels.c1.parseAsFlumeEvent = falsea1.sources.r1.channels = c1

五、启动程序

5.1、启动zk

zkServer.sh start

5.2、启动kafka

sh kafka-server-start.sh /home/hadoop/install/kafka_2.11-2.4.1/config/server.properties &

5.3、启动flume

flume-ng agent -c conf -f conf/flume-netcat-conf.properties -n a1 -Dflume.root.logger=INFO,console &

六、测试

6.1、启动一个kafka终端，用来消费消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_log

6.2、写入日志

echo {"a":"b1"} >> /home/hadoop/install/temp/flume/applog/log/app.log
echo {"a":"b2"} >> /home/hadoop/install/temp/flume/applog/log/app.log

其他

软件下载

大数据环境（单机版） Flume传输数据到Kafka

文章目录前言一、准备二、安装三、配置环境变量四、修改配置4.1、kafka配置4.2、Flume配置五、启动程序5.1、启动zk5.2、启动kafka5.3、启动flume 六、测试6.1、启动一个kafka终端，用来消费消息6.2、写入日志其他前言 flume监控指定目录，传输数据到…...

编程日记 2025/8/28 21:46:51

计算机毕业设计SpringBoot+Vue.js高校教师科研管理系统(源码+文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/8/27 4:47:59

C++课程设计【宿舍管理查询软件】

宿舍管理查询软件一、题目描述二、源码以及说明宿舍管理查询软件设计与实现1. 系统设计思路1.1 功能需求1.2 数据结构2. 系统实现3. 代码说明3.1 数据结构3.2 功能实现3.3 文件存储4. 示例运行输入输出5. 总结其他QT文章推荐一、题目描述（一）问题描述为宿舍管理人员编写一…...

编程日记 2025/8/29 7:10:15

数据挖掘校招面经一

写在前面：其实数据挖掘、风控、机器学习算法与搜广推的八股还是有重合的部分，毕竟都是面对结构化数据。特别是我自己是做竞赛的，平时LGBM、CatBoost用的挺多的，所以感觉这些八股还是有必要看看，建议大家也可以看一下。…...

编程日记 2025/8/27 0:55:00

迷你世界脚本对象库接口：ObjectLib

对象库接口：ObjectLib 迷你世界更新时间: 2023-04-26 20:21:09 具体函数名及描述如下: 序号函数名函数描述 1 getAreaData(...) 获取区域数据 2 getPositionData(...) 获取位置数据 3 getLivingData(...) 获取生物数据 4 getItemDat…...

编程日记 2025/8/27 20:41:18

VSCode知名主题带毒安装量900万次

目前微软已经从 Visual Studio Marketplace 中删除非常流行的主题扩展 Material Theme Free 和 Material Theme Icons，微软称这些主题扩展包含恶意代码。统计显示这些扩展程序的安装总次数近 900 万次，在微软实施删除后现在已安装这些扩展的开发者也会…...

编程日记 2025/8/20 5:24:27

C#—csv文件格式操作实例【在winform表格中操作csv】

C#—csv文件格式操作实例【在winform表格中操作csv】实例一实例效果当在winform界面中点击读取按钮时将csv中的所有数据读取出来放置在datagridview控件，可以在datagridview控件中编辑数据，当点击保存按钮时将datagridview控件中的所有数据存储在…...

编程日记 2025/8/23 16:13:51

Redis设计与实现-数据结构

Redis数据结构 1、RedisObject对象2、简单动态字符串2.1 SDS定义2.2 SDS与C语言的区别2.3 SDS的空间分配策略2.3.1 空间预分配2.3.2 惰性空间释放 2.4 SDS的API 3、链表3.1 链表的定义3.2 链表的API 4、字典4.1 字典的定义4.2 哈希算法4.3 哈希表的扩缩4.3.1 哈希表扩缩的判断依…...

编程日记 2025/8/29 19:07:20

Ubuntu20.04双系统安装及软件安装（四）：国内版火狐浏览器

Ubuntu20.04双系统安装及软件安装（四）：国内版火狐浏览器 Ubuntu系统会自带火狐浏览器，但该浏览器不是国内版的，如果平常有记录书签、浏览记录、并且经常使用浏览器插件的习惯，建议重装火狐浏览器为国内版的…...

编程日记 2025/8/29 3:40:16

C语言100天练习题【记录本】

C语言经典100题（手把手编程） 可以在哔哩哔哩找到已解决的天数：一，二，五，六下面的都是模模糊糊的可以学学这些算法，我是算法白痴，但是我不是白痴，可以学&#xff…...

编程日记 2025/8/29 13:10:38

基于CURL命令封装的JAVA通用HTTP工具

文章目录一、简要概述二、封装过程1. 引入依赖2. 定义脚本执行类三、单元测试四、其他资源一、简要概述在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具&…...

编程日记 2025/8/16 12:10:51

SQL刷题：自连接（Self-Join）--通过将同一张表连接两次，比较不同行之间的数据关系

例题： 表：Employee ---------------------- | Column Name | Type | ---------------------- | id | int | | name | varchar | | salary | int | | managerId | int | ---------------------- id 是该表的主键…...

编程日记 2025/8/27 16:42:19

避坑！用Docker搞定PHP开发环境搭建（Mac、Docker、Nginx、PHP-FPM、XDebug、PHPStorm、VSCode）

本次更新主要是对环境版本进行了更新，例如php 7.3.7升级到了7.3.8，另外之前的版本有同学踩了坑，主要是官方docker镜像php:7.3.7-fpm和php:7.3.8-fpm使用了不同版本的debian，后面会提到，请各位同学留意。因为最近换电脑…...

编程日记 2025/8/16 10:23:04

第七节：基于Winform框架的串口助手小项目---协议解析《C#编程》

介绍文章上所说的串口助手，工程文件资源-CSDN文库目标代码实现 private void serialPort1_DataReceived(object sender, SerialDataReceivedEventArgs e){if (isRxShow false) return;// 1,需要读取有效的数据 BytesToReadbyte[] dataTemp new byte[serialPor…...

编程日记 2025/8/23 0:17:07

pt-archiver删除数据库的数据表/各种报错类型

这篇帖子是前面文的一部分延申 mysqlimport导入一亿数据的csv文件/一行命令删除表-CSDN博客如需转载，标记出处目录 pt-archiver命令格式如果执行后出现下面报错 1）Cannot find an ascendable index in table at /usr/bin/pt-archiver line 3233. …...

编程日记 2025/8/27 8:39:17

STM32Cubemx配置E22-xxxT22D lora模块实现定点传输

文章目录一、STM32Cubemx配置二、定点传输**什么是定点传输？****定点传输的特点****定点传输的工作方式****E22 模块定点传输配置****如何启用定点传输？****示例** **应用场景****总结** **配置 1：C0 00 07 00 02 04 62 00 17 40****解析** …...

编程日记 2025/8/28 21:21:43

模块和端口

1、模块模块内部的5个组成是：变量声明数据流语句低层模块实例函数和任务行为语句 SR锁存器 timescale 1ns / 1psmodule SR_latch(input wire Sbar ,input wire Rbar ,output wire Q ,output wire Qbar);nand…...

编程日记 2025/8/29 0:43:36

Android+SpringBoot的老年人健康饮食小程序平台

感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，我会一一回复，希望帮助更多的人。系统介绍我将从经济、生活节奏、技术融合等方面入手，详细阐述居家养老管理模式兴起的…...

编程日记 2025/8/29 7:55:10

[machine learning] MACS、MACs、FLOPS、FLOPs

本文介绍机器学习中衡量一个模型计算复杂度的四个指标：MACS、MACs、FLOPS、FLOPs。首先从含义上讲，可以分类两类：MACS/FLOPS和MACs/FLOPs。MACs/FLOPs表示总的操作数(后缀s可以看成是表示复数)，MACS/FLOPS表示每秒可以执行的操作…...

编程日记 2025/8/29 20:59:04

PostgreSQL10 物理流复制实战：构建高可用数据库架构！

背景 PostgreSQL 10 在高可用架构中提供了物理复制，也称为流复制（Streaming Replication），用于实现实例级别的数据同步。PostgreSQL 复制机制主要包括物理复制和逻辑复制：物理复制依赖 WAL 日志进行物理块级别的同步&…...

编程日记 2025/8/29 0:26:49

STM32---FreeRTOS中断管理试验

一、实验实验目的：学会使用FreeRTOS的中断管理创建两个定时器，一个优先级为4，另一个优先级为6；注意：系统所管理的优先级范围 ：5~15 现象：两个定时器每1s，打印一段字符串&#x…...

编程日记 2025/8/16 10:22:13

Linux常见操作命令（1）

(一)常用命令： 1.Tab 键可以实现自动补齐和提示，要合理使用 2.方向键（上下）来切换前后执行过的命令 (二)查看命令一共有三个：ls, cd , pwd 。 1.ls：列出目录内容，包括参数-l（详细…...

编程日记 2025/8/27 19:41:47

SPI驱动(二) -- SPI驱动程序模型

文章目录参考资料：一、SPI驱动重要数据结构1.1 SPI控制器数据结构1.2 SPI设备数据结构1.3 SPI驱动数据结构二、SPI 驱动框架2.1 SPI控制器驱动程序2.2 SPI设备驱动程序三、总结参考资料： 内核头文件：include\linux\spi\spi.h 一、SPI驱…...

编程日记 2025/8/24 5:09:46

Qt中txt文件输出为PDF格式

main.cpp PdfReportGenerator pdfReportGenerator;// 加载中文字体if (QFontDatabase::addApplicationFont(":/new/prefix1/simsun.ttf") -1) {QMessageBox::warning(nullptr, "警告", "无法加载中文字体");}// 解析日志文件QVector<LogEntr…...

编程日记 2025/8/23 23:53:16

SpringBoot 校园新闻网站

收藏关注不迷路！！ 🌟文末获取源码数据库🌟 感兴趣的可以先收藏起来，还有大家在毕设选题（免费咨询指导选题），项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多…...

编程日记 2025/8/29 18:33:17

JAVA面经2

ConcurrentHashMap 并发程序出现问题的根本原因线程池线程池的执行原理（核心参数） 线程池的常见阻塞队列 ArrayBlockingQueue插入和删除数据，只采用了一个lock，而LinkedBlockingQueue则是在插入和删除分别采用了putLock和takeL…...

编程日记 2025/8/28 11:38:30

NVIDIA(英伟达) GPU 芯片架构发展史

GPU 性能的关键参数 CUDA 核心数量（个）：决定了 GPU 并行处理能力，在 AI 等并行计算类业务下，CUDA 核心越多性能越好。显存容量（GB）：决定了 GPU 加载数据量的大小，在 AI…...

编程日记 2025/8/16 12:13:02

C++设计一：日期类Date实现

一、引言与概述 1 引言日期操作是软件开发中的常见需求，如日程管理、数据统计等场景均需处理日期的比较、偏移及合法性校验。为简化此类操作，本文设计了一个高效且类型安全的C日期类Date。该类通过构造函数内嵌合法性检查，确保对象初始状…...

编程日记 2025/8/27 14:34:01

关于2023新版PyCharm的使用

考虑到大家AI编程的需要，建议大家安装新版Python解释器和新版PyCharm，下载地址都可以官网进行： Python：Download Python | Python.org（可以根据需要自行选择，建议选择3.11，保持交流版本一致&am…...

编程日记 2025/8/24 10:30:46

【Azure 架构师学习笔记】- Azure Databricks (15) --Delta Lake 和Data Lake

本文属于【Azure 架构师学习笔记】系列。本文属于【Azure Databricks】系列。接上文【Azure 架构师学习笔记】- Azure Databricks (14) – 搭建Medallion Architecture part 2 前言 ADB 除了UC 这个概念之外，前面【Azure 架构师学习笔记】- Azure Databricks (1…...

编程日记 2025/8/21 19:57:34

一文了解Conda使用

一、Conda库频道 conda的软件频道是存储软件包的远程位置，当在Conda中安装软件包时，它会从指定的频道中下载和提取软件包。频道包含了各种软件包，不同的频道可能提供不同版本的软件包，用户可以根据需要选择适合的版本。常见 Co…...

编程日记 2025/8/29 6:40:30

SP导入智能材质球

智能材质球路径 ...\Adobe Substance 3D Painter\resources\starter_assets\smart-materials 放入之后就会自动刷新...

编程日记 2025/8/25 0:45:23

记录一次Spring事务失效导致的生产问题

一、背景介绍公司做的是“聚合支付”业务，对接了微信、和包、数字人民币等等多家支付机构，我们提供统一的支付、退款、自动扣款签约、解约等能力给全国的省公司、机构、商户等。同时，需要做对账功能，即支付机构将对账文件给到…...

编程日记 2025/8/27 18:21:32

腾讯云物联网平台（IoT Explorer）设备端使用

1、直接看图流程 2、跑起来demo，修改产品id，设备名称，设备秘钥。 3、连接部分 4、修改默认地址和端口 sdk里面的地址默认是带着产品ID拼接的，咱们现在中铁没有泛域名解析，要改下这里。把+productID都去掉，然后地址里的.也去掉。...

编程日记 2025/8/16 12:57:27

ML.NET库学习023： ONNX Runtime 中 C++ 辅助函数解析：Span 类与张量操作

文章目录 ML.NET库学习023： ONNX Runtime 中 C 辅助函数解析：Span 类与张量操作主题项目主要目的和原理项目概述实现的主要功能关键函数代码结构主要功能与步骤Span 类的实现张量大小计算数据加载与处理准确性评估数据集的使用以下是逐步解释&#xff…...

编程日记 2025/8/23 22:58:20

利用opencv_python(pdf2image、poppler）将pdf每页转为图片

1、安装依赖pdf2image pip install pdf2image 运行.py报错，因为缺少了poppler支持。 2、安装pdf2image的依赖poppler 以上命令直接报错。改为手工下载： github: Releases oschwartz10612/poppler-windows GitHub 百度网盘： 百度网盘…...

编程日记 2025/8/28 9:37:17

告别GitHub连不上！一分钟快速访问方案

一、当GitHub抽风时，你是否也这样崩溃过？ 😡 npm install卡在node-sass半小时不动😭 git clone到90%突然fatal: early EOF🤬 改了半天hosts文件，第二天又失效了... 根本原因：传统代理需要复杂…...

编程日记 2025/8/20 18:17:32

‌学习DeepSeek V3 与 R1 核心区别（按功能维度分类）

‌一、定位与架构‌ ‌V3（通用型模型）‌ 定位：多模态通用大模型，擅长文本生成、多语言翻译、智能客服等多样化任务‌12。架构：混合专家（MoE）架构，总参数 ‌6710 亿‌，每次…...

编程日记 2025/8/29 0:43:38

Linux总结

1 用户与用户组管理 1.1 用户与用户组 //linux用户和用户组 Linux系统是一个多用户多任务的分时操作系统使用系统资源的用户需要账号进入系统账号是用户在系统上的标识，系统根据该标识分配不同的权限和资源一个账号包含用户和用户组 //用户分类超级管理员 UID…...

编程日记 2025/8/29 9:55:51

web高可用集群项目（数据库主从同步、文件共享存储、nginx动静分离+负载均衡+高可用）

一、项目环境二、环境准备主机名IP地址备注openEuler-1192.168.121.11主负载调度器openEuler-2192.168.121.12副负载调度器openEuler-3192.168.121.13web-1（静态）openEuler-4192.168.121.14web-2（静态）openEuler-5192.168.121.…...

编程日记 2025/8/24 9:09:55

如何快速上手RabbitMQ 笔记250304

如何快速上手RabbitMQ 要快速上手 RabbitMQ，可以按照以下步骤进行，从安装到基本使用逐步掌握核心概念和操作： 1. 理解核心概念 Producer（生产者）：发送消息的程序。Consumer（消费者&#xff09…...

编程日记 2025/8/28 1:48:26

PPT小黑第26套

对应大猫28 层次级别是错的，看着是十页，导入ppt之后四十多页选中所有红色蓝色黑色文本选择标题：选择 -格式相似文本（检查有没有漏选漏选的话按住ctrl 点下一个） 要求新建幻灯片中不包含原素材中的任何格式&…...

编程日记 2025/8/29 9:47:47

甘特图开发代码（测试版）

场景：要实现的功能就是单行数据能左右拖动。流程五个：ABCDE。（对应：Charter开发、概念和计划、初样开发、正样开发、验证） 1、A有开始时间，结束时间。B的开始时间必须是A的结束时间（相等或者…...

编程日记 2025/8/25 21:49:35

鸿蒙与DeepSeek深度整合：构建下一代智能操作系统生态

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/north 目录技术融合背景与价值鸿蒙分布式架构解析DeepSeek技术体系剖析核心整合架构设计智能调度系统实现…...

编程日记 2025/8/18 11:54:00

Docker Desktop常见问题记录

1.docker pull报错，无法连接https://registry-1.docker.io/v2/ 报错信息如下： Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection(Client.Timeout exceeded …...

编程日记 2025/8/29 5:44:07

Qt 的 Lambda 捕获局部变量导致 UI 更新异常的分析与解决

1. 问题描述在 Qt 开发中，我们通常会使用 QTimer 进行周期性 UI 更新。例如，下面的代码用于在检测游戏窗口时，在 UI 界面上显示动态变化的“正在检测游戏窗口...”的文本，每 300 毫秒更新一次。 void MainWindow::detectAndPopulateGameList() {ui->game_record_stac…...

编程日记 2025/8/29 1:27:30

RAGflow采用docker-compose-continuous方式pull，把服务器充满了

采用docker-compose-continuous在后台下载，导致服务器被充满。原因分析： 如果网络不稳定，可能导致下载任务异常中断，而 systemd 服务会不断重启并重新下载，从而占用大量空间。如果网络问题无法解决，可以…...

编程日记 2025/8/27 9:24:40

【第12节】C++设计模式(结构型模式)-Proxy(代理)模式

一、问题背景使用 Proxy 模式优化对象访问在某些情况下，直接访问对象可能会导致性能问题或安全性问题。Proxy 模式（代理模式）通过引入一个代理对象来控制对原始对象的访问，从而解决这些问题。以下是几种典型的应用场景&#xf…...

编程日记 2025/8/29 15:10:52

【C++】vector(上)：vector的常用接口介绍

文章目录前言一、vector的介绍二、vector的常用接口介绍1.vector类对象的常见构造2.vector iterator 的使用3.vector类对象的容量操作3.1 size、capacity 和 empty的使用3.2 reserve的使用3.3 resize的使用 4.vector类对象的访问（包含data：返回底层数组…...

编程日记 2025/8/26 20:02:29

【详细讲解在STM32的UART通信中使用DMA机制】

详细讲解在STM32的UART通信中使用DMA机制目录详细讲解在STM32的UART通信中使用DMA机制一、DMA机制概述二、DMA在UART中的作用三、DMA的配置步骤四、UART初始化与DMA结合五、DMA传输的中断处理六、DMA与中断的结合使用七、注意事项与常见问题八、代码示例九、总结一、DMA机制…...

编程日记 2025/8/25 1:24:47