当前位置：首页 > news >正文

【hadoop】Flume日志采集系统的安装部署

news 来源：原创 2025/6/24 7:55:54

一、Flume安装与配置

步骤：

1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。

2、解压安装包：

tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz

3、修改文件夹的名字，将其改为flume，或者创建软连接也可：

mv ~/apache-flume-1.9.0-bin ~/flume

4、配置环境变量：

vim ~/.bashrc

在文件末尾添加以下内容：

export FLUME_HOME=/home/hadoop/flume
export PATH=$FLUME_HOME/bin:$PATH

保存文件，然后刷新环境变量或重新启动命令行终端：

source ~/.bashrc

二、测试运行

可以直接使用以下Flume的默认配置启动Agent，该Agent的Source是一个序列生成器，Channel是内存，Sink是日志类型，直接打印到控制台。

Flume的配置可以在任意地方编写，只需在执行启动命令时，指定该配置即可。

步骤：

1、使用mv命令更改Flume自带的配置文件模版文件名：

cd ~/flume/conf
vim net-flume-logger.conf

配置内容如下：

# 把这个agent命名为a1，且定义了source、sink、channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 配置sink
a1.sinks.k1.type = logger
# 使用内存作为Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 绑定source和sink的channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动Flume Agent：

flume-ng agent -n a1 -c ~/flume/conf -f ~/flume/conf/net-flume-logger.conf -Dflume.root.logger=INFO,console

3、接着另外打开一个终端，使用以下命令，往44444端口发送消息：

nc localhost 44444

在Flume Agent能看到对应的Event，则Flume能够正确运行。

4、接着可以为其他机器都部署好Flume，使用scp -r命令把文件夹发送到另外两台机器，然后配置环境变量即可。

scp -r ~/flume hadoop@slave1:~/
scp -r ~/flume hadoop@slave2:~/

【hadoop】Flume日志采集系统的安装部署

一、Flume安装与配置步骤： 1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。 2、解压安装包： tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz 3、修改文件夹的名字，将其改为flume，或者创建软…...

编程日记 2025/6/24 7:55:54

Kafka快速安装与使用

引言这篇文章是一篇Ubuntu(Linux)环境下的Kafka安装与使用教程，通过本文，你可以非常快速搭建一个kafka的小单元进行日常开发与调测。安装步骤下载与解压安装首先我们需要下载一下Kafka，这里笔者采用wget指令： wget https:…...

编程日记 2025/6/3 0:06:53

C# 实现雪花算法（Snowflake Algorithm）详解与应用

在现代分布式系统中，生成全局唯一的标识符（ID）是一个非常重要的问题。随着微服务架构和分布式系统的普及，传统的单机数据库生成 ID 的方式已无法满足高并发和高可用的需求。为了解决这个问题，Twitter 提出了雪花算法&…...

编程日记 2025/6/22 15:13:06

中间件-MQ常见问题

MQ常见问题消息丢失消息会在哪些环节丢失应对机制消息的顺序性消息幂等消息积压的处理消息丢失消息会在哪些环节丢失网络传输环节：生产者发送消息到broker，broker中master同步消息给slave，consumer消费消息，这3个环节都是跨…...

编程日记 2025/6/3 2:53:16

Redis学习打卡-Day2-缓存更新策略、主动更新策略、缓存穿透、缓存雪崩、缓存击穿

缓存更新策略对于低一致性需求：使用内存淘汰机制。例如店铺类型的查询缓存。对于高一致性需求：主动更新，并以超时剔除作为兜底方案。例如店铺详情查询的缓存。主动更新策略（缓存读写策略） 1. Cache Aside Pattern&…...

编程日记 2025/6/20 13:58:21

Git - 1（ 14000 字详解）

一： Git 初识 1.1 提出问题在工作或学习中，我们常常会面临文档管理的问题，尤其是在编写各种文档时。为了防止文档丢失或因更改失误而无法恢复，我们常常会创建多个版本的副本，例如：“报告-v1”、“报告-v…...

编程日记 2025/6/21 10:27:39

搭建Centos环境安装禅道

关于禅道： 禅道项目管理软件，将CMMI模型的要求有机融合到项目管理各个过程，支持Scrum、瀑布、看板和狭义IPD并支持融合使用。禅道项目管理软件功能强大，集产品管理、项目管理、质量管理、文档管理、组织管理和事务管理于一体&…...

编程日记 2025/6/21 19:49:27

语音识别——语音转文字

SenseVoiceSmall阿里开源大模型，SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或…...

编程日记 2025/6/21 15:36:58

语音识别——声纹识别

通过将说话人的声音与数据库中的记录声音进行比对，判断说话人是否为数据库白名单中的同一人，从而完成语音验证。目前，3D-Speaker 声纹验证的效果较为出色。 3D-Speaker 是一个开源工具包，可用于单模态和多模态的说话人验证、说话…...

编程日记 2025/6/20 18:53:20

c++作业整理2

直接访问就是直接利用变量的地址直接进行访问。答案：T 解析：直接访问通过变量名（实际对应内存地址）访问数据，与间接访问（通过指针）相对。 char *s"C Language"; 表示 s 是一个指向字…...

编程日记 2025/6/22 19:22:41

无人机屏蔽与滤波技术模块运行方式概述！

一、模块运行方式 1. 电磁屏蔽模块动态频段干扰：通过发射与无人机通信频段（如2.4GHz、5.8GHz、GPS频段等）同频的强干扰信号，切断无人机与遥控器、图传设备间的通信链路，实现迫降或返航功能。例如便携式屏蔽器通过…...

编程日记 2025/6/23 16:26:58

兼顾长、短视频任务的无人机具身理解！AirVista-II：面向动态场景语义理解的无人机具身智能体系统

作者：Fei Lin 1 ^{1} 1, Yonglin Tian 2 ^{2} 2, Tengchao Zhang 1 ^{1} 1, Jun Huang 1 ^{1} 1, Sangtian Guan 1 ^{1} 1, and Fei-Yue Wang 2 , 1 ^{2,1} 2,1单位： 1 ^{1} 1澳门科技大学创新工程学院工程科学系， 2 ^{2} 2中科院自动化研究所…...

编程日记 2025/6/19 18:33:49

深入探索 OpenCV：从实时视频流到图像处理的实战指南

引言在当今数字化时代，计算机视觉技术正逐渐成为推动科技发展的核心力量之一。从自动驾驶汽车到智能家居设备，从医疗影像诊断到工业自动化，计算机视觉的应用无处不在。而 OpenCV（Open Source Computer Vision Library&#xff0…...

编程日记 2025/6/21 2:15:33

Linux线程控制

POSIX线程库与线程有关的函数构成了一个完整的系列，绝大多数函数的名字都是以“pthread_”打头的要使用这些函数库，要通过引入头文 <pthread.h>链接这些线程函数库时要使用编译器命令的“-lpthread”选项创建线程功能：创建⼀个新…...

编程日记 2025/6/22 20:41:22

软件设计师考试《综合知识》设计模式之——工厂模式与抽象工厂模式考点分析

软件设计师考试《综合知识》工厂模式与抽象工厂模式考点分析 1. 分值占比与考察趋势（75分制） 年份题量分值占总分比例核心考点2023111.33%抽象工厂模式适用场景2022222.67%工厂方法 vs 抽象工厂区别2021111.33%工厂方法模式结构2020111.33%简单工厂模式…...

编程日记 2025/6/19 20:52:04

携程旅行酒店详情 token1004 分析 phantom-token

声明本文章中所有内容仅供学习交流使用，不用于其他任何目的，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！ 部分python代码这个网站有一个坑&am…...

编程日记 2025/6/2 18:28:52

QT——概述

<1>, Qt概述 Qt 是⼀个跨平台的 C 图形⽤⼾界⾯应⽤程序框架 Qt ⽀持多种开发⼯具，其中⽐较常⽤的开发⼯具有：Qt Creator、Visual Studio、Eclipse. 一，Qt Creator 集成开发环境（IDE） Qt Creator 是⼀个轻量…...

编程日记 2025/6/24 1:46:03

uniapp-vue3项目中引入高德地图的天气展示

前言： uniapp-vue3项目中引入高德地图的天气展示效果： 操作步骤： 1、页面上用定义我们的当前天气信息：<view></view> 2、引入我们的map文件 <script setup>import amapFile from ../../libs/amap-wx.js …...

编程日记 2025/6/22 11:05:30

Unity碰撞检测：射线与胶囊体投射/Layer（层）、LayerMask(遮罩层）

一、Physics碰撞检测 1.Physics.Raycast射线投射 Physics.Raycast 是 Unity 中用于执行射线检测（Raycasting）的方法。它允许你从一个点沿特定方向发射一条无形的“射线”，并检查这条射线是否与场景中的任何碰撞体相交。这个功能非常有用&am…...

编程日记 2025/6/4 17:49:28

浪潮云边协同：赋能云计算变革的强力引擎

在数字化浪潮以排山倒海之势席卷全球的当下，第五届数字中国建设峰会在福州盛大开幕。这场以“创新驱动新变革，数字引领新格局”为主题的行业盛会，宛如一座汇聚智慧与力量的灯塔，吸引了国内外众多行业精英齐聚一堂，共同…...

编程日记 2025/6/20 20:40:13

“傅里叶变换算法”来检测纸箱变形的简单示例

为了创建一个具有科技质感且能动态展示结果的纸箱变形检测傅里叶变换网页，下面将分别更新 HTML、CSS 和 JavaScript 文件。以下是更新后的代码： 1. HTML 文件 (index.html) <!DOCTYPE html> <html lang"zh-CN"> <head><…...

编程日记 2025/6/22 15:51:52

【SPIN】用Promela验证顺序程序：从断言到SPIN实战（SPIN学习系列--2）

你写了一段自认为“天衣无缝”的程序，但如何确保它真的没有bug？靠手动测试？可能漏掉边界情况；靠直觉？更不靠谱！这时候，Promela SPIN组合就像程序的“显微镜”——用形式化验证技术，…...

编程日记 2025/6/20 1:45:03

如何卸载并重新安装 Mozilla Firefox 浏览器

如果你在 Windows 上遇到现有的 Mozilla FireFox 安装问题，以下是重新安装 FireFox 的步骤。这可以帮助用户解决由于某些扩展或设置问题，或者不小心下载了令人讨厌的广告软件而导致的问题。虽然现在使用 Firefox 浏览器的用户在渐渐沦为小众群体，但是 Firefox 浏览器依然是最…...

编程日记 2025/5/29 10:10:28

Linux 后台运行的方法

Linux 后台运行的两种方法：screen 和 nohup 使用指南如有错误，敬请指正方法一：使用 screen 管理后台任务（推荐） 🔹 安装（如未安装） sudo apt install screen # Ubuntu/Debian …...

编程日记 2025/6/24 4:54:26

《无限暖暖》画质测评

《无限暖暖》作为一款采用虚幻5引擎打造的多平台畅玩、高自由度换装探索类RPG游戏，凭借其精美的画面、沉浸式操作和暖暖美丽坚毅的人设吸引了大量玩家。在其中玩家可以通过做各样任务收集美好并感受到丰富的人生体验，暖暖所在的世界里有超多的NPC可以互…...

编程日记 2025/6/1 8:15:11

websocket简介与基本使用

websocket是什么 WebSocket 是一种基于 TCP 的全双工通信协议，允许客户端和服务器之间建立持久连接，实现实时、双向的数据传输。它是 HTTP 协议的补充，专为低延迟、高效率的实时通信设计。核心特点特性说明全双工通信客户端和服务器可以同时…...

编程日记 2025/6/20 15:46:37

面试题：请解释Java中的垃圾回收机制（Garbage Collection, GC），并讨论不同的垃圾回收算法及其优缺点

Java垃圾回收机制（GC） Java的垃圾回收机制负责自动管理内存，回收不再使用的对象以释放内存空间。GC通过以下步骤实现： 标记（Marking） ：识别哪些对象是可达的，哪些是不可达的。清除…...

编程日记 2025/6/23 19:33:33

解决 Ubuntu 22.04 安装后启动卡死问题

最近在一台 PC 上安装了 Ubuntu 22.04 系统，但发现系统启动时出现问题：屏幕上出现一个旋转的小圈，旋转片刻后停止，系统无法正常进入桌面环境。经过一番排查，我找到了一种有效的解决方法，通过进入恢复模式并…...

编程日记 2025/6/22 21:58:17

线程的两种实现方式

线程的两种实现方式——内核支持线程（kernal Supported Thread, KST）， 用户级线程（User Level Thread, ULT） 1. 内核支持线程顾名思义，内核支持线程即为在内核支持下的那些线程，它们的创建&am…...

编程日记 2025/5/29 11:19:32

Python Bug 修复案例分析：asyncio 事件循环异常引发的程序崩溃两种修复方法

在 Python 异步编程的工作中，asyncio库为我们提供了高效处理并发任务的强大工具。然而，asyncio在使用过程中也可能因为一些细节处理不当而引发 Bug。下面，我们就来深入分析一个因asyncio事件循环异常导致程序崩溃的典型案例。兴趣的友友可以借…...

编程日记 2025/6/22 20:41:27

TCP（传输控制协议）建立连接的过程

TCP（传输控制协议）建立连接的过程称为三次握手（Three-Way Handshake）。这是为了确保通信双方能够可靠地建立连接，并同步初始序列号。以下是详细步骤： 三次握手过程（通俗比喻：打电话…...

编程日记 2025/6/23 23:42:40

（十九）Java集合框架深度解析：从基础到高级应用

一、集合框架概述 1.1 什么是集合框架 Java集合框架(Java Collections Framework, JCF)是Java语言中用于表示和操作集合的一套标准化体系结构。它提供了一组接口、实现类和算法，用于存储和操作对象组，解决了数组在存储对象时的诸多限制。集合框架的主…...

编程日记 2025/5/29 0:01:08

数据结构与算法-线性表-单链表（Linked List）

1 线性表 1.2 单链表（Linked List） 顺序表在内存中是连续的进行存储，可以随机获取某个元素，但是在插入和删除元素的时候就非常不方便，需要移动很多相关的元素，链表就可以解决这个问题。链表就是每个节点…...

编程日记 2025/6/21 8:20:21

Vue3学习（组合式API——生命周期函数基础）

目录一、Vue3组合式API中的生命周期函数。 （1）各阶段生命周期涉及函数简单介绍。 <1>创建挂载阶段的生命周期函数。 <2>更新阶段的生命周期函数。 <3>卸载阶段的生命周期函数。 <4>错误处理的生命周期函数。 （2&…...

编程日记 2025/6/20 2:27:14

MySQL索引优化面试高频考点解析（附实战场景）

文章目录当索引失效成为面试官的"送命题"（必看！）高频考点一：索引失效的七大死亡陷阱1. 隐式类型转换（血泪案例！）2. 函数操作毁所有高频考点二：最左前缀原则的魔鬼细节组…...

编程日记 2025/6/22 1:30:56

三目云台20倍变焦智能监控技术

“三目云台20倍转动”通常指的是一种具备三目变焦功能和20倍光学变焦能力的云台摄像机。以下是对这一概念的详细解释： 一、三目变焦功能三目云台摄像机通常配备“长、短、广”三组定焦镜头，每组镜头都有其独特的作用： 长焦镜头 &#xff…...

编程日记 2025/6/21 17:43:57

SQL注入---05--跨站注入

1 权限说明 select * from mysql.user; 这里的Y表示我前面的命令权限为root，n表示不支持root权限导致结果： 如果为root的话，我就可操作这些命令并且可以进行跨数据库攻击，但是如果不是高权限root就无法执行这些操作 2 root权限…...

编程日记 2025/6/23 20:51:58

1. ADTS（Audio Data Transport Stream）帧结构在ADTS（Audio Data Transport Stream）帧结构中，“上面扩展28 bit”指的是ADTS固定头（adts_fixed_header()）和ADTS可变头（adts_variable_header()）各自包含的28位信息。 1.1 ADTS固定头（adts_fixed_header()） AAC 帧…...

编程日记 2025/6/22 16:45:19

HGDB企业版迁移到HGDB安全版

文章目录环境文档用途详细信息环境系统平台：Linux x86-64 Red Hat Enterprise Linux 7 版本：4.5.8,6.0 文档用途 HGDB企业版数据库通过命令备份恢复，迁移到HGDB安全版中。详细信息 1、环境介绍 1 IP 操作系统 cpux.x.65.10 …...

编程日记 2025/6/21 21:21:54

智慧化系统安全分析报告

智慧化系统的安全背景与现状一、政策法规背景 （一）全球主要国家/地区政策对比地区政策名称核心内容实施时间特点中国《生成式人工智能服务管理暂行办法》明确服务提供者责任，强调数据合法、隐私保护，禁止生成违法内容2023年8…...

编程日记 2025/6/20 5:43:28

概率相关问题

问题汇总 1. 贝叶斯定理（贝叶斯公式和全概率公式）2. 概率题2.1 随机发生器的概率为1/2 1. 贝叶斯定理（贝叶斯公式和全概率公式） 定义：在信息和条件有限的情况下，基于过去的数据，通过动态调整的…...

编程日记 2025/6/20 14:14:40

使用 GitDiagram 快速将 GitHub 仓库转换为交互式图表

前言当面对 GitHub 上文件目录错综复杂的新项目，且你急需快速了解其系统设计或架构流程时，你可能会感到束手无策。今天大姚给大家分享一个开源利器 GitDiagram，它可以轻松将任何复杂的 GitHub 仓库转化为直观、交互式的图表，这对…...

编程日记 2025/6/3 16:51:08

AWS CloudHSM：金融级密钥安全管理实战，如何通过FIPS 140-2认证守护数据生命线？

数据泄露平均成本430万美元，加密漏洞成头号杀手！当《数据安全法》撞上金融科技合规，开发者如何用硬件安全模块（HSM）构建不可破解的密钥堡垒？本文揭秘AWS CloudHSM如何成为支付系统、电子病历、区块链的“数…...

编程日记 2025/6/23 14:53:52

自定义分区器-基础

什么是分区在 Spark 里，弹性分布式数据集（RDD）是核心的数据抽象，它是不可变的、可分区的、里面的元素并行计算的集合。在 Spark 中，分区是指将数据集按照一定的规则划分成多个较小的子集，每个子集可以独立…...

编程日记 2025/6/22 8:16:02

＜C++＞ MFC自动关闭对话框（MessageBoxTimeout）

MFC自动关闭对话框（MessageBoxTimeout） 记录一下今天在界面开发中的解决方案。自动关闭对话框有两种方案： 1.使用定时器实现延迟关闭（DeepSeek方案） 提示框显示几秒后自动关闭，可以使用 SetTimer KillT…...

编程日记 2025/6/20 12:54:59

一个基于 Spring Boot 的实现，用于代理百度 AI 的 OCR 接口

一个基于 Spring Boot 的实现，用于代理百度 AI 的 OCR 接口 BaiduAIController.javaBaiduAIConfig.java在 application.yml 或 application.properties 中添加配置：application.yml同时，需要在Spring Boot应用中配置RestTemplate：…...

编程日记 2025/5/28 7:52:54

Python60日基础学习打卡D26

算圆形面积错误代码 import mathdef calculate_circle_area(r):try:S math.pi * r**2except r＜0:print("半径不能为负数")return S 正确代码 import mathdef calculate_circle_area(radius):try:if radius < 0:return 0return math.pi * radius…...

编程日记 2025/5/29 14:28:08

报销单业务笔记

文章目录业务点业务点-对公对私业务点-多系统标志特殊业务入参入参报文出参出参报文中间的逻辑多对多关系其他应该是整体成功还是可以部分成功这种多对多关多关系有没有优雅的判断方式报销单是个通用场景，有通用逻辑，在此基础上进行适度定制&#x…...

编程日记 2025/5/29 0:21:49

小红书的评论区营销经验分享

在小红书等社交平台上采用“主账号提问小号解答”的营销策略，其核心作用是通过角色分工和场景化互动，降低用户对广告的抵触心理，同时提升内容的可信度和转化效率。以下是其底层逻辑和具体作用分析： 一、角色分工：制造…...

编程日记 2025/5/29 7:05:36

一、Flume安装与配置

二、测试运行

相关文章：