当前位置：首页 > news >正文

【ELK】Filebeat采集Docker容器日志

news 来源：原创 2025/5/26 10:44:19

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

介绍
- filebeat是如何工作的
使用
- 部署filebeat

介绍

Filebeat 是一个用于转发和集中日志数据的轻量级传送器。
Filebeat 作为agent安装在服务器上，监视指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。
Filebeat 的工作原理如下：当启动 Filebeat 时，它会启动一个或多个input查找指定的日志数据位置。对于 Filebeat 找到的每个日志，Filebeat 都会启动一个harvester。每个harvester都会读取单个日志以获取新内容，并将新日志数据发送到 libbeat，libbeat 会聚合事件并将聚合数据发送到您为 Filebeat 配置的输出。

filebeat是如何工作的

Filebeat 由两个主要组件组成：input和harvester。这些组件协同工作来跟踪文件并将事件数据发送到指定的output。

什么是harvester：

harvester负责读取单个文件的内容。
harvester逐行读取每个文件，并将内容发送到输出。
每个文件启动一个harvester。
harvester负责打开和关闭文件，这意味着harvester运行时文件描述符保持打开状态。

什么是input：

input负责管理harvester并查找所有可供读取的源。
如果input类型为log，则input会查找驱动器上与定义的全局路径匹配的所有文件，并为每个文件启动harvester。每个input都在自己的 Go 协程中运行。
以下示例将 Filebeat 配置为从与指定 glob 模式匹配的所有日志文件中收集行：
```
filebeat.inputs:
- type: logpaths:- /var/log/*.log- /var/path2/*.log
```

不同的harvester goroutine采集到的日志数据都会发送至一个全局的队列queue中，filebeat默认启用的是基于内存的缓存队列。

每当队列中的数据缓存到一定的大小或者超过了定时的时间（默认1s)，会被注册的client从队列中消费，发送至配置的后端。目前可以设置的client有kafka、elasticsearch、redis等。

使用

部署filebeat

上传压缩包

解压

tar xf filebeat-8.9.0.linux-amd64.tar.gz

在这里插入图片描述

配置

## filebeat.yml
# ============================== Filebeat input ==============================
filebeat.inputs:
- type: containerstream: allpaths: - /data/docker/containers/*/*.logformat: dockerfields:multiline:# 做多行日志聚合，此处是针对java的异常堆栈信息聚合（所有非年-月-日开头的日志会被聚合到最开始匹配到的那一行展示）type: patternpattern: '^\d+.\d+.\d+|^\d+.\w{3}.\d+'negate: truematch: after  processors:- add_docker_metadata:  # 添加当前主机的信息，包括 os、hostname、ip 等host: "unix:///var/run/docker.sock"- add_docker_metadata: ~  # 如果存在 Docker 环境，则自动添加容器、镜像的信息。默认将 labels 中的点 . 替换成下划线 _# ============================== Filebeat modules ==============================filebeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: false#reload.period: 10s# ======================= Elasticsearch template setting =======================
setup.template.settings:index.number_of_shards: 1
output.elasticsearch:# Array of hosts to connect to.hosts: ["http://172.21.105.64:19200"]# Protocol - either `http` (default) or `https`.protocol: "http"# Authentication credentials - either API key or username/password.#api_key: "id:api_key"username: "elastic"password: "qianyue@2021#"ssl.verification_mode: "none"

配置系统服务

# cat /usr/lib/systemd/system/auto_agent_filebeat.service
[Unit]
Description=filebeat
Wants=network-online.target
After=network-online.target[Service]
User=root
WorkingDirectory=/home/auto-op-mgr/auto_agent/app/auto_agent_filebeat
ExecStart=/home/auto-op-mgr/auto_agent/app/auto_agent_filebeat/filebeat -e --strict.perms=false  -c /home/auto-op-mgr/auto_agent/app/auto_agent_filebeat/filebeat.yml
# 设置为掉线自动重启，进程强制杀掉后会自动重新启动
Restart=always[Install]
WantedBy=multi-user.target

【ELK】Filebeat采集Docker容器日志

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录介绍filebeat是如何工作的使用部署filebeat 介绍 Filebeat 是一个用于转发和集中日志数据的轻量级传送器。 Filebeat 作为agent安装在服务器上，监视指…...

编程日记 2025/5/26 10:44:19

基于java web在线商城购物系统源码+论文

一、环境信息开发语言：JAVA JDK版本：JDK8及以上数据库：MySql5.6及以上 Maven版本：任意版本操作系统：Windows、macOS 开发工具：Idea、Eclipse、MyEclipse 开发框架：SpringbootHTMLjQueryMysq…...

编程日记 2025/5/26 10:19:45

MONI后台管理系统-swagger3(springdoc-openapi)集成

springdoc-openapi Java 库有助于使用 Spring Boot 项目自动生成 API 文档。springdoc-openapi 通过在运行时检查应用程序来根据 Spring 配置、类结构和各种注释推断 API 语义。该库会自动生成 JSON/YAML 和 HTML 格式的页面文档。生成的文档可以使用swagger-api注释进行补充。…...

编程日记 2025/5/26 10:01:44

常见八股文04

63.索引的优缺点优点 1.提高了查询性能 2.支持唯一性约束，避免插入重复数据 3.支持唯一性约束：在多表连接时，索引能够减少连接所需的时间和资源缺点 1.占用额外存储空间:特别是在大型数据表中，索引可能会占用大量的空间 …...

编程日记 2025/5/21 8:05:05

php各个版本的特性以及绕过方式

一.php各个版本的特性二.绕过正则匹配的常见方式 1.绕过空格 a.空变量$ l$s b.环境变量IFS（默认情况下IFS为空格、制表符和换行符） l${IFS}s c.重定向符（<,>） cat < file.txt //把file.txt的内容给cat命令&…...

编程日记 2025/5/26 6:04:07

允许某段网络访问Linux服务器上的MariaDB

在Linux服务器上安装了MariaDB，默认情况下，只允许本机访问。在某些特殊的情况下，要允许外部访问。具体操作流程如下： 1 修改服务器配置 vi /etc/my.cnf.d/server.cnf取消下面的注释，以便允许外来的主机访问。 bind-…...

编程日记 2025/5/26 10:30:33

【C语言】信号

【C语言】信号信号1. 信号状态2. 信号处理方式3. 信号注册相关函数4. 信号集相关函数信号 1. 信号状态信号有三种状态：产生、未决和递达信号产生方式： 按键产生，ctrlc 产生中断信号SIGINT，ctrl \ 产生退出信号 SIGQUIT并…...

编程日记 2025/5/26 8:36:47

2023年下半年软考信息安全工程师案例分析及答案解析

试题一（16分）回答问题1至问题6，将解答填入答题纸对应的解答栏内。问题1（4分）已知DES算法S盒如下，请补全S盒空缺的数据（1）、（2）、（3）、（4）。【参考答案】3、13、15、0 问题2（2分）已知S盒的输入为110011，请计算经过S盒变换之后的二进制输出。【参考…...

编程日记 2025/5/26 10:17:52

<?php highlight_file(__FILE__); $key1 0; $key2 0;$a $_GET[a]; $b $_GET[b];if(isset($a) && intval($a) > 6000000 && strlen($a) < 3){if(isset($b) && 8b184b substr(md5($b),-6,6)){$key1 1;}else{die("Emmm...再想想&quo…...

编程日记 2025/5/26 9:39:06

【WRF教程第3.6期】预处理系统 WPS 详解：以4.5版本为例

预处理系统 WPS 详解：以4.5版本为例 Geogrid/Metgrid 插值选项详解1. 插值方法的工作机制2. 插值方法的详细说明2.1 四点双线性插值（four_pt）2.2 十六点重叠抛物线插值（sixteen_pt）2.3 简单四点平均插值（av…...

编程日记 2025/5/26 4:30:30

图解HTTP-HTTP协议

HTTP HTTP是一种不保存状态，即无状态的协议。HTTP协议自身不对请求和响应之间的通信进行保存。为了保存状态因此后面也有一些技术产生比如Cookies技术。 HTTP是通过URI定位网上的资源，理论上将URI可以访问互联网上的任意资源。如果不是访问特定的资源…...

编程日记 2025/5/26 10:38:21

Linux基本命令

Linux基本命令一条Linux命令由：命令本身 [可选项] [参数] ls 展示 ls命令的选项: -a 选项，可以展示出隐藏的内容以 . 开头的文件或文件夹默认被隐藏，需要-a才能显示出来 **-l **选项,以列表的形式展示内容,并展示更多细节-h 选项&…...

编程日记 2025/5/26 9:21:15

【win10+RAGFlow+Ollama】搭建本地大模型助手（教程+源码）

一、RAGFlow简介 RAGFlow是一个基于对文档深入理解的开源RAG（Retrieval-augmented Generation，检索增强生成）引擎。主要作用： 让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大…...

编程日记 2025/5/26 9:46:42

.ejs 后缀文件 - 嵌入式JavaScript模板

嵌入式JavaScript模板（Embedded JavaScript templates）文件是以.ejs 后缀。它是一种模板引擎，它允许你在你的HTML文件中直接嵌入JavaScript代码。EJS模板可以包含HTML代码、JavaScript表达式、控制结构（如if语句和循环&#xff09…...

编程日记 2025/5/26 9:56:00

springboot461学生成绩分析和弱项辅助系统设计(论文+源码)_kaic

摘要传统办法管理信息首先需要花费的时间比较多，其次数据出错率比较高，而且对错误的数据进行更改也比较困难，最后，检索数据费事费力。因此，在计算机上安装学生成绩分析和弱项辅助系统软件来发挥其高效地信息处理的作…...

编程日记 2025/5/26 8:45:28

【从零开始入门unity游戏开发之——C#篇23】C#面向对象继承——`as`类型转化和`is`类型检查、向上转型和向下转型、里氏替换原则（LSP）

文章目录一、as类型转化和is类型检查1、as 关键字使用场景：语法：示例：特点： 2、is 关键字使用场景：语法：示例：特点： 3、总结二、向上转型和向下转型1、向上转型示例： 2…...

编程日记 2025/5/26 9:58:11

“魔法糖果盒的秘密：用朴素贝叶斯算法猜糖果颜色”

想象一下，你有一个神奇的糖果盒，这个糖果盒里有两种糖果：红色的和蓝色的。你闭上眼睛，从盒子里拿出一个糖果，然后尝一尝，你想知道这个糖果是红色的还是蓝色的。朴素贝叶斯算法就像是一个魔法规则&#xff0…...

编程日记 2025/5/26 8:24:03

使用“NodeMCU”、“红外模块”实现空调控制

项目思路空调遥控器之所以能够实现对空调的控制，是因为它能够向空调发射出特定的红外信号。从理论上来说，任何能够发射出这种相同红外信号的红外发射器，都可以充当空调遥控器（这也正是手机能够控制多种不同品牌空调的原因所在&a…...

编程日记 2025/5/26 6:25:58

了解cuda的统一内存

1. CUDA 6中的统一内存在CUDA 6中，从Kepler GPU架构（计算能力3.0或更高）开始，在64位Windows 7、8和Linux操作系统（内核2.6.18）上开始支持统一内存. 从CUDA 6开始，NVIDIA推出了CUDA平台历史上…...

编程日记 2025/5/26 10:15:59

MySQL索引

2.1 索引概述 2.1.1 介绍索引（index）是帮助MySQL高效获取数据的数据结构(有序)。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据， 这样就…...

编程日记 2025/5/26 9:37:32

会话控制（cookie、session 和 token）

1. 介绍所谓会话控制就是对会话进行控制HTTP 是一种无状态的协议，它没有办法区分多次的请求是否来自于同一个客户端， 无法区分用户，而产品中又大量存在的这样的需求，所以我们需要通过会话控制来解决该问题。常见的会话控制…...

编程日记 2025/5/26 8:31:12

stm32 rtc 详解

目录 L151 RTC 唤醒代码方式一通过 RTC Alarm Interrupt：(基本和F1系列一样)： L151 RTC 唤醒代码方式二通过 RTC WakeUp Interrupt F103VE RTC 闹钟唤醒代码 （103RC 没有闹钟中断）： RTC（real time…...

编程日记 2025/5/26 9:33:51

D 咖智能饮品机器人：开启商业新篇

在科技迅猛发展的当下，智能机器人正逐步渗透到各个商业领域，D 咖智能饮品机器人便是其中的佼佼者，它的出现为饮品行业带来全新的发展契机，有望开启商业新篇。从大环境来看，消费者对于饮品的需求日益多元化和个性化。他…...

编程日记 2025/5/22 22:57:06

使用FakeSMTP创建本地SMTP服务器接收邮件具体实现。

以下代码来自Let’s Go further节选。具体说明均为作者本人理解。编辑邮件模版主要包含三个template: subject：主题plainBody： 纯文本正文htmlBody：超文本语言正文 {{define "subject"}}Welcome to Greenlight!{{end}} {{def…...

编程日记 2025/5/23 10:49:55

重拾设计模式--模板方法模式

文章目录一、模板方法模式概述二、模板方法模式UML图三、优点1代码复用性高2可维护性好3扩展性强四、缺点五、使用场景六、C 代码示例1七、 C 代码示例2 一、模板方法模式概述定义：定义一个操作中的算法骨架，而降一些步骤延迟到子类中。模板方法使得…...

编程日记 2025/5/24 2:43:29

二、windows环境下vscode使用wsl教程

本篇文件介绍了在windows系统使用vscode如何连接使用wsl，方便wsl在vscode进行开发。 1、插件安装双击桌面vscode，按快捷键CtrlShiftX打开插件市场，搜索【WSL】点击安装即可。 2、开启WSL的linux子系统点击左下方图标【Open a Remote Win…...

编程日记 2025/5/24 5:06:37

我们的电视Our tv 3.6.0安卓+TV 一款全新电视直播软件-内置稳定直播源

应用简介我们的电视（ourtv）是一款完全无广告的电视直播软件，清晰度可选择高清，超清，蓝光等播放。安装即可使用，再也不用费劲去找各种不稳定的直播源了。 “我们的电视”播放线路（直播源&…...

编程日记 2025/5/24 8:45:11

批处理理解

初识批处理如何批处理： 命名：.bat 方法：创建一个记事本文件，然后将其扩展改为.bat 批处理作用：自上而下成批处理每一条DOS命令，直到执行到最后一条。运行环境：当然是我们cmd了回归我学过的…...

编程日记 2025/5/23 2:42:27

高效准确的PDF解析工具，赋能企业非结构化数据治理

目录准确性高：还原复杂版面元素使用便捷：灵活适配场景贴心服务：快速响应机制在数据为王的时代浪潮中，企业数据治理已成为组织优化运营、提高竞争力的关键。随着数字化进程的加速，企业所积累的数据量呈爆炸式增长…...

编程日记 2025/5/25 19:48:28

Go框架比较：goframe、beego、iris和gin

由于工作需要，这些年来也接触了不少的开发框架，Golang的开发框架比较多，不过基本都是Web"框架"为主。这里稍微打了个引号，因为大部分"框架"从设计和功能定位上来讲，充其量都只能算是一个组件&…...

编程日记 2025/5/25 13:20:04

【ETCD】【实操篇（三）】【ETCDCTL】如何向集群中写入数据

在分布式系统中，etcd 是一个高可用的键值存储，用于存储和共享配置信息、服务发现、协调等。向 etcd 写入数据可以通过多种方式进行，常见的方式是使用 etcd 提供的 HTTP API 或者通过客户端库来进行操作。目录一、使用EtcdCtl工具来写入数据…...

编程日记 2025/5/24 15:24:50

2025年春节档的《哪吒2》，光线传媒动画梦的关键一战

没想到《哪吒之魔童闹海》会以这种形式重回大众视野。距离2025年春节还有不到两个月，春节档电影大战已经打响，原本市场还在猜测2024年频频“胎动”的《哪吒之魔童闹海》（以下简称《哪吒2》）会不会参与这场“神仙打架”&#xff…...

编程日记 2025/5/22 23:30:14

windows C#-实例构造函数

声明一个实例构造函数，以指定在使用 new 表达式创建某个类型的新实例时所执行的代码。要初始化静态类或非静态类中的静态变量，可以定义静态构造函数。如以下示例所示，可以在一种类型中声明多个实例构造函数： class Coords {pu…...

编程日记 2025/5/26 0:31:43

FPGA-PS端编程1：

目标在小梅哥的zynq 7015上，完成以下目标： 读取 S1 按键的电平， 当 S1 按键为按下状态时，驱动 PS LED 以 1S 的频率闪烁(注意理解 1S 的频率闪烁和 1S的时间翻转两种描述之间的差别)， 当 S1 释放后，停止…...

编程日记 2025/5/21 16:13:32

【JavaEE进阶】第一个Spring Boot程序

目录 🌴安装插件 🎄Spring Boot介绍 🌳Spring Boot项目创建 🚩创建Spring Boot项目 🏀jar 包下载不下来问题 🚩启动项目 🌲目录介绍 🚩src文件 🚩target文件 &…...

编程日记 2025/5/21 19:25:19

RunCam WiFiLink连接手机图传测试

RunCam WiFiLink中文手册从这里下载一、摄像头端 1.连接天线（易忘） 2.打开摄像头前面的盖子（易忘） 3.接上直流电源，红线为正，黑线为负 4.直流电源设置电压为14v，电流为3.15A， 通…...

编程日记 2025/5/26 7:45:36

使用Chat-LangChain模块创建一个与用户交流的机器人

当然！要使用Chat-LangChain模块创建一个与用户交流的机器人，你需要安装并配置一些Python库。以下是一个基本的步骤指南和示例代码，帮助你快速上手。安装依赖库首先，你需要安装langchain库，它是一个高级框架&#x…...

编程日记 2025/5/25 20:15:58

地级市2011-2020数字经济博士研究生自用数据

赵涛评价指标数据，具体指标见图片参考文献: [1]赵涛,张智,梁上坤.数字经济、创业活跃度与高质量发展——来自中国城市的经验证据[J].管理世界,2020,36(10):65-76. 每百人移动电话数，是模仿赵涛的，指人均再➗100 数据来源，中国城…...

编程日记 2025/5/24 14:17:14

呼叫中心部门如何使用开源大模型智能呼叫中心，对接已有系统实现降本增效

呼叫中心部门如何使用开源大模型智能呼叫中心，对接已有系统实现降本增效作者：开源大模型智能呼叫中心FreeIPCC 随着人工智能技术的快速发展，特别是大规模语言模型（LLM）的应用，企业可以通过将开源大模型与…...

编程日记 2025/5/22 9:49:35

Latex 转换为 Word（使用GrindEQ ）（英文转中文，毕业论文）

效果预览第一步： 告诉chatgpt： 将latex格式中的英文翻译为中文（符号和公式不要动）,给出latex格式第二步： Latex 转换为 Word（使用GrindEQ ） 视频 https://www.bilibili.com/video/BV1f242…...

编程日记 2025/5/25 11:04:37

多态中虚函数调用问题

在多态中，一般通过虚函数表会调用子类重写的虚函数，然而，有一种情况调用的还是父类的虚函数，就是在父类的构造函数中调用的是父类的虚函数，无论子类是否重写。 #include <iostream> #include <list> #inc…...

编程日记 2025/5/21 1:37:57

【NLP 18、新词发现和TF·IDF】

目录一、新词发现 1.新词发现的衡量标准 ① 内部稳固 ② 外部多变 2.示例 ① 初始化类 NewWordDetect ② 加载语料信息，并进行统计 ③ 统计指定长度的词频及其左右邻居字符词频 ④ 计算熵 ⑤ 计算左右熵编辑 ⑥ 统计词长总数 ⑦ 计算互信息 ⑧ 计算每个词…...

编程日记 2025/5/26 1:47:14

windows服务器Oracle TNS 远程监听器中毒

修复Oracle TNS 监听器远程中毒漏洞 1.1 修改监听文件如何快速找到listener.ora ？ cmd输入 tnsping localhost 修改配置文件，路径以自己的实际路径为准，我都在D盘 listener.ora内容如下： #listener.ora Network Configuration F…...

编程日记 2025/5/20 1:53:04

GitLab的安装和使用

1.GitLab 环境说明系统版本 CentOS 7.2 x86_64 软件版本 gitlab-ce-10.8.4 GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能…...

编程日记 2025/5/25 20:16:11

常用的JVM启动参数有哪些?

大家好，我是锋哥。今天分享关于【常用的JVM启动参数有哪些?】面试题。希望对大家有帮助； 常用的JVM启动参数有哪些? 1000道互联网大厂Java工程师精选面试题-Java资源分享网 JVM启动参数用于配置Java虚拟机（JVM）的运行时行为…...

编程日记 2025/5/20 23:31:17

MobaXterm 连接不上VMware 的Ubuntu 虚拟机

想在window11的笔记本上通过VMWare安装Ubuntu操作系统，但是在两个桌面见来回切换，十分的麻烦，于是通过远程服务访问客户端软件MateXterm来访问虚拟机的Linux系统，但是从CSDN上搜到的教程都没有成功，于是，尝…...

编程日记 2025/5/20 17:27:53

异步BUCK二极管损耗计算

异步BUCK工作原理 Q闭合时（Ton），输入电压Vin为电感L和输出电容Cout充电，同时为负载供电；Q断开时（Toff），电感L为负载供电，电流通过续流二极管D回流到电感L； 之…...

编程日记 2025/5/25 11:12:52

【WPF】把DockPanel的内容生成图像

要在WPF中将一个 DockPanel 的内容生成为图像并保存，可以按照与之前类似的步骤进行，但这次我们将专注于 DockPanel 控件而不是整个窗口。 DockPanel的使用 WPF（Windows Presentation Foundation）中的 DockPanel 是一种布局控件&…...

编程日记 2025/5/22 17:17:10

STM32定时器对象捕获功能测量市电频率

在很多嵌入式系统中，精确地测量外部信号的频率是一个常见需求，尤其是对于需要同步外部电源（如市电）的应用。市电频率（50Hz或60Hz）是电力系统中一个至关重要的参数。在许多场景下，特别是UPS&…...

编程日记 2025/5/25 7:29:02

[react]5、React脚手架

1、前端脚手架 1、Vue的脚手架：vue-cli 2、Angular的脚手架：angular-cli 3、React的脚手架：create-react-app 目前这些脚手架都是使用node编写的，并且都是基于webpack的，需要在电脑上安装node环境脚手架的作用是帮助我…...

编程日记 2025/5/23 23:22:24

文章目录

介绍

filebeat是如何工作的

使用

部署filebeat

相关文章：