当前位置：首页 > news >正文

k8s中用filebeat文件如何收集不同service的日志

news 来源：原创 2025/6/27 23:08:33

以下是一个详细的从在 Kubernetes 集群中部署 Filebeat，到实现按web-oper、web-api微服务分离日志并存储到不同索引的完整方案：

理解需求：按服务分离日志索引

在 Kubernetes 集群中，有web-oper和web-api两种微服务，希望通过 Filebeat
将它们的日志分别收集到不同的索引中。这样在后续查看和分析日志时，可以更方便地根据服务进行区分，例如在 Elasticsearch
中通过不同的索引来查询web-api和web-oper的日志。

准备工作：已成功部署好es与Kibana

准备 Filebeat 配置文件

创建一个名为 filebeat.yml 的配置文件，内容如下：

filebeat.inputs:- type: containerpaths:- /var/log/containers/*.logprocessors:- add_kubernetes_metadata:host: ${NODE_NAME}matchers:- logs_path:logs_path: "/var/log/containers/"output.elasticsearch:hosts: ["elasticsearch-cluster-ip:9200"]  # 替换为实际的Elasticsearch集群IP和端口indices:- index: "web-api-log-%{+yyyy.MM.dd}"when:equals:kubernetes:labels:app: web-api- index: "web-oper-log-%{+yyyy.MM.dd}"when:equals:kubernetes:labels:app: web-oper

上述配置文件作用解析：
● filebeat.inputs 部分指定了从容器日志路径（/var/log/containers/*.log，这是 Kubernetes 默认存放容器日志之处）收集日志，并通过 add_kubernetes_metadata 处理器添加 Kubernetes 相关元数据，便于后续精准筛选。

● output.elasticsearch 部分定义了输出目标为 Elasticsearch 集群，重点是 indices 小节，使用 when 条件语句搭配 equals 判断机制。如果容器的 kubernetes.labels.app 标签值为 web-api，日志将发送至 web-api-log-%{+yyyy.MM.dd} 索引；若标签值是 web-oper，则发送到 web-oper-log-%{+yyyy.MM.dd} 索引。

创建 Filebeat 的 DaemonSet 资源定义文件

新建一个名为 filebeat-daemonset.yaml 的 YAML 文件，用于在 Kubernetes 中部署 Filebeat：

apiVersion: apps/v1
kind: DaemonSet
metadata:name: filebeatnamespace: kube-system  # 推荐部署到kube-system命名空间，便于统一管理系统级组件
spec:selector:matchLabels:app: filebeattemplate:metadata:labels:app: filebeatspec:containers:- name: filebeatimage: docker.elastic.co/beats/filebeat:7.14.0  # 按需选择Filebeat版本镜像volumeMounts:- name: varlogcontainersmountPath: /var/log/containers- name: varlogpodsmountPath: /var/log/pods- name: filebeat-configmountPath: /usr/share/filebeat/filebeat.yml # 挂载filebeat文件readOnly: truevolumes:- name: varlogcontainershostPath:path: /var/log/containers- name: varlogpodshostPath:path: /var/log/pods- name: filebeat-configconfigMap:name: filebeat-config

DaemonSet 控制器确保所有（或一部分）的节点都运行了一个指定的 Pod 副本

每当向集群中添加一个节点时，指定的 Pod 副本也将添加到该节点上。
当节点从集群中移除时，Pod 也就被垃圾回收了。
删除一个 DaemonSet 可以清理所有由其创建的 Pod。

这个 DaemonSet 配置解析如下：

metadata 定义了 DaemonSet 的名称 filebeat 以及所属命名空间。
spec 里的 selector 和 template 标签配合，确保每个节点上都运行符合 app: filebeat 标签的 Pod。
containers 中定义Filebeat 容器，挂载了容器日志目录（/var/log/containers 和
/var/log/pods）用于读取日志，同时挂载了之前创建的 filebeat.yml 配置文件（通过 configMap
方式挂载，下面步骤会创建），设置为只读，防止容器内意外修改配置。
volumes 部分对应上述 volumeMounts，声明了hostPath 类型的本地日志目录挂载以及 configMap 类型挂载，用于配置文件挂载。
/var/log/pods目录存储了 Pod 级别的日志，这些日志可能包含了关于 Pod 启动、停止以及内部容器之间交互的一些详细信息。例如，Pod 初始化容器（init container）的日志可能会在这里有记录。初始化容器用于在主容器启动之前执行一些初始化任务，如配置环境、检查依赖等，其日志对于排查 Pod 启动问题非常重要。

创建 ConfigMap 用于挂载配置文件

执行以下命令创建包含 filebeat.yml 的 ConfigMap：

kubectl create configMap filebeat-config --from-file=filebeat.yml -n kube-system

此命令会将 filebeat.yml 文件内容封装进名为 filebeat-config 的 ConfigMap 里，供 Filebeat 容器挂载使用。

在 Kubernetes 集群中部署 Filebeat
使用以下命令部署 Filebeat：

kubectl apply -f filebeat-daemonset.yaml

这条命令将依据 filebeat-daemonset.yaml 描述在集群中启动 Filebeat。

验证部署与日志收集效果
● 查看 Filebeat 容器日志：
通过 kubectl logs -n kube-system （filebeat-pod-name 可通过 kubectl get pods -n kube-system | grep filebeat 查到），检查有无报错信息，排查配置或启动过程中可能出现的问题。
● 在 Elasticsearch 端检查索引：利用 Elasticsearch 的 API 或者 Kibana 工具，查看是否成功创建了 web-api-log-%{+yyyy.MM.dd} 和 web-oper-log-%{+yyyy.MM.dd} 两个索引，索引内是否陆续接收到对应服务的日志。

通过以上步骤，即可在 Kubernetes 集群中成功部署 Filebeat，并实现按 web-oper、web-api 服务分离日志存储到不同索引，方便后续日志分析运维工作。
需留意配置文件中的 Elasticsearch 集群地址、Filebeat 镜像版本等关键信息，依实际情况调整适配。

k8s中用filebeat文件如何收集不同service的日志

以下是一个详细的从在 Kubernetes 集群中部署 Filebeat，到实现按web-oper、web-api微服务分离日志并存储到不同索引的完整方案： 理解需求：按服务分离日志索引在 Kubernetes 集群中，有web-oper和web-api两种微服务，希…...

编程日记 2025/6/27 23:08:33

linux常用命令（cd、ls）

命令cd cd 是 Linux 系统中用于改变当前工作目录的命令。它是 "change directory" 的缩写。以下是关于 cd 命令的详细解释和使用方法： 基本用法 cd [目录路径]：将当前工作目录切换到指定的目录路径。常用选项与示例 ‌1、切换到指定目录 …...

编程日记 2025/6/27 22:48:10

Java实现一个带头节点的单链表

什么是单链表？ 单链表是一种基础的数据结构，其中每个节点都包含两部分： 数据域：存储节点数据。指针域：存储指向下一个节点的引用。为什么使用头节点？ 头节点的存在简化了操作逻辑： 统一操作…...

编程日记 2025/6/25 23:27:54

代码随想录-算法训练营-番外(图论01:图论理论基础,所有可到达的路径)

day01 图论part01 今日任务:图论理论基础/所有可到达的路径代码随想录图论视频部分还没更新 https://programmercarl.com/kamacoder/图论理论基础.html#图的基本概念 day01 所有可达路径邻接矩阵 import java.util.Scanner;import java.util.List;import java.util.ArrayL…...

编程日记 2025/6/27 22:54:11

js：我要在template中v-for循环遍历这个centrerTopdata，我希望自循环前面三个就可以了怎么写

问： 我按在要在template中v-for循环遍历这个centrerTopdata，我希望自循环前面三个就可以了怎么写？ 回答： 问： <div v-for"(item, index) in centrerTopdata.slice(0, 3)" :key"index"> d…...

编程日记 2025/6/27 22:41:21

软考高级架构 - 10.5 软件架构演化评估方法

10.4 软件架构演化原则总结本节提出了18条架构演化的核心原则，并为每条原则设计了简单而有效的度量方法，用于从系统整体层面提供实用信息，帮助评估和指导架构演化。演化成本控制：成本小于重新开发成本，经济高效。进…...

编程日记 2025/6/27 22:38:09

40 list类模拟实现

目录一、list类简介 （一）概念 （二）list与string和vector的区别二、list类使用 （一）构造函数 （二）迭代器 （三）list capacity （四&#x…...

编程日记 2025/6/27 22:15:56

【原生js案例】如何实现一个穿透字体颜色的导航

普通的导航大家都会做，像这种穿透字体的导航应该很少见吧。高亮不是通过单独设置一个active类来设置字体高亮颜色，鼠标滑过导航项，字体可以部分是黑色，不分是白色，这种效果的实现感兴趣的可以关注下我的系列课程【we…...

编程日记 2025/6/25 22:58:31

(RHCE)工程师学习考证

如果你像我一样，非科班出身且对 IT 行业知识储备几乎为零，却立志考取 RHCE 红帽工程师证书，那么以下这份学习教程或许能助你一臂之力。首先，要对 RHCE 有个基本的认识。RHCE 是红帽企业级 Linux 认证，它侧重于实际操作…...

编程日记 2025/6/27 10:20:55

Nuxt3 axios封装使用axios接口请求

一、先安装axios npm install add axios 封装请求request.ts文件 import axios from axios import { ElMessage, Message } from "element-plus" import {getToken} from ./token.js const service axios.create({baseURL:/api,//本地使用 }) service.interceptor…...

编程日记 2025/6/27 3:44:40

东方通TongWeb替换Tomcat的踩坑记录

一、背景由于信创需要，原来项目的用到的一些中间件、软件都要逐步替换为国产品牌，决定先从web容器入手，将Tomcat替换掉。在网上搜了一些资料，结合项目当前情况，考虑在金蝶AAS和东方通TongWeb里面选择，后又…...

编程日记 2025/6/23 7:51:14

引用类型集合的深拷贝，无需手动写循环：Apache Commons Lang (SerializationUtils)

在java中，我们如果想要对引用类型的集合进行深拷贝。有一种方式，就是调用SerializationUtils Apache Commons Lang (SerializationUtils) Apache Commons Lang 提供了 SerializationUtils 类，可以利用 Java 的序列化机制来进行集合及其元素…...

编程日记 2025/6/26 18:30:26

高阶函数：JavaScript 编程中的魔法棒

在JavaScript的世界里，高阶函数是一种强大的工具，它允许我们将函数作为参数传递或将函数作为返回值。这种特性使得JavaScript代码更加灵活和强大。本文将深入探讨高阶函数的定义、用法以及在实际项目中的最佳实践，帮助大家更好地理解和应用这…...

编程日记 2025/6/20 20:11:55

HuggingGPT Solving AI Tasks with ChatGPT and its Friends in Hugging Face 论文解读

1. 引言近年来，大型语言模型（LLMs）如ChatGPT在自然语言处理领域取得了惊人的进展，展现出强大的语言理解、生成和推理能力。然而，当前的LLMs仍然存在一些局限性，例如无法处理复杂信息（如视觉和…...

编程日记 2025/6/2 4:01:20

使用 ADB (Android Debug Bridge) 工具来截取 Android 设备的屏幕截图

可以使用 ADB (Android Debug Bridge) 工具来截取 Android 设备的屏幕截图。以下是具体的操作步骤： 1. 连接设备确保 Android 设备通过 USB 或网络连接到电脑，并运行以下命令检查连接状态： adb devices2. 截取屏幕截图运行以下命令将设…...

编程日记 2025/6/26 1:12:45

router.resolve 方法

router.resolve 方法在前端路由库（如 Vue Router）中用于解析路由信息。它接受一个路由对象或路径，并返回一个包含解析后的路由信息的对象。这个对象通常包含 href、route、location 等属性。用法总结方法签名： router.resolve(…...

编程日记 2025/6/25 5:05:00

linux 安装 Jenkins 教程

前言 Jenkins 是一个开源的自动化服务器，广泛用于持续集成（Continuous Integration，CI）和持续交付（Continuous Delivery，CD）领域。它帮助开发者自动化软件构建、测试、部署等过程，从…...

编程日记 2025/6/24 14:52:09

Vue3 使用 render 渲染函数透传组件

背景我们透传组件的时候可能会用 slot，本文讲述的是另一种方式 props render 函数方式。当然具体的看业务场景。实现父组件 <AComp customComponent: () > {return h(UserAuthorization) }> </AComp>子孙组件 // 定义 render 组件&#xff…...

编程日记 2025/6/23 16:17:51

MongoDB 分片

MongoDB 分片 MongoDB 分片是一种数据库架构，用于将大量数据分布存储在多个服务器上。这种设计允许数据库扩展，以处理大量数据和高吞吐量操作。分片通过将数据集分割成小块，称为分片，并将这些分片分布到多个服务器上来工作。每个…...

编程日记 2025/6/26 20:49:35

Chrome webdriver下载-避坑

WebDriver以原生的方式驱动浏览器，不需要调整环境变量。一、window版 1.chrome和chromedriver下载地址： Chrome for Testing availability 我下载的是如下两个安装包，解压即可。 2.导包 pip install selenium然后用python代码引用即可…...

编程日记 2025/6/24 23:35:35

【MFC】如何读取rtf文件并进行展示

tf是微软的一个带格式的文件，比word简单，我们可以用写字板等程序打开编辑。下面以具体实例讲解如何在自己程序中展示rtf文件。首先使用VS2022创建一个MFC的工程。 VIEW类需要选择richview类，用于展示，如下图： 运行效…...

编程日记 2025/6/23 12:14:38

基于wifipumpkin3的AP伪造

一、软硬件需求利用wifipumpkin-3进行AP伪造需要kali系统，还需要一张支持在kali的环境下能够支持AP伪造的无线网卡，如果是针对特定的无线网的话，再来第二张网卡的话更好用来转发流量更好。对于wifipumpkin-3的安装使用可以分为两种方式&…...

编程日记 2025/6/26 12:42:47

docker xxxx is using its referenced image ea06665f255d

Error response from daemon: conflict: unable to remove repository reference “registrxxxxxx” (must force) - container 9642fd1fd4a0 is using its referenced image ea06665f255d 这个错误表明你尝试删除的镜像正在被一个容器使用，因此无法删除。要解决这…...

编程日记 2025/6/26 1:22:09

svm支持向量机

支持向量机（SVM） 1. SVM 的核心思想支持向量机（Support Vector Machine, SVM）是一种监督学习算法，用于分类和回归任务。其目标是找到一个超平面，将数据点分为不同类别，同时最大化分类间隔&a…...

编程日记 2025/6/4 2:50:26

MySQL数据类型

MySQL数据库中的常用数据类型数值型： ①整型 ②小数类型定点型浮点型字符型： ①短的文本:char varchar ②长的文本:text blob(二进制) 日期型 ①数值型整数应该知道的知识点 ①设置无符号和有符号 create table t_int( t1 int; #②默认有符…...

编程日记 2025/6/26 16:35:12

【深度学习】热力图绘制

热力图（Heatmap）是一种数据可视化方法，通过颜色来表示数据矩阵中的数值大小，以便更直观地展示数据的分布和模式。热力图在许多领域中都有应用，尤其在统计分析、机器学习、数据挖掘等领域，能够帮助我们快速识…...

编程日记 2025/6/26 8:04:52

高效Python开发工具PyCharm v2024.3全新发布，进一步提升编码体验！

JetBrains PyCharm是一种Python IDE，其带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具。此外，该IDE提供了一些高级功能，以用于Django框架下的专业Web开发。立即获取PyCharm v2024.3正式版 Python 针对dataclass_transfor…...

编程日记 2025/6/24 21:26:02

Ubuntu 安装 Samba Server

在 Mac 上如何能够与Ubuntu 服务器共享文件夹，需要在 Ubuntu 上安装 Samba 文件服务器。本文将介绍如何在 Ubuntu 上安装 Samba 服务器从而达到以下目的： Mac 与 Ubuntu 共享文件通过用户名密码访问安装 Samba 服务 sudo apt install samba修改配置文…...

编程日记 2025/6/25 7:13:28

WPF 实现鼠标点击取消 TextBox 光标

WPF 实现鼠标点击取消 TextBox 光标原始需求：TextBox 控件光标取消后运行特定功能函数所遇问题：若无相关事件，则除了点击其他控件等方式外，无法准确取消光标解决思路：通过捕获 TextBox 控件外鼠标点击或鼠标移…...

编程日记 2025/6/21 5:45:16

cron服务执行定时任务

参考链接 cron表达式在线解析：quartz/Cron/Crontab表达式在线生成工具-BeJSON.com 定时任务运行时报错解决方法运行脚本报权限不够问题： 可以在脚本文件夹下直接执行如下指令运行RequestAPI.sh 脚本 ./RequestAPI.sh 如果出现权限不够问…...

编程日记 2025/6/25 21:09:59

Go 语言与时间拳击理论下的结对编程：开启高效研发编程之旅

一、引言结对编程作为一种软件开发方法，在提高代码质量、增强团队协作等方面具有显著优势。而时间拳击理论为结对编程带来了新的思考角度。本文将以 Go 语言为中心，深入探讨时间拳击理论下的结对编程。在当今软件开发领域，高效的开发方法和…...

编程日记 2025/6/27 19:40:47

【收藏】Cesium 限制相机倾斜角(pitch)滑动范围

1.效果 2.思路在项目开发的时候，有一个需求是限制相机倾斜角，也就是鼠标中键调整视图俯角时，不能过大，一般 pitch 角度范围在 0 至 -90之间，-90刚好为正俯视。在网上查阅了很多资料，发现并没有一个合适的…...

编程日记 2025/6/26 22:38:38

PostgreSQL的学习心得和知识总结（一百六十四）|深入理解PostgreSQL数据库之在 libpq 中支持负载平衡

目录结构注：提前言明本文借鉴了以下博主、书籍或网站的内容，其列表如下： 1、参考书籍：《PostgreSQL数据库内核分析》 2、参考书籍：《数据库事务处理的艺术：事务管理与并发控制》 3、PostgreSQL数据库仓库…...

编程日记 2025/6/23 5:01:18

TÜLU 3: Pushing Frontiers inOpen Language Model Post-Training

模型：https://huggingface.co/allenai 技术报告：https://allenai.org/papers/tulu-3-report.pdf 数据集：https://huggingface.co/collections/allenai/tulu-3-datasets-673b8df14442393f7213f372 GitHub：https://github.com/al…...

编程日记 2025/6/22 7:00:57

Pytest-Bdd-Playwright 系列教程（14）：Docstring 参数

Pytest-Bdd-Playwright 系列教程（14）：Docstring 参数前言一、什么是docstring?二、基本语法三、主要特点四、实际例子五、注意事项六、使用建议总结前言在自动化测试的过程中，我们经常需要处理复杂的测试数据或需要输入多行文…...

编程日记 2025/6/24 8:06:25

Docker部署WebRTC-Streamer

文章目录 WebRTC-Streamer概述Docker部署WebRTC-StreamerVue使用WebRTC-Streamer一些问题 WebRTC-Streamer概述 WebRTC-Streamer是一个基于WebRTC技术的流媒体传输工具，它可以通过Web浏览器实现实时音视频流的传输和播放。它提供了一种简单而强大的方式&#xff…...

编程日记 2025/6/25 5:27:20

linux-16 关于shell（十五）date，clock，hwclock，man，时间管理，命令帮助

想显示一下当前系统上的时间该怎么显示？有一个命令叫做date，来看date命令，如下图， 第一个星期几对吧？然后是月日小时分钟秒，最后一个是年对吧？CST指的是它的时间格式，我这个可以先姑…...

编程日记 2025/6/24 23:00:11

厦门凯酷全科技有限公司深耕抖音电商运营

在数字经济飞速发展的今天，抖音电商平台以其独特的社交属性和庞大的用户基础，迅速成为众多品牌和商家的新战场。在这个充满机遇与挑战的市场中，厦门凯酷全科技有限公司凭借其专业的服务、创新的理念和卓越的执行力，成为了抖音电商…...

编程日记 2025/5/29 6:53:26

C++多线程实战：掌握图像处理高级技巧

文章结尾有最新热度的文章，感兴趣的可以去看看。本文是经过严格查阅相关权威文献和资料，形成的专业的可靠的内容。全文数据都有据可依，可回溯。特别申明：数据和资料已获得授权。本文内容，不涉及任何偏颇观点，用中立态度客观事实描述事情本身导读在当今的计算世界中，…...

编程日记 2025/6/23 22:14:51

CityEngine实践——常用cga文件解析系列（2）

上回书说到了： 3、RULES/COMPONENTS/MASSING/SUBURBAN_BLOCK DETACHED_HOUSES.CGA ROWHOUSES.CGA SEMI_DETACHED_HOUSES.CGA 4、RULES/COMPONENTS/MASSING/URBAN_BLOCK MONOBLOCK.CGA PERIMETER_8_SHAPE.CGA PERIMETER_MULTIPART.CGA 这个cga挺有意思&#xff0c…...

编程日记 2025/6/22 20:19:46

【人工智能】因果推断与数据分析：用Python探索数据间的因果关系

解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界因果推断是数据科学领域的一个重要方向，旨在发现变量间的因果关系，而不仅仅是相关性。本篇文章将从因果推断的理论基础出发，介绍因果关系的定义与建模方法，涵盖因果图（Causal Graph）、d-分离、反事实估计等…...

编程日记 2025/6/26 8:19:58

depth wisepoint wise

文章目录 1. Description2. code 1. Description point wise 1. function: for the separated pixel without pixel confusion 2. kernel size : 3x3 ,star matrix [[0,0,0],[0,1,0],[0,0,0]] depth wise 1. fuction: for the separated channel without channel confusion 2.…...

编程日记 2025/6/24 17:52:10

相关文章：