当前位置：首页 > news >正文

第十八天 - ELK日志体系集成 - 自定义Logstash插件 - 练习：分布式日志分析平台

news 来源：原创 2025/9/14 2:40:31

前言

在分布式系统和微服务架构中，日志管理是监控系统健康、排查故障的核心环节。ELK（Elasticsearch、Logstash、Kibana）作为业界领先的日志分析解决方案，能够实现日志采集、处理、存储与可视化的全链路管理。本文将手把手带你掌握ELK体系的集成方法、Logstash插件开发技巧，并通过实战构建一个企业级分布式日志分析平台。

一、ELK日志体系深度解析

1.1 核心组件架构

ELK技术栈由三大组件构成：

Logstash：日志收集与处理管道（支持200+插件）
Elasticsearch：分布式搜索与分析引擎
Kibana：数据可视化与仪表盘平台

1.2 快速部署实践

1.2.1 Docker Compose部署（单节点）

version: '3'  
services:  elasticsearch:  image: elasticsearch:8.5.1  ports:  - "9200:9200"  environment:  - discovery.type=single-node  logstash:  image: logstash:8.5.1  ports:  - "5044:5044"  volumes:  - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf  kibana:  image: kibana:8.5.1  ports:  - "5601:5601"

1.2.2 Logstash基础配置

# logstash.conf  
input {  file {  path => "/var/log/nginx/access.log"  start_position => "beginning"  }  
}  filter {  grok {  match => { "message" => "%{COMBINEDAPACHELOG}" }  }  date {  match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]  }  
}  output {  elasticsearch {  hosts => ["elasticsearch:9200"]  index => "nginx-logs-%{+YYYY.MM.dd}"  }  
}

二、自定义Logstash插件开发

2.1 插件开发场景

当遇到以下需求时需自定义插件：

解析特殊日志格式（如二进制协议）
对接私有日志存储系统
实现定制化数据处理逻辑

2.2 开发环境搭建

# 安装插件生成工具  
bin/logstash-plugin generate --type filter --name ip_geo --path ./plugins  # 目录结构  
plugins/  
└── logstash-filter-ip_geo  ├── lib  │   └── logstash  │       └── filters  │           └── ip_geo.rb  ├── CHANGELOG.md  └── Gemfile

2.3 实现IP地理位置过滤插件

# ip_geo.rb  
require "logstash/filters/base"  
require "maxminddb"  class LogStash::Filters::IpGeo < LogStash::Filters::Base  config_name "ip_geo"  # 配置参数  config :source, :validate => :string, :required => true  config :database, :validate => :string, :default => "/GeoLite2-City.mmdb"  public  def register  @geoip = MaxMindDB.new(@database)  end  public  def filter(event)  ip = event.get(@source)  return unless ip  result = @geoip.lookup(ip)  return unless result.found?  event.set("[geo][country]", result.country.name)  event.set("[geo][city]", result.city.name)  event.set("[geo][location]", [result.location.longitude, result.location.latitude])  filter_matched(event)  end  
end

2.4 插件使用示例

filter {  ip_geo {  source => "client_ip"  database => "/etc/logstash/GeoLite2-City.mmdb"  }  
}

三、实战：分布式日志分析平台

3.1 场景需求

采集10+微服务的结构化日志
实时分析错误日志并触发告警
可视化展示API请求趋势与地理分布

3.2 架构设计

+----------------+      +---------------+      +-----------------+  
|  微服务集群    |      |   Kafka       |      |  Elasticsearch  |  
|  - App1~AppN   +----->  消息队列      +----->   集群（3节点）   |  
+----------------+      +-------+-------+      +--------+--------+  |                       |  +-------v-------+        +------v------+  |  Logstash     |        |  Kibana     |  | 处理集群      |        | 可视化平台  |  +---------------+        +-------------+

3.3 关键配置实现

3.3.1 日志采集端（Filebeat）

# filebeat.yml  
output.kafka:  hosts: ["kafka1:9092", "kafka2:9092"]  topic: "app-logs"  codec.json:  pretty: false

3.3.2 Logstash处理管道

input {  kafka {  bootstrap_servers => "kafka1:9092,kafka2:9092"  topics => ["app-logs"]  codec => json  }  
}  filter {  # 统一时间戳格式  date {  match => [ "timestamp", "ISO8601" ]  }  # 错误日志标记  if [level] == "ERROR" {  mutate { add_tag => ["error"] }  }  
}  output {  if "error" in [tags] {  elasticsearch {  hosts => ["es1:9200", "es2:9200"]  index => "error-logs-%{+YYYY.MM}"  }  # 触发告警到Slack  http {  url => "https://hooks.slack.com/services/xxx"  http_method => "post"  format => "json"  message => '{"text":"Error occurred: %{message}"}'  }  }  elasticsearch {  hosts => ["es1:9200", "es2:9200"]  index => "app-logs-%{+YYYY.MM.dd}"  }  
}

3.3.3 Kibana仪表盘配置

错误趋势图：
- 使用Lens可视化，按时间聚合错误日志数量
地理分布图：
- 使用Maps功能展示客户端IP地理位置
字段统计表：
- Data Table展示TOP 10错误类型

四、高级优化与安全加固

4.1 性能调优技巧

Elasticsearch优化：

# elasticsearch.yml  
thread_pool.write.queue_size: 1000  
indices.memory.index_buffer_size: 30%

Logstash管道并行：

pipeline.workers: 8  
pipeline.batch.size: 125

4.2 安全防护方案

传输加密：

# 生成SSL证书  
bin/elasticsearch-certutil ca

权限控制：

# 创建角色  
POST /_security/role/log_reader  
{  "indices": [  {  "names": ["app-logs-*"],  "privileges": ["read"]  }  ]  
}

五、常见问题排查指南

5.1 日志采集失败

检查步骤：
1. 确认Filebeat进程状态
2. 查看Kafka主题消息堆积情况
3. 验证Logstash输入插件配置

5.2 数据未写入ES

诊断命令：

# 检查索引是否存在  
curl http://es1:9200/_cat/indices?v  # 查看写入错误日志  
tail -f /var/log/logstash/logstash-plain.log

5.3 查询性能低下

优化方案：
1. 使用Hot-Warm架构分离新旧数据
2. 对常用查询字段添加索引
3. 启用分片请求缓存

结语

通过本文的学习，您已掌握ELK体系的集成方法、Logstash插件开发技巧，并能够构建企业级分布式日志平台。建议在生产环境中逐步实施以下优化：

日志规范化：制定统一的日志格式标准
生命周期管理：设置索引滚动删除策略
智能化扩展：结合机器学习进行异常检测

第十八天 - ELK日志体系集成 - 自定义Logstash插件 - 练习：分布式日志分析平台

前言在分布式系统和微服务架构中，日志管理是监控系统健康、排查故障的核心环节。ELK（Elasticsearch、Logstash、Kibana）作为业界领先的日志分析解决方案，能够实现日志采集、处理、存储与可视化的全链路管理。本文将手把手带你掌…...

编程日记 2025/9/14 2:40:31

HBuilderX中uni-app打包Android（apk）全流程超详细打包

一、Android生成打包证书 1、Android平台签名证书(.keystore)生成指南_android 签名生成-CSDN博客（如果不上架应用商店可以跳过，可以使用云端证书） 二、打开manifest.json配置基础设置三、配置安卓应用图标四、配置安卓启动页图片五、…...

编程日记 2025/9/14 1:30:42

CTF web入门之命令执行

web29 文件名过滤由于flag被过滤，需要进行文件名绕过，有以下几种方法： 1.通配符绕过 fla?.* 2.反斜杠绕过 fl\ag.php 3.双引号绕过 fl’‘ag’.php 还有特殊变量$1、内联执行等此外读取文件利用cat函数，输出利用system、passthru 、echo echo `nl flag.php`; ec…...

编程日记 2025/9/9 6:45:43

安宝特案例 | 某户外机房制造企业应用AR+作业流，规范制造过程，记录施工节点，保障交付质量

行业特点：产品客制化、依赖人工，工程量大、细节多，验收困难户外通讯机房无疑是现代工业社会的“信息心脏”，承载着信息交换、传输与处理的重任。建设一座质量过关的户外通讯机房是保障通信稳定运行的基石。通常建设一个户外通信…...

编程日记 2025/9/9 15:35:04

学习MySQL的第八天

海到无边天作岸山登绝顶我为峰一、数据库的创建、修改与删除 1.1 引言在经过前面七天对于MySQL基本知识的学习之后，现在我们从基本的语句命令开始进入综合性的语句的编写来实现特定的需求，从这里开始需要我们有一个宏观的思想&…...

编程日记 2025/9/13 19:52:10

ESP8266 采集 DHT11 和 DS18B20 温湿度数据 MQTT 上传至 Home Assistant

ESP8266 采集 DHT11 和 DS18B20 温湿度数据 MQTT 上传至 Home Assistant DHT11 采集 DHT11 温湿度数据并通过 MQTT 联网上传至 Home Assistant 智能家居平台； Arduino 代码 #include <ESP8266WiFi.h> #include <PubSubClient.h> #include <Ardui…...

编程日记 2025/9/6 22:28:21

三、TorchRec中的Optimizer

TorchRec中的Optimizer 文章目录 TorchRec中的Optimizer前言一、嵌入后向传递与稀疏优化器融合如下图所示：二、上述图片的关键步骤讲解：三、优势四、与传统优化器对比总结前言 TorchRec 模块提供了一个无缝 API，用于在训练中融合后向传递和…...

编程日记 2025/9/12 9:54:56

操作系统 4.1-I/O与显示器

外设工作起来操作系统让外设工作的基本原理和过程，具体来说，它概括了以下几个关键步骤： 发出指令：操作系统通过向控制器中的寄存器发送指令来启动外设的工作。这些指令通常是通过I/O指令（如out指令）来实现…...

编程日记 2025/9/9 12:45:13

Qt 5.14.2 入门（三）基本知识理解

目录一、新建项目后生成的三个文件的作用和内容1、.h文件：头文件（如mainwindow.h）2、.cpp文件：源文件（如mainwindow.cpp）3、main.cpp：主程序二、信号和槽机制1、信号(Signal)2、槽(Slot)3、连…...

编程日记 2025/9/13 18:04:24

Java中常见的设计模式

Java中常见的设计模式 Java 中有 23 种经典设计模式，通常被分为三大类：创建型、结构型和行为型。每个设计模式都解决了不同类型的设计问题。以下是几种常见设计模式的总结，并附带了实际应用场景、示例代码和详细的注释说明。一、创建型设计…...

编程日记 2025/9/13 3:30:24

nltk 是怎么和 Transformers（比如 BERT 模型）联动来处理文本的

🧠 一句话解释nltk： nltk 是一个用于自然语言处理（NLP）的 Python 库，功能包括分词、词性标注、命名实体识别、文本分类等。全称是：Natural Language Toolkit（自然语言工具包） &…...

编程日记 2025/9/8 0:14:19

项目日志配置模板示例

1.新增application.properties配置 logging.configclasspath:logback-spring.xml spring.profiles.activedev 将项目部署到服务器时需要将dev修改为test后再进行打包部署 2.新增logback-spring.xml <?xml version"1.0" encoding"UTF-8"?> <…...

编程日记 2025/9/11 13:42:51

sql server统计小时数据中每日最大风速及风速对应的风向

客户提出一个需求，有历年逐小时的风速、风向资料，想获取历年最大的风速及风速对应的风向值，通过sql 怎么实现，这个统计，我认为主要考虑一个问题，就是数据重复性，所以我采用以下方法实现&#xf…...

编程日记 2025/9/10 18:35:32

【SQL】MySql常见的性能优化方式

MySQL性能优化的常用方式及对比说明一、引言二、MySQL性能优化的常用方式及对比说明1. 索引优化1.1 合理创建索引1.2 覆盖索引1.3 索引下推 2. SQL语法优化2.1 避免低效操作2.2 分页优化2.3 JOIN优化 3. 配置与架构优化3.1 参数调优3.2 读写分离与分库…...

编程日记 2025/9/13 10:23:59

Prometheus实现负载均衡并将多个实例数据汇总到一个主Prometheus

一、Prometheus实现负载均衡策略原理要实现 Prometheus 的负载均衡并将多个 Prometheus 实例的数据汇总到一个主 Prometheus 实例中，可以结合 Prometheus 联邦（Federation） 和负载均衡器来进行配置。这种方法的核心是在主 Prometheus 实例…...

编程日记 2025/9/13 22:01:31

力扣 — — 最长公共子序列

力扣 — — 最长公共子序列最长公共子序列题源：1143. 最长公共子序列 - 力扣（LeetCode） 题目： 分析： 一道经典的题目：最长公共子序列(LCS) 题目大意：求两个字符串的最长公共序列。算法&…...

编程日记 2025/9/12 12:55:31

通过AWS EKS 生成并部署容器化应用

今天给大家分享一个实战例子，如何在EKS上创建容器化应用并通过ALB来发布。先介绍一下几个基本概念： IAM, OpenID Connect (OIDC) 2014 年，AWS Identity and Access Management 增加了使用 OpenID Connect (OIDC) 的联合身份支持。此功能允许…...

编程日记 2025/9/9 2:58:57

GNSS静态数据处理

1 安装数据处理软件：仪器之星（InStar ）和 Trimble Business Center 做完控制点静态后，我们需要下载GNSS数据，对静态数据进行处理。在处理之前需要将相关软件在自己电脑上安装好： 仪器之星（InS…...

编程日记 2025/9/11 13:03:54

NVIDIA H100 vs A100：新一代GPU架构性能对比分析

一、核心架构演进对比 ‌Ampere架构（A100）‌采用台积电7nm工艺，集成540亿晶体管，配备6,912个CUDA核心和432个第三代Tensor Core，支持FP16、TF32和INT8精度计算。其显存子系统采用HBM2e技术，80GB版本带宽可…...

编程日记 2025/9/9 15:04:56

AI图像生成

要通过代码实现AI图像生成，可以使用深度学习框架如TensorFlow、PyTorch或GANs等技术。下面是一个简单的示例代码，演示如何使用GANs生成手写数字图像： import torch import torchvision import torchvision.transforms as transforms import …...

编程日记 2025/9/8 16:23:54

计算机考研一战上岸宁波大学经验分享

目录话不多说先上分数个人介绍政治英语二数学二 408 复试话不多说先上分数初试排名15/65 复试79.81分，复试排名13/65 总成绩13/65，研招网招考50人 （均为公开数据，非泄露复试信息） 个人介绍本人山东…...

编程日记 2025/9/11 22:44:46

泛微ECOLOGY9 记数据展现集成自定义开窗测试中对SQL 的IN语法转换存在BUG

背景搭建流程时，需将明细表1中的合同字段供明细表2中的合同开窗查询使用。最终实现如下图： 选择发票号时，自动带出明细表1中的采购合同号清单，然后在明细表2中开窗采购合同号时，只跳出明细表1中有的采购合同号&am…...

编程日记 2025/9/12 17:45:59

【Nginx】Nginx代理Tomcat配置及404问题解决

当Tomcat返回HTTP 404未找到错误时，可以通过以下两种方式设置跳转到指定地址： ① 在Tomcat应用内部配置错误页面跳转（直接修改Tomcat的Web应用配置） ② 在Nginx反向代理层拦截404错误并跳转（无需修改Tomcat&#xff0c…...

编程日记 2025/9/11 4:51:31

【Vue】案例——To do list：

【Vue】案例——To do list： 一、案例介绍：二、效果展示（如图）三、主要功能：四、技术要点：补充：【Vue】Vue模板语法(点击可跳转)补充：【Vue】数据绑定（单双向&#xff09…...

编程日记 2025/9/13 5:09:52

JVM不同环境不同参数配置文件覆盖

背景需要在启动Java服务并且参数不同的场景，例如端口号在yml中的配置是这样的： server:port: 9100 覆盖配置对应JVM参数： java -jar xxxx.jar -Dserver.port12306 [JVM其他参数] 这样12306就会覆盖掉9100端口的配置作为启动配置 IDE…...

编程日记 2025/9/10 4:40:38

游戏引擎学习第215天

总结并为今天做铺垫今天的工作内容是解决调试系统中的一个小问题。昨天我们已经完成了大部分的调试系统工作，但还有一个小部分没有完全处理，那就是关于如何层次化组织数据的问题。我们遇到的一个问题是，演示代码中仍有一个尚未解决的部分&a…...

编程日记 2025/9/10 22:25:40

C语言--求n以内的素数（质数）

求n以内的素数，可以用试除法或者埃拉托斯特尼筛法（埃氏筛法） 输入：数字n 输出：n以内所有的素数不管是哪个方法，都有一个数学结论可以减少循环次数： 如果有一个数不是质数，那么它至…...

编程日记 2025/9/13 21:58:57

多版本go冲突问题

今天执行go build时遇到一个报错： compile: version “go1.22.7 (Red Hat 1.22.7-1.moduleel8.10.0700fd5cfc7a)” does not match go tool version “go1.23.4” 结果一查 which -a go 发现当前系统居然有四个不同的位置都安装了go 于是先看go version&#xf…...

编程日记 2025/9/13 5:06:21

Windows 10系统出现无法使用键鼠的问题

有一位系统之家的小伙伴在升级Windows 10系统电脑的时候，出现键盘鼠标不能正常工作打问题，其实，遇到这个问题，有时只需重新启动计算机或断开连接并重新连接鼠标或键盘可以提供帮助，如果没有，可以看看下面系…...

编程日记 2025/9/7 7:51:03

NFC 数据传输

前言初次接触NFC协议，很多人都会感觉困惑，搜索相关资料，大多数都介绍协议的理论及应用领域，数据传输的内容却很少，但对与开发人员来说，除了理论知识外，数据传输也是非常重要环节，尤…...

编程日记 2025/9/13 20:24:51

基于Streamlit的智能创业计划生成器开发实践

一、应用概述在数字经济时代，创业者亟需高效工具进行系统化的商业规划。本文介绍的智能创业计划生成器基于Streamlit框架构建，整合了财务建模、时间轴规划、智能文档生成等核心功能。该工具通过模块化设计实现了九大创业要素的系统化配置，显…...

编程日记 2025/9/13 20:16:07

蓝桥杯单片机刷题——按键控制距离显示精度

设计要求驱动超声波传感器，启动距离测量功能,并将其结果显示到数码管上，距离数据单位为m。按键“S4”定义为“切换”按键，通过此按键切换距离的显示精度（一位或两位小数）。切换顺序如图所示。数码管显示格式如下图…...

编程日记 2025/9/7 8:41:03

c++拷贝构造函数（深浅拷贝）+运算符重载

1拷贝构造函数 1.1定义只有一个形参，且该形参是对本类类型对象的引用（一般用const 修饰），在用已经存在的类类型对象穿件新对象是由编译器自动调用。（是一种特殊构造，即初始化一个一模一样的新对象&#…...

编程日记 2025/9/7 8:41:02

操作系统 3.5-内存换入-请求调页

案例分析内存换入内存换入分析： 内存换入（Swapping）是指操作系统将不常使用的内存页从物理内存（RAM）移动到磁盘上的交换空间（Swap Space），以释放物理内存供其他进程使用。当需要访…...

编程日记 2025/9/7 8:41:00

stm32工程,拷贝到另一台电脑编译,错误提示头文件找不到cannot open source input file “core_cm4.h”

提示 cannot open source input file “core_cm4.h” ,找不到 [ core_cm4.h ] 这个头文件 . 于是我在原电脑工程文件里找也没有找到这个头文件接下来查看原电脑keil的头文件引入配置,发现只引入了工程文件下的头文件, 那么core_cm4.h到底哪里来的? (到现在我也不清楚怎…...

编程日记 2025/9/7 8:40:59

使用platformio如何定位hard fault错误

这里写自定义目录标题前言过程记录结语前言 hard fault是单片机开发过程中经常会遇到的问题，通常是内存溢出、野指针访问等导致，对于有经验的工程师，在代码改动不大的情况下，一般可以通过代码审查定位到问题原因，但也有很多情况下需要借助调试工具进行定位，像Keil就有比…...

编程日记 2025/9/7 8:40:57

全局异常处理器的基本使用

那使用全局异常处理器可以么？ 是的，使用全局异常处理器是一个非常好的选择，因为它可以将异常处理逻辑集中化，避免在 Service 层或 Controller 层中重复编写异常处理代码。以下是使用全局异常处理器来处理添加用户时 username 唯一…...

编程日记 2025/9/11 6:34:17

python入门：简单介绍和python和pycharm软件安装/学习网址/pycharm设置（改成中文界面，主题，新建文件）

Python 目前是 AI 开发的首选语言软件安装 python解释器官网下载 Python |Python.org 勾选 Add python.exe to PATH 将python.exe添加到PATH 勾选这个选项会将Python的可执行文件路径添加到系统的环境变量PATH中。这样做的好处是，你可以在命令行中从任何位置直…...

编程日记 2025/9/11 10:29:43

众趣科技助力商家“以真示人”，让消费场景更真实透明

在当今的消费环境中，消费者权益保护问题日益凸显。无论是网购商品与实物不符、预定酒店民宿与图文描述差异大，还是游览景区遭遇“照骗”，这些问题不仅让消费者在消费和决策过程中倍感困扰，也让商家面临信任危机。消费者在享受便…...

编程日记 2025/9/7 8:40:52

【Redis】string类型

目录 1、介绍2、底层实现【1】SDS【2】int编码【3】embstr编码【4】raw编码【5】embstr和raw的区别 3、常用指令【1】字符串基本操作：【2】批量操作【3】计数器【4】过期时间【5】不存在就插入 4、使用场景 1、介绍 string是redis中最简单的键值对形式，…...

编程日记 2025/9/7 8:40:50

EPLAN许可证更新教程

随着电气设计软件的不断更新和优化，确保您的EPLAN许可证始终是最新版本对于顺畅的项目管理至关重要。本文将为您提供一份详尽的EPLAN许可证更新教程，帮助您轻松完成更新操作，确保您的软件始终保持最佳状态。一、为什么需要更新EPLAN许可证&…...

编程日记 2025/9/11 13:05:05

学习笔记五——Rust 控制流全解析

📚 目录什么是控制流？Rust 有什么特别？if 表达式完整语法loop / while / for 三种循环写法match 表达式 _ 通配符深入解释if let 表达式用法与场景Option、Some、None 全面通俗讲解 "Tom" 和 "Tom".to_string() 有啥本…...

编程日记 2025/9/12 0:38:20

远程桌面协议(RDP)详解：原理、优势与局限和优化方案分享

文章目录导言一. RDP的工作原理二. RDP的优势三. RDP的局限性四. RDP的优化与替代方案五. 内网穿透远程访问总结导言远程桌面协议(RDP)是一种微软开发的专有协议，允许用户通过网络连接到另一台计算机，并像操作本地计算机一样进行操作。它广泛应用于远…...

编程日记 2025/9/12 1:14:51

Linux 系统管理常用命令

以下是 Linux 系统管理常用命令的详细介绍，涵盖 IP地址查看、端口管理、进程监控等核心操作，并附上实际示例： 一、查看网卡 IP 地址 1. 使用 ip 命令 # 查看所有网络接口信息（包括 IP 地址） ip addr show# 查看特定…...

编程日记 2025/9/9 4:21:42

蓝桥杯篇---客观题

文章目录前言前言本文简单介绍了蓝桥杯中客观题各个部分的知识点。一、单片机相关 IAP15F2K61S2单片机的定时器0具有4种工作模式，当采用外部12MHz晶振时，定时器最大定时长度65535us。8051单片机的P0口，当使用外部存储器时它是一个传输低…...

编程日记 2025/9/7 8:40:41

RK3568 基于Gstreamer的多媒体调试记录

文章目录 1、环境介绍2、概念理清3、提前准备4、GStreamer编译5、GStreamer基础介绍6、视频播放初体验7、视频硬编码7.1、h2647.2、h265 8、视频硬解码8.1、解码视频并播放解码视频并播放带音频 1、环境介绍硬件：飞凌ok3568-c开发板软件：原厂rk356x …...

编程日记 2025/9/10 18:23:23