当前位置：首页 > news >正文

使用 ELK 实现全链路追踪：从零到一的实践指南

news 来源：原创 2025/5/28 8:50:18

前言

在现代分布式系统中，随着服务数量的增加，系统的复杂性也呈指数级增长。为了快速定位问题、分析性能瓶颈，全链路追踪成为一项必不可少的能力。本文将详细介绍如何利用 ELK（Elasticsearch + Logstash + Kibana） 实现全链路追踪，并结合实际代码和 UML 图帮助您更好地理解。

什么是全链路追踪？

全链路追踪是一种技术手段，用于跟踪一个请求在整个分布式系统中的流转过程。它可以帮助开发者：

快速定位问题。
分析请求耗时和性能瓶颈。
监控系统健康状况。

常见的全链路追踪工具有 Jaeger、Zipkin 和 SkyWalking，但 ELK 同样可以胜任这一任务，尤其是在日志驱动的场景下。

ELK 在全链路追踪中的角色

ELK 是一个强大的日志处理工具栈，包括以下组件：

Elasticsearch：存储和检索日志数据。
Logstash：负责日志的收集、过滤和转发。
Kibana：提供可视化界面，展示日志和指标。

通过 ELK，我们可以实现：

日志的统一收集。
请求链路的关联与追踪。
可视化的监控面板。

实现步骤

1. 系统架构设计

首先，我们设计一个简单的分布式系统架构，包含以下几个服务：

Gateway Service：网关服务，接收用户请求并分发到下游服务。
Order Service：订单服务，处理订单相关的业务逻辑。
Inventory Service：库存服务，处理库存扣减逻辑。

以下是系统的架构图（UML 部署图）：

每个服务都会生成日志，并通过唯一的 Trace ID 关联整个请求链路。

2. 添加 Trace ID 到日志

为了实现全链路追踪，我们需要为每个请求分配一个全局唯一的 Trace ID，并在服务间传递。以下是具体实现步骤：

2.1 在 Gateway Service 中生成 Trace ID

import java.util.UUID;public class TraceIdContext {private static final ThreadLocal<String> traceId = new ThreadLocal<>();public static String getTraceId() {return traceId.get();}public static void setTraceId(String id) {traceId.set(id);}public static String generateTraceId() {return UUID.randomUUID().toString();}
}

在网关服务中，为每个请求生成一个 Trace ID 并将其存储到上下文中：

@RestController
public class GatewayController {@GetMapping("/submitOrder")public String submitOrder() {// 生成 Trace IDString traceId = TraceIdContext.generateTraceId();TraceIdContext.setTraceId(traceId);// 调用下游服务callOrderService();return "Order submitted with Trace ID: " + traceId;}private void callOrderService() {// 模拟调用订单服务System.out.println("Calling Order Service with Trace ID: " + TraceIdContext.getTraceId());}
}

2.2 在服务间传递 Trace ID

在 HTTP 请求头中传递 Trace ID，确保下游服务能够获取到相同的 Trace ID。

@RestController
public class OrderController {@PostMapping("/processOrder")public String processOrder(@RequestHeader("X-Trace-ID") String traceId) {TraceIdContext.setTraceId(traceId);// 处理订单逻辑callInventoryService();return "Order processed with Trace ID: " + traceId;}private void callInventoryService() {// 模拟调用库存服务System.out.println("Calling Inventory Service with Trace ID: " + TraceIdContext.getTraceId());}
}

3. 日志格式化与收集

为了方便后续的日志分析，我们需要对日志进行格式化，并确保每条日志都包含 Trace ID。

3.1 配置日志格式

使用 Logback 配置日志格式：

<configuration><appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - TraceID: %X{traceId} - %msg%n</pattern></encoder></appender><root level="info"><appender-ref ref="STDOUT" /></root>
</configuration>

在代码中设置 MDC（Mapped Diagnostic Context）来记录 Trace ID：

import org.slf4j.MDC;public class LoggingUtil {public static void setTraceId(String traceId) {MDC.put("traceId", traceId);}public static void clearTraceId() {MDC.clear();}
}

在每个服务的入口处调用 LoggingUtil.setTraceId()，确保日志中包含 Trace ID。

4. 使用 Logstash 收集日志

Logstash 负责从各个服务中收集日志，并将其发送到 Elasticsearch。

4.1 Logstash 配置文件

创建一个 logstash.conf 文件，定义输入、过滤器和输出：

input {file {path => "/path/to/logs/*.log"start_position => "beginning"}
}filter {grok {match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} \[%{DATA:thread}\] %{LOGLEVEL:level} %{DATA:logger} - TraceID: %{DATA:traceId} - %{GREEDYDATA:message}" }}
}output {elasticsearch {hosts => ["http://localhost:9200"]index => "logs-%{+YYYY.MM.dd}"}
}

5. 使用 Kibana 可视化日志

在 Kibana 中，我们可以创建仪表盘来展示全链路追踪信息。

5.1 创建索引模式

打开 Kibana，进入 Management > Stack Management > Index Patterns。
创建一个新的索引模式，例如 logs-*。

5.2 创建可视化图表

进入 Visualize Library，选择 Lens 或 Discover。
根据 Trace ID 过滤日志，查看某个请求的完整链路。

总结

通过以上步骤，我们成功实现了基于 ELK 的全链路追踪。以下是关键点总结：

Trace ID 是全链路追踪的核心，需要在服务间传递。
日志格式化 确保了日志的可读性和一致性。
Logstash 和 Elasticsearch 提供了强大的日志收集和存储能力。
Kibana 提供了直观的可视化界面，方便问题定位和性能分析。

希望本文能帮助您更好地理解和实现全链路追踪！如果有任何问题，欢迎留言讨论。

使用 ELK 实现全链路追踪：从零到一的实践指南

前言在现代分布式系统中，随着服务数量的增加，系统的复杂性也呈指数级增长。为了快速定位问题、分析性能瓶颈，全链路追踪成为一项必不可少的能力。本文将详细介绍如何利用 ELK（Elasticsearch Logstash Kibana） 实现…...

编程日记 2025/5/28 8:50:18

AI智能体开发实战：从概念到落地的全流程解析

一、AI智能体：重新定义人机协作什么是AI智能体？ AI智能体是具备感知-思考-行动闭环能力的程序实体，能够通过传感器（如文本输入、图像识别）获取信息，基于大模型推理决策，并通过API、机器人等执…...

编程日记 2025/5/26 9:54:31

如何搭建spark yarn 模式的集群

搭建Spark on YARN集群的步骤 Spark on YARN模式允许Spark作业在Hadoop YARN资源管理器上运行，这样可以更好地与Hadoop生态系统集成并共享集群资源。以下是搭建Spark YARN集群的详细步骤： 前提条件已安装并配置好Hadoop集群（包括HDFS和YAR…...

编程日记 2025/5/28 7:51:12

DDoS 攻击如何防护？2025最新防御方案与实战指南

一、DDoS 攻击的致命威胁：你的业务离瘫痪有多近？ 1. 2024 年 DDoS 攻击现状攻击规模：全球日均攻击峰值突破7.2Tbps，混合型攻击占比超 65%（来源：Cloudflare）行业重灾区： 行业攻击占…...

编程日记 2025/5/28 7:59:34

3D架构图软件 iCraft Editor 正式发布 @icraft/player-react 前端组件, 轻松嵌入3D架构图到您的项目

安装 pnpm install icraft/player-react --saveimport { ICraftPlayer } from "icraft/player-react";export default function MyScene() {return <ICraftPlayer srcyour-scene.iplayer />; }icraft/player-react 为开发者提供了一站式的3D数字孪生可视化解决…...

编程日记 2025/5/28 7:28:14

esm使用-包括esmfold和embedding

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言零、安装一、esmfold的使用二、esm2的embedding1.模型加载与准备2.读入数据3.提取残基级表示4.生成序列级表示（均值池化）5.可视化自注意力接触图6.潜在问题与改进建议7.小结总结前言主要参…...

编程日记 2025/4/29 6:16:52

【Nginx】使用least_conn负载均衡算法是否能将客户端的长连接分散到不同的服务器上demo

为了验证Nginx在关闭HTTP Keepalive的情况下，使用least_conn负载均衡算法是否能将客户端的长连接分散到不同的服务器上，我们可以搭建一个简单的环境。这个环境包括： 一个Nginx服务器作为负载均衡器。两个后端服务器（可以使用简单…...

编程日记 2025/5/11 10:33:30

TMI投稿指南（三）：共同作者

IEEE 作者编辑风格手册 --- IEEE Editorial Style Manual for Authors 投稿之后检查路径： IEEE 作者门户：登录 --- IEEE Author Gateway: Login 共同第一作者：在许多领域，被视为成为第一作者是件好事。但只有一个人可以是第一作…...

编程日记 2025/5/28 8:25:52

Java多线程入门案例详解：继承Thread类实现线程

本文通过一个简单案例，讲解如何通过继承 Thread 类来实现多线程程序，并详细分析了代码结构与运行机制。一、前言在 Java 中，实现多线程主要有两种方式： 继承 Thread 类实现 Runnable 接口本文以继承 Thread 类为例&#x…...

编程日记 2025/4/29 6:15:48

Transformer Prefill阶段并行计算：本质、流程与思考

Transformer Prefill阶段并行计算：本质、流程与思考 “为什么Transformer在Prefill阶段可以并行？并行到什么程度？哪里还需要同步？今天讲清楚！” 引子在大语言模型（LLMs）爆发的时代&#xff0c…...

编程日记 2025/5/28 8:41:47

KUKA机器人自动备份设置

在机器人的使用过程中，对机器人做备份不仅能方便查看机器人的项目配置与程序，还能防止机器人项目和程序丢失时进行及时的还原，因此对机器人做备份是很有必要的。对于KUKA机器人来说，做备份可以通过U盘来操作。也可以在示教器上设…...

编程日记 2025/5/28 6:53:31

Lua 第13部分位和字节

13.1 位运算 Lua 语言从 5.3 版本开始提供了针对数值类型的一组标准位运算符。与算术运算符不同的是，位运算符只能用于整型数。位运算符包括 ＆（ 按位与）、｜（按位或）、～（按…...

编程日记 2025/5/28 7:35:43

下载同时返回其他参数

一般情况下下载的接口是没有返回值的，直接返回一个文件浏览器直接触发文件下载但是有一些奇葩需求，除了文件外还需要一些其他字段返回。这个时候就只能把文件转成字符串返回，然后再由前端做下载或者展示后台获取字符 byte[] byte[] bo…...

编程日记 2025/5/28 6:54:35

240428 leetcode exercises

240428 leetcode exercises jarringslee 文章目录 240428 leetcode exercises[25. K 个一组翻转链表 ](https://leetcode.cn/problems/reverse-nodes-in-k-group/solutions/3663828/xian-fan-zhuan-lian-biao-zai-kyi-ge-zu-f-lgaj/)🔁 探宗求源其义自见 [75. 颜色…...

编程日记 2025/5/28 7:18:49

SQLMesh 审计与测试：确保数据质量的利器

在数据科学项目中，确保数据质量和准确性至关重要。SQLMesh 提供了审计和测试两种工具来验证数据。本文将介绍 SQLMesh 的审计功能，并与测试进行对比，帮助您更好地理解如何在项目中使用这些工具。 SQLMesh 审计 SQLMesh 的审计功能可以帮助您…...

编程日记 2025/5/4 22:56:36

SQL Server 存储过程开发规范

SQL Server 存储过程开发规范（高级版） 1. 总则 1.1 目标本规范旨在： 提高存储过程的事务一致性、异常可追踪性、错误透明度。统一日志记录、错误码管理、链路追踪（Trace ID）。支持复杂事务场景（嵌套…...

编程日记 2025/5/28 7:31:49

图像处理篇---信号与系统的应用

文章目录前言一、信号表示层面图像作为二维信号二、系统特性分析线性移变系统建模采样系统理论应用时域采样定理在帧率选择中的应用三、变换域处理多维傅里叶分析小波变换与多分辨率分析四、系统响应特性人类视觉系统（HVS）建模摄像机系统响应五、编码系统中的信号处理预测编…...

编程日记 2025/4/29 6:13:38

什么是 Web 标准？为什么它们对 SEO 和开发很重要？

网页标准为何重要？谷歌解析SEO优势在当今数字营销领域，搜索引擎优化（SEO）是网站提升可见性和吸引自然流量的关键策略。然而，许多网站管理员和营销人员可能忽略了一个重要的SEO因素——网页标准。谷歌的SEO专家深入解…...

编程日记 2025/5/28 7:40:49

Python 正则表达式 re 包

一、常见正则表达式符号符号含义示例.匹配任意单个字符（除了换行）r"a.c" 可匹配 "abc"、"a1c" 等\d匹配任何数字（0-9）r"\d" 匹配 "123"、"56"\w匹配字母、数字或下…...

编程日记 2025/5/28 8:48:07

leetcode0230. 二叉搜索树中第 K 小的元素-medium

1 题目：二叉搜索树中第 K 小的元素官方标定难度：中给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 小的元素（从 1 开始计数）。示例 1： 输入：r…...

编程日记 2025/5/27 8:02:45

Linux环境变量配置与std访问环境变量

文章目录前言1. 用户环境变量快速配置1.2 **以上语句的具体解释：**1.3 $PATHNAME实现增量式添加 2.系统级永久配置与避坑指南2.1 特殊字符处理2.2 动态PATH管理2.3 敏感信息保护2.4 环境调试命令 3. cstd中访问环境变量前言首先介绍一下Linux下各目录操作符的含…...

编程日记 2025/5/28 7:11:53

【go】go语言slice/map的产生背景，及原理理解

介绍一下Slice 先讲一下slice的产生背景，首先，go本身是有数组的，但是不会自动扩容，然而实际工作中会有很多场景是要求能自动扩容的，比如说你接用户的数据，你肯定要设置一个可以自动扩容的数组来接&#xff…...

编程日记 2025/5/28 8:40:30

机器学习day3 - KNN的api调用

使用KNN算法判断是否为传入的图片是否为苹果 """ 使用KNN算法判断是否为传入的图片是否为苹果 """ # 导入需要的库 from sklearn.model_selection import train_test_split # 导入数据集划分函数 from sklearn.preprocessing import StandardS…...

编程日记 2025/5/28 7:50:51

Qt内置图标速查表

文章目录 1、说明🌾2、实现效果🌱Qt6.7以下版本Qt6.7以上版本 3、主要代码🌳 更多精彩内容👉个人内容分类汇总 👈 1、说明🌾 在我们使用Qt开发程序时，需要美化界面总会想到贴图，显示…...

编程日记 2025/5/28 7:25:02

Python（14）推导式

在 Python 编程中，推导式是一种强大而简洁的语法结构，它能让开发者以简洁的方式从一个数据序列创建另一个新的数据序列。无论是处理列表、字典、集合还是元组，推导式都能大显身手。这篇博客将结合菜鸟教程中的内容，通过丰富的代码…...

编程日记 2025/4/29 6:11:29

React速通笔记

相关视频： 黑马程序员前端React18入门到实战视频教程，从reacthooks核心基础到企业级项目开发实战（B站评论、极客园项目等）及大厂面试全通关_哔哩哔哩_bilibili 一、React介绍 React由Meta公司开发，是一个用于构建W…...

编程日记 2025/5/7 8:52:10

深入蜂窝物联网：第二章深度解读 NB-IoT：协议栈、部署与典型应用

1. NB-IoT 简介与应用场景 NB-IoT（Narrowband-IoT，窄带物联网）是3GPP在LTE演进基础上，为海量低速率IoT设备设计的无线接入技术。它仅占用 200 kHz 或 180 kHz（Guard-band）带宽，通过扩频和重复发射，提高了深度覆盖能力。典型应用远程抄表：电表、水表、气表等周期性少…...

编程日记 2025/5/12 13:46:55

处理对象集合，输出Map＜String, Map＜String, List＜MyObject＞＞＞格式数据，无序组合键处理方法

需求：对象有字段A，B，C，需要判断对象之间AB两个字段相同的对象如： 对象1，Aaaa,Bbbb 对象2，Aaaa,Bbbb 对象3，Abbb,Baaa 对象4，Abbb,Baaa…...

编程日记 2025/5/23 16:07:50

基于SpringBoot的食物营养分析与推荐网站系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：…...

编程日记 2025/4/29 6:11:25

人智交互中的AI世代

人智交互中的AI世代一、研究背景与意义 1.1 技术演进背景人工智能技术自1956年达特茅斯会议提出概念以来，经历了多次技术迭代与产业周期。2020年后，以大语言模型（LLMs）和生成式AI（AIGC）为代表的突破性进…...

编程日记 2025/5/12 20:06:17

从Flask到智能体：装饰器模式在AI系统中的架构迁移实践

引言：框架设计中的模式复用在人工智能系统开发领域，大型语言模型驱动的智能体（LLM Agent）正面临日益复杂的架构挑战。有趣的是，Web开发框架Flask的装饰器模式为此类系统的构建提供了极具启发性的解决方案。本文将深入…...

编程日记 2025/5/6 12:23:28

Docker的常用命令

docker的常用命令今天来介绍docker的常用命令，非常的详细，请大家看起来！ 获取镜像如果只指定了镜像的名称，则默认会获取latest标签标记的镜像命令格式：dokcer pull [Docker Registry地址]仓库名[:标签名] 获取c…...

编程日记 2025/5/16 17:29:38

在matlab中使用UAV123官方toolkits测试自己的数据集

一、前言最近需要将自己的跟踪代码在自己拍摄的数据集上进行测试，这里我选择使用 UAV123 官方 toolkits 进行配置。首先需要搞清楚这部分代码是如何运行的，精度图和成功率图是如何绘制出来的，然后再将自己的数据集加进去进行测试。二、UA…...

编程日记 2025/5/22 6:44:11

《淘宝 API 数据湖构建：实时商品详情入湖 + Apache Kafka 流式处理指南》

随着电商行业的蓬勃发展，淘宝作为头部电商平台，积累了海量的商品数据。构建淘宝 API 数据湖，将实时商品详情数据纳入其中，并借助 Apache Kafka 进行流式处理，能够为企业提供强大的数据支撑，助力精准营销、市…...

编程日记 2025/5/24 12:11:29

HTML5 WebSocket：实现高效实时通讯

一、引言在当今的 Web 开发领域，实时通讯功能变得越来越重要。例如在线聊天、实时数据更新等场景都需要客户端与服务器之间能够进行高效的双向数据传输。HTML5 引入的 WebSocket 协议为我们提供了一种强大的解决方案，它在单个 TCP 连接上实现了全双工通讯，极大地改善了传统…...

编程日记 2025/5/27 5:32:22

数字人Live_Talking的搭建和使用

Live_Talking是一个实时交互流式数字人，可以实现音视频同步对话。今天咱们来试着部署一下项目。先来看下本地环境系统：Ubuntu 22.04 显卡：rtx 3060 cuda: Cuda 12.1 git上推荐cuda11.3，但是我用cuda12.2也搭建成功了。 1、…...

编程日记 2025/5/20 11:55:24

Coupang火箭计划深度攻略：eBay卖家突破韩国市场的三维数据作战模型

一、市场机遇与竞争格局解码 1.1 Coupang生态位分析用户基数：2600万活跃买家（占韩国成年人口68%） 客单价表现：$82（较eBay韩国站高37%） 流量分布：移动端占比91%（需重点优化移动端详…...

编程日记 2025/5/8 10:45:02

Flask + ajax上传文件（四）--数据入库教程

本教程将详细介绍如何使用Flask后端和AJAX前端实现Excel/csv文件上传，并将数据导入数据库的功能。一、系统架构概述前端(HTML+JS) → AJAX请求 → Flask后端 → 数据库二、环境准备 1. 安装必要库 pip install flask pandas sqlalchemy openpyxl2. 项目结构 data_imp…...

编程日记 2025/5/27 7:18:32

C++ 部署的性能优化方法

一、使用结构体提前存放常用变量在编写前后处理函数时，通常会多次用到一些变量，比如模型输入 tensor 的 shape，count 等等，若在每个处理函数中都重复计算一次，会增加部署时的计算量。对于这种情况，可以考…...

编程日记 2025/5/22 18:49:31

并发设计模式实战系列(8)：Active Object

🌟 大家好，我是摘星！ 🌟 今天为大家带来的是并发设计模式实战系列，第8章Active Object，废话不多说直接开始~ 目录一、核心原理深度拆解 1. 对象与执行解耦架构 2. 核心组件二、生活化类比&#xff…...

编程日记 2025/5/26 0:01:44

jenkins容器提示磁盘空间过低

进入jenkins容器查看： sudo docker exec -it jenkins sh df -h查看磁盘占用情况： # df -h Filesystem Size Used Avail Use% Mounted on overlay 59G 56G 193M 100% / tmpfs 64M 0 64M 0% /dev shm…...

编程日记 2025/4/29 6:08:12