当前位置：首页 > news >正文

AIOps案例剖析 | 告警收敛增强：相似告警由千化一

news 来源：原创 2025/7/29 0:28:35

业务规模的指数级增长、稳敏双态共存以及云上云下架构复杂化是近几年企业客户运维部门的最大头疼点，其中告警风暴这一现象在传统AIOps的工作形式下尤难处理。

一、案例背景

某大型企业在过去一年中，业务规模实现了翻倍增长，伴随着业务的迅速扩展，云上IT资源的使用量也成倍增加。从基础设施到应用层，系统的复杂性急剧上升，导致了运维工作面临前所未有的挑战。

在此期间，该企业的日告警量从原来的几百条快速增长到5000条以上，告警风暴淹没了运维团队日常工作，使得他们难以高效地处理所有问题。尤其在高峰时段，运维人员经常会收到大量重复性告警，这些告警通常来源于相同的系统问题，但由于不同监控工具各自为政，无法有效收敛，导致告警信息冗余，增加了运维排障的负担。

二、案例回顾

以下为一次较为典型的事故，发生在系统进行云数据库主从切换时。

由于某云数据库的主节点出现可用性问题，系统自动触发了主从切换。然而，切换过程中由于延迟和未及时同步，导致大量应用在访问数据库时出现连接失败，进而引发了大量告警。短短几分钟内，运维系统共发出了数千条告警信息，其中涉及数据库访问失败、应用成功率下降等关键问题。

受影响的业务系统超过20个
企业核心交易系统也出现了波动
客户交易成功率瞬间下降至80%以下
导致客户投诉激增

运维团队紧急修复故障以后，又手动进行了主从回切操作，因为企业的自动化运维流程并未完全覆盖到关键的告警处置环节，又因此出现了数百条无效的维护告警。

三、案例分析

事后对数据分析，事发时系统的数据库访问失败率高达90%，持续了近20分钟。这期间，告警风暴占据了监控平台，运维人员难以及时有效地找到告警中的核心问题，导致故障修复时间延长，影响了数千笔交易的正常进行。

通过对告警日志和监控数据的细致排查，擎创科技发现，事故发生时的大部分告警来自于云数据库的主从切换过程中。由于主从切换期间，数据库连接延迟增加，应用服务器访问数据库的频率较高，导致数据库无法及时响应请求，进而触发了大量访问失败的告警信息。

进一步分析发现，造成告警激增的原因不仅是数据库切换本身的问题，我们发现该企业的运维系统依赖多个独立的监控工具进行数据采集和告警处理，而这些工具在处理同一事件时，未能实现告警的收敛功能，导致相似的告警信息在短时间内多次重复触发。这些监控工具在20分钟内，对同一问题总计发出了超过3000条重复的告警信息。

四、告警系统优化

经过对这次事故的复盘总结和对现有系统的盘查，擎创为企业客户制定了专项的优化建设路径。擎创认为，这次事件暴露出运维系统在快速扩展中的不足，特别是告警收敛、自动化处理和变更同步等环节的缺陷。

另外，企业依赖人工设定的告警规则无法应对海量的告警信息，导致运维效率低下。建设规划如下：

1.建设运维数据中台

告警数据的多源性和不规则是此类问题常出现的主要原因之一。擎创建议要优先进行数据治理能力评估，根据结果进行数据分类梳理，引入擎创运维数据中台，纳管云上云下各类监控工具的数据，并将其进行统一格式存储。能够准确的为各类消费场景或处置工具提供有效数据支持。

2.重新设定告警规则与变更同步机制

建议设定一套动态告警规则，将计划内的变更操作信息实时同步至告警系统，避免监控工具将正常操作识别为异常。同时，可引入自动化告警压缩机制，将同一时间窗口内的告警信息聚类为单条告警，减少告警冗余，确保运维人员可以快速定位到真正需要关注的告警内容。

3.引入擎创告警全周期管理场景

从告警产生、流转、分析、处置等环节提供一套贯穿全生命周期的解决方案，可以对运维工具的异常输出进行集成、对多源告警进行治理、使用机器学习及专家知识分析问题、并提供自动化集成能力第一时间自动恢复业务可用性。

五、最终收益

在末端重塑收敛能力后，可以借助智能算法快速完成对内容相似性的判断，可以将短时间内的相同主机、端口、服务等告警自动压缩聚类成1条。

同时，系统实现实时完成流程平台的变更信息同步，在相关告警时段内触发提示变更信息，使运维人员能够第一时间找到根因问题。另外，做到根据变更窗口来设定维护窗口，实现进一步精细化通知分派策略。

越是复杂的IT环境，就越会有繁杂冗余的事件噪音。消除告警风暴的本质是将重复问题统一处理，让运维人员把精力可以专注在更具业务价值的信息上，从而实现企业的提质增效。

本文部分图片由AI生成，如有问题请联系删改。

擎创科技，Gartner连续推荐的AIOps领域标杆供应商。公司专注于通过提升企业客户对运维数据的洞见能力，为运维降本增效，充分体现科技运维对业务运营的影响力。

行业龙头客户的共同选择

了解更多运维干货与行业前沿动态

可以右上角一键关注

我们是深耕智能运维领域近十年的

连续多年获Gartner推荐的AIOps标杆供应商

下期我们不见不散~