黄泳：全链路监控在嘉银科技的落地实践-35页_8mb

嘉银科技全链路监控告警落地实践

技术架构与监控体系

嘉银科技从2021年起全面进入Prometheus时代，建设统一监控告警平台，接入SkyWalking、日志及公有云数据源，并构建分布式VictoriaMetrics集群支撑多地域（北美、东南亚、非洲）监控需求。通过四层监控体系定位问题：硬件异常、资源异常、应用异常与业务异常，实现依赖关系可视化。

告警管理与降噪实践

针对告警风暴与噪音问题，提出了先知·先决·先行的降噪策略：

1. 先知·洞察之眼：通过智能阈值设定、多维度异常检测算法（如k-sigma、EWMA等）实现实时异常识别，结合趋势预测提前定位故障；
2. 先决·根因分析：基于调用关系追踪与知识图谱，采用归因算法逐层定位故障源头，提升诊断准确率至60%+；
3. 先行·故障自愈：通过CMDB联动、告警合并与知识库推荐，实现自动化处理6类常见故障（如OOM/KO），支持推荐式与自治式两种自愈模式。

智能可观测能力建设

1. 构建统一指标数据底座，实现数据治理、多维查询与趋势预测，支撑智能巡检；
2. 智能巡检：集成专家经验与大模型能力，完成360°业务健康评估；
3. 根因分析引擎：结合Agent诊断Agent与知识库，通过规则引擎实现故障的自动化定界与归因；
4. 基于大模型（如GPT） 实现告警关联、根因推荐及自动化处置流程，赋能运维智能化。

挑战与解决方案

• 告警噪音：通过CMDB识别资源维度、事件关联与智能降噪算法（如聚类、抑制）降低无效告警；
• 根因分析复杂性：构建知识库-规则引擎-算法三级联动机制，平衡专家经验与自动化的准确性。

未来展望

持续探索ChatOPS与大模型应用，扩展智能巡检、故障诊断场景至业务预警，并建设运维算法治理平台，提升智能化运维的工程化能力。