张尧_AI+Agents在On-call助手场景中的探索与实践_24页_5mb

报告内容总结

背景介绍

• eBay监控平台（Sherlock.io）的信号能力方案，包括指标、日志、追踪、事件和告警规则。
• On-call日常工作中常见的问题，如监控数据缺失、PromQL日志问题、告警故障、Quota不足等需求。

相关工作调研

• 检索增强生成（RAG）：Gao等，2024年，大型语言模型检索增强生成综述。
• 智能体（AI Agents）：Weng 2023年，基于大型语言模型的自主智能体。Yao等人，2023年 TREE-OF-THOUGHT（ToT）与 MCTS树搜索结合的方法。
• 反思（LLM Agents）：Shinn等人，2023年 REFLEXION；Zhao等人，2023年 EXPEL。
• AI智能体性价比问题：Kapoor等人，2024年，实用性优先的智能体设计。

方案介绍：Le Penseur

• 使用AI Agent体系结构，结合意图识别、私有词汇识别（+ RAG）、路由、问答等功能来处理On-call场景的各类问题。
• 采用层级式动态少样本示例加集成方法。
• 故障识别逻辑：例如，指标数据消失判断是否存在onboard问题或配额限制。
• 受控执行：ReAct 和单路径最佳优先搜索，保证执行可控性。

未来展望：多智能体系统

• 基于大型语言模型的多智能体方法面临问题包括多轮交互、高时间敏感性。
• Guo等人，2024年，多智能体系统在进步与挑战上的调查。