11.21饶琛琳-大模型在it运维场景的应用-脱敏-24页_7mb

大模型在日志运维中的应用实践总结

引言

本次分享由日志易产品副总裁饶琛琳主讲，主题为大模型在日志运维场景的应用实践，涵盖了主要应用方向、实践路径、资源评估、金融企业案例等，旨在探讨如何利用大模型提升日志分析效率。

应用方向

• 大模型用于日志概要提取和查询，参考谷歌Sec-PaLM的效果。
• 日志问答方案包括三种类型：超大窗口查询、AgentChain、模式提问加分段选择，各有优缺点。
• 应用包括更快捷分析海量日志和更智能解读预测故障，但也面临理想与现实差距。

实践运用路径

• Text2SPL场景：利用NLP模型（如ChatGPT vs T5）将自然语言查询转换为SPL语言，实践效果提升显著。
• 资源消耗估算：LLM处理日志的速度慢，算力需求大，例如1000条SSH日志需高显存，不现实。
• 训练数据筹备：来源包括内部文档、开源资源、问答数据增强（如ChatGPT自动生成）。
• 模型评估迭代：尝试不同基础模型和数据配比，引入语法校验方案。
• 产品设计：强调“扬长避短”，包括浏览器插件兼容性和安全设计如敏感数据拦截。

金融企业应用案例

• 背景：企业有大量业务日志，关键字复杂。
• 方案：通过知识库增强的自然语言查询实现日志问答。
• 效果：故障排查时间缩短40%，解放高级运维人员至可观测性建设。

未来展望

• 后续功能计划：支持英文版本、查询结果可视化和主动推荐。
• 展望开源大模型发展以进一步提升应用。