2024大语言模型威胁分类报告-CSAGCR云安全联盟

报告摘要

大语言模型（LLM）威胁分类与安全治理报告总结

本报告由云安全联盟大中华区（CSA）人工智能控制框架工作组基于CSA AI安全计划撰写，旨在建立LLM风险场景和威胁的通用分类及定义框架，为行业提供统一语言和概念基础，指导安全研究与实践。报告重点涵盖LLM资产、服务生命周期、影响与威胁分类等内容，旨在协助CSA相关工作组制定更完善的AI安全规范。

报告核心内容

LLM资产分类
LLM服务依赖多种基础资产，包括训练/测试数据、微调数据、检索增强生成（RAG）数据、数据卡片、模型参数（权重）、超参数、日志数据等。所有资产需通过RACI责任分配矩阵明确管理职责，确保数据合规性与模型可追溯性。
服务生命周期管理
LLM服务生命周期分为6个阶段：
- 准备：涵盖数据收集、存储、资源供应及团队专业能力构建。
- 开发：包含设计、供应链管理（如组件评估与框架选择）、训练流程（优化算法与指标监控）、关键考量（透明度、可解释性）及护栏措施。
- 评估与确认：通过定量指标（准确率、BLEU分数）和定性分析（人类评审）评估模型性能，利用红队测试发现潜在漏洞。
- 部署：需集成API与RAG组件，实施输入/输出过滤，确保用户界面友好且具备可观察性。
- 交付：包含运营监控、维护更新、持续改进及变更管理，需建立回滚计划和停机通知机制。
- 服务退出：涉及归档、数据删除、模型处置及影响评估，需遵循数据治理法规并处理知识产权问题。
影响与威胁分类
- 影响类别：基于CIA三要素（机密性、完整性和可用性）及NIST文件，新增“滥用/误用”和“隐私丧失”分类。
- 威胁类别：包括模型操纵、数据投毒、敏感数据泄露、模型窃取、故障/失灵、不安全供应链、不安全应用程序/插件、拒绝服务攻击及治理/合规性缺失。每个威胁均需设计针对性安全控制措施，如访问管理、加密传输、持续监控与威胁情报集成。

关键安全措施

数据管理：需清洗、分类、标注数据，确保训练数据的多样性和可追溯性，防止偏见。
模型保护：通过模型卡片记录架构、训练数据及性能参数，强化版本控制与安全更新机制。
部署安全：采用容器化技术提升可移植性，通过基础设施即代码（IaC）优化资源管理，实施API安全策略与RAG集成以增强输出准确性。
风险缓解：建立红/蓝对抗体系，识别训练数据局限性、算法偏差等模型弱点，优先处理高风险漏洞。

行业意义

report提供了跨行业通用框架，支持政策制定者、技术专家与企业制定符合法规的AI治理方案。其与CSA AI控制框架协同工作，旨在构建安全、道德且可解释的AI生态系统，尤其注重保护知识产权、用户隐私及防止服务中断。报告参考了ISO/IEC 22989、NIST AI100-2E2023等权威标准，强调通过持续监控、专业团队协作和标准化流程降低LLM应用风险。