生成式人工智能系统密码应用指引_26页_1mb

生成式人工智能系统密码应用指引总结

核心内容概述

本文件《生成式人工智能系统密码应用指引》（版本 1.0）由中国密码学会密评联委会发布，旨在为生成式人工智能系统的开发单位、服务提供商及行业用户提供安全实践指引。该指引围绕生成式人工智能系统的技术特征和安全风险，系统提出密码技术在全生命周期中的应用要求，推动人工智能与密码技术的协同发展。

生成式人工智能系统能够根据输入提示词自动生成多模态内容，其核心技术为大规模深度学习模型。该系统涉及多个层级：运行环境与基础设施层、数据层、模型层和应用层。由于系统在运行中涉及大量敏感数据和复杂计算，其安全风险从单一技术环节向全生命周期渗透，包括网络、计算、存储、供应链、数据、模型和应用等多方面的风险。

主要观点

1. 安全风险分类

生成式人工智能系统的安全风险分为以下几类：

• 运行环境与基础设施安全风险：包括网络环境、计算环境、存储环境及供应链安全风险。
• 数据安全风险：涵盖预训练数据、优化训练数据和使用阶段数据的安全风险。
• 模型安全风险：包括模型篡改与泄露、模型对抗攻击。
• 应用安全风险：包括人工智能模型服务风险和智能体应用风险。

2. 密码技术应用框架

生成式人工智能系统的密码应用技术框架由以下四部分组成：

• 运行环境与基础设施安全
• 数据安全
• 模型安全
• 应用安全

该框架通过分层防护机制，构建全方位的安全屏障，以确保系统在各阶段的安全性。

3. 密码技术应用场景

密码技术在生成式人工智能系统中广泛应用于以下方面：

• 身份鉴别与访问控制：防止越权访问和身份仿冒。
• 数据完整性与机密性保护：包括数据传输、存储、处理等环节的加密与签名。
• 模型防篡改与防泄露：防止模型参数、权重文件等被篡改或泄露。
• 通信与交互安全：保障模型服务和智能体交互过程中的数据机密性与完整性。
• 日志完整性与不可否认性：确保系统操作日志真实、可追溯、不可篡改。

关键信息

1. 运行环境与基础设施安全

• 网络环境安全：需对通信链路进行身份鉴别、传输加密和完整性保护。
• 计算环境安全：对操作系统、虚拟化组件、计算资源进行安全防护，防止恶意代码和非法访问。
• 存储环境安全：采用加密和隔离机制保护敏感数据，防止数据泄露。
• 供应链安全：对组件、依赖库、固件等进行完整性与来源真实性验证。

2. 数据安全

• 预训练数据安全：需对数据来源进行验证，防止数据投毒和隐私泄露。
• 优化训练数据安全：防止回流数据滥用、私域数据越权访问和标注数据污染。
• 使用阶段数据安全：需保障RAG知识库、生成内容及智能体数据的安全，防止数据污染、越权访问和隐私泄露。

3. 模型安全

• 模型防篡改：通过消息鉴别码或数字签名对模型配置文件和权重文件进行完整性保护。
• 模型防泄露：对模型文件进行加密存储和传输保护，防止模型参数和架构泄露。
• 模型鲁棒性：采用差分隐私、同态加密等技术增强模型对对抗攻击的防御能力。

4. 应用安全

• 人工智能模型服务安全：采用身份鉴别、安全传输、操作抗抵赖等措施。
• 智能体应用安全：包括身份鉴别、交互与通信安全、执行环境安全、规划和控制安全、监控与审计安全。

密码应用技术示例

附录 A：生成式人工智能系统密码应用示例

• 训练系统：部署证书认证密钥管理系统、签名验签服务器、服务器密码机等，实现从数据采集、存储、训练、调度到运维的全链路密码防护。
• 应用系统：通过安全认证网关、签名验签服务器、时间戳服务器等实现身份鉴别、通信安全、数据存储与传输安全、内容溯源等。
• 智能体应用：在智能体交互接入、任务规划、工具调用、记忆管理等环节应用密码技术，防止越权访问和敏感数据泄露。

附录 B：人工智能模型全生命周期密码应用示例

• 语料准备阶段：采用SM2数字签名确保数据来源真实性，使用FPE、差分隐私等技术对敏感数据进行脱敏处理。
• 模型训练阶段：采用秘密共享、同态加密、多方安全计算等技术保障训练数据安全和模型参数安全。
• 模型部署与推理阶段：对模型文件进行完整性验证，采用TEE、SM2签名、数字水印等技术保障推理过程安全。
• 模型更新与退役阶段：采用SM2数字签名验证更新包真实性，确保退役模型不再被访问或调用，实施密钥销毁和权限撤销。

附录 C：信息系统密码应用基本要求与安全措施映射表

该映射表将信息系统密码应用基本要求与生成式人工智能系统安全措施进行对应，包括：

• 物理和环境安全：参考通用要求，如8.1。
• 网络和通信安全：包括身份鉴别、通信数据完整性、安全接入认证等，参考8.2.1和8.5.2.2。
• 设备和计算安全：涉及身份鉴别、远程管理通道安全、系统资源访问控制等，参考8.2.2和8.5.2.3。
• 应用和数据安全：包括身份鉴别、数据传输与存储的完整性与机密性、不可否认性等，参考8.3.1、8.3.4、8.5.2.4等。
• 管理要求：参考8.1，确保密码应用符合法规要求。

总结

本指引系统识别了生成式人工智能系统的安全威胁，提出了适配其全生命周期的密码应用技术框架和安全措施，旨在构建“技术可控、风险可防、责任可溯”的安全生态。密码技术在各个层级中发挥关键作用，涵盖数据保护、模型安全、通信安全、身份管理等多个方面。该文件为相关单位提供了密码应用实践参考，助力生成式人工智能系统在数字经济中的安全发展。