中国信通院：人工智能研发运营体系（MLOps）实践指南（2023年）_72页_5mb

人工智能研发运营体系（MLOps）实践指南（2023年）总结

核心内容概述

MLOps 是一种旨在提升人工智能模型生产效率、质量和可持续性的方法论，通过构建和运行机器学习流水线（Pipeline），统一模型研发与运营过程。其核心目标是解决AI生产过程中的团队协作困难、流程混乱、交付周期长等问题，推动AI从“能用”向“好用”转变。

主要观点

1. AI生产转化率低：Gartner调查表明，仅有 $53%$ 的AI项目能够从原型转化为生产，主要受限于生命周期管理、跨团队协作、过程与资产管理等问题。
2. MLOps的兴起：MLOps作为AI工程化的关键组成部分，融合了DevOps方法，支持自动化、持续性、可追溯等特性，推动AI的规模化、高质量交付。
3. MLOps的行业应用：在IT、金融、电信等行业已有显著成效，如IT公司缩短AI服务开发和部署时间，金融行业提升模型部署效率，电信行业加强模型运营监控。
4. MLOps的实施原则：包括自动化、持续性、版本化、可监控、可测试、可追溯、可复现、可协作等，这些原则是构建MLOps体系的基础。

关键信息

• MLOps的发展经历了斟酌发酵、概念明确、落地应用三个阶段。
• MLOps工具市场持续增长，预计2027年市场规模将达59亿美元。
• MLOps流程涵盖需求分析与开发、数据工程流水线、模型实验流水线、持续集成流水线、持续部署流水线、持续训练流水线、持续监控流水线，形成完整的生命周期闭环。
• MLOps涉及多个角色，如业务人员、数据工程师、数据科学家、软件工程师、测试工程师、运维工程师等，各司其职，共同推动AI生产。
• MLOps关键能力包括数据处理、模型训练、构建集成、模型服务、运营监控、模型重训、实验管理、流水线管理、特征管理、模型管理等。

MLOps框架体系

机器学习项目生命周期

• 需求管理：从商业目标与业务需求出发，进行可行性分析。
• 数据工程：处理和存储原始数据，生成可用数据。
• 模型开发：进行训练、参数调优、评估与选择，得到最优模型。
• 模型交付：封装模型与配置，部署至目标环境。
• 模型运营：监控和维护模型服务，确保稳定性和效果。

MLOps流程架构

• 包括需求分析与开发、数据工程流水线、模型实验流水线、持续集成流水线、持续部署流水线、持续训练流水线、持续监控流水线。
• 各流程通过自动化和标准化实现高效衔接，形成闭环管理。

MLOps关键能力与技术实践

数据处理

• 核心要点：数据清洗、转换、增强，以及标注和版本管理。
• 实践案例：广东移动、格物钛、云测数据等通过数据平台和自动化流程提升数据处理效率和质量。

模型训练

• 核心要点：算法选择、超参数优化、模型评估与选择。
• 实践案例：百度、华为终端云、马上消费等通过自动化训练平台提升模型训练效率和效果。

构建集成

• 核心要点：构建和集成模型代码、配置和模型，形成可交付物。
• 实践案例：马上消费、腾讯、建行等通过CI/CD流水线提升模型交付效率和质量。

模型服务

• 核心要点：支持实时与批量服务，实现模型的灵活部署和资源管理。
• 实践案例：浦发银行、建行、星环科技等通过模型服务平台实现模型的高效部署与运营。

运营监控

• 核心要点：监控模型性能、数据质量、服务状态等，实现持续优化和问题定位。
• 实践案例：联通软件研究院、中原银行等通过多维度监控提升模型运营效率和稳定性。

模型重训

• 核心要点：根据监控指标和触发条件，自动或手动进行模型重训，确保模型性能。
• 实践案例：蚂蚁通过持续训练和自动化重训流程提升模型更新效率。

实验管理

• 核心要点：记录和管理实验过程、配置、结果，支持可复现和可视化分析。
• 实践案例：百度、华为终端云等通过实验管理平台提升模型开发效率和可追溯性。

流水线管理

• 核心要点：实现任务编排、依赖管理和容错能力，提升自动化执行效率。
• 实践案例：中国农业银行、华为终端云等通过标准化流水线提升模型交付效率。

特征管理

• 核心要点：统一管理特征生命周期，包括特征存储、版本控制、血缘追踪等。
• 实践案例：华为终端云、浦发银行等通过特征平台提升特征工程效率和一致性。

模型管理

• 核心要点：集中管理模型和模型服务，支持版本控制、共享复用、评估与审计。
• 实践案例：河南移动、百度等通过模型管理平台提升模型资产的利用率和可管理性。

总结与展望

总结

• MLOps是推动AI规模化、高质量、可持续交付的重要手段，其实施需遵循自动化、持续性、版本化、可监控等原则。
• MLOps在多个行业已有成功实践，但仍面临组织驱动力不足、工具选型与集成难度、模型治理和可信度、环境交互平衡等挑战。
• MLOps涵盖从需求设计到模型部署、运营、监控、重训、实验管理等全流程，形成闭环管理体系。

展望

• MLOps将持续推动AI工程化和智能化，提高模型交付效率和质量。
• 随着技术的发展，MLOps工具将更加成熟，行业应用将更加广泛。
• MLOps将促进模型治理和可信落地，推动AI在更多高敏感场景中的应用。
• MLOps工程师将成为独立且重要的角色，推动平台化和自动化发展。