深度报告-20250320-中智凯灵_北京_科技-AI辅助测试开发端到端研发提效_41页_6mb

2024 AI+研发数字峰会总结 - AI辅助测试开发端到端提效

核心内容

本次2024 AI+研发数字峰会围绕“AI驱动研发变革，促进企业降本增效”的主题，重点介绍了中兴通讯在AI辅助测试开发方面的实践与成果。通过将AI技术嵌入测试开发流程，中兴通讯显著提升了测试用例和自动化脚本的生成效率，优化了测试流程，实现了从需求到测试脚本的一站式生成。

主要观点

• AI技术在测试领域的应用：AI能够通过自动化和智能化处理测试任务，减少重复性工作，提升效率。
• RAG（Retrieval-Augmented Generation）方案：在测试用例设计和脚本开发中，RAG方案被证明是提升测试效率和质量的有效手段。
• 知识工程：构建统一的知识库和规范，是实现AI辅助测试开发的重要基础。
• 测试流程自动化：通过AI技术实现测试设计、脚本生成、执行分析的自动化，提升整体研发效率。
• 持续改进机制：通过评估和优化AI生成的用例和脚本质量，持续提升测试流程的智能化水平。

关键信息

1. 业务背景

• 从传统单智能网关到FTTR（Fiber To The Room）组网的转变，显著提升了网络性能和覆盖范围。
• 但同时也带来了更高的测试复杂性和更短的交付周期，给测试效率带来了巨大挑战。

2. 问题与挑战

• 测试用例和脚本的复杂性随业务场景增加而显著上升。
• 传统测试流程中存在冗余用例、脚本生成效率低、人工操作繁琐等问题。

3. 解决思路与整体方案

• 采用RAG方案，将外部知识库中的信息与大模型结合，提升测试用例和脚本生成的准确性。
• 基于需求实例化活动生成测试点，通过GWT（Given-When-Then）框架生成测试用例。
• 通过自然语言到RF脚本的转化，实现自动化测试脚本的生成与优化。

4. 具体实现与技术实践

实践一：AI辅助测试设计活动提效

• 复用用例推荐：通过关键字和语义检索，从知识库中推荐相似测试用例，降低冗余。
• 知识库建设：构建了包含18w+测试点与文本用例的QA对知识库，用于AI生成和检索。
• 知识评估：通过召回率指标评估AI生成用例的准确性，提升测试用例的交付质量。
• 度量驱动改进：
  • 复用用例召回率：成功召回的复用用例数 / 复用用例总数
  • 文本用例生成率：AI生成的文本用例数 / 文本用例总数

实践二：AI辅助脚本开发活动提效

• DSL关键字库召回：通过意图识别和步骤切片，从关键字库中召回合适的RF关键字。
• 关键字推荐：基于RAG技术，从文本用例中推荐关键字，提高脚本生成效率。
• 脚本生成：结合DSL设计和关键字推荐，生成RF脚本并进行整体优化。
• 度量驱动改进：
  • 关键字召回率：成功召回的关键字数 / 脚本中的关键字总数
  • 脚本生成率：AI生成的脚本行数 / 脚本行总数

实践技术点三：关键字推荐

• 知识规范：关键字需符合用户视角设计，包含清晰的命名规则和参数规范。
• 知识获取：通过直接获取关键字命令和大模型抽取知识，丰富关键字库内容。
• 知识库建设：关键字库共包含2735个切片，持续更新和扩展。
• 知识评估：通过召回率计算，持续优化关键字库和RAG方案。

实践技术点四：脚本生成

• 脚本生成方案：基于RAG技术，结合DSL步骤和关键字库，生成RF脚本。
• 脚本生成优化：通过整体优化脚本，提升可读性和执行效率。

技术成果

• 用例交付：项目人均迭代内交付需求用例超过100个，78%的复用用例通过AI检索自动关联。
• 脚本交付：自动化覆盖率提升至79%，200+脚本通过AI生成。
• 创新性：AI辅助测试用例到脚本生成方案在行业内具有创新性。
• 前瞻性：为后续Autowork方案提供了坚实的技术基础。
• 用户体验：通过一站式工作台整合TSE&ATE相关工具，提升测试开发效率和体验。

未来展望

• 自生成、自校验、自修复：通过AI实现知识迭代的自动化，提升反馈速度和流程效率。
• 测试流程自动化：
  1. 需求分析自动化：通过需求实例化和评审DoD对生成内容进行自动化验证。
  2. 脚本执行自动化：通过模拟执行对生成内容进行验证。
  3. 测试分析自动化：调用运维诊断服务，自动排除环境问题，提升执行结果分析准确率。

总结

中兴通讯通过AI技术的深度应用，构建了从需求到测试脚本的端到端自动化流程，显著提升了测试效率和质量。RAG方案和知识工程是该实践的核心，通过优化用例生成和脚本开发流程，实现测试活动的智能化、自动化和标准化。未来，中兴通讯计划进一步实现测试流程的全面自动化，推动AI在研发领域的深度应用。