质量大模型及其在接口测试场景下的实践_23页_2mb

2024 AI+研发数字峰会总结

核心内容

本次2024 AI+研发数字峰会在北京举行，聚焦于AI驱动研发变革，特别探讨了质量大模型在软件研发中的应用，尤其是其在接口测试场景下的实践。会议由蚂蚁集团的李庆泉主讲，内容涵盖了质量大模型如何解决质量域问题、构建路径、实际应用以及未来展望。

主要观点

1. 大模型如何解决质量域问题

• 全面性与准确性：大模型能够帮助全面、准确地发现各种特殊情况与边界问题，提升测试覆盖率。
• 自动化与复用性：面对经验密度高、业务特异性强的测试任务，大模型能通过结构化数据处理，减少自动化测试的难度。
• 降低人工成本：测试用例撰写、问题分析等任务可以通过大模型实现，从而减少对人工的依赖，降低成本。

2. 质量大模型的构建路径

• 继续预训练：通过注入质量域、业务域及其他背景知识，提升模型的领域理解能力。
• 指令微调：针对质量任务进行指令设计与微调，增强模型对结构化任务的处理能力。
• 上下文学习：利用上下文信息进行推理，提升模型在特定场景下的任务执行能力。
• 应用方式：将大模型作为质量工作流的组件，提升质量工具的泛化性和生成能力。

关键信息

1. 质量大模型的构建流程

2. 质量大模型在接口测试中的实践

• 输入：包括接口名称、入参、出参等结构化信息。
• 输出：生成符合规范的校验点列表，以JSON格式输出，包含字段如key、value、type、compareType等。
• Prompt组装：包含接口名称、任务所需信息、推理步骤、规范要求等部分。
• 校验点生成流程：
  1. 识别出参中的关键字段。
  2. 根据业务要求确定字段的取值范围和校验方式。
  3. 撰写校验点列表。
• 业务知识问答：通过对话形式实现对质量知识的查询与解答。
• 工具执行：大模型能够以对话形式调用外部工具，提升执行效率。

未来展望

1. 质量 + 大模型：未来产品将围绕质量与大模型的结合，重点提升提效能力。
2. 垂类解决方案：提供一套通用的垂直领域大模型解决方案，适用于不同业务场景。
3. 大模型行业赋能框架：构建通用的垂类领域大模型提效框架，推动行业标准化发展。

技术趋势

• 质量知识与业务经验：海量质量知识与业务经验将成为大模型训练的重要资源。
• 多样化的质量任务：大模型将支持多种质量任务，如前置问题发现、代码能力与问答能力的结合等。
• 智能化与自动化：通过大模型的智能化处理，实现测试流程的自动化与高效化。

总结

质量大模型通过融合知识注入、指令微调、上下文学习等技术手段，能够有效解决质量测试领域中的覆盖率高、自动化难度大、人工成本高等问题。在接口测试中，大模型被用于生成校验点、解答业务问题以及调用测试工具，显著提升了测试效率与准确性。未来，质量大模型将进一步推动研发流程的智能化和自动化，成为企业降本增效的重要工具。