世界银行-平衡创新与严谨_人工智能评估的深思熟虑整合指南（指导说明）（英）-2025_35页_1mb

大型语言模型在评估实践中的应用分析总结

用例识别

• LLM的应用应聚焦于能够提供增量价值的特定场景，例如结构化文献综述（SLR）和评价综合。

细粒度工作流程

• 将评价任务分解为具体步骤，明确LLM可用的具体组件，如文本分类、摘要和信息提取。
• 实验表明，SLR与评价综合工作流程具有相似性，便于组件的重复使用。

资源与成果共识

• 团队需明确L研究资源、时间、预期成果和成功指标。
• 考虑人力资源、技术、预算和计算资源，协助制定可行的实验计划。

评估指标的选择

• 基于任务类型选择不同的评价指标。
• 判别性任务：使用精确率、召回率等标准指标。
• 生成性任务：结合事实一致性（Faithfulness）、相关性和连贯性等主观指标。

实验流程与结果

• 评估结果聚焦于LLM性能，包括技术效率、准确性和回复质量。
• 在实践应用中，LLM可提升效率，但在复杂或生成性任务中仍需人工验证。

良好的实践

• 对策略：使用标注数据、分训练、验证和测试集，并逐步细化提示。
• 提示开发：包含角色、任务描述、示例和明确格式要求。
• 通过引用和反驳调校，增强回复质量。

前景展望

• 使用LLM提升效率，但仍需持续迭代、跨组织合作与标准框架完善。
• 需莫忽视数据泄露、过度拟合并持续优化提示设计。
• 考虑到LLM的生命周影响，建议加强协作，确保方法论标准化。

结论节

• LLM应用于评估需战略性规划，结合严谨的实验流程，将提升效率同时保持质量。