2010年-世界发展银行全球_Using_Mixed_Methods_in_Monitoring_and_Evaluation___Experiences_from_International_Development_30页_685kb

报告摘要

本论文探讨了在国际发展项目中使用混合方法（即定性与定量方法结合）进行监测与评估的价值和必要性。作者指出，尽管定量方法（如随机对照试验）在评估项目效果方面具有优势，但它们在解释复杂的社会、文化和政治背景方面存在局限。因此，混合方法在应对这些挑战方面提供了更全面的视角。

定量方法的局限性
- 定量方法在因果推断方面具有统计严谨性，但常常忽视项目实施过程（"黑箱"）和项目所处的现实背景。
- 定量方法可能无法准确识别非参与者群体，导致评估结果出现系统性偏差。
- 定量方法通常无法处理异质性影响，即不同个体或群体对同一项目可能有不同的反应。
混合方法的优势
- 增强因果推断：通过结合定性数据（如访谈、观察、文本分析），可以更准确地构建反事实情景，从而更好地理解项目效果。
- 应对复杂项目：混合方法适用于多成分、多层级的复杂项目，如教育项目，能够在不同层级（学校、班级、个体）上进行分析。
- 适应现实约束：在预算有限、时间紧迫、数据不足或政治环境复杂的情况下，混合方法提供了更大的灵活性。
- 提高评估实用性：混合方法能够满足不同利益相关者的需求，通过多样化的数据呈现方式增强信息的传播效果。
提升评估的适用性
- 混合方法有助于在缺乏严格对照组的情况下进行归因分析。
- 它可以补充传统的定量指标，帮助理解复杂的概念如贫困、赋权和社区组织。
- 通过参与式方法（如PRA），可以更好地捕捉受益人对因果关系的看法。

本文分为以下几个部分：

引言：介绍了国际发展项目中对监测与评估有效性的需求，以及定量方法在该领域的局限性。
第二部分：五项关键议题
- 项目评估应由问题决定方法，而非由方法决定问题。
- 混合方法在处理多层级和多成分项目中的作用。
- 构建有效的反事实情景。
- 提升样本代表性与覆盖范围。
- 适应现实中的时间与预算限制。
第三部分：应对现实约束的混合方法应用
- 预算与时间限制对评估设计的影响。
- 利益相关者参与不足的问题。
- 数据获取的困难，包括敏感话题和难以接触的群体。
- 政治与组织压力对评估过程的干扰。
结论：强调了混合方法在国际发展项目评估中的重要性，并指出其在应对现实约束和提升评估实用性方面的潜力。