2001年-世界发展银行全球_The_Mystery_of_the_Vanishing_Benefits___An_Introduction_to_Impact_Evaluation_26页_603kb

报告摘要

文档内容总结：《The Mystery of the Vanishing Benefits: An Introduction to Impact Evaluation》

核心内容

本文通过一个虚构故事，介绍了如何进行社会项目的影响评估（impact evaluation），重点讨论了非随机项目分配对评估结果的潜在影响，以及如何通过控制变量和倾向得分匹配（propensity score matching）等方法来减少偏差，提高评估的准确性。

主要观点

项目评估的挑战
- 社会项目（如PROSCOL）的评估需要区分项目带来的实际影响与其他因素的影响。
- 传统的比较方法（如比较参与家庭与非参与家庭的平均教育水平）容易受到选择偏差（selection bias）的影响，因为参与家庭和非参与家庭在未受项目影响的情况下可能存在系统性差异。
PROSCOL项目简介
- PROSCOL是Labas政府为减少贫困而实施的现金转移计划，目标是为贫困家庭的学龄儿童提供现金补助，前提是这些儿童必须完成85%的课程。
- 项目通过贫困代理指标（如家庭人数、家庭头教育水平、住房条件等）来识别贫困家庭。
评估方法的初步尝试
- Ms. Analyst使用了国家统计局的Living Standards Survey (LSS)数据，进行交叉分类分析，发现参与家庭和非参与家庭的教育水平差异不大。
- 她尝试用回归分析，但未考虑控制变量，导致结果可能不准确。
偏差问题的揭示
- Mr. Unbiased Statistica指出，使用非参与家庭作为对照组可能引入偏差，因为参与家庭可能原本就更少上学。
- 通过引入控制变量（如儿童年龄、父母教育水平、家庭规模等），Ms. Analyst发现参与家庭的教育水平显著提高，增加了约2年。
控制变量与回归模型的改进
- 在回归模型中，控制变量可以帮助消除选择偏差，使参与与不参与的比较更准确。
- 通过倾向得分匹配（propensity score matching）方法，可以基于参与概率（根据控制变量估计）来匹配参与与不参与家庭，从而实现更有效的比较。

关键信息

PROSCOL项目：一项针对贫困家庭的现金转移计划，要求儿童上学才能获得补助。
评估目标：判断该计划是否真正减少了贫困，包括当前收入和未来收入（通过提高教育水平）。
选择偏差：由于项目是有意针对贫困家庭，因此参与家庭在未受项目影响的情况下可能有较低的教育水平，导致评估结果偏误。
控制变量的重要性：引入控制变量（如儿童年龄、父母教育、家庭特征等）有助于减少偏差，提高评估的准确性。
倾向得分匹配：通过估计参与概率（propensity score），可以匹配具有相似特征的参与与非参与家庭，从而实现条件独立性（conditional independence）假设，提高评估的有效性。

方法论要点

方法	描述	优缺点
简单均值比较	比较参与家庭与非参与家庭的平均教育水平	容易受到选择偏差影响，低估项目效果
回归分析	引入控制变量，估计项目对教育的影响	可以部分消除偏差，但需确保变量的外生性
倾向得分匹配	基于控制变量估计参与概率，匹配相似家庭	可以有效减少选择偏差，但需正确估计参与模型