2007年-世界发展银行全球_On_the_Effect_of_Prior_Assumptions_in_Bayesian_Model_Averaging_with_Applications_to_Growth_Regression_25页_703kb

文档总结

核心内容

本文探讨了贝叶斯模型平均（BMA）中先验假设对模型选择和预测性能的影响，特别是在跨国家经济增长回归分析中的应用。作者指出，先验假设的选择对模型大小、后验包含概率和预测结果有显著影响，因此需要谨慎对待。通过使用三种不同的数据集（每种包含41至67个潜在的经济增长驱动变量和72至93个观测值），文章分析了不同先验结构对模型推理的影响，并强调了使用分层先验的必要性。

主要观点

• 模型不确定性：在经济增长回归中，面对大量潜在变量和有限样本，模型不确定性是一个重要问题，BMA是一种有效的处理方法。
• 先验结构的重要性：不同的先验结构会导致不同的后验结果，先验假设的选择对模型推理和预测性能具有决定性影响。
• $g$-先验的选择：作者分析了两种主要的$g$-先验选择：$g = 1/n$ 和 $g = 1/k^2$，并指出$g = 1/k^2$在模型大小惩罚方面更为严格。
• 模型空间先验：使用固定的$\theta$（每个变量被包含的概率）会导致模型大小分布过于集中，而随机$\theta$（基于Beta分布的分层先验）则能更好地反映模型空间的不确定性。
• 先验均值模型大小：通过设置先验均值模型大小$m$，可以更直观地进行先验选择，同时减少对其他先验参数的依赖。
• BACE方法的局限性：虽然BACE方法在形式上类似于BMA，但其隐含的先验选择并未真正解决模型选择中的不确定性问题，反而可能误导分析师。

关键信息

先验选择

• $g$-先验：用于回归系数的先验，常见的选择有$g = 1/n$ 和 $g = 1/k^2$。
• 模型空间先验：通常通过$\theta$参数表示，固定$\theta$会导致模型大小分布过于集中，而随机$\theta$（基于Beta分布）提供了更大的灵活性。
• 先验均值模型大小：通过$m$参数来表达，$m = 7$和$m = k/2$是两种典型的选择。

模型大小与后验结果

• 模型大小分布：在固定$\theta$下，模型大小分布的均值为$\theta k$，方差为$\theta(1 - \theta)k$；在随机$\theta$下，模型大小分布更广泛。
• 先验方差与系数变化：对于固定$\theta$，先验方差随$m$变化而变化，而随机$\theta$下的方差变化更平缓，更合理。
• 后验模型概率：模型大小和拟合度（通过$R^2$）会影响后验模型概率，较大的模型在某些先验下会受到更严重的惩罚。

BMA与BACE比较

• BACE方法：是一种近似贝叶斯方法，其先验选择隐含地固定了$g$，并未真正解决模型选择中的先验依赖问题。
• Bayes因子：BMA的Bayes因子依赖于$g$和$R^2$，而BACE方法在形式上与$g = 1/n$的BMA方法相似，但其先验假设仍然影响结果。

数据集分析

• FLS数据集：包含41个潜在变量和72个国家的观测数据，结果表明，当使用$m = 20.5$和$g = 1/k^2$时，后验模型大小分布与FLS原始结果非常接近。
• SDM数据集：包含67个变量和93个观测数据，作者分析了不同先验设置下的模型大小惩罚和后验结果。
• MP数据集：作者也分析了该数据集，展示了不同先验结构下的后验包含概率和模型大小分布。

方法与工具

• MCMC采样器：用于处理庞大的模型空间，只访问具有显著后验概率的模型，避免穷举所有模型。
• 分层先验结构：推荐使用分层先验，特别是基于Beta分布的$\theta$，以提高模型选择的灵活性和鲁棒性。

结构与结论

• 结构分析：文章分为引言、贝叶斯模型、先验假设与后验推断、贝叶斯因子、实证分析和结论等部分。
• 实证结果：使用三种数据集展示了不同先验设置下的后验模型大小分布、模型概率和变量包含概率。
• 结论与建议：作者建议使用分层先验结构，特别是在模型空间中引入随机$\theta$，以提高结果的稳健性。同时，强调了选择合理的先验参数的重要性，避免误导性的“稳健”结果。

图表与结果

• 图1：比较了固定$\theta$和随机$\theta$下的先验模型大小分布。
• 图2：展示了不同先验结构下的对数先验比。
• 图3：比较了不同模型大小下的先验比。
• 图4：展示了不同$g$和$m$组合下模型概率相等的等高线。
• 图5：提供了所有八种先验组合下的后验模型大小分布。

总结

本文通过理论分析和实证研究，揭示了贝叶斯模型平均中先验假设对模型选择和预测性能的关键影响。作者建议采用分层先验结构，特别是在模型空间中使用随机$\theta$，以增强模型选择的灵活性和鲁棒性。此外，强调了选择合理的$g$和$m$参数的重要性，并指出BACE方法虽然形式上类似BMA，但其隐含的先验选择仍然可能误导分析师。