美联储-用自举部分边际效应和Shapley值解释机器学习（英）-2024-40页_897kb

机器学习模型解释：通过Bootstrap部分边际效应与Shapley值

这篇论文提出了一种通过Bootstrapping计算部分边际效应( PME) 和Shapley值来解释机器学习模型的方法。

理论创新：

1. PME（Partial Marginal Effect）

   • 类似于传统线性回归的系数，表示保持除一个特征外所有特征不变时，该特征变化对模型输出（通常是等值函数）的导数。
   • 论文证明，PME是传统线性回归系数的一个非参数估计。
   • 使用Bootstrapping技术可以计算PME的标准误和置信区间。

2. Shapley值与SPDP（Shapley Partial Dependence Plot）/SFIPDP（Shapley Feature Importance Partial Dependence Plot）

   • Shapley值用于衡量一个特征对单个观测预测值边际贡献，需对所有可能特征组合取平均。
   • 将Shapley值应用于所有数据点后，可以绘制SPDP，与PDP类似，但基于Shapley值。
   • 进一步计算SFIPDP，即Shapley值的PDP，用于衡量特征的整体重要性，类似于RF中的特征重要性。
   • 通过Bootstrap对SPDP和SFIPDP进行误差估计。

应用与发现：

1. 基准回归模型与PME： 在线性模型中，PME估计量与OLS系数高度一致，且Bootstrap标准误相近。
2. 模型对比：
   • 适用于光滑模型（如SVM、DNN）描述非线性关系。
   • 波尔茨曼分割对非光滑模型（如GBM、RF）很有用，后者基于“切片面”的思想，但PME图可能存在噪声。
3. 案例研究：爱荷华市房产数据
   • 展示了PME、SPDP和SFIPDP在解释复杂非线性关系方面的优势，例如平方英尺超过2000英尺和屋龄超过110年时，新增效应对房价的影响趋近于零。
   • 成功将机器学习方法与经典线性回归方法的应用进行对比。
4. 案例研究： 通过比较2019年和2021年的预测模型，展示了地价变化和特征重要性变化的趋势，例如2021年的模型显示新建房屋不再具有过去同等甚至更小的溢价。

结论：

该文提供了一种模型无偏性方法来解释机器学习模型，计算机能类似传统经济学分析。然而需要注意的是，Shapley值和PME的解释需考虑变量间的相互作用，并且不少方法如ALE（平均局部效应）也值得关注。