20170831-华泰证券-华泰人工智能系列之五_人工智能选股之随机森林模型_32页_3mb

金工研究：随机森林模型在选股中的应用

核心内容

本报告分析了随机森林模型在人工智能选股中的应用，重点探讨其在多因子选股策略中的表现，并与线性回归模型进行对比。随机森林是一种基于Bagging并行方法集成决策树的强分类器，具有较好的分类和回归能力，适用于处理非线性分类问题。

主要观点

• 模型构建：随机森林模型通过7阶段滚动回测方法构建，每月底重新训练模型，以适应市场变化。模型构建包括特征和标签提取、特征预处理、样本内训练、交叉验证和样本外测试等步骤。
• 模型性能：随机森林模型在沪深300和中证500成分股内选股策略中，表现出显著的超额收益和信息比率优势。例如，对于沪深300成分股内行业中性策略，超额收益为6.2%，信息比率为1.74；对于中证500成分股内行业中性策略，超额收益为8.4%，信息比率为2.16；对于全A选股策略，超额收益为30.6%，信息比率为4.17。
• 因子重要性：在随机森林模型中，市值和反转因子的重要性评分较高，说明模型对这些因子较为敏感。但模型对环境变化和参数调整较为敏感，因此在2017年以来的表现有所下降。
• 参数优化：通过网格搜索进行参数调优，选取了树棵数为500、最大特征数为8、内部节点再划分所需最小样本数为50、叶节点最小样本数为10作为全A选股模型的最优参数。对于沪深300和中证500成分股内选股，分别选取了600和300棵决策树，并调整了其他参数。
• 模型稳定性：随机森林模型相较于单棵决策树具有更好的稳定性，能有效降低过拟合风险，提高预测结果的鲁棒性。

关键信息

模型构建流程

1. 数据获取：使用全A股数据，剔除ST股票、停牌股票和上市不足三个月的股票。
2. 特征和标签提取：每个自然月的最后一个交易日计算因子暴露度，作为特征；计算下一整个自然月的个股超额收益作为标签。
3. 特征预处理：包括中位数去极值、缺失值处理、行业市值中性化和标准化。
4. 训练集和交叉验证集合成：每月末选取下月收益排名前30%的股票作为正例，后30%的股票作为负例。
5. 样本内训练与交叉验证调参：在每个月底重新构建模型，进行参数优化。
6. 样本外测试：使用最优参数进行测试，评估模型的正确率和AUC。
7. 模型评价：通过年化收益率、信息比率、最大回撤等指标综合评价策略效果。

模型测试结果

• 正确率与AUC分析：随机森林模型在交叉验证集的平均正确率为58.4%，AUC为0.615；样本外的平均正确率为57.0%，AUC为0.599。相较于12个月滚动线性回归模型（样本外平均正确率53.8%，AUC为0.568）和7阶段线性回归模型（样本外平均正确率53.7%，AUC为0.577），随机森林模型在多数情况下表现更优。
• 参数敏感性分析：树棵数、最大特征数、内部节点再划分所需最小样本数和叶节点最小样本数对模型性能有显著影响。通过调整这些参数，可以优化模型的预测效果。
• 因子重要性评分：市值和反转因子在随机森林模型中重要性评分较高，表明这些因子对模型预测有较大影响。

模型构建与回测分析

• 策略构建：构建了沪深300成分股内选股、中证500成分股内选股和全A选股策略，并通过年化收益率、信息比率和最大回撤等指标评估策略效果。
• 模型表现：随机森林模型在多数情况下能获取更高的超额收益和信息比率，但对回撤的控制不如线性模型。
• 风险提示：随机森林模型构建的选股策略是历史经验的总结，存在失效的可能。

总结与展望

• 模型优势：随机森林模型在非线性分类和预测能力方面表现优异，适用于多因子选股策略。
• 模型局限：模型对参数和环境变化较为敏感，需要持续优化和调整。
• 未来方向：后续报告将继续关注基于树的分类方法，寻找有效的手段解决模型在市场风格变化时的表现问题。

图表目录

• 图表1：根据市值和板块风格预测涨跌的模拟数据
• 图表2：以“是否为大市值”为规则对决策树作首次分裂
• 图表3：第二次和第三次分裂完成决策树学习
• 图表4：决策树解决非线性分类中的异或问题
• 图表5：单棵决策树分类中的过拟合现象
• 图表6：决策树设置最大树深进行预剪枝
• 图表7：树的后剪枝算法
• 图表8：Bagging并行方法示意
• 图表9：随机森林模型构建示意图
• 图表10：选股模型中涉及的全部因子及其描述
• 图表11：分阶段回测模型选取示意图
• 图表12：树棵数选择的相关指标评估
• 图表13：AUC及正确率曲线随决策树棵数变化图（交叉验证集）
• 图表14：特征个数选择的相关指标评估
• 图表15：AUC及正确率曲线随最大特征数变化图（交叉验证集）
• 图表16：随机森林模型(全 A 选股)网格搜索交叉验证集/测试集各评价指标详细结果
• 图表17：测试模型参数选取一览
• 图表18：随机森林模型和滚动线性回归模型样本外正确率
• 图表19：随机森林模型和滚动线性回归模型样本外 AUC 值
• 图表20：随机森林模型和 7 阶段线性回归模型样本外 AUC 值
• 图表21：随机森林模型和 7 阶段线性回归模型样本外 AUC 值
• 图表22：随机森林模型中因子重要性评分（前30名）
• 图表23：随机森林模型中因子重要性评分(后 40 名)
• 图表24：单因子分层测试法示意图
• 图表25：随机森林模型分层组合绩效分析(20110131~20170731)
• 图表26：随机森林模型分层组合回测净值
• 图表27：随机森林模型各层组合净值除以基准组合净值示意图
• 图表28：随机森林模型分层组合 1 相对沪深 300 月超额收益分布图
• 图表29：随机森林模型多空组合月收益率及累积收益率
• 图表30：随机森林模型组合在不同年份的收益及排名分析 (分十层)
• 图表31：不同市值区间随机森林模型组合绩效指标对比图 (分十层)
• 图表32：不同行业随机森林模型分层组合绩效分析(分五层)
• 图表33：随机森林模型回测重要指标对比(沪深 300 及中证 500 成份股内选股)
• 图表34：随机森林模型回测重要指标对比(全 A 选股)
• 图表35：随机森林模型和线性回归模型成份内选股策略组合回测分析表（回测期：20110131～20170731）
• 图表36：随机森林模型和线性回归模型全 A 选股策略组合回测分析表 (回测期: 20110131~20170731)
• 图表37：随机森林模型和线性回归模型①②沪深300成份股内行业中性选股策略表现（每个行业选6只个股）
• 图表38：随机森林模型和线性回归模型①②中证500成份股内行业中性选股策略表现（每个行业选6只个股）
• 图表39：随机森林模型和线性回归模型①②全 A 行业内中性选股策略表现（每个行业选 6 只个股，基准中证 500）