20180702-华安证券-海外TMT行业中期策略_AI算法教学相长_顶级会议百舸争流_22页_1mb

海外TMT行业中期策略总结：AI算法教学相长，顶级会议百舸争流

核心内容

2018年ICLR（国际深度学习大会）作为深度学习领域的重要会议，吸引了全球众多科技公司和研究机构的积极参与。本次会议展示了AI领域在算法优化、模型结构创新、应用场景拓展等方面的最新进展。谷歌、DeepMind、Facebook、OpenAI和微软等五家科技公司贡献了会议总接收论文的近20%，显示出其在AI研究领域的主导地位。此外，高校和新兴研究机构也在探索新的模型和方法，为AI领域带来创新活力。

主要观点

• 谷歌与DeepMind主导会议研究
  谷歌和DeepMind合计贡献了会议总接收论文的20%，其中谷歌提交了47篇论文，DeepMind提交了22篇。它们在强化学习、优化算法、神经网络结构等方面均有重要成果。

• 强化学习成为研究热点
  强化学习在2018年ICLR中占据重要位置，共有约20篇相关论文。DeepMind在这一领域持续投入，同时其他机构也尝试将强化学习应用于其他任务，如语言理解和翻译等。

• 语言相关研究持续增长
  与语言相关的论文有22篇，涵盖语言演进、弱监督/无监督翻译、阅读理解、问答系统等多个方向。

• 大模型、大计算、大数据是深度学习发展的三大支柱
  随着这些技术的不断进步，深度学习在多个领域如图像识别、语音识别、自然语言处理、无人驾驶等取得突破性进展。

• 软技术公司与垂直领域公司各具特色
  谷歌等软技术公司专注于通用AI算法研究，而像百度、腾讯、阿里巴巴等公司则更关注AI在具体业务场景中的落地与优化。

关键信息

1. ICLR会议概况

• 接收论文数量：2018年ICLR接收论文总数为337篇，其中oral论文23篇，poster论文314篇。
• 投稿机构：谷歌、DeepMind、Facebook、OpenAI、微软贡献了9篇oral和107篇poster论文。
• 投稿国家：英国在投稿数量上领先，中国排名第二。

2. 算法与优化

• Adam算法的收敛问题：Adam在某些情况下无法收敛，论文指出其原因在于指数移动平均值的使用。
• AMSGrad优化算法：通过设置梯度的“长期记忆”来解决Adam的收敛问题，确保学习率始终非负。
• 优化方法进展：在大数据和计算能力已经足够的情况下，优化方法仍是研究热点，包括梯度压缩、在线蒸馏、学习率与批大小关系等。

3. 自动化教学（Learning to Teach）

• L2T框架：微软提出了L2T框架，旨在提升模型训练效率和性能。
• 实验结果：L2T在LSTM网络上提升了IMDB数据集分类准确率，达到89.46%。
• 可迁移性：L2T在小数据集上训练的模型可迁移至大数据集，实现良好的泛化能力。

4. 多比特量化压缩加速

• 量化方法：论文提出多比特量化方法，以减少内存使用和提升推断速度。
• 实验数据：在CPU上，2比特量化可实现约6倍的推断加速，仅产生少量准确率损失；3比特量化几乎不损失准确率，且加速效果更显著。
• 三值量化：与二值量化相比，三值量化增加了0状态，提升了灵活性。

5. 高校研究创新

• 球形CNN：针对球形数据（如地球表面）设计的球形卷积神经网络，通过旋转不变性提升模型效果。
• 元学习方法：提出基于梯度的元学习方法，用于动态和竞争环境下的连续适应。设计了RoboSumo环境，验证了该方法的有效性。

6. 计算硬件与平台系统

• 计算硬件演进：从CPU到GPU、FPGA，再到定制芯片，计算能力不断提升。
• 深度学习平台：包括TensorFlow、DMTK、Torch7、PaddlePaddle等，这些平台为AI发展提供了重要支持。
• TPU架构：谷歌的TPU专为AI计算设计，具备高能效和高性能。

投资评级说明

• 增持：未来6-12个月内，AI行业投资回报率预计将领先沪深300指数5%至15%。
• 投资评级体系：
  • 买入：投资回报率领先市场15%以上
  • 增持：投资回报率领先市场5%至15%
  • 中性：投资回报率与市场变动幅度在±5%之间
  • 减持：投资回报率落后市场5%至15%
  • 卖出：投资回报率落后市场15%以上
  • 无评级：因信息不全或重大不确定性事件无法给出明确评级。

信息披露与免责声明

• 本报告基于市场公开信息，不保证数据的准确性和完整性。
• 报告仅供特定客户参考，不构成投资建议。
• 华安证券及其关联机构可能持有报告中提到的公司股票，并为其提供相关服务。
• 未经授权，禁止复制、分发或修改本报告内容，否则将承担相应法律责任。

总结：2018年ICLR会议全面展示了AI领域的最新进展，包括强化学习、语言模型、优化算法、自动化教学、多比特量化等。谷歌、DeepMind、Facebook等公司在研究和应用方面占据主导地位，同时高校和新兴研究机构也在不断推动技术边界。随着大模型、大计算和大数据的持续发展，AI技术在多个领域取得突破，为行业带来新的机遇。