20260807-东吴证券-_汽车_黄细里_AI系列深度16期_语言智能为何从RNN转向Transformer_4页_837kb

语言智能从RNN到Transformer的演进分析

核心内容

语言智能技术从循环神经网络（RNN）向Transformer模型的转变，标志着序列建模方法从“递归记忆”向“全局注意力”的根本性变革。这一转变不仅改变了模型的结构设计，也对研究方向和产业应用产生了深远影响。

主要观点

1. RNN的局限性

   • RNN通过隐藏状态传递上下文信息，适合处理顺序数据（如文本、语音）。
   • 然而，其串行计算方式、长距离依赖衰减问题以及固定向量瓶颈，限制了其在大模型时代的扩展能力。

2. Transformer的创新

   • Transformer通过自注意力机制，使序列中任意位置的元素能够直接交互，突破了RNN的串行结构限制。
   • 其优势包括：训练可并行、更强的长距离依赖建模能力、结构易于堆叠扩展、归纳偏置更弱、更能利用大规模数据价值。

3. 发展阶段与成果

   • 2017年：自注意力机制替代递归结构，完成Transformer架构的初步确立。
   • 2018—2020年：BERT、GPT、T5/BART等模型推动预训练—微调范式，实现语言理解与生成任务的统一，并验证了规模律。
   • 2021年后：指令微调、RLHF、CoT、RAG、工具调用、o1、DeepSeek-R1等技术进一步丰富了语言模型的能力，推动模型从单纯扩大规模转向后训练优化和测试时计算。

4. 研究与产业范式转变

   • 研究方向从为每个任务设计专用模型，转向预训练通用模型，再向对话式通用模型发展。
   • 产业形态因“互动性”能力发生质变，语言模型成为可以直接与用户交互的入口，如ChatGPT成为AI发展的关键拐点。

5. 数字AI与物理AI的对比

   • 数字AI底座模型（如语言模型）发展路径逐渐清晰，但难以实现物理世界的建模闭环。
   • 物理AI将成为未来AI解决方案的重要方向，智能驾驶作为最先实现闭环的场景，值得重点关注。

关键信息

• 技术趋势：Transformer的出现标志着语言建模从受串行结构约束的算法问题，转变为可随算力和数据扩展的工程问题。
• 应用场景：语言模型已从特征提取器发展为任务执行器，具备理解与生成能力，并支持多任务适配。
• 未来方向：在大模型时代，语言智能的发展将更加注重后训练优化与测试时计算，同时物理AI将成为下一个增长点。
• 风险提示：
  • 技术迭代不及预期
  • 大模型厂商ARR增速放缓
  • 云服务商资本开支不及预期
  • 智能驾驶及机器人商业化落地不及预期

最新金股组合（截至2026/7/31）

数据来源：Wind，东吴证券研究所
注：所对应市值、PE数据截至2026年7月31日，港股市值为港币，其余为人民币，汇率为0.86（HKDCNY），盈利预测源于东吴证券研究所。

法律声明

本公众号为东吴证券研究所依法设立、独立运营的官方订阅号，所推送内容均来自于已正式发布的研究报告。如需了解详细研究信息，请参见东吴证券研究所发布的完整报告。本内容不构成投资建议，东吴证券及研究所不承担因使用本内容而产生的任何损失责任。未经授权，禁止复制、转载或修改内容。