深度报告-20260806-东吴证券-汽车行业深度报告_AI系列深度16期_语言智能为何从RNN转向Transformer_15页_898kb

汽车行业深度报告总结

核心内容

本报告聚焦人工智能技术在自然语言处理（NLP）领域的演进，重点分析从递归神经网络（RNN）到 Transformer 架构的转变过程，探讨其技术优势与应用场景，并指出其在语言模型发展中的关键地位及对产业形态的影响。同时，报告提出“数字 AI 底座模型”与“物理 AI”是当前 AI 发展的两大方向，其中智能驾驶作为物理 AI 的代表场景，值得重点关注。

主要观点

• RNN 的局限性：RNN 通过隐藏状态传递上下文信息，虽在处理顺序数据上有优势，但存在串行计算、长距离依赖衰减、固定向量瓶颈等结构性问题，限制了其在大规模数据和复杂任务中的应用。
• Transformer 的突破：Transformer 通过自注意力机制实现序列中任意位置的全局交互，解决了 RNN 的串行问题，使语言建模从受限于算法的结构问题，转变为可随算力和数据扩展的工程问题。
• 语言模型的发展阶段：Transformer 在语言任务中的演进可分为七个阶段，归并为三大阶段，分别是架构确立、范式统一与规模化、对齐与推理。各阶段代表性成果包括 BERT、GPT、T5、GPT-3、InstructGPT、CoT、RAG、GPT-4、o1 等。
• 研究与产业范式的转变：研究范式从“任务专用”转向“通用底座+下游适配”，产业形态从“感知性中间能力”转向“互动性入口能力”，语言模型成为 AI 第二次爆发的重要驱动力。
• Transformer 的角色定位：在语言任务中，Transformer 作为“核心本体”直接承载任务，而在视觉任务中则多作为“组件”或“骨干网络”，与卷积结构混合使用。

关键信息

1. RNN 的技术演进与局限

• 基本结构：通过隐藏状态传递上下文，实现序列建模。
• 演进路径：从简单循环网络 → 门控机制（LSTM/GRU） → 序列到序列（Seq2Seq）框架。
• 局限：
  • 串行计算难以并行；
  • 长距离依赖衰减；
  • 固定向量导致信息瓶颈。

2. Transformer 的架构与优势

• 核心机制：自注意力（Self-Attention）实现全局交互，无需递归结构。
• 结构特点：
  • 输入输出均为 token 序列；
  • 需要位置编码注入顺序信息；
  • 多头注意力机制并行捕捉不同关系。
• 主要优势：
  • 训练可并行；
  • 长距离依赖建模更强；
  • 结构更易扩展；
  • 归纳偏置更弱，利于大规模数据利用。

3. Transformer 在语言任务中的发展阶段

4. 语言模型的产业意义

• 研究范式转变：从“每个任务单独设计模型”转向“预训练通用模型+下游适配”。
• 产品形态转变：从“感知中间结果”转向“自然语言交互入口”，ChatGPT 是典型代表。
• 技术路线演化：从“扩大预训练规模”转向“后训练优化”与“测试时计算”。

5. 未来方向与风险提示

• 物理 AI 的重要性：在当前 AI 发展阶段，物理 AI 的价值增量更大，智能驾驶是最早实现闭环的场景。
• 风险提示：
  • 技术迭代不及预期；
  • 大模型厂商 ARR 增速放缓；
  • 云服务商资本开支不及预期；
  • 智能驾驶及机器人商业化落地不及预期。

结构对比总结

总结

Transformer 架构的出现标志着语言建模从“递归记忆”向“全局注意力”转变，为大规模语言模型的训练与应用提供了新的可能。其在训练并行性、长距离依赖建模、结构扩展性和归纳偏置方面具有显著优势，推动了语言模型从“特征提取器”向“任务执行器”演进。研究与产业范式同步发生变革，语言模型成为 AI 第二次爆发的重要入口。未来，随着物理 AI 的发展，智能驾驶等场景将成为关注重点，但技术、商业化与资本等多方面风险仍需警惕。