20260730-东吴证券-汽车行业点评报告_AI系列深度06期_Transformer如何从序列任务走向基座模型_9页_536kb

报告摘要

汽车行业点评报告总结

核心内容

本报告聚焦于人工智能在序列建模任务中的技术演进，重点分析了循环神经网络（RNN）与 Transformer 架构的差异及其在不同应用场景中的适用性。报告指出，Transformer 已成为云端通用基础模型的主流架构，而 RNN 在特定场景中仍具价值。

主要观点

1. 序列建模的核心挑战

变长、有序、长程依赖：序列数据具有长度可变、顺序敏感、远距离信息相关的特点。
上下文保留与长程依赖建模：模型需在训练和推理中有效保留上下文，并能捕捉远距离信息间的关联。
工程约束：训练并行性与推理成本是序列建模模型需权衡的关键因素。

2. RNN 与 Transformer 的对比

RNN 机制：通过循环结构和隐状态逐步更新，将历史信息压缩为固定维度。适合早期任务，但存在串行计算、难以并行、长程依赖衰减等问题。
Transformer 机制：采用自注意力机制，实现全局交互与并行训练。具有更强的长程建模能力，但计算成本随序列长度平方增长，超长上下文推理压力大。

3. 新循环架构的发展

Mamba、RWKV、线性注意力：作为对 Transformer 计算成本的优化方案，尤其在长上下文和端侧部署场景中表现出优势。
混合架构：结合 Transformer 和循环机制，通过部分层使用高效结构（如线性注意力）降低计算成本，同时保留部分全注意力层以维持精确记忆能力。

4. 应用场景与趋势

云端通用基础模型：Transformer 是主流架构，支撑 GPT、BERT、VLM、VLA 等大模型。
端侧与车端部署：RNN 及新循环架构在低功耗、低时延场景中更具应用潜力。
物理 AI 的发展方向：在 AI 当前发展阶段，物理世界的建模闭环比纯数字 AI 更具增量价值，智能驾驶是最早实现闭环的代表场景。

关键信息

RNN 的优势与局限：
- 优势：推理成本相对恒定，无需 KV 缓存。
- 局限：串行计算限制并行效率，长程依赖建模能力受限。
Transformer 的优势与局限：
- 优势：并行训练、长程建模能力强、适合大规模数据处理。
- 局限：计算成本随序列长度平方增长，超长上下文推理存在瓶颈。
新循环架构的价值：
- 线性注意力、状态空间模型（如 Mamba）和混合架构（如 Jamba、MiniMax-01）是应对 Transformer 计算瓶颈的重要技术方向。
- 在端侧、车端等资源受限场景中，新循环架构更具应用前景。
行业展望：
- 数字 AI 底座模型发展路径逐渐清晰，但物理 AI 是当前更具增长潜力的方向。
- 智能驾驶作为物理 AI 的代表场景，应成为重点关注领域。

风险提示

技术迭代不及预期：数字 AI、物理 AI 技术进展可能低于预期。
大模型厂商 ARR 增速放缓：客户增长、续费率或客单价不及预期可能影响厂商收入。
云服务商资本开支不及预期：AI 算力需求或投资回报低于预期可能抑制云服务商投入。
智能驾驶及机器人商业化落地不及预期：产品可靠性、成本下降或用户需求未达预期可能影响商业化进程。

总结

Transformer 作为序列建模的第二代架构，凭借并行训练和规模化能力，成为云端通用基础模型的核心底座。然而，其计算成本和内存占用问题，使得新循环架构在长上下文和端侧场景中重新受到关注。RNN 虽然被 Transformer 替代，但在特定场景中仍具价值。未来，Transformer 将继续主导通用模型，而新循环架构和混合架构将在效率约束场景中发挥重要作用。智能驾驶作为物理 AI 的代表，值得关注。

展开完整摘要