20260828-中金公司-中金_Token_启示录_四_推理产业链深度-技术篇_23页_4mb

报告摘要

本报告深入分析了大模型推理优化技术的分层架构与关键影响因素，指出推理优化已从单一技术突破演变为模型架构、算法优化、系统软件和硬件调度的协同优化过程。推理优化技术分为四层：

模型架构优化：
- 通过改进注意力机制（如MQA、GQA、MLA）和MoE架构，降低计算量与显存需求。
- MoE架构通过稀疏激活机制，在扩大模型参数规模的同时降低单Token计算量。
- 稀疏注意力机制（如滑窗注意力、DeepSeek稀疏注意力、线性注意力）在降低计算复杂度的同时保留部分建模能力。
推理算法优化：
- 量化技术通过降低参数精度减少显存占用和数据搬运成本，但需硬件原生支持。
- 投机解码通过预测候选Token并由主模型验证，减少串行生成轮次，提升生成速度。
- MTP、DSpark、JetSpec等投机解码方法在不同场景下展现出不同优势。
推理引擎优化：
- 推理引擎将模型、请求与算力组织为可调度的系统，提升单位算力产出。
- 开源框架（如vLLM、SGLang）已形成行业基础能力，但头部厂商仍需进行深度定制化优化。
- KV Cache分层与复用成为关键技术，通过存储换计算，提升资源利用率。
异构调度优化：
- 异构调度将不同芯片资源整合为统一调度池，实现性能与成本的动态平衡。
- 云厂商具备天然优势，可实现异构供给、容量管理与实例级路由优化。
- 芯片适配、资源池化、放置策略和请求路由构成异构调度的四大关键环节。

注意力机制优化：
- MQA、GQA、MLA等技术通过减少KV Cache规模，提升长上下文推理效率。
- 混合注意力机制成为主流，结合全局与局部建模，兼顾效率与效果。
MoE架构：
- MoE通过稀疏激活机制提升参数效率，减少计算量。
- 专家数量、粒度与路由方式影响跨卡通信开销，对推理框架提出更高要求。
KV Cache管理：
- MLA通过低维潜变量压缩KV Cache，降低显存占用。
- 分层与复用策略将KV Cache变为可调度资产，减少重复计算。

量化技术：
- 量化将模型参数、激活值与KV Cache压缩为低精度格式，减少显存占用。
- 支持量化格式的硬件（如NVIDIA FP8/FP4）和框架（如TensorRT-LLM）是关键。
投机解码技术：
- MTP、DSpark、JetSpec等方法通过预测与验证机制提升生成效率。
- 投机解码收益取决于候选接受率、草稿成本与验证预算。

核心模块：
- 请求调度、连续批处理、KV Cache管理、量化与投机解码等。
- vLLM、SGLang等开源框架已将部分能力沉淀为公共基线。
分布式并行：
- 张量并行（TP）、流水线并行（PP）、专家并行（EP）等技术提升吞吐与资源利用率。
- 实施顺序需考虑硬件条件与模型结构匹配。
KV Cache管理演进：
- KV Cache分层与复用技术逐步演进为独立基础设施。
- Mooncake Store、LMCache、Dynamo等系统实现多级缓存管理。

异构推理分层：
- 芯片适配、资源池化、放置策略、请求路由是四个关键层次。
- 国内企业常使用海外GPU与国产芯片混合部署，异构调度具备商业价值。
资源池化：
- 通过离线性能画像，实现不同负载的动态匹配，提升整体效率。
- NVIDIA MIG技术实现单卡多实例管理，减少资源浪费。
跨节点调度：
- PD分离（Prefill-Decode分离）提升延迟与吞吐，支持异构硬件部署。
- A/F分离（Attention-FFN分离）是下一个可能的调度方向，适用于MoE模型。

技术迭代风险：
- 随着模型架构和推理算法的快速演进，既有优化成果可能因技术更新而贬值。
- 需持续投入研发以适应新架构和新算力需求。
推理优化技术演进风险：
- 量化、投机解码等技术的优化效果依赖模型结构、任务类型和硬件支持。
- 不当设置可能导致输出精度下降、长文本稳定性减弱等问题。