20260831-中金公司-中金_Token启示录_五_推理产业链深度-测算篇_14页_2mb
报告摘要
推理产业链深度报告:测算篇总结
核心内容概述
本报告聚焦于推理产业链的深度分析,探讨推理优化技术如何影响单位Token成本,以及不同参与者在产业链中的角色与价值。报告指出,在推理需求快速增长与算力紧缺的背景下,优化技术成为降低成本、提升效率的关键。各环节的毛利率主要由推理优化能力、硬件利用率、采购成本和产品定价权决定,长期来看,技术效率的提升将转化为更低的单位Token成本和更稳定的软件服务溢价。
主要观点
- 推理优化技术的重要性:推理优化能够显著降低单位Token成本,涉及模型架构、算法优化、推理引擎和集群利用率等多个层面。
- 成本下降的关键因素:在硬件价格固定的情况下,单位Token成本由单卡理论吞吐、算法增益、推理引擎工程达成率和集群利用率共同决定。
- 技术壁垒与Co-design能力:单项技术难以形成持续的成本优势,而覆盖模型、算法、引擎与硬件的Co-design能力更具长期竞争力。
- 市场格局:产业链参与者包括模型厂商、云厂商、新云、推理优化平台、异构算力管理平台、多模型API聚合平台等,各参与方在技术与商业模式上各有侧重。
- 商业模式差异:推理优化平台提供按Token计费、GPU时间或容量保障的生产服务,而云厂商与新云则依赖算力采购和规模效应提升收益。
- 国内外差异:海外平台偏向公有云服务,而国内平台更重视异构适配和私有部署。
关键信息
推理优化技术与产业链参与者
| 参与者 | 核心优势 | 价值点 |
|---|---|---|
| 模型厂商 | 模型架构与推理调优系统Co-design能力 | 在模型智能水平差异扩大时,具备API定价能力;在模型趋同时,成本控制能力重要 |
| 云厂商 | 算力采购、网络存储、企业客户和应用生态 | 可通过提升集群利用率和客户粘性实现收益,具备全栈资源和规模效应 |
| 新云 | 高性能集群和长期容量合同 | 短期受益于算力紧缺和价格上涨,中长期需关注利用率和融资成本 |
| 推理优化平台 | 跨模型、跨芯片、客户专用负载管理 | 提供灵活、按需服务,降低迁移成本,满足SLO要求 |
| 异构算力平台 | 多类芯片并存与私有部署需求 | 芯片适配、资源池化与调度具备商业价值,有望形成软件型毛利 |
| 多模型API聚合平台 | 模型分发、统一计费与请求路由 | 降低接入成本与提高调用便利度,主要服务于开发者和中小企业 |
| 芯片厂商 | 硬件销售、软件生态与开发者锁定 | 通过硬件性能和软件支持承接推理优化价值 |
| 应用厂商 | 推理效率提升的最终受益方 | 成本下降支持更高调用频率、更长上下文和更复杂Agent工作流 |
单位Token成本与优化效果
| 芯片型号 | 每百万Token成本(美元) | 单卡Token吐出量(token/s) | 单卡Token吐出量优化幅度 |
|---|---|---|---|
| H100 | 1.17 | 2021 | 3.5倍 |
| H200 | 1.22 | 3621 | 3.5倍 |
| B200 | 1.73 | 3916 | 3.5倍 |
| B300 | 2.26 | 4586 | 3.5倍 |
| GB200 | 1.86 | 4586 | 3.5倍 |
| GB300 | 2.31 | 4586 | 3.5倍 |
| MI300X | 0.95 | 10243 | 3.5倍 |
| MI325X | 1.10 | 3045 | 3.5倍 |
| MI355X | 1.50 | 17303 | 3.5倍 |
优化能力与成本测算
- 混合实际成本测算:经过逐层优化后,混合实际成本可达约0.039美元/百万Token,较基准情况下的44.46美元/百万Token大幅下降。
- 优化四层模型:
- 模型架构设定理论吞吐边界
- 量化、投机解码等算法提高有效吞吐
- 推理引擎提升系统工程达成率
- 集群利用率决定实际产出
市场格局与经济效益
- 公有云市场:2025年中国公有云MaaS市场按调用量计算,火山引擎占据近半份额,阿里云、百度智能云、硅基流动、移动云紧随其后。
- 私有部署市场:集中度较低,传统政企客户更倾向于私有部署,以保障数据安全和本地化管理。
- 经济效益衡量:单位Token成本和单位任务成本共同影响推理服务的经济效益,降低Token消耗同样重要。
投资建议
- 关注具备Co-design能力的厂商:能够将推理优化前移至模型或芯片设计阶段,形成技术壁垒。
- 重视数据反馈平台建设:通过真实生产流量形成反馈闭环,提升优化效果。
- 关注不同商业模式的适应性:如按Token计费、GPU租赁、私有部署等,适应市场需求变化。
风险提示
- 技术迭代风险:模型架构、算法和开源框架快速变化,可能导致既有优化成果贬值。
- 模型商业化模式变化风险:未来可能采用订阅制、广告、交易佣金等模式,影响产业链价值分配。
- 成本上升风险:GPU采购、电力、数据中心租金等成本上升可能压缩利润空间。
- 推理优化技术演进风险:低精度量化、投机解码等技术可能引发输出精度下降、拒绝率上升等问题。
结论
推理产业链在技术与商业模式的双重推动下持续发展,各方参与者通过不同的技术路径和商业模式实现价值创造。中长期来看,具备Co-design能力和数据反馈平台的厂商更具竞争优势,能够持续优化单位Token成本,提升整体效益。同时,技术迭代和商业化模式变化可能带来新的风险与机遇。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载