20260816-国泰海通-国泰海通_海外科技_开源权重普及与闭源定价博弈下_推理基础设施的定价权上移_大模型中间层步入商业化验证期专题报告_2页_138kb

大模型中间层商业化验证期专题报告总结

核心内容概述

本报告分析了在开源权重普及与闭源模型定价博弈的背景下，大模型中间层（推理基础设施）正逐步进入商业化验证期。随着AI支出重心从模型训练转向推理阶段，Token成为衡量服务价值和实现变现的关键单元。大模型中间层作为连接算力、模型与应用的桥梁，其商业模式正在海外和国内形成差异化的发展路径。

主要观点

• AI支出重心转移：AI技术发展正从模型训练向推理阶段转移，推理成为企业实际应用的核心环节。
• Token作为计量与变现单元：Token数量成为衡量服务使用量和收入生成的重要指标，推动推理服务的标准化和商业化。
• 中间层定位清晰：中间层不研发基座大模型，也不直接面向终端用户，而是专注于整合算力与模型资源，为应用侧提供统一接入、推理加速、弹性调度等服务。
• 海外商业模式分化：海外中间层已形成三层清晰的商业模式：路由网关层、推理云层、全栈部署层，分别对应不同的市场定位与盈利模式。

关键信息

海外中间层商业模式

1. 路由网关层

   • 代表企业：OpenRouter
   • 功能：统一API接入数百个开源与闭源模型，实现跨厂商负载均衡与自动故障切换。
   • 盈利模式：沿用底层厂商推理定价，对用户收取约5% - 5.5%的手续费。
   • 数据：周Token处理量半年内由约5万亿升至约25万亿，年化收入约0.5亿美元，B轮投后估值约13亿美元。

2. 推理云层

   • 代表企业：Fireworks

   • 功能：专注于高性能推理与后训练，支持开源及客户定制模型。

   • 盈利模式：通过自研推理栈与多云算力调度提供生产级服务。

   • 数据：7月ARR突破10亿美元，日Token处理量超约40万亿，95%以上流量来自专用模型，D轮投后估值175亿美元。

   • 代表企业：Together AI

   • 功能：提供AI原生云服务，覆盖开源模型推理、训练与强化学习，同时提供GPU集群等算力服务。

   • 发展方向：由转租向自建数据中心延伸。

   • 数据：截至26Q2年化订单额约11.5亿美元，C轮投后估值约83亿美元。

3. 全栈部署层

   • 代表企业：Baseten
   • 功能：帮助企业将自有或开源模型转化为可商用API，覆盖Dedicated Inference、Model APIs、Training等产品。
   • 部署方式：提供Cloud、Self-hosted、Hybrid等部署选项。
   • 技术支持：通过开源框架Truss与Chains复合工作流降低模型上线门槛，拓展多步骤应用场景。
   • 数据：预估ARR约6亿美元，F轮估值约110-130亿美元。

国内发展现状

• 国内独立词元平台在闭源云主导的市场格局中寻找差异化空间，逐步探索中间层服务的商业化路径。
• 与海外相比，国内中间层企业仍处于早期发展阶段，需在技术、生态与商业模式上进一步突破。

风险提示

• 商业化与持续经营风险：中间层企业需在商业化落地与持续盈利能力之间找到平衡。
• 竞争与生态挤压风险：随着市场参与者增多，竞争加剧，生态构建成为关键。
• 算力成本与利润率风险：算力成本上升可能压缩中间层企业的利润空间。
• 客户集中与需求波动风险：客户集中度高可能导致收入波动，需分散风险。
• 技术迭代与产品替代风险：技术快速迭代可能带来现有产品的淘汰风险。
• 合规与数据安全风险：在数据使用与模型部署过程中，需严格遵守相关法律法规，保障数据安全。

总结

本报告指出，大模型中间层正从技术探索阶段迈向商业化验证期，Token作为关键计量与变现单元，推动了推理服务的标准化与规模化。海外中间层已形成三层清晰的商业模式，分别聚焦于模型接入、高性能推理服务与全栈部署，代表企业如OpenRouter、Fireworks、Together AI与Baseten均展现出强劲的增长势头与市场潜力。国内中间层则在闭源云主导的环境下寻求差异化发展路径。然而，中间层企业仍面临商业化落地、竞争加剧、算力成本、客户集中、技术迭代与合规风险等多重挑战。未来，随着技术成熟与市场需求增长，推理基础设施的定价权将逐步上移，成为AI产业链中不可忽视的一环。