李锴：通过总线技术实现数据中心级“先进封装-16页_10mb

服务器内存需求分析与优化方案

背景

• 人工智能和算力增长导致对服务器内存需求激增。
• 当前AI硬件算力增长远超内存发展，形成“内存墙”问题。
• 边缘场景和大模型训练/推理中，高维稀疏数据对内存提出更高要求。

核心问题

• 现有分层内存架构难以满足业务需求。
• GPU/AI卡显存不足，导致训练/推理瓶颈。

解决方案

1. 芯片级架构改进

• 近存计算：将内存堆叠在处理器或加速器上，缩短访问距离，提升效率。
• 先进封装技术：通过共封装内存（Co-BOOM）实现内存与芯片的集成，减少延迟。

2. 总线互联技术

• CXL、PCIe、NVLink等协议：提供高带宽、低延迟的芯片间通信。
• 异构资源统一连接：支持CPU、GPU、存储等设备的纳秒级时延协同。
• 内存池化：通过总线实现内存资源的集中管理、共享与扩展。

3. 内存技术拓展

• 多样介质支持：支持DDR4/5、HBM、持久内存等，满足容量与性能需求。
• 内存扩展器：灵活增加容量，优化系统成本。
• 近存计算：利用CXLEP协议实现数据就近计算，减少传输开销。

关键技术亮点

• 总线协议演进：CXL协议支持32GB/s双向传输，独立内存介质。
• 内存即服务：池化设计实现动态分配，提升资源利用率。
• 软件优化：内核空间与用户级驱动协同，确保高效操作。

应用与展望

• 推动服务器、多主机间内存资源池化，构建统一MaaS（内存即服务）能力。
• 中国移动探索CXL等总线技术，助力数据中心性能与效率升级。
• 联合产业生态制定标准，加速计算架构转型升级。