【ODCC开放数据中心委员会】2024年存算分离之存储池化报告

存算分离之存储池化报告总结

核心内容概述

本报告由开放数据中心标准推进委员会发布，旨在介绍存算分离技术的背景、定义、发展趋势、架构组成及关键技术要求。报告强调了存算分离架构在提升资源利用率、增强系统可靠性、降低运维成本等方面的重要优势，并提出了盘框规范及关键技术指标，以指导相关技术的开发与部署。

主要观点

• 存算分离是未来数据中心架构演进方向：通过将计算与存储资源解耦，实现独立扩展与共享池化，提升系统灵活性与资源利用率。
• 技术驱动发展：网络性能提升、SSD容量增长、DPU等专用芯片的发展为存算分离提供了技术基础。
• 存储池化与共享机制：通过池化存储资源，支持按需分配，避免资源浪费，提升整体存储效率。
• 高可靠性与安全要求：存算分离架构需要满足高可用性、数据安全、故障快速隔离等关键需求。

关键信息

一、存算分离技术产生的背景

• 当前IT基础设施以“存算一体”架构为主，但随着业务需求多样化，该架构暴露了资源利用率低、扩容成本高、本地盘故障影响系统稳定性等问题。
• 存算分离架构通过将本地盘拉远池化，支持多服务器共享存储资源，提升资源利用率和系统可靠性。

二、术语与定义

三、技术发展趋势

• 网络性能提升：NVMe-oF、RoCE、CXL 等协议推动远程存储访问性能接近本地存储。
• 大容量 SSD 推动：30TB 及以上 SSD 成为主流，大容量 SSD 的普及带来新的挑战与解决方案。
• DPU 卸载技术：专用芯片用于卸载存储协议和数据处理，提升系统效率与性能。
• 云级服务支持：DPU 支持虚拟化、网络、存储、安全等多维度服务，提升数据中心整体能效。

四、存算分离架构定义

• 存算分离架构由存储模组、高性能网络和算力模组组成，实现存储与计算的彻底分离。
• 存储模组：新型盘框，支持高密度、高容量、高性能和高可靠性。
• 高性能网络：支持低延迟、高吞吐，如 RoCE、InfiniBand 等，是存算分离架构的关键支撑。
• 算力模组：支持异构算力（CPU、AI、网卡等），灵活配置满足不同业务需求。

五、存算分离盘框规范要求及关键技术

（一）规范要求

1. 硬件自主可控：支持数据中心标准机柜，高度建议 ≤ 2U。
2. 协议兼容性：支持 FC、iSCSI、NVMe over RoCE 等协议。
3. 性能密度：
   • 100% 顺序读带宽 ≥ 300MB/TB
   • 8K 随机读 IOPS ≥ 50000/TB
4. 容量密度：每 U 容量 ≥ 100TB。
5. 可靠性：支持硬件全冗余，业务可用度 ≥ 99.999%。
6. 安全性：支持数据加密、销毁、DIF 校验等。
7. 扩展性：支持 Scale-out 和 Scale-up 扩展。
8. 智能运维：支持系统升级、故障告警、即插即用等。

（二）性能关键技术

1. NVMe-oF 协议支持：提升远程存储访问性能。
2. Active-Active 架构：实现全局负载均衡。
3. ROW 写技术：提升 SSD 性能与寿命。
4. 端到端 I/O 优先级控制：保障高优先级 I/O 快速响应。
5. 多流分区技术：减少写放大，提升 SSD 性能。
6. 大块顺序写技术：提升存储写入效率。
7. DPU 卸载技术：提升系统效率，降低 TCO。
8. 智能加速技术：融合 Cache 和 Tier，实现全场景性能优化。

（三）资源利用率关键技术

1. RAID2.0 技术：实现快速重构、全盘参与、负载均衡。
2. 数据缩减技术：支持压缩与重删，提升空间利用率。
3. 大比例 EC 技术：提升存储空间利用率至 92%。
4. 硬件高密技术：支持 1PB/U 容量密度。
5. 智能精简技术：按需分配存储资源，提升资源使用效率。

（四）安全、可靠性、可用性要求

1. 服务质量控制：支持 IOPS、带宽、时延等资源动态分配。
2. 秒级主备切换：实现高可靠数据传输。
3. 硬件即插即用：支持 RoCE 网络自动配置。
4. 缓存双副本：确保控制器故障时数据不丢失。
5. 掉电保护技术：通过 BBU 模块保障缓存数据持久化。
6. 端到端 DIF 技术：保障数据完整性与可靠性。
7. 数据销毁技术：支持 DoD 标准，确保数据不可恢复。
8. 安全预警：支持设备故障、健康状态、容量预测等智能预警。
9. 盘故障快速隔离：通过聚类算法快速检测并隔离故障盘。
10. 升级过程主机透明：支持无需重启的升级方式，业务影响时间 ≤ 10s。

结论

存算分离架构是数据中心演进的重要方向，其通过资源解耦、池化共享、智能运维等技术实现高效、可靠、灵活的存储与计算分离。随着 NVMe-oF、DPU、RAID2.0、EC 等技术的发展，存算分离系统正逐步成为新一代数据中心基础设施的首选方案。