中国信通院-金融级数据库容灾技术报告-2021年-

金融级数据库容灾技术报告总结

核心内容概述

本报告由中国信息通信研究院云计算与大数据研究所与北京百度网讯科技有限公司联合发布，旨在分析金融领域数据库容灾与备份技术的发展现状、分类、实现方式以及未来趋势。报告从基础概念出发，深入探讨了不同容灾架构、容灾技术、容灾方案及灾备衡量指标，为金融机构构建高可用、高可靠的数据系统提供了技术指导和行业参考。

主要观点

容灾与备份的定义与区别

• 容灾：在灾难发生时，保证业务系统能持续运行，减少数据丢失。
• 备份：为防止数据丢失，将数据复制到其他存储介质，是容灾的基础。
• 容灾不能替代备份，备份用于数据恢复，容灾用于业务连续性保障。

灾备分类

• 按容灾距离：分为本地容灾和异地容灾。
• 按保护级别：分为数据级容灾、应用级容灾和业务级容灾。

灾备市场与行业趋势

• 中国灾备市场规模从2010年的49.8亿元增长至2022年预计超过300亿元。
• 云灾备成为未来趋势，预计2022年云灾备市场规模达70亿元。
• 金融行业对灾备的RTO和RPO要求极高，分布式事务数据库需达到4级及以上。

关键信息

容灾架构

1. 单中心容灾

   • 数据库在单一中心内多可用区部署，支持节点故障切换。
   • 适用于容灾要求不高的内部系统。

2. 同城互备

   • 生产中心和灾备中心具备相同资源配置，支持主备切换。
   • 适用于对数据一致性要求较高的场景。

3. 同城双活

   • 两个中心同时承载业务流量，支持故障自动切换和负载均衡。
   • 数据强一致性，支持跨分片事务处理。

4. 两地三中心容灾

   • 在同城双活基础上增加一个异地容灾中心，支持区域级灾难恢复。
   • 采用异步同步机制，确保最终一致性。

容灾技术

1. 数据备份与恢复

   • 包括全量备份、增量备份、差异备份。
   • 数据冷备与热备区分，支持快速恢复。

2. 数据同步与传输

   • 主从复制（异步）、半同步复制、组复制（MGR）等技术。
   • 云数据库支持数据传输服务（DTS），实现异构数据库同步。

3. 故障自动切换

   • 支持计算节点和存储节点的故障切换。
   • 通过负载均衡、健康检测和自动恢复机制实现无缝切换。

4. 分布式事务容灾

   • 采用两阶段提交、三阶段提交、Paxos、Raft等协议保障事务一致性。
   • 百度GaiaDB-X通过优化XA协议与DMVCC算法实现强一致性与容灾恢复。

5. 应用应激防护

   • 包括过载保护、SQL入侵防御、数据回滚、弹性扩容等。
   • 通过限流、阻断非法SQL、自动回滚和动态扩容保障系统稳定性。

容灾方案

1. 节点故障应对

   • 计算节点故障：负载均衡自动切换，秒级恢复。
   • 存储节点主库故障：自动切换从库为主库，同步数据补齐。
   • 存储节点从库故障：下线故障节点，补充新从库。

2. 网络故障应对

   • 专线抖动或丢包影响查询和写入。
   • 强同步机制保障数据一致性，但可能增加事务延迟。
   • 采用分组半同步、异步同步等策略应对网络异常。

3. 同城双活生产中心灾难

   • 整个机房不可用时，灾备中心接管所有流量。
   • 数据同步完成后，调整分片拓扑结构，恢复服务。

4. 两地三中心主区域灾难

   • 地理级灾难导致主区域不可用时，灾备中心接管服务。
   • 采用异步同步机制，保障数据最终一致性。

技术发展方向

1. 混合业务负载降低容灾复杂度

   • 支持联机事务处理（OLTP）与联机分析处理（OLAP）混合负载，简化数据流和存储架构，降低容灾复杂性。

2. 人工智能改善容灾处置灵活性

   • 通过AI算法实现节点管控、流量预测和异常检测，提升容灾系统的智能化水平。

3. 云原生实现容灾过程可编排

   • 云原生数据库支持Serverless架构，容灾过程可自动化编排。
   • 云资源和跨云数据流动，实现高度自动化灾备。

4. 混沌工程提升容灾架构韧性

   • 通过引入混沌工程，对分布式系统进行容灾演练，提升系统对各种灾难场景的应对能力。
   • 模拟各种故障场景，验证系统边界，优化容灾策略。

结论

金融行业对数据库容灾和备份要求极高，容灾技术正逐步从传统本地容灾向云原生、智能化和分布式方向演进。随着技术的发展，未来容灾系统将更加自动化、高可用、高一致性，并通过人工智能和混沌工程进一步提升系统的容灾能力与韧性。

图表说明

• 图1：2010-2022中国灾备行业市场规模
• 图2-图19：各容灾架构与技术的部署和切换示意图

参考文献

1. 2021中国灾备行业白皮书，国际灾难恢复（中国）协会（DRI China）
2. 2017-2022年中国灾备行业深度研究及市场前景预测报告，智研咨询集团
3. 银行业信息系统灾难恢复管理规范，JR/T 0044-2008
4. 证券期货业数据分类分级指引，JR/T 0158-2018
5. 证券期货经营机构信息系统备份能力标准，JR/T 0059-2010
6. 分布式数据库技术金融应用规范 灾难恢复要求，JR/T 0205-2020
7. The State of Software-Defined Storage, Hyperconverged and Cloud Storage，DataCore白皮书
8. MySQL官方手册 - Replication
9. MySQL官方手册 - Semisynchronous Replication
10. MySQL官方手册 - Group Replication
11. Windows Server故障转移群集与SQL Server官方文档
12. 什么是 Always On 可用性组？，SQL Server官方文档
13. Shao J, Yin B, Chen B, et al. Read Consistency in Distributed Database Based on DMVCC, IEEE, 2017