两地三中心


 TL;DR
一个中心整个机房被一束光纤挖断,数据库集群还在,数据也还在,客户端却连不上了; 或者反过来——中心之间那条链路抖动了一下,两个中心都认为自己还是主库, 于是同一个库同时有了两个写入方。前一种是「少了一半」,后一种是「多了半个」。
难度 中等

一个中心整个机房被一束光纤挖断,数据库集群还在,数据也还在,客户端却连不上了;
或者反过来——中心之间那条链路抖动了一下,两个中心都认为自己还是主库,
于是同一个库同时有了两个写入方。前一种是「少了一半」,后一种是「多了半个」。

两地三中心就是金融行业为这两类故障给出的答案:把「少一半」用异地复制兜住,
把「多了半个」用仲裁和自 fence 摁住。

本文回答两个问题:监管对灾备的底线是什么,以及金仓的两地三中心怎么达到它。

这篇覆盖到哪

这场分享原本规划了四个部分:方案概述、方案实现、方案实例、未来发展。
本文是整理后的前两部分——方案实例与未来发展等有完整底稿再补。

监管对灾备的底线是什么

从单机到多副本

业界解决高可用的路子是一条清晰的演进链:

  1. 单机:节点挂了就没服务,可用性最低;
  2. 主备集群:一个节点挂了另一个顶上,但简单主备处理不了地域性故障或网络分区,
    很容易出双主、数据不一致;
  3. 同城双中心 / 两地三中心:把故障域从「节点」扩大到「机房」和「城市」,
    应对地域性问题与自然灾害;
  4. 三地五中心:两个地域仍不够稳妥时的进一步延伸。

金仓走的也是这条路径:单机 → 主备 → 同城双中心 → 两地三中心。

CAP 是绕不开的约束

方案的重点是多副本,多副本就绕不开 CAP:

  • 一致性(C):所有节点上的数据保持同步,副本越多越难;
  • 可用性(A):服务在正常响应时间内一直可用;
  • 分区容错性(P):遇到节点故障或网络分区时,仍能对外提供一致性或可用性的服务。

CAP 最多只能满足其中两项。「服务不停」「多个分区各自提供服务」「多个分区数据一致」
这三件事互相矛盾——这正是脑裂的来源。两地三中心要做的事情,是在保证可用性和一致性的
前提下尽量提升分区容错性。后面讲的多数派原则、选主、少数派自 fence、第三方仲裁投票,
全都是为了这件事。

灾难恢复能力怎么分级

有了 RPO(恢复点目标,业务允许的最大数据丢失量,「我能丢多少数据」)和
RTO(恢复时间目标,从灾难状态恢复到可运行状态所需的时间,「服务能停多久」),
就能按这两个时长给灾难恢复能力分级。

按《银行业信息系统灾难恢复管理规范》(JR/T 0044-2008)附录 B 的表 B.1,
与国标《信息安全技术 信息系统灾难恢复规范》(GB/T 20988-2007)一致:

等级 RTO RPO 含义
1 级 2 天以上 1 天至 7 天 基本没有灾备能力
2 级 24 小时以上 1 天至 7 天 有备份,恢复靠人
3 级 12 小时以上 数小时至 1 天 数据可恢复
4 级 数小时至 2 天 数小时至 1 天 电子恢复
5 级 数分钟至 2 天 0 至 30 分钟 城市级灾难恢复
6 级 数分钟 0 远程实时复制

等级越高,可用性越高,实现难度也越大。

这里要分清「底线」和「目标」。 监管给的是底线。银监办发〔2010〕114号
《商业银行数据中心监管指引》第七条对不同规模的银行给了不同的门槛:

  • 总资产规模一千亿元人民币以上且跨省设立分支机构的法人商业银行,应设立异地模式
    灾备中心,重要信息系统的灾难恢复能力应达到 GB/T 20988-2007 中定义的
    第 5 级(含)以上;
  • 其他法人商业银行应设立同城模式灾备中心并实现数据异地备份,重要信息系统的
    灾难恢复能力应达到第 4 级。

金仓(KingbaseES)这个方案的目标不是 5 级,而是 6 级——RPO = 0、RTO ≈ 0,
也就是服务不停、数据不丢。把这两者混着说,读者按 5 级去对标就会错。

监管文件怎么一步步把要求收紧

时间 文件与文号 关键要求
2006-04 中国人民银行《关于进一步加强银行业金融机构信息安全保障工作的指导意见》(银发〔2006〕123号) 全国性大型银行原则上应同时采用同城和异地灾难备份和恢复策略;区域性银行可采用同城或异地之一
2006-08 银监会《银行业金融机构信息系统风险管理指引》(银监发〔2006〕63号) 风险管理体系要求
2007 《重要信息系统灾难恢复指南》升为国标 GB/T 20988-2007 用 RPO/RTO 对灾难恢复分级,架构变得可衡量
2008-02-04 中国人民银行《银行业信息系统灾难恢复管理规范》(JR/T 0044-2008) 按时间敏感性把信息系统分成第一/二/三类需求等级,并给出六级的 RTO/RPO 区间
2010-04-20 银监会办公厅《商业银行数据中心监管指引》(银监办发〔2010〕114号) 设立生产中心与灾备中心的要求;异地灾备中心与 5 级能力;每年至少一次专项灾备切换演练、每三年至少一次全面灾备切换演练,以真实接管为目标
2011-12-28 银监会《商业银行业务连续性监管指引》(银监发〔2011〕104号) 业务恢复时间目标 RTO 不得大于 4 小时,重要业务恢复点目标 RPO 不得大于半小时;至少每三年一次业务连续性计划演练

JR/T 0044-2008 6.3.1 的分类依据值得单独说:它按时间敏感性把信息系统分成三类
需求等级——第一类是「短时间中断将对国家、外部机构和社会产生重大影响」的系统,
第二类、第三类依次递减,按的是「短时间中断会造成什么后果」,不是笼统的
「重要程度」。按重要程度去理解这条标准,会以为「越重要越要多备份」;
按时间敏感性去理解,才知道它对应的是「停多久算致命」。

再往后,监管开始用可用性把灾备目标进一步量化——也就是前面说的
「数据不丢、服务不停」,停也只能停一小会儿。这一条流传着好几个不同的百分比,
本轮没有查到能对得上原文的出处,各方口径也不一致,所以本文不给具体数字。

两地三中心长什么样

三个中心,两种复制方式

「两地」指不同的城市,「三中心」指生产中心、同城灾备中心、异地灾备中心。

  • 生产中心负责对外提供服务;
  • 生产中心与同城灾备中心之间同步复制;
  • 生产中心与异地灾备中心之间异步复制。

同步与异步的差别不是「哪个更好」,而是链路条件决定的:同城机房间距近、
延迟小,可以承受同步的代价;异地跨城,链路延迟和带宽都撑不住同步。

这个形态不要求一次部署到位。先上生产中心,再上灾备中心,最后演化成两地三中心,
是允许的——监管也认可这种可扩展性(《商业银行数据中心监管指引》要求取得金融许可证
后两年内设立生产中心,灾备中心可以后续增设)。

大集群 + 小集群

金仓的同城双中心采用大集群 + 小集群的架构。每个中心是一个小集群,
确切地说是一个一主多备的集群;中心也称可用区,下面把生产中心记作 AZ1、
同城灾备中心记作 AZ2。

把三个中心合成一个大集群,问题就来了:两个中心会互相干扰。举个例子,
采用多数派原则时,如果生产中心只剩部分节点存活、同城灾备中心全部宕机,
大集群的多数派凑不齐,生产中心自己也就没法提供服务了。

大集群 + 小集群就是为了切断这种干扰:中心内按小集群算多数派,
中心之间由仲裁节点协调。

伪主节点与 observer

两个角色是这个架构的关键,原文里没定义清楚,这里补上:

  • 伪主节点:同城灾备中心在中心内选出的节点。它代表整个同城灾备中心,
    与生产中心的主节点同步;同城灾备中心内的其余节点再与伪主节点同步。
    注意同步关系是「伪主节点 ↔ 生产主节点」这一条,不是「每个备节点直连生产主库」——
    后者是另一种拓扑,照着设计错。
  • observer(中心间仲裁节点):与生产、同城组成大集群,在某个中心故障或中心间
    网络故障时辅助投票并执行中心间切换。它自己通常不承载业务数据。

同异步是相对主节点说的:同城灾备中心只有伪主节点与生产中心主节点是同步直连,
同城灾备中心内的其他节点与伪主节点之间是异步。

方案实现

单中心:三层高可用服务

金仓的高可用服务分三层:

层 职责
高可用代理 数据库节点的启动运行、流复制关系、中心内切换
高可用管理 集群元信息的读取和存储
集群资源管理 把中心内的各节点组成一个分布式集群,处理节点多数派与分布式通信

最底层是 DCS(分布式控制服务,Distributed Control Service),负责通过节点之间的
心跳判断节点是否处于多数派,处于多数派的节点参与选举投票,获得多数节点投票的节点
被选为主节点对外提供服务。

这个中心的运行机制是多数派原则、少数派自 fence。多数派指半数以上节点,
比如三个节点需要获得 2 个节点的投票。处于少数派的节点无法提供服务,会自 fence
——所谓的自 fence,就是把自己停掉。

写入路径上有一步关键约束:所有同步节点都确认日志落盘之后,请求才返回给客户端。

故障节点恢复后,若它重新处于多数派,高可用管理服务会自动启动并把高可用代理拉起,
由高可用代理启动数据库并恢复同步关系。

业界大多数产品都是这个设计:用冗余换一致性和分区容错性,代价是少于半数节点时
无法服务——就是前面 CAP 那一节说的取舍。金仓为了解决「少数节点存活却不能提供服务」
引入了额外机制:用一个额外的节点辅助仲裁,以及后面要讲的网络仲裁和共享存储仲裁。

同城双中心

同城双中心由两个单中心组成,部署在同一城市的不同机房。要处理的问题只有两个:
中心之间怎么同步数据,以及一个中心故障时怎么切到另一个。

  • 同城灾备中心(AZ2)通过中心内选举选出一个伪主节点,由它代表本中心与生产中心
    同步,其余节点再与伪主节点同步;
  • 生产中心主节点故障后,优先在生产中心内选一个备节点提升为主继续服务;
  • 只有整个生产中心故障后,主节点才切到同城灾备中心的伪主节点。

优先在中心内升主,是为了避免中心间切换带来的数据风险和人工介入。

同城双中心基础架构的特点:

  • 降低主节点的压力
  • 中心内优先升主
  • 中心间数据不丢
  • 简单故障无需人工干预
  • 组合故障半人工干预

不过基础架构有个绕不过去的坎,多数派原则在三节点集群里只剩最后一个节点时
就无法提供服务——不满足多数派,就无法保证数据一致性。五节点集群挂掉三个节点后,
剩下的两个同样不满足多数派。这种「还剩两个节点却不能服务」的情况是不能允许的。

金仓为此设计了同城双中心的网络仲裁架构和共享存储架构,专门用来支持
「最后一个节点存活仍能提供服务」和「少于半数节点仍能提供服务」。

网络仲裁:让最后一个节点也能服务

网络仲裁在原有同城双中心的基础上引入中心内的网络仲裁,它会给每个节点投票,
投给节点的票数是集群节点个数减 1。

三节点集群举例:每个节点 1 票,仲裁集群是 3 - 1 = 2 票,总票数 5 票,
多数派需要 3 票。这时候如果只剩一个节点存活,它拿到自己的 1 票加上仲裁的 2 票,
一共 3 票,仍然满足多数派,可以继续提供服务。

这里把票数的口径说清楚,免得照着配错:

  • 总票数 = 节点票 + 仲裁票,多数派 = ⌊总票数 / 2⌋ + 1;
  • 仲裁给 N - 1 票这个口径,与 corosync-qdevice 的 lms 算法一致
    (默认票数 = number_of_nodes - 1);ffsplit 的默认是每个节点 1 票,
    而两者的配置前提正好相反——ffsplit 要求显式设 quorum.device.votes: 1,
    lms 要求把这个键删掉;
  • 如果你们的仲裁集群用的就是 corosync-qdevice,配置前务必先确认用的是哪个算法,
    配错不会立刻报错,要到分区时才发现少一票或多一票。细节见
    corosync-qdevice使用。

网络仲裁还能有效处理网络分区,对预防脑裂很有用:分区后仲裁可以把票投给之前的主节点,
既不用发生切换,还能继续提供服务。

另外,网络仲裁可以是单个节点,也可以是一个集群(可用性更高),
还可以被多个集群共用——多套集群的场景下这一条很省资源。

相对基础架构,网络仲裁多出三项能力:

  • 增强型多数派:保证一致性的同时,少于半数节点仍能提供服务
  • 最后一个节点继续服务
  • 多套集群共用仲裁,可以节约资源

共享存储仲裁:不占机器,但要买设备

有人会问:单套集群用网络仲裁还是得引入额外的机器,机器资源不够时怎么办。

共享存储仲裁就是为此设计的:不需要额外的服务器资源,只需要一块共享存储磁盘设备,
就能达到网络仲裁的同等能力——最后一个节点提供服务、少于半数节点提供服务、防脑裂。

和网络仲裁集群对比,共享存储仲裁的能力没有区别,还能省下服务器资源,
代价是要单独购买共享存储设备。

三种架构怎么选

维度 基础多数派 网络仲裁 共享存储仲裁
最后一个节点存活仍服务 不支持 支持 支持
少于半数节点仍可用 不支持 支持 支持
防脑裂 依赖自 fence 支持 支持
多套集群共用仲裁 不支持 支持 不支持
额外成本 无 额外机器(或仲裁集群) 独立共享存储设备

从可用性角度,金仓强烈推荐网络仲裁和共享存储仲裁——只需少量资源就能给系统带来
更高的可用性,这也是两地三中心方案的亮点。

容灾场景

节点级故障切换:生产中心主节点故障后,优先在生产中心内选一个备节点提升为新主
(依据同异步状态、优先级、数据新旧程度、节点 id 选择)。observer 发现主节点变更后,
会重建灾备中心伪主节点到新主节点的同步关系。

一段时间后故障节点恢复:它的高可用管理服务自动启动,拉起高可用代理,
由高可用代理启动数据库,并重新建立与新主库的同步关系。

节点被网络隔离:触发自动 fence;如果被 fence 的是主库,还会触发自动故障切换。
这些操作都是自动完成的。

整个生产中心故障:observer 通过同城灾备中心进一步确认生产中心确实故障后,
把主节点切换到同城灾备中心的伪主节点,由同城灾备中心的新主节点对外提供服务。

两地三中心:包含同城双中心的全部功能,只是把范围从同城扩到同城加异地。
技术架构和原理上没有引入别的机制,同样是大集群 + 小集群:三个可用区分处两个城市
的三个机房,生产、同城、异地选出的主节点或伪主节点与 observer 组成大集群。

这个方案能拿到什么

  • RPO = 0、RTO ≈ 0,对应灾难恢复能力 6 级
  • 支持故障切换演练,包括手动切换和自动切换:恢复、故障转移、备升主、主降备、自 fence
  • 支持部署运维管理
  • 支持备份,并且在各种故障场景下服务不中断

一页纸:监管要求 → 等级 → 指标 → 架构

监管依据 等级要求 RTO / RPO 需要的架构
银监办发〔2010〕114号 第七条(大型法人银行) 5 级(含)以上 RTO 数分钟至 2 天、RPO 0 至 30 分钟 两地三中心:生产 + 同城 + 异地
银监办发〔2010〕114号 第七条(其他法人商业银行) 4 级 RTO 数小时至 2 天、RPO 数小时至 1 天 同城灾备中心 + 数据异地备份
银监发〔2011〕104号(重要业务) 业务连续性 RTO ≤ 4 小时、RPO ≤ 半小时 切换演练与真实接管能力
GB/T 20988-2007 / JR/T 0044-2008 6 级 RTO 数分钟、RPO = 0 同步复制 + 仲裁 + 少数派自 fence

故障注入清单

这张表既是测试用例,也是方案实施时的验收清单:

注入方式 期望结果 观察点
主节点宕机 生产中心内备节点升主,observer 重建跨中心同步关系 主节点角色、同步关系重建
单节点网络隔离 该节点自动 fence 少数派节点自 fence
主节点网络隔离 自 fence + 自动切换到备节点 切换是否自动完成
整个生产中心故障 observer 确认后切主到同城灾备中心伪主节点 切换触发条件、接管耗时
仲裁集群故障 按仲裁可用性降级,不应双主 仲裁票数是否仍满足多数派
异地链路抖动 异地链路保持异步,不影响同城同步 复制方式是否被意外改变

延伸阅读


文章作者: growdu
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 growdu !
这篇还发到了
今日头条 drafted
  目录