实战 | 商业银行多数据中心网络建设实践

文 / 中国光大银行金融科技部  彭晓 李刚 蔡絮
近年来，随着大数据、云计算在商业银行的引入和快速推广，对应的服务器规模增长迅速，现有银行数据中心容量逐渐无法满足业务快速发展的需求。此外，人民银行在《金融科技发展规划（2022—2025年）》中指出要“稳妥推进信息系统向多节点并行运行、数据分布存储、动态负载均衡的分布式架构转型”。为适应上述发展趋势，中国光大银行数据中心将在未来几年由“两地三中心”向“两地多中心”架构转型；数据中心网络也将从同城大二层对等网络向支持多中心互联架构演进，提高泛在接入、灵活调度、安全稳定的科技运营网络基础设施支撑能力。

中国光大银行金融科技部副总经理 彭晓
多数据中心网络的需求与挑战
1.应用部署需求
在多中心场景下，商业银行的应用部署及容灾能力从两地三中心向多活数据中心逐步升级，其对网络的需求主要体现在以下几方面。
一是业务分布式单元化部署需要网络架构能够提供泛在的网络连接服务；二是多中心间的流量调度需要网络提供稳定、可靠、安全的网络域名服务；三是云计算、大数据技术的大规模部署需要网络提供高速率、大带宽、弹性灵活的网络服务。
2.监管规范指引
随着新技术和新业务场景出现，各类监管规范和指引陆续发布或更新，用于指导银行科技合规稳健发展。多中心建设涉及的灾备中心能力、灾备中心物理距离、同城和异地网络、出口网络等方面均有相应的标准要求。商业银行多中心网络建设需在满足上述监管要求基础上进行，确保整体网络规划和建设符合最新的规范和指引要求。
3.日常网络管理面临的挑战
目前，光大银行采用业内通用的“两地三中心”架构，北京同城双活数据中心通过网络大二层结构同时对外提供服务。该网络架构在同城双中心场景下，为应用提供了高可用性，但延展到多数据中心仍存在不少局限性，如流量绕行、环路风险和性能受限等。基础网络需要在确保现有生产业务运行稳定的前提下，实现二层网络转向三层网络，逐步完成底层网络基础设施向多中心架构转型，存在一定的过渡期。
多数据中心网络实践
1.多数据中心网络建设原则
多数据中心网络依据以下原则进行规划建设，打造支持多中心和多业务场景的网络基础设施服务能力。
一体化：以业务为核心，统筹考虑应用系统与网络协同，实现多中心网络架构统一规划。
高可靠：部署满足多中心灾备需求的网络能力。
易扩展：根据业务需求实现网络融合承载、逻辑隔离、模块化部署，提高灵活扩展能力。
高安全：依据监管要求和规范进行网络规划，提升网络安全合规管控能力。
前瞻性：结合网络、存储、分布式数据库、全栈云等技术发展趋势，使光大银行未来网络架构规划满足技术发展需求。
可行性：综合考虑网络和系统部署、搬迁的可落地性、技术复杂度和成本因素，确保现有架构平稳过渡。
2.多数据中心网络建设策略
向多数据中心网络转型的过程并非一蹴而就，需在充分考虑二层网络存在的架构局限性和技术风险基础上，根据应用需求，结合多中心网络架构演进方向，对基础网络架构进行重构，满足多数据中心的接入需求。整体网络转型思路是以承载网为核心，以分布式域名解析系统和三层网络区域国产改造为抓手，以同城DCI和光传输波分系统为支撑，为业务网络分布式部署及大数据存算网络等数据中心间的大流量提供高速网络服务，以数据中心服务器资源池化部署为依托，通过标准模块化架构，实现快速灵活的交付服务。
3.多数据中心网络建设实践
（1）核心承载网。核心承载网是光大银行多数据中心、多业务融合承载的网络核心。按照层次化、模块化设计，核心承载网采用“核心+POP”双层架构，基础架构弹性灵活，实现分布式数据中心、一级分行、分支机构、外联合作伙伴等网络接入能力。核心层作为顶层穿越区域，以北京同城主要数据中心和异地数据中心部署核心节点。POP层根据业务和地域属性定义各类汇聚节点，后续按需扩展，实现网络快速部署、业务灵活接入。另外，根据业务属性和接入范围，规划双平面路由和业务逻辑通道，实现了业务流量负载分担和业务逻辑隔离功能，为整网提供了高效、安全的数据传输网络通道（见图1）。

图1  核心承载网
2019年，光大银行在总分行一级骨干网率先建设基于SR-MPLS的SDN-WAN网络，实现了业务细粒度检测与流量自动调度，能够敏捷感知运营商线路质量变化与业务服务质量状况。根据网络隧道级能力，实现基于业务服务质量感知的自动切换，有效提升网络运维效率。基于SR的广域网SDN技术通过线路资源精细化管理，挖掘线路资源潜力，在保障业务可靠开展的前提下，提高了广域网线路带宽资源利用率。
针对目前网络调度管理方面缺少随流即时检测和实时业务质量可视等问题，光大银行结合金融广域网技术发展趋势，开展核心承载网SRv6的试点和部署，研究核心承载网SRv6的演进路线和IPv6+的随流检测、应用感知等技术。
（2）分布式域名解析系统。基于域名实现商业银行多数据中心业务流量的调度，已成为行业主流解决方案，域名化改造也成为多中心建设中必不可缺的一环。域名化改造对整个域名系统提出了新的挑战，承载全行业务系统解析流量意味着域名系统需要极高的性能容量。作为流量调度的核心环节，域名系统应具备高可用架构的支撑，同时，其本身的安全性也将影响全行的业务系统稳定性。
为满足多中心场景下全行业务流量调度的需求，光大银行在架构方面将域名服务器按照根服务器、权威服务器和递归服务器进行角色解耦，每一层角色服务器均在多中心进行分布式的部署，各层级域名服务器之间实现完整的域名授权体系，单中心域名服务器通过负载均衡实现集群部署，增加域名系统整体可靠性和扩展性，提升整体服务能力（见图2）。在产品方面，引入国产产品进行异构部署，持续推进应用创新能力建设；在安全和规范服务治理方面，设计针对DNS的相关安全防护措施和技术保障方案，提升域名服务系统安全管理水平。

图2  分布式域名解析系统
（3）同城DCI和波分网络。DCI和波分网络是多数据中心网络架构的重要组成部分，实现同城数据中心大流量高速传输通道，分担承载网在同城数据中心间的传输压力。
目前光大银行已建成多套国产异构品牌的同城高速DCIVxlan网络，为业务提供跨中心二层网络互访。DCI网络采用点到点结构，根据业务类型和流量现状，把各网络分区分散接入各套DCIVxlan网络，通过合理规划接入区域数量及超载比，实现整体规划单套DCI超载比不超过4:1。后续随着多中心接入，结合云、大数据、分布式技术发展趋势，DCI网络将基于三层网络实现数据中心高速互联，满足同城数据中心相同安全域不过防火墙的高速互访需求（见图3）。

图3  同城DCI网络
同时，光大银行采用光传输DWDM技术和运营商裸光纤，建设同城高速波分光网络。考虑到存量传统二层应用的网络架构对跨中心链路的时延、可靠性要求高，采用点对点按需组网方式构建同城光传输波分网络。
（4）数据中心资源池化部署。为了满足数据中心资源池化统一部署需求，实现多业务融合承载和弹性扩展，支持业务快速敏捷交付，光大银行以网络安全域规范作为数据中心资源池标准化的基础，将逻辑层面的网络安全域与物理层面的资源池形成映射。
在网络安全域层面，按照“安全域规划合规、安全域结构精简、同质区互访高效、逻辑区灵活扩展、云内外安全一致”的规划原则对原有网络安全域进行重建，根据业务属性及安全防护等级，规划了互联网DMZ、三方DMZ、生产业务、IT管理、开发测试等安全域。在资源池层面，数据中心资源池参照网络安全域规划，根据业务的不同传输需求，形成相应的多中心资源池组网标准架构，减小广播域和冲突域范围，增强扩展性，降低全局性风险。
展望
本文探讨了商业银行数据中心从“两地三中心”向多数据中心转型场景下基础网络总体部署策略，包括核心承载网、分布式域名系统、同城数据中心互联网络、同城波分网络、数据中心资源池化的建设实践和思考。
多数据中心网络建设及配套应用多活改造是一项复杂的系统工程，在具体网络建设和应用部署过程中还会遇到新的问题和挑战，我们将结合业务需求持续研究完善，积极推进金融科技网络架构转型，打造坚实的网络基础设施，逐步实现“两地三中心”向多数据中心灾备架构演进，通过科技赋能产品和服务，助力光大银行实现财富管理银行的战略愿景。
（栏目编辑：张丽霞）