金融企业的业务在进行信创改造后，对存储系统架构的要求有哪些变化？|《迈向YB数据时代》

国内信息技术应用创新的大背景下，越来越多的行业都开始了信创探索和改造，金融行业众多企业在监管机构的指导下，正在逐步进行信创的替换和改造工作。存储作为IT系统的核心系统，如何适应信创环境，值得我们思考。本议题中的作者通过自身参与实际信创改造的工作中积累的经验，为我们展示出信创环境下如何进行存储的改造和替换，以及在这个过程，应该重点关注的技术方向和实践。

本期为大家带来 《迈向YB数据时代》 2022年冬季刊“最佳实践 ”栏目 中的 议题一 ：

金融企业的业务在进行信创改造后，对存储系统架构的要求有哪些变化？

【栏目主编】张鹏 某金融科技公司高级技术主管： 本议题由宁夏银行技术经理陈明福、某城商行存储运维工程师梁龙和某商业银行存储架构师刘春发表针对议题下关键点的主张，几位专家的主张在我本人、某金融系统高级主管赵海和某农商银行架构师胡海光等多位专家的复议后，形成了一定的共识，希望可以对同行有一定的参考。

陈明福 宁夏银行技术经理：

在进行存储系统架构规划及选型的时候，应该从特性、性能、案例、团队专业性等多个维度确保所选择的技术方案及硬件产品具备承载重要生产业务的能力，其中产品解决方案在生产环境的实际推广案例是重要的评估因素。

一、概述

传统架构下，各金融行业的业务系统主要以“小型机+SAN网络交换机+集中式SAN存储阵列”及“X86服务器+VMware虚拟机化+SAN网络交换机+集中式SAN存储阵列”等方式为主流架构部署。近年来，随着国家信创战略的快速推进，金融、电信等八大关键领域行业成为了除党政机关及事业单位以外的第二批次信创试点单位，都在积极开展信创产品的重点推广试用。人民银行作为金融行业信创工作的牵头主导单位，制定年度专项工作方案，明确任务指标并及时督促落实，各金融行业快速响应号召，纷纷启动了以OA协同办公系统为第一批次代表的业务系统信创改造适配。存储设备作为企业IT基础架构的核心关键组件，其重要性不言而喻，其可靠性和性能都会对企业关键业务乃至整个数据中心的安全稳定运行产生重要的影响。因此，在业务系统信创改造过程中，集中式SAN存储的信创转型是当前乃至未来几年需要重点完成的任务。同时，数字化转型带来的爆发式业务与数据量增长，也让传统的集中式SAN存储架构结构复杂、性能瓶颈、扩展困难和运维复杂等问题日益凸显。集中式SAN存储在架构、性能及运维上的局限性也促使各金融企业将SAN存储架构升级提上日程，作为企业基础架构现代化转型的重要前提。

二、信创改造存储评估要点

根据人民银行信创推广要求，业务系统信创改造应为全栈式改造，即从底层CPU芯片、服务器及存储整机到操作系统、中间件及数据库等基础软硬件都为信创软硬件产品，故在信创改造过程中，在选择SAN存储的转型方案时，企业应重点关注如下要点：

2.1 设备符合信创要求

所采用的存储产品必须符合人民银行对信创的要求，除符合国产要求外，还必须满足采用信创技术栈内的CPU、操作系统，且对存储核心软件具备真正的持续开发和掌控能力，不依赖国外厂商。

2.2 架构符合技术趋势以持续应对业务快速发展需求

随着数字化转型的快速推进，集中式SAN存储在架构、性能、扩展性及运维便利性等方面的局限性较大，Gartner等权威机构给出了现代化的存储和基础架构至少应具备的核心特征：

软件定义模式： 不再使用专有的存储硬件和网络，而是使用软件，以及标准和易于维护的服务器与万兆以太网交换机构建；

分布式架构： 具有更好的弹性，并通过扩展获得更高的并发处理能力；

资源集中管理： 资源池化，在统一的资源池内性能和容量都可以按需配置，而且数据可以自动均衡；

自动化和智能化的运维： 自动化、智能化大量操作，缩短运维时间，降低运维人员要求，将IT人员解放出来着手更创新的工作。

2.3 多维度评估产品的稳定性及可靠性

无论采用何种架构，信创转型后的产品都应具有丰富的企业级高可用特性，确保在不同故障和灾难级别下，均能达到业务要求范围内的业务连续性和数据可靠性，并可满足为重要生产业务提供稳定的高性能、低时延的要求。

鉴于信创技术栈下涉及的新产品较多，我们应该从特性、性能、案例、团队专业性等多个维度确保转型产品具备承载重要生产业务的能力，解决方案在生产环境的实际推广案例是重要的评估因素，业内信创技术栈下产品的发布时间普遍不长，参考效果有限，供应商原有的非信创产品是否已经具备大量的生产业务承载案例，也是降低选型风险的一个重要参考因素。产品与方案的重要业务承载能力不仅来自产品本身，供应商在从前期规划到后期运维的专业服务能力同样是机构选型评估重点。

三、信创 SAN 存储转型路线

如图1所示，当前信创背景下，结合国产分布式数据库产品技术发展趋势，普遍采用三种主流SAN存储转型方案，即采用国产SAN存储产品、国产分布式存储产品（包括存算分离和超融合两种部署形态）及普通服务器+本地SSD磁盘。

图1：信创SAN存储转型路线图

3.1 国产集中式SAN存储替代

主要适用于业务系统信创改造后的应用及集中式数据库虚拟化环境，如图2所示，保持架构不变，采用国产SAN存储产品更新替换当前使用的国外SAN存储产品，国内主流存储品牌主要有华为、宏杉科技、长江存储、长鑫存储、紫光集团、中科曙光等品牌。设备选型的时候要重点关注是否完全符合信创要求，“国产SAN存储”并不一定意味着“信创存储”，虽然国内厂商已经具备了自主研发中端存储的实力，但之前基本都是基于X86平台并非符合信创要求的产品，基于海光、鲲鹏、飞腾等国产CPU的硬件产品，需要全新的信创架构设计；SAN存储的转型，不仅涉及存储本身，还涉及光纤交换机，业内目前还没有很好的替代，目前只能以IP SAN模式为主替代FCSAN，配合高速的以太网并引入NVMe-oF技术后才能有效降低链路的访问延迟；SAN存储使用专用硬件，整个产品稳定的迭代周期较长，同时基于信创CPU的硬件性能还不够理想。综上所述，国产集中式SAN存储在稳定可靠性及弹性扩展能力等方面依旧有很大的局限性。

图2：国产集中式SAN存储+国产虚拟化架构

3.2 信创分布式存储替换

如两图所示，分布式块存储目前有两种部署形态，即“存储与计算分离部署的分布式存储”（如图3）及“存储与计算融合部署的超融合架构”（如图4）。超融合架构的一个核心特征是其融合了计算虚拟化、分布式存储和网络等组件，使得架构更加精简，节省机房空间且易于维护，同时，超融合可结合 I/O 本地化等技术，在虚拟化环境下可以进一步提高性能、降低时延。

图3：国产分布式存储+国产虚拟化架构（左）

图4：国产超融合+国产虚拟化架构（右）

主要适用于业务系统信创改造后的应用及集中式数据库虚拟化环境，采用国内案例较多的成熟分布式存储产品（如华为OceanStor Pacific 9920系列产品），实现信创替换及架构转型升级，笔者所在单位信创架构下，不再采用国产集中式SAN存储，而是采用“zStack信创云软件+鲲鹏920/海光7375服务器+华为OceanStor Pacific 9920分布式存储（基于IP SAN）”构建“一云多芯”信创云平台，实现业务系统信创改造后应用虚拟机及集中式数据库的集中部署，目前已经成功投产运行7套业务系统共计80余台虚拟机。与SAN存储架构不同，分布式存储基于全分布式架构，由多节点构成存储资源池，通过将数据分散存储到多个数据存储服务器上，整合系统存储资源。分布式存储有诸多好处，一是破除传统集中式架构下控制器架构瓶颈，提升存储系统并发性能和资源利用率；二是在信创技术栈，分布式的架构可以适度弥补国产CPU性能先天不足的问题；三是当前分布式存储都是基于软件定义方式实现的，很容易与基于鲲鹏、海光CPU的服务器进行适配，且产品迭代周期短，并可通过提升软件高可用特性弥补国产硬件可靠性不足带来的问题。

3.3 普通服务器及本地SSD磁盘替代

图5：普通PC服务器+本地SSD磁盘架构

上图（图5）以OceanBase分布式数据库架构图为示意介绍，采用“普通PC服务器+本地SSD磁盘+分布式数据库集群软件”组成集群，不再需要独立的存储及分布式存储软件。主要适用于业务系统信创改造后的国产分布式数据库环境。目前国内推广案例较多的分布式数据库产品如OceanBase、TDSQL、GoldenDB、TiDB及GuassDB等都不再需要独立的集中式SAN存储或分布式存储设备，采用若干普通廉价的PC服务器及本地SSD磁盘以“分布式集群”架构部署，本地SSD磁盘存储数据，通过数据库软件的“多副本方式”实现数据高可用保护，具备较高的扩展性、高可用性及稳定性，且相对于传统架构成本较低。笔者所在单位重要等级较高的业务系统信创改造后，引入国产分布式数据库产品，采用“OceanBase+鲲鹏920服务器+3.84TB规格SATASSD磁盘”构建分布式数据库集群资源池，实现业务系统信创改造后分布式数据库的集中部署，目前已经成功投产运行4套业务系统。

梁龙 某城商行存储运维工程师：

金融企业的业务在进行信创存储改造时，主要有两个方向，一是对现网的设备进行同数据接口的存储替换，可实现新老设备的平滑替换；二是根据业务数据类型及未来容量需求，新增其它类型的存储资源池，进行业务数据迁移，满足业务未来发展需求。

计算、存储、通信是三大计算机IT核心基础设施板块。作为三大核心板块之一，无论是计算还是通信环节都要以存储为其开端和终点，因此存储在信息产业的发展中具备先导性和需求刚性。

当下金融行业正经历国产化基础设施及配套应用系统发展的机遇，主要以自主的国产化服务器芯片、操作系统、存储软件等为代表的国产信息系统的产品化持续加速落地建设。在当前复杂的外部环境下，金融行业数据存储平台的“自主可控”重要性尤其突出，承载金融企业数据资产的关键业务信息系统的国产化进程正在加速。

数据存储信创改造，首先需要明确的一点，就是信创存储的架构及数据接口与非信创存储相比，其实是没有什么变化的，不同是存储芯片、存储硬盘等。存储的类型，从物理架构来区分，主要分集中式和分布式两种。在选择上，结合业务场景，如果应用系统对延时及稳定性要求高，那么最好的选择是集中式存储，主要提供FC及NFS接口；对IO并发吞吐量要求高，容量需求大，而并不要求极致的性能，分布式存储是更好的选择，除了FC及NFS接口，还可以提供对象S3、大数据HDFS等数据接口。

我个人认为，金融企业的业务在进行信创存储改造时，主要有两个方向，一是对现网的设备进行同数据接口的存储替换，可实现新老设备的平滑替换；二是根据业务数据类型及未来容量需求，新增其它类型的存储资源池，进行业务数据迁移，满足业务未来发展需求。结合我们生产环境的实际案例，我和大家分享一下改造过程中的一些经验。

首先是现网设备的替换。 在2022年7月份，我行完成了银行核心系统存储的替换工作。在替换前，核心系统使用的是一套采购于2014年的国外某品牌SAN存储。近年随着电子元器件的老化，该设备的故障率逐年上升，并且随着业务的发展，存储的磁盘IO响应及FC接口带宽也逐渐接近了瓶颈。本次设备替换的主要目标是，在不改变上层应用的前提下，采用同架构同接口的信创存储,实现应用系统的平滑迁移。

存储架构： 在替换前，核心系统在生产站点使用的是单套存储设备，存在单点故障隐患。在规划信创存储设备时，生产站点使用了双活的存储架构，单套存储配置4个控制器，这样可极大的保障生产站点数据的可靠性，规避了同站点单点设备故障问题。

存储配置： 为满足业务系统5-7年的性能及容量需求，在规划信创存储设备时，存储配置的均为NVMe SSD硬盘，单套存储在不增加存储硬盘框的前提下，最大可扩展到600TB的可用容量。单套存储对外提供8个32GB的FC接口，双活架构下最大理论带宽值不低于64GB/s。通过压力测试，双活集群在数据库典型场景下，可提供不低于220万IOPS的读写效率，IO时延小于0.1ms，完全满足业务系统的需求。

数据接口： 与原有核心存储不同的是，信创存储在启用FC数据接口的同时，也启用了NFS数据接口，即同一套存储同时配置了互相独立的块数据双活域与文件系统双活域，以及相互独立的数据资源池，使得存储在满足数据库FC SAN存储需求的同时，也可以满足应用系统对于NFS NAS存储的需求，为后续实现行内NAS存储信创设备的替换提供可用的硬件资源。

其次是新建信创存储资源池，对现有业务进行数据迁移，满足业务未来发展需求。 我个人认为，对金融行业来说，这类场景在实际情况中绝大部分会应用于海量非结构化数据场景，即采用信创分布式存储架构。近年来，金融科技从传统信息金融向互联网金融转型，到逐步向智能金融进行转型。5G、云计算、大数据、AI等新技术、新应用的蓬勃发展，银行等金融行业内部的非结构化数据在进行快速增长，如视频、语音、 图片、文件等，容量正在从PB到EB级跨越。

以影像平台为例，大部分银行以往会将业务数据保存在集中式NAS存储上。随着业务量和历史数据的增涨，集中式NAS存储上的短板就会逐渐显露，例如在读写效率和容量上限方面。这时候，就亟需一种新的存储架构用于此类业务场景，目前业内比较常见的方案就是分布式对象存储，并且很多金融同业也已经完成了存储架构的替换。在2021年9月份，我行完成了影像平台系统存储的替换工作。在替换前，影像平台系统使用的是一套采购于2015年的国外某品牌NAS存储。近年随着电子元器件的老化，该设备的故障率逐年上升，并且随着业务的发展，存储的磁盘IO响应及存储容量也逐渐接近了瓶颈。为解决这些问题，我行规划并部署了一套国产品牌但非国产芯片的分布式对象存储集群。如下是我们在实施过程中主要考虑的一些问题。

存储架构： 分布式存储都在普遍使用EC纠删码的数据冗余方式，而+3是绝大部分厂商推荐配置的最大冗余配比，所以从设备冗余配置来考虑，建议单个分布式存储的集群规模要控制一下，不超过3至4个机柜为宜，这样交换机接口使用率、实际可用空间比例、分布式集群的整体性能等都可以达到一个较为理想的状态。

数据迁移： 规划实施国产品牌但非国产芯片的分布式对象存储集群，是由于2021年国产芯片的分布式存储并未在金融行业大规模使用。近年随着国内存储原厂技术能力的不断沉淀和提高，国产化SDS软件已能够一定程度替代国外传统架构存储，采用国产芯片服务器+国产操作系统+国产SDS分布式存储软件方案已逐渐成熟，并在金融行业特定场景如虚拟化及云平台存储、影像平台业务系统、数据备份等应用场景有着一定的应用案例。

我行在进行规划设计时，已经提前为未来业务数据由非信创存储节点向信创存储节点进行数据迁移做了准备，主要有如下几个方面：1）选型时，要考虑国产分布式存储产品是否支持一池多芯部署，是否能实现业务系统底层数据在不同存储池之间进行数据迁移；2）在IP地址规划时，要为后续可能增加的信创存储节点预留足够的地址数量；3）存储集群内部交换机要提前预留端口；4）要提前为扩容的信创存储节点预留机柜位置。

信创存储近年来在技术和稳定性上的进步是显而易见的，并且在各个行业的都有较为广泛的应用，但一台好的存储是需要时间去历练的，我个人有如下两点希望，愿我们一同去努力实现。

1) 生态：生态布局是IT基础硬件产业终极竞争力的体现，事实上国内存储产品的创新也受限于以Inter为主导的CPU技术标准的演进，要突破这一限制可能需要整个IT基础设施产业5-10年乃至更长时间的发展，这离不开整个IT基础产业的共同进步。

2) 品牌：国际ICT龙头多年构建的市场声誉在短时间内难以超越。国产存储品牌需要我们的国产旗舰产品通过长期的产品性能和服务优势来塑造。

刘春 某商业银行存储架构师：

金融行业在经历的最近几年的高速发展之后，存储设备主要是以国外的品牌为主，集中在EMC、IBM、HDS、HP、NetApp等。随着信创产业的升级，通过产品迭代、逐步推进，在分析了众多的信创存储之后，选择了原有存储设备的替代产品。目前，企业采购信创存储也将会成为了一种趋势，在实际生产中，抵抗住了业务的高并发和大IO的考验。

一、前言

早在2016年，信创开始在国家政策指引下提出《国家中长期科学和技术发展规划纲要》，要“突破制约信息产业发展的核心技术”，“提高自主开发能力和整体技术水平”。信创产业向雨后春笋一般蓬勃发展。

随着信息科技的快速发展及IT应用新秩序的建立，通过对信创产品实施过程中所遇到的优势、痛点进行分析；信创环境下存储将面临怎样的机遇和挑战。

二、信创实施关键点

2.1 项目概述

2019年，我们主要采用的IBM的高端存储，业务系统主要部署在IBM DS8000高端存储系列。按照金融行业存储设备年限的替换情况，存储已经达到一定的使用寿命。在经过多方考虑下，建议对其进行更换。在经过多方调研及分析了多个产品之后，通过对存储安全性、稳定性、高可用性的需求。并进行多方面的测试和对比，目前我们主要首选的信创存储之一为鲲鹏芯片的存储设备，主要以高端为主。

目前我行两地三中心容灾架构主要是采用的是IBM存储虚拟化存储网关（SVC）实现的，同城数据中心主要通过存储虚拟化技术（IBM SVCMeter Mirror），下面挂接IBM DS8870存储，进行存储的池化，进而分配给相应的主机系统。原有存储架构图如图6所示。

图6：基于存储虚拟化的存储架构

实施规划中，需要将部分重要业务数据无缝切换至信创的新存储中。在实施过程中，实现缩短停机时间，进行数据的无缝切换，切换后业务系统中的数据读取和存储均使用华为存储。

切换后的拓扑图如图7所示。

图7：切换至信创新存储的存储架构图

2.2 实施中的关键点

1) 前期的存储规划特别重要，需要对加入存储的进行详细规划。如网络需求、IP地址规划、组网规划、存储资源规划等。

2) 在主机端，由于更换了相应的存储，主机中的多路径软件需要更换成华为的。但是有些设备扫描的时候并不能自动发现，这就需要停机窗口，对设备进行重启操作。这个点是不可预知的，需要提前申请。

3) 以前IBM的存储为光纤磁盘，新更换的存储为全闪存盘。在分析了业务的数据后，对系统参数进行了对应的调整，以更能适应业务IO需求。

三、双活复制技术改造

现阶段主中心、同城中心采用了基于网关的文件双活设计，存在单点故障。另外由于SVC虚拟化设备已经进入到生命周期的后半阶段，考虑逐步剔除。后续计划采用基于华为存储层的双活技术。

华为存储层双活方案基于OceanStor融合存储系统的HyperMetro特性实现。HyperMetro采用AA双活架构将两套存储阵列组成跨站点集群，实现数据实时镜像。两端阵列的双活LUN数据实时同步，且两端能够同时处理应用服务器的I/O读写请求，面向应用服务器提供无差异的AA并行访问能力。当任何一台磁盘阵列故障时，业务自动无缝切换到对端存储访问，业务访问不中断。相比基于IBM的SVC双活技术来说，华为的解决方案存在的优势如下：

1) 采用免网关设计：Hyper Metro双活架构无需额外部署虚拟化网关设备，直接使用两套存储阵列组成跨站点集群系统。

2) I/O访问路径：Hyper Metro在应用主机侧，通过UltraPath主机多路径软件，将两台存储阵列上的双活成员LUN聚合为一个双活LUN，以多路径Vdisk方式对应用程序提供I/O读写能力。 应用程序访问Vdisk时，Ultrapath根据多路径模式，选择最佳的访问路径，将I/O请求下发到存储阵列。

改造后的拓扑结构如图8所示：

图8：两地容灾存储架构图

四、架构优势

作为信创的龙头厂商之一，华为的存储技术已经处于行业的领先地位。本项目中所选择的华为存储相比较原来的IBM存储设备，采用的新技术优势如下：

由于采用了基于全闪存的解决方案。主存储的IO读写特别频繁，为了避免单盘的读写磨损。使用了华为针对全闪存存储的一些特效：

1) 磨损均衡算法（图9）：静态与动态均衡结合，做到全盘空白单元和数据块单元全面均衡，避免某个颗粒过分磨损造成硬盘失效。

图9：磨损均衡算法

2） 巡检（图10）：周期检测ECC错误情况，达到阀值后触发数据搬移，保证数据可靠性。周期根据温度和擦写次数动态调节。

图10：巡检

3） 寿命预警（图11）：实时监控颗粒擦写次数，当擦写次数超过阈值之后，上报告警，通知系统提前进行更换，保证数据可靠性。

图11：寿命预警

4） 掉电保护（图12）：在异常掉电时，通过电容提供电量将内存数据写入flash，保证在异常掉电情况下数据不丢失。

图12：掉电保护

五、信创展望

从信创用户使用角度看，依托稳定、规模化的用户群体，通过软硬件版本迭代更新、技术支持和服务持续完善，以提升产品性能和使用体验，加快推进信创产品从“能用”向“好用”转变。积极引导各类主体参与信创产业建设，加速技术、产品应用和迭代，完善创新创业生态，形成政府、市场、社会多方共建共享的应用格局。

信创市场“技术+政策”的双驱动型市场，不仅受政策影响，技术先进性、成熟度、自主可控更重要。信创领域会重塑中国市场“重应用、轻技术”的传统格局，促使市场转型进入技术驱动型市场。

结束语

在信创环境下，谈存储系统架构，有观点是要摒弃传统集中式SAN存储，用分布式存储来替换。在这个需要完成信创改造的阶段，这个观点可能也是无奈之举。存储系统是核心关键系统，选型需要慎之又慎。不同数据应用场景，需要适配不同存储系统。希望借此议题让广大读者能够了解，存储技术是为应用需求而生的，也希望广大厂商能够加速技术和产品的研发，让使用者能够有更多的选择。

阅读更多《迈向YB数据时代》精彩内容，请识别以下二维码：

‍

《迈向YB数据时代》

随着云原生技术的成熟应用和信创政策落地推广的趋势浪潮，传统企业关键应用基于IOE基础架构的事实标准已被打破，涌现了大量基于云原生技术和信创的产品与解决方案，IT应用生态秩序必将重构，企业IT关键应用最终将重新呈现出次序井然，有条不紊的局面。但新秩序的形成必将建立在关键应用长时间且海量实践的基础上逐步形成。在新秩序形成的过程中，企业不同的IT应用将有着多样的IT架构选择，其中很多架构组合还未经过大量且长时间的实践验证，架构中的产品面临着成熟度问题，不同厂商的产品缺乏彼此兼容的适配，很多产品组合的解决方案缺乏落地验证，平台厂商的产品与传统大中型企业的关键应用也存在沟壑，传统大中型企业用户在企业IT关键应用选型决策中面临着前所未有的挑战。

《迈向YB数据时代》 2022年 冬季刊 从信创的趋势动态、信创产品的架构选型、最佳实践及运营等多个方面展开讨论。由来自一线并技术精湛的专家结合自身经验，详细分享应对不同业务场景的信创产品解决方案。涉及信创产业的发展趋势、原有技术栈与信创如何有机结合、企业IT应用架构未来发展趋势等多个视角。大量的实践案例和创新方案给了我们新的启发，其经验值得我们参考和借鉴。

【 点击图片阅读冬季刊 】

↓↓↓

【点击图片回顾秋季刊】

↓↓↓

点击标题阅读往期连载：

• 2022年冬季刊【架构选型】议题二： 众思量，银行业既有存储架构与信创架构，融合设计是否是唯一选择？

• 2022年冬季刊【架构选型】议题三： 设计信创云架构时，传统云架构是弃是存？

点击 阅读原文 ，到社区原文下与更多同行交流探讨 ↙ ↙ ↙

*本公众号所发布内容仅代表作者观点，不代表社区立场