把“不可能”变成“不,可能”
——中国民航报重点报道公司数据中心转产工作
发布时间:2017-08-03 作者:党委办公室 来源:党委办公室 字体大小:  A+      A-

        近日,公司特邀中国民航报记者就数据中心转产后沙峪工作,深入中国航信运行中心进行采访,7月27日,中国民航报在头版重点报道了成功转产背后的故事,中国民航网、中国民航报微信均进行了刊载。以下为详细报道: 

 

    

        2017年3月23日20时,喧闹的北京东四西大街没有了白天的车水马龙,徐徐的晚风吹得路旁的树叶沙沙作响,衬托着愈发寂静的夜。在位于这条街的中国航信总部大楼里,几间屋子的灯依旧亮着,一层多功能厅更是灯火通明,人头攒动,热闹非凡。  

   

        “我宣布,中国航信后沙峪数据中心第三轮业务集中转产工作正式启动!”随着现场总指挥的一声令下,现场百余位参与集中转产实施的人立刻投入到紧张的工作中,争分夺秒。  

   

        又是一个精彩的不眠之夜,又将有数十个业务系统从中国航信国富瑞机房迁移至后沙峪数据中心。从2016年6月到2017年3月,搬迁团队早已习惯这样的不眠之夜。而这一次,是第七次数据搬迁,也是整个数据中心转产工作的最后一次迁移。至此,国富瑞机房的324个业务系统全部被平稳迁移,这场中国航信史上最大规模的数据中心搬迁工作圆满落下帷幕,中国航信把一项原本不可能完成的任务变成了“不,可能”。  

   

        着眼长远 让数据“回家”  

        国富瑞机房位于北京亦庄,是中国航信的租赁机房,自启用以来陆续进驻了大量的业务系统,其中就包括离港、电子客票等新一代系统。而在租用国富瑞机房的同时,中国航信也在不断建设自己的“新家”。随着嘉兴数据中心落成投产和后沙峪数据中心即将投入使用,国富瑞机房的数据搬迁计划渐渐提上日程。  

   

        “就像一直住在租来的房子里,虽然也能吃饭睡觉,但当有一天拿到了自己的房本时,第一件事肯定就是想着如何搬家。”中国航信运行中心测试与应用支持部开放系统测试部副经理马小珩是数据中心搬迁项目组管理组的一名成员,她如此描述此次数据搬迁的初衷。  

   

        “从公司发展的角度考量,也不会长期将重心依托在租用的地方,”中国航信运行中心基础设施保障部的电气工程师蔺晓红进一步解释说,“毕竟,嘉兴和后沙峪数据中心的温度、湿度等一些基础设施环境会更可控、更优质,这对于我们是非常重要的。”  

   

        数据中心搬迁已是板上钉钉的事。那么问题来了,此次搬迁涉及非常多的业务系统,搬迁地点又包括北京、嘉兴两地,业务关联如此复杂,就如同神经网络一样立体多维度,往往牵一发而动全身。到底应该怎么搬?  

   

        “我们想过像一些银行做数据搬迁时把整个软件设备和硬件设备一同迁移到新数据中心的做法,但很快就否定了这个想法,并最终确定了以业务为单元的搬迁核心技术原则。”中国航信运行中心运行部开放平台部经理韩超告诉记者,以业务为单元搬迁,就是先梳理好业务,把“好”的、“有用”的业务搬走,和一些“坏”的、“无用”的旧业务说再见,然后再按照业务之间的关联,分批次迁移。“这次搬迁的量太大了,有数百个业务系统,而这些系统平时是‘7乘以24小时’运行的,我们必须考虑如何把此次搬迁对用户的影响降到最低。于是,项目组最终确定:利用夜间相对的业务低峰期,以业务为单元,分批次地进行迁移工作。”  

   

        考虑到主机保留在北京,而嘉兴距离北京有1000多公里,在数据传输过程中不可避免地会发生网络延迟,项目组决定把以交易为主的业务留在后沙峪数据中心,将以查询为主的业务迁移至嘉兴数据中心。  

   

        万全准备 只为顺利搬迁  

        此次数据中心搬迁工作能够圆满完成,很大程度上来源于充足的准备。2014年10月,中国航信就成立了搬迁项目组,并细分为多个小组,从方案的制订到技术的应用,从自身的人员调配到与客户之间的沟通交流,都一一落实,事无巨细。  

   

        马小珩告诉记者,搬迁的主方案一直在修订,大规模的改动有5次,小改动达到上百次,仅仅是用于指导搬迁实施的手册就写了2万字。“完全是摸着石头过河。只能尽量考虑全面,一旦发现短板,立刻补充完善,最终定稿的主方案包括了近1000条任务项。”  

   

        为了确保真正实施阶段的顺利转产,2016年4月,项目组开始了为期两个月的试点工作。“谁也不敢保证考虑得绝对周全。试点本身就是用来验证方案和发现问题的。”马小珩坦言,“试点的成功之处,就是暴露了我们存在的各种问题。如果这些问题在真正转产时才发现,那才是灾难。”  

   

        也正是经过两次试点转产实施,项目组发现配合和沟通是这个巨大工程最难克服的问题之一。“有些问题可能两个人坐在一起,看一眼屏幕就能够解决,但在电话里怎么也说不清,浪费了很多时间。所以我们决定正式转产时采用集中转产实施的方式。”作为项目组的骨干专家,中国航信研发中心系统维护与支持部运维管理支持组组长周凯洋全程参与了试点演练。据他介绍,集中转产实施,指的就是转产当天,所有相关人员集中在航信总部大楼,制定统一的发布、指挥、控制和协调模式。每当现场遇到棘手的问题,各个归口的负责人都聚在一起,统一规划最有效的处理方案。“这是非常有效的管控模式,为最终的业务系统转产成功立下了汗马功劳。”  

   

        为保障业务系统的平稳转移、确保安全生产零事故,项目组对所有应用进行了搬迁测试。其中,除常规的功能测试外,还涉及保障信息安全的安全测试,验证新机房新资源处理能力的性能测试,以及考察各业务系统之间调用关系的关联测试等。对于没有通过搬迁测试的业务系统,坚决不进行转产。  

   

         再充足的准备也会有意外的情况发生。2016年12月28日晚上,后沙峪新数据中心第二轮搬迁业务转产工作启动,涉及业务包括航班库存控制、航班计划管理等多个新一代系统共计19项,航空公司订座系统、代理人系统主机停机配合转产实施。  

   

        所有的一切原本都在按照计划有序地实施着。次日深夜1时,新一代航班计划管理系统在机房搬迁内测时,研发中心机房搬迁团队发现部分服务器无法正常回复报文,情况十分紧急。现场指挥团队权衡利弊,果断处置。凌晨2时,问题被最终定位,原来是SIH的消息队列服务器(简称MQ)最大线程资源不足,导致后续连接MQ线程无法正常启动。所有人悬着的心终于放下了。2时59分,主机比原计划提前1分钟开放,客户验证各项功能正常,搬迁工作顺利完成,搬迁团队也经历了转产以来最为惊心动魄的一个夜晚。  

   

        幕后英雄 为转产保驾护航  

        从一个最初看似不可能完成的任务,到一步一步实现目标,这其中承受的压力只有中国航信数据搬迁项目组及所有参与人员才有切身体会。  

   

        “要在两年多的时间里完成机房建设、设备采购安装、方案制定、应用部署、搬迁测试、转产实施等大量工作,压力之大可想而知。”回想起那些体力和脑力严重透支的日子,中国航信运行中心运行部副经理王欣记忆犹新,“很多参与搬迁工作的人员还要兼顾日常系统维护和产品研发,为了能够按计划完成搬迁,很多人员都超负荷运转,甚至一连几个月都没有节假日。他们是真正的幕后英雄”。  

   

         当然,除了人的主观因素外,数据中心转产能够顺利实施同样也离不开那些在各个工作环节发挥重大作用的后台系统工具,如一站式业务迁移平台、业务关联关系分析系统Sherlock、数据中心业务转产展示大屏、网络安全策略自动筛选和替换平台、交换机零配置自动化安装平台等。这些工具有的是为搬迁专门开发,有的是对原有系统进行了升级改造。  

   

        王欣用一站式业务迁移平台给记者举了个例子。一个业务系统进行搬迁,从资源分配到转产完成需要开展一系列工作。如何管理业务转产的全生命周期?运行中心运行部历经4个月开发了安全稳定、集多种功能于一身并有助于精细化管理的一站式业务迁移平台。每项业务在该平台中都有专有身份,包括涉及的资源配置、业务负责人、应用维护人、所属搬迁轮次等。当业务纳入搬迁计划后,会根据原有资源自动分配新机房的新资源,自动安装操作系统、中间件、数据库等基础平台环境,跟踪记录网络端口开通、应用部署和搬迁测试的完成情况,自动完成投产前检查,转产完成后自动修改资源状态,关闭原有监控并启动新监控,为每个业务系统的搬迁提供一条龙服务。  

   

        “一站式业务迁移平台确保了搬迁资源交付的准确性和安全性,实现了资源的快速自动交付,在提升效率的前提下,既节约了配置管理的人力成本,又降低了人工操作可能带来的失误率。”王欣说。  

   

       在人员与技术的多重保障下,今年4月,历时两年半的中国航信数据中心转产工作最终完成。自全部转产至今,嘉兴和后沙峪数据中心机房均整体技术环境运行平稳。中国航信运行中心网络部网控中心副经理孙淮松告诉记者,转产后,两个新数据中心机房的服务器装载容量提高20倍,网络接入能力提高30多倍,互联网出口带宽提升60倍,核心交换机的处理能力提升100倍以上。“简而言之,就是基础设施环境更好,安全等级更高,对数据的处理能力更强,技术和管理手段更先进。”孙淮松如是说。

   

        点击查看中国民航报报道——原文链接

相关阅读  
专题专栏   更多
期刊杂志   更多
热点排行  

法律声明  |  联系我们  |  RSS订阅  |  使用帮助  |  网站地图  |  网上调查  |  常见问题

中国民航信息集团公司暨中国民航信息网络股份有限公司 © 版权所有2010 京ICP备08003933号 京公网安备11010102000528号