封面专题IT人与IT技术:让不可能成为可能

-回复 -浏览
楼主 2020-11-21 06:55:34
举报 只看此人 收藏本贴 楼主

 




我们信仰有梦想的人生,和坚定的信念

我们一直以此为自己勇气的来源

理性、坚持,保持独立和专业的姿态

我们依然相信“情怀”和“未来

依然相信根植在我们心底深处的

对事业的热忱,对市场的尊重和对规则的操守

那些谦卑与敬畏,质朴的初心



记得刚刚进入千禧年时,德意志交易所CEO C.Kengeter的预测言犹在耳:未来的金融竞争是交易系统之间的竞争,交易系统是交易竞争中最重要的“武器”。

 

那时候的2002年,上海证券市场日交易成交量最高不过约800亿;短短十几年后,2015年的晚春初夏时节,A股多连阳持续逼空式疯狂上涨,日成交量上万亿早已不再是曾经难以想象的偶然。

 

中国金融市场喷发式发展,除吸引当下亿万国内外投资者投资热情和外国市场观察者眼球外,也超出参与早期市场基础建设者的最大胆预测。

 

2015上半年,几乎成为了“全民狂欢”的时代。上海单边成交量破万亿后,大部分券商行情系统已无法准确显示,持续数月的疯狂令金融市场的交易系统不堪重负,也让不少缺乏技术优势的金融机构遭遇普遍的技术难题。

 

姑且不论疯狂的牛市和接下来令人闻之色变的股灾,也暂不唏嘘2015年的市场是不是它原本应该的样子,但是大额成交量对交易系统的冲击,交易系统无法匹配时下市场活跃的交易行情,许多券商的后台处理能力已经接近极限,券商系统在行情调取、数据交换等方面出现技术故障。

 

不少券商交易软件也频频出现“堵单”、“卡顿”等各种状况,万一系统崩溃,对各类创新业务影响,所引起的金融风险,更加不堪设想。

 

都说要恢复证券公司五大基础功能,有效组织市场,满足投融资双方需求,倘若没有过硬的信息系统支持,不断造成资本市场参与者的损失,又何谈证券行业在金融格局里的核心竞争力?

 

春林初盛,春来草长。要迎接证券行业创新发展的春天,券商信息系统的“硬功夫”,首先是交易、托管结算、支付、融资和投资的重要保障 



 

☉支撑日交易量万亿元背后的技术“神器”  

 

行业创新大会召开之后,券商便陆陆续续加大IT的战略投入,证券公司的信息技术创新尝试着以科技的力量推动业务发展,行业信息技术建设与服务呈现出多样化、开放融合的新面貌。

 

根据中国证券业协会调查,在部署有经纪业务客户交易系统的证券公司中,约三分之二的证券公司采取了系统扩容措施,其中53%对核心交易系统实施了扩容,86%对网上交易、手机交易、呼叫中心等外围系统和网络带宽、线路实施了扩容。部分券商通过使用交易所行情云、阿里金融云等互联网服务,实现了对外围系统灵活快速的扩展,集中力量保障核心系统的安全稳定运行。

 

兴业证券也不例外地,把信息系统提升到了关乎发展存亡的战略高度。公司董事长兰荣在历年工作会议上的报告里,IT的战略性投入,包括人力成本增加,资源倾斜,对互联网业务的探索,移动终端的建设,始终是重要的构成。

 

回溯兴业证券的集中交易系统,自2006年正式上线九年来,经受住了各类行情的考验,在2006至2007年的牛市中系统逐渐成熟,在创新业务发展的浪潮中壮大完善。

 

经过多年来的快速发展,证券市场的容量和创新业务的种类已经不可同日而语,集中交易系统06版基于最大8000亿的成交量和传统的经纪业务设计,虽然技术部门持续不断地挖潜和优化,但面对不断出现的创新业务和越梦越高的交易量,系统负载距离运行警戒指标已是越来越近,似乎是山雨欲来风满楼的架势。

 

唯一的办法,就是交易系统的更新换代。集中交易系统是券商最关键的信息系统,承载几乎所有核心业务,功能庞杂,使用人数众多。若是升级,便不同于以往的功能完善、添加补丁,而是对原有系统的全面替换,涉及面广,复杂度高,是风险极大的系统性工程。

 

整个公司从2013年就开始新一代集中交易系统的调研和升级准备。两年来,信息科技部和系统运行部联合所有涉及业务部门,调集骨干成立项目组,内部测试不计其数。

 

对于兴业证券而言,集中交易系统是整个公司最关键的核心系统,不仅支持网上交易、手机交易等周边系统,还配套支持类系统如数据中心、风控、投保、AFA等,以及相关的设备、网络等100多套系统。

 

新一代系统项目组原计划是在两年时间稳步推进系统更新换代,按理来说,系统完善和成熟,这些时间绰绰有余了。

 

可是,没有想到2015年正式步入了“疯牛”行情,到了420日,上交所就已贴出紧急通知称,因传统行情文件对大盘成交量突破万亿不支持,造成行情指数成交额显示异常。市场天量成交的日渐常态化,并且依然持续向万亿进军,丝毫没有削减之势,部分证券公司甚至出现长时间系统故障。

 

要不要在这个节骨眼上让新系统上线?短期来看,在天量交易量下上线新系统是一个巨大的挑战,两手抓,新一代信息交易系统建设的同时,技术部门维护着06版交易系统,上半年的火爆行情算是平稳度过了,无惊无险;可是长期来看,如果行情继续向上,旧交易系统能否继续适应?真是一个to be or not to be的问题。

 

上线成功,自然皆大欢喜;万一失败,却是谁也难以承受的职业风险和监管责任;但兴业的IT人,每次关键时刻都体现了胆大心细、积极进取、勇于担当的职业精神。

 

时不我待了,作为现场实施团队的负责人,薛亮带着团队进行没日没夜的测试和评估,向公司提交了最终的评测结论,并勇敢提出了按计划上线利大于弊的倾向性意见。,公司领导采纳了项目组的意见,毅然决定按照原计划,在20155月最后一个周末正式上线。,项目组的同事们开了上线前的动员大会,没有剧本中的军令状,但每一个兴证IT人都明白:自古华山一条道,只有成功不许失败!

 

一切都是为了给予客户更好的交易体验,防范一切未知的信息风险。

 

而后的事实证明,顶着巨大压力完成升级换代的系统,对维系交易稳定、防御信息安全风险起到了重要积极的效果,速度更快,容量更大了。

      

☉ 一支坚持创新击进的铁军:让不可能成为可能

 

乔布斯有一个著名的人才言论:我过去常常认为一位出色的人才能顶两名平庸的员工,现在我认为能顶50名。我大约把四分之一的时间用于招募人才。

 

2015529日,对大多数人而言,不过是一个普通的周末。街上人声鼎沸,沿路熙熙攘攘的人群行色匆匆,筹划着双休日的生活。

 

交易日常规的清算完成后,夜色渐渐降临,兴业证券信息部门办公室的的气氛也慢慢凝重起来。经过一整天的照常忙碌,会议、电话、问题确认、方案分析……薛亮已经感觉大脑就像一个立体的交通枢纽,各种交通工具飞驰而过,没有任何喘息懈怠的机会。深夜,凌晨,办公室的异地会议系统此起彼伏地响着,没有停歇过。

 

新一代交易系统已经经历了无数轮全网测试、压力测试和外部机构联调测试,它将以什么状态面对50多个小时后的第一次亮相?

 

夜色是刚刚开始。几层的办公室灯火通明,会议室的小单间房门开了闭、闭了开,开会的人换了一拨又一拨,——不约而同地面色焦枯,眼圈青黑,语速超快地说着外行听不懂的各种缩略语。

 

办公室午饭时间到了,快餐盒像小山一样推进来;晚饭时间到了,再进来一车;转眼天亮了,早饭时间又到了。这群人已经至少30个小时没有睡过觉,始终盯着屏幕上的矩阵图,——或者在座位上靠着睡着了,不到一个小时,起身再战。“想睡的时候,掐指算着倒计时,整个人就会弹起来。”薛亮说。

 

“根本没有办法睡”。陈锋,这个刚毕业四年的小伙子,已经是集中交易设计团队的核心骨干,每天与各个部门、供应商、恒生公司间的沟通不计其数。这段时间,也有同业出现了无法交易长达几个小时或者半天的问题,信心和压力,很难平衡。

 

他说自己那种心理压力是莫名而绵长的——“交易系统业务错综复杂,每一天发生的业务都不可能完全一样,虽然项目组成员分工做了日间测试、并行清算测试、压力及灾备切换测试,还组织了多轮周末全网测试,但是行情在项目的最后阶段越来越火爆,心里还是不知道在实际情况下会不会出现一些意料之外的事情,这样就前功尽弃。”

 

IT人时常感慨,每个项目的成功,都是皮开肉绽的重生,如同战国时代的沙场,一片刀光剑影的混战。

 

罗曼.罗兰说:“人生是艰苦的。对不甘于平庸凡俗的人那是一场无日无夜的斗争,往往是悲惨的、没有光华的、没有幸福的,在孤独与静寂中展开的斗争。……他们只能依靠自己,可是有时连最强的人都不免于在苦难中蹉跎”。

 

531日,星期日。午后,上线准备工作已陆续完成,再过几个小时,夜间委托即将开始。一切似乎都已安静下来,榕城林花木落,一片初夏的温暖鹅黄。

 

到了下午时分,刺耳的警报声突然在机房监控响起,新系统的一个核心小型机部件告警。排查定位后,马上向IBM福建中心调货,答复令人无奈和沮丧:福建没货、上海没货、浙江没货……再找到广州中心,真是漏屋偏逢下雨,广州飞福州的航班因暴雨无法在当晚抵达。

 

现场的气氛顿时凝重起来,倘若不更换这个小小的配件,系统容灾应急能力下降,上线只能推迟,所有昏天黑地的突击全部都成泡影。

 

如今时隔近一年,项目组全体成员回忆这个插曲时,依然唏嘘不已。

 

薛亮和陈锋,代表着70后的和80后两代兴证IT人,也是这个群像的缩影和写照,年龄横跨了漫长的岁月,却感同身受。那种攻关到深夜却毫无头绪的无助感,那种倒计时来临日夜颠倒的焦虑感,那种因为外部不确定因素、并非事在人为的苦痛感。

 

任何一件超越平凡的事情背后,都是超乎寻常的付出。记得乔布斯的“只有偏执狂才能生存”,也记得华为的“烂脚理论”——“我们除了比别人少喝咖啡,多干点儿活,其实我们不比别人有什么长处。我们起步太晚,我们成长的年限太短,积累的东西太少,我们得比别人多吃苦一点,所以我们这有一只是芭蕾脚,一只很烂的脚,痛并快乐着”。

 

IT人就在这种苦痛与绽放里堆起血肉长城,抢占先机,推动着人类的文明,丰富着人类的生活,把一个个不可能变为可能,痛苦而伟大。

 

后来,项目组一个省份一个省份地沟通调货,天色渐晚,IBM武汉中心终于捎来消息——售后人员已带着配件赶上了飞往福州的航班。

 

陈锋说,这个插曲给本已紧张的气氛添加了一些不确定的味道,但是虽然有小波折,最终还是有惊无险。

 

531日,入夜,一切准备就绪,兴业证券技术负责人发出切换系统指令。

 

零点整,几百毫秒内,几百笔客户委托像开闸的潮水般地涌入系统,奔腾流淌着,像有灵性的生命一样,欢畅而丰盛,川流不息,令人几欲泪下。

 

一宿无眠。

 

61日,八时三十分,所有终端渠道、手机渠道、每家银行、每个品种,都有正常业务陆续进行,陈锋说,“就像一排绿灯逐步亮起的感觉……”

 

新一代集中交易系统上线后的第一天,两市成交量1.8万亿,兴业证券信息系统后台监控运行指标平稳异常,系统负载远远低于警戒指标,客户委托速度比之前行情火爆的时更快了。

 

次日凌晨5点,新系统首次清算正式完成。随后的几个交易日,信息科技部和系统运行部技术人员依然24小时轮班值守,系统始终稳定运行。

 

50几个小时的不眠不休,持续几个月的半封闭轮值,这群人交给公司、交给客户、交给行业一张漂亮答卷:系统运行安全稳定高效,整体技术水平和运维成效在行业领先。兴业证券成为这一轮极端行情中,个别几家能始终保持安全平稳高效运行的大中型券商;也是2015年上交所成交量破万亿时,个别能正常揭示行情的券商。

 

而后系统快速进入平稳运行阶段,也成为在同类券商核心业务系统换代中最快进入平稳期的系统。新系统的架构和容量为兴业证券未来五年各类业务大发展奠定了坚实的技术基础。 

☉前程奇迹,转身磨砺

 

面对天量行情,各家券商传统的做法是增加IT硬件投入,但即便如此,交易量达到万亿时期,要完成正常清算,都得到凌晨两、三点;极端时候甚至到早上六、七点,面临的一个小时候后的交易,时间压力极为沉重。

 

兴业证券新一代交易系统在上线前三天的磨合期里,每日清算也到了四、五点。随后,兴业果断实施了实施了业内独家优化方案,没有跟随单纯堆硬件的思路,而是独辟蹊径,从软件调优和流程优化入手,调整了数据存储的部署,减少了数据同步等待延时,避免随着交易数据的增长,导致清算时间不可控的问题。在上线第四天就成功将清算时间压缩到12点前。彼时,行业普遍清算完成时间为凌晨三点。

 

此后半年,经过进一步的深入细化调优,兴业证券每日盘后作业所需时间都比行业同规模券商缩短2-3个小时,而采用的硬件设备成本仅为同业一半左右。

 

除此之外,IT部门数据库、数据中心等超过2/3的项目组,对如投保系统、数据中心等关联系统进行了优化,实现了夜间作业的全面提升,降低了因为行情压力带来的数据报送时间节点压力。

 

原来的一切不可能,都变成了云淡风轻的现实。

 

薛亮说,进入兴业证券20年,先后经历了 5次交易系统的更新换代,这次是压力最大的一次,同时也是个人感觉最轻松的一次。

 

说压力最大,因为从来没有在这么疯狂的行情时进行更新换代——我们遇见的是史无前例的极端行情,先是交易量频创新高,以万亿计地挑战着券商系统的并发容量和处理能力,接着又是断崖式暴跌,客户争先恐后地抛卖,以毫秒计地挑战着券商系统的交易速度和响应效率;

也从来没有同时涉及这么多业务——以前基本只有普通交易,现在还有融资融券、港股通、期权以及其他各类创新业务,更没有同时影响到这么多系统——以前只涉及集中交易系统,现在还要考虑AFA、内控、投保等下游系统,以及各类周边接入等等;

 

说最轻松,是因为公司整体环境的变化,技术提高到战略的高度,公司支持力度最大——上至公司高层,下至所有部门、分支机构都参与了项目,前后仅周末的全司演练就进行了6次;准备最充分——实际上提前2年就在考察做准备,提前1年开始着手实施,期间与开发商、券商同行进行了多次沟通和调研;动员的技术力量最雄厚——信息科技、系统运行两个部门大几十号人扑在这个项目上,运用的测试方法、测试工具、技术手段远比之前先进;硬件和网络保障投入最大——所有核心设备全部更新,网络交换直接上万兆……

 

历史不是由英雄创造的,反过来,是历史选择了一些人成为了英雄。

 

还记得20141216日,由上海证券通信有限责任公司举办的2014年度用户大会在上海举行。兴业证券荣获“年度最佳合作伙伴奖”,还应邀做了关于云行情实践和运维转型的主题演讲。

 

那时候,兴业人是这么说的:

 

这是一个最坏的时代,市场竞争空前激烈;同时这也是一个最好的时代,我们有了互联网,我们有了云计算,我们有了大数据,让原来不可能成为可能。

 

 

叶迎/

感谢兴业证券信息科技部和系统运行部

倪文亮、陈超伟、唐硕对本文的支持


出刊 敬请期待

兴业证券员工可登陆OA系统【兴业司刊】专栏 在线点阅 


我要推荐
转发到