一家传统银行迈入大数据时代的“艰难心路历程”

来源：数据猿 作者：张艳飞如今，“大数据”一词早已成为各行业精英人士们逢场必聊，逢人必说的最热词汇，按照北京人的说法：“似乎不提这一茬儿就会让自己掉份儿”，会在各路人群中显的格格不入，也似乎真的会与时代脱节，成为“当下弃儿”。在这样的大环境下，近几年的大数据技术也势如破竹，几乎在公安、交通、能源、农业、金融等所有领域生根发芽，可谓“非常争气”。其中，给人以“不差钱”印象的银行业自然也不例外。然而，就像 “中国国情”、“中国特色”等关键词一样，在很多人看来，中国的银行业也同样充满着这样的标签色彩。银行一方面是受国家管控的特殊行业，甚至被认为是垄断行业，但同时也是较早接触新兴事物，竞争性较强的前沿科技型行业。那么，银行这个“特殊行业”在如今的大数据时代，到底是如何对待“大数据”的呢？ “大数据思维”新解 正如互联网时代出现“互联网思维”潮一样，如今登台的“大数据思维“ 有过之而无不及，也同样深受热捧。但“一千个人有一千个哈姆雷特”，每个人对“大数据思维”的理解角度跟方式都不一样。或许你认为跟“互联网思维”大同小异，或许也不是！ 那么，就来听听数据猿记者采访恒丰银行大数据应用负责人、资深软件架构师曾光尧的时候，他是如何看待这一问题的： 第一， 在我看来，互联网之所以能成功，跟敢于尝鲜、勇于试错的冒险精神密不可分，这一点几乎适用于所有行业，也同样适用于新兴的大数据领域跟银行业，尤其是中国800多家中小规模商业银行。这些银行想要创新业务模式，实现新的业务增长点，那就不能等到技术非常成熟并普及之后，才下手去摘“成熟果实”。新技术的成熟期通常都很漫长，很多银行是等不起的。况且这个过程对银行技术团队也是难得的学习成长机会。 第二， 以往被大家忽略的数据，如：用户上网浏览行为、购物行为、交友行为等边边角角被扔掉、不被重视、想不到能干嘛的“数据原材料”，现在需要“回炉加工”重新研究其背后的隐含信息与业务价值。那么，“大数据思维”的第二层含义就是要把包括“被忽略”数据在内的所有数据收集起来，数据体量越大、维度越多越接近事实真相。 第三， 思考数据实体之间的业务逻辑关系，构建出融合领域专家知识的人脑推理模型，形成真正的数据智能化思维。比如，国外有互联网金融企业从一栋大厦的电梯上升下降次数去感知企业的经济活跃度。现在大家都学会了从数据中寻找业务事实的蛛丝马迹，如果想了解某家企业的经营状况，会找到这家企业附近的超市或者小商铺，在为这些商家提供服务的同时顺便拿到其用户量、交易等数据，同时再从线上招聘网站、社交媒体等渠道拿到其外围数据，这样就可以从多个侧面分析企业的运营情况。手段更加多样化，结果也更为精准。然而，大数据时代日益丰富的技术工具箱和日益庞大的数据量同时也带来了更多的“幸福烦恼”，这时，空有“大数据思维”而不能有效构建服务能力并推广应用于业务一线的话，同样无济于事， 甚至烦恼更多！ 创新来源于“被逼无奈” 科技的进步，技术的快速迭代促进了各行业的飞速发展，甚至让某些行业措手不及，既循规蹈矩又拥抱前沿科技的商业银行也是如此。业务团队的倒逼、相关机构的监管要求、技术的“不给力”都在苦恼着那些银行家们，同样也在折磨着“程序猿”们！曾光尧回想道：“在压力巨大的那段时间里，我经常会半夜爬起来查看技术架构问题，寻找最新的解决办法，一直到现在也还是这样”。 新旧业务一起“倒逼” 大时代变了，小环境也在跟着改变。用户对金融业务的使用场景也悄然发生了变化，银行的业务也不得不跟着转变，技术也要随之配套升级，跟上步伐。这时，一连串的变化使得银行不但要面对新业务场景下的新挑战，甚至原有业务也面临“忍无可忍，必须作出改善”的地步，可谓“前有狼，后有虎”。从互联网时代到如今人手一部智能手机的移动互联时代，网络已普惠到每一个人。越来越多的人已不再跑去银行的线下营业厅办理业务，而是选择直接在手机银行、网上银行等更方便的渠道应用上自助办理，既快捷又方便。激增的线上用户让很多银行“慌了神”，但是新技术能力掌握跟部署实施又需要时间，众多银行面对这突如其来的幸福更倒是苦不堪言。整个社会经济活跃度在增长，银行线上用户的增加并不代表线下用户就会大量减少，依然有部分中老年客户集中在营业厅办理业务，同时，规模较大的银行都在考虑收缩线下网点数量，控制运营人力成本，营业柜台工作人员依然忙碌不堪，大厅里也依旧满是排队办理业务的人群。面对客户“为什么只开一个窗口”、“能不能再快点”的愤怒，背后体现的既是技术能力的问题，也是管理问题与人力问题。如果从另一个角度看的话，感觉或许更为直观，试想：“如果新技术的实施能让每个工作人员每天节省半小时的话，以银行动辄几万名员工的规模，一个月又能为员工节约多少时间，服务多少新客户，业务人员又能从中获得多少商业机会呢？这绝对是巨大的运营成本优化”，这是曾光尧为记者算的一笔人力账。从用户体验角度来说，不管是线上的移动互联服务还是线下的营业厅服务同样重要。不够人性化，糟糕的用户体验都是直接导致客户流失的重要原因。以前，或许银行一年制定一次规则，出一款产品，然后平时再定期推送短信、邮件，打电话就可以，但如今已完全不同。外部市场正在持续变化，信贷政策和产品策略也需因时因势及时调整，产品设计周期被压缩得更短，迭代速度也要更快，紧接着精准营销策略就要快速跟上，不会再像以前一样为业绩增长无差别“骚扰客户”，而是在重视用户体验的基础上，结合业务场景推荐客户真正需要的产品与服务。另一方面，银行能提供的业务产品非常多，有面对大型企业的集团客户服务，也有用户数量庞大的个人客户业务。伴随着不断变化的市场环境，风控问题日益严重，银行内部及相关机构对监管的要求越来越严格，这也导致如今银行的内控体系非常庞杂。曾光尧说道：“在风控这一个点上，银行的要求及技术挑战就非常大，也有别于目前业务品种比较单一的互联网金融公司。类似余额宝这样的金融产品，其实只是银行众多业务产品体系中一小部分”。可想而知，如今的银行所面临的风控及技术压力有多大！ 技术太“不给力” 曾有银行内部技术人士回忆：“前两年用户与数据量的持续攀升，我们行每天有超过200万次基于千万至上亿级的大表关联汇总查询调用，为了不让用户体验受到影响，技术人员不得不调整原有底层技术架构，优化任务排队机制和服务并发控制策略。但随着数据量的持续增大，这样传统的系统优化技术手段效果越来越差，直到最后完全不起作用”。另一位银行内部技术人员也曾诉苦：“用户量上来后，经常是一个月前系统还好好的，突然一下子就出现了大问题，在传统IOE系统架构基础上做优化确实收效甚微，也难以驾驭控制”。这样的现象在银行业并不是个例，商业银行主流的传统IOE技术架构原本就不是为大数据、高并发与并行计算的需求而设计，并不能有效发挥多核CPU计算能力，服务支撑能力也有限，难以满足移动互联时代的业务需求；而企业级数据应用往往比一般线上交易应用数据处理逻辑更复杂，需要消耗更多的计算与IO资源，技术架构不改变，结果必是死路一条。“当你发现系统优化不再起作用，应用也跑不动的时候，通常还是会不断去改，不断去调试架构，但这已经无法彻底解决问题了，新的业务需求也没有精力响应了，导致内部团队的矛盾越来越大”对此曾光尧也深有感触，感叹道：“不能再这么被动挨打了，一定要找到新的‘一劳永逸’的解决办法”。 又老又贵“又没钱” 业务的倒逼使得银行的技术升级迫在眉睫，在这个过程中，银行通常优先想到的还是原有的技术服务提供商。通常也只有原有的提供商才会第一时间知道自己维护的老客户需求，曾光尧说到：“这一点上大家情况都类似，都是顺理成章的事情”。但金融领域市场化竞争的加剧，即使是外界看来“不差钱”的银行，也要考虑“开源节流”的问题。银行要提升系统的处理能力，传统的IOE架构大部分需要垂直升级而不能水平扩展，而垂直升级的成本是非线性增长，曾光尧打了个比方：“一台32核的小型机价格至少是同样配置的X86服务器的10倍以上，但由32核升级为64核的小型机整体配置提升一倍，价格要提高4倍以上， 如果算上备机，初始硬件成本投入还要加倍。相对于互联网企业流行的可水平扩展的X86云服务架构，这样的投入“土豪”也hold不住呀”。从银行业务角度看，不同应用系统的峰值压力时间并不一样，也较难预测，如果所有的应用系统按照峰值压力要求全部做硬件升级，不仅投入大，而且会造成巨大的资源浪费。但是，银行如果也学习互联网企业采用可弹性扩容的大数据和云服务架构，多个应用可以共享一个超大资源平台的话，就可以采用更少的总体成本投入，为每个应用随时提供充足的计算和存储资源。 “前有狼，后有虎” 在社会高速发展的今天，竞争经常是白热化状态！某四大行之一的内部人士告诉数据猿记者：“我们整个银行开发部门有两千多人，纯做数据应用研发工作的人员就有100多人”，在这样激烈的同行竞争下，还有“初生牛犊不怕虎”的互联网企业追击，中小银行真是处于“前有狼，后有虎”的险境。虽然互联网企业在当下只是对银行某一块金融业务造成了影响，但是，就如同曾光尧所说：“包括微众银行在内的各互联网金融机构一旦拿到相关经营牌照，肯定都会推出各种各样的金融创新业务，同传统银行展开直接竞争。像蚂蚁金服有互联网先进技术的底子，动辄数亿元、上千人的大投入，还有更庞大的客户群、更具黏性的渠道应用和多样化的客户数据，未来的传统中小银行将会面临更加激烈的竞争跟艰难的生存环境”。面对对手强大的资源、疯狂的冲锋以及诱人的薪资，传统银行已面临严峻的业务增长缓慢与人才流失问题。 “撸起袖子”说干就干 触底必会反弹，创新、改变往往都是被逼出来的！相对于中国四大行（中国银行、工行、建行、农行）来说，众多中小型股份制商业银行更是在夹缝中求生存。经营范围窄、客户体量小、业务种类少、技术薄弱等各种弱势，在很多人看来甚至是“优势没有，劣势尤其突出”。但这样的现状，其实也为银行自身的变革发展带来了独特的“船小好掉头”的优势，甚至是“光脚不怕穿鞋”的心态优势。曾光尧在数据猿的采访中也说道：“底子薄试错成本就低，更敢于尝试新技术，不怕推倒重来，同时也就具备了‘弯道超车’的机会”。如果把企业比作一艘船的话，那么，这艘船的航向、航程，船长能起到决定性作用，在部分银行中的情况也类似。领导层的魄力跟远见很大程度决定了一家银行未来到底能在行业中处于何种位置，是否会在当下激烈的市场争夺中拥有自己的一席之地。在曾光尧眼中，恒丰银行的领导层就属于敢想也敢干，有创新思维，还乐于接受新理念、新技术的“好船长”。在恒丰银行，领导层从不拘泥于原有具体业务细节的“一城一池”，而是着眼于集团大战略层面，充分利用外部市场的优势资源跟技术，反哺与革新现有业务。恒丰银行2016年6月上线供用户使用的金融云，以及2016年大规模推广应用的大数据技术，都是由董事长为首的管理层最先提出并牵头实施。恒丰银行管理层认为：“这一波银行业的创新改革不能再走传统模式的老路子，而是真正要由技术引领驱动”。曾光尧也提到：“我们董事长本人平常就格外关注技术领域的发展动态，领导层的技术思维也影响到了整个银行内部的转型升级”。幸运儿总是少数，一位不愿透露姓名的业内人士就说：“如果中国的数百家中小型股份制商业银行，每家都能得到高层大力支持的话，那大数据这件事的推进，一开始就成功一半了，下面的人还有什么不敢放手一干的呢”。 有技术又有人才，“螃蟹” 吃着才有底气 大数据毕竟是一门新概念跟新技术，在这趟“重装上阵”的变革过程中，免不了会路途坎坷，诸多制约因素跟顾虑也会一直伴随。从大数据的代表性技术Hadoop走出实验室后的商用之路，也就是 Cloudera在2008年最早推出Hadoop商业化版本开始算起的话，其实只有短短的8年时间，真正大规模商业化应用也就最近三四年，时间非常短。所以，企业在“吃螃蟹”的过程中，遇到的风险跟不确定性因素必然会多，但与此同时，带来的长期收益固然也是对等可观的。面对潜在的诸多风险，曾光尧说：“当初做决定的时候，就知道‘开弓没有回头箭’，没有退路也没有复盘的机会，所以，我们早就做好了心里准备”，既然要做中小商业银行里首批吃螃蟹的人，自然要对技术困难以及业务风险都做好最坏的打算，频繁遇到各种闹心的问题也在情理之中”。除了心理上的有所准备外，银行也并不会全部押宝到某一项新技术上，不管是软件代码还是基础环境都会做一定程度的风险隔离和容灾设计，新技术后面的人才储备也会很充足。从1580年建于意大利的威尼斯银行算起，近代意义上的银行已有400多年历史，期间不断发展壮大，吸引着每个时代的精英。直到如今，银行仍然在用各种各样的方式网罗着各路人才，随着银行信息化程度的提高，更是不乏顶尖的技术人才，虽然有所流失，但毕竟远还没“伤筋动骨”。曾光尧就说：“基于恒丰银行目前的技术与人才储备，其实结果再坏也坏不到哪去，有懂技术的人才也有懂业务的人才，更有这两方面能力跟经验同时具备的复合型人才。尤其银行本身就是一个长期与资金打交道，最注重安全和稳健运营的机构，所以，在这一次技术创新浪潮中，不会出现太大的问题”。那么，相对于互联网企业来说，技术与人力资源更稀缺的中小商业银行能否通过技术革新闯出自己的特色之路呢？曾光尧的一句话对数据猿记者的印象颇为深刻：“如果想把一件事情做的很完美，通常需要很多人；但如果想做对它，不需要太多人，只需要正确的人就够了。” 收获很大，效果明显 银行原先的技术架构早已无法满足如今的业务要求，“去IOE”化也早已成为业内的技术潮流，以Hadoop/Spark为代表的大数据技术架构成为众多企业的优先选择。反观互联网企业中的代表阿里巴巴，旗下的淘宝更是宣称自己早在2015年就完成了全面“去IOE”化的工作。 那么，以Hadoop/Spark为基础的大数据技术架构为什么会深受欢迎，或许这四个特点可以很好地说明一切： 海量性，  由TB上升为PB级别的海量数据处理能力，可保存和使用的历史数据越来越多； 多样性， 除了以往企业内部应用系统产生的结构化数据外，还包含了用户社交、地理位置、网站浏览等客户行为与生活场景数据； 精准性， 传统的统计方法主要靠样本抽样方法，而在大数据时代，采集并分析的是全量数据，业务建模更快也更频繁，获得的结果也会更为精确； 实时性，  Hadoop/Spark等大数据技术架构的出现让海量数据的处理能力获得极大提高，让秒级、亚秒级甚至毫秒级的服务响应成为可能。同时，成本低廉和可弹性扩展的大数据技术架构为应用创新提供了更大空间。 以恒丰银行为例： 利用大数据平台重构了传统数据仓库应用，开发了企业公共数据模型层，将多个数据应用优化整合在统一的数据平台，减少了多个应用底层数据模型的重复开发工作，也节省了计算和存储资源的冗余成本，实现了应用间数据与服务的快速和低成本共享。与此同时，恒丰银行科技团队也基于最新的微服务技术自主设计开发了独具特色的大数据应用服务软件架构，能够更好实现应用服务的弹性部署，提供高并发低延迟的移动互联场景服务。曾光尧称，以银行内部的风险预警模型数据批处理为例的话，以前系统跑一次批量至少需要两三个小时，而现在只需要20分钟就可以；以前每天200万次的并发量都让系统不堪重负，现在我们的应用服务架构可实现单节点每秒七万次以上的并发服务能力，这就是新技术的后发优势。基础技术问题解决后，银行内部的开发人员将不再需要关注更多的底层技术细节问题，也能花更少的时间在非常规的系统性能调优环节中，更能聚焦业务逻辑的实现，加快业务需求的实现响应速度。大数据相关技术的应用，极大地提升了恒丰银行的系统整合和交付能力。过去一年，恒丰银行开发上线了移动CRM、财富管理、家庭金融、业务可视化分析平台、风险模型实验室、全面风险预警、用户行为分析、运营风险监测、大数据资讯平台、电信反欺诈、IT系统运营实时监测等30多个重要系统。曾光尧满怀欣喜地告诉记者：“在客户服务、风险管理、内部管控、营销管理等多个业务领域，都提升了我们恒丰银行的运营效率和市场竞争力，效果很明显啊”。 大数据相关新技术的运用，拓展了传统应用的业务支持能力。主要表现有三点： 第一， 通过运用大数据可视化技术，以简洁清晰的数据图表代替大量的数字网格信息，信息更聚焦。 让业务团队一目了然地发现业务问题、洞察业务趋势、实时掌握业绩数据；让管理团队能够快速整合多维度数据信息，做出更有效的业务决策。 第二， 利用文本分析技术，从大量的互联网非结构化数据和第三方数据中提炼企业价值信息，实现与银行内部数据的深度整合和标签化处理，构建全面清晰的完整客户视图，构建企业客户的股权投资、交易、上下游、担保链等关系图谱；通过机器学习等多项智能技术的运用，实现智能客户推荐、智能产品推荐，实现基于客户重要经济活动的金融需求预测和产品优化组合方案建议。 第三， 基于大数据实时流处理技术实现行内全渠道的实时数据协同，实现基于客户事件的自动化业务提醒，基于客户行为数据的需求预测，能帮助销售团队第一时间掌握客户业务动态，明确营销和服务任务重点；实现互联网数据的实时智能处理，帮助销售团队预见客户风险和抓住潜在业务机会；构建交易反欺诈实时处理模型，提升客户资金安全防控水平。此外，基于大数据的系统架构，在容错能力方面也会得到提升，即使出现个别机器宕机也不会丢失任何数据，影响任何服务。不间断的服务能力减少了系统的运维成本，也提高了系统开发效率。对于银行来说，也就能带给客户全面、便捷的服务体验。 “甲方”有话要对“乙方”说 在商业合作关系中，似乎甲乙双方在态势上既是合作又是对立状态“相爱相杀”，其实不然！如曾光尧所说：“银行作为甲方机构多数时候非常理解技术服务厂商的难处，即使是银行，自己内部也会出现技术团队不够理解业务团队需求而出现产品功能操作难度大，不能达标的情况，何况是外部服务商，所以，双方合作过程中的“度”非常难把握。但是，我理解你的难处，但你不能胡来”。 请“乙方”拿出真诚再来找我 话说，“没有金刚钻，就别揽瓷器活”！”很多技术服务服务厂商，缺乏真正的核心技术实力，把事情想得太简单，对Hadoop/Spark这样底层的大数据技术理解与优化能力不够，没有深入理解企业深层次业务需求对应的技术能力需求，心态稍显浮躁“，这可以说是业内较普遍的现象。在求快的市场大环境下，企业都希望“一招鲜吃遍天”，但结果是太急于大规模复制，往往最终都发展的不太理想。其次，被很多人看衰的传统技术夜并不是一无是处，老旧的技术架构虽有很多局限性，但新技术更需要经历较长的时间才能打磨好，消除缺陷的同时还需汲取“老技术”的思想养分。曾光尧回忆：“恒丰银行对外发出大数据项目招标需求之前，就花了三个月的时间做基础梳理工作，在大数据应用层面结合了具体业务场景的需求，获得了充分且清晰的业务及技术认知后，才把这样的项目需求讲给技术服务厂商听。如果对方愿意在这方面大力投入，双方综合匹配指数高，那肯定就会选择这样的合作伙伴。其中，星环科技（数据猿专访星环科技）创始人孙元浩带领的大数据团队，理念就与恒丰银行非常相近，产品表现也较突出，这也正是他们能从众多大数据平台企业脱颖而出的重要原因”。 “甲方”内部是这样的 商业银行通常对“大数据”的心态是既乐观又悲观，对技术的更新迭代以及趋势抱有乐观态度，相信技术能带来的业务变革，但有时候，对结果却会审慎态度对待。俗话说，饭要一口口吃，美好的结果也需要踏实走好每一步路，在通往这罗马的康庄大道上必定会布满荆棘，“不但会遇到管理层准备不足，操之过急的情况，也会遇到业务层面的不理解，执行层面难推进的时候”，变革的更大阻力，有时候就来源于内部。“每当这个时候，就需要积跬步以致千里，从很小的业务点着手，由点及面逐步去影响别人，比如先从改变用户体验入手”，这是曾光尧的经验之谈。有人开玩笑称：“要先让别人尝到甜头，才容易进一步推进，要不间断地经常有小成就展示在自己团队、其他业务同事跟客户面前，逐渐扩大他们的接受程度。这其实是实施策略问题，但同时也需要‘乙方’伙伴共同努力”。曾光尧还有一个经验就是：“以往有些复杂的管理报表要等待几十分钟让人看到，现在十秒以内就能出多维度的可视化分析报表。你就可以借机充分跟同事沟通交流，传播大数据价值，甚至有时候需要忽悠才行”。 写在最后

世间万物都有轮回更替性，微软、甲骨文、Adobe等公司作为七八十年代创新领导者的IT企业早就变成了“传统IT企业”，后来在九十年代出现的Google、百度、阿里、腾讯等互联网企业，距离现在也马上20年时间了，在众多创业者口中，前面也加上了“传统”两字，变成了“传统互联网公司”。如今风华正茂，处于热宠阶段的“大数据创业公司”未来免不了也会被扣上“传统”的帽子。

本文聚焦背后，从“心路与辛路”的角度入手，就是期望能与行业从业者一起找到些许共同点。启发大家的同时，也能换位思考，从另一个侧面了解你的合作伙伴，共同推进行业的进步。（张艳飞）