腾讯云副总裁蒋杰: 持续打造完整腾讯云生态
7月6日,腾讯“云+未来”峰会金融云分会场上,腾讯云副总裁蒋杰进行了有关腾讯云大数据合作生态的演讲,以下为演讲实录:
非常高兴大家能参加今天下午的议题,今天我给大家分享的是腾讯云大数据合作生态的发布。
这是一个大数据的时代,可以看到过去的这几年,从2005年到2015年,整个数据量已经增长了将近五六十倍,在未来的15年内,未来的5年内,数据还会有什么样的成长发展?大家可以很明确的看到,其实今天的数据到2015年已经有8个ZB,大家知道8个ZB相当于什么样的数据量?750个中国国家的图书馆。到2020年,这个数据应该会在40个ZB,40个ZB相当于400亿个中国国家图书馆。数据增长每天是非常快速的,在这样一个快速的时代,我们会面临什么样的问题呢?
过去十年,我在做数据的时候,大家看到100GB数据已经很大了,过去的5年是TB,到今天腾讯拥有的数据,在我的平台里已经有250个PB,这是一个非常快速的增长,十年一眨眼,数据已经呈几千倍的增长。而当年,我们使用数据的时候,只要今天能看到昨天的数据,已经可以完成我们的任务了。但是在今天,很多的数据是不能以天来计算的,我给大家举一个最简单的例子,比如你现在在腾讯上看到一个广告,这个广告给后台的数据处理时间只有仅仅的十个毫秒,十毫秒相当于什么?相当于不到人类一眨眼的时间,这对数据时效性的要求已经发生了翻天覆地的变化,这当中也面临技术的挑战。
过去,我们用的是很多的商业软件,我们被IBM这些厂商垄断,但是今天,我们用了很多的开源技术,比如从2008年开始,Hodoop这个生态已经非常的繁荣,SaaS这个生态已经在飞速成长。大家知道软件是免费了,但是在软件的背后,需要研发人员去支撑,原来可以卖10万块钱,甚至100万的能解决问题的商业软件,现在需要有很多的技术人员去支撑,其实你的成本看起来,还是在快速增长。在这个过程中,BAT包括现在很多传统行业的公司,在大数据人才的支撑上已经发生了很大的变化,大数据的人才跟现在的安全人才一样火爆,在这样火爆的情况下,其实对于一个企业来说,会带来成本的大规模增加。
面临这样一个问题,腾讯这十年,从2006年到2016年,这十年我们的平台又是怎么来做的?
在过去,我们只有几十台机器,到现在已经拥有2万多台单机群,实时处理我们的数据。在这样的数据库中,每天接入的数据量已经达到5万亿条,这是多么可怕的数字。不光是把数据实时收集进来,还要处理它,每天实时的处理量已经达到1万5亿条的规模。同时,除了实时计算,还有离线计算,每天处理的数据量大概是20个PB,这背后有200个PB的数据,也就是每天大概有10%左右的数据在我们这个平台上做一个大规模的处理,其实这对于一个企业来说,需要很多很多的沉淀,这个沉淀不是说一下子就有的,是我们的工程师每天熬夜、付出,每天碰到线上不同的问题、不同的故障,才构建的这么一个平台。今天把这个平台开放出来,让更多的企业来使用跟我们一样的立体,而这个立体就是我们今天要发布的数智方略。
在这个图里已经非常清晰的可以看到,数智是什么平台?从底层的数字结构到调度到离线计算到深度学习包括做一些科研工作的过程,我们也集成了最先进的深度学习平台的框架,集成了谷歌开源的Caffe,也有开源的Tensorflow,像这样一些平台已经深度集成。同时我们可以提供一些解决大数据搜索的业务,包括MPP的数据库。
腾讯拥有八亿用户,我们有可以秒级搜索几亿甚至百亿条的搜索引擎。在这个过程中,原来是我们核心的技术,我们已经开放出来。同时,我们把关系链的图的计算也放进来了,这个过程中我们每天五万亿条的中间件也融入进来。云、大数据、中间件,这是无缝的结合体,只有这样的结合体,数字的收集、处理包括分析引擎、处理引擎和机器学习的引擎,才能被无缝融合,融合以后我们为上面提供可视化的报告,可以一站式替代原有的商业报表工具。
上面这个方略的产品提供了包括语音识别、通用推荐等等在内的许多功能,这过程中也融入了相当于热力图、客服的分析,比如iData这些做游戏分析的,比如MTA的移动分析,信鸽的推送,还包括地理位置数据,这是高度的融合体。这些产品本身腾讯已经有了,但是在这个过程中,我们也花了整整两年的时间与腾讯的已有系统进行结合,可以为大家提供分布式的、本地化的、混合云的部署的体系。这样的部署其实跟腾讯已有的东西进行了非常好的脱离,在这个过程中,大家看到的很多都是开源的产品,但是这些开源产品,经过了我们这些工程师完全的加固,经过了腾讯海量数据的历练,经过了腾讯海量服务的文化的锤炼,这些平台变得很坚固,能够让用户体验变得很好,这是我们努力的方向,所以今天我们把它清晰地发布出来。
腾讯自己做大数据,这只是一个生态。我们要把这个生态打造得非常完整,因为腾讯做开放平台再到今天的云+,我们都需要有更多的合作伙伴参与到这个生态上来。很多行业的伙伴本来在行业里非常专注地去服务客户,现在依然可以去服务,而融入腾讯的平台,可以让大家服务得更好更轻松。同时我们也把一些运营、数据、资源的合作伙伴引进进来,打造一个非常完善的大数据的生态体系。
今天发布的产品覆盖五大重点行业,主要在旅游、公共安全、城市规划、生命科学和金融,提供一整套的解决方案。在上面五大行业里,我们去优先选择50家的大数据行业的合作伙伴,跟他们共同制定研发策略,共同制定产品落地方案,并优先提供培训销售的政策和产品的支持,一起去联合提供一个比较完善的契合客户使用的推广计划。在这样的过程中,我们也需要扶持100家大数据行业的客户,我们提供全国的套件、全部数字的平台,他们将一次性的获得所有30多项核心大数据组件,同时我们会一对一地去提供服务,在腾讯沉淀的这些大数据大牛们,会配套地给去支持提供服务。同时我们也提供30分钟之内的快速绿色通道的支持给这100家大数据行业客户,相信这100家行业客户在我们的整个生态里面,一定会有举足轻重的标杆作用。