刷新多个世界纪录，阿里云飞天大数据平台凭什么成为世界第一？

猎云网 • 5年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

昨日，阿里云继飞天云操作系统后又一款世界级产品—— 阿里云飞天大数据平台在上海亮相，始伊出现就引爆关注。

根据公开资料显示，这款中国唯一自主研发的大数据计算引擎集群规模一举超过微软、亚马逊等公司，实现全球第一。单一引擎可将10万台服务器合为一体，单日数据处理量突破600PB,相当于6亿部高清电影。

此外，过去数年飞天大数据平台还在单集群服务器数量、数据排序速度、基准测试等领域先后刷新多项世界纪录，被称为世界第一。

回过头看，取得如此耀眼的成绩，既归功于阿里云团队10年间对大数据技术的沉淀，更离不开10年前他们抓住了技术革命中的新机遇。

视野前瞻：10年前开始迎接挑战

2008年，中国网购用户突破千亿大关，增长率达到185%，作为头部企业淘宝年交易额逼近千亿，涨幅亦高达131%。迎接喜讯的阿里巴巴同时也感受到“脑力”不够用，比其它公司更早地遇到互联网规模化带来的挑战——传统软件无法承载。

当时的阿里巴巴和全球大多数公司一样运用基于Oracle的数据库，整体计算规模已经超过数百TB,对算力的要求濒临Oracle集群的极限，系统很快就无法支持业务正常增长了，把数据转移到规模更大的处理平台成为他们2008年的当务之急。

除了Oracle，Greenplum、Hadoop都进入过阿里的思考方案，但这些框架平台只能解燃眉之急，无法长远适应阿里巴巴当时高速成长的发展策略，如果使用第三方框架未来必将还会面临更大的困境。

同年8月，曾在微软亚洲研究院任职的王坚博士带着解决大规模算力瓶颈的任务加入阿里。他根据自己的经验迅速做出判断：无论是Oracle还是Greenplum、Hadoop，都不是大规模数据计算的最优解，阿里必须自研一套大数据处理平台才能以绝后患。

由此，第二年阿里云在阿里内部经过无数次商讨后正式成立，这场关于大数据的技术长征正式拉开帷幕。

后来任职阿里巴巴集团首席技术官的王坚解释，“从战略上来说，阿里云想做的事情实际上可以解读为Amazon+Google并有所超越。将单一集群做到数千乃至更高，技术上是国家和企业竞争力的标志。阿里巴巴必须攻克这道难关。”

技术领先：解决世界级算力难题

从2009年启动项目，阿里云沉默了4年，4年间饱受争议。

自研云计算胜算几何？还要投入多少才能看见成果？成果是否稳定？对于“飞天”计划不计人力、资金的研发投入，公司内部和外界的质疑连绵不绝。

2013年8月15日，他们才第一次向外界展示成果。阿里云历史性地突破了同一个集群内5000台服务器同时计算的局限，为未来的大规模服务奠定基础，也使得阿里成为全世界第一家能对外提供5K云计算服务的科技公司。

时至今日，在杭州云栖小镇上仍竖立着一尊飞天的纪念碑，雕刻着参与解决5K相关技术研发工作人员的大名。

6年后的今天，阿里云飞天大数据平台多集群规模已超过10万台，在全球范围内能其与并肩的企业也不过寥寥几家。

凭借这套技术，阿里不仅解决了自己的算术难题，也进入各行各业，为大量有大数据处理需求的企业提供优质服务。为了应对不同的客户，他们要面临海量的数据。除了数据量的激增，不同行业数据类型丰富多样，如结构化数据、非结构化数据等，都给大数据计算平台带来新的挑战。

这些挑战也倒逼着团队交出更好的成绩：

2015、2016年，阿里云刷新世界计算奥运会之称的SortBenchmark六项世界纪录；

2017年，完成全球首次基于公共云的100TB BigBench大数据基准测试。

记录被不断刷新，并且得到了权威机构的认可：在Forrester发布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款产品成功入选，并在产品功能（Current Offering）方面力压微软。

在单日数据处理量上也从2015年100PB，2016年180PB，到2017年320PB，再到2018年的单日处理超过600PB，不断攀升。

另外，在核心产品和技术的优化与创新上，他们也没有停歇。

2019年1月，阿里首款大规模分布式科学计算引擎Mars开源，突破科学计算领域的规模瓶颈，极大提升了科学计算的计算规模和效率。

2017年10月，进行了全球首次基于公共云的bigbench大数据基准测试，数据规模被拓展到100TB，并成为首个突破7000分的引擎，性能达到 7830QPM。

2018年9月，性能较2017年10月提升一倍多，达到18176.71QPM。另外，在超小型10TB规模的指标上，与其他开源竞品进行了比对分析，性能超过开源竞品3倍。