腾讯云刷新大数据世界纪录,胜出的关键点是什么
作为计算界的奥运会,今年的Sort Benchmark全球排序竞赛终于落下帷幕,此前一直是国外科技公司诸如AWS、IBM、微软、雅虎的战场,但是近几年却被中国公司屡屡拿下冠军,去年的冠军是阿里云,而今年的主角变成了腾讯云。
更值得一提的是,今年Sort Benchmark方面临时调整了时间,因此突然宣布要求提交时间提前了一个月,这让很多参赛团队措手不及,而此次群鹿角逐,腾讯云拿下冠军,背后的原因究竟是什么?
国内巨头开始逐鹿国际计算赛场
Sort Benchmark是全球公认的计算界的奥运会,其通过排序计算能力,综合考量一家公司或者机构的大规模计算能力,其涉及算法技术、分布式软件架构能力、硬件架构能力。学术研究机构和商业公司均可以参与。
在2014年之前,国内互联网公司与该赛事毫无关系,长期以来一直被国外公司AWS、微软、雅虎长期占领,而在2014年百度拿下GraySort项目的Indy(专用目的排序)冠军后,阿里云紧追其后,将其速度提高了2.2倍,在2015年拿下GraySort和MinuteSort的两个项目中的Indy(专用目的排序)和Daytona(通用目的排序)4个子项目的冠军。
今年,这两项冠军则被腾讯云拿下,在各个项目上都有所提高,4个子项目的成绩记录超出去年冠军阿里云2-5倍。
腾讯云用更低成本实现技术突破
腾讯云夺得Sort Benchmark 2016年排序竞赛的冠军是软硬件共同作用的成果。据了解,腾讯云今年能取得好成绩,不仅得益于腾讯云平台自有的强大调度能力,也是腾讯云平台自身的调度系统进行大量优化工作的结果,目前在腾讯内部系统中每天调度达2亿次,已经在海量系统上得到验证。
在硬件层面,腾讯云硬件配置与去年阿里云硬件配置对比如下:
腾讯云: 512个节点,每个节点配置两颗OpenPOWER处理器,512GB内存,4块华为NVMe SSD盘,100GB Mellanox网卡。
阿里云: 3377个节点,每节点两颗至强E5-2630,96GB内存,12块SATA硬盘,10GB网卡。
通过对比配置可见,两者各有优势,很难说腾讯云究竟在硬件上占据多大优势,也很难说腾讯云的硬件成本比阿里云的高,这里补充两个常识:
首先说第一个常识,在硬件配置达到一定程度之后,拼的还是整体架构的协同, 涉及到各资源之间的协同和调度问题,来保证其利用率与稳定性。举一个造房子的例子, 1个人造房子可能很慢,而增加了8个人之后速度就提高了,但是增加到1000个,那么速度绝对会下降。这次比赛的硬件配置也是同样的逻辑,如果将其同等于造房,那就好比房子一定(100TB数据),只要求造房速度加快(处理时间),而至于用多少人、每个人有多少能力,如何组织协同那是你们自己的事情(硬件配置程度+软硬架构能力),因此腾讯云绝非只是提高硬件就可以达成这一成绩,拼的还是整体架构的协同。
再说第二个常识,摩尔定律的规律在云计算行业依然奏效,随着技术的进步,技术的成本会逐步降低。 根据这些公开资料,专业采购人士给出了答案,腾讯云512台机器的整体TCO成本比阿里云去年的3377台机器还略低;同时从比较直观的指标如内存、网络、顺序读写IO等整体看与去年的成本差异不大。
所以可以说明的是,腾讯云在硬件配置上做到了更低的成本,而在软硬件架构上达到了更强的技术能力。
基于腾讯众多业务,腾讯云厚积薄发
另一个疑问是,仅仅一年的时间差,为何腾讯云此次的成绩记录大大超越去年的冠军阿里云?
原因还在于,云计算仅仅是腾讯、阿里这两家公司的一项业务而已,整个云计算的处理能力增长并不仅仅依靠这一单一业务线,其依靠的是整个公司内部长年累月的全部业务线的技术洗练,阿里主要来自电商业务,而腾讯除了社交之外还有更多的业务线,包括腾讯游戏、腾讯视频等更具移动互联网属性的业务,作为腾讯云技术的基础和来源。
1 )微信和QQ业务, 截至目前,腾讯旗下的微信和QQ的月活跃用户数分别达到8.06亿和8.99亿,日活跃双双破亿,腾讯云每天要处理上亿的海量文字、语音、图片请求。而在去年春节,腾讯云承载的QQ和微信红包收发总共高达122亿个,在最高峰期间每秒钟收发40.9万个红包,其中当天微信红包收发达到80.8亿个,腾讯云已经充分证明了其实力。
2 )游戏业务, 目前腾讯已经是全球收入第一的游戏公司,因此腾讯云每天同样需要处理海量的游戏数据,例如《英雄联盟》、《穿越火线》、《王者荣耀》、《全民超神》等知名主流游戏都依赖腾讯云的助力。以知名游戏《征途》为例,此前曾创下过220万人同时在线的案例,手游上线后必然负载压力极大,而《征途》手游采用腾讯云作为服务器,上线之初腾讯云为其打造了高IO云服务器,并且配备BGP网络可以实现全国范围内十几个运营商多线程接入,根据突发需求再次实现快速部署与弹性扩展,直接提供无上限带宽包服务,最后实现了稳定运行,帮助《征途》顺利登顶苹果商店第二名。
3 )其他各项业务, 除此之外,腾讯还涉及大量的业务线,腾讯直播、腾讯地图、腾讯视频、QQ音乐、腾讯新闻、天天快报等等无所不包,这些业务线长期稳定运转,在实践业务中沉淀的技术积累,都在通过腾讯云向外界开放。
此次腾讯云拿下冠军,根本原因在于腾讯自身业务线的积累,属于厚积薄发的结果。本次参赛的团队由腾讯云存储产品中心和腾讯数据平台部的成员组成。其中,腾讯数据平台部负责整个腾讯最为关键的大数据集群,掌管腾讯核心数据,因此有着极强的技术能力。
结语:
此次腾讯云拿下2016 Sort Benchmark的冠军,对于整个行业有着深远意义。
放到国际上来看,中国由于有着庞大的人口基数,发展迅速的互联网行业,因此数据也是最多的,这为中国的云计算发展提供了极大助力,BAT相继成为Sort Benchmark冠军对整个行业有着积极意义。
其次放到国内来说,腾讯云在腾讯内部的积累得到了更大的展现和释放,其优秀的软硬件架构技术既然已经达到国际顶尖水平,那么也自然能够极大的帮助开发者降低开发成本,广泛的应用于各个行业,影响深远。
作者微信公众号:首席发言者