马云的《功守道》：1682亿数据背后的阿里绝密新技术（附视频/长图/解析）

就在11月12日，剁手一族为天猫双11创造了1682亿战果时，马云「首部-22分钟-打遍天下无敌手」的微电影《功守道》也正式上线了。数据观小编也完整地看了一遍，马云领衔，托尼·贾、向佐、吴京、邹市明、甄子丹、李连杰等“武林强大阵容”都到了，可以说高手如云，但谁都“打”不过帅气的马师傅！

马BOSS作为商界传奇，亲力亲为，以此向中国传统文化致敬，并向世界传递了“新时代”下的中国文化自信。数据观小编认为，不论是武学界还是商界，深刻领会“功、守、道”之内在哲学，不断丰富自身内涵，是创新发展经久不衰的坚实基础！

　　当然，除了马BOSS的《功守道》剧情短片，数据观读者关注的可能还有 2017天猫双11的“功守道” ——1682亿数据背后的阿里绝密新技术。以下数据观小编将为大家附上 《功守道》微电影完整版视频 以及 “2017天猫双11背后的阿里技术”（长图）。 仅供参看，不涉及商业用途！

2017天猫双11的交易额定格在1682亿，但对技术的追求，却从未定格。

11秒交易额破亿，28秒破10亿，3分01秒破百亿，40分12秒破500亿，9小时破1000亿……

交易峰值32.5万/秒，支付峰值25.6万/秒，较去年增长超1.1倍，再次刷新全球纪录。

同时诞生的还有数据库处理峰值——4200万次/秒，1682亿数字背后是50+神秘技术！

　　 数据和数字的背后是技术。 阿里还有很多已经对外发布的技术：AI设计师“鲁班”，阿里机器智能推荐系统，机器人客服“阿里小蜜”，智慧物流，华北数据中心的巡检工作由智能运维机器人“天巡”，X-Cluster、Blink、AliNLP平台等等。

双11不仅是史无前例的社会化大协同，机器智能的大规模应用，也让今年的双11成为人类历史上最大规模的人机协同。可以说，今年双11技术是机器和人一起来指挥的！

要想详细了解2017天猫双11背后所有新技术的相遇，可参看下方长图，一起倾听来自科技的声音！

　　 容器服务：云上资源助力亟速扩容

阿里云容器服务就是阿里云在2015年推出的容器应用管理服务，其主要支持Docker应用的全生命周期的管理，阿里云容器服务在公有云上面整合了阿里云的虚拟化、存储以及网络等方面的能力，简化了用户在容器应用运维上的复杂性。阿里云容器服务自从2015年正式上线到现在经过了两年的时间，已经有了一千多家的企业客户。在今年5月份的时候，阿里云容器服务还增加了对于Kubernetes编排能力的支持，也就是说现在同时支持了Swarm和Kubernetes。阿里云容器服务除了对于公有云提供服务之外，还提供了相应的专有云版本，用户可以通过专有云的方式在自己的数据中里面构建一个完整的容器运维能力。

其实“双11”的业务流量往往会比较大，而且在“双11”之前需要对于流量进行预估。但是实际上真正的流量却是难以评估的，往往按照预先估算的数据准备资源和应用容量，然而到了“双11”当天发现准备量还是不够，仍然需要进行紧急扩容，这也是一个比较常见的情况。而容器技术就非常适合这样的场景，因为现在很多企业往往都有自己的机房，并且会在自己的机房中部署应用，而在“双11”的时候业务所需要的资源量是非常大的，用户本身的机房的资源可能不够，这样就会需要使用云上的资源，需要把一部分业务放到云上运行，希望借助云上的大资源池来支持“双11”的流量，这就是比较典型的混合云场景。无需准备物理机器，也无需安装操作系统和依赖，只要拉下镜像直接运行即可，就这么简单。

　　 视频云：人工智能同视频产品迸发火花

视频云是阿里云提供的一站式大视频解决方案。能够一站式的提供“海量存储、高效分发、极速网络”等优质而强大的服务，让用户轻松获得极高量级的传播能力。其广泛应用于游戏直播、娱乐直播、泛生活直播、教育类、远程医疗、企业远程视频会议等典型场景。

针对视频生产环节，阿里云点播服务能够提供从视频的导入到短视频的拍摄、录制、图片处理、在线编辑、视频审核等全链路服务。窄带高清2.0的转码则可以令端到端的转码时效达到最高，同时也就确保了信息传播的最高时效。

在视频直播场景下，针对内容解析、人脸识别、语音识别，视频大数据分析的探索能对客户的优化运营提供场景、端口、数据分析方面的全面支撑。

在视频点播场景中，利用阿里云拥有强大的AI技术和海量资源支撑，视频云很好的实现了以视频为入口的智能化处理。稳定成熟的内容分析，兼顾美学和关键性的封面选图，精准的视频指纹分析和深度学习带来的高效审核都极大的提高了工作效率，从而令对大规模视频的无人化处理变成现实。

　　 中间件：为企业架构创造价值

中间件最初是用于支撑阿里云自身的一系列系统，为了服务客户而对外开放。包括恢复框架、消息队列、实时监控、性能测试等一系列互联网中间件产品。在EADS平台的基础上提供了快速构建微服架构、应用开发、服务治理、高可用管控、限流降级等一系列功能。通过可视化平台，帮助用户分批次、可中断、有发布单的呈现方式，使用户能够快速进行大批量应用的部署。

对于消息队列（MQ）的中间件，削峰填谷的功能也将在双11时期全力投入使用。这一组件的引入能够帮助在阿里云在流量高峰时平缓峰值、减轻压力，再将任务置于流量低峰的时段进行消费。为了确保其足够稳定，阿里云对每条消息都进行了三次备份，并完善了对持续消息、顺序消息、事物消息、定时消息等一系列消息类型的支撑。

针对分布式里最关键的像数据库领域，阿里云DRDS分布式数据库产品一定是绕不开的。在整个中间件团队，对外推出了分布式关联数据库DRDS。该产品专注于解决分布式领域读写分离、分库分表、无线水平扩容等一系列分布式数据库问题和流量高峰期分布式上存在的问题。对业务透明友好，并能对特定业务提供个性化支持。

最后，PTS压力测试也同样是一项优秀的性能测试领域产品。其将整个压测服务spss化。客户在公共云上不需要部署任何组件，只需提供整个应用的入口就能快速使用压测服务。并具备指令测试丰富，流程进展快速，模型自动化分配等特有的优势。

　　 云存储：面向对象，面向文件

在阿里云的存储业务中，对象存储OSS和文件储存NAS可以说是自家内部的当家花旦。其中，对象存储以面向互联网，数据海量，高安全性、经济性、数据可靠等特点为人称道，文件存储则因其强大的性能和对大容量、多协议的支持而受到用户的广泛好评。

OSS的应用场景主要有三：针对图片和视频的多媒体存储、大大简化的数据备份归档过程、结合计算平台从而挖掘数据价值。对多媒体从业者来说，OSS的上下行具备的弹性伸缩能力可以让他们对业务高峰的大量并发请求进行有效的处理，其自带的签名机制不仅确保了数据的安全性，同时也减轻了用户服务器的负担。

NAS则有所区别，作为针对分布式的文件存储业务，其可以利用计算和文件存储的弹性解决特殊行业大数据量计算的痛点，并给予用户短时间训练AI模型的能力，做到高性能存储和文件可共享访问的并行不悖。

　　 ECS：弹性即是计算的特性

2017年，阿里云不仅完成了ECS企业级产品的发布，而且完成了一次软件和硬件的数据迭代，推出了新一代硬件架构和软件架构产品，通过对现有功能和产品形态优势的持续优化和挖掘，将弹性发挥到了极致。

简单来说，弹性是整个弹性计算产品中一个最大的亮点。它体现在两个方面，一是资源唾手可得、二是按量付费。用户无论什么时候想要计算资源都能拿到，时间上是很弹性的。同时，由于完全根据使用量来计费的，所以付费方式也是很弹性的。对用户来说，无论在业务承载能力上还是在成本构成上，这都是一项极大的提升和优化。

　　 数据智能：我就是智能城市的大脑

刚刚结束的云栖大会中， ET城市大脑可谓是阿里云展示的众多黑科技中耀眼的一项。杭州大脑的上线使高架道路出行时间节省了四点六分钟，解决了高峰时段的城市拥堵问题，还让萧山120救护车到达急救现场的时间减少了一半。

在城市大脑的背后，必然离不开数据采集整合以及算法应用的技术支持。ET城市大脑将散落的数据汇合在一起，例如公交线路数据、高德地图数据、车辆的GPS数据等，同时跟企业、公安、政府、运营商等多方收集的数据汇集，借助记忆学习和人工智能算法，通过视频识别交通事故和交通拥堵状态，再融合警察接警数据，对城市进行全面多发的感知。构筑出一座基于数据驱动的3D城市，并将其微缩模型投放在屏幕上。这不仅非常炫酷，也为城市治理者提供了一个更加友好、人性化的态势监控界面。

ET城市大脑分为三大块：数据整合层、记忆学习和智能算法层、应用层。并形成了城市大脑这一产品化的输出框架。在行业内部，ET有智能语音，人脸图像，OCR（光学字符识别）等智能产品。包括语音方面的实时文本转换，智能法庭/语音智能客服；身份验证场景的实名认证、人脸检测、图像场景打标、图片鉴黄；印刷文字领域的身份证，驾驶证，行驶证，工商管理证等的文字识别等广泛的应用。

数据展现这部分利用了dataV数据可视化神器。每年的双11作战大屏、ET城市大脑的数据可视化部分也都是用阿里云dataV来搭建的。dataV不仅集合了阿里巴巴数据可视化的整体能力，同时是一个标准化的输出产品。即使不会写代码也可以基于dataV快速制作非常炫酷的数据看板，满足城市、各级大小企业和机构日常业务展示以及业务监控的需要。

　　 MaxCompute：快速架构大数据仓库

MaxCompute是一项大数据的计算服务，它能够为企业提供快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

MaxCompute的应用场景可以大致分为三种：基于MaxCompute搭建企业的大数据仓库、机器学习、和基于加工后的数据实现个性化推荐。其具备强数据安全，从数据访问到最终的数据加工和处理，都能够实时地通过实名认证体现出用户的真实身份。

迄今为止，MaxCompute在传统行业、互联网行业以及初创公司中都有很多成功应用的案例，比如墨迹天气、集团内的菜鸟网络、蚂蚁金服等，外部的新浪微博、ofo小黄车、美柚、天弘基金、众安保险以及金立手机等都在使用MaxCompute作为自己的大数据服务。

　　 Elasticsearch：定制化大数据解决方案

阿里云· Elasticsearch是基于开源Elasticsearch及商业版X-Pack插件，致力于数据分析、数据搜索等场景的一项服务。其在开源Elasticsearch基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。

作为基于开源项目的大数据服务，Elasticsearch产品不仅本身与开源社区完全兼容。还提供了Kibana以及X-Pack这样商业化插件的预置，以及ik等分词插件提高用户体验。相对于企业进行自建，阿里云Elasticsearch能够节约大量的运维和部署成本。并能获得来自Elasticsearch 24小时不间断的稳定技术支持。

总结而言，阿里云Elasticsearch产品有三个亮点：功能更加丰富、成本更加低廉、能够提供更多服务支持，从而完美解决用户在日志分析场景下各种各样的诉求，并最终被应用于安全，搜索等多个领域。

　　 云安全：做客户手中最强大的保护伞

阿里云安全发展至今已过十年，自05年伊始，阿里云安全从一个支撑阿里内部子公司安全的小规模团队，逐步发展为一个能够对外提供十几款商业化安全产品的大型安全部门，其中就包括了DDoS高防IP、安骑士以及Web应用防火墙等。

DDoS高防IP是阿里云安全产品起步较早的一项。早在2014年，云安全团队就因为成功为客户防御了全球最大的达到453G的DDoS攻击而惊动业界。在2016年，阿里云对高防产品进行了一次较大的改版，将其分成网站防护和非网站防护两个部分。它不仅能够提供通用性的传统四层高防，也能针对HTTP以及HTTPS协议提供较好的能力补充。而如今，阿里云高防已经能够做到将DDoS 300G能力的防护成本降低到36万元/年，使企业的防护成本收缩至昔日的十分之一。

安骑士是云安全团队提供的一款服务器安全软件，并在近期着重强化了针对ECS的漏洞管理能力，拥有从主机层面检测安装软件安全状况的全局视角，对漏洞在0day内进行响应的迅捷能力，和从漏洞的检测开始、到修复、验证一站式完成的闭环功能。

Web应用防火墙产品完全是由阿里巴巴自主研发的，其在对外商业化之前支撑了整个淘宝、天猫的“双11”活动。Web应用防火墙从2016年四月开始正式对外开放，并在最近推出了按量后付费的商业模式：服务付费直接与用户使用量挂钩，从而降低了这款产品的使用门槛，真正做到了普惠用户。

　　 智慧航空：让数据智能来到你我身边

航空邂逅大数据会碰撞出怎样的火花？天池平台在2014年由阿里巴巴集团推出，是一个全球性的高端数据类计算平台，并汇集了全球高质量的数据人才和数据爱好者。截至目前，天池平台汇聚的开发者人数达十余万，他们来自全球73个国家和地区的2700多所海内外高校、研究所和企业。

在智慧航空的构建中，阿里云航空大脑有着其无可替代的优势：阿里云能够通过对机场、航空公司、各类铁路，公路交通与天气的数据进行采集，针对情况制定出航空计划和应急解决方案。利用阿里云强大的计算能力，优秀的算法构建，与各大相关企业机构的精诚合作，共同为民众的航空出行做出自己的贡献，打造一项覆盖全行业的生态。

　　 先知平台：助力企业级信息安全

阿里云的安全服务系列已经推出了较长时间，并在去年上线后又出现了一系列新的发展。整体上，面对企业客户的安全服务主要由先知平台进行承载。具备包括“安全众测”、“等保测评”、“安全培训”、“SDL咨询”等十多种安全服务。

安全众测是先知平台最早的应用场景之一：它旨在为客户提供最好的安全测试服务，通过阿里云和合作安全工程师对企业的漏洞筛查、包括对修复建议的提供，来从整体上完善合作企业的安全体系。

等保测评也是先知平台安全服务的重要组成部分，针对最新网络安全法执行后，大量企业通过等保测评的需要，阿里云能够利用先知平台在企业客户与测评中心进行链接，从而帮助企业更好更快的通过自身业务的等保测评。

为了能够提高企业客户的安全开发意识，先知平台专门提供了针对性的安全培训服务。并可以根据企业的不同研发方向进行定制化。针对某些小微企业服务器规模有限，且无专业的安全团队进行保障的情况，先知平台特别提供了安全管家服务，用于对云上客户进行常规的安全运行运营，保证其安全效果。

　　 云数据库：多样 普适 安定 稳健

云数据库同样是阿里云的重要产品之一，它通过极高的安全性能，架构、代码、硬件上的多重优化、快速而自动化的响应等优势，来为用户在云上的业务保驾护航。

安全是云数据库产品的第一目标。针对于此，阿里云针对自身产品，提供了非常多的安全措施。并从事前、事中、事后三个维度进行保障。

稳定性则是第二要务，无论是小到一个网卡的故障，还是大到一个机房的险情，阿里云都能通过其优秀的容灾机制都能保证数据库的稳定性要求。

第三点是用户的可用性。基于流程的彻底简化，如今用户只需要在控制台上点击鼠标，就可以完成以前需要几个人甚至是一个团队在几十个小时或几天才能完成的事情。

最后，云数据库团队在link级代码资源方面做了很多的优化。同时能够通过顶尖的专家团队辅助用户，来提供代码层面的咨询服务。

比如用户在双11的时候业务流量上涨，希望能扩容到一定的倍数，他需要怎么操作？用户的使用门槛，数据库产品的易用性，阿里云也做的也很多的工作，这是云栖上本身的优势。云数据库拥有弹性升级的优势。阿里云数据库一大特点就是能在线的升级，用户完全透明。这与资源的弹性势资源是不一样的。相对于传统来说，弹性升级使用户的工作量和效率工作量大大减少，效力得到了极大的提升。

数据的搬迁、挪移、升级对用户的影响方面，阿里云也做了很多的工作。在双11，很多公司都有自己的大促活动。这时客户业务流量可能是平时的几十倍或有更高的流量，云数据库可以在活动之前升级在活动结束后降级。有时候单个机器的资源是有限的，能力也是有上限的。这时云数据库提供了一只读实例，做到读写分离操作。只要购买了只读实例，客户就可以简单的在云数据上做配置，这样可以分担数据压力，做到置承担原来的几十倍或者上百倍数据力。如果在云上资源仍然不够，这就会涉及应用程序的更新、升级。实际上解决写的问题本质上就是拆分，解决读等问题本质上就是加各种缓存。

　　 CDN：性能优异同覆盖广泛并重

CDN作是一项普适性极高的云计算服务产品。主要用于解决网络带宽小，用户分布范围广的困难。接入CDN能大量的简化网站系统运维的工作量，方便多个地区、多个运营商之间的互联互通，从而提升网站的访问稳定性和服务体验。阿里云从08年开始自建CDN，并在12年开始服务于双11。目前阿里云是中国最大的公有云CDN厂商，也是国内首批取得专业CDN全国范围服务运营商执照的团队之一。

在CDN运营方面，阿里云拥有众多独特的优势，首先，阿里云拥有覆盖全国各省市骨干运营商的节点资源优势，其次，阿里云CDN拥有强大的研发团队，能够将软件的性能发挥到极致。最后，随着CDN业务的发展，利用阿里巴巴集团大数据的能力，阿里云可以提供大数据监控、配置、预制等分钟级别的分析能力，并最终通过ip库完成基于服务质量和成本的精确调度。

至今，阿里云CDN已经在视频点播、视频直播、静态内容加速以及信息安全等领域得到了大范围的应用。如果你希望自己的站点更快速、更便捷，用户体验更好，享受到类似手淘一样的服务，完全可以通过阿里云的CDN产品来达到此类用户体验，快速接入到阿里云的站点上来。

阿里云CDN是随着阿里双11的技术而成长的。阿里云双11的峰值是日常峰值的三倍上，对CDN技术的压力非常大，每年阿里云会在七月份针对整个CDN进行全链路压测，也经常会有压测调优等过程。软件的性能、服务能力是非常强。也可以说阿里巴巴双11是整个阿里巴巴集团技术能力的集中体现。今年双11期间刷手淘刷天猫，CDN服务带来了便捷，用户可以在各个地方都能快速浏览到想要的商品。

　　 注：综编：Fynlch（王培），本文来源系数据观综合自《功守道》微电影、阿里云-云栖社区，视频来源：腾讯视频，转载请务必注明来源、出处等信息。数据观微信公众号（ID:cbdioreview），欲了解更多大数据行业相关资讯，可搜索数据观（中国大数据产业观察网www.cbdio.com）进入查看。

责任编辑：王培