亚马逊CTO 沃纳·威格尔:谈AWS的现代化架构与机器学习的新进度
作为全球排名第一的云计算厂商,AWS在中国“能考多少分”,可能是每一个云行业从业者都比较感兴趣的话题,而就在8月9日的AWS技术峰会上,这一问题有了最新答案。
亚马逊AWS全球副总裁、大中华区执行董事容永康现场做了报告,他指出:
·全球来看,2018年Q2的营业额61亿美金,同比增长49%,预计未来12个月总收入超过240亿美元。全球18个区域,55个可用区,100多个边缘节点,65%的区域布局在一带一路上。
·中国来看,光环新网(北京数据中心)和西云数据(宁夏数据中心)齐头并进,布局了16个大的功能,三一重工、美的、海航、OPPO已成为AWS客户。
·新服务上,2017年AWS推出1400多项,2018年第一季度已推400余个。
·魔力象限中,AWS一路领跑。
这场大会上,光环新网COO宁琪、宁夏西云数据公司CEO王辉也分别对各自的团队、云服务能力、运营经验等进行了报告。整体来看,AWS植根中国情况,可评“良好”。
亚马逊CTO沃纳·威格尔的感叹
当然最值得期待的是亚马逊CTO沃纳·威格尔(Werner Vogels)的演讲。
作为亚马逊技术执掌者,沃纳·威格尔是AWS的灵魂人物,也是云计算领域顶级专家。因其在云计算的教育和推广方面的贡献,被信息周刊(InformationWeek)评为“2008年度CTO/CIO”;2010年被ReadWriteWeb读者投票评为“最具影响力的云计算高管”。
雷锋网观察到,在2017年同一时期,沃纳·威格尔就参加了中国首届企业级技术峰会,当时的他用了13张PPT 讲清楚了企业上云战略,而今年,PPT的数量则远远不止。尽管他开场就强调只分享技术,但他依然富有强烈的亚马逊的云计算色彩,这意味着,他本身就是AWS最好的一支广告。
沃纳·威格尔开场抛出情怀的感叹词:客户是创造者!
“AWS认为自己的客户是创造者,客户是真正的希望能够创建全新的产品服务应用或者是改造现有应用的人。”
他说,2006年,亚马逊深知云将给软件开发带来翻天覆地的变化,需要全新的工具。于是他们与软件开发者密切合作,12年来一甲子,亚马逊才打造出这样一个现代化的软件开发框架,尤其在云服务领域居于前列。
现代化架构的样子
现在的软件呈现三级的架构:web层、应用层、数据层。但事实上很快世界就变了,互联网不再是网页了,而是应用。所有这些软件、组件都是大规模的,变得越来越庞大和僵化,不再符合软件开发者想要随心开发软件的那种适用的组件了。
沃纳·威格尔觉得,从不同的后台功能角度来说,实质上它们所做到的就是把所有的AWS的服务连接在一起,不管是DynamoDB,安全、可靠性、规模、性能、成本管理,都有云厂商帮你做好,这就是现代化架构的样子。 (雷锋网注:Amazon DynamoDB是一个完全托管的NoSQL数据库服务,可以提供快速的、可预期的性能,并且可以实现无缝扩展)
“现在你可以去挑选你确切的要开发软件的方式,而不是我们为你去开一个药方——那是传统的方式。”
亚马逊的机器学习
沃纳·威格尔的第二个主题就是关于机器学习。
在过去一年,机器学习的使用呈现井喷状态。据雷锋网查询相关信息显示,Alpha Go Zero的兴起、Facebook提供的无监督的方法UPV、英伟达P3处理器做机器学习的培训等等,都让机器学习的商业化变得越来越成功。
在机器学习、物联网、人工智能等领域,AWS不只是做IaaS。从2009、2010年就不断开发存储、组网、计算这样的云服务,但是在此之上,AWS想给用户提供更合适的工具。
AWS Cloud 9
沃纳·威格尔首先讲到,每一个伟大的平台都有一个伟大的IDE,AWS Cloud 9就是一个完全管理的IDE,里面有各种功能,而且独一无二的是可以去开发深度的本机Lambda的功能。
AWS X-Ray
X-Ray能够帮用户找到其中的错误,能够更便捷的进行部署和检查数据相关的应用问题。有了所有这些不同的组件,AWS与用户一起合作开发得心应手的一些工具。
IT平台
在过去六个月的时间里,AWS在解决方案方面有了很大的进展,其中一方面就是关于数据和云能否搭建一个平台。而一旦有了这个平台,就意味着IT已经不仅仅只是一个竞争优势了,而是个必要性,也就意味着大家可以享有同样的计算、存储、数据库、算法的资源。
企业之间的竞争差分性在哪里呢?沃纳·威格尔的答案是“数据和数据的使用,以及从数据中获得的信息。”
SageMaker
SageMaker,即大规模构建、训练和部署机器学习模型。
“如果要推动机器学习的普及化的使用,我们就需要做一些改进。因为机器学习需要全新的堆栈。”
传统的堆栈是什么?实际上,AWS有标准化的框架、TensorFlow、Caffe等等,在此之上,他们还打造了一个叫SageMaker的平台,让每一位开发人员都能够通过算法获得机器学习的能力。
机器学习的流程涉及选择数据、挑选算法、做培训(调整算法参数)、模型部署等,而这个过程是一些繁杂的工作,如果希望80%人为工作可以交给机器学习本身来做,SageMaker就能实现这点。
沃纳·威格尔感慨:“Amazon SageMaker绝对是革命式的机器学习普及化的平台服务。”看得出来,这位CTO还是无法免俗不去打广告。
Aurora
Aurora是AWS历史上在中国增长速度最快的一个服务。
Aurora是一个真正的云和本地都能够实现良好运转的数据库的工具,很多数据库都是90年代就做了,但是底层的技术并没有发生很大的变化,但AWS现在做的是本地和云端都会有备份,性能的水平、安全性、可靠性都是以前不可同日而语的。据雷锋网 (公众号:雷锋网) 了解,目前Aurora已经在宁夏西云数据可用了。
Amazon S3
很多非结构性数据需要进行分析和处理,AWS称之为数据湖,Amazon S3已经成为了流行的数据湖选项。
在过去几年处理5TB的数据,要41分钟的时间,现在Amazon S3处理这么多数据的时间可以缩短到12分钟。
R5比R4:内存提高57%,运算能力提高50%
沃纳·威格尔分享了AWS在内存应用上的进步。他指出,R4是一个内存密集型应用,用在大数据分析上和内存类的缓存,2.3兆赫,400GB内存。R5又进一步提升了,内存提高了57%,运算能力也提高了50%。这是巨大的进步!
基于分析的3个模型
沃纳·威格尔接着谈到,“机器学习”、“数据库”、“数据分析”这三个领域在过去几个月中出现了最大的发展。此外,基于分析的模型,他认为有3种类型:
第一种是对历史数据的分析,比如数据仓库;
第二种是实时数据的分析,比如当下的库存,现在社交媒体的动态;
第三种就是对未来的预测——这就是机器学习要做的,最大化找到数据的一些规律,从而借此开发和预测。
实际上,对于AWS来说,对未来的预测才是 机器学习要做的,尽量找到数据的一些规律,从而借此实现开发和预测。
机器学习传统
亚马逊有非常悠久的机器学习使用的传统,比如个性化推荐、库存管理、无人机/语音、无人店等等。在Amazon GO商店中,顾客只要拿着商品,走出门口就行,无需收银的环节。之所以能做到这一点,沃纳·威格尔觉得是因为亚马逊用机器学习已经20年的时间了,积累了独特的经验。
以Netflix(美国视频网站)为例,75%的视频观看都是通过推荐产生的。这些推荐必须非常的准确,否则的话,客户就不愿意用了。
“数据不用就是浪费。”沃纳·威格尔如此说道。
何以见得?据雷锋网了解到,在亚马逊有数以千计的工程师在做机器学习,每天有几十亿笔交易的数据产生,如果不利用起来,用沃纳·威格尔的话来说就是“太傻了”。
其中一个应用案例就是反欺诈:有了过去的欺诈数据,利用机器学习就可以判断一个新进来的订单是否可能是欺诈订单。AWS为此设立了一个门槛值,达到门槛值可能性的订单就会被交送给一个实际的员工进行判断。
机器学习方面100多个新的功能和新服务
沃纳·威格尔的这张PPT,显示了AWS在机器学习方面的创新速度。
这张PPT里,展示了AWS的广泛的计算实例选型。
安全的责任:不只在安全团队
“有一件安全的特点在发生巨大的变化,我们看到开发从原来所谓的三到六个月的周期变成持续的开发和部署,这就意味着安全要变化。安全团队不能够再去以三个月、六个月来做一个周期,觉得三个月、六个月之后给你一些安全代码这就安全了,并不是的,这种做法已经不奏效了。”
高频的数据泄露事件在过去两到三年确实令人震惊,这位执掌全球最大云计算公司技术的CTO觉得,从架构的角度、从专业人士的角度,大家应该负起责任,不能只把安全保护的责任放在安全团队上。
“今天每一个人都应该意识到他们所做的行为的安全可能带来的一些影响。你每一次数据的访问、每一次数据的编辑都应该去考虑到安全,整个流程本身应该是安全的。比如说开发的环境不能够有漏洞,所以安全是人人有责。如果我们要真正保护客户和关键企业数据,那我们都要承担起安全的责任。”的确,在国外,Facebook数据泄露事件导致大规模抗议,而国内,云厂商接二连三的数据丢失也让客户怨声载道,沃纳·威格尔的这句话其实相当有启发性。
逻辑变了:从服务器到无服务器
无服务器的世界是怎样的?
沃纳·威格尔举例说,客户无需担心SNS、SQS等规模、性能、可靠性,AWS Lambda能实现自动扩展。在EC2的实例里,不管执行与否都要去付费,但是在无服务器化的世界中,只有对那些执行的函数才去付费,那些闲置不用的容量无需付费。
无服务器化的好处是什么?
沃纳·威格尔认为,以前当出现了一个新的技术,通常都是那些年轻的、规模小的企业先用,但是在无服务器化环境中,大规模的企业能够以更敏捷、更快的速度来使用最新的技术。
为什么呢?因为他们无需去管理,只需要在代码执行的时候付费。
这是和以前不一样的逻辑。
相关文章:
Azure和Google迎头追赶AWS 但贝佐斯对自家云计算相当信任
AWS推网络交换器蒸发思科85亿美元股价,但也可能“放弃这一努力”
。