AWS云上输出机器学习的黄金工具：Amazon SageMaker正式落地中国

雷锋网 • 4年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

“我们正在开启机器学习的黄金时代。”

AWS首席云计算企业战略顾问张侠博士表示，以前阻碍机器学习在现实世界应用的许多限制开始消失。全球各地的公司，从初创公司到大型企业，部署机器学习应用程序几乎是普遍的重中之重。

几乎每一个行业和细分市场，都开始将机器学习应用于其工作负载，从数据中获得更多价值，获得洞察，提升业务。机器学习的黄金时代也是AWS的黄金时代。

机器学习黄金时代的AWS

“目前有数万家全球各种各样的企业选择AWS来运行机器学习的负载，据我们所知，采用AWS机器学习的客户数量高于任何其他厂商至少两倍。”AWS首席云计算企业战略顾问张侠表示。

人工智能大概率成为确定性事件，越来越多的企业内部开始运行深度学习、机器学习等负载，亚马逊是最早的一批企业，自电商时代起始，亚马逊的商品推荐、搜索、物流配送等业务都融入了机器学习，诞生出送货机器人、Amazon Echo、Amazon GO等产品和业务。

相对来说，机器学习对企业仍然是一项非常复杂的工作，大多数企业并不具备独立开发机器学习模型的能力，AWS等厂商则扮演“云梯”的角色。

比如开发者和数据科学家首先必须对数据进行可视化、转换和预处理，这些数据才能变成算法可以使用的格式，用以训练模型；从选择和优化算法，到调节影响模型准确性的数百万个参数，训练模型的所有阶段都需要大量的人力和猜测；在应用程序中部署训练好的模型时，客户又需要另一套应用设计和分布式系统方面的专业技能。

此外，随着数据集和变量数的增加，模型会过时，客户又必须一次又一次地重新训练模型，让模型从新的信息中学习和进化。所有这些工作都需要大量的专业知识，并耗费庞大的算力、数据存储和时间成本。而且，由于没有集成化的工具用于整个机器学习的工作流，机器学习模型的传统开发方式是复杂、繁复和昂贵的。

AWS提供的机器学习解决方案是一个包括三层的服务堆栈。

AWS云上输出机器学习的黄金工具：Amazon SageMaker正式落地中国

底层是机器学习框架和基础架构，AWS支持TensorFlow、PyTorch、Apache MXNet、Chainer、Gluon、Horovod 和 Keras等机器学习框架。在基础架构方面，AWS虚机提供各种各样的实例，同时提供现成的亚马逊机器镜像AMI（Amazon Machine Image）。

张侠表示，“我们的策略是全方位的支持各种各样的开源框架，因为不同的框架有不同的特点、不同的使用场景，所以我们并不局限于某一个框架，而是全方位支持。”

AWS机器学习解决方案上层是训练好的人工智能服务，这些服务主要解决与人类认知相关的典型问题。例如，计算机视觉方面的服务，可以识别图像或视频中的对象、人员、文本、场景、活动和不安全或不适宜的内容。个性化推荐服务可以从库存中向消费者推荐多种产品和服务。客户可以直接在其应用中调用AWS提供的这些人工智能服务，而无需关注服务背后的机器学习模型。

中间层是机器学习服务，主要目标是消除机器学习过程中的繁重工作，让开发高质量模型变得更加轻松。依靠的是Amazon SageMaker托管服务，也是本次AWS强调的重点。

Amazon SageMaker落地中国

张侠介绍，制约人工智能广泛应用的因素有三个方面，导致缺乏低成本、易使用、可扩展的人工智能产品和服务，分别是：

掌握人工智能专业知识的人才不足；
构建和扩展人工智能的技术产品有难度；
在生产经营中部署人工智能应用费时且成本高。

Amazon SageMaker就是为了消除机器学习各步骤的繁重工作而来。5月12日，AWS宣布Amazon SageMaker在由西云数据运营的AWS中国 (宁夏) 区域和光环新网运营的AWS中国（北京）区域正式上线。

通过预置的Notebook、针对PB级数据集优化的常用算法，以及自动模型调优，Amazon SageMaker降低了模型构建和训练的难度。并且，Amazon SageMaker简化和加快了模型训练过程，可以通过自动提供和管理基础设施来训练模型和运行推理。

同时，AWS 最近宣布了多项重要功能和高级特性，让客户能够更轻松地构建、训练、调优和部署机器学习模型。这些功能包括：

面向机器学习的集成开发环境（IDE）：Amazon SageMaker Studio将所有用于机器学习的组件集中，开发者可以在Amazon SageMaker Studio中查看和组织源代码、依赖项、文档和其它应用程序资产，Amazon SageMaker Studio使构建、训练、解释、检查、监视、调试和运行机器学习模型变得更简单、更快。
弹性笔记本：Amazon SageMaker Notebooks提供了一键启用的Jupyter Notebook，具有秒级的弹性计算提升能力，让开发者可以轻松地调高或降低Notebook需要的算力（包括GPU加速），这些调整在后台自动发生，不会打断开发者的工作。Amazon SageMaker Notebook还可以自动复制特定环境和库依赖项，实现Notebook一键共享。
实验管理：Amazon SageMaker Experiments可以帮助开发者组织和跟踪机器学习模型的迭代。Amazon SageMaker Experiments自动捕获输入参数、配置和结果，并将它们存储为“实验”，帮助开发者管理这些迭代。Amazon SageMaker Experiments使开发者更容易快速迭代和开发高质量的模型。
调试与分析：Amazon SageMaker Debugger用于调试和分析模型训练，提高准确性，减少训练时间，让开发者更好地理解模型。使用Amazon SageMaker Debugger，在Amazon SageMaker中训练的模型将自动发出收集到的关键指标，Amazon SageMaker Debugger也可帮助开发者解读模型是如何工作的，向神经网络的可解释性迈出了第一步。
自动构建模型：Amazon SageMaker Autopilot是业内首个可以让开发者对其模型保持控制和可见性的自动化机器学习功能。Amazon SageMaker Autopilot会自动检查原始数据，应用特征处理器，挑选最佳算法集，训练多个模型，对它们进行调优，跟踪其性能，然后根据性能对模型进行排名，开发者能够针对应用场景选择最佳模型，并且可以结合不同的优化因子考虑多个候选模型。
概念漂移检测：Amazon SageMaker Model Monitor允许开发者检测和纠正概念漂移（concept drift）。开发者可以使用Amazon SageMaker Model Monitor的开箱即用功能检测漂移，也可以为Amazon SageMaker Model Monitor编写自己的规则用于监测。Amazon SageMaker Model Monitor让开发者更容易调整训练数据或算法以解决概念漂移问题。