利用大模型赋能业务,亚马逊搜索团队在深度学习领域取得突破 | 速途网
速途网5月26日讯(报道:乔志斌)亚马逊的M5搜索团队利用深度学习技术为公司内各个团队提供智能化的数据分析,通过构建了大规模模型,通过亚马逊云科技的服务运行这些深度学习实验。团队使用多种服务构建、训练和部署多模态的机器学习模型,使亚马逊的各个团队能够利用这些模型,为其机器学习应用程序提供强大的深度学习能力。
亚马逊的搜索团队致力于提升亚马逊网站上终端用户的体验。他们构建了预训练模型,利用深度学习来增强亚马逊的搜索功能。团队使用亚马逊云科技的各种服务,每月扩展至数千个训练任务,并处理大量数据。他们使用Amazon S3进行数据存储,而Amazon FSx提供了丰富功能和优越性能的文件系统。团队还使用Amazon EC2、Amazon Batch和其他服务来优化实验速度和基础设施的扩展性。
M5搜索团队与亚马逊云科技的产品团队共同解决棘手的问题,通过新功能开发实现了跨区域计算,并解决了数据需求和性能挑战。团队使用各种硬件进行优化选择,包括Amazon Inferentia和Amazon EC2 P4d实例,以降低成本并提高性能。他们还使用开源框架PyTorch简化机器学习模型的开发和部署,并在亚马逊的各个部门中广泛应用深度学习的能力。
团队计划持续改进全球集群,提高生产力和使用效率。他们将使用新的Amazon EC2实例匹配不同的模型,并与亚马逊云科技合作,优化基础设施的弹性,降低训练大型模型的成本。通过持续提升效率,他们希望释放深度学习和人工智能的潜力,让客户从中受益。