京东云产品全线升级,助推大模型服务千行百业 | 速途网
速途网7月17日讯(报道:乔志斌)性能强劲的数字基础设施,是建好大模型、用好大模型的前提。在7月13日举办的2023京东全球科技探索者大会-数字基础设施分论坛上,京东云推出大模型数字基础设施矩阵,包括言犀AI开发计算平台、混合多云操作系统云舰、高性能存储平台云海、软硬一体虚拟化引擎京刚、向量数据库等,助推大模型服务千行百业。京东集团技术委员会主席、京东云事业部总裁曹鹏宣布,京东言犀AI开发计算平台将于8月上线。
中国信息通信研究院云计算与大数据研究所所长何宝宏在会上表示,云正在变成基础设施,强大的、便捷的算力服务,首先要考虑稳定性;其次要惠及更多的人、行业和应用,标准化、便利性的云基础设施有非常大的发展空间。
开发计算平台赋能行业共享大模型技术红利
为了降低企业享受大模型技术红利的门槛,京东把大模型的底层能力解耦出来,推出了言犀AI开发计算平台。
将大模型能力迁移到产业领域,实现垂直行业的“智能涌现”,并非易事。高质量的行业知识作为稀缺要素,决定了大模型的“智商”。言犀AI开发计算平台沉淀了京东在零售、物流、健康、金融等行业多年积累的知识,通过算法工具集成到平台,并部署了京东技术团队开发出的100多种训练和推理优化工具,结合低代码应用平台,为客户提供从数据建设到模型应用的一站式服务。不到一周时间,用户即可完成从数据准备、模型训练到模型部署的全流程;之前需要10余人的科学家团队工作,现在只需要1-2个算法人员;通过平台模型加速工具优化,节约90%的推理成本。
此外,京东丰富的业务场景,可以为平台上的基础大模型提供具体的行业应用场景,促进入驻企业加速基于大模型的商业化落地。
在高性能HPC方面,言犀大模型开发计算平台可提供GPU、CPU、IPU等各类型算力资源,可以针对推理速度、推理成本以及模型大小不同的业务需求,提供定制化解决方案。同时,平台还能为入驻企业提供大模型开发应用的各种硬件资源的支持。
数字基础设施筑就大模型坚实底座
大模型训练与应用对数字基础设施提出了更高的要求,基于此,京东在会上展示了大模型数字基础设施全景图。
为了应对大模型训练对AI算力的迫切需求,京东云混合多云操作系统云舰3.0,通过创新的异构计算池化技术,实现GPU/NPU资源成本下降50%。
与传统平台不同,云舰3.0采用以应用为中心的云设计范式,数据适配算力和现有架构,实现更加敏捷高效的算力按需按时供给。在落地层面,对应多云多芯多活:云舰打通公有云、专有云、IDC和边缘节点,实现统一的运维运营和管理;全面兼容Intel、AMD、ARM架构的CPU,以及全栈国产化软硬件体系基础,实现生产级可用。作为国内应用多活最高级别的云平台,云舰在现有的一云多芯云架构基础上,以单元化技术,实现同一应用跨芯片进行多活部署和调度,搭建最适合的平滑升级云环境,实现应用在国产化环境中真替真用。
大模型训练对存储能力的要求越来越高,全新的高性能存储平台云海2.0,可支持千亿级参数AI大模型,单集群每秒读写性能提升5倍,达到行业领先的千万级,多故障演练场景下1秒内恢复业务。
历经10余年京东自身复杂的场景历练,云海2.0不仅能满足各行业对云盘高性能、低延时的业务诉求,还通过存算分离技术架构,为客户节省整体基础设施成本超30%。
随着计算和存储密度的不断提升,网络带宽的不断增大,虚拟化的资源占用也随之提升,有时甚至占到服务器10%以上。基于此,京东云将虚拟化卸载到自研的智能网卡中进行加速,京东云京刚3.0将虚拟化损耗降至零,网络性能提升4倍,支持 100Gb VPC 网络,云硬盘单实例性能突破百万IOPS。
传统数据库面对大模型训练的图片、音频、视频等非结构化数据,显得捉襟见肘,此时,专门针对此类场景的向量数据库应运而生。京东从2019年开始自主研发向量数据库,目前,向量数据库Vearch已经实现大规模落地实践:平稳支撑京东百亿级向量数据高性能检索,延迟时长降低到毫秒级,降低60%存储成本降低和80%推理成本。与此同时,京东积极助力开源生态建设:作为白金捐赠人,Vearch已捐给中国首个开源软件基金会——开放原子基金会,助力国产数据库生态蓬勃发展。
目前,京东云已服务2048家大型企业、914家金融机构和超250万家中小微企业。未来,京东云作为“更懂产业的云”,还将面向千行百业,以融合开放、极致性价比、安全可控的新一代数字基础设施,为大模型提供澎湃算力,让跨越发生,抵达产业智能。