汇量科技EnginePlus 2.0全面升级:打造大数据、人工智能、云原生一体的一站式平台
近日,汇量 科技 Mobvista 全面升级 SaaS 产品「一站式云原生大数据AI平台」——EnginePlus 2.0,并正式上线亚马逊云科技 AWS Marketplace,助力全球企业实现新一代数据智能开发,解放业务生产力。
随着企业业务的快速扩展,衍生数据量面临爆发式增长,企业对数据处理分析的需求日趋迫切。
在此背景下,创新技术与方案成为企业刚需,用以解决数据智能处理的挑战:快速构建湖仓一体的大规模数据分析平台,高效实时摄入数据,并通过人工智能模型将数据的价值最大化,从而充分赋能业务。
EnginePlus 2.0 将数据湖、计算分析、人工智能集成在统一平台上,提供面向多种业务场景的实时数据湖框架 StarLake、机器学习框架 MindAlpha 等自主研发的开源工具,能够与 Spark 计算框架深度集成。通过开放的产品架构解决开发者上云和数据智能处理挑战,EnginePlus 2.0 加速企业组织的数字化转型和业务创新。
EnginePlus 2.0 三板斧:大数据 + AI + 云原生
新一代一站式云原生大数据AI平台 EnginePlus 2.0 通过将大数据与云计算、人工智能等信息技术融合创新,实现数据摄入、数据计算、模型训练、在线预测的一站式闭环,帮助客户有效提升数据处理的效率与精准度。在大规模业务的生产验证下,EnginePlus 2.0 兼具快速接入、简单易用、高性能、高稳定性等特点。
1. 开源 数据湖框架 StarLake
作为一种中心数据储存的容器,数据湖具有高效、快速的特性,但伴随着的是相当高的复杂度和高昂的计算成本。
为了让客户更好地用上这种数据储存分析方式,Mobvista 自研并开源了数据湖框架 StarLake,实现了大规模数据的实时摄入和更新。
通过行列 upsert 功能、高并发入湖、元数据管理强拓展性、对象储存 IO 性能深度优化等特性,StarLake 数据湖框架能够高效构建湖仓一体化分析平台,相比开源同类数据湖框架具有显著优势。
(图片:StarLake vs. Iceberg 对比测试)
同时,整合了云原生计算平台 Spark on K8s 的 EnginePlus 2.0 能提供极速资源伸缩,实现资源高效利用,满足企业超大规模数据请求与高效弹性的需求。
2. 开源机器学习框架 MindAlpha
除了数据湖,对数据进行人工智能建模是挖掘数据背后价值的重要途径,通过对数据进行算法建模,赋能业务,产生价值。
Mobvista 自研开源机器学习框架 MindAlpha,轻松处理大规模离散特征,与 EnginePlus 2.0 之上的 Spark、StarLake 无缝结合,提供从数据到智能的一体化、一站式的高效体验。
MindAlpha 的开源 Parameter Server SDK 支持千亿级大规模稀疏离散特征,与PyTorch、Spark MLLib 无缝衔接,特征处理与模型推理逻辑和参数能全自动导出至线上 Serving 服务。其实时特征达到毫秒级延迟水平,真正做到实时反馈,快速捕捉用户行为。同时,其高性能在线 Serving 能进行模型横向切分,支持万亿参数,具有低延迟、自动弹性伸缩的特性,能进行CPU、GPU 异构混布调度和负载均衡。
(图片:MindAlpha 架构)
3.基于 SpotMax 的云原生架构
便捷地利用网络资源,实现管理、业务等方面的数据化转型,企业上云需求正在爆发。云原生架构也因具备高性能、高可扩展、一致性、符合标准、容错、易于管理和多云支持等特性,受到企业的青睐。
EnginePlus 2.0 基于 SpotMax 实现云原生架构。SpotMax 云原生体系包括云资源调度优化、容器+服务网格融合、多云及混合云统一管理、无服务平台等特性。通过 SpotMax 构建的云原生基础设施,EnginePlus 2.0 支持一键快速部署,大幅度降低运维成本。在计算存储分离下,EnginePlus 2.0 能针对对象存储系统专门优化。同时,其所有组件均可弹性伸缩,有效加速企业效率,降低构建系统成本。
源于 Mobvista 技术中台战略
在 EnginePlus 2.0 一站式云原生大数据AI平台的背后,是整个 Mobvista 技术中台。打破业务边界,Mobvista 技术中台通过聚合协同作用对外赋能。
2017年,Mobvista 启动中台战略,自主研发以 AI+Big Data 为核心的技术中台架构。此时正值 Mobvista 旗下移动程序化广告平台 Mintegral、数据分析平台 GameAnalytics 的快速发展,以及集团提出国际化战略,进一步拓展全球业务。
2018年,多个技术中台产品成功研发并成功赋能业务,包括数据中台 Datatory、大数据计算平台 EnginePlus、大规模机器学习中台 MindAlpha 以及基于云原生架构开发出的弹性集群管理平台 SpotMax。Mobvista 将技术中台产品化,对外发布,旨在以智能技术驱动增长。
从自研走向 商业 化,Mobvista 技术中台——这个为全公司各业务提供解决方案的团队,正在迈出对外赋能的更多步。无论是 Datatory、EnginePlus、MindAlpha 还是已经成为集团二级品牌的 SpotMax,这些产品均来自于 Mobvista 的大规模业务实践。在深度融合业务需求场景的同时,Mobvista 技术中台从中沉淀出平台能力,不断复用,使之产品化、商业化,对外创造价值。
而这与 Mobvista 所提出的「SaaS 工具生态」战略相一致。 互联网 的「技术溢出效应」正在加速数字化转型,Mobvista 正在由技术创新者变为技术输出者。
市场需求在爆发,数据技术在更迭。对于任何想要加速数字化转型的企业来说,EnginePlus 2.0 都能通过一体化的产品解决方案,助力企业的数字化进程并实际有效地推动企业的业务发展。
从互联网广告、电商行业到 金融 风控,EnginePlus 2.0 已成功赋能数家国内企业、海外企业的业务发展。
以 Mobvista 旗下程序化互动式广告平台 Mintegral 为例,其日均数据量已达 PB 级,需调度数万 CPU 核心。在使用 EnginePlus 2.0 后,Mintegral 能实时处理用户行为特征,进行毫秒级反馈。在每天千亿次 DNN 模型预测请求下,满足万亿级排序量的排序业务服务,有效奠定了 Mintegral 在全球的领先地位。此外,在 EnginePlus 2.0 赋能下,某互联网出海金融公司的业务表现指标迅速提升20%+。
“EnginePlus 2.0 融合了丰富行业套件、开源代码、数据算法模型,能帮助开发者在数据分析、技术开发、业务发展提供可靠精准的分析应用能力。让客户能站在众人肩膀上,快速建立起从数据摄入、分析到 AI 模型离线训练、在线预测的一体化能力。”Mobvista 集团副总裁朱亚东博士表示。
“当然,在经历业务的大规模实践和可行性验证下,我们积累了更多经验和专业知识,为客户提供部署服务,帮助他们用最低的技术门槛、最低的成本、更小的风险实现数字化转型、智能化升级。我们希望成为中国版AI加持的Databricks,跨越数据爆发式增长到智能处理之间的鸿沟,构建新一代的基建体系。”
数字化转型发展前景广阔。结合多年技术经验与行业积累,Mobvista 正在为更多企业组织打造 SaaS工具生态,以技术产品、实践经验赋能行业的智能化升级。