汇量科技曹晓欢出席AWS CIO论坛,探索云时代的性能提升及成本管理
11月20日,2020年“AWS CIO论坛”在深圳举行,汇量 科技 (Mobvista)联合创始人兼总裁曹晓欢应邀出席论坛并发表精彩演讲。曹晓欢在演讲中表示,“创新”与“节俭”不仅是Amazon文化的重要组成部分,其实也是汇量科技从创立以来一直坚持的理念,正是由于文化上的契合让汇量科技与AWS携手至今。多年的业务发展中,汇量科技一直在探索快速创新的同时如何尽可能降低成本,同样也希望能帮助到更多企业更高效的使用云。面向未来,汇量科技将由技术创新者转变为技术输出者,为客户创造更多的价值。
曹晓欢介绍,“性能”和“成本”是过去几年困扰汇量科技业务增长的两大挑战。由于汇量科技在全球市场实现端到端毫秒级数据延迟的同时需严格控制每次请求处理的服务器成本, 因此“稍有不慎就会导致亏损”。为了解决这两大难题,汇量科技始终坚持不断创新,自研开发了大数据机器学习平台MindAlpha与基于“云原生”的大型弹性集群管理平台SpotMax。
大数据机器学习平台成倍提升效率
如何通过端与端之间的超低延迟实现实时预测和个性化推荐,是汇量科技身处程序化广告行业的第一个挑战。程序化广告要求每一个广告请求背后均可实现复杂的算法预测,同时市场关注热点的快速变化也要求系统有能力实时捕捉用户的兴趣变化,才能满足广告收益最大化的诉求。作为第三方平台,汇量科技面临着极大的数据稀疏性和维度复杂性的考验。
为了能够在算法性能的优化上具备追求极致的最大空间,汇量科技搭建了一套完善的一站式大数据机器学习平台MindAlpha。这一平台为汇量科技的算法工程师提供了端到端的自动化开发体验,能完成日均超过两万个的数据分析和模型训练作业,拓宽了产品运营的能力。同时,通过进行大规模自适应的在线学习,汇量科技能够释放出50%以上的人力投入到新的更有价值的工作中。曹晓欢强调“让数据流转起来,就能让效率成倍提升。”
拥抱“云原生”,探索极致成本管理
效率成倍提升后,快速激增的“成本”成为了汇量科技面临的又一挑战。曹晓欢坦言,随着广告请求数量和可触达独立设备的增长,汇量科技的业务需要更多的服务器算力进行承载,原本按峰值需求采购服务器算力的模式,会导致峰值之外的大量算力被浪费;而在1000亿次的日均广告请求和10亿级的设备覆盖下,平台仍需对单次广告请求做出毫秒级的精准预估和出价回应,同样需要昂贵的计算集群支撑。
如何根据应用的实际需求弹性尽可能使用便宜的算力资源,汇量科技选择以“云原生”切入。根据云原生计算基金会的最新定义,云原生的目标即为构建和运行可弹性扩展的应用,这与汇量科技的弹性成本需求不谋而合。基于“云原生”,汇量科技进行了大量的创新,构建了云原生大型弹性集群管理平台SpotMax。通过SpotMax,汇量科技的单位广告请求成本大幅降低了65%。曹晓欢坦言“离开SpotMax,汇量科技会是一家巨额亏损的企业。”
由技术创新者成为技术输出者
事实上,与彼时汇量科技一样面临成本困扰的企业并不在少数。专业咨询机构RightScale的一份调研报告显示,当下的企业级用户在云计算支出一项的浪费高达30%-45%。
曹晓欢表示,如今大部分企业仍通过按需实例模式使用云端资源,一定程度上导致了用云成本过高。目前,云商有三种收费模式:按需实例、预留实例与Spot实例,三种模式的费用从高到低。 “SpotMax的最核心价值就是让企业用户更放心地使用费用最低的Spot实例降低成本,而无需担心稳定性受影响。”
SpotMax可以根据用户集群的特点,按照成本优先、可用性优先、平衡部署三种模式,自动化地在AWS全球各地的数据中心调度那些最便宜和最不可能被中断的实例机型。SpotMax会统计过去中断的历史数据和实时分析目前的市场供需情况,来预测不稳定的Spot实例,做到对各个可用区中的各种类型的实例机型进行市场评分和中断管理。如下图显示:绿色是评分高的可用区和实例,企业可大胆使用,红色是评分低的可用区和实例,企业尽量不要使用。在中断风险增大时或收到中断通知时通过SpotMax可提前触发Spot实例更换 ,并确保工作负载的连续可用性。
此前SpotMax已对外实现 商业 化,服务涉及不同领域,包含 游戏 发行、程序化广告、实时分析引擎、游戏数据分析等平台。经实践,目前SpotMax可为企业客户节省的单位成本平均在40%至65%。
曹晓欢强调,云原生是企业数字化转型的必经之路,特别是在数据爆炸性增长、云端规模和复杂度不断提升的今天,“低成本的数据处理已经成为了云原生的基本诉求。”因此,汇量科技下一阶段的目标是“由技术的创新者成为技术的输出者”,将从 互联网 “技术外溢”效应的结果角度,通过技术开放,将多年来沉淀的技术能力形成面向企业需求的技术产品与解决方案,加速各行业在数字化时代的转型,降低企业客户转型的复杂度。而SpotMax将是汇量科技 “技术外溢”的重要品牌。