腾讯 AI 「绝悟」制胜王者荣耀,升级至电竞职业水平!
昨日,腾讯 AI Lab 与王者荣耀共同探索的前沿研究项目 - 策略协作型 AI 「绝悟」在吉隆坡举办的王者荣耀最高规格电竞赛事——世界冠军杯半决赛的特设环节中,在职业选手赛区联队带来的 5v5 水平测试中获胜,升级至王者荣耀电竞职业水平。
「绝悟」职业水平测试完整视频(3分55秒开始)
而就在同一天,「绝悟」的 1v1 版本也在上海举办的国际数码互动娱乐展览会 ChinaJoy 首次对公众亮相,向顶级业余玩家开放为期四天的体验测试。其中在首日的 504 场测试中,「绝悟」的测试胜率为 99.8%,仅有 1 场输给了王者荣耀国服第一后羿。
据悉,「绝悟」名字寓意绝佳领悟力,其技术研发始于2017年12月,并在 2018 年 12 月通过了顶尖业余水平测试(前职业选手与主播联队带来)。
「绝悟」介绍视频
「绝悟」游戏测试的对战实况
此次测试的「绝悟」版本建立了基于“观察-行动-奖励”的深度强化学习模型,无需人类数据,从白板学习(Tabula Rasa)开始,让 AI 自己与自己对战,一天的训练强度抵得上人类 440 年。AI 从 0 到 1 摸索成功经验,勤学苦练,既学会了如何站位、打野、辅助保护和躲避伤害等游戏常识。
而更令人惊喜的是,AI 也探索出了不同于人类常规做法的全新策略。团队还创建One Model模型提升训练效率,优化通信效率提升 AI 的团队协作能力,使用零和奖惩机制让 AI 能最大化团队利益,使其打法果断,有舍有得。
探索全新策略: 开局时「绝悟」没选择传统人类对线走位策略,而是由双C位英雄虞姬和王昭君先一起清理中路第一波兵线,压制敌方中辅。之后又转上路压制曹操血线。
长线策略: 对线期,赛区联队三人压迫下路,「绝悟」果断选择用三个 AI 反压赛区联队的上路,最终双方互换一塔,维持均势。
团队协作: 比赛中期,「绝悟」四人追击娜可露露,AI 达摩一脚将娜可露露反踢入 AI 群中,再由四个 AI 完美配合拿下自己的首杀。
即时策略: 一对一时,赛区联队实力较强的曹操追击「绝悟」虞姬,虞姬在残血状态退至高地。看到曹操抗塔血量大减后,把握机会绝地反杀。
即时策略+团队协作: 比赛后期在赛区联队的上路高地塔团战,AI 王昭君先手被对方秒杀,「绝悟」果断选择反打,以漂亮的一波团战全歼对手。
即时策略+团队协作: 在赛区联队全队覆灭后, 「绝悟」的兵线尚未到达,下路高地塔还有过半血量,「绝悟」果断选择四人轮流抗塔,无兵线强拆塔。 注:赛事尾声,赛区联队团灭后,「绝悟」未直接推水晶,而是计算整体收益后,选择先推最后一个高地塔,再推水晶直至胜利。
「绝悟」在游戏测试中面临的难点
游戏中测试的难点,是 AI 要在不完全信息、高度复杂度的情况作出复杂快速的决策。在庞大且信息不完备的地图上,10位参与者要在策略规划、英雄选择、技能应用、路径探索及团队协作上面临大量、不间断、即时的选择,这带来了极为复杂的局面,预计有高达10的20000次方种操作可能性,而整个宇宙原子总数也只是10的80次方。
若 AI 能在如此复杂的环境中,学会人一样实时感知、分析、理解、推理、决策到行动,就可能在多变、复杂的真实环境中发挥更大作用。因此业界认为下一个 AI 里程碑,可能会在复杂策略游戏中诞生。世界顶级科技公司均在推进此类研究,如Google Deepmind(星际争霸2)、Facebook(星际争霸2) 及 Open AI(Dota 2)等。
关于「绝悟」更多技术细节解读,腾讯 AI Lab 表示将通过论文等形式进一步分享,并通过开放研究,帮助和启发更多研究者。
腾讯 AI Lab 在智能体研究中取得的进展
腾讯 AI Lab 一直是此类智能体研究的先行者。2016年起,研发的围棋 AI 「绝艺」(Fine Art),现担任中国国家围棋队训练专用 AI ;2017年,启动「绝悟」研发;2018 年,「绝悟」达到业余顶尖水平,腾讯还在射击类顶级 AI 竞赛 VizDoom 夺冠,并在《星际争霸2》首先研发出击败内置 AI 的智能体。
而这两次技术水平测试结果代表腾讯在深度强化学习、多智能体决策智能课题上的国际级 AI 研究水准,也标志着公司在攻坚通用人工智能( Artificial General Intelligence)难题上更进一步。
对在这两次技术水平测试中所取得的成果,腾讯副总裁姚星介绍,「电子竞技」将成为策略协作型AI「绝悟」未来短期内的主要应用场景。作为数字时代最受年轻人欢迎的运动,电竞已于2018年成为亚运会表演项目,中国队参赛获两金一银的佳绩。与传统体育项目一样,电竞职业选手也需要手眼脑协调、策略和操作快速反应、团队协作精神及大量刻苦训练。借助在算法和数据方面的优势, AI 可为职业选手提供数据、战略与协作类实时分析与建议,及不同强度与级别的专业陪练。以前沿科技推动电竞专业化发展,AI 将继续推动中国电竞在全球范围内保持领先。
而长期应用上,「绝悟」将是腾讯攻克 AI 终极研究难题——通用人工智能的关键一步。AGI 代表研发能在通用系统中执行多种复杂命令,达到或超越人类水平的 AI ,从「绝艺」到「绝悟」,不断让 AI 从0到1去学习进化,并发展出一套合理的行为模式,这中间的经验、方法与结论,长期来看,有望在大范围内,如医疗、制造、无人驾驶、农业到智慧城市管理等领域带来更深远影响。
雷锋网 AI 科技评论报道 雷锋网 (公众号:雷锋网) 雷锋网
。