科技猎Nature封面：人类又输给了AI，这次是玩《GT赛车》游戏
Nature封面：人类又输给了AI，这次是玩《GT赛车》游戏
学术头条
· 刚刚
“AI赛车手”是怎样炼成的？
文 | 学术头条，作者 | 库珀，编审 | 寇建超
人工智能（AI）的很多潜在应用，涉及与人类交互时做出更优化的实时决策，而竞技或者博弈类游戏，便是最佳的展示舞台。
今天，发表在《自然》杂志上的封面文章报告称，AI 在赛车对战游戏 Gran Turismo（GT赛车）中战胜了世界冠军级人类玩家。这个 AI 程序名为“Gran Turismo（GT）Sophy”，是一种神经网络驱动程序，它在遵守赛车规则的同时，展现出了超凡的行驶速度、操控能力和驾驶策略。
完成这项 AI 程序研发的核心团队来自索尼 AI 事业部（Sony AI），《GT赛车》系列游戏是日本 Polyphony Digital 公司开发，忠实再现了真实赛车的非线性控制挑战，封装了复杂的多智能体交互，该游戏在索尼 PlayStation 及 PSP 等游戏主机平台上皆有发行，是一款极具拟真感操纵体验的热门赛车游戏。
假如有此 AI 程序的加持，人类玩家估计再也跑不过加强版的单机程序了吧？
图｜游戏截图（来源：GT赛车）
研究人员认为，此项成果或让赛车游戏变得更有意思，并能提供用来训练职业赛车手和发现新赛车技巧的高水平比赛。这种方法还有望应用在真实世界的系统中，比如机器人、无人机和自动驾驶汽车等。
赛道里的速度与激情
驾驶赛车需要极大的技巧。现代一级方程式赛车展示了惊人的工程精度，然而，这项运动的受欢迎程度与其说与汽车的性能PK有关，不如说与顶级车手在将汽车性能发挥到极限时所表现出的技巧和勇气有关。一个多世纪以来，赛道上的成功一直充满着速度和激情。
图｜F1方程式赛车比赛（来源：GNEWS）
赛车比赛的目标很简单：如果你比竞争对手在更短的时间内跑完赛道，你就赢了。然而，实现这一目标需要极其复杂的物理战，驰骋赛道需要小心使用轮胎和道路之间的摩擦力，而这种摩擦力是有限的。
为了赢得比赛，车手必须选择让汽车保持在不断变化的摩擦极限内的轨迹上。转弯时刹车太早，你的车就会慢下来，浪费时间。刹车太晚，当你接近转弯最紧的部分时，你将没有足够的转弯力来保持你想要的路线轨迹。刹车太猛，可能会导致车体旋转。
因此，职业赛车手非常擅长在整个比赛中一圈接一圈地发现并保持赛车的极限。
尽管赛车的操纵极限很复杂，但它们在物理上可以得到很好的描述，因此，它们可以被计算或学习是理所当然的。
近年来，深度强化学习（DRL）已成为 Atari、星际争霸和 Dota 等领域 AI 研究里程碑的关键组成部分。为了让 AI 对机器人技术和自动化产生影响，研究人员必须证明能够成功控制复杂的物理系统，此外，AI 技术的许多潜在应用要求在接近人类的情况下相互作用，同时尊重不精确的人类规范，汽车比赛正是充满这些挑战的典型领域。
图｜游戏比赛数据对比（来源：Nature）
近年来，利用全尺寸、大规模和模拟车辆，自主赛车的研究不断加速。一种常见的方法是预先计算轨迹，并使用模型预测控制来执行这些轨迹。然而，当在摩擦的绝对极限下行驶时，微小的建模误差可能是灾难性的。
与其他车手比赛对 AI 建模精度提出了更高的要求，并引入了复杂的空气动力学相互作用，进一步促使工程师改进控制方案，以不断预测和适应赛道的最优轨迹，有朝一日，无人驾驶汽车下赛道与人类车手一决高下，也并非空谈。
“AI赛车手”的炼成
在 GT Sophy 的开发过程中，研究人员探索了各种使用机器学习来避免建模复杂性的方法，包括使用监督学习来建模车辆动力学，以及使用模仿学习、进化方法或强化学习来学习驾驶策略。
为了取得成功，赛车手必须在四个方面具备高度技能：（1）赛车控制，（2）赛车战术，（3）赛车礼仪和（4）赛车策略。
为了控制汽车，车手们对他们的车辆动力学和赛道的特性有详细的了解。在此基础上，驾驶者建立所需的战术技能，通过防守对手，执行精确的演习。同时，驾驶员必须遵守高度精炼但不精确的体育道德规则，最后，车手在模拟对手、决定何时以及如何尝试超车时，会运用战略思维。
模拟赛车是一个需要在具有高度真实、复杂物理环境中进行实时、连续控制的领域，GT Sophy 在这种环境下的成功首次表明，在一系列汽车和赛道类型中，有可能训练出比顶尖人类赛车手更好的人工智能代理。
这一结果可以被视为是计算机在国际象棋、围棋、冒险、扑克牌和星际争霸等竞争性任务持续发展的另一个重要步骤。
图｜GT Sophy 的训练（来源：Nature）
值得注意的是，GT Sophy 在短短几个小时内就学会了绕道而行，并超过了数据集中 95% 的人类选手，它又训练了九天时间，累计驾驶时间超过了 45000 小时，跑圈时间减少了十分之一秒，直到圈速停止改善。
单凭进步奖励还不足以激励AI程序赢得比赛。如果人类对手的速度足够快，AI程序将学会跟随，并在不冒潜在灾难性碰撞风险的情况下尝试积累更多奖励，实现超车。
为了评估 GT Sophy，研究人员在两项赛事中让 GT Sophy 与顶级 GT 车手进行了较量，GT Sophy 在所测试的三条赛道上都取得了超人的计时表现，它能够执行几种类型的转弯，有效地利用漂移，扰乱后面车辆，拦截对手并执行其他紧急操纵。
尽管 GT Sophy 展示了足够的战术技能，但仍有许多方面有待改进，尤其是在战略决策方面。例如，GT Sophy 有时会在同一条跑道上留出足够的空间，让对手有机可乘。
图｜AI 车手超越人类玩家（来源：Nature）
竞技游戏外更值得关注
关于电子竞技、博弈类的游戏，AI 能战胜人类早已经不是什么稀奇事，而且可以肯定的是，AI 还会越来越强，即便是人类顶尖选手也只能甘拜下风，但能赢电子比赛并没有太多悬念和意义，关键还是看这些超越人类的 AI 程序如何切实攻克产业瓶颈，真实造福人类生活。
1996 年 2 月 10 日，超级电脑 Deep Blue 首次挑战国际象棋世界冠军 Kasparov 以 2：4 落败。1997 年 5 月再度挑战，最终Deep Blue 以 3.5：2.5 击败了 Kasparov ，成为首个在标准比赛时限内击败国际象棋世界冠军的电脑系统。
但 Deep Blue 的缺陷是没有直觉，不具备真正的“智能灵魂”，只能靠超强的计算能力弥补分析思考方面的缺陷，赢得比赛的 Deep Blue 很快也退役了。
2016 年 3 月，谷歌 AI 的 AlphaGo 在四场比赛中击败了围棋世界冠军李世石，被认为是 AI 真正意义上的里程碑，AlphaGo 当时使用了蒙特卡洛树搜索与两个深度神经网络相结合的方法，在这种设计下，电脑可像人类大脑一样自发学习进行分析训练，不断学习提高棋力。
自此之后，各类 AI 程序新秀层出不穷，2018 年 12 月 10 日，DeepMind 针对即时战略游戏星际争霸开发的人工智能 AlphaStar 能完虐全球 99.8% 的人类职业选手。
无疑，现在的 GT Sophy 又是一个 AI 胜利的延续。
来自斯坦福大学机械工程系教授 J.Christian Gerdes 认为，GT Sophy 研究所带来的影响也许能远远超出电子游戏范畴，随着许多公司致力于完善运送货物或乘客的全自动车辆，关于软件中有多少应该使用神经网络，以及有多少应该仅基于物理，值得进一步去探索。
总的来说，在感知和识别周围环境中的物体时，神经网络是无可争议的冠军。然而，轨迹规划仍然是物理和优化领域，GT Sophy 在游戏赛道上的成功表明，神经网络有一天可能会在自动化车辆的软件中发挥比今天更大的作用。
更具挑战性的可能是每圈的变化。真实情况下，赛车的轮胎状况在每圈之间都会发生变化，人类驾驶员必须在整个比赛过程中适应这种变化。GT Sophy 能用更多的数据做同样的事情吗？这些数据从何而来？这将使得人工智能有更多进化空间。
参考资料：
https://www.nature.com/articles/s41586-021-04357-7
https://www.nature.com/articles/d41586-022-00304-2
357篇资讯
2.5万关注
学术头条
见证探索之途上的每一步重大突破
最近资讯
- 秃顶治疗再升级：借助基因编辑，无毛小鼠长出人类头发
- 全球首次：手术机器人自主完成猪体内腹腔镜手术
- 研究揭示：那些“网抑云”时刻，疼痛都是真实的
本文观点仅代表作者本人，钛媒体平台仅对用户提供信息及决策参考，本文不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现，点击这里投稿 。创业或融资寻求报道，点击这里。
敬原创，有钛度，得赞赏
514人赞赏钛媒体文章
-
钛粉30326 赞赏了
亮风台联合创始人唐荣兴：元宇宙是个慢风口，AR领域...
2022-01-20 14:20 -
钛ae5u... 赞赏了
钛媒体科股早知道：发展最快的子行业，订单火爆，未来...
2022-01-17 04:39 -
满级钛宝1... 赞赏了
十亿消费者，谁是下沉市场的孤勇者
2022-01-15 11:42 -
马洋928 赞赏了
AI年度总结与展望：超大规模预训练模型爆发，自动驾...
2022-01-10 18:12 -
钛小超16... 赞赏了
奈飞无奈：《华灯初上》难成《鱿鱼游戏》
2022-01-10 15:18 -
钛粉25713 赞赏了
新能源汽车还有多少空间？
2021-12-29 22:06 -
钛粉91858 赞赏了
出海东南亚，阿里没得选
2021-12-27 15:07 -
钛粉91647 赞赏了
出海东南亚，阿里没得选
2021-12-27 15:05 -
钛粉91231 赞赏了
BAT为何分化在2018？
2021-12-27 14:50 -
钛粉63223 赞赏了
薇娅“落幕”，直播带货会“变味儿”吗？｜钛度热评
2021-12-24 21:27 -
赚赚 赞赏了
“抢红利”的《误杀2》，急于收割的万达和“陈思诚宇...
2021-12-22 17:07 -
赚赚 赞赏了
12月22日A股分析：创业板指涨0.55%，医药股...
2021-12-22 17:02 -
钛粉95326 赞赏了
美国又来捣乱了！中资收购韩国半导体巨头计划“流产”
2021-12-16 23:07 -
钛粉40847 赞赏了
美国又来捣乱了！中资收购韩国半导体巨头计划“流产”
2021-12-16 14:38 -
马洋928 赞赏了
快手史上最重要一战开场
2021-12-09 10:22 -
马洋928 赞赏了
快手史上最重要一战开场
2021-12-09 10:21 -
小小日月 赞赏了
投资人自白：被坑了1亿后，我再也不给影视项目投钱了
2021-12-09 10:13 -
发家致富1... 赞赏了
Zillow大牛市炒房巨亏，别把人祸甩锅人工智能
2021-12-09 08:46 -
小小日月 赞赏了
理想主义者自救指南
2021-12-08 17:41 -
小小日月 赞赏了
爱奇艺，病在九千人
2021-12-08 17:33 -
钛粉40736 赞赏了
家装互联网，困于“局域网”？
2021-12-04 18:24 -
小团子_T... 赞赏了
我是博物馆文创IP授权专员，文史与创意桥梁的搭建者...
2021-11-30 06:34 -
钛粉57559 赞赏了
战斗浪潮和时代心事
2021-11-25 14:54 -
钛粉27830 赞赏了
网红书店近黄昏
2021-11-21 11:12 -
钛粉46586 赞赏了
元宇宙还没影，音乐巨头们为何纷纷下注？
2021-11-20 14:13 -
钛粉94275 赞赏了
煤炭暴涨下的山西煤老板：日进千万，已经富得没感觉了
2021-11-20 10:32 -
关东流匪 赞赏了
AlphaFold2爆火背后，人类为什么要死磕蛋白...
2021-11-19 11:55 -
钛粉33536 赞赏了
飞书切瓜
2021-11-18 20:59 -
钛粉64093 赞赏了
风光不再，背背佳1.77亿“卖身”，买家看中了什么...
2021-11-15 01:23 -
钛粉64502 赞赏了
风光不再，背背佳1.77亿“卖身”，买家看中了什么...
2021-11-15 01:03 -
钛粉64056 赞赏了
风光不再，背背佳1.77亿“卖身”，买家看中了什么...
2021-11-13 21:52 -
hVz19... 赞赏了
双十一被卖爆的国产网红化妆品“薇诺娜”，能否撑起9...
2021-11-12 13:15 -
钛粉77478 赞赏了
Shopify悄然登上北美电商第二把交椅，独立站是...
2021-11-12 12:59 -
赵何娟 赞赏了
基金投顾强监管来了：“大V”引流开户被叫停，各大平...
2021-11-08 20:39 -
钛粉90442 赞赏了
海底捞关店300家“求生”，餐饮业凛冬将至？
2021-11-08 15:40 -
钛粉65149 赞赏了
概念车百分百量产，丰田bZ4X凭什么？
2021-11-04 10:51 -
钛粉49197 赞赏了
剧本杀里的欲望缩影：交友、脱单与释放天性
2021-10-30 16:34 -
hNzMk... 赞赏了
海天味业官宣涨价，调味品行业迎来拐点
2021-10-21 17:15 -
钛粉70544 赞赏了
蔚小理，上飞书｜钛媒体深度
2021-10-16 14:18 -
先进团队先... 赞赏了
飞书首席商业官林婵：数字化能推动企业组织的变革和升...
2021-10-16 14:16 -
钛粉33131 赞赏了
飞书首席商业官林婵：数字化能推动企业组织的变革和升...
2021-10-15 20:57 -
钛粉53759 赞赏了
【书评】《硅谷创业课》：硅谷顶级投资人的创投逻辑
2021-10-06 14:26 -
hSmXx... 赞赏了
娱乐圈打工人，在边缘进出无门
2021-09-28 16:14 -
大山之子 赞赏了
2021中国餐饮营销力白皮书：企业营销的六大变化、...
2021-09-24 11:54 -
钛粉66527 赞赏了
透视防弹少年团的成功秘籍，国内偶像团体能学到什么？
2021-09-19 16:02 -
钛粉45063 赞赏了
无声的陪伴，也是一门大生意
2021-09-18 09:19 -
大山之子 赞赏了
求变的名创优品，还能怎么变？
2021-09-17 11:28 -
钛粉40333 赞赏了
“声音经济”不赚钱？喜马拉雅2.6亿月活换回20亿...
2021-09-15 19:55 -
钛粉69801 赞赏了
为了不让你被骗，公安部的国家反诈中心App操碎了心
2021-09-12 13:43 -
蒙MYH 赞赏了
比亚迪不是中国特斯拉
2021-09-09 14:23 - 查看精彩文章，打开钛媒体客户端
挺钛度，加点码！
- ¥ 5
- ¥ 10
- ¥ 20
- ¥ 50
- ¥ 100
支付方式
支付
支付金额：¥6
赞赏金额：¥ 6
赞赏时间：2020.02.11 17:32
账户【未登录】提示！
个人中心将无法记录并同步您的赞赏记录，
是否进行登录
分享文章
Oh! no
您是否确认要删除该条评论吗？
猜你感兴趣
九成订单没付款，贾跃亭又双叒叕被拆穿
这届春节档是如何「劝退」观众的？
辞职开店的年轻人：3个月开倒一家店、半年亏掉18万
字节跳动布局电商野心=拼多多+Shein+Facebook？
冬奥会带火冰雪运动，一图解析滑雪产业生意经 | 钛度图闻
跌破发行价、遭遇监管，泡泡玛特的潮玩神话还能延续吗？｜科股头条
分享文章