网易伏羲亮相AICon 2024,分享全球首创游戏Copilot AI队友创新实践
8 月 18 日至 19 日,AICon 2024 全球人工智能开发与应用大会(上海站)顺利举办。本届大会以“智能未来,探索AI无限可能”为主题,聚焦于大模型的开发与应用领域,深入探讨大模型带来的变革及其深远影响。网易伏羲受邀参与会议并分享大模型实战案例,一同探索人工智能和大模型如何引领行业变革与创新。
AICon 全球人工智能开发与应用大会是由极客邦 科技 旗下 InfoQ 中国主办的人工智能和大模型技术盛会,主要面向工程师、产品经理、数据分析师等中高端技术人员,会议聚焦大模型训练与推理、AI agent、RAG、多模态大模型等热门方向。会议设置了主题演讲、闭门会议、圆桌交流和互动展区等多种 社交 活动,旨在为参会者提供交流学习的机会,为企业和机构提供展示实力和成果的平台。网易伏羲语言智能组负责人生生受邀分享《可实时语音交流的 游戏 队友AI Agent创新应用》,现场揭示这一创新应用如何切实落地并带来变革。
创新引领,让人工智能点亮游戏的未来
围绕演讲主题,生生向现场观众介绍道,作为中国第一个游戏人工智能研究机构,网易伏羲早在2017年成立之初,就对人工智能研发方向进行了极为全面的布局,包括强化学习、自然语言、用户画像、视觉计算、虚拟人五大方向,希望通过人工智能技术的研究与应用释放创作者的生产力,革新游戏体验,最终“让人工智能点亮游戏的未来”。目前,网易伏羲已在全球各类学术顶级会议中发表200余篇学术论文,相关技术研发成果已拥有专利600余项。
在不断深化AI技术研发的同时,网易伏羲也持续致力于将技术成果转化为实际应用,推动AI技术在游戏及其他领域的广泛应用。生生为现场观众详细讲解了网易伏羲打造的多模态大模型“易生诸相”,并指出相关技术能够广泛应用于数字文娱、音乐、文旅等领域,如游戏中的智能NPC、智能捏脸、AI音乐创作、角色扮演等场景,从而助力游戏设计、开发和运营。
基于行业领先的技术研究成果和“AI+游戏”的创新思维模式,网易伏羲几乎每年都会推出行业首创的游戏AI应用,部分甚至达到全球首创水平。例如,2018年,网易伏羲率先在行业内采用基于深度学习的端到端训练技术实现了AI照片捏脸功能;2019年,又运用基于Transformer的NLP技术,推出了首个智能养育系统;此后的几年里,网易伏羲继续引领潮流,接连研发出AI故事接龙玩法、文字捏脸玩法、AI游戏剧情动画、AI游戏匹配、AI反外挂等众多创新应用;自2023年《逆水寒》 手游 上线之后,又陆续推出了文字捏脸、智能NPC、剧组模式等突破性AI应用。
全球首创,语音AI队友助力游戏体验升级
除了技术创新的最新动态外,此次分享还深入展示了网易伏羲近期在游戏AI方面的最新应用成果:基于网易伏羲“易生诸相”多模态 AI 技术和有灵AOP平台所打造的多模态实时交互的语音AI队友Agent。该玩法在《永劫无间》手游中上线后获得了玩家的高度认可和喜爱,每日大量玩家携手AI队友进行战斗,共同享受丝滑的多模态游戏交互体验。
作为全球首款游戏Copilot队友,该功能基于最新的AI大模型推理能力,成果打造出与真人玩家几乎无异的AI队友。AI队友不仅能自主完成跑图、跑圈、搜寻物资、参与战斗等战术行动,还能在战斗中提供辅助和救援,通过自然流畅的语音与玩家进行双向互动沟通。
为了实现“能感知”、“会表达”、“懂执行”的AI队友这一创新应用,网易伏羲基于有灵AOP平台,集成了先进的语音识别、语义理解、人设对话大模型、语音生成、强化学习以及模仿学习等多项智能体能力,赋予AI队友以“感知”战场情况、“认知”玩家意图、“决策”战斗策略、并采取“行动”的能力,并通过数据闭环训练自动更新模型,不断优化其行为决策,实现了与玩家的深度协作;此外,网易伏羲采用强化学习、自模仿学习等技术,接入“易生诸相”人设对话大模型打造多风格AI队友,使其具备不同的性格和行为模式,最终实现了这样一个听指挥、能战斗、懂配合,也会判断战场局势、做出决策,并且性格各异、还能聊天、保证情绪价值拉满的AI队友。
生生强调,AI 技术不仅能够提升游戏玩家的交互体验,打造更加流畅和沉浸式的游戏体验,在教育、音乐、工业等实体领域同样发挥着重要作用。秉承着“人机协作,万物有灵”的愿景,网易伏羲正将原本专注于游戏世界的AI技术应用于更多实体产业,通过创新性研发面向智能体编程框架(Agent-oriented programming,AOP),构建了可以直接面向智能体发布和运营各种任务的网易伏羲有灵AOP平台。目前,基于AOP平台打造的智能体,已经在实体和虚拟机器人方面有了广泛的应用,除了游戏中的AI队友外,还覆盖工程机器人自动作业、理疗机器人自动按摩、二次元社区虚拟陪伴、AI玩具智能对话等多种场景,展现了其在多个行业的通用性和实用性。
分享的最后,生生透露网易伏羲AOP SDK即将迎来首次内测,期待更多的开发者和合作伙伴加入其中,携手拓展智能体的应用边界,共同探索和塑造未来。网易伏羲也将继续深化AI领域的研究与实践,推动AI技术与实体产业的深度融合,为未来社会的数字化转型贡献更大的力量。