岩芯数智展示机器人多模态能力

在2024世界人工智能大会(WAIC)上,上海岩芯数智携Yan1.2多模态大模型亮相,不仅可以让大模型在 手机 、电脑、甚至树莓派端无损运行,还可以让机器人准确理解用户的模糊指令和意图。

现场,研发团队展示了一款部署Yan1.2多模态大模型的智能机器人“小智”,它能够基于Yan1.2的语音和视觉处理能力,实时识别环境、准确理解用户的模糊指令和意图,并据此控制其机械躯体高效完成各类复杂任务。值得一提的是,“小智”机器人搭载的核心硬件是以低算力著称的树莓派第五代芯片。在极低算力的设备上实现了强大的多模态能力。

智能机器人“小智”

比如,“小智”可以根据“让一让,我要放东西”的模糊指令,识别其意图和行动方向,从而做出相应的避让动作。当有人问“小智,你现在看到了什么”或手捧书籍邀请“小智”一同看书时,它能够基于多模态能力进行学习和创作,精确描述环境和人物特征、学习书籍信息。