德国汉堡科学院院士张建伟：人工智能交互的未来是多模态共享模式

雷锋网按：2018 全球人工智能与机器人峰会（CCF-GAIR）在深圳召开，峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流盛会，旨在打造国内人工智能领域最具实力的跨界交流合作平台。

在29号召开的AI前沿论坛上，德国汉堡科学院院士张建伟发表主题为“AI赋能，人机共融”的报告，以下是此次报告的具体内容，雷锋网 (公众号：雷锋网) 做了不改变原意的编辑与整理。

人工智能发展的新动能

张建伟认为，随着云、物联网、互联网网络、光网、宽带、5G的发展，使得现在的大数据燃料非常充足。我们现在面临的是一个人类社会生态的新平衡，加上新材料、新计算、新的能源的供应，使得全系统的创新里有了新的动能。

未来的少人化工厂、老人的服务护理、虚拟社区的交互，私人定制的服务等等，都是人工智能和机器人发展的方向。机器人和人工智能除了在制造、交通方面的应用，在医疗、农业、智能建造和教育方面都有巨大的应用潜力。

单模态的大数据学习

机器是不是比人更智能，张建伟通过最近参与录制的《机智过人》节目中的例子，展示了现在机器学习在单模态数据里的应用达到什么程度，还有哪些挑战。

 图象处理和人脸识别的应用特别广泛，在一场《机智过人》的节目里，张建伟团队有意找到了一个模糊的图象，从很远的监控相机照一个车里的孩子的图象，然后让机器和最强的人类来进行PK，机器最后在这种模糊情况下会犯非常奇怪的错误，但是节目现场的林警官利用知识外推的能力和想象能力，在这幅模糊的图象里头画出了这个孩子的肖像，他用这个方法也找出了在伊利诺伊州杀害华人女科学家的罪犯。林警官利用肖像锁定了两对父母，这场对决明显的是人的智能战胜了机器智能，因为人在模糊信息下运用知识、运用外推的能力是非常强的。

接着，张建伟举了一个单模态文本学习的例子。微软小冰通过任意一幅给出的图像，可以识别出一些作诗的元素，最后作出了一首很美丽的诗。但是，机器人写诗还没有三观，包括价值观、道德观和人生观。虽然它写出的词句非常的华丽，但是他认为，下一步人工智能面临的挑战，是如何让机器人、人工智能系统逐渐具有三观。

还有声音的单模态学习实例。通过把撒贝宁在网上主持节目的两个小时的语料的下载、学习，然后来让机器人的系统模拟他没有说过的话，没有唱过的歌，这种内推的形式也可以实现比较好的演示。如果是在学习的语料里头有情感，机器人就会具有情感，但是人工智能真正具有情感还有很多强人工智能的挑战。

另外机器人阅片也是人工智能的一个比较实用的方向。首先让机器人学习大量的肺病的数据，然后和15个最强的医生进行比拼，最后显示机器人在这种有限环境里的大数据的学习情况非常强，在非常小的细节的最后的识别方面，机器人战胜了15个最强医生的团队。

跨模态学习应用

张建伟认为，下一步的挑战是我们如何把人工智能用在这种物理系统里头，使得机器人和人工智能的结合变得更加透明，运用到多模态的交互，如何使机器和人融到一块，使得我们真正进入人类的2.0的时代。机器人未来和人工智能交互的未来，不是单模态的，而是一个多模态共享的模式。

张建伟介绍了他的团队与清华大学、北京大学、北京师范大学和科学院心理所合作研究的人工智能基础研究项目——跨模态学习。共同研究跨模态学习的认知、计算和神经机制，利用理解的知识和模型，来提高人机交互的性能。

这种跨模态和跨学科、跨文化的学习是这个项目的特点。如何实现混合的、可靠的智能来融合各种各样的传感器，包括类似视觉、听觉、肢体感觉，还有一些人工的，像激光雷达一样的数据，人的模型提供了一个非常好的样板。如何使用自上而下的控制，如何把数据驱动跟知识驱动融合到一块，如何在数据融合方面不只是简单的数据模型的叠加，而是有一个符号的表示，用它们来做决策，用交互和动作的执行，尤其是提高我们未来的人工智能和机器人系统的效率和鲁棒性。

他认为，我们现在更多的要关注神经成像的模型、神经激励的方法、脑机接口，甚至心理学的行为学，来进行系统的合成，最后在机器人和复杂的CTS系统里进行验证。

这里面有三个重要的方向，一个叫跨模态的动态适应机制，例如，通过发现老鼠在学习前和学习后的神经元的变化，希望总结出未来更好的带有局部记忆的深度神经模型。第二个领域是跨模态的泛化和预测，第三个是在未来的跨模态的人机交互方面，如何让机器人通过视觉、语言的共同学习，更好地理解概念，理解他们中间的关系。

通过多模态的学习，包括未来的制药、科学实验，都可以通过机器人进行大量的加速，在机器人应用比较典型的瓶颈问题里，通过多模态的学习实现了机器人的灵巧操作，包括抓取、注射等等。

此外，张建伟还介绍了多模态学习技术在自动驾驶、行走机器人领域的应用。

会后，张建伟接受了雷锋网的采访，介绍了德国在人工智能和机器人领域的发展情况。在人工智能的基础研究方面，近20年德国政府一直长期持续在资助。即使在人工智能处于寒冬的时候，德国的科学研究会资助的很多大项目里面，都包含很多人工智能的元素，所以在人工智能核心技术、人才方面都有很好的积累。

德国的研发题目不是由政府来设定，而是由科学家来定义未来的研究问题，这种模式是科学家主导。政府根据研究内容的前瞻性和内部评比来确定资助对象。所以，德国人工智能和机器人的结合在科技理论上的创新程度一直很高，既有基础研究项目，又具有很高的跨学科的特点。

另一方面，德国整个制造业的全面程度在全世界也比较领先。所以在德国的汽车公司里，自动驾驶还有辅助安全驾驶，差不多近20年一直在长期投入。在真正的自动驾驶或者辅助驾驶的量产方面，德国的汽车公司还是可能会领先的，奥迪最近的60公里以下的自动驾驶车量产，在全球第一个真正实现了量产。德国提出工业4.0的概念，也是希望再把物联网、人工智能加入制造领域，来保持他们在制造和智能结合方面的优势。

总的来说，德国在人工智能和机器人领域一方面积累了大量的基础技术，另一方面在工业制造、医疗、驾驶领域一直保持持续的研发，即使在还没有变成产品的时候，也积累了很多的核心技术，培养了很多人才。

。