联想研究院人工智能实验室徐飞玉：可解释性AI ，让AI从炼金术变成“化学”

4月12日，FUS猎云网2019年度人工智能产业峰会在北京千禧大酒店隆重举行，近百位知名资本大咖，独角兽创始人、创业风云人物及近千位投资人与创业者共聚一堂。本次峰会由猎云网主办，AI星球联合主办，锐视角、猎云资本、猎云财经、企业管家、创头条协办。

联想集团副总裁、联想研究院人工智能实验室负责人徐飞玉博士受邀参与本次峰会并发表《“可解释性人工智能“， 打造人机互信智能时代》的主题演讲。徐飞玉表示：可解释性AI，可以让AI由炼金术变成“化学”。

近几年，深度学习大大推动了人工智能的发展，但由于可解释性差，它就像一个黑盒子，阻碍了人工智能的落地和商业化。同时，在一些学者眼里看来，由于缺乏可解释性，现有的人工智能技术好比炼金术，不够科学和严谨。因此，伴随着人工智能大火，可解释性AI成为非常重要的研究方向，而智能时代需要是一个人机互信的时代

徐飞玉分析指出，可解释性AI的重要性可以从三个角度来体现：对使用者来说，如果人工智能技术帮助我们做决定，做决定的人需要理解，为什么人工智能系统提供这样的建议。第二，对于受到AI影响的人，如果AI自己做了决定，那些受到决定影响的人要能够理解这个决定。第三，对于开发者来说，理解了深度学习的黑盒子，可以通过提供更好的学习数据， 改善方法和模型， 提高系统能力。

徐飞玉还介绍了目前世界范围内可解释AI研究的三个重要领域：一是使深度神经网组件变得透明，二是从深度神经网里面学习到语义网，三是生成解释，生成人可以理解的解释。。

对于AI下一步的发展和应用，徐飞玉指出，必须要把深度学习和知识图谱结合起来。在她的畅想中，未来的AI将更像化学一样，并以人作为最重要的“元素”赋能社会。

FUS 为“Future Unicorn Summit”的简称，意为未来独角兽峰会。猎云网以发现产业独角兽为初衷，开启系列产业独角兽峰会。本次大会将继续致力于探究人工智能行业核心发展趋势，通过优质AI应用实例分享、科技领域、金融投资等业界大佬互动，聚焦国内人工智能的产业力量，以行业从业者的视角，探讨科技浪潮的机遇与挑战。

以下为徐飞玉演讲实录，猎云网整理删改：

可解释性AI既是一个旧话题，也是一个新话题。

上世纪70年代末、80年代初，当时很多的辅助顾问系统已在可解释性上有研究。在人工智能研究之初，科学家们就提出人工智能系统需要能解释，特别是这些人工智能系统参与决定的情况下。但是过去的人工智能系统，它们是以规则、以知识为基础，而这些人工智能系统的规则和知识是人定义的，据此推算出来的结果，人是可以理解的。

近几年，深度学习很大程度上推动了人工智能的快速发展，可解释性AI成为一个新的课题。对机器学习，特别是深度学习来说，可解释性AI是一个很大的挑战。

深度神经网络对我们人来说是一个黑盒子。在人工智能落地做应用的时候，如果是个黑盒子，大家不敢用，但也可能不能用。深度学习在预测能力方面比目前任何其他学习方法更好，但可解释性也最差。

最近，人工智能在人脸识别或者语音识别上的突破都和它的预测准确性有很大关系，可是要落地、要商业化，可解释性就变得非常重要。深度学习很多算法，如人脸识别的深度神经网络，我们希望它的神经元是有透明度和可视化的。我们可能理想地认为每个神经元和我们人的认知的语义对应，有可能底层的神经元对应鼻子、耳朵，然后再是完整的脸，而实际中，很多神经元既有眼睛的信息，也有鼻子的信息，是很混乱的。

为什么可解释性AI这么重要呢？第一，对我们使用者来说，如果人工智能的技术只是提一些建议或者帮助我们做决定，做决定的人他要必须理解，为什么人工智能系统给他们提了这个建议。比如，医生做诊断，要能理解为什么医疗诊断系统做这样的建议。第二，对于受到AI影响的人，如果AI自己做了决定，那些受到决定影响的人要能够理解这个决定。第三，对于开发者来说，理解了深度学习的黑盒子，可以通过提供更好的学习数据， 改善方法和模型， 提高系统能力。

大家都知道，欧洲共同体，欧盟对数据保护非常重视，对用户权利保护非常重视，欧盟在GDPR（GeneralDataProtectionRegulation欧盟一般数据保护条例）上面有要求，要求人工智能的算法如果参与决定必须要有解释的能力，这对人工智能的研发人员和提供人工智能的公司来说、企业来说，我们必须要做可解释性人工智能的研发，提供可解释性的人工智能系统。所以说遵守立法是我们做可解释性AI的一个重要的原因之一。

举个例子，美国德州的教师控告了AI系统用于课堂教学评估并取得胜诉。德州用一个AI系统自动评估教师上课的质量，老师说不能用这个系统，这个系统不能告诉我，为什么我上课的效果不好，后来德州把这个系统去掉了。

用可解释性AI可以帮助我们验证我们的系统推出的是正确的还是错误的预算。这里有一个很简单的例子，我们的人工智能黑盒子用了一堆数据推算出来，有哮喘病的病人得肺炎的可能性很低。用常识来说，这个推算不对。问题在于它的数据是有问题的，研发人员用了住在医院里的哮喘病人数据来推算，他们被看护得很好、治疗得很好，他们患肺炎可能性低。但如果用医院外的病人数据来推算，哮喘病人得肺炎的可能性非常高。所以通过可解释性AI可以理解并纠正我们系统的弱点，知道数据的偏差，而且发现模型中的错误。

最近几年，在可解释性AI方面，很多的企业或者是投资企业当中，可解释性AI还不是重点。目前，全球在研发可解释性AI的工作上，主要有三个重要领域：第一是使深度神经网组件变得透明，第二是从深度神经网里面学习到语义图，第三是生成解释，生成人理解的解释。

2016年，来自谷歌机器学习科学家Ali Rahimi 在NIPS（神经信息处理系统大会）上表示，当前有一种把机器学习当成炼金术来使用的错误趋势。因为人工智能系统已经参与了很多社会的决定，帮助我们医疗系统、帮助医生，但他希望生活在一个社会里，在这个社会里，这个社会里用的系统建立在可验证的、严谨的、全面的知识之上，而不是炼金术。他认同Andrew Ng的观点即人工智能是新的电力，他比喻到，可解释性AI的发展是要让机器学习或者是现在的人工智能从炼金术变成电力学。但我个人认为说化学更合适。

2016年，美国国防高级研究计划局（DARPA）制定了《DARPA Explainable AI (XAI) Program》，这是一个五年研发计划。现在人工智能机器学习，有了数据进行训练，训练出来的模型，一张图片放进去，识别出这是一只猫，但人不知道为什么是猫，而不是其他东西。而美国的五年计划希望实现的效果是，有了训练数据以后，用新的方法得出来可解释性的模型，这个可解释性的模型，加上可以解释的界面，对投资者来说是非常重要的，可解释性AI对投资的决定是一个很好的应用。

人工智能想模拟人的智力。人有显性的知识和隐性的知识，隐性的知识就是我们的经验直觉，人可以有效结合两种不同的知识，把经验、直觉、知识结合在一起。我们在解释的时候，理解的时候必须是显性的。深度学习是以概率的模型得到了隐性的知识，深度神经网它们不理解任何的事情，只是数据和数据之间的关系。深度学习虽然被强调了很多，但在人工智能领域还有其他的方法，比如知识图谱，知识图谱在模拟显性的知识。目前深度学习和知识图谱这两个世界还没有在一起，但是下一步对整个人工智能的发展和应用落地来说，必须把显性知识和隐性知识结合在一起。