沈向洋：人类对AI如何做决定一无所知

2019年11月14日凌晨，在微软服务23年的微软全球执行副总裁沈向洋博士宣布离开微软；2020年3月5日，清华大学在线上举行了活动“沈向洋双聘教授聘任仪式暨春风讲堂第四讲”，沈向洋博士离开微软后的首个去向得以确认。

会后，沈向洋发表了主题为 “如何设计和构建负责任的AI” 的全英文演讲，InfoQ对重点内容进行了整理。

由于受到疫情影响，沈向洋教授无法到达现场，本次活动采用了两地连线直播的形式，通过清华大学春风讲堂的B站账号对外直播。2005年，沈向洋曾以双聘教师的身份在清华任教，并于2015年参与了清华、华盛顿大学、微软共同成立的全球创新学院（GIX）。

因此，本次在线直播为续聘仪式，清华大学副校长杨斌主持了颁奖活动，校长邱勇在活动开始前进行了致辞，对沈向洋教授的加入表示欢迎。随后，沈向洋在致辞中表达了对中国人工智能发展的信心，同时也期待能够早日在清华园里，与师生们一起工作、生活。

清华大学校长邱勇向沈向洋正式颁发聘书

仪式过后，沈向洋进行了一次线上授课演讲，分享了他AI可解释性与AI偏见相关问题的研究与看法。

由于演讲为全英文，InfoQ整理了重点内容供广大开发者参考。

沈向洋：如何设计和构建负责任的AI

　　 话题1：AI的可解释性

之前，我们谈论的AI都是出现在科幻小说或电影里。实际上，AI现在已经走进我们的日常生活，我们每天都在和AI打交道。但是，当这些AI应用到医疗、金融等领域中时，我们就需要更加谨慎地看待。

如今，AI已经可以做决定，这是AI过程中非常重要的一步，这就引出了我的第一部分内容：我们缺乏对AI所做决定的认知。

　 我们缺乏对AI所做决定的认知

AI就像一个黑匣子，它们能自己做出决定，但是我们并不清楚其中的缘由。所以，我们目前需要做的就是打开这个“黑匣子”，了解AI想表达的意思和可能会做出的决定。这就是我们今天演讲的主题：如何设计和构建负责任的AI。

AI的发展需要遵循一定的基本原则，包括公正、透明、可信赖&安全、隐私&安全、适用范围广泛、负责。

我们每次发现新的技术，都会面临同样的问题：如何让技术变得更加可靠、安全和负责任。

举个例子，当人类在生产电气零部件时，都会有相应的检查记录。一旦哪里出现问题，就可以对操作文件进行复盘，从而找出问题。但是，AI是不相同的，AI没有这样的一张检修表，我们往往不知道是哪个环节出现了问题。

构建具有可解释性的AI

上图是一张模型可解释性的变化图片，横轴代表模型的可解释能力，纵轴表示预测的准确性。从横轴来看，越向右边延伸，我们得到的模型的可解释性越大。从纵轴来看，越向上延伸，系统预测的准确性越高。很多年前，我们就已经使用了这种线性模式，只不过那时并不称之为AI。

总之，模型是非常复杂的，解释起来十分困难。接下来，我们可以通过例子来证明下为什么这件事情如此复杂。

案例一：提取和比较我们试图找出更多的数据来检测模型的准确度。2016年，很多地方都推出了用于预测未来罪犯的软件，法庭在审判时已经开始用AI进行辅助判断。越是如此，人们就越会担心算法是否存在偏见，让我们通过一张图表来具体分析：

红色曲线代表从模型提取的情况，绿色曲线代表实际情况。例如，你是如何知道这个人将会再次犯罪呢？那这时来回顾下过去的数据，数据显示这个人有犯罪史，这个人过去犯得罪越多，以后就越有可能犯罪。这一定程度上与第一个图形显示的结果相吻合。

从图上可以看出，美国本土居民犯罪率较高，对应地，重新犯罪比率也更高（红色显示），但实际上绿线显示却与之相反，人们印象中非洲裔美国人很容易犯罪，但实际上也并非如此，也就是说尽管是基于事实进行预测，也存在着一定的偏见，所以在训练这种数据时要格外谨慎。

案例二：局部解释和与模型无关的解释我们如何透过复杂的模型了解其中的内容呢？一个复杂的模型就像黑匣子一样，我们向里面输入一些东西，就会得到一些东西。我们之所以无法理解模型是因为模型本身就非常复杂，晦涩难懂。

有些人就会认为，这样难懂的模型就不追求整体解释，只需要局部可解释性，那么就会出现下列问题。

正如上图，模型的识别准确率已经可以达到5/6，但是我仍然不知道我要什么，到底是哈士奇还是狼。如果需要的是一只哈士奇，却把狼带回家，那麻烦就大了。你以为训练了一个非常强大的模型，实际上并非如此，这就是我一直在强调的：模型的可解释性十分重要。

话题2：AI 的偏见

案例一：对不同肤色的偏见在任何时候，构建AI都离不开数据。需要了解偏见来自哪里，就需要知道数据的来源。在微软、IBM和Face ++制定的面部识别算法中，黑人女性比白人的面部识别准确率要低。

从上图可以看出，对黑色女性人脸识别的错误率高达了21.073，很多人表示这是难以接受的。所以，我们对这个模型进行了调整。三个月后，模型改善后得到了如下结果：

可以看出，经过再次训练后的模型，在识别不同肤色人种时准确率明显提高，许多分类错误率已经为0.000，即便是黑人女性，识别错误率也降低至1.9008。从不断的训练中，我们得到结论：这种偏见来自于训练采用的样本数据。

基于以上问题，我们对微软500名机器学习领域工程师进行了调查，我们问他们如何改善机器学习系统？在经过调查后得出结论：如今机器学习工程师面临的最大问题之一是他们知道出了一些问题，但是不知道具体是哪里出了问题，也并不知道为什么会出现问题。

当我们训练一个复杂或简单的模型，最终得到的结论是准确率为73.8%，再深究每个训练的数据集时会发现，不同的肤色和性别，得到的准确率是不一样的。一些结果还比较令人满意，但也有一些结果差强人意。

所以，我们构建了一个系统来进行对比，看到底是哪里出了问题。

传统机器学习系统是低级模式，而现在的模型带有错误可解释性，可以从整体视角，根据数据集不同的特征来判断哪里出现了问题，也可以从集群角度来了解到底为什么会出现这样的问题。基于这种模型，一旦出现问题时你可以复检样本数据集、模型来找出问题症结。

案例二：消除嵌入文本的偏见我们使用了很多数据进行训练，列出了27种职业，包括会计、律师、教师、建筑师等。我们将一段话嵌入进去，然后发现系统识别出其职业为“教师”，但是，如果我们将段落中的某些单词进行修改，只改变很小的一部分 ，从“她”到“他”其他都没有改变，最终识别出的结果就从“教师”变成了“律师”。

这里就涉及到了文字嵌入几何学（如下图所示）：

这个几何嵌入有两个属性：Proximity和Parallelism。我这里提出苹果和微软，大家就会联想到两家公司的成立者很伟大，都是很大的公司，这就是嵌入的内容。

根据上图可见，如果某个单词更向下邻近He，则表示为他；如果某个单词更向上，邻近She，则表示为她。横轴可以看出，单词越向右，就越与性别无关；越向左，越与性别相关，例如妻子和丈夫，爸爸和妈妈。这里还可以看出，很多时候谈及时髦，通常是形容女性，而说起杰出，通常用来形容男性。

那么，现在我们已经知道问题出在了哪里，就可以用上述模型来解决。但是，我们之后就会发现原来“时髦”、“杰出”、“天才”这类词语既可以形容男性，又可以形容女性。

我们已经进入了AI时代，我们的生活与AI息息相关，我们是接触AI的第一代人群，无论喜欢与否都别无选择，但是我们能决定该用何种方式来构建AI以及使用AI。

最后，感谢大家收看！

附录：沈向洋简介

1996年11月，沈向洋正式加入微软，并从此开始了在微软23年的职业生涯。作为在微软服务时间最长、职位最高的华人高管，23年的时间里，沈向洋参与了许多重要的项目，也见证了微软发展的各个重要瞬间。

1999年，沈向洋回到北京参与创立微软中国研究院，并担任微软亚洲研究院计算组主任研究员，高级研究员；2004年，他升任第三任微软亚洲研究院院长，兼首席科学家；2007年，沈向洋升任微软全球资深副总裁，之后在2013年成为微软全球执行副总裁。2019年11月14日凌晨，在微软服务23年的沈向洋宣布离开微软。

沈向洋主要专注于计算机视觉、图形学、人机交互、统计学习、模式识别和机器人等方向的研究工作，是计算机视觉和图形学研究的世界级专家。

责任编辑：张薇