不公正的AI算法，正折射出人类的偏见

图片来源@全景视觉

钛媒体注：本文来源于微信公众号硅兔赛跑（ID：sv_race），作者丨Molly Fosco，编译丨Vivian，责编丨Lu，钛媒体经授权发布。

01、标签和类别无法充分反映个体的复杂性和潜力

在阿巴拉契亚山脉下田纳西州长大的Alice Xiang，是在以白人为主的学校里为数不多的亚裔学生之一。

随着她进入“高级班”，她发现同龄人越来越多地来自中上层家庭。她的许多小学同学，家庭背景不那么优越的，走上了前途机会较少的路。

这段经历让Xiang记忆犹新，因为她后来考上了哈佛、牛津、耶鲁等精英大学。事实上，这也是她现在作为Partnership on AI（PAI）的研究科学家，专门研究算法公平性的主要原因之一。

她说，在田纳西州长大的经历，让她认识到标签和类别 "可能无法充分反映个体的复杂性和潜力"。

当Xiang开始职业生涯时，在第一次训练机器学习算法的时候，她发现她个人认为相关的数据会很大程度上影响这个过程。而她的同事们亦是如此。

"这让我很不舒服，围绕这些算法做决定的人都住在大城市，上过研究生，而且不会与和他们身份背景有很大不同的人有什么来往，"她说。值得注意的是，她的同事中很少有女性或少数族裔。

从事技术工作的女性相当稀少是一个有据可查的话题，而且这个状况几乎没有被改善。与整个行业的其他技术角色相比，如网络开发、用户体验设计或数据科学，女性在人工智能领域的比例尤其令人担忧。

而来自谷歌、苹果、Facebook等科技巨头的专家，以及该领域的许多研究人员都表示，人工智能将彻底改变我们生活的方方面面。

人工智能描述了计算机将人类智慧融入其决策的能力。现代人工智能算法是在大型数据集上进行训练，在模式识别的基础上学习技能，然后预测下一步应该怎么做。机器学习作为人工智能的一个子集，正越来越多地被用于解决各行各业的问题。

在许多不断交互的设备和服务中，人工智能已经无处不在：iPhone上的Face ID、亚马逊上推荐购买产品、Spotify上推荐你可能喜欢的歌曲、信用卡的自动欺诈检测，控制建筑物的供暖和制冷，安排飞机起飞和到达时间等等。

一些专家预测，技术奇点，即人工智能将与人类平起平坐，甚至比人类更聪明的那一刻，可能会出现在我们有生之年。有人认为可能最快30年，也有人说可能需要几个世纪。

如果这种 "通用人工智能 "成为现实，那么像法律助理、放射科医生、招聘经理等工作都被预测会更加自动化。世界经济论坛预测，到2022年，自动化将取代7500万个工作岗位，并产生1.33亿个新岗位。

尽管人工智能在经济上大有可为，但如今，女性在全球人工智能专业人员中仅占22%。

根据LinkedIn和世界经济论坛的分析，机器学习研究人员中只有12%是女性。可能有一天会雇用我们，支配我们的医疗，并在审判中决定判决的技术，几乎完全是从白人、受过良好教育的男性角度设计的。

这种人工智能领域的同一性已经对社会看待女性和少数族裔的方式、这些群体的待遇以及他们能够参与行业的方式产生了微妙的影响。如果不做任何改变，我们就有可能继续加固社会对女性和少数群体的固有偏见。

02、大多数批判人工智能的人是女性和少数群体

已经有证据表明，边缘化群体在就业、获得信贷和贷款，及获得适当的医疗服务方面处于严重的不利地位，如果不加以制止，随着行业的发展，这种情况只会越来越严重。

大多数批判人工智能的人是女性和少数群体，因为他们更有可能遭遇到算法上的不公正。

但越来越多从事人工智能和机器学习的人致力于确保上面描述的未来不会成为现实。研究人员开始呼吁关注人工智能伦理学，该领域涉及设计“负责任”的人工智能。而许多研究都是由女性，包括少数族裔女性完成的。

越来越多的人关注人工智能对社会的影响，迫使人工智能领域囊括除了计算机科学家以外，其他学科的研究人员，尤其是社会科学和人文学科的人员。

AI伦理学需要思考并优先考虑技术的社会学和心理学影响。随着道德和公平对人工智能的未来越来越重要，这个未来可能会让更多不同背景的人加入到这个领域，让消费者享受到更大的包容性。

03、AI正在放大现有的偏见

"Siri，今天的天气怎么样？""旧金山今天最高气温将达到55度，大部分时间是晴天。"

当你在脑海中读出Siri刚才的回答时，很有可能是个女人的声音。

"人们可以选择将Siri的声音改为男性，但基本不会有人改。"旧金山大学应用数据伦理中心主任Rachel Thomas说。Rachel Thomas是fast.ai的创始人，fast.ai是一个免费的在线程序，供编码人员使用人工智能工具。

亚马逊的Alexa和微软的Cortana也是默认女性声音和女性名字。"男性和女性都表现出对女性助手的偏好，我们对女性做助手感到安心。"Thomas说。

在人工智能语音助手之前，2008年印第安纳大学的研究发现，与男性或电脑语音相比，男性和女性都表现出对女性声音的偏好。亚马逊和微软公开表示，在对其语音助手产品的研究和测试中，女性声音的测试效果更好。

影响已经很明显了。2019年5月，联合国教科文组织发布的一项研究发现，语音助手性别为女性，强化了女性愿意为他人服务的刻板印象。

"这是人工智能带来的风险的一个例子，"Thomas说。"我们在审视当下的社会，锁定它，并且强化它。"

旨在提高人工智能多样性的教育性非营利组织AI4ALL的CEO Tess Posner对此表示赞同。"人工智能展现了我们与生俱来的偏见，"她说。"助理工作被认为是一个女性角色，所以通过让语音助手听起来是女性，AI正在放大现有的偏见。"

这些产品的缔造者并非完全没有女性的身影，创建亚马逊Alexa的二人组中，Toni Reid是女性。但人工智能语音助手设计者中，做决策的人，绝大部分是白人和男性。

截至2018年，亚马逊全球仅有26.8%的管理者为女性，73.2%的管理者认定为男性。当年，彭博社还报道称，在每周一次的亚马逊AWS会议上，在200名亚马逊员工介绍最新成果时，会议房间中几乎不会有超过5名的女性。

Siri最初是由三个男性打造的。在全球范围内，苹果的技术员工中男性占77%。49%是白人，35%是亚裔，8%是西班牙裔，6%是黑人。

04、在谷歌图片上搜CEO，几乎全是男性

当苹果第一次推出Siri时，如果告诉她你心脏病犯了，她会打电话给911，但对强奸或家庭暴力，她没有任何反应。如果告诉Siri你被强奸了，她会回答："我不知道你说的'我被强奸了'是什么意思。" 

而在2019年初，如果你说："嘿，Siri，你是个bitch"，她会回答："如果可以，我会脸红"。这些后来都在更新中被修改了，但这表明她最初设计的世界观是有限的。

"我们还有很多事情要做，识别偏见，并确保我们正在解决这些事情，"Posner说。"这很好，但归根结底，这关系到权力，以及谁在建立这些系统。"

不仅仅是Siri和Alexa，人工智能可以以无数种方式放大和强化我们现有的偏见。

2015年，华盛顿大学发布的一项研究发现，在谷歌图片上搜索 "CEO "时，结果几乎全是男性。仅有11%的图片是以女性为主角的，尽管在当时，女性在美国的CEO中占27%。

根据Pew Research Center的数据，截至2019年，美国女性CEO的数量增加到28%，而在谷歌 "CEO"的图片结果中，以女性为主角的比例下降到10%。

当你在谷歌中输入图片的搜索查询时，搜索算法会读取网上数十亿张图片的相关元数据，找到最常见的图片，并将其挑出来。各种工作的形象搜索结果反映了公司、组织和媒体选择代表这些职业的形象。

"有人认为，这是因为现在很多CEO都是男性，"Thomas说，"但这也强化和放大了我们的固有观念，即男性是CEO。"

研究证明了这一点。华盛顿大学2015年的同一项研究发现，搜索图像结果中的性别刻板印象影响了人们对某一领域男性和女性工作人员比例的看法。

"它实际上改变了人们对自己想法的思考方式。"Socos实验室的创始人Vivienne Ming博士说，该实验室是一个专注于人工智能、神经科学和教育改革的智库。"随着这些系统的不断循环，它们变成了这个闭环，强化了我们自己的偏见。"

然而，如何解决这个问题并没有形成明确的共识。"如果所有的语音助手都是女性，那就有问题了，但什么是公平的地带呢？"Xiang说。"同样，对于CEO的图像搜索结果，五五开就是最有意义的做法吗? 应该展示我们实际看到的？还是应该介于两者之间？"

如果算法是在有偏见的数据上训练出来的，我们如何创造公平的算法呢？一个选择是使用额外的数据集，提供模型的偏倚程度，然后相应地重新平衡数据集，Xiang说。

例如，《美国药物和酒精滥用期刊》（American Journal of Drug and Alcohol Abuse）发表的数据显示，黑人和白人使用和销售毒品的比例相似，但黑人因与毒品有关的犯罪而被捕的可能性大约是白人的2.6倍。前者的数据可以用来调整后者的数据集。

2017年，伦敦的AI研究员Josie Young开发了女性主义聊天机器人设计流程，以帮助组织建立符合道德或社会意识的聊天机器人和AI界面。她的指导方针成为一个名为F'xa的女权主义聊天机器人的中心思想，该聊天机器人由一个名为Feminist Internet的组织创建，旨在教育用户将偏见嵌入人工智能系统的风险。

问题是，要想把 "公平 "建立在人工智能系统中，就必须对这个概念进行量化思考。而对于公平的含义，研究者也有不同的定义。

Vivienne Ming博士对此表示赞同。"当人们谈论人工智能的公平性时，他们的意思有所不同，"她说，"有时候他们在谈论透明度，即算法是如何运作的。有时候，他们在谈论算法的结果，或者，是如何训练的。公平是很难定义的。"

05、算法的不公正

除了社会对女性及少数族裔的看法之外，人工智能还能对女性和其他边缘化群体的待遇产生潜移默化的影响。

AT&T、希尔顿和Humana等公司已经在招聘过程中使用了人工智能，以确保申请人符合职位的基本标准。

2018年，亚马逊的机器学习专家发现，他们的招聘算法对包含 "女性 "一词的技术职位的简历进行了降级，并“惩罚”了两所全女性大学的毕业生。该算法是根据亚马逊10年来的招聘数据进行的训练，其中技术岗位的人员大多为男性。

"在招聘中，我们往往希望，如果把简历中的性别完全擦掉，人工智能就不会学习这些偏见。"Xiang说。但如果训练数据中的候选人池中有更多的男性，那么 "人工智能就会面临明显的挑战，即偏向男性而非女性"。

这样的结果不仅仅发生在招聘中。

在刑事风险评估中，人工智能被用来确定某人再次犯罪的可能性，然后法官在判刑时将其考虑在内。和招聘算法一样，犯罪风险评估工具通常是根据历史数据进行训练的，根据司法统计局的一份报告，美国黑人比白人或西班牙裔更容易被警察拦截。

谷歌伦理人工智能团队的研究科学家Timnit Gebru指出，大多数批评人工智能的人都是女性和少数族裔，因为他们更有可能遭遇算法上的不公正。"来自边缘化群体的人们一直在真正努力地将这一问题推到大众面前。"

2018年，麻省理工学院研究人员Joy Buolamwini发现，世界上使用最广泛的面部识别工具IBM、微软和Face++，错误识别女性面孔的次数比男性面孔多，很多时候，它们根本无法检测到深色皮肤的面孔。

这意味着，当面部识别用于安全监控时，妇女和少数族裔可能比白人男子更经常地被识别为威胁。

06、不同领域的人开始进入AI行业

"这些系统正在被无形地嵌入我们的社会，"Posner说，"这不仅仅放大了我们心中的一些偏见，这些系统可能会改变生活。"

人工智能很难处理没有整齐划一地归入规定类别的情况。

身为跨性别女性的Vivienne Ming博士，亲身经历了AI难以读懂自己的性别。"当我在美国机场通过全身扫描仪时，我总是会被标记，因为我的臀部和肩部的比例对于一个女性来说是不正常的。"当我被标记时，安检工作人员会把手伸进我的两腿之间，这太不公平了。"

更多样化的劳动力是否会改善这些问题？"当然，在某种程度上，"Ming博士说，"AI只是一个工具，只能做它的指挥者知道的事情。"

而解决方案并不是简单地在AI领域雇佣更多的女性。"这可能会引起争议，"她说，"但如果你认为雇佣更多的女性（在人工智能领域）会神奇地解决这个问题，你就错了。"

Ming博士认为，我们需要的是更多了解算法如何影响人类的人。其他专家表深表赞同，并正在努力做到这一点。

AI研究者Abeba Birhane认为，人工智能应该优先考虑的是理解而不是预测。

我们不应该只依赖算法预测模式，而应该经常质疑为什么会出现一些固定的模式。例如，为什么刑事风险评估工具显示黑人和棕色人种更容易被逮捕？会不会是他们的社区过度治安的结果？

谷歌Brain的研究科学家Been Kim正在开发能够自我解释的人工智能软件，增加人类对技术运作的理解。

她最近建立了一个系统，作为 "人类的翻译"，能理解人工智能什么时候没有按照它应该做的方式工作。例如，如果一个人工智能系统被训练成在图像中识别斑马，你可以使用这个工具来了解人工智能在做出决定时对 "条纹 "的权重。

"不必了解人工智能模型的每一件事，"Kim说，"但只要你能了解到安全使用这个工具的信息，那就是我们的目标。"

07、嘿，Siri，给女权主义下个定义吧

随着自动化越来越普及，那些需要与机器互动的工作，比如建筑和工厂的工作，正在迅速减少。另一方面，像医疗保健和社会工作等大量使用人际关系技能的工作正在快速增长。

约克大学2018年的一项研究发现，在过去的25年里，受过大学教育的男性从事白领工作的概率下降，而受过大学教育的女性从事白领工作的概率上升。转变的最大原因是什么？医生、软件工程师和经济学家等工作对社交技能的需求增加。

这些工作需要相对高的情商(emotional intelligence)，而情商是相当难自动化的。多项研究表明，女性在EI测试中的得分高于男性，包括EI的每一个子量表，比如理解、表达和感知情绪。

这并不是说每个女人都比每个男人有更高的EI，也不是说这些特征是生理性的。一些研究表明，女性更有可能因为受到社会条件的制约，而去培养自己的这些特质。

如果伦理学这个同样需要高水平EI的领域，继续对人工智能领域变得越来越重要，这种需求可能会吸引更多的女性进入这个行业。根据美国国家科学基金会的研究，自上世纪90年代初以来，女性在美国所有社会科学家中至少占了一半或更多。

"在PAI，我们和女性研究人员合作很多，专注于人工智能的伦理和透明度。"Xiang说，"在这些研究领域，女性的比例是相当高的"。

Xiang自身的背景磨砺了她的EI技能，她在进入世界级精英大学之前，是在边远地区长大的。这些成长经历影响着她后来对于算法公平性的研究。一个人工作做得好或拖欠贷款的可能性有多大？不能仅靠历史数据来确定。

Xiang认为，领域专业性，即某一领域的专业知识，对人工智能行业也变得越来越重要。她遇到的很多同事都是STEM专业的，大学毕业后从事与STEM不直接相关的工作，后来又转型做人工智能。

Xiang在从事人工智能工作之前曾从事统计、经济、法律等工作，她在这些领域有了自己的专长，现在将这些专长运用到了研究中。

Thomas和丈夫一起运营fast.ai，她希望让人工智能掌握在不同领域非常广泛和多样化的人群手中。"我们相信相关领域的专家是最熟悉自己问题的人，"Thomas说，"我们教这些不同领域的专家使用深度学习，而不是找一个对其他领域感兴趣的深度学习领域的博士。"

Thomas的几位fast.ai学生正在其专业领域使用人工智能来改善他们领域内的研究。人类长寿研究所机器学习主任、fast.ai校友Alena Harley正在利用AI算法为转移的癌症识别源头。在最近的试验中，Harley将错误率降低了超过30%。

当你问Siri什么是女权主义价值观时，她会回答："我在网上找到了这个。"并根据受欢迎程度调出搜索结果。很多时候，出现率最高的一篇文章是职业指导顾问写的，标题是 "什么是女权主义，为什么那么多女人和男人讨厌它？"

女权主义聊天机器人F'xa的答案略有不同。她会说，女权主义价值观对不同的人来说，可能意味着不同的东西，这取决于他们的背景和他们所面临的挑战。

原标题：Code Switch

作者：Molly Fosco

原文链接：https://trix-magazine.com/global-affairs/code-switch/

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App