AI算法歧视在普惠金融中的悖论、阻碍与解决方案

金融行业在浪潮和竞争下已经进化到了“ 智能金融 ”阶段。而随着“智能金融”时代的到来， 普惠金融 也迎来了绝佳的发展机遇。因为， AI在金融领域中的应用有利于解决打通普惠金融最后一公里的三个关键性问题——信用、风控、成本。

然而算法于普惠金融却又有着天然的悖论，基于该悖论逻辑的 算法歧视 ，可能会阻碍普惠金融的发展，背离普惠金融的公平属性。而 算法黑箱 加剧了算法歧视问题及其于普惠金融产生的负面影响。而在这种语境下，解决“算法歧视问题”，将是AI普惠金融发展的关键。

1AI算法歧视于普惠金融的悖论

AI打通普惠金融最后一公里，实质上是通过AI算法机制实现的。 AI算法大数据的运用和处理，能够实现对小微企业和涉农企业的精准（信用和风险）画像，给予其更加精细化的数据标签，进而解决仅仅依据粗犷的“小微”和“涉农”标签而导致的“嫌贫爱富”、“供给不足”问题。 AI算法实现了普惠金融对象的数据标签精细化，是拓展普惠金融服务深度和广度的关键。但AI算法不一定保证公平，可能离普惠金融越来越远。中国人民大学小微金融研究中心在所编写《中国普惠金融绿皮书2015》中，认为普惠金融强调金融权平等，消除金融歧视，其本质是公平。 AI算法实现的数据标签精细化，可能恰恰产生了更加精准的标签性歧视，背离了普惠金融的公平属性，是为AI算法于普惠金融的一种悖论。

另外AI算法歧视更源于另一种“算法悖论”。一方面算法很容易沾染主观歧视色彩，另一方面算法完全客观理性也会产生冰冷的系统歧视，由此AI算法歧视也可以分为“主观价值算法歧视”和“客观系统算法歧视”。“主观价值算法歧视”源于设计时将设计者歧视编入算法（设计者主观），或者源于算法系统自我学习时的自我习得（AI主观）。“客观系统算法歧视”，是指算法系统完全客观理性，但可能会刻板地依据数据标签做出歧视性决策。

2AI算法歧视阻碍了普惠金融的发展

（1）主客观算法歧视，都阻碍了普惠金融的发展

如果是“主观价值算法歧视”，那么算法对普惠金融对象进行精细化标签，让嵌入的设计者主观歧视更容易实施， 进而使得对财产能力和风险能力低的特殊群体做出拒绝提供金融服务的决策更加便利。此外，AI算法系统的设计者在设计数据采集和身份识别系统时会歧视性地忽略特殊群体。 例如，人脸识别系统所基于的智能数据库在构建时可能选择性地忽略掉有色人种的面部特征的采集和存储，进而有色人种不能享受刷脸支付、开户、验证等便利性金融服务。如果是“客观系统算法歧视”，用客观测量代替主观判断看起来更为理性，但是丧失了主观的自由裁量，会让事情变得极端化。没有人类价值观的参与和关怀，可能不会达到普惠金融的温情本质。 基于算法的自动化系统会无情地自动筛掉被算法精细标签化后的小微企业、农民、城镇低收入人群、贫困人群、残疾人、老年人、少数族裔和妇女等特殊群体。

（2）算法歧视会加剧贫富两极分化

英国《卫报》曾经发布报告，声称算法对穷人有歧视，会导致贫富两极分化——穷人被惩罚压迫，富人越来越富。另外，歧视在算法的回馈路径中被放大，会加剧算法歧视导致的贫富两极分化。 金融领域的算法越是强大，被打上“穷人”等标签的特殊群体在申请金融服务时就会越难， 即使获得也是相对劣质的金融服务。美国联邦贸易委员会在调查中发现，广告商更倾向于将高息贷款信息向低收入群体展示。

（3）算法黑箱加剧了算法歧视问题

算法黑箱下，算法因为是不透明的，普通金融消费者也就对算法产生的歧视性决策的过程和原理不知情。在最极端的情境下，这些黑箱算法打着“优化资源配置”的旗号，对人类进行分类、排序与标签，产生了“黑暗歧视”。算法黑箱让人们难以理解算法歧视，进而难以对其进行分析后提出解决方案。另外企业以“算法知识产权”为借口，加大了算法公开和透明的难度。

3AI算法歧视在普惠金融中的解决方案

由“主观价值算法歧视”和“客观系统算法歧视”的分类和界定，可以将算法歧视进一步细分为三类——“设计者歧视”、“数据标签歧视”、“算法系统自我学习歧视”。针对这三类算法歧视，可以提出以下三条解决路径。

（1）通过法律引导，增加金融算法歧视成本，鼓励普惠价值编入算法

依据算法悖论，为避免“客观系统算法歧视”，不能让算法完全自我运行，要进行人文价值干涉，但为避免“主观价值算法歧视”，要将主观歧视观念排除在金融算法之外，同时将普惠价值观念编入算法。要建立规范或标准，明确AI金融算法系统设计者和使用者对算法歧视的自我约束机制和核查注意义务，并加强对故意或过失加入“特殊群体算法歧视”或未履行核查注意义务的的AI金融算法系统设计者和使用者进行问责和惩戒。另外，由于算法的知识产权属性，也可以通过知识产权激励创新的引导方式，对编入普惠价值标准的AI算法系统设计者进行鼓励。

（2）对算法歧视的依据——“特殊群体”标签进行弱化甚至去除

《哈佛商业评论》2016年第12期《探寻“超级增长”》一文提到：早期平台采取匿名交易使得双边市场本来是有潜力减少歧视的，但随着双边市场的演化，平台要求提供的客户信息越来越多，使得交易中的歧视加剧。数据特征标签既是AI算法的处理材料，又是AI算法的决策结果。所以数据的去标识化——脱敏，是解决算法歧视的一条路径。于2018年5月25日生效的欧盟《统一数据保护条例》(GDRR) 将个人敏感数据排除在 人工智能 的自动化决定之外。参照GDRR，在AI普惠金融应用中，可以将算法的数据材料“穷人”等特殊群体标签弱化甚至去除，从而弱化“特殊群体”标签对AI算法歧视的影响，将更加有利于贯彻普惠金融的公平属性。

（3）增强算法黑箱下的对“特殊群体”歧视机制和歧视决策的可解释性

算法黑箱加剧了算法歧视问题，有可能产生“算法系统自我学习歧视”，而算法黑箱始终伴随算法歧视，所以让算法更加透明也是解决算法歧视问题的关键。而在算法黑箱下，算法的可解释性至关重要。在《对人工智能系统挑战的伯克利观点》一文中，加州伯克利大学的研究者们就提出，支持算法可解释的一个要素是AI系统能够记录和忠实重现导致特定决策结果的计算过程。因此是在设计算法时加入另一个算法对其算法决策的过程进行忠实的记录，将有助于打破算法黑箱，对金融算法于小微企业、农民、城镇低收入人群、贫困人群、残疾人、老年人、少数族裔和妇女等特殊群体的歧视机制和歧视决策进行正确理解和及时纠正。