我国人工智能治理面临的机遇和挑战：基于科技公共治理视角

数据观 • 5年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

建立健全人工智能治理体系，是保障人工智能健康发展的必然要求。人工智能治理的核心议题是风险和收益的平衡，以及相关公共决策的知识合法性和参与合法性的协调。本文基于科技公共治理视角，分析了人工智能治理的两个面相，介绍了各国在人工智能治理方面的探索及面临的挑战。在梳理我国人工智能治理实践的基础上，从原则、制度建设和工具开发三个层面提出了改进我国人工智能治理体系建设的建议。

　 一、人工智能治理问题的提出

人工智能是引领新一轮科技革命和产业变革的战略性技术，正在对全球经济社会发展产生重大而深远的影响，[1]是当前全球科技治理的焦点议题。形成一套能有效识别、促成社会意愿“最大公约数”的人工智能治理体系，有效支撑相关公共决策的制定和执行，是促进人工智能健康发展的重要保障。

　　 （一）科技公共治理及其核心议题

作为一种特殊类型的公共治理，科技公共治理具备公共治理的一般特征：治理主体多元化、治理机制多样化。[2]同时，科技创新活动及其影响的不确定性高、知识门槛高，又使得科技公共治理有以下两个方面的核心议题。

1.科技收益与科技风险的权衡问题

科学技术的“双刃剑”效应使得人们对于科技发展一直有一种矛盾的态度，一方面担心发展太慢，让经济社会发展失速；另一方面又担心发展太快、失去控制，伤及人类。这一矛盾态度使得人们在对待科技发展特别是新兴技术的应用上，出现了“预防原则”（precautionary principle）和“先占原则”（proactionary principle）的持续争论。[3]“预防原则”主张，人们要更谨慎地对待科技发展蕴含的不确定性，以防其带来不可预料的危害。“先占原则”则认为科技创新自由至关重要，不应过分强调与科技发展相关的不确定性的负面影响，反倒是要在规制科技创新方面更加谨慎，以免失去科技发展带来的机会。简单说，前者更强调“安全的科学”，后者则更加强调“科学的安全”。[4]

2.“知识合法性”和“参与合法性”的张力问题

科技活动有很强的专业性，较之一般公众，科学家具有很强的知识优势，更有可能作出“知识上”的正确决策，科技相关决策应该主要听科学家的——这是很长时间以来，科学与政治、科学家与公众之间的默契。但是，随着科学的体制化和职业化，知识权力与各种经济和社会利益的深度纠缠，科学家的独立性和客观性不再毋庸置疑。同时，科技对社会的深度纠缠使得科技决策所需的科学知识之外的“社会知识”越来越多，而公民权利意识的增强则意味着公众会越来越不愿意只是被动地接受科学家们的决定。[5][6]换句话说，没有多主体参与的科技公共决策可能在知识上是不完备的，在程序上是“不合法的”。[7]

　　 （二）人工智能治理的两个面相：“影响的治理”与“技术的治理”

1.影响的治理：人工智能的伦理、法律和社会影响

影响的治理是人工智能治理的核心面相，基本原则是以人为本，基本问题是风险和收益的权衡。20世纪90年代人类基因组计划设立专门的研究项目，关注与基因技术相关的伦理、法律和社会议题（Ethical, Legal, and Social Issues ELSI）。这个框架同样适合于对人工智能影响的分析，目前人们对于人工智能影响的讨论基本上也是从这三个相互联系的层面来展开的。

人工智能伦理议题的核心，是人与人工智能系统的关系，表现在两个层面：一是人工智能持续发展给人类地位带来挑战，虽然目前人工智能还处于狭义人工智能阶段，但人们对通用人工智能和超级人工智能的预期加重了这方面的担忧。二是人工智能的误用和滥用给人与人、人与自然之间伦理关系带来挑战，比如隐私、歧视、尊严、安全、公平正义等。人工智能法律议题的核心，是何种法律规制能够帮助人类在人工智能发展过程中实现“趋利避害”。人工智能社会议题的内容相对宽泛，而且随着人工智能对工作和生活渗透广度和深度的增加，还会有各种新的议题出现。当前，人们关注的主要议题，包括就业、收入分配、深度造假、政治选举等等。[8][9]

需要指出的是，虽然人们对人工智能的潜在风险有很多担心，但总体判断还是好处要大于风险，而且人类社会有机会、有办法去争取实现收益最大化、风险最小化。比如，2018年12月欧盟委员会高级专家组发布的《可信赖的人工智能伦理准则（草案）》（Draft Ethics Guidelines For Trustworthy AI）指出，总体而言人工智能所带来的收益要大于风险。同月，日本内阁府发布的《以人类为中心的人工智能社会原则（草案）》（Social Principles of Human-centric AI (Draft)）也认为人工智能技术是其推进“社会5.0（society 5.0）”建设的关键，要尽可能有效、安全地利用它并避免其带来的负面影响。

2.技术的治理：人工智能系统的治理

技术的治理是人工治理的从属面相，基本目标是保障技术系统安全、可控。具体要求主要包括：一是强调人工智能系统要可解释、透明、长期安全并符合社会价值观，要提高算法的透明性、完善数据共享标准和规范。二是要在人工智能系统的可靠性检验和安全性确认等方面寻找新的方法，以保证人工智能系统处于不间断的人类监管之中。比如，2016年美国政府发布的《国家人工智能研发战略规划》提出，在初始设计阶段就要从技术、标准、审查层面保证人工智能系统可控、安全、符合社会伦理。

但人工智能技术治理面临两个方面的挑战：一是人工智能内生偏差和不可理解问题。人工智能算法高度依赖于大数据，而在很多场景下，数据质量（比如样本的代表性）是很成问题的；不可理解性既包括开发者无法确切理解人工智能系统自我学习过程和决策结果，也包括算法对于使用者和监管者而言的不可理解性。[10]二是算法透明化的安全顾虑和法律争议。国家和公司层面的激烈竞争，以及算法、数据及其分析方法通常掌握在少数国家、少数公司手中这一客观事实，使得它们很容易从现行法律框架中搬出私人财产、商业机密、国家安全等作为拒绝公开的理由。

　 二、各国人工智能治理的探索和挑战

（一）各国人工智能治理的探索

1.影响的识别：共识和差异

近年来，随着研究的深入和实践的增多，全球人工智能治理的一般性议题越来越集中，主要包括人类的尊严和自主性、隐私和数据安全、就业和社会不平等、人工智能系统的可信赖性及恶意使用等。与此同时，人工智能向各领域的快速渗透也让人工智能治理的具体性议题持续增多。据不完全统计，仅在各项能从公开渠道获得的人工智能提案中，涉及的议题就已超过50个。[11]随着人工智能对各领域渗透程度的进一步加深，未来还会有更多利益点和风险点被触及和识别。

需要指出的是，各国在议题上的共识并不代表在认知、态度和政策举措方面取得共识。以隐私保护为例，虽然各国都认同应该保护隐私，但在不同的制度和文化背景中，人们对于隐私的理解，以及隐私的重要性排序存在明显差异。比如，有研究者将不同社会和群体对待隐私保护的态度划分为三种类型：“隐私优先”（High-Privacy position）、“隐私平衡”（Balance-Privacy position）和“隐私限制”（Limited-Privacy position）。[12]“隐私优先”论赋予隐私更高的价值排序，认为应该赋予个人更大的“数据控制权”，同时它对于隐私的界定也相对比较宽泛。与之相反，“隐私限制”论则认为，虽然应该保护隐私，但当它与其他社会价值（比如公共安全、言论自由等）不一致的时候，应该让位于后者。“隐私平衡”论介于二者之间，在强调隐私保护的同时，也认为不应该对隐私有过于宽泛的定义和过强的保护，在隐私保护方面则强调发挥个人自主、机构和行业自律的作用。事实上，上述分歧明显地体现在美国和欧盟个人数据和隐私保护的立法和监管思路上。相对来说，欧盟在个人数据和隐私保护上更接近于“隐私优先论”，2018年5月正式生效的《一般数据保护条例》（General Data Protection Regulation， GDPR）确立了“数据可携带权”“被遗忘权”等个人数据控制权，并要建立统一的执法机构。与之相反，美国在强调个人数据和隐私保护的同时，在个人数据控制权立法保护方面要更加谨慎，更接近于“隐私平衡论”甚至“隐私限制论”。对美国、英国和德国等国企业的实证研究也发现了各国对于隐私的认知差异：美国与英国企业的隐私官员一般从避免损害消费者预期的风险管理角度看待隐私保护，而德国、法国和西班牙三国企业主要从人权角度看待隐私。[13]

2.机制的探索：参与和协同

人工智能发展迅速、渗透性强、议题多样复杂。政府、科研机构、大学、企业和社会组织等都有各自的利益诉求和信息优势，多元参与、充分沟通有利于提高人们对人工智能收益和风险的共同认知，并承担共同责任。虽然人工智能治理是个新议题，但从欧美各国的实践来看，它们基本延续了在转基因、纳米、合成生物学、信息技术等新技术治理方面的理念和架构。以一系列法律为核心的正式制度为人工智能治理提供了基本的制度框架和互动规则，例如欧美国家广泛存在的对重大科技公共议题的议会听证制度。对话会、民意调查以及政策制定者和专家之间的社会网络等非正式治理活动也有利于信息的及时传递和各方利益的表达。比如，在奥巴马政府时期，白宫科技政策办公室就人工智能主题举办了一系列旨在广泛征求社会各界意见的研讨会，在此基础上相继发布了《为人工智能的未来作准备》（Preparing For The Future Of Artificial Intelligence）《美国国家人工智能研究和发展战略计划》（The National Artificial Intelligence Research and Development Strategic Plan）和《人工智能，自动化与经济》（Artificial Intelligence, Automation, and the Economy）三份报告，较为系统地阐述美国人工智能发展战略、伦理规范和治理机制。2018年以来，美国国会就个人数据和隐私保护相关议题连续举行了多场听证会，Facebook、谷歌、亚马逊等企业巨头均被邀出席。2018年5月，美国政府又在白宫举办人工智能峰会，邀请谷歌、亚马逊、英特尔等企业巨头，以及顶级学术机构的专家等上百位代表参加，重点讨论AI研发、人才培养、制约AI创新发展的体制和特定部门的AI应用等4个议题。2017年6月，英国上议院成立了人工智能专门委员会，负责研究人工智能发展所带来的经济、伦理和社会问题。2018年4月，该委员会发布了《英国人工智能：准备、意愿与能力》（AI in the UK: ready, willing and able）的报告。

当然，人工智能治理过程中多方参与和协同的方式、效果受到特定国家利益集团的结构和制度环境的深刻影响。人工智能的快速发展必然会冲击现有的利益格局，不同利益集团之间的博弈直接决定了各方在相关决策中的话语权和影响力。以隐私保护为例，数据收集者、数据聚合者（主要指各类数据交易平台）、数据使用者和数据监管者这四类利益主体之间的博弈过程会深刻影响一个地区、国家甚至全球的隐私保护政策。[14]同时，人工智能治理过程中利益博弈、政策制定和执行活动都嵌入特定的政策网络当中，会受到其他领域法律法规和政策执行体制的推动和掣肘。总之，欧美国家在推动人工智能公共治理方面的基本经验，不是简单地让知识合法性或参与合法性占据绝对的优势地位，而是把二者间的张力纳入特定的制度框架内，并通过各种具体的活动程序和技术小心翼翼地保持它们之间的微妙平衡。

3.工具的建立：规范和倡导

工具的多元化和适应性是实现有效治理的重要条件。近年来，国际组织、各国政府和立法机构、研究机构等各类主体积极探索建立多样化的人工智能治理工具。法律的约束力强，是人工智能治理可依赖的重要工具，但由于其刚性强，各国在以法律来规制人工智能方面还是相对比较谨慎，尽量平衡风险规制和促进人工智能创新发展的双重需要。总体而言，以美国和欧盟为代表的一些国家和地区在人工智能相关立法方面采取的基本策略，是差别化和场景化——对人工智能不同应用领域进行专门立法。目前，美国和欧洲等国家和地区在自动驾驶方面已有比较成熟的立法，很多国家（地区）也试图加强对深度造假、智能投顾和智能医疗等人工智能应用重点领域的立法规制。[15]

行业技术标准、从业人员行为规范等也是人工智能治理的重要工具。2017 年，电气电子工程师协会( IEEE)发布《人工智能设计的伦理准则( 第2 版) 》，对人工智能伦理事项进行了扩充，而且目前还在持续更新和迭代。国际电信联盟（ITU）、国际标准化组织和国际电工委员会第一联合技术委员会（ISO/IEC JTC 1）等机构也在紧锣密鼓地进行相关标准的研究和制定工作。同时，一些知名科学家、企业家发起国际性的治理倡议，试图在观念和规范层面凝聚全球共识。比如，2017年1月，由未来生命研究所（Future Life Institute）发起，霍金、马斯克领衔推动全球联署的“阿西洛马人工智能23条原则”（Asilomar A.I. Principles）已有超过1000名人工智能/机器人研究人员以及超过2000名其他领域专家签署。该原则从科研目标、科研经费和文化、科学和政策的互动、系统安全可控和透明性，到负责任、隐私、自主性、利益共享、符合人类价值观和不颠覆人类社会秩序等方面提出了23条人工智能研发和应用原则，呼吁全世界严格遵守，共同保障人类未来的利益和安全，在业界引起了很大反响。2018年12月，一项旨在推动人工智能治理全球合作，促进人工智能可持续发展的《负责任地发展人工智能蒙特利尔宣言》（Montreal Declaration for a Responsible Development of Artificial Intelligence）也开始了全球签署。这些国际性的、跨领域的努力为全球人工智能治理合作提供了重要帮助。

　　 （二）全球人工智能治理面临的主要挑战

1.收益和风险的有效识别与公正分配

人工智能是一项正在快速发展且具有重大深远影响的新技术，对它的治理面临着巨大的技术和经济社会影响的“双重不确定性”。如何确保收益和风险的平衡，实现收益的公正分配、风险的合理分担是全球人工智能治理面临的巨大挑战。以就业为例，虽然人们知道人工智能将推动更大范围、更具“劳动替代性”的自动化进程，并重塑全球产业链和就业结构，但替代的规模和方式，影响的大小和结构却众说纷纭、难有定论。再有，人工智能如何加速推动资本替代劳动，是否会加剧 “资本回报率高于经济增长率”的趋势，[16]造成劳动参与率和劳动收入占国民收入的比例进一步下降，高端就业岗位和普通就业岗位间的收入差距进一步扩大，让人工智能带来的生产效率提高、社会财富增长等好处主要由少数大企业、大资本和高端技术人员和管理者获得？2018年2月，剑桥大学生存风险研究中心（Centre for the Study of Existential Risk，CSER）等机构联合发布《人工智能的恶意使用：预测、预防和缓解》（The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation），认为滥用人工智能不仅会放大旧风险，还会产生新风险，让数字空间、物理空间和政治领域的风险类型更加复杂。总之，不同国家、群体和个人在人工智能相关风险面前的脆弱性是存在结构性差异的，如何降低风险并更合理分配风险是全球人工治理面临的关键挑战。

2.知识合法性与参与合法性的动态平衡

人工智能具有很高的技术门槛，相比于用户、监管者等主体，技术专家拥有很强的知识优势。但人工智能技术具有极强的渗透能力，将来会出现在工作和生活的各种场景当中，与每个人的利益密切相关。在这种情况下，与人工智能相关的公共决策所需的不仅仅是客观的技术知识，公众的利益诉求和价值判断同样非常重要。探索各种能够促进政府、企业、科学共同体和公众四类主体共同参与、协商共治的方式，不仅能够增加复杂决策所需的技术知识和社会知识，更能增加人工智能治理的参与合法性。但必须指出的是，在现实的人工智能治理活动中，四类主体内部并非“铁板一块”，而是普遍存在着各种观念和利益的分化与差异：政府内部存在不同级别和不同部门间的观点或利益差异；科学界内部存在不同学科间、不同技术路线的差异，而且很多所谓的“科学之争”还混杂着复杂的利益纠葛；产业界内部存在不同产业、不同厂商间的利益差异；公众内部的观念、利益分化则更加普遍。总之，纵横交错的利益关系、知识和政治的深度交织都增加了人工智能治理知识合法性和参与合法性之间的张力和平衡难度。

3.全球人工智能产业竞争和治理合作的良性互动

加强人工智能治理的全球合作是国际社会的共识，但各国、各大企业积极争取掌握更大话语权也是全球人工智能治理的客观事实。2019年2月，美国总统特朗普签署《美国人工智能倡议》，提出要应对来自战略竞争者和外国对手的挑战，并确保美国在人工智能领域的领先地位。2018年3月，欧洲科学与新技术伦理组织（European Group on Ethics in Science and New Technologies，EGE）发布的《关于人工智能、机器人与“自主”系统的声明》（Statement on Artificial Intelligence, Robotics and ‘Autonomous’ Systems）提出，欧盟要启动相关流程，为机器人技术和自主系统的设计、生产、使用和治理制定一个共同的、国际公认的伦理和法律框架。2018年4月，英国议会发布的《英国人工智能：准备、意愿与能力》（AI in the UK: ready, willing and able）更是提出，英国要利用法律、研究、金融服务和民间机构方面的优势，通过在人工智能伦理与准则制定方面的领先来引领人工智能的发展。

　　 三、我国人工智能治理的探索和挑战

（一）我国加强人工智能治理的主要探索

1.高度重视人工智能发展风险研判和防范

2017年7月，国务院发布《新一代人工智能发展规划》，要求必须高度重视人工智能可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险。2018年10月，习近平总书记指出，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控；要加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。

2.积极推进法律法规和政策体系建设

近年来，我国通过分散式立法的方式，修订和出台相关法律法规，重点加强了对个人数据、电子商务、智能金融、自动驾驶等与人工智能发展紧密相关领域的修法和立法工作，努力完善促进人工智能健康发展所需的法律框架。比如，2018年8月十三届全国人大常委会审议通过《中华人民共和国电子商务法》，努力在允许算法推荐和大数据画像等新技术发展和消费者合法权益保护之间寻求平衡。中国人大网公布的《十三届全国人大常委会立法规划》显示，个人信息保护法、数据安全法均被列为第一类项目，即条件比较成熟、任期内拟提请审议。一些政府行业监管部门也陆续出台了一系列部门规章，积极适应本领域人工智能应用的监管需要。比如，中国人民银行等部门联合出台的《关于规范金融机构资产管理业务的指导意见》规定，金融机构应当向金融监督管理部门报备人工智能模型的主要参数以及资产配置的主要逻辑，在促进算法透明和人工智能监管框架等方面做出重要尝试。

3.搭建人工智能治理多方参与平台

2017年11月，由科技部、发改委等15个部门共同构成的“新一代人工智能发展规划推进办公室”宣布成立，负责推进新一代人工智能发展规划和重大科技项目的组织实施。来自高校、科研院所和企业的27名专家组成的“新一代人工智能战略咨询委员会”也同期成立，负责为新一代人工智能发展规划和重大科技项目实施，以及国家人工智能发展的相关重大部署提供咨询。为进一步加强人工智能领域相关伦理、法律和社会问题研究和人工智能治理国际交流合作，2019年2月，新一代人工智能发展规划推进办公室决定成立“新一代人工智能治理专业委员会”。2019年4月，科技部发起“为了AI健康发展：新一代人工智能治理准则建议征集”活动，向政府部门、企业、高校、科研院所和各界人士公开征集建议。在人工智能标准化方面，2018年1月，国家标准化管理委员会宣布成立国家人工智能标准化总体组和专家咨询组，负责全面统筹规划和协调管理中国人工智能标准化工作。

　 （二）我国人工智能治理面临的主要挑战

1.从跟随者到领跑者的角色转换

长期以来，我国科技发展处于“跟跑”状态，科学研究和产业应用方面会遇到的伦理、法律和社会问题大部分都已由先发国家“蹚过”了，我们可以跟在后面学习借鉴国际经验，不走或少走弯路。当前，新一代人工智能对全世界来说都是一个新事物，在治理方面没有现成的经验。我国人工智能部分领域核心关键技术实现重大突破，市场应用深度和广度迅速增长，与之相关的伦理、法律和社会问题的研究和治理不可能再跟在后面学了——从“跟着学”到“带头做”是一个巨大的角色转变。

2.科技公共治理机制不健全

人工智能治理活动嵌入在特定的科技公共治理制度中，而后者是一个从理念到制度、程序再到具体技术的完整系统。虽然近年来我国在人工智能治理领域已经作出富有成效的探索，但我国科技公共治理体制机制方面的诸多不足还是会给人工智能治理带来诸多挑战，突出表现在以下几个方面：一是产业界、公众参与科技公共决策的依据、程序等仍然缺乏明确、详细的法律规定。二是以知识生产、共识达成和决策扩散等为目标的系列公共治理方法和工具开发不够。三是在开放创新和全球合作共治的大背景下，主动参与国际人工智能治理合作的理念、机制和专业人才准备不足。

四、结论和建议

探索形成一套有效的人工智能治理机制和平台、治理方法和工具，以实现治理结果的趋利避害、治理过程的科学民主，是保障人工智能持续健康发展的内在要求。鉴于全球人工智能治理现状以及我国的具体国情，本文提出以下建议：

一是原则层面，根据收益和风险结构进行分类、分级处理。一方面人工智能在不同领域中的应用所带来的收益和风险存在很大差异；另一方面在人工智能创新和产业化链条的不同阶段和环节，收益和风险的大小和结构也存在很大差异。没有必要，也很难用一个标准来简单地加总利害。从目前国际人工智能治理经验和我国治理实践来看，未来我国人工智能治理遵循的基本原则，是根据风险类型和大小，对不同场景下的人工智能系统开发和应用采用不同的监管模式和治理机制，努力实现创新和安全、知识合法性和参与合法性之间的动态平衡。

二是制度规范层面，人工智能公共治理法治化。首先应当在法律层面规范人工智能治理程序，将相关决策过程纳入法治轨道。其次要在科研经费投入、科研活动监管、公众参与方式和程度等方面，都明确相应的制度安排，在项目形成机制、各类利益相关方代表的产生方式和意见表达程序等内容作出可操作的程序设计。[17]

三是技术层面，开发多样化的人工智能治理技术工具箱。在充分借鉴国际人工智能治理方法和工具的基础上，围绕知识生产、共识形成和行动促进这三个人工智能治理的关键问题，开发适合我国制度环境和社会基础的系列工具。

　　 [参考文献]

[1]习近平，推动我国新一代人工智能健康发展，2018-10-31.

[2]俞可平. 国家治理评估：中国与世界[M].北京：中央编译局出版社,2009：3-8.

[3]翟晓梅,邱仁宗. 合成生物学的伦理和管治[N].科学时报,2010-7-19.

[4]卢阳旭,龚旭. 科学资助中的控制权分配——以科学基金机构职能变迁为例[J].科学学研究,2019(3).

[5]诺沃特尼,斯科特,吉本斯. 反思科学：不确定性时代的知识与公众[M].冷民,等,译.上海：上海交通大学出版社,2011.

[6]马森,魏因加. 专业知识的民主化：探寻科学咨询的新模式[M].姜江等译.上海：上海交通大学出版社,2010.

[7]王奋宇,卢阳旭,何光喜.对我国科技公共治理问题的若干思考[J].中国软科学,2015(1).

[8]国家人工智能标准化总体组.人工智能伦理风险分析报告[R]. 2019. http://www.cesi.ac.cn/201904/5036.html.

[9]贾开,蒋余浩.人工智能治理的三个基本问题：技术逻辑、风险挑战与公共政策选择[J].中国行政管理,2017(10).