霍金隔空对话李开复：超级AI将毁灭人类？AI 科学家还有什么机会？

4月27日，黑智（VR-2014）来到了今天开幕的全球移动互联网大会（GMIC）北京站现场。今年的大会以“天·工·开·悟”为主题，用意是关注未来，着眼现在。因此，可以预料到，人工智能主题的讨论，自然也是其中必不可少的环节。而今年的会议上，物理学家、剑桥大学教授斯蒂芬·威廉·霍金自然是最为引人注目的一位。

霍金一直提出的“人工智能威胁论”早已为人所知。而这次亮相，他自然也重申了这一点，提醒全世界，都要小心人工智能对人类的毁灭性威胁。他承认AI的巨大发展潜力以及对人类文明进步的推动，但他仍然表示，“人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能”。

而创新工场创始人、CEO李开复表示，霍金提出的“超级智能”和“未来人工智能”碾压人类这个状况，并不是可根据今天科学推测出的必然结果。虽然关注它也是很必要的，但他更关心的，则是人工智能时代，科学家们即将面临的机会和挑战，以及当机器逐渐取代人类职业时，我们的教育问题。

同时，李开复提出，人工智能时代科学家创业会面临3个问题：科学家的选题没有往往过于冷僻、细微；科学家的选题跟主流创投关注的风口有巨大差距；科学家往往很不愿意承认自己不具备把技术商业阿虎的洞察与能力。因此，想创业的科学家，应该问问自己是否克服这些“死穴”。

以下是霍金和李开复的演讲主要观点，黑智有编辑删节。

霍金：人工智能的全方位发展可能将灭亡人类

在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。

文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。

在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。

2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。

在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。

随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。

现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。

长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？

当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。

简而言之，人工智能的成功有可能是人类文明史上最大的事件。但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。

现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。

然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。

我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。

李开复：人工智能时代的科学家创业

霍金教授提出的“超级智能”和“未来人工智能”碾压人类这个状况，我个人认为并不是一个可根据今天科学推测出的必然结果。当然非必然事件不代表我们不要关注它，但我认为 人工智能对于今天在座每一位来说，最重要的意义应该是下面四件事情：

第一，人工智能将创造巨大财富，让人类第一次有机会脱离贫困。

第二，我们要担心今天手中拥有巨大人工智能力量和数据的公司（垄断性企业），他们是否会用数据来作恶。

第三，人工智能将要取代50%人的工作（在未来10-15年之间），这些人怎么办，更重要的是教育怎么办？

第四，科学家尤其是人工智能科学家的使命和机会是什么？是不是都要出来创业？还是跟着霍金一起去寻找人类的未来？

我自己也是科学家创业。当年我在SGA公司做内部创业。当时我们做的是，能不能让每一个网页充满了3D，3D的游戏、动画让网页更精彩，让人们浏览的不是网页而是一个一个房间，一定程度上和今天的VR非常相似，这次创业非常失败，2000万美元的投入，100个员工，几乎全军覆没。从这个失败里我得到了一些教训，我想跟大家分享。

今天有一次在MIT演讲的时候，要求每一位讲者演讲完后留下一句话，我留下的那句话是——“创新固然重要，但不是最重要的，最重要的是做有用的创新”。

科学家们往往会被自己的研究、自己认为酷的东西所打动，也认为他所看到的酷的东西是全世界人类所需要的。但是事实可能并不是这样。比如我当年做的是顶尖研究，进入的是顶尖公司，但曾经的那次内部创业，做出的产品依然遭遇了滑铁卢。

人工智能科学家应该怎么想？本质上，科学家和创业者有非常大的不同。科学家追求科研突破，创业者追求的是商业回报；科学家讲究严谨，科学家讲究速度；科学家要慢工出细活，而创业者要快速迭代。这六件事情往往是背道而驰的。而这6件事情中最重要的一件，是我深深体会到的，在科研领域里我们每次问的第一个问题往往是，这件事情别人是否做过，是不是全新的。如果有人做过，要看自己有没有增加的价值，增加的价值不如突破的价值大。所以每个科学家不断要求创新，创新就是做前人所未做过的工作。

但是一个创业者，或者一个VC，他更重视的是什么？是怎么样打造产品，怎么样产生商业价值。在VC今天投资过程中，我们投每一个团队都冒了人才的风险、商业的风险、竞争的风险、执行的风险，我们不想要再冒科技风险了，所以 我们更宁愿看一个团队说：这个技术已经被证明了，只是把它应用在场景里。

这是科学家本质和创业者、VC本质截然的不同。科学家很聪明，每个人有好多点子，但一个创业公司每天出个点子公司会死掉，因为什么都做。精益创业之父STEVE BLANK帮助科学家创业，总结是科学家必须要小心，因为他的选题往往是冷僻的，没有多大市场；第二，选题跟风口有很大差异；第三，科学家不太愿意承认自己很可能不具备把技术转换成价值的洞察力和执行力。每个想创业的科学家都一定要真诚的问自己，会否面对这些问题。

今天，科学创业面临了一个有史以来最好的时机，除了今天谈的人工智能之外，在区块链、生命科学、细胞扩增、基因编程，几乎每个领域都是创业的机会。但是科学家创业的时候一定要想清楚。

互联网时代注定是海归创业，因为他们在国外看到了互联网的崛起，把它带到中国。移动互联网应用方面注定是产品经理的创业，因为这个时代我们需要快速迭代产品。在O2O时代，把地面销售和后台技术整合起来，这是我们需要衡量的。美团、滴滴就是这样的搭配。

但人工智能时代，最核心的、最需要的一定是AI科学家。今天AI技术还没有进入主流，AI平台还没有产生，因此AI应用还不能井喷，只有少数手中掌握着如何把AI应用起来的科学家能够创业。AI本身不是一个消费者应用，AI创业不能自带流量，但做出来的AI还是给企业应用，所以公司需要企业销售，需要懂AI的解决方案，这才是一个黄金搭配来解决AI创业。

AI扩张一定会经过下面三个阶段。第一个阶段，把已有的大数据用起来，BAT在用，今日头条、快手、滴滴、美团都在用。另外，金融领域可以用，还有医疗。第二个阶段是把数据收集起来并上传。第三个是无人驾驶和机器人时代的来临。这大概是未来五年、十年、十五年的蓝图。刚才霍金描述的未来是真实的，不太确定的是AI会否有意识、人类情感、掌控人类、做我们的工具、会否自我重新迭代、自我重新重写等等，这些是未知的，但已知的可以推出这些应用，会产生巨大结果、产生巨大价值，取代大量的工作。

人工智能时代对经济有巨大改变，50%的下岗的人该怎么办，未来教育该怎么办都是我们需要解决的问题。一份工作能不能取代很容易解释，大数据可以针对一个目标函数做一个决策，比人更好的决策，那你就可以被取代了。大部分工作都是这样的。现在人工智能还不能做的，包括艺术、人类学、管理者、决策者，更包括最大的发明家。AI时代的人才结构，我们看到有大量的服务型人才，再往上是会把人工智能当作工具的人，再上是发明每一个领域的新技术掌控者，再上是跨领域的工作者。当然最最顶尖的，就是发明新的AI，掌控AI的人。

与霍金的现场问答

创新工场CEO 李开复：

互联网巨头拥有巨量的数据，而这些数据会给他们各种以用户隐私和利益换取暴利的机会。在巨大的利益诱惑下，他们是无法自律的。而且，这种行为也会导致小公司和创业者更难创新。您常谈到如何约束人工智能，但更难的是如何约束人本身。您认为我们应该如何约束这些巨头？

霍金： 据我了解,许多公司仅将这些数据用于统计分析,但任何涉及到私人信息的使用都应该被禁止。会有助于隐私保护的是，如果互联网上所有的信息，均通过基于量子技术加密，这样互联网公司在一定时间内便无法破解。但安全服务会反对这个做法。

猎豹移动CEO 傅盛：

灵魂会不会是量子的一种存在形态？或者是高维空间里的另一个表现？

霍金： 我认为近来人工智能的发展，比如电脑在国际象棋和围棋的比赛中战胜人脑，都显示出人脑和电脑并没有本质差别。这点上我和我的同事罗杰·彭罗斯正好相反。会有人认为电脑有灵魂吗？对我而言，灵魂这个说法是一个基督教的概念，它和来世联系在一起。我认为这是一个童话故事。

百度总裁 张亚勤：

人类观察和抽象世界的方式不断演进，从早期的观察和估算，到牛顿定律和爱因斯坦方程式， 到今天数据驱动的计算和人工智能，下一个是什么？

霍金： 我们需要一个新的量子理论，将重力和其他自然界的其它力量整合在一起。许多人声称这是弦理论，但我对此表示怀疑，目前唯一的推测是，时空有十个维度。

斯坦福大学物理学教授 张首晟：

如果让你告诉外星人我们人类取得的最高成就，写在一张明信片的背面，您会写什么？

霍金： 告诉外星人关于美，或者任何可能代表最高艺术成就的艺术形式都是无益的，因为这是人类特有的。我会告诉他们哥德尔不完备定理和费马大定理。这才是外星人能够理解的事情。