Google 提出人工智能五大问题 强调安全性

　　 发布者：Google研究部门，Chris Olah

　　 Google认为，人工智能技术对于人类来说将非常有用且极具好处。作为负责任的技术领导者，Google也致力于探索这一新技术的潜在问题，研究应对相关风险的最佳方案。因此，Google近期发表了一篇名为《人工智能安全性方面的具体问题》的技术论文，这是Google科学家、OpenAI、斯坦福大学以及加州大学伯克利分校的合作成果。

　　 虽然人工智能安全性方面的潜在风险已经吸引了大量公众的关注，但此前大多数的讨论都极具假设性和推测性。Google认为有必要在真正的机器学习研究中对这些担忧进行验证，从而以切实可行的方法，设计安全可靠的人工智能系统。

　　 以下是Google列出的广泛运用人工智能技术所面临的五大问题。它们都是具有前瞻性的长期研究课题。虽然现在看来可能只是小问题，但对于未来的系统设计而言非常重要：

1. 避免负面影响：如何避免人工智能系统为了达到目标，而对周围环境做出有负面影响的举动？比如避免清洁机器人为了更快扫清地面而径直推翻（而不是绕过） 一个花瓶。

2. 避免对奖励条件的错误解读：如何避免人工智能通过篡改测量值等不正当手段，获得奖励？比如，避免清洁机器人只是找东西把垃圾遮住让自己看不见它，就认为已经扫干净了地面。

3. 可扩展的监管：如何有效确保人工智能系统能够对不宜频繁评估的事物做出适当的反应？比如，如果人工智能系统在执行任务过程中获得了人类反馈，那么它就需要对这种反馈进行有效利用，而不是频繁地询问人类。

4. 探索的安全性：如何确保人工智能系统不会做出极具负面影响的探索性举动？比如，清洁机器人也许会尝试不同的拖地 方法累积经验 ，但它绝不能将湿拖把放进插座里。

5. 分布转变的稳定性：如何确保人工智能系统能够识别并良好应对与其培训环境极为不同的环境？比如，在工厂中学到的行为可能在一个办公室中就会显得不是十分安全。

　　 Google在论文中提供了更多技术详情。尽管机器学习研究社区已经对这些问题以及众多相关话题进行了大量讨论，但Google认为这方面还有很多工作要做。

　　 Google相信，严谨而开放的跨机构合作，有益于打造理想的机器学习系统。Google也期待继续与其他研究小组进行合作，推动人工智能的积极发展。