图灵奖得主Bengio和LeCun：自监督学习可使AI达到人类智力水平

钛媒体 • 4年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

图片来源@全景视觉

文丨学术头条

在2020的ICLR线上大会上，蒙特利尔学习算法研究所主任、图灵奖得主Yoshua Bengio和Facebook 的副总裁兼首席人工智能科学家Yann LeCun，坦率地谈到了未来AI的研究趋势。

根据两位大咖的说法，自我监督学习可能使AI产生类人的推理能力。

自监督学习，像人一样自觉观察世界

监督式学习需要在有标注的数据集上训练AI模型，而 LeCun 认为随着自我监督学习的广泛应用，这种训练模式的作用将逐渐减弱。自监督学习算法不再依赖标注，而是通过揭示数据各部分之间的关系，从数据中生成标签。

图灵奖得主Bengio和LeCun：自监督学习可使AI达到人类智力水平

自监督学习是一种机器学习的「理想状态」，重点在于如何自动生成数据标签，这一步骤被认为对于实现人类水平的智能至关重要。举一个例子，例如输入一张图片，把图片随机旋转一个角度，然后把旋转后的图片作为输入，随机旋转的角度作为标签。

很多网友比较关注的一个问题是，自监督学习和无监督学习是一个意思吗？

图灵奖得主Bengio和LeCun：自监督学习可使AI达到人类智力水平

自监督类似无监督学习，都是从没有明确标签的数据中进行学习。但无监督学习侧重于学习数据的内在关系、结构，比如clustering、grouping、density estimation, or anomaly detection等等，而自监督是根据数据集本身生成标签。

为了进一步解释自监督学习，LeCun做了类比，「不管是我们人类，还是动物，在学习大多数事物时，都是在自我监督的模式下进行的，而不是强化学习模式。这个模式本质上就是观察这个世界，然后不断与之增进互动，这种观察是自发的，而不是在测试条件下完成的。」LeCun表示，「这种学习方式，比较难以用机器来复制。」

其中，不确定性是阻碍自监督学习成功的主要障碍。
连续分布和离散分布

连续分布和离散分布

数据的分布是这样一个表，它将变量所有可能的值与其出现的概率联系起来。在变量是离散的情况下，它们可以很好地表示不确定性，这就是为什么像Google BERT这样的架构如此成功。但目前，研究人员尚未找到一种方法来有效地表示连续变量的分布。

在斯坦福对话问答数据集上测试时，BERT 实现了93.2% 的准确率，分别优于最先进的机器学习水平和人类水平。斯坦福问答数据集是一个阅读理解的数据集，包含了一组维基百科文章中提出的问题。在通用语言理解评估基准测试（一个用于培训和评估NLP系统的资源集合上，BERT的准确率达到了80.4% 。

解决连续分布问题

LeCun认为，找到一种能表示连续分布的模型，就会有新突破。

Lecun 指出，连续分布问题的一个解决方案是利用基于能量的模型（EBM），它能够学习数据集中的数学元素，并生成类似的数据集。

此前，OpenAI开发了一种基于能量的模型，可以快速学会识别和生成概念，例如附近，上，中，最近和最远等，并表示为2D点集。模型仅在五次演示后学习了这些概念。

从过去的研究中看，这种形式的建模一直难以应用到实际当中，但Open AI 2019年的研究表明，这种基于能量的模型可以支持复杂的拓扑（topologies）。

Bengio 在研讨中表示，他相信人工智能研究可以从神经科学领域受益颇多，特别是意识和意识处理的探索方面。当然收益也是双向的，一些神经科学家正在使用卷积神经网络作为视觉系统的腹侧通路。

Bengio预测，新的研究将阐明高级语义变量与大脑如何处理信息（包括视觉信息）之间的关系。而这些变量是人类语言交流所用的，它们可能会衍生出新一代的深度学习模型。

「通过与基础语言学习相结合，我们可以取得很多进展，归根结底我们都在打造能够理解这个世界的模型，以及高层次的概念是如何相互关联的。这是一种联合式的分布，」Bengio 说。「我相信，人类的意识处理过程，利用的是有关世界如何变化的假设，这些假设可以理解成为一种更高层次的表达方式。简单来讲，就是我们看到世界的变化，然后想到一句话来解释这种变化。」