科技猎MIT学者讲述生成式 AI 的故事，它会越来越了解你，你也不得不了解它 - IT思维
作者 | Adam Zewe
快速浏览一下资讯类网站就会发现，如今生成 人工智能 似乎变得无处不在。事实上，其中一些新闻资讯可能是由生成式人工智能帮忙撰写的，例如 OpenAI 的 ChatGPT。
但当人们说「生成式人工智能」时，他们真正的意思是什么？
在过去几年生成式人工智能热潮之前，当人们谈论人工智能时，通常他们谈论的是可以学习根据数据进行预测的机器学习模型。例如，使用数百万个示例对此类模型进行训练，以预测特定 X 射线是否显示肿瘤迹象，或者特定借款人是否可能拖欠贷款。
生成式人工智能可以被认为是一种机器学习模型，经过训练可以创建新数据，而不是对特定数据集进行预测。生成式人工智能系统能够学习生成更多看起来像它所训练的数据的对象。
「当谈到生成人工智能和其他类型人工智能的实际机制时，区别可能有点模糊。通常，相同的算法均可用于两者。」麻省理工学院电气工程和计算机科学副教授、计算机科学和人工智能实验室 (CSAIL) 成员 Phillip Isola 说道。
尽管 ChatGPT 及其同类产品的发布引起了大肆宣传，但该技术本身并不是全新的。这些强大的机器学习模型承载了 50 多年的研究和计算进展。
复杂性增加
生成式人工智能的一个早期例子是一个简单得多的模型，称为马尔可夫链。该技术以俄罗斯数学家安德烈·马尔科夫（Andrey Markov）的名字命名，他于 1906 年引入了这种统计方法来对随机过程的行为进行建模。在机器学习中，马尔可夫模型长期以来一直用于下一个单词预测任务，例如电子邮件程序中的自动完成功能。
在文本预测中，马尔可夫模型通过查看前一个单词或前面的几个单词来生成句子中的下一个单词。但因为这些简单的模型只能回顾那么远，所以它们不擅长生成可信的文本，麻省理工学院电气工程和计算机科学 Thomas Siebel 教授、CSAIL 和数据、系统与社会研究所（IDSS）的成员 Tommi Jaakkola 表示。
「我们在过去十年之前就已经开始生成东西了，但这里的主要区别在于我们可以生成的对象的复杂性，以及我们可以训练这些模型的规模。」他解释说。
就在几年前，研究人员还倾向于寻找一种能够充分利用特定数据集的机器学习算法。但这种关注点已经发生了一些转移，许多研究人员现在正在使用更大的数据集（可能包含数亿甚至数十亿的数据点）来训练可以取得令人印象深刻结果的模型。
ChatGPT 和类似系统的基础模型的工作方式与马尔可夫模型非常相似。但一个很大的区别是 ChatGPT 更大、更复杂，有数十亿个参数。它接受了大量数据的训练——在这个例子中，是互联网上公开的大部分文本。
在这个庞大的文本语料库中，单词和句子以具有一定依赖性的顺序出现。这种重复有助于模型理解如何将文本切割成具有一定可预测性的统计块。它学习这些文本块的模式，并利用这些知识来提出接下来可能发生的情况。
更强大的架构
虽然更大的数据集是使生成式人工智能欣欣向荣的催化剂之一，但各种重大研究进展也催生了更复杂的深度学习架构。
2014 年，蒙特利尔大学的研究人员提出了一种称为生成对抗网络 (GAN) 的机器学习架构。GAN 使用两种协同工作的模型：一个学习生成目标输出（如图像），另一个学习从生成器的输出中区分真实数据。生成器试图欺骗鉴别器，并在此过程中学习做出更真实的输出。图像生成器 StyleGAN 就是基于这些类型的模型。
一年后，斯坦福大学和加州大学伯克利分校的研究人员引入了扩散模型。通过迭代地完善其输出，这些模型学习生成与训练数据集中的样本相似的新数据样本，并已用于创建逼真的图像。扩散模型是文本到图像生成系统稳定扩散的核心。
2017 年，谷歌的研究人员推出了 Transformer 架构，该架构已用于开发大型语言模型，例如为 ChatGPT 提供支持的语言模型。在自然语言处理中，转换器将文本语料库中的每个单词编码为标记，然后生成注意图，该注意图捕获每个标记与所有其他标记的关系。此注意力图可帮助转换器在生成新文本时理解上下文。
这些只是可用于生成人工智能的众多方法中的几种。
一系列应用
所有这些方法的共同点是它们将输入转换为一组标记，这些标记是数据块的数字表示。只要您的数据可以转换为这种标准的 token 格式，那么理论上，你就可以应用这些方法来生成看起来相似的新数据。
「你的里程可能会有所不同，具体取决于你的数据的噪音程度以及信号提取的难度，但它确实越来越接近通用 CPU 可以接收任何类型的数据并开始以统一方式处理它的方式。」Isola 说。
这为生成式人工智能开辟了广泛的应用领域。
例如，Isola 的团队正在使用生成式人工智能来创建合成图像数据，这些数据可用于训练另一个智能系统，例如教授计算机视觉模型如何识别物体。
Jaakkola 的团队正在使用生成式人工智能来设计新颖的蛋白质结构或指定新材料的有效晶体结构。他解释说，就像生成模型学习语言依赖性一样，如果它显示晶体结构，它就可以学习使结构稳定和可实现的关系。
但是，虽然生成模型可以取得令人难以置信的结果，但它们并不是所有类型数据的最佳选择。麻省理工学院电气工程和计算机科学系 Andrew 和 Erna Viterbi 教授、IDSS 和信息与决策系统实验室成员 Devavrat Shah 表示，对于涉及对结构化数据（例如电子表格中的表格数据）进行预测的任务，生成式人工智能模型的性能往往优于传统的机器学习方法。
「在我看来，它们的最高价值就是成为对人类友好的机器的绝佳界面。以前，人类必须用机器语言与机器对话才能使事情发生。现在，这个界面已经弄清楚了如何与人类和机器对话。」Shah 说。
Raising red flags
生成式人工智能聊天机器人现在被用于呼叫中心来回答人类客户的问题，但这一应用程序反应了实施这些模型的一个潜在危险信号——工人可能会失业。
此外，生成式人工智能可能会继承和扩散训练数据中存在的偏见，或放大仇恨言论和虚假陈述。这些模型具有剽窃的能力，并且可以生成看起来像是由特定人类创作者制作的内容，从而引发潜在的版权问题。
另一方面，Shah 提出，生成式人工智能可以赋予艺术家权力，他们可以使用生成工具来帮助他们制作他们可能无法制作的创意内容。
未来，他认为生成式人工智能将改变许多学科的经济学。
Isola 认为生成式人工智能的一个有前途的未来方向是其在制造中的应用。也许它可以生成可以生产的椅子的计划，而不是让模型制作椅子的图像。
他还看到了生成式人工智能系统在开发更通用的智能人工智能代理方面的未来用途。
「这些模型的工作原理和我们对人类大脑工作原理的看法存在差异，但我认为也有相似之处。我们有能力在头脑中思考和梦想，提出有趣的想法或计划，我认为生成式人工智能也是使代理能够做到这一点的工具之一。」Isola 说。
相关报道：https://techxplore.com/news/2023-11-generative-ai.html