视觉 AI 的「Foundation Model」，已经发展到哪一步？丨CVPR 2024 现场直击

2024 年美国时间 6 月 17 日至 21 日，IEEE 国际计算机视觉与模式识别会议（CVPR）在美国西雅图召开。

如大家预料，视觉 Foundation Model 成为今年 CVPR 除自动驾驶、3D 视觉等传统研究课题以外的核心会议主题。

此外，由于会议召开前后，国内快手「可灵」开放图生视频功能火爆出圈、Runway 时隔一年推出新模型 Gen-3 Alpha，文生视频也成为 CVPR 2024 的一大热词。

今年， CVPR 的两篇最佳论文都颁给了 AIGC。从论文接收数量的角度看，图像和视频合成与生成（Image and video synthesis and generation）以329 篇论文成功占据榜首。而文生视频也属于视觉 Foundation Model 的研究讨论范畴。

事实上，Foundation Model 在人工智能领域的最早出圈就是在计算机视觉领域。

2021 年 8 月，斯坦福大学百位学者联名发表 Foundation Model 综述，作者队列里就有多位计算机视觉领域的翘楚，如李飞飞、Percy Liang 等。但OpenAI 凭借一己之力，在自然语言处理领域的 Foundation Model 上率先弯道超车，通过堆参数量与拼算力，将语言大模型做到极致，语言基座模型的风头也在 2023 年一度盖过了视觉基座模型。

然而，由于 Sora 与可灵等工作的炫丽效果，CV 领域内关于视觉「Foundation Model」的话题又重回牌桌。

在 CVPR 2024 的大会现场，AI 科技评论走访了多位从事过视觉基座模型的研究者，试图求解在现阶段领域内的专家人士如何看待「Foundation Model」。

我们发现：

1.视觉 Foundation Model 的研究思路也借鉴 OpenAI 的路线，将下一步重要突破放在如预测下一个 visual token、扩大算力规模等思路上；

2.不止一位研究者认为，无论是语言还是视觉，Foundation Model 的概念崛起后，AI 已经从一个开放的研究问题变成了一条实实在在的「工业生产线」，研究员的目标只有两个——「搞数据」与「搞算力」；

3.「多模态」成为视觉基础模型研究的一门显学，但视觉与语言两派的合作通道仍未有效建立。

除了 Foundation Model，我们也访谈了自动驾驶、3D 视觉领域的相关人士。我们也发现，诸如 CVPR 等从论文接收截止到会议召开时间长度跨越半年的学术会议，或许已不再适用于跟踪如今变化万象、日新月异的研究成果。

当 AI 研究中工业界与产业界的隔阂越来越小、融合越来越多时，哪怕是一个传统的学术会议也要有跟上时代潮流的意识。

「Foundation Model」的瓶颈与突破

事实上，基于 Transformer 开发通用的视觉基础模型并不是 2023 年 ChatGPT 火起来后才有的研究思路。

国外从微软 Swin Tranformer 到谷歌 ViT，再到国内上海人工智能实验室的「书生」（Intern）系列，都很早开始了通用视觉智能的探索。只不过与 BERT 被 GPT-3 碾压的命运一样，它们都被后来出现的 Sora 光芒掩盖；同时，由于 Sora 的技术路径独辟蹊径，也开始学习 Sora、借鉴 Sora。

在今年的 CVPR 上，上海人工智能实验室的通用视觉团队（OpenGVLab）展示了他们最新的视觉多模态基础模型研究成果 InternVL-1.5。该工作凭借强大的视觉编码器 InternViT-6B、高动态分辨率，以及高质量双语数据集，在业内广受追捧。CMU、面壁智能等国内外的多个开源对比数据也表示，InternVL 的效果名列前茅：

上海人工智能实验室OpenGVLab「书生」多模态大模型团队认为，视觉基础模型区别于以往工作的一个直接体现是多模态对话系统的构建。

InternVL-26B 的研究始于 2023 年 3 月。此前，视觉基础模型的相关研究代表工作是 OpenAI 在 2021 年发表的CLIP。「CLIP 作为古早的视觉基础模型，通过与 BERT 对齐，使 ViT 获得一定程度的语言表征对齐能力，但参数量只有 300 M 左右，规模太小，且对齐的对象不是 LLM。（多模态对话系统的构造）必须使用更多训练数据才能进行表征对齐。」

这启发了上海 AI Lab 团队开始研究 InternVL。他们的目标是在保持基础模型强大性和多功能性的前提下，将其作为对话系统的 backbone，既支持图像检测、分割，也能够像 CLIP 支持多模态任务，例如图文检索。最开始是研究了一个 6+7 的 13B 模型（即 InternVL-Chat-V1.2），但由于在对话系统的实际应用中表现一般，又投入大量精力优化对话功能，又得出了一个 26B 模型，即风靡一时的 InternVL-Chat-V1.5。

从 InternVL-1.5 技术报告得知，视觉基础模型研究的三个关键点是：

一，视觉模型必须接驳能力与之相媲美的语言模型。比如，他们一开始的 7B 语言模型无法充分发挥 6B 视觉模型的优势，但在他们将语言模型的规模扩大到 20B 后，问题得到了大幅改善。InternVL-Chat-V1.5 采用的是书生·浦语的 20B 模型，使模型具备了强大的中文识别能力；二是要适配高分辨率；三是要采用高质量数据集。

在今年的 CVPR 上，GPT-4o 团队作者首次公开分享了背后的技术路线：GPT-4o 的文字转图像采用了 DALL·E 路线，文字转文字是 GPT，文字转语音是 TTS。InternVL 研究员评价，GPT-4o 注重不同模型间的跨模态转化，但 InternVL 的路线是专注于同一个模型上不同模态的输入与文本理解的输出。OpenAI 路线并不是所有视觉Foundation Model 研究的权威路线。

目前领域内有一种声音认为，视觉基础模型应具备更强的离散化特性，即各个模态（包括视觉、语音和3D输入）都转换为离散表示、而非高维向量，并将其存储在同一框架下，解耦对外感知侧模型和 LLM 大脑模型，如此一来，多模态更加统一，训练更加独立，不用再关注视觉模型是否传梯度。

对此，研究员认为，「这是对原生多模态支持的一种尝试，便于进行端到端的训练和跨模态能力的支持。离散压缩可能会损失一些细微但关键的信息，此技术路线还有很多关键问题有待探索。」

针对视觉基础模型的瓶颈与突破方向，思谋科技研究员、香港中文大学 DV Lab 实验室成员张岳晨也提出了相似的看法。

他认为，目前视觉基础模型的难点主要在于大规模高质量数据如何收集和助力大规模的训练。不仅如此，视觉基础模型如何跳出模型输出语言的限制，支持原生多模态（如GPT-4o）也是接下来值得思考与研究的问题。

据雷峰网了解，目前 DV Lab 自研的视觉基座 Mini-Gemini 在开源社区引起了广泛的关注和反响，一度保持 SOTA 的位置，获得了 3k+ 的 stars。在今年的 CVPR 上，贾佳亚 DV Lab 团队的 LISA 模型、Video-P2P 等工作也获得了高度评价。

而南洋理工大学副教授张含望则认为，在视觉基础模型的研究中，大家经常忽视“理解任务”和“生成”任务本质是互斥的问题：前者是要让大模型丢掉视觉信息，而后者是让大模型尽可能保留视觉信息。然而，在语言大模型当中，这种互斥现象确从来没存在过。

张教授认为，症结就在于目前visual token 只是简单地把视觉信号“分块”，这种块状的空间序列和语言的“递归结构”是有本质区别。「如果不把图片或是视频变成递归序列 token 的话，是无法接入大语言模型的，而大语言模型是一个很重要的推理机器。但目前这一块，从行业来看，还没有特别好的研究成果出现，未来值得加大投入研究力度。」

图注：「理解」与「生成」的区别，来自南洋理工大学张含望教授的分享

此外，不止一位研究者认为，无论是语言还是视觉，Foundation Model 的概念崛起后，AI 已经从一个开放的研究问题变成了一条实实在在的「工业生产线」，研究员的目标只有两个——「搞数据」与「搞算力」。

接近 OpenAI 的知情人士也称，一开始冲着OpenAI 的 AGI 光环加入的顶级高校博士毕业生在加入研究后，也发生自己在实际研究中也更多扮演着螺丝钉般的角色，比如花大量的时间处理数据。一句逐渐在 OpenAI 内部成为经典的 Slogan 是：

There is no magic。

自动驾驶、端侧 AI

自动驾驶在今年的 CVPR 上占据了非常重要的位置，将语言大模型落地到自动驾驶是特色。

其中，核心就在于如何把大模型放到自动驾驶的场景中，因为驾驶需要理解环境、预测下一个时刻该如何前行，遇到边缘场景(corner case）的时候能否确保安全性等，这些都是自动驾驶领域接下来要重点研究的方向。

今年自动驾驶的一个探索趋势就是，大语言模型为自动驾驶端到端技术的算法和infra提供了新的思路和解决方案。以仿真平台为例，之前的仿真平台，多半是以计算机图形学的能力去做固定引擎，从而生成仿真平台，今年就有多家公司通过生成式AI的方式去做仿真平台。

CVPR 2024 自动驾驶国际挑战赛是业界和学界都关注的重要赛事。该比赛由上海人工智能实验室联合清华大学、图宾根大学、美团等国内外高校和科技企业共同举办，围绕当前自动驾驶领域的前沿技术、实践落地场景难题等共设置了 7 大赛道，吸引了全球近 500 支队伍参赛。

挑战赛要求参赛者开发一个端到端的 AV 模型，使用 nuPlan 数据集进行训练，根据传感器数据生成行驶轨迹。据 AI 科技评论了解，端到端自动驾驶是今年 7 大赛道中竞争最为激烈的赛道之一，冠军来自于英伟达联合复旦大学的自动驾驶算法参赛团队，亚军则是来自中国的零一汽车自动驾驶研发团队。

英伟达的研究人员告诉雷峰网 (公众号：雷峰网) ，L2++ 级别的端到端自动驾驶，其能力主要体现于两大板块，分别是 Planning 和 Percetion。

在自动驾驶领域中非常重要的多模态数据集 nuScenes，其中有 93% 的数据只是包含直行在内的简单驾驶场景，天然无法实现工业界产品级别的自动驾驶。这些场景多为自动跟车、自动泊车，以及静态环境信息，如交通标志、道路标示线、交通灯位置等。

Perception 是自动驾驶系统中的感知部分，负责通过各种传感器来感知周围环境的能力。它相当于自动驾驶车辆的“眼睛”，为系统提供关于道路、车辆、行人、障碍物等元素的信息。而 Planning 模块相当于自动驾驶系统中的“大脑”，负责决策和规划车辆的行驶路径。它接收来自上游模块（如地图、导航、感知、预测）的信息，并在当前周期内进行思考并做出判断。

英伟达团队告诉雷峰网，他们所作出的创新在于，在边缘场景的数据量不足够的情况下，使用基于规则的专家（rule-based expert）作为教师，将规则知识蒸馏给神经网络规划器。“我们认为，即便在数据量足够多的情况下，这一方法也将使得神经网络规划器变得更具有解释性。”

除了这些热门话题，在 CVPR 现场，还有很多厂商带来了亮眼的技术与产品，苹果就是其中一家。

从去年开始，苹果对大模型的投入力度肉眼可见地加大，尤其是生成式人工智能（GenAI）。虽然本身并不是一家 AI 能力特别强大的公司，但不懈的努力追赶后，苹果已然成功从一个三流水平的 AI 玩家挤进了二流水平战队。

今年 3 月，苹果正式发布多模态 LLM 系列模型，并在论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》中，通过构建大模型 MM1，阐述了多模态大模型预训练的方法、分析和见解，引起大众围观。

此次在 CVPR 大会上，论文的作者之一 Zhe Gan 现身大会论坛，系统介绍了苹果在更好地进行多模态大模型预训练所做的最新研究进展。他表示，大规模且与任务相关的数据对于训练高性能模型非常重要，因此，着重分析了如何通过基于模型的过滤和更多样化的数据源，来获得高质量的预训练数据。

据 Zhe Gan 介绍，在实验中，他们使用 45% 有字幕描述图像、45% 交错图像文本和 10% 的纯文本数据混合，作为预训练的数据混合，并为了评估，在各种字幕和 VQA 数据集使用 zero-shot （0-shot）和 few-shot (4-shot 和 8-shot)。

实验结果表明，交错数据对于 few-shot 和纯文本性能至关重要，而字幕数据提高了 zero-shot 性能；纯文本数据有助于提高 few-shot 和纯文本性能；精心混合图像和文本数据可以实现最佳多模态性能，同时保持强大的文本理解能力；合成数据有助于 few-shot 学习。

另外，Zhe Gan 表示，对于当前热门的 MoE 架构来说，可以在保持激活参数不变的情况下扩大模型总参数量，他们正在研究如何为多模态大模型设计更好的 MoE 架构。

写在最后

今年的 CVPR 是一场别开生面的盛会。

很多参会人员都向雷峰网表示，相较于往年，今年 CVPR 的 AIGC 元素异常浓厚，新技术、新产品接连涌现，让人印象深刻。但也有一些学者认为，还应该有更多更新的技术出现。

香港中文大学深圳（CUHKSZ）助理教授韩晓光参加完此次 CVPR 之后，认为 CVPR 的论文投稿时可以考虑设置两条轨道，一个是工程轨道，以效果作为动机驱动点，一个是研究轨道，专门以好奇心为驱动。两条轨道都应该需要有最佳论文奖项，Sora 是他心里工程轨道的最佳研究，而今年的「Generative Image Dynamics」则满足了他对最佳研究论文的想象。

「一直思考 CV 的未来是什么景象，斗胆预测（或者是一种希望）未来将 from ‘virtual’ to ‘physical’，可能以各种不同的形式。」韩晓光说道。

雷峰网原创文章，未经授权禁止转载。详情见 转载须知 。