Waymo 开放最大规模自动驾驶传感器数据集，覆盖多地点 1000 驾驶段高质标注数据

雷锋网 AI 开发者按： 近日，谷歌母公司 Alphabet 旗下的自动驾驶公司 Waymo 宣布开源他们团队的自动驾驶数据库，以帮助研究界在机器感知与自动驾驶技术方面实现突破。公开的数据集由 Waymo 自驾汽车在各种条件下采集的高度标注数据组成，包括了覆盖多个地点的 1000 个驾驶段上收集的数据。

Waymo 首席科学家兼项目负责人 Drago Anguelov 表示，该数据集是有史以来最大、最丰富、最多样化的自动驾驶数据集之一。Waymo 也发布了相关博客来介绍该数据集，雷锋网 (公众号：雷锋网) AI 开发者将其整理编译如下。

数据集简介

数据是机器学习的关键要素。我们的车辆在 25 个城市收集了超过 1000 万英里的自动行驶里程数据；这一丰富多样的实际数据帮助我们的工程师和研究人员开发了 Waymo 的自动驾驶技术和创新的模型及算法。

现在，我们邀请研究界加入我们的 Waymo 开放数据集中，该数据集是一个用于自主驾驶的高质多模式标注数据集。它由 Waymo 自驾车辆收集的高度标注数据组成，数据集涵盖了各种各样的环境，从密集的城市中心到郊区景观，以及白天和黑夜、黎明和黄昏、晴天和下雨天中收集的数据。所有感兴趣的研究人员都可以在   https://waymo.com/open/   免费下载。

图 1 Waymo 开放数据集涵盖了从密集的城市中心到郊区景观的各种环境

数据集具体内容

我们相信它是有史以来最大、数据最丰富、最多样化的自动驾驶数据集之一。数据集包含：

• 尺寸和覆盖范围：此版本包含 1,000 个自动驾驶路段的数据。每个数据片段捕获 20 秒的连续驾驶过程，相当于每个镜头标注参数为 10 Hz 的 200,000 帧。这样的连续镜头可以使得研究人员易于开发模型来跟踪和预测其它道路使用者的行为。

• 多样化的驾驶环境：该数据集涵盖凤凰城、亚利桑那州、柯克兰、华盛顿州、山景城、加利福尼亚州和加利福尼亚州旧金山的密集城市和郊区环境，并捕捉了各种驾驶条件下的数据（包含：白天和黑夜、黎明和黄昏、晴天和下雨天）。

• 高分辨率的 360 度视图：每个分段包含了来自五个高分辨率 Waymo 激光雷达和五个前置与侧面摄像头的数据。

• 密集标注：数据集包括激光雷达框架和图像；车辆、行人、骑自行车者和标识牌都经过了精心的标记，共捕获了 1200 万个 3D 标注和 120 万个 2D 标注。

图 2 数据集包括 Waymo 高清摄像机的摄像机镜头和 120 万个 2D 标签

• 相机 - 激光雷达同步：我们一直致力于融合了来自多个摄像头和激光雷达数据的 3D 感知模型。我们设计了整个自驱动系统，包括可以无缝地协同工作的硬件和软件，也包括了对传感器位置的选择和高质量时间同步设置。

图 3 数据集包含了高质时间同步的激光雷达与相机拍摄数据

数据集现状

Waymo 开发的数据集目前包含来自 1000 个片段（每个数据片段大小为 20s）的激光雷达和相机拍摄数据，以下是当前包含的内容：

• 1000 个片段，每段 20s 录像，在不同的地理位置和条件下以 10 Hz（200000 帧）参数进行收集。

• 传感器数据

1 个中程激光雷达

4 个短程激光雷达

5 个摄像头（正面和侧面）

时间同步的激光雷达和相机拍摄数据

激光雷达到相机的投影数据

传感器校准和车辆姿态数据

• 标记数据

4 个对象类别的标注，包括：车辆、行人、骑自行车者、标志

所有 1000 个区段的激光雷达数据的高质量标注

带有激光雷达数据跟踪 ID 的 12M 3D 边界框标注

100 段摄像机数据的高质量标注（之后将添加更多内容）

具有摄像机数据追踪 ID 的 1.2M 2D 边界框标注

• 代码

可通过 GitHub 进行访问， https://github.com/waymo-research/waymo-open-dataset 。

这些数据可用于非商业用途，但研究的定义相当广泛，其他企业、学者和研究人员都可以使用；可通过（ https://waymo.com/open/terms/ ）查看详细许可协议。 

数据集意义及未来计划

在机器学习研究方面，获得相应的数据能很好的将想法变成真正的创新。这些数据有可能帮助研究人员在 2D 和 3D 感知方面取得进展，并在场景适应、场景理解和行为预测等领域取得进展。我们希望研究界能够通过我们的数据发现更多令人兴奋的研究方向，这不仅有助于使自动驾驶车辆更加安全强大，而且还会影响其他相关领域和应用，例如：计算机视觉和机器人技术。

虽然这个数据集不能反映我们传感器系统的全部功能，并且它只包含 Waymo 自动驾驶系统训练所依据数据的一小部分，但我们相信出于研究目的，这个大型、多样化和高质量的数据集是非常有价值的。

我们计划将很快扩大这个数据集的规模。除此之外，我们还计划后续在此数据集上发布一些基准模型的性能；到时，我们会为使用该数据集的人提供相应的挑战赛。

Waymo 官网

https://waymo.com/open/  

博客地址

https://medium.com/waymo/waymo-open-dataset-6c6ac227ab1a  

GitHub 地址

https://github.com/waymo-research/waymo-open-dataset  

雷锋网 AI 开发者 雷锋网

。