NVIDIA 推出液冷 A100 GPU，“掌上服务器”生产模块即将开售

来源：智东西

在 2022 年台北国际电脑展（Computex）上，英伟达宣布推出液冷 A100 PCIe GPU，以满足客户对高性能碳中和数据中心的需求。这在主流服务器 GPU 中尚属首例。

同时，NVIDIA 宣布多家领先厂商采用全球首批基于 NVIDIA 自研数据中心 CPU 的系统设计，并有 30 多家全球技术合作伙伴在 Computex 上发布首批基于 NVIDIA Jetson AGX Orin 的边缘 AI 与嵌入式计算系统。

当前 NVIDIA 正围绕 CPU、GPU、DPU 这数据中心三大芯片支柱全面发展，以辅助其合作伙伴构建实现新一波数据中心转型、构建现代 AI 工厂。其中，CPU 管理整个系统的运行，GPU 负责提供核心计算能力，DPU 负责处理安全的网络通信并提供网络内置计算能力以优化整体性能。

NVIDIA 硬件工程高级副总裁 Brian Kelleher 透露说，NVIDIA 将每种芯片架构的更新节奏设定为两年，一年将专注于 x86 平台，一年将专注于 Arm 平台，无论客户与市场偏好如何，NVIDIA 体系架构和平台都将支持 x86 和 Arm。

NVIDIA 加速计算业务副总裁 Ian Buck 谈道，如果世界上所有的 AI、高性能计算、数据分析工作负载都在 GPU 服务器上运行， NVIDIA 预估每年可节省超过 12 万亿瓦时的电力，相当于每年减少 200 万辆 汽车 上路 。

一、液冷 GPU：同等性能、更少耗电

液冷技术诞生于大型机时代，在 AI 时代日臻成熟。如今，液冷技术已经以直接芯片（Direct-to-Chip）冷却的形式广泛应用于全球高速超级计算机。NVIDIA GPU 在 AI 推理和高性能计算方面的能效已比 CPU 高出 20 倍，而加速计算也顺理成章地将采用液冷技术。

NVIDIA 估算，如果将全球所有运行 AI 和高性能计算的 CPU 服务器切换为 GPU 加速系统，每年可节省高达 11 万亿瓦时的能源。节约的能源量可供 150 多万套房屋使用 1 年。

今日，NVIDIA 发布了 率先采用直接芯片冷却技术的数据中心 PCIe GPU。这款液冷 GPU 可在减少能耗的同时维持性能不变，现已进入试用阶段，预计将于今年夏季正式发布。

旗下管理超过 240 个数据中心的全球服务提供商 Equinix 已在验证 A100 80GB PCIe 液冷 GPU 在其数据中心的应用，这也是该公司为实现可持续性冷却和热量捕获的综合性方案中的一部分。

在单独的测试中，Equinix 和 NVIDIA 均发现： 采用液冷技术的数据中心工作负载可与风冷设施持平，同时消耗的能源减少了约 30%。 NVIDIA 估计， 液冷数据中心的 PUE 可能达到 1.15，远低于风冷的 PUE 1.6。

在空间相同的条件下，液冷数据中心可实现双倍的计算量。这是由于 A100 GPU 仅使用一个 PCIe 插槽，而风冷 A100 GPU 需使用两个 PCIe 插槽。

今年晚些时候，华硕、新华三、浪潮、宁畅、超微、超聚变等至少十几家系统制造商将在其产品中使用液冷 GPU。

据悉， NVIDIA 计划于明年推出的一版 A100 PCIe 卡中搭载基于 NVIDIA Hopper 架构的 H100 Tensor Core GPU。 近期内， NVIDIA 计划将液冷技术应用于自有高性能数据中心 GPU 和 NVIDIA HGX 平台。

二、数十款基于 NVIDIA Grace CPU 的服务器将于明年出货

Grace 是 NVIDIA 首款数据中心 CPU，专为 AI 工作负载而打造。该芯片有望在明年出货，将提供两种外形规格。

上图左侧 Grace-Hopper 是一种旨在加速大型 AI、高性能计算、云和超大规模工作负载的单一超级芯片模组，在 Grace CPU 和 Hopper GPU 之间实现了芯片级直连，CPU 与 GPU 通过带宽可高达 900GB/s 的互连技术 NVLink-C2C 进行通信。

Brian Kelleher 说，Grace 将以比任何其他 CPU 快 15 倍的速度，将数据传输到 Hopper，并将 Hopper 的工作数据大小增至 2TB。

同时，NVIDIA 还提供将两个 Grace CPU 芯片通过 NVLink-C2C 互连在一起的 Grace 超级芯片。Grace 超级芯片拥有 144 个高性能 Armv9 CPU 核心，内存带宽高达 1TB/s，能效是现有服务器的 2 倍。包括 1TB 内存在内的整个模组，功耗仅为 500W。

除了 NVLink-C2C 外，NVIDIA 亦支持今年早些时候发布、仍在发展完善的 chiplet 标准 UCIe。

今天，NVIDIA 发布 4 种面向标准数据中心工作负载的 Grace 参考设计： 1、适用于云 游戏 的 CGX；2、适用于数字孪生和 Omniverse 的 OVX；3、适用于高性能计算和超级计算的 HGX；4、适用于 AI 训练、推理和高性能计算的 HGX 。

紧接着，NVIDIA 宣布推出 HGX Grace 和 HGX Grace Hopper 系统，将提供 Grace Hopper 和 Grace CPU 超级芯片模组及其相应的 PCB 参考设计。两者均为 OEM 2U 高密度服务器机箱而设计，可供 NVIDIA 合作伙伴参考与修改。

华硕、富士康工业 互联网 、GIGABYTE、QCT、Supermicro 和 Wiwynn 的 数十款服务器型号的 Grace 系统预计将于 2023 年上半年开始发货 。

三、首批 Jetson AGX Orin 服务器和设备发布

NVIDIA Isaac 机器人平台有 4 个支柱：一是创建 AI；二是在虚拟世界中仿真机器人的操作，然后在现实世界中进行尝试；三是构建实体机器人；四是管理已部署机器人队列的整个生命周期。

在构建现实世界的实体机器人并进行部署方面，NVIDIA Jetson 已成为适用于边缘和机器人的 AI 平台， 拥有超过 100 万开发者、超过 150 个合作伙伴，超过 6000 家公司使用 Jetson 用于量产 。

Jetson AGX Orin 采用 NVIDIA Ampere Tensor Core GPU、12 个 Arm Cortex-A78AE CPU、下一代深度学习和视觉加速器、高速接口、更快的内存带宽、多模态传感器， 可提供每秒 275 万亿次运算性能，相当于一台 " 掌上服务器 " 。

在针脚兼容性与外形尺寸相同的情况下，其处理能力超过前代产品 NVIDIA AGX Xavier 8 倍。

Jetson AGX Orin 开发者套件自 3 月开始已通过经销商在全球发售，生产模块将于 7 月开始发售，起售价为 399 美元。Orin NX 模块尺寸仅为 70 毫米 x45 毫米，将于 9 月上市。

面向边缘 AI 和嵌入式计算应用，研扬、凌华、研华等全球 30 多家 NVIDIA 合作伙伴在 Computex 上发布了首批基于 NVIDIA Jetson AGX Orin 的生产系统，覆盖服务器、边缘设备、工业 PC、载板、AI 软件等品类。

这些产品将推出有风扇和无风扇配置并且提供多种连接和接口选项，并会加入适用于机器人、制造、零售、运输、智慧城市、医疗等重要 经济 部门或加固型应用的规格。

为了加速 AMR 的开发，NVIDIA 还推出用于 AMR 的先进计算和传感器参考设计 Isaac Nova Orin 。

Nova Orin 由 2 个 Jetson AGX Orin 组成，支持 2 个立体摄像头、4 个广角摄像头、2 个 2D 激光雷达、1 个 3D 激光雷达、8 个超声波传感器等多种传感器，参考架构将于今年晚些时候推出。

Jetson 平台也拥有全方位的 NVIDIA 软件支持。为了满足特定用例的需求，NVIDIA 软件平台加入了：用于机器人技术的 NVIDIA Isaac Sim on Omniverse，用于构建语音 AI 应用的 GPU 加速 SDK Riva，用于 AI 多传感器处理、视频、音频和图像理解的串流分析工具包 DeepStream，以及通过整合视觉数据与 AI 提高行业运营效率和安全的应用框架、开发者工具组与合作伙伴生态系统 Metropolis。

结语：极具前瞻性的 AI 时代硬件霸主

从今天的一系列新发布，我们可以看到 NVIDIA 正通过愈发全面的底层软硬件平台优化及端到端解决方案，与合作伙伴一起为从边缘到数据中心的 AI 应用提供多样化的技术及方案支持。

如今高性能数据中心的需求正在蓬勃生长，汽车等其他系统也愈发追求绿色低碳，能够显著节省能源消耗的液冷技术已经成为越来越多数据中心运营商迫切加码的方向。NVIDIA 今日推出的液冷 GPU，正切 " 双碳 " 大势下的数据中心建设刚需，为计划向液冷技术转型的厂商们提供了具有吸引力的硬件基础设施。

随着 NVIDIA 基于 Arm 架构研发的 Grace CPU 超级芯片和 Grace Hopper 超级芯片随着服务器产品进入数据中心，这些兼顾 AI 加速和节能需求、启用多重创新技术的新作不仅有助于拓展 NVIDIA 的收入来源，也将为 Arm 在数据中心市场的扩张起到关键的推动作用。

而面向边缘 AI 与机器人领域，首批 Jetson AGX Orin 生产系统落地后，开发者将能借助 NVIDIA 持续打磨的工具及平台，降低 AI 开发部署的时间和成本，从而加速 3D 感知、多传感器融合等应用在各行各业的广泛应用与创新。