老黄展示了一个用于生成式 AI 和 HPC 应用的加速 CPU——GH200

它拥有 144 核 Grace CPU，8 PFLOPS 算力的 Hopper GPU，282 GB 的 HBM3e 显存。

当然，真正做生成式 AI 的公司不可能买一个，来看看如何组一个机房。

首先 GH200 使用 CPU-to-GPU Link 将 CPU 和 GPU 「粘」在一起，这让 CPU 和 GPU 之间的通信速度达到 PCIe 5.0 的 7 倍。一块 GH200 加上网络通信组件，就是个机架式的主机。再加上 NVLink 转换器，就能实现机柜内 8 个 GPU 之间的通信。

最终，可以形成 16X16，也就是 256 个 GPU 单元的计算系统。

算力达到 1 EFLOPS，共有 144 TB 的高速内存。

它有多大呢？看图，老黄说这就是 1:1 显示在屏幕上的。

对比一下前不久特斯拉刚刚量产的 Dojo，算力 1.1 EFLOPS，用了 3,000 颗 D1 芯片。

因此，这个名为 DGX GH200 SuperPod 的超级计算机的一大优势是，同样算力之下，可以少用很多芯片。

老黄还说了另一大优势，竟然是省电。

同样是 1 亿美金的投入，你可以用 8,800 个 x86 的 CPU，功耗是 5 MW。也可以用 2,500 个 GH200，功耗是 3 MW，更省电，但是 AI 推理能力提升了 12 倍。

如果想要 x86 CPU 同样 AI 推理能力，只需要 210 个 GH200，花费的资金是 800 万美元，功耗 0.26 MW。

新能源汽车42how英伟达生成式AI