深入解析NVIDIA GB300全液冷方案设计

一、GB200液冷方案回顾

作为GB300的前代方案，在GB200的设计中，水冷技术展现了NVIDIA对高密度计算能力冷却的深刻理解。

1.整体液冷方案

以计算托盘为例，其冷板配置采用“一进一出”设计，每个大型冷板通过一对UQD连接到液冷系统。多个冷板通过歧管汇合，最终连接到机箱外壳。

GB200采用快速接头连接冷板与歧管，每根管两端各有一对快接接头（冷板侧为母头，歧管侧为公头）。

值得注意的是，冷板上的母头隐藏在密封圈内，外部不易察觉，而歧管侧的公头则更突出。这种设计确保了水冷系统的灵活性和可维护性。

2.液冷板设计

冷板方面，GB200采用了当前业内冷板液冷设计，其核心特点是将两个GB200计算单元整合为一个模组，两个冷板模组做并联设计。

其主要特点是：

• 两个冷板模组均配置快插接头，便于快速开断运维；
  

• 每个模组内两个B200冷板并联，汇流后再与G200冷板串联；
  

• CPU冷板兼顾了LPDDR5内存和CX7网络芯片等低功耗器件的散热。

图：GB200上的液冷模组

模组内三块冷板（GPU和CPU冷板）之间通过硬铜管或波纹管连接，CPU冷板尺寸较大。从下图采用波纹管连接冷板的模型上，可清晰看出冷板间的串并联结构。

图：GB200液冷模组的液体流动方向

该方案存在以下主要问题：

• 运维不便：三个芯片冷板作为一组，安装和拆卸复杂度高；

• 流阻偏高：两个GPU冷板并联后与CPU冷板串联，导致节点内流阻较大；

• 成本与尺寸问题：CPU冷板需兼顾次级热源，尺寸大且成本高；

• 扩展性不足：节点内未设计分液器，新增器件冷板需重新规划流阻匹配。

二、GB300冷板演进与设计改进

与GB200相比，GB300在液冷设计上迈出了大胆的一步。

最重要的变化是冷板结构的创新：GB300放弃了用大型冷板覆盖多颗芯片的模式，而是为每颗芯片配备独立的“一合一”液冷板。

图：GB300计算板关键发热单元

1.冷板设计方案主要优化点

1) 引入分液器（Manifold）：节点内设置进出液Manifold，各配置10对快插接头（NVQD03型），实现对GPU、CPU等多器件冷板的并联供液，简化拆装运维。

2) 全冷板覆盖：扩展液冷至配电板（PDB）、OSFP光模块和BF3网卡等器件，确保高功耗关键组件均液冷散热。

3) SSD液冷：为8个M.2 SSD设计专用冷板回路，支持可插拔设计，冷板表面采用TIM确保冷板与SSD接触以降低热阻，并集成耐磨结构以满足插拔需求。

对于两组GB300的冷板设计，从下面的模型中可看出设计方案有如下调整：

• 4个GPU冷板单独进出液，全并联

• CPU冷板并联设计，LPDDR5和CX8的冷板均通过热管将热量传输到CPU冷板上散热，热管具备一定变形能力，可无需将CPU冷板设计为一体的铜块

图：GB300冷板设计模型

上图模型中，所有的快插接头没有明显的区分进出液管的位置，实际节点内设计方案（下图），可明显看出进液快接在上，出液在下。

2. GB300其他器件冷板设计

节点内除两组GB300的6个冷板回路外，其他器件冷板设计如下：

• OSFP冷板：上方两个OSFP冷板串联，通过软管连接确保每个模块冷板可单独浮动，有效液冷；

• SSD冷板：独立回路设计，支持可插拔液冷；

• PDB冷板：单独冷却回路；

• BF3与下方OSFP共用冷却回路：两个OSFP冷板串联后连接BF3冷板，BF3的QSFP光模块通过弯折铜管嵌入导热板冷却。

图：GB300其他器件冷板设计

三、GB300液冷的突破性创新

1.模块化插槽设计

GB300采用插槽式处理器模块设计，将CPU、GPU和HBM3内存集成到一个可拆卸模块中。冷板嵌入插槽底座，芯片与冷板之间的微缝隙填充液态金属导热界面材料，以实现高效散热。

2.液态金属界面（LMI）技术

• 材料特性：镓基合金（不含汞），熔点15.5°C，流动性极佳，间隙填充能力是导热膏的10倍。导热系数高达73 W/m·K（相比之下，导热膏的导热系数为5–12 W/m·K），热阻低至0.02 cm²·K/W。

• 防漏设计：双层密封圈+电磁锁可防止氧化或泄漏。冷板表面镀镍，以防止腐蚀和镓对铜/铝基材的侵蚀。 

  图：NVIDIA 5090采用LMI技术

四、总结

GB300冷板液冷方案是在GB200冷板架构方案基础上迭代而来，该方案通过Manifold并联架构+支路配置快接优化了流阻和运维效率，所有高功耗器件（如CPU、GPU、NIC、PDB、BF3和SSD）均实现冷板液冷，提升了系统的可靠性和扩展性。

更长远的一点想法：我们都知道盛极而衰的道理，AI服务器内越来越多器件采用液冷，冷板成本显著提升，某一天突然改成浸没式，变天了！