|
数据中心数量的快速增长，加上其高能耗，可能会制定更严格的法规要求以促使数据中心降低能耗。由于冷却系统通常占传统风冷数据中心能耗的40%，因此采用更高效的数据中心冷却方案变得越来越重要。液冷是风冷数据中心的有效替代方案，特别是因为它能够处理现代高热流密度的计算芯片。单一风冷技术因存在局部热点、高能耗等问题已被证明不能满足大功率数据中心的散热需求。一种很有前途并且较简易的更替空气冷却的方法是风-液混合冷却。对大功率部件采用液冷、其他部件采用风冷的风-液混合冷却分级散热已成为主要发展方向之一，结合液冷与风冷的混合系统成为这一时期的主流，并逐步向全液冷迁移。
风-液混合的数据中心冷却通常采用液体模块冷板与高发热量部件（如CPU、GPU等）直接接触，以高效吸收热量。同时，服务器机箱内仍保留风冷系统，用于辅助冷却其他部件。许多研究表明，液体冷却的加入显著降低了冷却过程的能耗。其中一个主要原因是，由于空气和水具有不同的物理性质，导致它们的传热特性也有很大的不同。一些学者针对数据中心的不同冷却方式进行了多方面的比较分析工作。Chi等在一些假设下，包括IT系统满负荷运行，设施供水和回水温度升高，因此风冷解决方案需要完全机械冷却。最后得到，该数据中心采用封闭式、浸入式、直接液冷系统，能耗减少95.88kW，比混合式空气-水冷却系统节省29%的能耗。此外液冷数据中心通常不需要较多的风扇等旋转组件，提供了更高的可靠性。Watson等研究了风冷和浸没冷却的灵活性。对于液体浸没冷却系统，可以有一个灵活的数据中心冷却环境，可以满足现代世界不断变化的IT需求。Yatskov等提出了一套比较风冷和液冷的规格。首先是系统配置和运行条件。所考虑的假想计算机集群应产生约1MW的IT功率。其次，该规范中的机柜架构假设每个水平卡都是从前面插入的，没有从机柜后面插入。第三，为了保持65℃的外壳温度限制，风冷方法需要配备压缩机的冷水机，但液冷方法首选干式冷却器，证明了液体冷却比空气冷却更有效。
尽管还有许多文章已经指出添加液冷的服务器比风冷服务器有优势。但是由于液体冷却和空气冷却数据中心都有完全不同的设计和硬件配置，这使得在实践中很难进行直接比较和详细评估，所以有必要做进一步研究。本文对空气强制直接冷却和风-液混合冷却的服务器及冷却系统进行建模，建立数据中心能源利用模型，详细比较这两种不同的数据中心冷却方式和部件级能耗，对进一步优化风-液混合冷却方式的冷却性能和挖掘降耗潜力具有重要意义。
本文首先对1U的服务器进行三维数值仿真计算，获得服务器的精准物理场。将服务器的进出口温度，冷却剂流量和服务器压差代入数据中心二次冷却系统的能源利用模型中。一维和三维耦合建模流程如图1所示，在最终得到环境温度35℃时，空气冷却和混合冷却的整体能耗结果，讨论两种冷却方式的运行特点及能耗差异。
空气冷却服务器和混合冷却冷却服务器的三维物理模型如图2。服务器模型为1U服务器，每个服务器有2个CPU处理器，其他辅助部件包括15个内存条和1个电源。CPU尺寸为18.8 mm×17.5 mm×1 mm，内存条尺寸为 220mm×25mm×4mm，电源尺寸为150mm×110.5mm×20mm。
风冷服务器的CPU采用翅片热沉冷却，如图2（a）所示，混合冷却的CPU采用冷板冷却，辅助部件均采用风冷如图2（b）。材料及物性如表1所示。在冷板冷却的模型中，冷板的冷却工质是水，服务器为空气入口。为了合理公平地比较不同冷却方式数据中心的能耗，对比的前提条件包括，服务器内各部件的种类，数量，尺寸和功率完全相同，并保证CPU最高温度均为85℃，其他边界条件见表2。内存条和电源均以体热元方式加热，CPU底面以恒定热流方式加热。
采用计算流体动力学软件Fluent 2023 R1进行计算分析。动量和能量方程的对流项的离散格式为二阶逆风。采用SIMPLE算法处理压力与速度的耦合关系，压力、速度等松弛因子采用默认值。为简单起见做了以下假设：
4) 辐射传热可以忽略。基于以上假设，控制方程如下
式中：u、ρf、μf、Tf、kf、cP,f、Ts和ks分别为流体速度、流体密度、流体黏度、流体温度、流体热导率、恒压比热容、固体温度和固体热导率。
网格独立性验证如图3所示，空气冷却网格数量为500万时，混合冷却当网格数量800万时，CPU最大温度的变化范围在0.9 ℃以内，故选用该网格数量对后续研究进行模拟分析。
图4显示了空气冷却系统的主要部件，服务器热量首先通过空气-水热交换器提供的冷气流消散，水通过冷机的制冷剂-水热交换器（蒸发器）冷却机 架的空气，冷机的蒸汽压缩循环使用制冷剂从水中吸收热量，通过冷凝器将热量排出到外部环境。
服务器模型如1.1节中的空冷服务器所示，服务器数量为40，服务器总功率为Φservers=18400W。服务器的冷却空气由空气-水换热器提供，空气-水换热器依据总换热量和工质流量通过Coildesigner软件设计得到。空气-水换热器的风扇依据所需总风量选择UF400AAA23。由于不考虑房间内的气流组织，故假设空调提供的风量有20%冗余，所以假设空气水换热器（HTX1）制冷量冗余20%，换热量为
离开HTX1并进入服务器的空气温度Tair-out，离开服务器的空气温度Tair-in，通过热交换器的空气质量流量mair是通过服务器三维仿真得到的，假定水侧的流量mwater已知，利用Coildesigner软件进行HTX1结构设计，管束结构如图5所示。
管排形式为叉排，换热管类型为光管，管长800mm，管内径7.3mm，管外径7.5mm。翅片类型为Louver Fin，翅片间距2.44mm，翅片厚度0.1 mm。空气-水换热器设计参数包括已知参数，迭代值及结果值。已知参数包括：空气侧空气入口温度及流量，水侧流量和换热器的总换热量ΦHTX1。通过迭代水侧的入口温度，即可求得换热器其他参数。
式中：Wfan是功耗；VRAF是额定风量；WRIP是额定输入功率；Vfan-air是空气的体积流率；Nfan是风扇数量。
式中：Wwater-pump是水泵功耗；mwater是水流量；Δp是换热器水侧压降；ρ是水密度；ŋ是效率；假定为90%。制冷系统包括蒸发器、压缩机、冷凝器和膨胀阀，制冷剂为R134a。基本制冷循环如图6所示。蒸发器是制冷剂和水的换热器，假设蒸发盘管内外壁均有较高传热系数，所以假定蒸发器的蒸发温度TEVsat与进入蒸发器水温Twater-out的温差为2℃。此外，对应的压力PEVsat从制冷剂的饱和曲线得出。
由于冷机设计成防止液体进入压缩机，所以蒸发器流出的状态1的气体为稍微过热，h1=1.001hg，hg是饱和蒸汽状态的焓，状态4焓h4由下式得出
式中：Φevaporator蒸发器换热量；mrefrig制冷剂流量。
从状态3到状态4的过程是制冷剂从饱和液态的恒定焓膨胀，因此状态3的焓h3=h4，通过查状态3的压焓图，即能得到状态3的物性参数。
式中：Tao为冷凝器的空气侧出口温度；Tai为冷凝器的空气侧进口温度；TCONsat为冷凝器的制冷剂侧的的饱和温度；mCONair是冷凝器空气的质量流量；cpair是空气的比定压热容；k是总传热系数。
冷凝器的管束结构如图7所示。管排形式为叉排，换热管类型为光管，管长1200mm，管内径8.8mm，管外径9.5mm。翅片类型为Louver Fin，翅片间距2.07mm，翅片厚度0.14mm。通过改变R134A流量和空气流量，可以将冷凝器的总传热系数k绘制 为空气流量的函数，如图8所示。
状态2下的焓h2可以由热力学第一定律通过使从冷凝器到空气的热传递相等来确定，即
这是第一个解，是根据冷凝器两侧的能量平衡计算得到的，但由于它是围绕制冷剂流量迭代的，因此需要第二个解来验证原始解是否正确。压缩机的功Wcomp-2，还可以表示为
式中：h2-2为2点的实际焓值。在压-焓图上，对于理想制冷循环，状态1至状态2的压缩过程是恒定熵压缩。利用从h1到Psat等压线的恒定熵下的压焓图，可以查得状态2处的理想焓值是h2s。假设压缩机效率为88%，h2-2可表示为
所以这第二个解是依据先假定过程1→2的等熵过程，在已知压缩机效率的情况下计算得到，因为制冷剂流量为假定值，不同的制冷剂流量会得到不同的状态2的焓值。所以这种迭代方法是利用了机械制冷循环中所有与状态2点相关的过程进行同步计算。迭代假定的制冷剂流量，当通过所有相关过程，计算出的压缩机的两个功耗解，Wcomp-1=Wcomp-2的误差在1%范围内，即认为制冷剂流量为假定值准确。
冷板冷却时，是将冷冻水直接泵送至冷板，因此冷板冷却的蒸发器中需要不同的制冷剂温度。混合冷却需要两台冷水机，否则，冷板将有比所需温度低得多的温度，会导致能耗变大。图9为混合冷却模型系统示意图，处理器采用冷板冷却，与空气冷却系统系统相比，直接去掉了效率较低的空气-水换热器，辅助部件采用空气冷却。
另外，冷板冷却管道会存在沿程压降，沿程压降计算公式为
式中：L管长；d管道直径；v流体速度；g重力加速度；d=5mm；L=44.45×40×2=3556mm。其次服务器的冷板管道出入口存在弯头，局部阻力公式为
式中：ξ是局部阻力系数，与局部阻力的形状有关，假设弯头为90°，ξ=0.15。冷板压降，管道沿程压降和局部压降的总和为服务器水泵所提供的总压头。处理器总功率为Φchip=12000W，辅助部件总功率为 Φaccessory=6400W。混合冷却系统中的主要部件与上文介绍的空气冷却系统部件模型的计算方法及假设相同，在此不再赘述。特别的，在混合冷却中，辅助部件的风冷所需冷量也冗余20%，混合冷却中，CPU的冷板冷却部分也设置制冷量冗余20%，主要考虑的是冷量的损失。混合冷却系统与风冷冷却系统的不同如表3所示。
风冷冷却服务器和混合冷却服务器的仿真结果如表4，温度云图如图10，仿真结果是40个服务器的累加，并假设服务器的出口工况完全相同。
根据仿真结果，40个空冷服务器需要的总风量为9255.56m³/h，单个风冷服务器的风量为231.39m³/h，选择的服务器风扇类型为轴流式UF92AM，每个服务器的风扇数量是4个。40个混合冷却服务器冷却辅助部件需要的总风量为6478.89m³/h，冷却CPU需要的去离子水量为1.413 m³/h，单个风冷服务器的风量为161.97m³/h，选择的服务器风扇类型和数量与空冷服务器相同。
在相同服务器功率下，数据中心空气冷却和混 合冷却系统的部件能耗比较如图11所示。混合冷却的 空气冷却辅助部件的系统和空气冷却相同，并假设 水回路流量相同，所以水回路水泵功耗相同。另外， 混合冷却中的冷板冷却的CPU部分去除了服务器和 换热器风扇。所以混合冷却中的服务器和换热器风 扇功率消耗来源于辅助部件的冷却，相比于空气冷 却所需风量减少30%，所以这两类风扇的功率也减少 了30%，减少0.59 kW。在服务器侧冷板的泵功相比 于风扇功耗小得多。
如图11，冷板水泵功耗仅为0.27kW。主要原因在于水和空气的物性不同，带走相同的热量，所需水的流量比空气小得多，表4的服务器冷却剂流量结果也可以证明。所以在服务器侧和换热器侧，混合冷却共节约功耗0.32kW。其中换热器侧，混合冷却节约0.24kW。可见，混合冷却由于液冷系统没有空气-水换热器，不仅简化了系统，除去了大量风扇，也进一步提高了数据中心一次冷却侧和二次冷却侧的热量传递效率，是降低能耗的有效方法，也是冷板冷却的优势。冷机侧的压缩机和冷凝器风扇功率，混合冷却共节约4.56kW。空气冷却的总能耗是30.25kW，混合冷却的总能耗是25.35kW。
两种冷却方式的总能耗及各部件能耗占比如图12所示。所有冷却方式，冷却系统中压缩机的功耗都最大，分别占比31.37%，19.52%。所以降低压缩机能耗的是节能的另一有效方法。另外，在两种不同冷却方式下，风冷系统中的服务器风扇都是冷却系统中耗能第二大的部件，其次为换热器的风扇。冷凝器风扇是所有风扇中功耗最小的，占比小于1%。两种不同冷却方式中，混合冷却方式共节约了4.896kW，节能19.58%。因为未考虑照明等辅助部件的耗电，所以冷却系统能耗指标使用冷却系统总能耗与服务器总能耗（partial Power Usage Effectiveness，pPUE），空冷变为混合冷却后，pPUE从1.644降低至1.378。
两种冷却方式制冷循环压焓图如图13所示，因为混合冷却包括风冷和液冷两个系统，所以在制冷循环比较图时，共绘制3个循环。包括全服务器空气冷却压缩制冷循环，混合冷却的空气冷却压缩制冷循环和混合冷却的冷板冷却压缩制冷循环。
据上文所述，所有冷却系统中的压缩机功耗是最大的。制冷系数是制冷量与功耗的比值。本文中不同冷却系统的制冷循环制冷系数越高，表示在规定制冷量下，所消耗的能量越少。图13比较了蒸发温度，冷凝温度和制冷系数。冷凝温度相差不大，但由于不同服务器的入口冷却工质温度有不同的要求，并且冷板冷却系统中，冷却工质水在蒸发器中直接与制冷剂换热，去除了空气冷却中中间回路(空气-水换热器HXT1的水回路)，所以冷机的蒸发温度的差异较大。混合冷却中，由于使用冷板冷却CPU，空气冷却的辅助部件所需风量降低30%，所以蒸发温度是14.03℃，较全服务器空气冷却提高7.65℃。而冷板冷却系统中，由于所需的冷却工质温度提高为40 ℃，并且系统中去除了空气-水换热器及水回路，去离子水直接在蒸发器中与制冷剂换热，在满足制冷条件情况下，冷机所需的蒸发温度提高至38 ℃，较全服务器空气冷却提高31.62℃，混合冷却的蒸发温度大幅度高于全服务器空气冷却，使混合冷却压缩机功耗的降低极为显著。
其中，混合冷却中的压缩机功耗降低4.54kW，两种冷却方式总能耗差异是4.896kW，压缩机功耗差异占总能耗差异的92.72%。综上所述，由于冷板冷却的使用，65%的热量都是通过冷板带走的，所以混合冷却的能耗大幅下降。混合冷却中冷板冷却比例的逐步提高是未来高热流服务器的主要方向 。
当考虑自然冷却时，风冷系统和液冷系统的蒸发温度与机械制冷时相同，分别为14.03℃和38℃。并且在自然冷却时，制冷剂循环与机械制冷相反，所以自然冷却的冷凝温度低于蒸发温度。自然冷却的启用条件取决于冷却系统中的冷凝温度是否高于环境温度。综上所述，在环境温度为35℃时只有液冷系统可以考虑利用自然冷却。依据2.2.1节中得出的在环境温度35℃时的冷却系统能耗，可得到，IT负载均为18400W，空气冷却系统的冷却能耗总计11850W。混合冷却中的辅助部件空冷系统能耗总计4181.61W。CPU液冷系统能耗总计2771.92W。
根据覃的研究，在天津地区，采用自然冷却的时，冷却系统的能耗占IT功耗的7.42%。据此，若液冷系统可以考虑利用自然冷却，可以估算混合冷却中的CPU液冷系统能耗总计1365.28W，较机械制冷降低能耗50.75%。综上所述，在环境温度为35℃时，液冷系统直接利用自然冷源时，混合冷却的pPUE可以进一步降低至1.301。自然冷却可以较大的降低冷却系统能耗，并且液冷系统较高的蒸发温度更有利于自然冷源的利用。
在经济性方面，全球约70%数据中心仍依赖风冷，改造需数十年周期，混合冷却更有利于现有机房面对高功率服务器的改造，改造成本大大降低。并且混合冷却的容错能力较强，当出现故障时，有多系统可以备用接管，保障数据中心整体稳定性。
本文对数据中心空气冷却和风-液混合冷却的三维服务器和一维冷却系统进行了建模和能耗分析，对比了这两种冷却方式下能耗差异的具体来源,主要结论如下。
(1)混合冷却由于液冷系统没有空气-水换热器，除去了服务器风扇和气-水换热器风扇的功耗，也进一步提高了数据中心一次冷却侧和二次冷却侧的热量传递效率，有效降低了混合冷却的能耗。
(2)对两种冷却方式，冷却系统中压缩机的功耗都是最大的，分别占比31.37%，19.52%。所以降低压缩机能耗是数据中心节能的重要方式。
(3)在两种不同冷却方式下，风冷系统中的服务器风扇都是冷却系统中耗能第二大的部件，其次为换热器的风扇。冷凝器风扇是所有风扇中功耗最小的，占比小于1%。
(4)由于混合冷却中辅助部件所需风量降低，以及冷板冷却系统中冷却工质温度提高，在满足规定的制冷条件情况下，冷机所需的蒸发温度提高，所以使得混合冷却中的压缩机功耗降低4.54 kW，占两种冷却方式总能耗差异的92.72%。
(5)对所分析系统混合冷却中空冷负荷约占总负荷的1/3；逐步提高混合冷却中冷板冷却比例是未来高热流服务器的主要方向。
|
