数据中心制冷关键技术

中国数据中心专家技术委员会委员、江苏省邮电规划设计院暖通空调总工程师　罗志刚

各位领导，各位嘉宾：

大家下午好！

我们很荣幸能够在贵阳做了很多大型、超大型的数据中心，包括一些达到千亩地的园区。今天我想给大家带来数据中心制冷的话题，正好结合我们在贵阳做的案例。其中电信、移动两个园区就是我们设计的，今天正好跟大家分享一下。

江苏邮电院数据中心每年的设计量大约维持在几十万平方米。因为这个行业发展特别迅速，我们也尝到了一些甜头。今天主要分享四个话题：第一个是数据中心空调水系统；第二个是数据中心与区域能源结合和应用；第三个是关于自然能源利用分析，主要讲一下贵州贵阳地区为什么适合建数据中心；第四个是这几年的经典案例。

第一，关于园区的数据中心空调水系统。我们目前做的园区都比较大，小到单体几万平方米，大到园区占地千亩，甚至几千亩地的云计算园区都有涉及，里面就涉及空调水系统，这是一个非常复杂又有趣的话题。

大家都知道，数据中心有五大特点：第一，投资大，按建筑面积算，每平方米造价2万至10万不等；第二，能耗高，现在数据中心关键就靠空调降低能耗；第三，工艺复杂，一个项目涉及十几个甚至多达几十个专业；第四，安全等级高，运维不能中断；第五，运维要求高，设计方案直接决定运维是不是能够安全进行。

对于一个园区来说，空调水系统比较复杂。因为中国地区南北气候差异比较大，每个项目特点不一样，投资方要求也不一样，所以在做项目的时候要考虑很多复杂因素。首先，能源的空调负荷决定了我们采用能源的方式。小型空调都采用风冷，螺杆型的，大型空调可能会转到水冷，甚至一些高密度的液体，所以空调规模决定空调方案。第二就是能源条件和结构。这个地区是不是有充足的电、水、天然气，以及有没有废热可以利用，这是园区如何选择空调能源很重要的因素。第三就是能源价格，天然气价格、电价、水价是不是有优惠。

关于能源环保政策，有些地区可能会有文物保护，这种地区对于环保要求比较高，我们的能源也要考虑这个因素。再就是投资运行成本、能耗，这些都决定了园区的方式。现在三联供系统在数据中心园区的使用逐渐在增加，但不是很成熟，还要拭目以待。我们还有一些项目利用的是废热，也就是说一些电厂的废热可以充分拿来作为冷源。

园区可能会有水的安全隐患，如果水中断，整个园区就不存在供冷冷源，这时候会采取一些复合方案，风冷水冷结合。初期用水冷，然后以风冷机组作为备用措施，这样安全性得到保证，同时效率也比较高。这是一个比较典型的小型园区案例，这个园区建筑面积为10万平方米，一般是3至4个机楼，加上两个动力中心和相应的制冷站，对于制冷系统来说，我们考虑的是，如果每个制冷中心单独建立制冷站，每个都要做“2N+1”，投资会比较大，有没有可能把其中每两栋或三栋连通起来作为一个连通管道，这个管道作用非常明显。比如每两个数据中心“2N+1”备份可以共用，投资可以减少，同时其中一个数据中心出现问题，串联这个数据中心的机组马上可以启动，安全性也不会降低。所以目前很多园区都是采用这种方案，有可能是两个制冷站相连，有可能是三个，也有可能是四个，对此我们叫一拖二，一拖三，一拖四。

现在关于“数据中心的废热排掉很可惜”的呼声越来越高，我们现在做的很多案例中是关于废热回收，但就目前来说，国内外大量的案例是没有废热回收的，在国内只有不超过一万平方米的热回收面积，因为很难找到这么大的用户回收这么多热。数据中心园区建设可能是远离住宅区、办公区，长距离的输送本身能耗就比较高，所以找到一个合适的热用户是比较难的，这在技术上没有问题，最主要还是商业模式的问题。热回收方式有很多，我们推荐水源热泵，它可以把水温从40度提高到60度。为此我们做了一个案例，案例中热回收大概为3000平方米，从数据上分析，无论是投资还是运营费用，都远远优于传统方案。传统方案冬夏是多联机，同冬季进行热回收方案对比，全年下来，投资和运营费用都非常高。

再看一下蓄冷，如果是断电可以用蓄冷罐代替，但蓄冷罐常年放着也是浪费；如果用蓄冷罐做系统串联，常年阻力内耗也不是一个小数。对此我们做了一些分析，有些项目不能配小冷机，要配大冷机，初期小负荷没有上满时，负荷冷机是带不动的。如果拿蓄冷来带动，可以解决小负荷和初期不稳定负荷。我的意见是，如果有条件还是尽量能够加大蓄冷量，因为很多案例显示，一些小故障是可以通过蓄冷解决的。另外在低负荷时候冷机本身是不经济的。

第二，关于区域能源。我们现在很多项目的面积都比较大，区域能源面临几百上千万的建筑面积，这里面包括数据中心，而区域能源供应单位非常喜欢数据中心，因为数据中心负荷比较稳定，而且数据中心会成为整个区域能源投资效益的增长点。如果一个区域有区域数据中心，那么能源供应单位很愿意把数据中心纳入它的系统里。举一个案例，江水源供冷，取水口到数据中心约一点几公里，这个区域的建筑面积大概为600万平方米，分3个能源站，每个能源站200万平方米，其中A地块建筑面积为140万平方米，数据中心的建筑面积为15万平方米，能源站建在数据中心旁边。考虑到输送的距离越短能耗会越低，所以能源站和数据中心之间做了一个连通管道，因为考虑到安全和备用关系，所以设了4根管道。这些是江水源热泵冷水机组和单独给数据中心供应的冷却槽。如果将来江水源管网出现问题，马上起用数据中心专用制冷机，同时能源站里面还做了蓄冷，为140万平方米的A地块风鼓电架。这个项目做完后经济性特别好，而且安全有保障。

另外一个案例是关于余热利用。这是电厂余热，它的运营方式分几个区间段，其中大于12度的用机械制冷。原理很简单，用电厂蒸汽经过管网到数据中心，数据中心做的是百分之百蒸汽消化成带，百分之百空调负荷，同时又做了同样数量的电制离心机。这种系统是负荷能源，两种能源同时作为互补，这样数据中心的安全性比传统单一能源更高。同时蒸汽本身是一种废热，如果它的价格达到一定程度，经济上会比传统用电省很多。

我们有个项目，在算完投资、管网长度等总的费用之后，发现有一个临界点，也就是当蒸汽价格超过65元的时候，电制冷比较经济；如果蒸汽价格低于65元时，我们推荐用蒸汽方案。该项目目前还在设计初期。

这是另外一个案例，在项目能源站设置污水源，同时在数据中心末端做电制冷方案，污水经过污水源管道进入数据中心区域。污水源因为常年水温在十几度，而冷却塔温度为32至37度，所以污水源效率要远高于传统方案，而且从经济性、安全性来说，4个管道双供双回，如果出现问题可以马上启动另一个，也就是说污水源泵出现问题时，制冷站电制冷机开始启动。

讲了三个案例，可以看出，复合能源有可能是下一步的方向。因为对于电制冷方案，电的价格高，而且从单一电源过来，安全性存在问题，如果周边有价格合适的能源可以利用，这个方案还是比较优秀的。

第三，自然能源的利用。贵州为什么适合建数据中心？以我们分别在贵阳、克拉玛依和北京做的三个项目为例，先看克拉玛依的气候条件，零下10摄氏度的时间比较长，夏季高于35度的情况也有，冷水温度为7度至12度的时候，克拉玛依冷却塔可以使用3885小时，冷水温度提到27度时，冷却塔的使用时长就变成6300小时。如果是用空气制冷，按照传统的室内温度23度算，冷却塔的使用时长是5600小时。再看一下北京，北京零下10摄氏度的时间比克拉玛依短，同时35度以上的时间也比较少，冷水温度为7至12度时，冷却塔的使用时长为3382小时，如果冷水温度提到14到19度，冷却塔的使用时长就变成4800小时。室内气温为23度时，风测冷却时长是5400小时，室内气温到了27度时，冷却时长就变成6000小时。最后再看贵阳，与北京、克拉玛依相比，贵阳的特点比较明显，气温零下和30度以上几乎没有。再看冷却塔自由时长，水的温度为7至12度时，冷却塔的使用时长为699小时，这个时长应该是非常不理想的。但如果水温为14至19度时，冷却塔的使用时长就变成3167小时。再看一下风测冷却方式，室温定到23度时，风测冷却时长是4900小时，室温为27度时，风测冷却时长是6700小时。将这些数据放在一起对比，三个城市的冷却时长从上到下是克拉玛依、北京、贵阳。可以看出，贵阳冬无严寒，夏无酷暑。如果水温定到7至12度时，克拉玛依的冷却时长是3800小时，北京的冷却时长是3300小时，贵阳的冷却时长是699小时，也就是说贵阳冷却塔的方式是不理想的。但是如果水温提到14至19度时，三个城市的数据分别是5600小时、4800小时、3100小时。也就是说，7至12度时，贵阳的冷却塔的自然冷源时长是北京、克拉玛依的1/5到1/6，而水温提到14至19度时，就几乎成了1.5倍。所以对于贵阳来说，水温提升的作用特别明显。再看风测冷却方式，如果室温定到23度时，克拉玛依的冷却时长是5600小时，北京的冷却时长是5400小时，贵阳的冷却时长是4900小时。新的国标室温可能会定到27度。先看25度的时候，三个城市的数据分别是5900小时、5800小时、5800小时，几乎一样。如果再提升到27度的时候，克拉玛依是6300小时，北京是6000小时，贵阳是6700小时。温度上升的时候，贵阳超出了北京和克拉玛依，这和我们想象的不太一样，因为克拉玛依和北京温度比贵阳更寒冷一些，更稳定一些。但是如果水温和气温都提升的话，贵阳的优势就出来了。这就是贵阳作为整个大数据产业园区，大的运营商、大的企业在这里建数据中心的重要原因。

对于新风的利用，国内情况是不理想的，中国整个环境污染很严重，所以新风用得不多。我们有幸在贵阳尝试了大型数据中心超大新风量的冷却方案。新风功能有两种方式，一个是新风直入，一个是新风间接换热。

国际上对于环境污染分四个级别，分别是G1、G2、G3、G4，经过检测，贵州一年有14天空气质量超标，达到G3，属于比较严重的级别。但351天的空气质量为G1和G2级别，是可以应用的。所以我们做了一个方案，在贵州建立了超大规模的数据中心。这是项目一期，新风从室外空气经过百叶，经过物理、化学过滤，进入空调区域，再经过机架、排风井排到对面。如果空气质量不达标，或者气温较高时，全内循环，全部采用机械制冷。这是两张模拟图，从模拟图中可以看到，所有温度是可以达标的。这是2014年3月26日在贵州做的空气污染监测，对于0.5微米以下的粒子数，贵州最高为59000个，最低为35000个，而国标规定的是18000个，可见贵州的污染还是比较严重的。此外，物理过滤成本比较低，但化学过滤的成本比较高，这是直接换热的例子。对于间接换热，我们是在北京找了一个小机房做的实验，最后的结论超出想象，传统空调每年的电费为5.6万，如果用自然冷却间接换热，电费是3.3万，全年节能率53%。所以说，如果新风直入这种方案污染情况比较严重，间接换热也是一个选择方案。

第四是案例分享。分享的这个案例是北京亦庄云计算中心项目，该项目号称全球单体最大，面积接近10万平方米，一个机楼接近2万个机架，长度为230多米，同时用了很多节能技术，自然冷却方案在这个项目中每年节约电3亿度，现在已经投入使用。而北京电信永风数据中心是当年亚太最大的项目。新疆克拉玛依数据中心面积11万平方米，是西北最大的项目。除了贵州移动、贵州电信两个园区的项目外，无锡移动、南京市政府、重庆三峡银行等这些项目都是面积在10万平方米以上的数据中心，对于这种数据中心，我刚才谈到的冷源利用是比较典型的使用模式。然而很多项目都选择10万平方米，因为这是比较合适的面积。

由于时间的关系，今天的分享就到这里。

谢谢！