淮亞利
安科瑞電氣股份有限公司 上海嘉定 201801
摘要：文章分析了位于北京和廣州的3個大型數據中心的能耗數據，對數據中心節能存在的問題分別進行了分析診斷。從設計及運行管理兩大方面總結了目前數據中心普遍存在的共性問題，為數據中心節能提供了方向。
關鍵詞：數據中心；節能；能效
0引言
近年來隨著對于信息化工作的重視,作為信息化基礎設施的數據中心快速發展。我國數據中心建設的數量多，建設質量也在世界上處于靠前，主要采用了世界上較好的IT設備，較好的制冷設備，較好的精密空調，較好的控制系統。但是衡量運行水平的重要指標PUE卻未達到較先進水平，差距還不小。中國制冷學會于2017年對上海市20家擁有500個機架的數據中心進行了評測，大部分數據中心的PUE分布在1.6-2.3范圍內。中位值是1.80，平均值為1.97。距離《“十三五"信息化規劃》中提出的到2018年大型數據中心年PUE不高于1.5的要求差距較大。
不同的數據中心存在不同的問題，也有其共性的問題，這些問題在業內中已有資料反映。文章結合近期調查的數據中心為例，總結存在于節能運行中的共性問題。
1北京某IDC數據中心
1.1工程簡介
該數據中心建筑面積20000㎡，在6B#大樓地下室建有冷凍機房。配置4臺離心式冷水機組、4臺冷卻水泵、4臺冷凍水泵，室外地面建有16臺冷卻塔；機房空調為水冷及風冷兩種精密空調系統，空調面積約6000㎡。機房內未設置冷熱通道。
為分析數據中心的能效，文章對數據中心的能耗和冷水機組的COP進行了一年的監測記錄，并同時對運行管理措施及方法進行了訪談，對冷凍水系統的水溫變化進行了全程追蹤測試。
1.2能耗分布與PUE
根據約一年的實測數據，該數據中心的能耗分布和PUE見表1,年PUE為1.8。對處于寒冷地區的北京，PUE值偏高。
1.3數據分析
根據能耗分項數據，可以定量計算出空調系統各環節的相對關系，并進行其合理性評價，見表2。
1.4主要存在的問題
根據能耗數據、訪談情況以及水系統狀態參數的測試結果，該數據中心的問題主要為：
1）主機效率偏低。主機效率(COP值)小于4.0。2019年7月16日測試期間，冷機冷卻水進出口溫度3O.3℃/32.6℃,冷凍水出水溫度7℃，負載百分比為71%條件下，運行工況與《蒸汽壓縮循環冷水機組》(GB/T18430.1—2007)規定的額定條件十分接近。此條件下，主機COP應達到5.5。但主機效率僅為4.0，距離5.5還有不小差距。其原因與冷凍水的水質、機組維護等因素有關。冷卻塔填料結垢嚴重，未及時清洗，使得冷卻水溫度偏高。
2）水泵的能耗占比過高。設計狀態下，水泵的總能耗(含冷卻塔)應當只有主機的30%，實際使用中卻達到62%。冷水機組的防凍水溫差、冷卻水溫差均只2℃，說明水流量偏大，水泵應可以減少流量。同時測試得到的水泵效率只有50%。
3）分水器與集水器之間存在水量旁通。根據現場測試，末端機房內水冷空調的進出口溫度一般為7℃/14℃，溫差達到7℃以上。但冷凍站集水器內的溫度卻為8.8℃。說明分集水之間存在大量的混水，供應到用戶的水量不足。
4）機房內精密空調能耗過高。精密空調的能耗比冷水機組能耗還高。一般末端空調能耗應控制在空調系統總能耗≤25%以內，現已大大超出這一比例。按照冷凍機供冷量能力計算，2臺冷水機組全部開啟時，機房內的風冷空調可以關閉，但機房內所有風冷精密空調仍然全部開啟使用。風冷精密空調的使用補充了部分冷量，卻消耗了大量的電力。
導致風冷空調開啟的原因包括:機房內溫度分布不均，有的機房不同地點溫差相差10℃，存在局部熱點。局部熱點的存在，拉低了房間整體溫度，加大了供應能力需求。同時由于供應到水冷空調的水量不足，使得水量空調的供冷量不足，因而風冷空調不得不開啟。
5）機房內采用漫灌式氣流組織，沒有設置氣流冷熱通道。送回風溫差小，只有3℃，加大了送風輸送能耗。
6）缺少智能化管理手段。雖然有動力環境監測系統，但缺少節能管理的智能化控制系統，也沒有統一集中的能耗數據監測系統，使得管理人員對設備運行狀況無法細致了解。運維人員的主要精力放在保平安運行上。
7）未利用自然冷源。北京地區冬季自然冷源資源豐富，但未采取任何技術措施加以利用。
表1北京某IDC數據中心能耗數據
表2北京某IDC數據中心分項能耗情況
2廣州某云計算數據中心
2.1基本情況
廣州某云計算數據中心位于廣州市蘿崗區。數據中心的空調面積約35000㎡(其中一期15000㎡)。建筑9層，其中數據機房位于3、4層。
數據中心采用集中冷源，冷凍站位于大樓1層，設有4臺離心式冷水機組、1臺螺桿式冷水機組，配有5臺冷卻水泵、5臺冷凍水泵，5臺冷卻塔位于5樓屋面。
機房內設有水冷空調機組，通過靜壓箱送風，共78臺精密空調機組。機房內氣流分設冷熱通道。空調系統日常管理采用手動管理，缺少自動控制平臺。除配電房有主要回路的電能監測外，對于能耗監管缺少分項計量，不能進行細化分析。
2.2能耗分布及PUE
采用瞬時電量進行PUE計算，其值為1.77。數據中心基礎設備設施(暖通空調)的功率總和為1099kW，占數據中心總耗電的44%，見表3。
2.3PUE評價
數據中心的電氣損耗為466kW,達到數據中心總能耗的13%。變壓器損耗6%，UPS損耗12%、列頭柜配電系統損耗7%，這部分的損耗較大，應在電氣管理和設備配置上改進。
暖通空調系統中冷機電耗占51%、精密空調為26%、水泵+冷塔為21.4%。暖通空調系統內部占比較為合理。但能耗總體比例仍然較高，具有調節改善PUE的空間。
2.4存在的主要問題
1）冷水機組效率未達標。《公共建筑節能設計標準》(GB50189—2015)中4.2.10節要求電機驅動壓縮機的蒸氣壓縮循環冷水(熱泵)機組，在額定制冷工況和規定條件下變頻離心式冷水機組性能系數(COP)不應低于5.5。而現有機組平均能效系數為5.10，也未達到5.5。在機組運行工況優于額定工況的條件下，仍不滿足節能要求。根據訪談介紹，機組每年清洗2次，進行機組水質維護，水質應無問題。應當是機組運行工況不合理造成。
2）冷卻水泵的效率低。冷卻水泵的效率只有約45%，與設計要求的70%差距較大。冷卻水泵的額定揚程30mH?O,但實際揚程只有15mH?O。水泵揚程配置過高，偏差較大。冷卻塔投入使用時間為2017年,設備狀態良好。冷卻水出口溫度與空氣濕球溫度差值約為2.3℃。冷卻塔效率較高。
3）機房精密空調開啟臺數過多。機房精密空調能耗占暖通系統能耗30%以上，表明精密空調運行不夠合理。現在精密空調全部開啟，沒有按照回風溫度進行控制。
4）缺少智能化管理手段。雖然有動力環境監測系統，但缺少節能管理的智能化控制系統，也沒有統一集中的能耗數據監測系統，使得管理人員對設備運行狀況無迭細致了解。運維人員的主要精力放在保平安運行上，缺少冷水機組、水泵、冷卻塔的節能運行策略。
表3廣州某云計算數據中心分項耗電情況
3廣州某數據中心
3.1基本情況
該數據中心位于廣州市內，分為1#樓和2#樓，于2009年建成使用。均采用集中式冷水機組進行供冷。
1#機樓：該數據中心1層冷凍站設有2臺特靈螺桿式冷水機組，配有3臺冷卻水泵、3臺冷凍水泵，屋頂天臺設有1臺蒸發式冷凝螺桿機、2臺冷凍水泵、2組冷卻塔；機房均采用上送風、側回風的氣流方式。
2#機樓：該數據中心1層冷凍站由1期及2期合并組成，1期制冷設備為2臺約克螺桿機組及配套的3臺冷凍水泵、3臺冷卻水泵、1組冷卻水塔；2期制冷設備為2臺約克離心式冷水機組及配套的3臺冷凍水泵、3臺冷卻水泵、2組冷卻水塔；2#機樓調研的數據機房是2至7層的數據機房；其中4層401/402機房采用上送風、側回風的氣流方式，其它機房均采用地板式機柜送風，上回風加側回風的氣流方式。
整套制冷系統無BA自控系統，所有制冷設備運行模式需人工操作，也缺少能耗計量系統。
3.2能耗分布及PUE
該數據中心的能耗種類均為電力。通過短期測試獲得1#機樓和2#機樓的電耗分布。表4、表5給出了1#機樓的具體耗電數據。
3.3PUE評價
1#機樓和2#機樓的短時PUE為1.76-1.86，由于測試在冬季進行，機組處于有利的運行條件，全年PUE值一定高于現有PUE值，說明該數據中心的能效水平較低。
其中UPS和HVDC的負載率低，損耗過大，達到總能耗的約11%。水泵能耗占冷水機組能耗的50%；精密空調的能耗則與冷水機組的能耗相當。說明整個制冷系統效率較低。
3.4存在問題
1）UPS和HVDC的負載率低，造成損耗過大。UPS和HVDC的損耗達到總能耗的約11%。HVDC普遍負荷率平均在35.50%，UPS平均負荷率為24.86%。
應啟動高壓直流的休眠睡醒功能，根據極值設定，讓HVDC整流模塊關閉休眠不必要開啟的整流模塊，可以大大降低HVDC的損耗。建議在80%~90%啟動模塊睡醒功能,30%~40%啟動模塊休眠功能，設置48h休眠模塊與運行模塊輪換一次。
減低UPS損耗，若UPS的負荷量低于25%時，可以關閉1臺UPS，這樣就可以降低1臺UPS的損耗量。
2）冷卻塔冷卻效果不佳。冷卻塔的逼近度過大，在冬季室外濕球溫度13℃時，逼近度達到12.5℃，冷卻水塔的填料有損壞以及表面結垢現象較為嚴重，應更換及定期清洗，可提高冷塔冷卻能力。
3）水系統水質較差。水系統維護不及時，導致水質較差，影響冷水機組效率。應定期進行水質的清洗和維護。
4）末端精密空調開啟過多。機房內精密空調全部開啟，沒有根據機房內的實際熱量進行送風的調節，送風溫差小，送風效率低，送風能耗高。
5）水泵未變頻運行。水泵定頻運行，供水量偏大，使得輸送能耗較高。
6）采用漫灌式氣流組織，氣流旁通率高，冷空氣未送到機柜內部,嚴重影響送風效率。
7）缺少節能管理手段及運行策略。缺少對室內外環境使用條件、設備狀態和運行效果的監測，全靠手工粗放式運行，節能效果差。
表41#機樓總體能耗
表51#樓空調系統能耗分布
4數據中心節能存在的主要問題
通過以上案例及各地其它數據中心的能耗情況，可以看到有些問題普遍存在于目前的數據中心中。
4.1系統設計方面
數據中心設計在產品選型、系統安全性與可靠性設計上都滿足了節能設計要求和專業設計要求，但設計的精細化程度不夠。為了保障安全，選用設備時富裕系數較大，但運行效率偏低。
1）水泵的選型普遍偏大，導致水泵實際工作狀態點偏離高效區，水泵運行效率較低。大多數只在50%左右。
2）水管路系統設計粗獷，沒有進行細致設計計算，水路流量分配不滿足預期要求。有些精密空調的水流量嚴重不足，水溫差達到6℃~8℃以上。
3）一些早年建成的數據中心的冷熱通道沒有嚴格分開設計，導致送風氣流短路。不僅影響送風效率，也影響了機房空氣溫度，惡化了運行環境。
4）多數數據中心沒有設計自然冷卻系統，沒有充分利用自然資源。實際上由于數據中心需要全年冷卻，在我國大部分地區(除廣東、福建等少數地區)都可使用自然冷源。而利用自然冷源是目前降低能耗的有效措施。
5）沒有建成能耗分項計量系統。使用者對于能耗的分布不清楚，對能源效率無從知曉。
6）控制系統缺乏有效的調節策略。控制系統智能程度低，僅僅支持泛泛的啟停控制等。在控制策略設計時，缺少空調專業的支持。
7）選配的電氣設備容量偏大。UPS的使用容量低，導致損耗多。變壓器也存在同樣問題，使得使用效率低，損耗嚴重，電氣設備損耗占總能耗的10%左右。
4.2運行管理方面
調研結果表明，運行管理方面存在的問題更多，在每一個環節都會出現問題。
運行管理部門始終把數據中心的安全運行擺在重要位置，往往強調安全，而忽視了節能，導致許多節能措施不敢使用，這是阻礙節能管理水平提高的重要原因之一。實際運行中應把握好安全與節能的關系。通過了解安全風險因子，了解節能措施的影響程度，可以加深對安全生產和節能技術的科學認識，在安全可控的前提下，加強節能運行管理。
1）設備維護不及時
冷卻水系統、冷凍水系統的水質沒有嚴格的質量管理。盡管多數單位有專業的水質維護，但水質的質量管理形同虛設，沒有明確的考核檢查標準。冷卻塔填料結垢十分普遍，也沒有及時清洗。
冷水機組的實際運行效率與機組標稱值之間相差較大，冷水機組運行效率有待提高。風冷精密空調系統也需要及時維護保養，但許多數據中心缺少對精密空調的專業養護，使得運行效率逐年下降。
2）管路及附件維護不到位，疏于操作
水路上的閥門不管是手動還是自動模式，普遍存在關閉不嚴現象，導致水流旁通。不僅浪費水泵功耗，還降低了機房精密空調制冷量。溫度與壓力計量儀表多數不能使用，形同虛設。
臺數切換時對應閥門也需進行切換，但由于加大了操作人員的工作量，一般不會落實這項操作。
3）粗放式運行管理
無論是否需要，機房內精密空調全部開啟運行，使得精愛空調的能耗與冷水機組能耗相當，大大超出送風系統的能耗標準。
數據中心都設計安裝了水系統變頻設備，但是實際運行未落實，不能根據水系統溫度的變化進行變流量運行。水系統輸送能耗約占冷水機組能耗的50%以上，不能隨主機負荷隨動調節。
冷水機組的啟停數量也是*經驗化運行，機組臺數的選擇缺乏依據，機組不能在高效區運行，使得機組運行效率不高。冷水機組的供水溫度沒有隨著室內負荷變化進行調節，基本全年恒定溫度運行。
機房內溫度設置偏低。強調運行的安全性后，使機房內回風溫度較低，如有的機房要求保持在22℃左右，這樣冷水機組出水溫度一直壓低在7℃，自然冷卻的空間也大大壓縮。
以上這些因素交織在一起，往往造成數據中心的能耗居高不下。
5安科瑞為數據中心提供的電力監控解決方案
5.1精密配電管理解決方案
AMC系列數據中心精密配電系統是針對數據機房末端設計的，能夠綜合采集所有能源數據的智能系統，為交直流電源配電柜提供精確的電參量信息，并可通過通訊將數據上傳到動環監控系統，實現對整個數據機房的實時監控和有效管理，為實現綠色IDC提供可靠保證。
5.1.1交流系統
1）功能要求：
遙測：輸入分路的三相電壓、三相電流、有功功率、有功電度；輸出分路的單相電壓、單相電流、有功功率、有功電度；
遙信：輸入分路的過壓/欠壓，缺相,過流，輸入分路和輸出分路的開關狀態,具備電流、功率需用量分析和統計，實現電壓、電流、功率等參數的越限報警功能。
2）配置方案-示意圖
配置方案
多功能儀表PZ72L-E4
電流互感器AKH-0.66-30I-XXA/5A
5.1.2直流系統
1)功能要求
遙測：輸入分路的電壓、電流、功率、電度；
遙信：輸入分路的過壓/欠壓，輸入分路的熔絲狀態,具備電流、功率需用量分析和統計，實現電壓、電流、功率等參數的越限功能。
2)配置方案-示意圖
配置方案
多功能儀表PZ72L-DE
霍爾傳感器AHKC-F-XXA/5V
開關電源SBD-30（48V）
5.2AMB智能小母線管理系統
數據中心小母線系統是數據中心末端母線供配電系統的俗稱。近年來，隨著數據中心建設的快速發展和更高需求，智能小母線系統逐漸被應用于機房的末端配電中，具有電流小、插接方便、智能化程度高等特點，即插式插接箱給各個機柜內的PDU分配電。始端箱和插接箱內可設置監測模塊，將數據上傳至動環監控中心。
1）交流系統功能：
遙測：三相電壓、電流、有功功率、無功功率、視在功率、功率因數、有功電能、無功電能、電纜溫度，系統頻率、零序電流、零地電壓、漏電流、機柜溫度、機柜濕度、開關狀態、電壓/電流諧波含量、電流/功率；
遙信：過電流2段閥值越限、過/欠壓、過功率告警、缺相、過頻率、欠頻率越限、零地電壓、零線電流、溫/濕度告警，開關狀態、開關跳閘；
2）直流系統功能：
遙測：電壓、電流、功率、電能、電纜溫度、漏電流、機柜溫度、機柜濕度、開關狀態、電流/功率；
遙信：過電流2段閥值越限、過/欠壓、過功率告警、缺相、溫/濕度告警，開關狀態、開關跳閘；
參考文獻：
【1】張晟，李超，梁剛強，顧砒，龔延風.數據中心機房節能運行現狀與問題分析
【2】鐘聰睿.互聯網數據中心(IDC)機房總體規劃中的節能設計研究信息通信，2016(8):241-242
【3】卜東潔，王克勇，潘俊等.數據中心機房升溫的研究[J].建筑節能，2015(5):31-33
【4】安科瑞數據中心IDC配電監控解決方案.2020.03版
筆者簡介：
淮亞利，現任職于安科瑞電氣股份有限公司，主要從事數據中心智能小母線監控的應用。
