2023 開年，浪浪山的一只小豬妖火出了圈在《中國奇譚》這部國的第一個單元中，小豬躊躇滿志，想要做出一事業(yè)，結果費盡千辛萬，自己的工作成果卻被定，然后，小豬妖說出那句經(jīng)典臺詞“我想離浪浪山”。小豬妖的遭，戳中了當代打工人的痛，也像極了數(shù)據(jù)中心那些鮮為人知，又百抓心的困境。近年來，我能夠在很多論壇、峰會發(fā)布會商聽到一些高瞻矚、提綱挈領的話，比“計算力就是生產(chǎn)力”“數(shù)字經(jīng)濟的基礎設施、“上云用數(shù)賦智”等這些宏觀層面的趨勢、線支撐著云數(shù)據(jù)中心、算中心等計算集群的快發(fā)展，我們也在此前的章中分析過很多。不過實際建設過程中，會面這樣那樣的具體挑戰(zhàn)，能是坐在辦公室 / 研究所，對著 PPT 指點江山的人很難想象的比如西部某高校中計算心的一個女工作人員曾訴我，服務器散熱主要風冷，維持降溫會加大風風力，她們女員工進房都是沒法穿裙子的；房內(nèi)的噪音很大，常年責運維的同事，聽力也到了損害。這些細節(jié)而實的難題，構成了數(shù)據(jù)心必須翻越的浪浪山，則就會像小豬妖一樣疲且做無用功，而這些問，只能從扎根在腳下的地中來，從與一線人員流中來。今天我們就結一些實地見聞來聊一聊數(shù)據(jù)中心正在等待翻越些山巒。第一重山：電到數(shù)據(jù)中心的中美差異你會想到什么？芯片、構、軟件、產(chǎn)業(yè)鏈？有個容易被忽略但很重要因素是：供電。益企研院自 2018 年來實地考察了多個國內(nèi)云數(shù)中心，發(fā)現(xiàn) 2 路 2U 是國內(nèi)服務器市場上的主流規(guī)格，IDC 的服務器市場追蹤報告也實，2018—2021 年，機柜式服務器中 2U 規(guī)格占據(jù)了 70% 左右。然而，美國市場上，1U 反而更受歡迎。1U 和 2U 究竟是什么？到底是什么因導致了這種差別？又味著什么呢？（中國電信創(chuàng)云基地（順義）機的 2U 服務器）我們知道，隨著 IT 設備技術的變化，現(xiàn)代數(shù)據(jù)心采用的服務器高度一為 1U 或 2U，U 指的是機架式服務器的厚度，1U 是 4.45 厘米，而早期數(shù)據(jù)中心的機架式服務器高度般在 3-5U。U 的數(shù)字越少，服務器高度低，單機計算密度越高1U 服務器的計算密度可以達到 2U 服務器的兩倍。然而，東數(shù)西工程中對數(shù)據(jù)中心集群要求，京津冀、長三角粵港澳大灣區(qū)、成渝這個樞紐節(jié)點都強調(diào)了“密度”。因為只有密度高，才能在有限的土地積上供給更多的算力，高土地資源效益。這樣，1U 應該是更好的選擇，但實地走訪得到的果，卻是 2U 規(guī)格在中國云數(shù)據(jù)中心的占比多，這是為什么呢？這有一個決定性因素 —— 供電能力。因為 1U 比 2U 更耗電，支撐約 18 臺 2U 服務器的單機柜供電量要達到 6kW，如果換成部署 36 臺 1U 服務器，那供電量就要達到 12kW。如果單機柜的供電能力達不到就無法充分發(fā)揮 1U 的密度優(yōu)勢。（和林格東方超算云數(shù)據(jù)中心內(nèi)）而目前，我國數(shù)據(jù)中的機柜功率還是普遍偏的，主流功率以 4-6KW 為主，“東數(shù)西算”工程的宣傳中，甚至可以看到“2.5 千瓦標準機架”的配置，6kW 以上的機柜占比只有 32%。數(shù)據(jù)中心的供電系統(tǒng)，既有舊疾，也新患。舊疾在于，傳統(tǒng)據(jù)中心的各個機電系統(tǒng)別運行，采集精度不足調(diào)控范圍也有限，供電力和 IT 需求無法精細化對等，一旦單機柜率密度加大，電源連續(xù)行的可靠性就可能受到響，發(fā)生停機中斷的風也會增大。對于云服務來說，云數(shù)據(jù)中心斷電直接導致客戶業(yè)務終端帶來經(jīng)濟損失，這是不承受之重。新患在于，家提出“雙碳”戰(zhàn)略后建設綠色節(jié)能數(shù)據(jù)中心經(jīng)成為共識，而單機功密度的增加，會直接提制冷要求，從而增加空設備和空冷用電。以 2021 年數(shù)字中國萬里行考察過的云數(shù)據(jù)中若山例，騰訊云懷來瑞北數(shù)中心使用 52U 機柜，UCloud（優(yōu)刻得）烏蘭察布云基地使用 47U 和 54U 的機柜，如果都改用 1U 服務器，不僅不能真正提高密度，反而會增噓務器散熱設計的挑戰(zhàn)。知數(shù)據(jù)中心必須提高計密度，那就要提高單柜度，單機柜功率需要更可靠、高可用的供電能來保障，因此可以得出供電能力接下來會是中數(shù)據(jù)中心必須翻越的一山。第二重山：冷前面到，機柜功率密度的提，會讓制冷用電上升。能有機智的小伙伴會問采用更高效節(jié)能的制冷式，不就可以解決這個題，順利向高密度進化？確實如此，數(shù)據(jù)中心業(yè)為了更加節(jié)能的制冷統(tǒng)，可謂是操碎了心。方面是加速“西算”，分發(fā)揮烏蘭察布等西部區(qū)的氣候優(yōu)勢，建設新據(jù)中心，利用室外自然源。“數(shù)字中國萬里行實地考察了 7 個數(shù)據(jù)中心集群，發(fā)現(xiàn)張家口據(jù)中心集群、和林格爾據(jù)中心集群的數(shù)據(jù)中心一年有 10 個月以上的時間可以使用自然冷，年均 PUE 可達 1.2。另外就是發(fā)揮液體冷卻在降低能鬼國上的越性，逐步用液冷服務替代風冷。比如阿里巴 2018 年在河北省張家口市張北縣部署了個浸沒式液冷（Immersion Cooling）機房，一個臥置的 54U 機柜，部署 32 臺 1U 雙路服務器和 4 臺 4U 的 JBOD。開篇我們提到，風冷機房給女犲山著裝上帶來的小困擾，冷技術就能很好地解決個問題。這是不是意味，液冷技術很快會在數(shù)中心行業(yè)普及呢？結束 2021 年數(shù)字中國萬里行后，益企研究院推的《2021 中國云數(shù)據(jù)中心考察報告》，給了“謹慎觀望”的答案我們認為，原因有三：1.成熟期的生態(tài)問題。液體冷卻雖然制冷效梁書遠于風冷，但長期以來，冷機房在數(shù)據(jù)中心建設占據(jù)了主流，幾十年一制的風冷服務器已經(jīng)形了成熟的生態(tài)鏈，建設運營成本都有優(yōu)勢，因一些氣候優(yōu)越的地區(qū)，冷方案就可以滿足降 PUE 的需求，比如華為烏蘭察布云數(shù)據(jù)中心就 8 千瓦的風冷機柜為主。此外，在精精些東部部地區(qū)有引入液冷的需和意愿，但也要考慮成，如果能夠通過優(yōu)化 UPS 架構，采用智能化能效管理方案等，取得著的節(jié)能效果，那么能冷就風冷。2.過渡期的技術問題。當然，對于 HPC、AI 等計算，采用液冷的優(yōu)勢很大，此也有一些公司希望嘗液冷技術，但又不想改風冷機房，于是從風冷級到液冷的過渡期，出了“風液混布”的市場求。我們知道，風冷服器可以與制冷設備松耦，環(huán)境適應性、靈活度高，而浸沒式液冷需要服務器的板卡、CPU、內(nèi)存等發(fā)熱元器件完全沒在冷卻液中，噴淋式冷則需要對機箱或機柜行改造，二者帶來的成都比較高。過渡期中，板式液冷與風冷混合使，是比較適合的方案。是，冷板式液冷要將冷固定在服務器的主要發(fā)器件上，依靠流經(jīng)冷板液體將熱量帶走，全密和防泄漏要求高，設計制造難度很大。（華為東莞松山湖數(shù)據(jù)中心部的 Atlas?900 集群，采用風液混合技術散熱）3.產(chǎn)業(yè)鏈的協(xié)作問題。液冷數(shù)據(jù)中心要產(chǎn)業(yè)鏈上下游的協(xié)同新，包括制造、設計、料、施工、運維等各個節(jié)。風冷模式也正因為耦合，導致制冷行業(yè)和據(jù)中心行業(yè)是比較割裂，推動數(shù)據(jù)中心向液冷革，必須要構建一個新生態(tài)，加強各角色的聯(lián)，降低液冷服務器的前制造成本和后續(xù)維護成。這需要一個多方磨合配合的過程，不是一朝夕能夠實現(xiàn)的。從這些度來看，液冷數(shù)據(jù)中心然是大勢所趨，但還有長的路要走，整個行業(yè)在持續(xù)關注變化。第三山：芯如果說供電效率風冷液冷，是云數(shù)據(jù)中機房基礎設施的重要變，那么芯片可能就是 IT 基礎設施的重點關注對象。2021 年，由安謀科技獨家冠名贊助數(shù)字中國萬里行，在考貴州、內(nèi)蒙古烏蘭察布和林格爾期間發(fā)現(xiàn)了一新的現(xiàn)象 —— 中國“芯”力量正在崛起，國技術的成熟度和應用程正在提升，追趕主流。里云的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都獲得了長足的發(fā)展與應用造成這一局面的原因很，比如云全棧走向自主，為中國“芯”提供了場支撐；政務、金融、通、電力、制造等行業(yè)數(shù)字化加快，為中國“”提供了應用落地場景x86 與 Arm 并存，為中國“芯”基于架構進行定制和優(yōu)化提了研發(fā)基礎。但必須指的是，月亮都有暗面。國“芯”崛起的背后，要看到中國半導體領域艱難中探索。首先，是程工藝的枷鎖。我們知，摩爾定律的延續(xù)是基制程工藝的推進，然而導體制程工藝的提升已觸達天花板很久了，跟上芯片規(guī)格提升的速度所以，云數(shù)據(jù)中心開始用“堆 CPU”的做法來提升機柜密度，但是堆料帶來的性能提升是邊界的，不能止步于此于是后摩爾時代，小芯（Chiplet）開始被很多國產(chǎn)芯片廠商選。這種新的芯片設計模，可以把多個硅片封裝一起，組成一個芯片網(wǎng)，x86 和 Arm 生態(tài)系統(tǒng)都在采用這項術。但需要注意的是，前的 IP 重用方法中，對 IP 的測試和驗證已經(jīng)有比較成熟的方，但多個 Chiplet 封裝后如何測試、良率怎么保始均，還是中國芯”必須解決的問題。主要的是，小芯片的封依靠先進的封裝技術，片 I / O 接口可以和封裝協(xié)同設計并優(yōu)，對于芯片性能的提升常重要。這就要求先進裝設計與芯片設計有較的交互性，同時也對設工具提出了一定的要求我們知道，EDA 工具一直是我國半導體領域“軟肋”之一，這一點解決，在 Chiplet 越來越重要的當下，中國“芯”很鸀鳥高枕無。目前看來，數(shù)據(jù)中心群作為數(shù)字基礎設施的要組成部分，正在發(fā)生系列變化，究竟干得怎樣，有哪些待解問題，一個必須回答又不容易答的問題。不識廬山真目，只緣身在此山中。多事情，只有在貼近實一線，再抽離出來縱覽局，才能看到困住數(shù)據(jù)心前進腳步的一重重“浪山”。2023 數(shù)據(jù)中心需要跨越的山巒還多，盡管道阻且長，但要一直行在路上，總有闊天空任鳥飛的那天。文來自微信公眾號：腦體 （ID：unity007），作者：藏強良