大模型的發展,經歷第一階段拼算力、關注基礎模型領先性之后,當前已進入更務實的第二階段,即商業化落地應用,如何將大模型應用成本降下來,成為行業關注的焦點。
京東云從智算中心開始,邁出大模型降本第一步,通過使用液冷技術降低制冷開支、引入AI進行智能化能耗管理等,幫助客戶將大模型使用成本降下來。
將制冷成本降下來
在智算中心的運營上,電費占運營支出的60%以上,其中很大部分來自于制冷產生的費用,優化制冷系統,已經成為數據中心提高能源效率、降低成本的重要環節。
液冷作為一種高效、節能、穩定的散熱方式,冷卻劑傳遞熱量的速度是空氣的6倍以上,正在成為智算中心的“標配”。
京東云自主研發的阿爾法智能算力模塊,采用創新性的液冷技術,可以滿足算力密度從20kW/柜到100kW/柜的部署需求,算力模塊制冷因子CLF低至0.07,即制冷系統能耗只有IT設備能耗的百分之七,幫助客戶顯著降低制冷能耗。
此外,通過采用EVAC散熱器及液冷技術,京東云新一代液冷服務器可使散熱效能提升50%;并基于多元供電方案,在單機柜20kW的條件下,單機柜功耗1年可節省8500度電。
能耗節省率提上去
智算中心往往功率密度更高,是傳統數據中心的5倍以上,對運維的要求也呈幾何級增長。
為確保每一瓦特電力都能發揮最大效用,京東云推出了節能寶產品,利用高精度建模,對基礎設施中全鏈路的暖通或相關機電系統實現1:1仿真構建,通過AI算法實現全局節能的精細化,節能率可達10%-45%。
基于京東云自研的精維軟件平臺,集成故障定位、容量管理,動態環境監控等功能,以及空調智能節能運行管理,在保證可用性的同時,極大提升電力系統使用效率。
降本實踐對外服務產業
除了服務于自身,京東云也積極將智算中心降本提效相關能力對外輸出。
博大數據投資建設的前海智算中心示范基地,采用京東云“阿爾法”算力模塊產品,從規劃到項目交付不到90天,借助液冷技術,基礎設施能耗節省超30%。
此外,京東云還支持青海電信智算中心的建設運營,通過共同打造穩定、可靠的商用智算集群,向社會輸出普惠的高性能AI算力,為大模型的應用落地提供強勁動能。
當前,隨著技術的不斷演進,智算中心正逐步邁向更高層次的自動化和智能化升級,京東云擁有從MaaS服務到智算集群,再到硬件基礎設施的數智算力矩陣,并基于成熟的智算云運營體系,讓客戶能夠享受到更高效、更經濟、更穩定的智算服務。