2026年夏天,整个AI行业正迎来首轮“耐压测试”——随着大模型参数规模从千亿级跃升至万亿级,训练所需的算力集群功率密度屡创新高,算力中心的散热压力大幅攀升,直逼传统制冷极限。
作为国家“东数西算”工程在上海青浦的标杆示范项目,中国移动长三角(上海)5G生态谷是对内赋能长三角、对外辐射全世界的数字基座,海量算力订单从天南海北、各行各业飞来这里。“我们的工作就是让每一度电安全抵达每一台服务器,让每一丝冷气精准覆盖每一块GPU。”上海移动网络管理中心综合运行维护班长陆翰涛这样定义自己的核心职责,“我们守护的不只是机器,更是整座算力中心的‘心跳’。”
给狂飙的算力“退烧”
盛夏7月,户外温度攀升,而在算力机房内,无形“热浪”也在此起彼伏。走进5G生态谷内,成排的服务器机柜在低鸣中吞吐着海量数据,指示灯闪烁不停。在这里,单机柜功耗就从过去的3-5千瓦一跃升至20千瓦以上,算力中心的服务器正陷入一场无声“烤验”。
图为算力机房一隅。贡俊祺 摄影
“传统的风冷已经‘吹’不凉这些庞然大物了。”陆翰涛介绍道,当AI训练集群将功率密度推至20千瓦以上,相当于把10台家用电暖器塞进一个冰箱大小的机柜同时烤火,产生的热量不到1小时就能把一整浴缸的冷水彻底烧开。“在此量级的热量面前,仅靠风冷降温便捉襟见肘,芯片会因为过热而降频,性能大打折扣。”
为此,算力中心用上了“十八般武艺”。除了依托风冷系统快速带走机房空气中的热量,以及在极端高温下启动水喷淋和压缩机辅助外,算力中心也正全面铺开一项全新技术——液冷系统。
“通俗讲,液冷就是利用液体替代空气作为冷却介质,通过液体的循环流动直接贴近芯片集中发热的区域,将其产生的热量精准带走。” 陆翰涛解释道。
记者了解到,如果芯片局部过热问题难以解决,还会让PUE(电能利用效率)急剧攀升。这意味着,每当有1度电要用于核心计算,就需要额外再消耗电来用于散热,这显然无法适配当前高密算力的需求。
而与传统风冷相比,液冷系统的热交换效率提升了3至5倍。陆翰涛表示,目前算力中心液冷机房的PUE最低可降至1.08,更接近理论极限值1,这意味着电能几乎可以全部用在计算的“刀刃”上!
当好设备“把脉人”
室外高温与室内服务器满载运行产生的巨大发热量,给机房维稳带来了严峻的挑战。此时,陆翰涛所在的运维团队化身成算力中心的设备“把脉人”。
图为陆翰涛在检查风冷系统设备。贡俊祺 摄影
他告诉记者,团队实行7*24小时轮班制,无缝衔接。每次巡检三人一组,确保每栋机楼随时有人响应各种突发情况。
而比起巡检时不停歇的脚步,更磨人的是时刻紧绷的神经。时间久了,陆翰涛总结出一套如“老中医”般的“独门心法”——望、闻、听。
“机房里哪怕有一丝异响或异味,都可能意味着险情。这些信号稍纵即逝,抓住了就能避免一场大事故。”巡检时,陆翰涛的脚步很轻,感官却异常敏锐:用眼睛观察指示灯有无异常跳变,查验电池是否有鼓胀变形;用鼻子闻空气中极其微弱的焦糊味,防范电路板短路;仔细听机房设备是否发出异样的“喘振”声,警惕发生机械故障。“巡检一定要不留死角、不漏隐患。”他说。
除了日常巡检,线上数据的实时监控同样需要时刻紧盯。来到算力中心的控制中心,大屏上机房PUE、设备温度、业务负载等核心指标实时滚动。
“大模型训练究竟有多火热,用电量会给出最直观的答案。” 陆翰涛举例道,“当一个原本负载100安培的供电设备,突然猛增到500安培,我就知道一项模型训练任务正在执行。”
“小到每一次负载的微小波动,大到整个算力集群的能耗调度,我们都要一一排查、认真分析。” 陆翰涛说。
应急预案化作肌肉记忆
夏季用电负荷量本就高,而比高温更令人提心吊胆的,就是极端情况下可能发生的供电中断。
“算力中心绝不允许断电,哪怕只有一秒。” 陆翰涛深知,大模型训练对电力连续性要求极高,一旦停机就可能造成巨大损失,而应急处置的窗口期往往是毫秒级,考验的是运维人员条件反射般的熟练和冷静。
夏季多雨水。若得知气象预报有雨,陆翰涛会提前半小时到岗,迅速组织团队开展雨天故障模拟演练,将渗水、供电波动的应急预案化作每个人的肌肉记忆。
为了做到万无一失,每个月他们要耐着高温进行两次严苛的柴油发电机应急试机。
记者随行进入到半开放式的柴油发电机房,发电机便安置在内部的封闭集装箱中。推门而入,狭小的空间宛如密不透风的‘大蒸笼’,热浪扑面而来,体感温度已超过45℃。
而陆翰涛和同事则熟练地一头扎进这聒耳轰鸣且满是刺鼻气味的狭小空间,死死盯紧油压、转速和频率,汗水在几分钟内就湿透了他们的工作服。
陆翰涛和其他运维人员在集装箱中测试柴油发电机。贡俊祺摄影
“一旦外电突发中断,蓄电池只能提供大约15分钟的缓冲时间,在此期间柴油发电机房会自动切换启用。”但是,为确保万无一失,人工核查必不可少。运维人员必须像百米冲刺一般顶着巨大心理压力,迅速且零失误地完成跑位,核查每一处操作是否已经生效。“这就是和时间赛跑,动作不仅要快,更要百分之百的精准完美。”陆翰涛说。
用“绣花功夫”节能降耗
高强度的集中运算必然伴随急剧攀升的能耗。除了守护设备安全,陆翰涛还有一项需要精打细算的“绣花功夫”——节能降耗。
“园区运维成本中,电费占比最高。”他笑着拍了拍机房的密封门,“这里的单楼用电量最高可以达到28兆瓦,相当于10多座大型购物中心同时全开的耗电量,“你让冷气跑出去一秒钟,机器就得‘多喘几口气’。”
为此,除了要求人员进出必须随手关门,每年盛夏前夕,陆翰涛和团队还会打响“高温防御战”,对所有基础设备进行彻底的深度维保和清洗,确保每一个制冷“细胞”达到最高效率。
在这座昼夜不息的“算力堡垒”里,守护没有完成时,只有进行时。
极速算力的稳定输出,从来都不是理所当然。在那些肉眼看不见的海量数据洪流背后,正是像陆翰涛这样的数字时代守护者们,用汗水、细致与极致的专业为火热的算力时代筑起一道坚不可摧的防线。
头图为陆翰涛在电力机房巡检。贡俊祺 摄影(咸宁新闻网)
3月5日,李强总理向十四届全国人大二次会议作政府工作报告,要点如下: 一、2023年工作回顾 国内生产总值增长5.2% 粮食产量1.39万亿斤 城镇新增就业1244万人 全年新增税费优惠超过2.2万亿元 新能源汽车产销量占全球比重超 人间三月天,春暖花开,万物复苏,正是相约出游的好时机,但令人烦恼的春季过敏问题也随之来了。应对春季“高敏”,除了涂防晒、戴口罩,减少紫外线、花粉等外在因素影响,还需提升自身免疫力,比如通过补充营养食品 近日,小S公公的葬礼上,大S的穿搭成为了网友热议的焦点。除了身形臃肿疑似哺乳期外,大S的灰色外套也成为了话题。经过网友的调查,发现这件外套竟然是6年前和汪小菲录制综艺节目时穿的旧款。据汪小菲透露,大S每月要刷上百万 据海关统计,2024年前2个月,我国货物贸易(下同)进出口总值6.61万亿元人民币,同比(下同)增长8.7%。其中,出口3.75万亿元,增长10.3%;进口2.86万亿元,增长6.7%;贸易顺差8908.7亿元,扩大23.6%。按美元 南方财经全媒体记者 翁榕涛 广州报道广东基金业协会提供的最新数据显示,截至2024年1月末,广东省(不含深圳)共有私募基金管理人1674家,较上月减少5家,注销8家,新登记3家);管理基金数量12617 草长莺飞,春意萌动。一年一度的3.8妇女节伴着渐暖的微风再次到来。如今,越来越多的普通女性在各自不同的领域里,散发着属于自己的光芒。每一位平凡的女性都有着闪光的一面,在生活里,她们是女儿,是妻 。本文链接:盛夏走基层|当AI撞上高温:直击算力中心如何为万亿级大模型硬核“降温”http://www.sushuapos.com/show-1-63824-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 母婴级除甲醛产品深度测评:居家安全除醛优选排名及搭配指南
下一篇: 菁彩Vivid助力国产高格式电影技术升级