观察者网获悉，本次世界人工智能大会（WAIC），华为将首次线下展出昇腾384超节点真机。
随着大模型训练和推理对算力需求的爆炸式增长，传统计算架构已难以支撑AI技术的代际跃迁。华为昇腾384超节点，首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联，形成一台超级“AI服务器”，单卡推理吞吐量跃升到2300 Tokens/s。
在高速互联总线联接下，昇腾384超节点共由12个计算柜和4个总线柜构成，是目前业界最大规模的超节点，算力总规模达300Pflops，是英伟达NVL72的1.7倍；网络互联总带宽达269TB/s，比英伟达NVL72提升107%；内存总带宽达1229TB/s，比英伟达NVL72提升113%。 更重要的是，通过最佳负载均衡组网等方案，昇腾超节点还能进一步扩展为包含数万卡的Atlas 900 SuperCluster超节点集群，未来可以支撑更大规模的模型演进。
并且，超节点架构还能更好地支持混合专家MoE大模型的推理，可以实现“一卡一专家”，一个超节点可以支持384个专家并行推理，极大提升效率。同时，超节点还可以支持“一卡一算力任务”，灵活分配资源，提升任务并行处理，减少等待，将算力有效使用率（MFU）提升50%以上。
本文链接：华为将首次展出“算力核弹”真机http://www.sushuapos.com/show-3-149663-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 字节跳动新加坡员工中毒事件宣判：云海肴被罚7000新元
下一篇： “雪糕刺客”钟薛高：从高端狂飙到破产收场