以10万块英伟达“H100”液冷GPU构建的算力集群，将会产生怎样的洪荒之力？近日，SpaceX和特斯拉的创始人埃隆·马斯克在社交平台发文称，如此规模的超级算力集群正部署在美国田纳西州孟菲斯市的“xAI孟菲斯超算中心”。
要指出的是，“H100”是英伟达专为处理大型语言模型数据而开发的芯片，每块芯片价格约在3万美元左右。这也就意味着，马斯克此次筹建的超算中心仅基础芯片的成本就高达30亿美元。
10万片英伟达H100 GPU被同时部署在一台超级算力集群上是什么概念？可以通过一组对比数据来看：OpenAI用来训练GPT-4的算力系统，拥有2.5万块英伟达“A100”GPU；排名全球超算TOP500榜单第一的美国超算Frontier，算力核心中的GPU数量为3.78万片；微软的云系统集群“Eagle”也“只有”1.44万块英伟达H100 GPU。也就是说，如果比拼人工智能算力规模，xAI孟菲斯超算中心将是当之无愧的世界第一。
马斯克还提到了10万块H100 GPU的连接方式：通过单一RDMA（Remote Direct Memory Access，即远程直接内存访问网络）连接。这种方式可以把数据直接从一台计算机传输到另一台计算机，无需双方操作系统的介入，具有高吞吐、低延迟的网络通信等特点，非常适合在大规模并行计算机集群中使用。
据报道，目前孟菲斯工厂已有3.2万块GPU在线，xAI孟菲斯超算中心尚未满负荷运行。预计随着今年第四季度供电系统的建设完成，届时这台“巨兽”将会全速运行，对xAI旗下的大模型（Grok3）开展训练。
这样一台庞然大物，同时也将是“能源巨兽”。据孟菲斯电力、天然气和水务公司的首席执行官估计，xAI孟菲斯超算集群每小时使用的电力最高会达到150兆瓦，相当于10万户家庭的用电量。除了用电之外，xAI孟菲斯超算集群预计每天至少需要超过3700吨水来散热。对此，当地市民已经开始担忧，担心能源供应和水资源会出现断供情形。
在当前技术趋势下，大模型训练正演变成为算力“军备”的竞逐。据了解，OpenAI和微软也在计划部署更大规模的超算，一项名为“星际之门”算力规划，预计GPU数量将史无前例地达到百万级，成本高达千亿美元，计划在2028年推出。
当地时间12月17日，美国国家航天航空局（NASA）发表声明称，受不利的天气情况影响，美国国家航天航空局和太空探索技术公司（Spa ·星河动力C及C+轮融资11亿元人民币，资金将用于智神星一号可重复使用液体运载火箭技术研发以及相关生产、试验和发 中国科协办公厅关于开展2023年度国家科学技术奖提名工作的通知 各全国学会、协会、研究会，各省、自治区、直辖市科 流感、肺炎支原体、新型冠状病毒、呼吸道合胞病毒等病原体在这个冬天叠加来袭，让国内医疗机构的发热门诊、儿科门诊异常 近日，记者从北京大学获悉，为进一步服务国家战略，充分凝聚学科优势力量，加强临床医学学科顶层设计以及医教研统筹力量，推动世 科技日报讯 （记者张佳星）我国的临床资源十分丰富，但原创医学科研成果质量和规模与临床资源却不相匹配。如何进一步提升 。本文链接：马斯克出手，打造“地表最强AI训练集群”http://www.sushuapos.com/show-11-9170-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “主权级大模型创新联合体”在京成立
下一篇： 第一次全国设计哲学学术研讨会在北京召开