设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

发布时间: 2024-03-26 17:05:38 来源: 量子位

AI算力8年增长1000倍A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

AI春晚GTC开幕,皮衣老黄再次燃爆全场。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

时隔两年,英伟达官宣新一代Blackwell架构,定位直指“新工业革命的引擎” ,“把AI扩展到万亿参数”。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

作为架构更新大年,本次大会亮点颇多:A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 宣布GPU新核弹B200,超级芯片GB200
  • Blackwell架构新服务器,一个机柜顶一个超算
  • 推出AI推理微服务NIM,要做世界AI的入口
  • 新光刻技术cuLitho进驻台积电,改进产能。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
    ……
英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

8年时间,AI算力已增长1000倍。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

老黄断言“加速计算到达了临界点,通用计算已经过时了”。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

老黄这次主题演讲题目为《见证AI的变革时刻》,但不得不说,英伟达才是最大的变革本革。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

GPU的形态已彻底改变

Blackwell新架构硬件产品线都围绕这一句话展开。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

通过芯片,与芯片间的连接技术,一步步构建出大型AI超算集群。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

4nm制程达到瓶颈,就把两个芯片合在一起,以10TB每秒的满血带宽互联,组成B200 GPU,总计包含2080亿晶体管。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

没错,B100型号被跳过了,直接发布的首个GPU就是B200。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

两个B200 GPU与Grace CPU结合就成为GB200超级芯片,通过900GB/s的超低功耗NVLink芯片间互连技术连接在一起。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

两个超级芯片装到主板上,成为一个Blackwell计算节点。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

18个这样的计算节点共有36CPU+72GPU,组成更大的“虚拟GPU”。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

它们之间由今天宣布的NVIDIA Quantum-X800 InfiniBand和Spectrum™-X800以太网平台连接,可提供速度高达800Gb/s的网络。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

在NVLink Switch支持下,最终成为“新一代计算单元”GB200 NVL72。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

一个像这样的“计算单元”机柜,FP8精度的训练算力就高达720PFlops,直逼H100时代一个DGX SuperPod超级计算机集群(1000 PFlops)。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

与相同数量的72个H100相比,GB200 NVL72对于大模型推理性能提升高达30倍,成本和能耗降低高达25倍。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

把GB200 NVL72当做单个GPU使用,具有1.4EFlops的AI推理算力和30TB高速内存。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

再用Quantum InfiniBand交换机连接,配合散热系统组成新一代DGX SuperPod集群。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

DGX GB200 SuperPod采用新型高效液冷机架规模架构,标准配置可在FP4精度下提供11.5 Exaflops算力和240TB高速内存。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

此外还支持增加额外的机架扩展性能。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

最终成为包含32000 GPU的分布式超算集群。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

老黄直言,“英伟达DGX AI超级计算机,就是AI工业革命的工厂”。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

将提供无与伦比的规模、可靠性,具有智能管理和全栈弹性,以确保不断的使用。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

在演讲中,老黄还特别提到2016年赠送OpenAI的DGX-1,那也是史上第一次8块GPU连在一起组成一个超级计算机。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

从此之后便开启了训练最大模型所需算力每6个月翻一倍的增长之路。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

GPU新核弹GB200

过去,在90天内训练一个1.8万亿参数的MoE架构GPT模型,需要8000个Hopper架构GPU,15兆瓦功率。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

如今,同样给90天时间,在Blackwell架构下只需要2000个GPU,以及1/4的能源消耗。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

在标准的1750亿参数GPT-3基准测试中,GB200的性能是H100的7倍,提供的训练算力是H100的4倍。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

Blackwell架构除了芯片本身外,还包含多项重大革新:A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 第二代Transformer引擎

动态为神经网络中的每个神经元启用FP6和FP4精度支持。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速
  • 第五代NVLink高速互联

为每个GPU 提供了1.8TB/s双向吞吐量,确保多达576个GPU之间的无缝高速通信。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速
  • Ras Engine(可靠性、可用性和可维护性引擎)

基于AI的预防性维护来运行诊断和预测可靠性问题。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • Secure AI

先进的加密计算功能,在不影响性能的情况下保护AI模型和客户数据,对于医疗保健和金融服务等隐私敏感行业至关重要。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 专用解压缩引擎

支持最新格式,加速数据库查询,以提供数据分析和数据科学的最高性能。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

在这些技术支持下,一个GB200 NVL72就最高支持27万亿参数的模型。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

而GPT-4根据泄露数据,也不过只有1.7万亿参数。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

英伟达要做世界AI的入口

老黄官宣ai.nvidia.com页面,要做世界AI的入口。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

任何人都可以通过易于使用的用户界面体验各种AI模型和应用。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

同时,企业使用这些服务在自己的平台上创建和部署自定义应用,同时保留对其知识产权的完全所有权和控制权。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

这上面的应用都由英伟达全新推出的AI推理微服务NIM支持,可对来自英伟达及合作伙伴的数十个AI模型进行优化推理。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

此外,英伟达自己的开发套件、软件库和工具包都可以作为NVIDIA CUDA-X™微服务访问,用于检索增强生成 (RAG)、护栏、数据处理、HPC 等。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

比如通过这些微服务,可以轻松构建基于大模型和向量数据库的ChatPDF产品,甚至智能体Agent应用。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

NIM微服务定价非常直观,“一个GPU一小时一美元”,或年付打五折,一个GPU一年4500美元。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

从此,英伟达NIM和CUDA做为中间枢纽,连接了百万开发者与上亿GPU芯片。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

什么概念?A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

老黄晒出AI界“最强朋友圈”,包括亚马逊、迪士尼、三星等大型企业,都已成为英伟达合作伙伴。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

最后总结一下,与往年相比英伟达2024年战略更聚焦AI,而且产品更有针对性。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

比如第五代NVLink还特意为MoE架构大模型优化通讯瓶颈。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

新的芯片和软件服务,都在不断的强调推理算力,要进一步打开AI应用部署市场。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

当然作为算力之王,AI并不是英伟达的全部。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这次大会上,还特别宣布了与苹果在Vision Pro方面的合作,让开发者在工业元宇宙里搞空间计算。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

此前推出的新光刻技术cuLitho软件库也有了新进展,被台积电和新思科技采用,把触手伸向更上游的芯片制造商。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

当然也少不了生物医疗、工业元宇宙、机器人汽车的新成果。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

以及布局下一轮计算变革的前沿领域,英伟达推出云量子计算机模拟微服务,让全球科学家都能充分利用量子计算的力量,将自己的想法变成现。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

One More Thing

去年GTC大会上,老黄与OpenAI首席科学家Ilya Sutskever的炉边对谈,仍为人津津乐道。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

当时世界还没完全从ChatGPT的震撼中清醒过来,OpenAI是整个行业绝对的主角。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

如今Ilya不知踪影,OpenAI的市场统治力也开始松动。在这个节骨眼上,有资格与老黄对谈的人换成了8位——A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

Transformer八子,开山论文《Attention is all you need》的八位作者。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他们陆陆续续已经悉数离开谷歌,其中7位投身AI创业,有模型层也有应用层,有toB也有toC。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这八位传奇人物既象征着大模型技术真正的起源,又代表着现在百花齐放的AI产业图景。在这样的格局中,OpenAI不过是其中一位玩家。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

而就在两天后,老黄将把他们聚齐,在自己的主场。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速

要论在整个AI界的影响力、号召力,在这一刻,无论是“钢铁侠”马斯克还是“奥特曼”Sam Altman,恐怕都比不过眼前这位“皮衣客”黄仁勋。A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

……A9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

直播回放:
https://www.youtube.com/watch?v=Y2F8yisiS6EA9N速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

旅行推销员问题是一个经典的数学问题,也是一个组合优化问题。德国柏林弗雷大学和亥姆霍兹柏林能源与材料研究中心(HZB)科学家开展的一项新研究证明,量子计算机在解决旅行推销员问题上,相较于传统 记者3月20日从中国科学技术大学获悉,该校郭光灿院士团队在量子态分辨研究中取得重要进展:他们在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略,并发展了自适应集体测量实验技术, 南方财经全媒体记者马嘉璐 广州报道如何划分一般数据、重要数据、核心数据终于有了国标版“参考答案”。3月21日,国家标准GB/T 43697-2024《数据安全技术 数据分类分级规则》(以下简   中新经纬3月22日电 据《日本经济新闻》22日报道,夏普正在讨论缩小液晶显示器业务,夏普已将子公司显示器(SDP、位于市)停产纳入视野。显示器业务持续陷入苦战,成为夏普在2022财年(截至2023年3月)时隔5年陷入最终亏损 3月22日,中国互联网络信息中心(CNNIC)在京发布第53次《中国互联网络发展状况统计报告》。报告显示,截至2023年12月,我国网民规模达10.92亿人,互联网普及率达77.5%;网络基础设施建设持续加强,新型消费 3月24日,记者从中国农业科学院获悉,该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队,开发了快速创制细胞质雄性不育系的新方法——“一步法”。相关研究日前发表在国际期刊《自然&midd 。

本文链接:英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速http://www.sushuapos.com/show-2-4207-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 全球首个类Sora开源复现方案来了!全面公开训练细节和模型权重

下一篇: 亚信科技公布2023全年业绩 三新业务继续保持双位数增长

热门资讯

  • 全国首个煤炭行业能源智算中心在山西建成

    3月18日,记者从山西省人民政府获悉,“山西煤炭工业互联网智算平台”日前在山西联通大数据中心建设完成。该平台由中国联通与山西晋云互联科技有限公

  • AI领域,重磅消息传来!

    AI领域,一则重磅消息传来!最新消息,全球最知名的AI公司——OpenAI将在几个月内发布新版大型语言模型GPT-5,性能将有大幅跃升。目前,ChatGPT使用

  • 以抗双链抗体为治疗靶点 我科研人员找到高效治疗红斑狼疮新路径

    记者3月20日从西安交通大学第二附属医院获悉,该院皮肤病院夏育民教授科研团队研究设计了一种靶向抗双链抗体的D型模拟肽(D-ALW多肽)纳米微粒,成功应用

  • 原来,中国空间站里“四季如春”

    春,推也。从草从日,草春时生也。进入春日,人们时常能在大地回暖、万物复苏中见证旺盛的生命力。一起解锁空间站里的“春日关键词”,感受太空中的“春日

  • AI+智能家居赋能健康睡眠

    3月21日是第二十五个“世界睡眠日”,中国睡眠研究会联合慕思集团在北京正式发布《2024情绪与健康睡眠白皮书》(以下简称《白皮书》)。《白皮书》指出,

  • “AI钢铁侠”黄仁勋,又进化了英伟达

      “AI钢铁侠”黄仁勋,又进化了英伟达  作 者丨倪雨晴  2024年,英伟达一年一度的GTC大会已然成为AI界春晚,现场座无虚席,全球AI爱好者翘首以待黄仁勋的独家SOLO。  北京

  • 我国网民规模达10.92亿人:互联网普及率77.5%!

    3月22日消息,中国互联网络信息中心(CNNIC)今天发布了《中国互联网络变化状况计算报告》。《报告》显示,截至2023年12月,我国网民规模达10.92亿人,较2022年12

  • 潜望长焦缺席三代后 曝xiaomi15 Pro重新拥抱潜望镜头

    3月22日消息,数码闲聊站爆料称,xiaomi15 Pro将采用5000万像素的超大底三摄方案,其中一颗是全新的潜望长焦镜头。据资料显示,xiaomi11 Pro配备了潜望长焦镜

  • 南财观察丨操作系统与一座城:全球“鸿蒙之城”深圳造

    21世纪经济报道记者 石恩泽 深圳报道操作系统似乎对地理入迷。鸿蒙和深圳,就像Windows和西雅图,也似Linux和赫尔辛基。这是地理与技术的紧密

  • 首批量子测量领域国家标准发布

    随着量子技术的发展,利用量子特性突破传统测量技术极限的新一代精密测量技术——量子测量开始得到应用。记者从中国计量科学研究院获悉,由

  • 首款骁龙8 Gen3折叠屏!vivo X Fold3图赏

    3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供

  • 吸烟会增加腹部脂肪

    科学杂志《成瘾》3月21日发表的一项新研究显示,刚开始吸烟和终生吸烟都可能增加腹部脂肪,特别是内脏脂肪。内脏脂肪与心脏病、糖尿病、中风和痴呆症

推荐资讯

  • 日榜
  • 周榜
  • 月榜