被韩媒称为“HBM(高带宽内存)之父”的韩国科学技术院(KAIST)电气与电子工程系教授金正浩,近期接受《东亚日报》视频专访时,谈及HBM的技术演进、AI硬件的性能瓶颈,他称“AI的本质就是内存”。
在金正浩看来,过去外界习惯把AI能力归因于模型算法和GPU算力,但当大模型真正运行起来,注意力机制、上下文缓存、推理生成等都离不开内存系统的支撑。
HBM,即高带宽内存,本质上是将多层DRAM垂直堆叠起来,一方面提高容量,另一方面通过大量并行通道提升数据传输效率。金正浩将其概括为容量与带宽,“如果说传统内存像8车道高速公路,那么HBM就像1024车道、2048车道,未来甚至可能变成100万条车道。”
金正浩表示,大模型每一个输出瞬间都需要从HBM、HBF(高带宽闪存)读取数据,完成计算后再写回。期间,读写过程占据了大部分时间,GPU因此经常处于等待状态。按他的说法,即使部署100万块GPU,真正用于计算的时间可能也只有约10%,大量时间都在等待内存数据到达,即便通过算法和调度进行优化,这一比例也很难超过30%。
因此,金正浩认为,未来AI计算机的进化方向将让计算更靠近内存,让数据不再长距离搬运。“金正浩将其比喻为,“在公寓一楼安装GPU,数据坐电梯下来计算,整栋楼解决所有事,省去奔波时间”,并称从HBM4开始,HBM已经出现“以内存为中心计算”的趋势,部分GPU功能和通信功能被引入内存结构。
沿用这一思路,他进一步描绘了HBM、HBF、HBS的三阶段演进路线。HBM是堆叠DRAM,优势是速度快,但容量仍有限;HBF则是堆叠NAND Flash,速度慢于HBM,但容量更大,更适合承接 AI 的长期记忆、冷数据;HBS则是他提出的高带宽SRAM设想,目标是在更低延迟、更高速度下支撑未来AI计算。
在金正浩设想的未来中,AI计算机将演变为约100层的三维复合架构,其中HBM如百货商店(高速热数据)、HBF如公寓楼群(大容量冷数据)、HBS承担超低延迟缓存,GPU/CPU则位于顶层负责散热。
过去,英伟达的强势建立在GPU对AI训练的绝对适配之上,但推理时代,内存的重要性随之上升。更关键的是,GPU发热高、需要外部散热,也难以像DRAM或NAND那样继续大规模垂直堆叠。
金正浩特别提到,英伟达出CEO黄仁勋近期频繁出入韩国的原因,就是GPU面临瓶颈,技术成长几乎停滞,而未来3DAI计算机的供电和散热能力将成为核心技术竞争力,决定企业生死。
需要注意的是,韩国作为存储产业的重要参与者,金正浩选择强调HBM、HBF乃至更远期的HBS,主观上也拔高了韩国存储产业相对于GPU厂商的地位。他称韩国两大存储厂商既有DRAM堆叠基础,也有NAND技术积累,更有机会在未来3D AI计算架构中占据核心位置。
但是未来AI硬件竞赛不会是简单地从“GPU时代”切换为“内存时代”,而是进入更复杂的系统工程阶段。GPU、HBM、先进封装、网络互连、电力和散热能力,最终都将共同决定AI基础设施的实力。
不过,金正浩也在访谈中,也提到了来自中国企业的追赶压力。
金正浩称,中国企业可以覆盖三星、SK 海力士等既有国际供应商产能不足以的市场。其次,随着中国本土企业寻求自研GPU、NPU或AI芯片,中国内存也将被同步带动。虽然金正浩仍认为目前韩国企业保持领先,但他也明确表示,总有一天,中国甚至美国企业都会在HBM、HBF上追赶上来。
“对韩国厂商而言,这是一场关系到生存的长期竞争,只能努力活到最后”,金正浩表示。
本文系观察者网独家稿件,未经授权,不得转载。
羊小咩作为一款新兴的消费支付产品,为广大用户提供了便捷的购物体验。然而,有些用户在使用过程中,希望能将自己的羊小咩额度套出来使用。以下将为您推荐几种羊小咩额度套取的方 来源|时代商业研究院作者|实习生陈嘉雯 、韩迅编辑|韩迅7月7日晚,巨力索具(002342.SZ)发布公告称,董事 (文/汤普济 编辑/吕栋) 华为近日宣布,将于7月14日在马来西亚吉隆坡举行旗舰产品发布会,推出面向海外市场的Pura 90系列手机。 据马来西亚科技媒体SoyaCincau消息,此次将推出华为Pura 90s Pro和Pura 90s Pro Max两款机型,原 (文/霍东阳 编辑/吕栋) 当盒马开始宣传澳洲专供牧场、山姆把谷饲眼肉牛排做成会员店爆款、奥乐齐在门店开辟澳洲牛肉专区时,澳洲牛肉已经不再只是一个进口商品,它更像一种被零售商共同塑造出来的消费符号。 过去十年,中 。本文链接:韩国教授:未来AI竞争看内存,中美会追赶上来http://www.sushuapos.com/show-3-178881-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。