近日，华为数据存储产品线发布了AI容器技术——Flex:ai，同时华为联合上海交通大学、西安交通大学与厦门大学共同宣布，将此项产学合作成果向外界开源，助力破解算力资源利用难题。
当前，AI产业高速发展催生海量算力需求，但全球算力资源利用率偏低的问题日益凸显，“算力资源浪费”成为产业发展的关键桎梏：小模型任务独占整卡导致资源闲置，大模型任务单机算力不足难以支撑，大量缺乏GPU/NPU的通用服务器更是处于算力“休眠”状态，供需错配造成严重的资源浪费。
华为数据存储产品线总裁周跃峰
本次发布并开源的Flex:ai XPU池化与调度软件，是基于Kubernetes容器编排平台构建，通过对GPU、NPU等智能算力资源的精细化管理与智能调度，实现AI工作负载与算力资源的精准匹配，可大幅提升算力利用率。该技术深度融合了三大高校与华为的科研力量，形成三大核心技术突破。
针对AI小模型训推场景中“一张卡跑一个任务”的资源浪费问题，华为与上海交通大学联合研发XPU池化框架，可将单张GPU或NPU算力卡切分为多份虚拟算力单元，切分粒度精准至10%。这一技术实现了单卡同时承载多个AI工作负载，且通过弹性灵活的资源隔离技术，可实现算力单元的按需切分，“用多少，切多少”，使此类场景下的整体算力平均利用率提升30%，提高单卡服务能力。
针对大量通用服务器因缺乏智能计算单元而无法服务于AI工作负载的问题，华为与厦门大学联合研发跨节点拉远虚拟化技术。该技术将集群内各节点的空闲XPU算力聚合形成“共享算力池”，一方面为高算力需求的AI工作负载提供充足资源支撑；另一方面，可让不具备智能计算能力的通用服务器通过高速网络，将AI工作负载转发到远端“资源池”中的GPU/NPU算力卡中执行，从而促进通用算力与智能算力资源融合。
面对算力集群中多品牌、多规格异构算力资源难以统一调度的痛点，华为与西安交通大学共同打造Hi Scheduler智能调度器。该调度器可自动感知集群负载与资源状态，结合AI工作负载的优先级、算力需求等多维参数，对本地及远端的虚拟化GPU、NPU资源进行全局最优调度，实现AI工作负载分时复用资源。即便在负载频繁波动的场景下，也能保障AI工作负载的平稳运行，让每一份算力都“物尽其用”。
本文链接：破解算力资源利用难题，华为联合三大高校发布并开源AI容器技术http://www.sushuapos.com/show-3-159650-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。