近日，深圳河套学院Al训练平台项目团队，联合哈尔滨工业大学(深圳)、深圳市大数据研究院、华为有关团队，协同深智城AI算力平台，面向国产算力大模型训练开展联合攻关。依托昇腾910C国产AI算力集群，完成1.6万亿参数大模型DeepSeek-V4-Pro全参数后训练。
此次实践为全球第三方机构在国产算力平台上完成该级别模型训练的相关探索，积累了重要经验，也印证了国产AI芯片可支撑世界级超大参数模型训练工作。
优化建模SFT数据飞轮流程
万亿参数大模型是人工智能领域的主流前沿模型，在逻辑推理、数理计算、代码编写、长文本理解等方面表现突出。这类模型的全参数训练，对硬件算力、集群稳定性、算法适配优化均有严苛要求。
长期以来，全球范围内万亿级大模型训练多采用海外高端算力产品，国内国产算力此前主要用于模型推理、小幅微调，难以完成全参数深度训练，这也是行业发展中普遍面临的技术难题。
万亿级参数的AI大模型训练难在哪？
如果把训练一个万亿级参数的AI大模型比作解一道超级复杂的数学题，那么每一张计算卡就像一名解题员。他们不仅要分工明确、日夜不停地连轴转，还不能有人偷懒、不能有人出错，更不能有人掉队。
这次训练的DeepSeek-V4-Pro采用的是混合专家模型（MoE）架构，可以把它想象成一个庞大的“专家团”：平时回答问题只激活少数几位专家，看似高效，但后训练时，“专家们”之间的沟通量却是普通模型的几十倍。再加上动态切换的注意力机制，这对芯片算力的调度和显存资源的管理提出了极其苛刻的要求。
简单来说，以前的国产算力更多是让大模型“能用”（即推理部署），就像给模型修了一条单行道，输入一个问题，输出一个答案。而这次的“全参数后训练”，则是要让模型学会自我反思和调整，相当于在单行道的基础上，又增加了复杂的立交桥和多条反馈回路，计算量和通信量瞬间翻了好几倍。
三大硬核突破让国产算力“跑得稳”
面对如此极限的挑战，科研团队在国产AI算力集群上实现了三大硬核突破：
一是“显存拼图”。万亿级大模型不可能只塞进一张卡，团队设计了精密的分布式承载方案，把庞大的模型参数像拼图一样，精确地分配到千卡集群的每一张卡上，算力调度明明白白。
二是“负载均衡”。为了避免MoE模型中有的“专家”忙得够呛、有的却在“闲逛”，团队专门优化了调度策略，保证了每位“专家”分工合理，跨卡通信不再“堵车”。
三是“有人‘守夜’”。全参数后训练最怕跑着跑着系统突然崩溃。本次训练团队搭建了完整的监控体系，全部实现可视可控，确保了长达1500多步的训练过程中，没有出现一次中断或报错。
项目团队开展技术复盘与学生实战培养
本次探索是国产算力适配超大参数大模型过程中的一次重要进展，有助于提升国内AI产业链自主化水平，降低行业应用成本，为人工智能技术落地应用提供更多支撑。目前，项目已实现模型算力利用率（MFU）超过30%，关键训练算子效率提升14%，各项指标均达到工业级运行标准。
从技术应用角度来看，调用已有模型开展业务推理，与从零完成模型全参数训练分属不同技术环节，二者在技术难度、硬件要求上存在明显区别。本次试验结果表明，国产AI算力已可承担顶级大模型训练任务，相关技术路径具备可行性。
经常使用抖音商城购物的朋友对于抖音月付一定不陌生，抖音月付是属于抖音钱包针对优质受邀用户群体开放使用的一款个人消费分期产品， 抖音月付的额度怎样弄出来？抖音月付怎么提 抖音是大家非常熟悉的软件，深受用户喜爱，尤其是年轻人中，几乎每个人的手机安装了抖音。抖音功能很丰富，可以看视频，看直播，还可以购物。为了给用户带来更好的购物体验，抖音月付应运 大家在急yong钱的时候肯定会想到抖音月付，不需要很复杂的程序就能把抖音月付额度换成现金，解决燃眉之急!抖音月付只能通过抖音商城平台，无论是抖音自营店铺还是抖音个人C店都可 （港E声快讯）7月20日上午，沪上阿姨（2589.HK）股价突然大幅拉升，截至发稿，盘中报106.6港元/股，涨幅达29.96%。免责声明：本报告仅供时代商业研究院客户使用。本公司不因接收人收到本报告 。本文链接：深圳用昇腾910C集群完成1.6万亿参数大模型训练http://www.sushuapos.com/show-3-176764-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
下一篇： 130亿次！大国重器在抖音“被看见”