华为近期开源的盘古Pro MoE大模型,通过动态激活专家网络的创新设计,实现了以小打大的优异性能。然而,近日一项发布于GitHub的研究引发业界关注,该研究的作者认为,华为推出的盘古大模型(Pangu Pro MoE)与阿里巴巴发布的通义千问Qwen-2.5 14B模型在参数结构上存在“惊人一致”。
针对这项研究,7月5日下午,华为盘古团队发布声明表示,盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型,并非基于其他厂商模型增量训练而来,在架构设计、技术特性等方面做了关键创新,是全球首个面向昇腾硬件平台设计的同规格混合专家模型,创新性地提出了分组混合专家模型(MoGE)架构,有效解决了大规模分布式训练的负载均衡难题,提升训练效率。
声明指出,盘古Pro MoE开源模型部分基础组件的代码实现参考了业界开源实践,涉及其他开源大模型的部分开源代码。“我们严格遵循开源许可证的要求,在开源代码文件中清晰标注开源代码的版权声明。这不仅是开源社区的通行做法,也符合业界倡导的开源协作精神。我们始终坚持开放创新,尊重第三方知识产权,同时提倡包容、公平、开放、团结和可持续的开源理念。”
数天前,华为宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。华为表示,此举是华为践行昇腾生态战略的又一关键举措,推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。
以下是华为盘古团队声明原文:
我们注意到近期开源社区及网络平台关于盘古大模型开源代码的讨论。
盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型,并非基于其他厂商模型增量训练而来,在架构设计、技术特性等方面做了关键创新,是全球首个面向昇腾硬件平台设计的同规格混合专家模型,创新性地提出了分组混合专家模型(MoGE)架构,有效解决了大规模分布式训练的负载均衡难题,提升训练效率。其他技术特性创新,请参考昇腾生态竞争力系列技术报告披露内容。
盘古Pro MoE开源模型部分基础组件的代码实现参考了业界开源实践,涉及其他开源大模型的部分开源代码。我们严格遵循开源许可证的要求,在开源代码文件中清晰标注开源代码的版权声明。这不仅是开源社区的通行做法,也符合业界倡导的开源协作精神。我们始终坚持开放创新,尊重第三方知识产权,同时提倡包容、公平、开放、团结和可持续的开源理念。
感谢全球开发者与合作伙伴对盘古大模型的关注和支持,我们高度重视开源社区的建设性意见。希望通过盘古大模型开源,与志同道合的伙伴一起,探索并不断优化模型能力,加速技术突破与产业落地。
我们欢迎并期待大家在开源社区Ascend Tribe,就技术细节进行深入、专业的交流。
本文系观察者网独家稿件,未经授权,不得转载。
在贵金属投资领域,MT5(MetaTrader5)凭借其强大的技术分析工具、多资产支持及智能风控功能,已成为全球投资者进阶交易的首选工具。然而,市面上平台鱼龙混杂,非正规平台暗藏滑点、资金挪用等风险。本文基于权威数据与用户口碑 【宅男财经|专家面对面】北京时间3月19日凌晨,美联储宣布维持利率不变,为今年连续第二次按兵不动。 广开首席产研院资深研究员刘涛表示,尽管3月点阵图维持了对今年降息一次的预期中值,但相比于前几次分歧收窄,投 中新经纬3月18日电 东方通信计划大手笔减持长芯博创。 18日盘后,东方通信公告称,公司同意授权公司管理层,在董事会审议通过后12个月内,根据证券市场情况,通过深圳证券交易所证券交易系统以集中竞价方式择机出售公司 中新经纬3月18日电 “瑞丽市场监督管理局”微信号18日消息,瑞丽市日前启动为期两个月的“清理虚假珠宝主体、打击直播电商乱象”专项行动,旨在根治行业顽疾,重塑市场秩序,为千亿级珠宝产业高质量发展清障护航。 据 。本文链接:华为盘古团队声明:严格遵循开源要求http://www.sushuapos.com/show-3-148579-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 中国病理医生工作量远超欧美,瑞金医院联手华为欲破解难题
下一篇: 2025年或许就只剩7家千亿房企了