记者6月1日获悉，浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上，创新性提出和采用了基于注意力机制的门控网络技术，构建包含32个专家的混合专家模型（MoE），大幅提升了模型算力效率。模型运行时激活参数37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
据介绍，针对MoE模型核心的专家调度策略，“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络，关注专家模型之间的协同性度量，可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题，大幅提升专家之间协同处理数据的水平。
据悉，“源2.0-M32”以“源2.0-2B”为基础模型设计，沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性，再计算全局关联性”的方法，它能更好地学习自然语言的局部和全局语言特征。
在数据层面，“源2.0-M32”基于超2万亿token（文本中最小的语义单元）进行训练，覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面，“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。
基于在算法、数据和算力方面的创新，“源2.0-M32”性能大幅提升，在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。
浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示，大模型在性能不断提升的同时，也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台，将助力企业实现更快的技术迭代与高效的应用落地，为人工智能产业发展提供坚实底座，加速产业智能化进程。”他说。
记者6月1日获悉，浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上，创新性提出和采用了基于注意力机制的门控网络技术，构建包含32个专家的混合专家模型（MoE），大幅提升了模型算力效率。模型运行时激活参数37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
据介绍，针对MoE模型核心的专家调度策略，“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络，关注专家模型之间的协同性度量，可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题，大幅提升专家之间协同处理数据的水平。
据悉，“源2.0-M32”以“源2.0-2B”为基础模型设计，沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性，再计算全局关联性”的方法，它能更好地学习自然语言的局部和全局语言特征。
在数据层面，“源2.0-M32”基于超2万亿token（文本中最小的语义单元）进行训练，覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面，“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。
基于在算法、数据和算力方面的创新，“源2.0-M32”性能大幅提升，在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。
浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示，大模型在性能不断提升的同时，也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台，将助力企业实现更快的技术迭代与高效的应用落地，为人工智能产业发展提供坚实底座，加速产业智能化进程。”他说。
国际天文学家团队绘制了迄今最大的三维宇宙地图，记录了大约130万个活跃类星体在空间和时间上的位置。它将成为探测类星体、暗物质晕和超大质量黑洞的强大工具。发表在最新一期《天体物理学杂 据阿根廷布宜诺斯艾利斯经济新闻网2月19日报道，在人工智能(AI)迅速重新定义就业格局的今天，通常被称为“软”技能的人类技能成为最有韧性、最有价值的技能。这是阿尼什·拉曼和玛丽亚&mi 21世纪经济报道记者王峰北京报道 近日，全球教育集团培生（NYSE：PSO）公布2023财年财报。2023财年，培生的销售额为36.74亿英镑（下同），同比下降4%，但基础销售额同比增长1%；调整后营业利润5.73亿，同 “截至2023年底，与2018年同期相比，京津冀治理区浅层地下水位平均回升2.59米，深层承压水水位平均回升7.06米。”3月22日世界水日到来之际，水利部水资源管理司副司长张鸿星21日接受科技日报记者采 3月22日，中国互联网络信息中心（CNNIC）发布第53次《中国互联网络发展状况统计报告》（以下简称《报告》）。《报告》显示，截至2023年12月，我国网民规模达10.92亿人，较2022年12月新增网民2480万人，互联网 记者3月22日获悉，中山大学、深圳华大生命科学研究院与复旦大学的研究团队合作，揭示了多种蚊虫在不同生境下病毒的多样性、传播分布的影响因素及地理谱系特征，在多维尺度上为研究蚊虫病毒组提供 。本文链接：“源2.0-M32”开源大模型发布http://www.sushuapos.com/show-2-6528-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 用人工智能解决心理问题 抑郁状态识别模型准确率达90%
下一篇： 智能云打印破解远程打印难题