记者6月1日获悉，浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上，创新性提出和采用了基于注意力机制的门控网络技术，构建包含32个专家的混合专家模型（MoE），大幅提升了模型算力效率。模型运行时激活参数37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
据介绍，针对MoE模型核心的专家调度策略，“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络，关注专家模型之间的协同性度量，可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题，大幅提升专家之间协同处理数据的水平。
据悉，“源2.0-M32”以“源2.0-2B”为基础模型设计，沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性，再计算全局关联性”的方法，它能更好地学习自然语言的局部和全局语言特征。
在数据层面，“源2.0-M32”基于超2万亿token（文本中最小的语义单元）进行训练，覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面，“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。
基于在算法、数据和算力方面的创新，“源2.0-M32”性能大幅提升，在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。
浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示，大模型在性能不断提升的同时，也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台，将助力企业实现更快的技术迭代与高效的应用落地，为人工智能产业发展提供坚实底座，加速产业智能化进程。”他说。
记者6月1日获悉，浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上，创新性提出和采用了基于注意力机制的门控网络技术，构建包含32个专家的混合专家模型（MoE），大幅提升了模型算力效率。模型运行时激活参数37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
据介绍，针对MoE模型核心的专家调度策略，“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络，关注专家模型之间的协同性度量，可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题，大幅提升专家之间协同处理数据的水平。
据悉，“源2.0-M32”以“源2.0-2B”为基础模型设计，沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性，再计算全局关联性”的方法，它能更好地学习自然语言的局部和全局语言特征。
在数据层面，“源2.0-M32”基于超2万亿token（文本中最小的语义单元）进行训练，覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面，“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。
基于在算法、数据和算力方面的创新，“源2.0-M32”性能大幅提升，在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。
浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示，大模型在性能不断提升的同时，也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台，将助力企业实现更快的技术迭代与高效的应用落地，为人工智能产业发展提供坚实底座，加速产业智能化进程。”他说。
据法新社3月18日报道，周一，美国半导体巨头英伟达公司发布了其最新型号的电子芯片，这些芯片旨在支持人工智能（AI）革命，英伟达正努力巩固其作为人工智能领域关键供应商的地位。“我们需要更加强大的 3月21日是世界睡眠日，中国主题为“健康睡眠 人人共享”。近日发布的《2023年中国居民睡眠白皮书》显示，我国居民平均睡眠时长6.75小时，平均在零点后入睡，夜间睡眠时长普遍偏短。你是否有睡眠困扰 春，推也。从草从日，草春时生也。进入春日，人们时常能在大地回暖、万物复苏中见证旺盛的生命力。一起解锁空间站里的“春日关键词”，感受太空中的“春日力量”吧！春日关键词：温暖空间站内 四季如春 记者3月21日从安徽师范大学获悉，该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段，证实他们前期提出的，眨眼行为可能在雌性凹耳蛙性选择中起着重要作用 3月19日，记者从中国科学院海洋研究所了解到，该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 作为功能机时代的霸主，诺基亚手机曾经创造了巨大的辉煌，但也因错失智能手机发展机遇而“掉队”。近期，外媒Visual Capitalist统计了有史以来最畅销的15款手机型号，其中诺基亚和苹果包揽前十。今 。本文链接：“源2.0-M32”开源大模型发布http://www.sushuapos.com/show-2-6528-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 用人工智能解决心理问题 抑郁状态识别模型准确率达90%
下一篇： 智能云打印破解远程打印难题