设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

“源2.0-M32”开源大模型发布

发布时间: 2024-06-03 17:31:47 来源: 科技日报

记者6月1日获悉,浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上,创新性提出和采用了基于注意力机制的门控网络技术,构建包含32个专家的混合专家模型(MoE),大幅提升了模型算力效率。模型运行时激活参数37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

据介绍,针对MoE模型核心的专家调度策略,“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络,关注专家模型之间的协同性度量,可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题,大幅提升专家之间协同处理数据的水平。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

据悉,“源2.0-M32”以“源2.0-2B”为基础模型设计,沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性,再计算全局关联性”的方法,它能更好地学习自然语言的局部和全局语言特征。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在数据层面,“源2.0-M32”基于超2万亿token(文本中最小的语义单元)进行训练,覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面,“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

基于在算法、数据和算力方面的创新,“源2.0-M32”性能大幅提升,在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示,大模型在性能不断提升的同时,也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台,将助力企业实现更快的技术迭代与高效的应用落地,为人工智能产业发展提供坚实底座,加速产业智能化进程。”他说。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

记者6月1日获悉,浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上,创新性提出和采用了基于注意力机制的门控网络技术,构建包含32个专家的混合专家模型(MoE),大幅提升了模型算力效率。模型运行时激活参数37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

据介绍,针对MoE模型核心的专家调度策略,“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络,关注专家模型之间的协同性度量,可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题,大幅提升专家之间协同处理数据的水平。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

据悉,“源2.0-M32”以“源2.0-2B”为基础模型设计,沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性,再计算全局关联性”的方法,它能更好地学习自然语言的局部和全局语言特征。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在数据层面,“源2.0-M32”基于超2万亿token(文本中最小的语义单元)进行训练,覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面,“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

基于在算法、数据和算力方面的创新,“源2.0-M32”性能大幅提升,在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示,大模型在性能不断提升的同时,也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台,将助力企业实现更快的技术迭代与高效的应用落地,为人工智能产业发展提供坚实底座,加速产业智能化进程。”他说。qSV速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

记者3月18日从兰州大学获悉,该校动物医学与生物安全学院郑海学教授团队解析了非洲猪瘟病毒(ASFV)在猪体内感染的靶细胞,以及在靶细胞内延长感染的机制。这项研究系统阐明了ASFV感染的细胞嗜性、 据英国《泰晤士报》网站3月15日报道,2020年1月,英国帝国理工学院的亚当·汉普希尔与英国广播公司合作,对8万人进行了30分钟的测试,目的是揭示生活方式的改变会影响我们的大脑功能。三个月 记者3月20日从中国科学院地质与地球物理研究所获悉,该所科研人员在东北黑土区开展了大范围的野外调查和样品采集工作,通过分析采集的黑土样品发现,黑土物质最初都是由风力搬运而来。相关研究成 科技日报从哈尔滨工业大学获悉,北京时间2024年3月20日8时31分28秒,“天都一号”“天都二号”通导技术试验星伴随探月工程四期鹊桥二号中继星任务搭乘长征八号遥三运载火箭从文昌航天发射场发射 记者3月21日获悉,由中国科学院自动化研究所和中国科学院香港创新研究院联合研发的医疗领域AI多模态大模型——CARES Copilot 1.0日前在香港正式发布,现已面向香港神经外科医生开放使 据英国《自然》周刊网站3月19日报道,研究人员首次利用生成式人工智能(AI)制造出全新抗体。报道称,本周生物学预印本资料库中的一份预印本报告的原理验证研究,提高了将“AI指导的蛋白质设计引入治 。

本文链接:“源2.0-M32”开源大模型发布http://www.sushuapos.com/show-2-6528-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 用人工智能解决心理问题 抑郁状态识别模型准确率达90%

下一篇: 智能云打印破解远程打印难题

热门资讯

  • 站在“人工智能+”探索前列

    今年全国两会期间,人工智能成为热点话题,“人工智能+”首次被写入政府工作报告。一头连着数字经济发展大局,一头连着行业变革与创新,“人工智能+”既是

  • 活性氧响应性材料 向肠炎部位精准投药

    3月17日,记者从陆军军医大学西南医院获悉,该院消化内科教授陈磊团队联合陆军军医大学教授张定林首次提出,活性氧响应性纳米材料能够把程序性死亡配体-

  • 阿尔茨海默病早期症状可能表现在视力上

    据阿根廷布宜诺斯艾利斯经济新闻网报道,一项国际研究发现,阿尔茨海默病的早期症状可能表现在视力上。研究显示,即便眼科检查结果正常,但阅读、估计距离

  • 一种新的结核病候选疫苗在南非启动Ⅲ期临床试验

    在3月24日世界防治结核病日前夕,比尔及梅琳达∙盖茨医学研究所(以下简称盖茨医学研究所)宣布,启动评估结核病候选疫苗M72有效性的Ⅲ期临床试验。在Ⅱb

  • 新研究揭示 光合作用进化“缺失的一环”

    一个国际团队近日在英国《自然》杂志上发表论文说,他们利用湖水样本培养出一种奇特的光合细菌,它属于绿弯菌门一种此前未知的目,代表了光合作用生物进

  • 银鲳高质量染色体水平 参考基因组发布

    3月19日,记者从中国科学院海洋研究所了解到,该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然

  • 云海二号02组卫星发射成功

    记者从中国航天科技集团获悉,3月21日13时27分,长征二号丁运载火箭/远征三号上面级在酒泉卫星发射中心起飞,随后将云海二号02组卫星送入预定轨道,发射任

  • 小龙虾能将锂离子转入食物链

    从手机到手表再到电动汽车,锂离子充电电池为众多设备提供动力。但随着消费者丢弃电子产品的增加,越来越多的锂可能会进入环境。研究人员在美国化学会

  • vivo X Fold3首发碳纤维龙骨铰链:比苹果 15 Pro Max还轻薄

    3月23日消息,vivo即将于3月26日发布vivo X Fold3系列折叠屏电话,其中包含vivo X Fold3和vivo X Fold3 Pro两款新品。据悉,vivo X Fold3采用了首发的碳纤维

  • 限量抢!xiaomiCivi 4 Pro限定色真机照来了:3599元

    3月23日消息,xiaomi集团王晓雁晒出了xiaomiCivi 4 Pro限定色真机照,该系列共有三款颜色,分别是蓝色、粉色和黑与白,定价为3599元,将于4月1日开始发售。据了

  • 我国网民规模达10.92亿人 互联网普及率达77.5%

    3月22日,中国互联网络信息中心(CNNIC)发布第53次《中国互联网络发展状况统计报告》(以下简称《报告》)。《报告》显示,截至2023年12月,我国网民规模达10.9

  • 中广核:用创新技术提升核电站“智”力

    在近日开幕的中国国际核工业展览会上,中国核学会理事会党委书记、理事长王寿君表示,中国内地现有在运核电机组55台、居全球第三;在建核电机组26台,保持

推荐资讯

  • 滴普科技(1384.HK)建议委任冯志伟为独立非执行董事|港E声

    (港E声快讯)滴普科技(1384.HK)发布公告,经考虑董事会提名委员会的推荐建议后,董事会已审议通过建议委任冯志伟先生为公司独立非执行董

  • 友谊时光(6820.HK)发盈喜 预期上半年溢利约6800万-7400万元 同比增长约67%-82%|港E声

    (港E声快讯)友谊时光(6820.HK)公布,该集团预期于2026年上半年取得溢利约6800万元-7400万元,同比增长约67%-82%,预期溢利增长主要是由于

  • 情绪消费越强,性价比越没用

    今天很多品牌增长变难,并不是因为产品不够好,也不是因为价格不够低。而是因为你仍然在用“性价比

  • 本人手教:抖音月付如何套出来额度?

    抖音作为当今电商巨头,稳健发展,不断创新,引领了新的生活时尚。抖音月付「分付」额度作为抖音旗下重要的消费金-融产品,也在影响着年轻人的生活方式,以及购物习惯。快节奏的生活,

  • 安全:抖音月付可以提额度出来吗?

    抖音月付是一款由抖音推出的消费分期产品,为用户提供了一种在线消费、信用消费方式。 它可以帮助用户以分期付款的方式进行消费,同时也能够帮助商家快速收回资金。那么抖音月

  • 整理5个技巧抖音月付哪里提出来靠谱!

    经常使用抖音商城购物的朋友对于抖音月付一定不陌生,抖音月付是属于抖音钱包针对优质受邀用户群体开放使用的一款个人消费分期产品, 抖音月付的额度怎样弄出来?抖音月付怎么提

  • 跌入熊市后暴力反弹,芯片股“盛宴”能否继续?

    南方财经 21世纪经济报道记者吴斌 报道在一度跌入熊市后,芯片股过山车行情继续。7月21日,美股三大指数全线上涨,纳指涨逾1%,费城半导体指数涨5.21%,创下6月22日以来最大单日涨幅,3

  • 安全秒到攻略-抖音月付额度如何提出来!

    抖音作为当今电商巨头,稳健发展,不断创新,引领了新的生活时尚。抖音月付「分付」额度作为抖音旗下重要的消费金-融产品,也在影响着年轻人的生活方式,以及购物习惯。快节奏的生活,

  • 安全:抖音月付20000怎么取出来!

    经常使用抖音商城购物的朋友对于抖音月付一定不陌生,抖音月付是属于抖音钱包针对优质受邀用户群体开放使用的一款个人消费分期产品, 抖音月付的额度怎样弄出来?抖音月付怎么提

  • 今日必学方法-抖音月付20000怎么取出来!

    抖音月付是一款由抖音推出的消费分期产品,为用户提供了一种在线消费、信用消费方式。 它可以帮助用户以分期付款的方式进行消费,同时也能够帮助商家快速收回资金。那么抖音月

  • 介绍便捷秒到方法-抖音月付怎么找秒到商家!

    抖音月付作为购物支付工具,可以为用户提供一定的消费额度,方便用户在抖音平台内进行购物。 然而,很多用户在使用过程中,会遇到月付额度剩余,却无法直接提取出来的问题。 下面,小创

  • 讲答:抖音月付额度怎么换钱出来!

    抖音月付作为购物支付工具,可以为用户提供一定的消费额度,方便用户在抖音平台内进行购物。 然而,很多用户在使用过程中,会遇到月付额度剩余,却无法直接提取出来的问题。 下面,小创

  • 日榜
  • 周榜
  • 月榜