记者8日从中国科学院自动化研究所获悉,来自该所等单位的科研人员首次在国产GPU(图形处理器)算力平台上完成原生类脑脉冲大模型“瞬悉”1.0的全流程训练和推理,并正式开源了70亿参数版本大模型,同时开放了760亿参数版本大模型的测试网址。这是全球首个类脑脉冲大模型,实现了全流程国产化,标志着我国在类脑计算与大模型融合创新方面取得重要突破。
当前,基于Transformer架构的大模型主要依赖简单“点神经元”与大规模算力提升智能,但其训练和推理成本随文本长度急剧增加,严重制约超长文本处理能力的提升。
在这项研究中,研究团队借鉴大脑神经元的工作机制,提出了一种“基于内生复杂性”的具有线性复杂度的类脑脉冲大模型架构,成功打造出“瞬悉”1.0。“这个模型不仅在理论上揭示了新型计算路径,还构建了适配国产算力的训练推理框架,为构建更高效、更复杂且性能更强的新型大模型开辟了新路径。”中国科学院自动化研究所研究员李国齐说。
相比传统模型,“瞬悉”1.0展现出四大核心优势:首先,在极低数据量下实现了高效训练,显著提升了长序列训练效率;其次,推理效率得到数量级提升,特别是在超长序列处理上展现出显著优势;再次,构建了国产自主可控的类脑大模型生态,支持将现有Transformer模型高效转换为类脑脉冲架构;最后,设计了多尺度稀疏机制,为低功耗类脑大模型运行提供了有力支撑。
李国齐表示,这项成果不仅是我国在类脑脉冲大模型架构和国产算力全流程建设上的重大突破,更为法律、医疗、科学模拟等超长序列应用场景提供了更高效的建模工具,也将启迪下一代神经形态计算理论和芯片设计。
记者8日从中国科学院自动化研究所获悉,来自该所等单位的科研人员首次在国产GPU(图形处理器)算力平台上完成原生类脑脉冲大模型“瞬悉”1.0的全流程训练和推理,并正式开源了70亿参数版本大模型,同时开放了760亿参数版本大模型的测试网址。这是全球首个类脑脉冲大模型,实现了全流程国产化,标志着我国在类脑计算与大模型融合创新方面取得重要突破。
当前,基于Transformer架构的大模型主要依赖简单“点神经元”与大规模算力提升智能,但其训练和推理成本随文本长度急剧增加,严重制约超长文本处理能力的提升。
在这项研究中,研究团队借鉴大脑神经元的工作机制,提出了一种“基于内生复杂性”的具有线性复杂度的类脑脉冲大模型架构,成功打造出“瞬悉”1.0。“这个模型不仅在理论上揭示了新型计算路径,还构建了适配国产算力的训练推理框架,为构建更高效、更复杂且性能更强的新型大模型开辟了新路径。”中国科学院自动化研究所研究员李国齐说。
相比传统模型,“瞬悉”1.0展现出四大核心优势:首先,在极低数据量下实现了高效训练,显著提升了长序列训练效率;其次,推理效率得到数量级提升,特别是在超长序列处理上展现出显著优势;再次,构建了国产自主可控的类脑大模型生态,支持将现有Transformer模型高效转换为类脑脉冲架构;最后,设计了多尺度稀疏机制,为低功耗类脑大模型运行提供了有力支撑。
李国齐表示,这项成果不仅是我国在类脑脉冲大模型架构和国产算力全流程建设上的重大突破,更为法律、医疗、科学模拟等超长序列应用场景提供了更高效的建模工具,也将启迪下一代神经形态计算理论和芯片设计。
3月20日对于我国抗衰老研究是个特殊的日子,经过近3年的不懈努力,八子补肾胶囊抗衰老取得又一重大突破。挑战人类生命极限是摆在全球科学家面前的重大课题,抗衰老研究已成为世界生命科学领域关注 3月18日,记者从中南大学生殖与干细胞研究所获悉,研究所林戈、卢光琇教授团队提出的一项新理论称,原始生殖细胞的性染色体组成在人类性别决定中起关键作用。相关论文日前发表于国际生殖领域杂志 所谓香喷喷的婴儿,到底是源于人们的爱意,还是说确有其香?《通讯·化学》21日一项小型研究首次分析了婴儿和青少年体味化学组成的差异。研究显示,有两种较难闻的化合物仅在青少年体味样本中 有消息称,iPhone在中国寻找本土生成式AI提供方,iPhone讨论了在中国的设备中使用百度的人工智能技术。据《华尔街日报》报道,iPhone与百度进行了谈判,以授权其型号。这可能是为了向中国的iPhone客户提 3月23日消息,vivo即将于3月26日发布vivo X Fold3系列折叠屏电话,其中包含vivo X Fold3和vivo X Fold3 Pro两款新品。据悉,vivo X Fold3采用了首发的碳纤维龙骨铰链,重量仅为219克,厚度为4.65毫米。相 3月24日,记者从中国农业科学院获悉,该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队,开发了快速创制细胞质雄性不育系的新方法——“一步法”。相关研究日前发表在国际期刊《自然&midd 。本文链接:首个全流程国产化类脑脉冲大模型推出http://www.sushuapos.com/show-2-13684-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。