近日,中国科学院自动化研究所李国齐和徐波团队与相关单位合作,推出类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)。该模型基于团队原创“内生复杂性”理论,在国产千卡GPU算力平台上完成全流程训练和推理,实现大模型在超长序列推理上数量级的效率和速度提升,展现出构建国产自主可控的新型(非Transformer)大模型架构生态的可行性。研究团队开源了SpikingBrain-1.0-7B模型,开放SpikingBrain-1.0-76B测试网址,同步公开经工业界大规模验证的类脑脉冲大模型SpikingBrain-1.0中英文技术报告。
当前主流的Transformer模型存在固有缺点,即训练时开销随序列长度呈平方级增长,推理时显存占用随序列长度线性增加,造成资源消耗,导致其处理超长序列能力受限。
研发团队借鉴大脑神经元内部复杂工作机制,提出“基于内生复杂性”大模型构架方式,打造类脑脉冲大模型“瞬悉1.0”,在理论上建立脉冲神经元内生动力学与线性注意力模型之间的联系,揭示现有线性注意力机制是树突计算的特殊简化形式,展示出一条不断提升模型复杂度和性能的新型可行路径。进一步,研发团队构建并开源了基于脉冲神经元、具有线性及混合线性复杂度的新型类脑基础模型,开发出面向国产GPU集群高效训练和推理框架、Triton算子库、模型并行策略、集群通信原语。
SpikingBrain-1.0在多个性能方面实现突破:实现极低数据量高效训练、实现推理效率数量级提升、构建国产自主可控类脑大模型生态、提出基于动态阈值脉冲化的多尺度稀疏机制。
这是我国首次提出大规模类脑线性基础模型架构,并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。其超长序列处理能力在法律与医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。
相关链接:
网络端的试用端口
英文技术报告
党的十八大以来,我国教育对外开放积极谋求更高质量发展,取得显著成效,已成为推进教育强国建设的重要引擎。通过不断完善教育对外开放总体布局,统筹规划、重点推进,我国逐步形成了更全方位、更宽领 近年来,笔者先后在北京、江苏、山东、陕西、河南、黑龙江、云南等地多所重点高中进行复习课教学指导,与相关学校高三年级的各学科教师就课堂观察情况进行座谈交流。笔者发现,不少复习课都一 中国教育报-中国教育新闻网讯(记者 陈欣然)“学校开设的‘简历门诊’对我太有帮助了!老师一对一‘把脉’,既让我看清短板,也明白了如何突出自己的竞争优势。”天津职业大学生物与环境工程学院2025 中国教育报-中国教育新闻网讯(记者 任朝霞)11月12日,上海市黄浦区义务教育教学改革实验区推进大会暨黄浦区第六届小学教学节在上海师范大学附属卢湾实验小学举行,会上解读了黄浦区义务教育教学改 中国教育报-中国教育新闻网讯(记者 欧媚)近日,国家发展改革委会同教育部、财政部、人力资源社会保障部、商务部联合印发《关于深化家政服务业产教融合的意见》(以下简称《意见》),加强家政人才教育 中国教育报-中国教育新闻网讯(记者 杨国良)11月9—10日,第十届中国大学生程序设计竞赛(重庆)在重庆大学落幕,重庆大学副校长卢义玉出席开幕式并致辞,开幕式由重庆大学计算机学院院长向涛主持。本届 。本文链接:类脑脉冲大模型“瞬悉1.0”成功研发http://www.sushuapos.com/show-12-1751-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。