设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

类脑脉冲大模型“瞬悉1.0”成功研发

发布时间: 来源: 中国科学院

近日,中国科学院自动化研究所李国齐和徐波团队与相关单位合作,推出类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)。该模型基于团队原创“内生复杂性”理论,在国产千卡GPU算力平台上完成全流程训练和推理,实现大模型在超长序列推理上数量级的效率和速度提升,展现出构建国产自主可控的新型(非Transformer)大模型架构生态的可行性。研究团队开源了SpikingBrain-1.0-7B模型,开放SpikingBrain-1.0-76B测试网址,同步公开经工业界大规模验证的类脑脉冲大模型SpikingBrain-1.0中英文技术报告。mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

当前主流的Transformer模型存在固有缺点,即训练时开销随序列长度呈平方级增长,推理时显存占用随序列长度线性增加,造成资源消耗,导致其处理超长序列能力受限。mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

研发团队借鉴大脑神经元内部复杂工作机制,提出“基于内生复杂性”大模型构架方式,打造类脑脉冲大模型“瞬悉1.0”,在理论上建立脉冲神经元内生动力学与线性注意力模型之间的联系,揭示现有线性注意力机制是树突计算的特殊简化形式,展示出一条不断提升模型复杂度和性能的新型可行路径。进一步,研发团队构建并开源了基于脉冲神经元、具有线性及混合线性复杂度的新型类脑基础模型,开发出面向国产GPU集群高效训练和推理框架、Triton算子库、模型并行策略、集群通信原语。mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

SpikingBrain-1.0在多个性能方面实现突破:实现极低数据量高效训练、实现推理效率数量级提升、构建国产自主可控类脑大模型生态、提出基于动态阈值脉冲化的多尺度稀疏机制。mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这是我国首次提出大规模类脑线性基础模型架构,并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。其超长序列处理能力在法律与医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

相关链接:mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

网络端的试用端口mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英文技术报告mK1速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  本报讯(记者 郑翅)教育部近日印发《2025年全国硕士研究生招生工作管理规定》,部署各地各招生单位做好2025年全国硕士研究生考试招生工作。2025年全国硕士研究生招生考试初试时间为2024年12月21日至22日,考试时长为6小   为深入学习贯彻全国教育大会精神,大力弘扬教育家精神,推动粤港澳大湾区教师队伍高质量发展,11月9日,教育部教育家精神宣讲(港澳站)暨粤港澳大湾区师德师风建设学术研讨会在澳门举行。  开幕式上,教育部教师工作司有关 中国教育报-中国教育新闻网青岛11月11日讯(记者 刘淼)记者从今天举行的青岛市基础教育扩优提质新闻发布会上获悉,青岛市教育系统近年来加快构建学位充足、布局合理、资源优质的基础教育公共服务 中国教育报-中国教育新闻网讯(记者 施剑松 通讯员 单清伟)10月29日,北京市首届学前教育质量月活动启动暨“学前教育区园行”走进海淀活动在北京市六一幼儿院举行。此次活动以“树立科学质量观 中国教育报-中国教育新闻网讯(记者 阿妮尔 通讯员 徐磊)日前,南京邮电大学联合中北大学、河北科技大学和临沂大学举办八路军红色文化思政育人研讨会。据悉,此次研讨会是四校进一步用好红色资源,落 中国教育报-中国教育新闻网讯(记者 冯丽)近日,由西安交通大学(以下简称“西安交大”)、西安高压电器研究院股份有限公司与西安西电开关电气有限公司产学研深度融合的团队联合研发的“环保型发电机 。

本文链接:类脑脉冲大模型“瞬悉1.0”成功研发http://www.sushuapos.com/show-12-1751-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 研究揭示认知控制大脑活动随年龄呈倒U型发展轨迹

下一篇: 研究利用光热空气集水实现高效自驱动生产绿氢

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜