语言是人类文明和社会进步的重要载体,也是人与人之间沟通交流的主要形式。但脑卒中、渐冻症等重大脑疾病可导致患者丧失语言表达能力,影响生活质量,给社会和家庭带来巨大负担。语言脑机接口可重建语言功能障碍患者的沟通能力,有效改善其社会生活质量。国际上,应用脑机接口技术已突破英语语音和文字合成,但针对汉语解码的脑机接口技术研究却相对较少。
近日,中国科学院上海微系统与信息技术研究所等,针对汉语解码,开发出植入式高通量柔性脑机接口系统和汉语言实时神经网络解码算法,并在国际上首次实现脑机接口实时汉语解码和语句合成。
相比于英语,汉语具有其独特性。具体而言,英语是以多音节为主的非声调语言,汉语则是以单音节为主的声调语言。同时,英语词汇量较大,常用英语单词约为20000个,而汉语通过约400个汉语音节加4个声调,可构建出覆盖日常需求的3500多个常用汉字。研究团队利用汉语本身优势,从约400个汉语音节和4个声调入手,将其作为稳定的中间解码单元,实现从脑电到文字的“翻译”,且通过解码这些汉语音节和声调,可外推至全部汉字。同时,解码过程可同步采集汉语句子任务下的发音信号和高通量高质量脑电信号。
研究团队通过构建多级实时解码数据流,以50毫秒滑动窗口提取70Hz至170Hz的High-γ频段脑电信号,并对齐脑电信号与发音起始点,驱动双流解码器同步生成音节与声调的概率分布,进而融合语言模型进行最合适的句子组合选择,实现实时汉语语句输出。研究显示,受试者经过9天的语言解码任务后,394个汉语音节(解码未覆盖音节为生僻音节且受试者不认识)纯神经解码平均准确率达到71.2%,单音节解码延时65ms,实时汉语语句解码速率达到49.6字/分钟。
研究团队进一步融合了语言脑机接口技术与人工智能和具身智能技术,并基于实时汉语解码技术和自主研发的通用型脑机操作系统,使受试者实现了驱动数字分身、对话人工智能大模型。同时,研究可将人的脑电解码成语言,进而转化成指令,实时操控灵巧手,以实现人机交互。
相关研究成果发表在《科学进展》(Science Advances)上。研究工作得到中国科学院、上海市等的支持。
论文链接
实时汉语解码脑机接口系统框架和电极贡献度表征
印度夏季风(西南季风)是亚洲季风系统的重要组成部分。每年6月左右季风爆发,通过大规模水汽输送为印度半岛贡献超过70%的年降水,影响整个东亚地区的水文状况。然而,季风环流的异常波动会引起旱灾、洪涝及其他极端气候 本报讯(记者 郑翅)近日,教育部印发通知部署开展“24365校园招聘服务”全国教育系统2025届高校毕业生招聘活动,积极为高校毕业生与用人单位搭建人才供需精准对接平台,引导更多高校毕业生到教育 新华社利马/西安11月13日电 “天涯若比邻”——这句唐朝诗人王勃的千古名句,既是8年前秘鲁国家考古人类学历史博物馆“华夏瑰宝展”的主题,也是多年来中国和秘鲁传统友好、民心相亲的生动写照 中国教育新闻网讯(记者 李小伟)11月4至5日,第二届山东省幼儿体育大会在风景秀丽的临沂奥体公园体育馆举办。临沂市幼儿体育试点园优选体育游戏展示;各显神通、力拔山河、腰旗橄榄球、手球等试点 编者按:博士研究生教育是国民教育的最高层次,是国家创新体系的关键支撑。近日,中共中央办公厅、国务院办公厅印发《关于加快推动博士研究生教育高质量发展的意见》,对持续深化博士研究生教育综合 中国教育报-中国教育新闻网讯(通讯员 吴伟锋 林志荣 黄紫耀 记者 龙超凡)近日,2024中国·海峡“妈祖杯”鞋类设计大赛决赛在湄洲湾职业技术学院举行。来自上海欧基亚贸易有限公司的杨洋、耿克峰 。本文链接:脑机接口或让中文失语患者重获“新声”http://www.sushuapos.com/show-12-2462-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 研究揭示认知灵活性受损是精神分裂症与强迫症共享的神经影像学表型
下一篇: 研究揭示冬眠哺乳动物低氧适应的分子机制