设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

手语能“听到” 声音可“看见” 机器手语翻译技术实现双向无障碍实时沟通

发布时间: 2024-12-10 09:56:33 来源: 科技日报

近日,黑龙江大学本科生创业团队的参赛项目“传情达意——让机器手语翻译不再冰冷”凭借其独特的创意和系列技术突破,在第十四届“挑战杯”秦创原中国大学生创业计划竞赛中荣获金奖。这个项目研发了全国首个融合面部肌电信号的手语翻译技术和相关AR眼镜设备,不仅让手语被“听到”,还能让声音被“看见”。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队通过调研发现,目前助聋设备普及率只有5%,且普遍价格高,适配场景少,准确率较低。为此,团队决定在助聋设备方面做进一步探索。他们历时两年,研发出样品并进行完善,目前已与徐州市特殊教育中心等机构签订购买意向书。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“我们的创新产品主要由臂环和AR眼镜两部分组成。”项目负责人、黑龙江大学电子工程学院朱铭熙说,臂环通过收集并识别聋哑人做手语时的肌电信号,将其转化为语音,实现了手语的“听觉化”。在这一过程中,电极贴片起到了关键作用。它们能够捕捉肢体动作的细微变化,将其转化为特征向量,与预先建立的手语向量数据库进行比对,从而准确识别出手语的含义。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

然而,仅有臂环的手语识别并不足以达到精准翻译的目标。朱铭熙介绍:“手语中面部表情所占的权重不低于40%,而人的情绪主要通过眉毛和面颊两侧的肌肉来体现。”zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了提升准确率,团队进一步提升了设备精准捕捉表情、理解情感的能力。他们将电极贴片安装在AR眼镜的引擎上,研发了我国首个融合面部肌电信号的手语翻译技术。当佩戴者因情绪产生微表情的时候,设备就能精准捕捉这些微小的面部表情,并将其转化为特征向量后与数据库中的信息进行比对,从而让手语翻译更加精准。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

同时,团队还扩大了数据吞吐量,实现设备时延小于0.1秒,能实时完成13000余条手语数据的调用。正是基于这些技术,与同类产品相比,团队产品的实时性翻译能力更强,准确度更高。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

朱铭熙团队的成果,不仅让手语被“听到”,还让声音被“看见”。考虑到很多听障人士存在识字困难,朱铭熙团队开发了一个能够显示在AR眼镜上的数字人。当识别到周围有人说话时,文字内容可以直接匹配到数字人的手语动作上。这样,佩戴者就能在AR眼镜上看到数字人打手语,无需识字就能理解对方的意思。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这一创新为听障人士提供了极大便利,为他们打开了一个全新的交流世界。该技术不仅可以用于个人社交活动,也能作为聋哑学校基础的教学辅助装置。“通过让学生佩戴臂环,我们可以检测他们的手语表达是否标准,中控台可以实时显示结果,让手语教学更直观,也大大降低了教学成本和时间。”朱铭熙介绍。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,2000余位听障人士佩戴了团队研发的产品。河南郑州张哥助残服务平台创始人张继磊试用产品后给予高度评价:“这款产品能够切实帮助聋哑人群,应用市场非常广阔,希望能继续完善,让更多有需要的人受益。”zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,团队正在向数据库继续补充手语数据,扩大产品的应用场景。(记者 朱虹)zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

近日,黑龙江大学本科生创业团队的参赛项目“传情达意——让机器手语翻译不再冰冷”凭借其独特的创意和系列技术突破,在第十四届“挑战杯”秦创原中国大学生创业计划竞赛中荣获金奖。这个项目研发了全国首个融合面部肌电信号的手语翻译技术和相关AR眼镜设备,不仅让手语被“听到”,还能让声音被“看见”。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队通过调研发现,目前助聋设备普及率只有5%,且普遍价格高,适配场景少,准确率较低。为此,团队决定在助聋设备方面做进一步探索。他们历时两年,研发出样品并进行完善,目前已与徐州市特殊教育中心等机构签订购买意向书。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“我们的创新产品主要由臂环和AR眼镜两部分组成。”项目负责人、黑龙江大学电子工程学院朱铭熙说,臂环通过收集并识别聋哑人做手语时的肌电信号,将其转化为语音,实现了手语的“听觉化”。在这一过程中,电极贴片起到了关键作用。它们能够捕捉肢体动作的细微变化,将其转化为特征向量,与预先建立的手语向量数据库进行比对,从而准确识别出手语的含义。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

然而,仅有臂环的手语识别并不足以达到精准翻译的目标。朱铭熙介绍:“手语中面部表情所占的权重不低于40%,而人的情绪主要通过眉毛和面颊两侧的肌肉来体现。”zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了提升准确率,团队进一步提升了设备精准捕捉表情、理解情感的能力。他们将电极贴片安装在AR眼镜的引擎上,研发了我国首个融合面部肌电信号的手语翻译技术。当佩戴者因情绪产生微表情的时候,设备就能精准捕捉这些微小的面部表情,并将其转化为特征向量后与数据库中的信息进行比对,从而让手语翻译更加精准。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

同时,团队还扩大了数据吞吐量,实现设备时延小于0.1秒,能实时完成13000余条手语数据的调用。正是基于这些技术,与同类产品相比,团队产品的实时性翻译能力更强,准确度更高。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

朱铭熙团队的成果,不仅让手语被“听到”,还让声音被“看见”。考虑到很多听障人士存在识字困难,朱铭熙团队开发了一个能够显示在AR眼镜上的数字人。当识别到周围有人说话时,文字内容可以直接匹配到数字人的手语动作上。这样,佩戴者就能在AR眼镜上看到数字人打手语,无需识字就能理解对方的意思。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这一创新为听障人士提供了极大便利,为他们打开了一个全新的交流世界。该技术不仅可以用于个人社交活动,也能作为聋哑学校基础的教学辅助装置。“通过让学生佩戴臂环,我们可以检测他们的手语表达是否标准,中控台可以实时显示结果,让手语教学更直观,也大大降低了教学成本和时间。”朱铭熙介绍。zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,2000余位听障人士佩戴了团队研发的产品。河南郑州张哥助残服务平台创始人张继磊试用产品后给予高度评价:“这款产品能够切实帮助聋哑人群,应用市场非常广阔,希望能继续完善,让更多有需要的人受益。”zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,团队正在向数据库继续补充手语数据,扩大产品的应用场景。(记者 朱虹)zVc速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  中新经纬1月12日电 深圳市人力资源和社会保障局官方微信11日回应“深圳一公司男高管违法开除男员工”称,涉事公司经综合考虑该管理人员处理纠纷时存在不当言论及其他因素,于2023年2月对其进行降职处理,并于2023年3月   中新网2月18日电 海安应急管理微信公众号发布情况通报,2024年2月18日2时11分,海安经济技术开发区亚太轻合金(南通)科技股份有限公司车间内生产铝棒的铸造井区域发生爆炸。截至目前,共造成3人死亡,2人失联,搜救和善后工   39.5万人次!春节期间上海机场单日旅客吞吐量创下历年春运最高纪录  中新网2月18日电 据上海机场集团微信公众号消息,自2月6日春运出港高峰首日至2月17日(年初八),上海浦东、虹桥机场共保障进出港旅客437.6万人次( 新华社记者周楠、余春生、谢奔“路上快要结冰了,开车要注意安全。”2月21日中午,在省道S306茶垭段,寒风瑟瑟,湖南省桑植县竹叶坪乡政府工作人员李雅敏正和同事对过往车辆进行警示提醒。气象部门分析,受强   约7折“抄底”剩余50%股权,领展全资吞下上海万科七宝项目,6个月过渡期后拟更名  对于此次7折收购七宝万科广场剩余50%股权,领展资产管理发言人向《每日经济新闻》记者介绍:  七宝项目规模庞大且兼具长期增长潜力,   中国一汽审计与法务部总经理闫锋接受纪律审查和监察调查  中新网2月22日电 据中央纪委国家监委网站,据中国一汽纪委、吉林省纪委监委消息:中国一汽审计与法务部总经理闫锋涉嫌严重违纪违法,目前正接受中国一汽纪委 。

本文链接:手语能“听到” 声音可“看见” 机器手语翻译技术实现双向无障碍实时沟通http://www.sushuapos.com/show-5-38169-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 培育完整体系 充分激发潜力——中国经济圆桌会年终共话扩内需

下一篇: 主产区各类粮食企业累计收购秋粮超1.4亿吨—— 收成金灿灿 收获满当当

热门资讯

推荐资讯

  • 2023年出境游相关新增企业同比增长近300%

      近日,据企查查数据显示,国内现存出境游相关企业12.18万家。近十年其注册量呈整体增长态势。2019年注册量达3.34万家,同比增长15.98%,达近十年注册量峰值。此后,受疫情等因素

  • 科幻小说的独特能力是什么

    在不久前揭晓的第二届科幻星球奖获奖名单上,天瑞说符的《我们生活在南京》荣获“文学奖冠军·最佳科幻长篇小说”。小说以无线电技术这一专业

  • 总投资约2.1亿元, 扬州仪征一轻奢民宿项目开工

    近日,枣林湾旅游度假区举行了“八村联兴”共富项目发布会暨枣林湖畔文化旅游发展公司少间轻奢民宿开工仪式。据了解,此次开工的少间轻奢民宿项目,包括亲子乐高主题IP的找你萌,摇

  • 曲江文旅2024年一季度实现营收超4亿元

      4月28日,曲江文旅发布2024年第一季度财报。报告显示,曲江文旅2024年一季度实现营业收入4.01亿元,同比增长22.74%;归属于上市公司股东的净利润为211.51万元,同比大幅减少76.8

  • 曲江文旅2023年实现营收15.04亿元

      4月28日,曲江文旅发布了2023年财报。报告显示,曲江文旅2023年实现营业收入15.04亿元,较上年同期增幅68.80%;归属于上市公司股东的净亏损1.95亿元,较上年同期增加5262.47万元

  • 浙江三部门联合开展餐饮酒店行业无线电业务规范专项行动

    4月29日,钱江晚报消息,为进一步规范餐饮酒店行业无线电频率、无线电台设置使用行为,维护良好电波秩序,促进行业合法合规经营、健康有序发展,近日,浙江省经济和信息化厅、浙江省商

  • 作为美食家的大仲马

    在西方,法国19世纪“积极浪漫主义”作家大仲马(Alexandre Dumas),也许是唯一一位靠通俗文学跻身大文豪之列的作家。从1828年大仲马用业余时间撰写的剧

  • 桂林阳朔腾昇希尔顿花园酒店启幕

    4月29日,桂林阳朔腾昇希尔顿花园酒店正式启幕。酒店坐落于拥有1700多年历史的兴坪古镇旁,地理位置便利,可轻松抵达阳朔高铁站、漓江景区(观黄布倒影)。酒店内设125间山景、江景、

  • 天津首个配售型保障性住房项目开工

      近日,从天津市住建委获悉,天津市首个配售型保障性住房项目——红桥区丽水苑项目开工,标志着天津市配售型保障性住房建设迈出新步伐。  该项目位于天津市红桥区光荣道与咸

  • 让内心生长出新鲜的情感和故事

    从《旗袍》《向延安》《麻雀》《捕风者》《惊蛰》《唐山海》,到《醒来》《苏州河》《大世界》,在岁月的流转中,海飞的笔下生长出一个由战火年代、系列

  • 桂林:全面实施景区焕新工程

      近日,桂林市召开A级旅游景区服务质量警示教育工作会议,提出聚焦问题难点,全面实施景区焕新工程,推动全市A级旅游景区高质量发展。  会议提出,要认真梳理去年对全市A级旅游

  • KKR计划将14家日本酒店改造为万豪福朋喜来登酒店,预计下半年开业

    5月8日,睿思网消息,KKR宣布,计划将其近期收购的14家日本酒店改造成万豪国际旗下的中档品牌——福朋喜来登快捷酒店 (Four Points Express by Sheraton),预计将于2024年下半年开

  • 日榜
  • 周榜
  • 月榜