根据世界听障联盟的数据显示可知,全球现约有4.66亿人患有残疾性听力受损,其中儿童患者的数量为3.4亿,这一庞大的统计数字远远超过了全球人口数量的5%。现阶段,我国听力残疾患者数量达2780万人,听力障碍人群更是高达约7200万人。对于这规模庞大的听障群体而言,手语是其与外界沟通交流最重要的途径之一,但目前掌握手语的群体却寥寥无几。因此,新式手语识别技术的诞生对于听障群体与其他群体间的正常交流至关重要。
在如此背景下,双桥智联团队于2021年正式成立,团队创始人何慧敏,立志发展助残事业,负责团队整体运营,在电子科技大学中山学院董帅、彭程博士等教师指导下,组建了一支实力雄厚的研发团队,团队潜心研究,在技术上不断追求创新和突破,各项技术均为业内领先,团队现已拥有三项核心技术,第一,基于大语言模型多模态知识迁移的动态手语识别技术;第二,基于轻量化3D Transformer的手语元动作和复合动作意图识别方法:第三,基于双向数据绑定技术的手语识别HCI引擎,以及5件发明专利授权,3篇SCI论文,4件软件著作权。
团队讨论项目研发方案
双桥智连团队推出的《基于HCI的智能手语识别系统》,具有更高的识别准确度与更快的识别速度,在竞品的算法识别准确率达到80%的情况下,双桥智连的产品准确率可高达96%。与此同时,团队构建了结构化的手语特征数据集,自制数据集包含约10万个视频,每个视频长度5~15秒,覆盖了所有8400个手语词汇。目前,双桥智连的智能手语识别系统已在中山市特殊教育学校落地应用。对此,中山市特殊学校副校长巫晓丹说道:“听障学生和健听人之间的高效沟通受渠道影响还存在一些障碍,通过人工智能技术辅助沟通是一种很好的方法,可以为听障人士搭建与世界沟通无障碍的桥梁”。该项目成果在未来的发展道路上,可推广应用到医院、银行、公共交通、警务、大型赛事等更多公共服务场所,促进听障人群就业,这对于提升我国无障碍交流融合水平等方面的层次具有非同凡响的意义。
目前,双桥智连项目已收到10家爱心企业合作意向书,全面对接了18个社群,双桥智连团队将牢记自己的初心使命,打造出高效,准确,轻量,数字化的聋健双向交流助聋产品,为听障人士提供更加便捷、更加高效的沟通方式。
基于HCI的智能手语识别系统,用AI技术造福世界,助力听障人士与世界无障碍交流!
◆编辑:龙慧◆二审:苏鹏蕴◆三审:周亚平