一项最新研究发现,通过无线连接AI系统的电子戒指,能够将多种手语翻译成文字。
韩国首尔延世大学电气与电子工程系副教授Yu Ki Jun表示:"我认为这是让手语翻译系统变得更加实用、轻便、适合真实环境使用的重要一步。"
全球目前使用的手语超过300种,许多研究项目正致力于开发翻译设备,帮助不懂手语的人与听障人士进行沟通。然而,这些项目在推进过程中遭遇了诸多挑战。
如今,研究人员开发了一套电子戒指系统,每枚戒指均可将动作数据无线传输至处理设备。相较于手套,戒指允许传感器灵活定位,从而更好地适应不同用户的手部特征,而无线连接也让手部动作不再受到任何限制。
Yu Ki Jun表示:"蓝牙低功耗片上系统已发展到可以将完整的无线通信协议栈、电源管理电路和传感模块集成在一块柔性基板上的水平,体积小到足以制成戒指佩戴。"
在此次研究中,研究人员分析了每根手指在手语动作中的贡献程度,发现有七根手指起到了关键作用。因此,该系统仅采用七枚戒指,以减少所需的硬件数量。
每枚戒指均配备加速度计作为惯性传感器,能够同时检测静态姿势和动态手部运动,从而捕捉手语中静态与动态成分之间复杂的过渡变化。此外,研究人员有意避免使用生物电信号,因为这类信号因人而异,需要为每位用户进行大量校准。
在戒指的研发过程中,机械可靠性是一大挑战。研究人员最初采用直线型铜互连结构,但在反复弯折后几乎断裂。为此,他们改用蛇形图案的互连结构,以承受反复的弯曲形变。
延世大学电气与电子工程系教授Dosik Hwang对此谨慎表示:"200个词汇相较于以往的无线系统而言是一大进步,但与包含数千个手势的完整手语词汇库相比,仍只是一小部分。我不想夸大现有系统在开放词汇、真实对话场景中的实际能力。"
从长远来看,Yu Ki Jun表示:"我们的目标是让系统能够与智能手机等日常设备配合使用,无需专用外部设备。戒指可以将手语信号无线传输至移动终端,由设备自动翻译并实时显示,从而使这项技术更加便携、普及,真正融入日常沟通。"
然而,Hwang也指出了现阶段最重要的局限性:"我们的系统将手部动作转化为文字,但尚未涵盖面部语法、口型、身体姿态和空间语法,而这些在手语中都具有重要的语法意义。"Yu Ki Jun补充道,如何将上述要素"融入一个无缝衔接、低功耗的架构,同时保持现有设计的轻便性",将是未来面临的重要挑战。
下一步,研究团队计划扩大训练数据规模,纳入更多参与者、更大的词汇量以及更多样的手语风格和地区方言。Yu Ki Jun提到:"鉴于我们的机构背景,韩国手语将是顺理成章的下一步研究方向。"
研究人员还希望通过进一步的小型化和功耗优化,将戒指的连续使用时长从目前的近12小时延长至全天佩戴。Yu Ki Jun表示:"一个关键优先事项是将处理流程从外部硬件(如笔记本电脑)迁移至设备端边缘计算(如手机)。这一转变不仅是实现真正移动性的必要条件,也对保护用户隐私、降低自然对话中的延迟至关重要。"
Hwang及其团队计划与听障社区组织展开合作,共同推进设备研发。他表示:"我们相信,通过纳入真正的使用者,这项技术在功能表现和社会融合两个层面都将得到显著提升。"
除手语翻译之外,Hwang表示这种新型戒指还具有广泛的应用潜力:"我们看到这项技术在手部康复监测、神经系统疾病的精细运动评估,乃至沉浸式虚拟现实和增强现实交互界面等领域都有直接的应用前景。通过在手语这一复杂领域验证其有效性,我们实际上已对系统进行了全面的压力测试,为未来众多生物医学和交互应用奠定了基础。"
该研究成果已于5月1日发表在学术期刊《Science Advances》上。
Q&A
Q2:这套手语翻译戒指为什么选用7枚而不是10枚?
Q3:手语翻译戒指目前有哪些局限性?未来会如何改进?
上一篇:事关AI,国常会最新部署