智能双向仿生手语翻译系统

作者: 时间:2018-05-13 点击数:

一、产品介绍

本系统主要包含有两件产品。

1.智能手语翻译手套:

数据手套是通过位于手部的弯曲传感器获取手指的弯曲程度,位于手背的 加速度传感器跟踪识别手的空间三维运动轨迹,两者相互补偿可以获取手部姿 势的时序信息,进而拟合出手运动状态及姿态,然后与手语库中的姿态进行匹 配,微处理器获取当前手语并转换成文本,控制语音系统发出语音,控制显示 屏显示出文本信息,达到翻译的目的。 目前此手套可以采集AD数据,MPU6050数据,可以翻译一些简单的手势,通过OLED显示或者通过语音模块进行发音。

图1.数据手套结构框图

图2.数据手套实物图

2.智能手语翻译机器人

该产品是在产品一的基础上加了反向翻译功能。目前的反向翻译端已经通过3D打印机打造出手、手臂等关键部位,并通过激光雕刻机切割出身体主干,基础电子已经调试通过,可以实现基础手语的翻译,也可以实现语音识别,并通过LED矩阵进行显示。

图3.智能手语翻译机器人

图4.产品操作图

二、产品功能

智能手语翻译手套:

1.手指弯曲度检测功能:位于五个手指的背面的五个弯曲传感器能够及时快速地感知手指的弯曲程度,微处理器能及时获取弯曲传感器的弯曲参数,并通过相应的算法处理所获取的参数,进而可对手势信息做出更合理的判断。

2.手的空间运动轨迹检测功能:MPU—6050模块位于手套背面,当手发生翻转等动作时,其中的三轴陀螺仪和三轴加速度传感器能及时感应到相应的数据,微处理器及时处理数据,与弯曲参数相配合,能够更全面而准确地判断手的运动状态。

3.手势状态与手语库匹配功能:微处理器内部存储有手语的状态信息,即手语库。微处理器通过算法对检测到的手语手势数据信息进行及时处理,然后与手语库进行匹配,从而得到准确的手语内容。

4.发音及文本信息显示功能: 微处理器将手语内容翻译成文本信息,通 过显示屏显示出相应的文本信息,同时语音系统发出语音,达到翻译手语手势 的目的。

智能手语翻译机器人

1.机械手以及机械臂设计精巧,采用共有32自由度,可实现比较发杂的 动作。

2.内部集成语音识别,语音播放,以及LED矩阵屏显示,人机交互性好。

3.机械手臂采用独立模块控制,耦合性低,便于维修和更换。

4.针对特定的服务场所多手势库进行完善和更新,适用面广,可拓展性 强。

三.研发团队

宋纪元,郑州大学机械工程学院2013级本科生,团队项目负责人;

李浩亮,郑州大学机械工程学院2013级本科生,电子部分设计制作。

四.所获成果

获得第十届“挑战杯”大学生创业计划竞赛中荣获银奖;

第九届国际大学生ican创新创业大赛全国一等奖。

目前已经通过学校应用化学研究所技术鉴定,并申报实用型国家专利六项, 专利号为:

201520234145.8(一种家庭服务机器人)

201520306896.6(一种便携式手语翻译机装置)

201520214615.4(一种拉线式机械手)

201620029595.8(一种模块化手指连杆仿生手)

201620029607.7(一种欠驱柔性仿生机械手)

201620029606.2(一种语音仿生手语双向翻译系统) 。

国家发明专利一项,专利号:

201610020192.1(一种语音仿生手语双向翻译系统)。

机械团学汇
Copyright© 2023All Rights Reserved. 郑州大学机械与动力工程学院版权所有