CN102096467A - 光反射式移动手语识别***及手指弯曲测量方法 - Google Patents
光反射式移动手语识别***及手指弯曲测量方法 Download PDFInfo
- Publication number
- CN102096467A CN102096467A CN2010106084977A CN201010608497A CN102096467A CN 102096467 A CN102096467 A CN 102096467A CN 2010106084977 A CN2010106084977 A CN 2010106084977A CN 201010608497 A CN201010608497 A CN 201010608497A CN 102096467 A CN102096467 A CN 102096467A
- Authority
- CN
- China
- Prior art keywords
- finger
- sign language
- light
- photoelectric sensor
- language recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
- Prostheses (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开光反射式移动手语识别***及手指弯曲测量方法,其特征是:包括手指弯曲数据手套(1)、ARM7微处理器(2)和语音合成输出模块(3);手指弯曲数据手套(1)的光电传感器(1-2)的电源输入端通过供电导线(1-3)与ARM7微处理器(2)的电源端连接、其输出端通过测量导线(1-4)与ARM7微处理器(2)的信号输入端连接;语音合成输出模块(3)由语音合成芯片(3-1)、功率放大器(3-2)和扬声器(3-3)组成,语音合成芯片(3-1)的输入端与ARM7微处理器(2)的输出端连接、输出端通过功率放大器(3-2)与扬声器(3-3)连接。本发明的光反射式移动手语识别***结构简单,成本低廉,便于随身携带,有助于改善和提高聋哑残疾人的生活学习和工作条件。
Description
技术领域
本发明涉及一种手语识别***及其实现方法,尤其是一种光反射式移动手语识别***及手指弯曲测量方法。属于科学技术领域。
背景技术
手语是一种通过手的运动表达意思的身体运动语言,主要用在聋哑人之间的交流。据统计,中国目前患听力语言障碍的聋哑人约2400万,他们之间以及他们与正常人之间的交流主要通过中国手语进行。早在20世纪50年代后期,我国政府为关心聋哑人,促进他们之间的交流,就开始了中国聋哑人手语的规范工作。
手语识别的目的就是将聋哑人手语自动翻译成自然语言文本,并由计算机良好的界面显示出来。手语识别不仅有助于聋哑人使用各种信息,还可以帮助他们参加各项社会活动。国内外的研究人员一直积极地开展手语识别的研究,并开发出多种手语识别***。通过摄像设备跟踪手的运动,经图像处理和特定识别算法可以识别手势动作的含义。该方法虽只需计算机和摄像设备,但图像处理和识别算法十分复杂,难以有效识别相似手势,也难以实现低成本的便携式***。
通过数据手套和位置***也可识别手势在空间的运动轨迹和时序信息,国外市场上的数据手套包括:5DT Data Glove,CyberGlove,VPL Glove等,国内有中科院研制的CAS-GLOVE数据手套等。这些数据手套,虽然能提供高精度和高可靠性,能够较好地测量手的自由度,操作自然,容易获取如手指关节角度和位置信息等手语特征。但存在价格昂贵、结构复杂,难以在普通消费者中推广使用。如何提供一种低成本便携式手语识别产品及其使用方法是本领域研究的目标。
发明内容
本发明的第一个目的,是为了解决现有技术的数据手套存在价格昂贵、结构复杂的问题,提供成本低、高性能、人性化,效提高识别质量的光反射式移动手语识别***。
本发明的第二个目的,是为了提供光反射式移动手语识别***的手指弯曲测量方法。
本发明的第一个目的可以通过以下技术方案达到:
光反射式移动手语识别***,其结构特点是:包括手指弯曲数据手套、带A/D的ARM7微处理器和语音合成输出模块;手指弯曲数据手套由指环、光电传感器、供电导线和测量导线组成;光电传感器固定在指环上,光电传感器的电源输入端通过供电导线与ARM7微处理器的电源端连接,光电传感器的输出端通过测量导线与ARM7微处理器的信号输入端连接;语音合成输出模块由语音合成芯片、功率放大器和扬声器组成,语音合成芯片的输入端与ARM7微处理器的输出端连接,语音合成芯片的输出端通过功率放大器与扬声器的输入端连接。
本发明的第一个目的还可以通过以下技术方案达到:
实现本发明第一个目的的一种实施方案是:所述光电传感器设有两套相同结构的传感电路,用于测量手指两个关节的弯曲。
实现本发明第一个目的的一种实施方案是:所述传感电路的发射输出端由电源、LED发光二极管和限流电阻构成,接收输入端由PD光电管和下拉电阻构成。
实现本发明第一个目的的一种实施方案是:所述带A/D的ARM7微处理器可以设有3.3V供电电源;支持3.3V电压工作的OLED显示屏以及两个用于设定工作模式的按键。
本发明的第二个目的可以通过以下技术方案达到:
光反射式移动手语识别***的手指弯曲测量方法,步骤如下:
1)将数据手套上的指环分别套在拇指、食指、中指、无名指和尾指的第二节上;
2)固定在指环上的光电传感器开始测量手指的弯曲程度,LED发光二极管发出的光经手指反射后被PD光电管接收,手指弯曲程度的不同,PD光电管接收的光强也随之改变,当手指完全伸直时,PD光电管接收的反射光强最弱,接收管不导通,输出电压为0;当手指完全弯曲时,PD光电管接收的反射光强最强,输出电压最大;
3)光电传感器根据2)步中所测量的手指弯曲的结果通过输出信号M1、M2送到ARM7微处理器进行模数转换;
4)ARM7微处理器将识别结果的汉字数据通过串口发送给语音合成芯片,再经由功率放大器推动,在扬声器输出。
本发明的第二个目的还可以通过以下技术方案达到:
实现本发明第二个目的的一种实施方案是:在第2)步中,对五个手指的光电传感器采用分时选通。
本发明具体如下突出的有益效果:
1、本发明的光反射式移动手语识别***使用LED发光二极管作光源,通过类似光纤一类的传输介质进行光传输,在介质的另一端放置PD光电管测量信号的强度来检测手指弯曲,容易获取手指关节角度和位置的信息。
2、本发明的光反射式移动手语识别***结构简单,成本低廉,便于随身携带,能给语言障碍者和正常人之间提供一种交流的桥梁,有助于改善和提高聋哑残疾人的生活学习和工作条件。
3、本发明由于采用分立式部件组成的光反射式移动手语识别***,其测量手指弯曲的方法简单,具有使用方便、适用范围广的有益效果。
附图说明
图1为本发明光反射式移动手语识别***的结构框图;
图2为本发明数据手套结构示意图;
图3为本发明光电传感器的电路图;
图4为本发明ARM7微处理器***的电路图;
图5为本发明语音合成输出模块的电路图;
图6为字母模板的手型特征图。
其中,1-数据手套,2-ARM7微处理器,3-语音合成输出模块。
具体实施方式
具体实施例1:
图1、图2、图3、图4和图5构成本发明的具体实施例1。
参照图1、图2、图3、图4和图5,本实施例包括手指弯曲数据手套1、带A/D的ARM7微处理器2和语音合成输出模块3;手指弯曲数据手套1由指环1-1、光电传感器1-2、供电导线1-3和测量导线1-4组成;光电传感器1-2固定在指环1-1上,光电传感器1-2的电源输入端通过供电导线1-3与ARM7微处理器2的电源端连接,光电传感器1-2的输出端通过测量导线1-4与ARM7微处理器2的信号输入端连接;语音合成输出模块3由语音合成芯片3-1、功率放大器3-2和扬声器3-3组成,语音合成芯片3-1的输入端与ARM7微处理器2的输出端连接,语音合成芯片3-1的输出端通过功率放大器3-2与扬声器3-3的输入端连接。
本实施例中,所述光电传感器1-2采用SPI-315反射式红外传感器,设置有两套相同结构的传感电路,用于测量手指两个关节的弯曲,所述传感电路的发射输出端由电源、LED发光二极管和限流电阻构成,接收输入端由PD光电管和下拉电阻构成;所述ARM7微处理器2***由带多路12位ADC的STM32F103处理器最小***构成,采用3.3V供电电源、支持3.3V电压工作的OLED显示屏以及两个用于设定工作模式的按键;所述语音合成芯片3-1采用XFS3031CN芯片。
本实施例的手指弯曲测量方法如下:
1)将数据手套1上的指环1-1分别套在拇指、食指、中指、无名指和尾指的第二节上;
2)固定在指环1-1上的光电传感器1-2开始测量手指的弯曲程度,LED发光二极管发出的光经手指反射后被PD光电管接收,手指弯曲程度的不同,PD光电管接收的光强也随之改变,当手指完全伸直时,PD光电管接收的反射光强最弱,接收管不导通,输出电压为0;当手指完全弯曲时,PD光电管接收的反射光强最强,输出电压最大;
3)光电传感器1-2根据2)步中所测量的手指弯曲的结果通过输出信号M1、M2送到ARM7微处理器2中进行模数转换;
4)ARM7微处理器2将识别结果的汉字数据通过串口发送给语音合成芯片3-1,再经由功率放大器3-2推动,在扬声器3-3输出。
其中,在上述第2)步中,对五个手指的光电传感器1-2采取分时选通。
本发明的数据处理与识别算法:
1、字母模板库建立
光反射式移动手语识别***用微处理器自带的A/D转换器对传感器输出进行采集,检测精度可达12位。为了消除背景红外干扰,将选通手指测量后得到的数据减去背景光强作用时的数据,得到反映手指弯曲的电压输出。人类经常以非精确或模糊的方式处理信息,例如,“食指弯曲一点点”。对接收的手指弯曲信息,我们将弯曲程度分成全直、微弯、中弯和弯四种,可通过实验来确定区分阈值。为了区分相同手型,***采用三轴加速度传感器ADXL345构成判断手是否水平的电路,用以解决“L/R”、“G/I”、“F/H”等相同手型的区分问题。字母表字母手势的手型特征参照图6,根据这些特征建立的字母模板库,供识别时匹配使用。
2、识别算法
当微处理器***从传感装置接收到数据时,***首先通过比较以前数据确认手是否在静止位置。当等到手停止移动后才开始识别进程。匹配时,将测量数据分五层逐层分类与模板进行比较。但纯粹将弯曲程度分成全直、微弯、中弯和弯来进行匹配容易对一 些字母难以有效区分,识别时我们引入累积弯曲系数的概念,除了分段区分外,还对容易混淆的字母结合累积弯曲系数加以区分。对于不同字母相同手型的问题。如L/R、V/F/H、G/I等,再通过判断手的方向来判别。分层识别算法如表2所示。
表2分层识别算法
3、声调手势与字母手指复用的单字拼读方法
汉语拼音由声母、韵母和声调构成。根据声母不会出现在汉语拼音结尾的实际,我 们将D、G、F、W和B五个声母手势复用为轻声、阴平、阳平、上声和去声五种音调手势。这样可以在不增加手势模板的情况下实现带声调汉语拼音的手指语汉字输入。
4、测试与结果
4.1、字母识别
识别软件采用C语言实现,单一字母的识别率测试应用了总共50个样本。测试条件:室内,3.6V锂充电电池供电,测试人5个,每个字母每人打10次手势。测试数据与结果见表3。
表3手指语字母测试
4.2、加入复合声调手势的单字识别
用户按照拼音输入法进行汉字输入,声调采用复合手指语字母手势,同时充当单字的结束标记。测试时,用户先打单个字母手势,判断无误后,接着下一个字母手势。由于复用手势采用了复用声母手势,不会造成冲突。测试表明,能够较好地实现单字拼读,但由于测试者对手语熟悉不够,输出的流畅性还有待提高。
本发明的光反射式移动手语识别***使得用户可以按照汉语手指语字母表中的手势以拼音输入方式拼写字词,微处理器***负责采集手指弯曲采集模块输出的手指弯曲信息,并根据识别算法分析手语内容,最后将分析结果送语音合成输出模块输出,结构简单,成本低廉,便于随身携带,能给语言障碍者和正常人之间提供一种交流的桥梁,有助于改善和提高聋哑残疾人的生活学习和工作条件。
Claims (6)
1.光反射式移动手语识别***,其特征是:包括手指弯曲数据手套(1)、带A/D的ARM7微处理器(2)和语音合成输出模块(3);手指弯曲数据手套(1)由指环(1-1)、光电传感器(1-2)、供电导线(1-3)和测量导线(1-4)组成;光电传感器(1-2)固定在指环(1-1)上,光电传感器(1-2)的电源输入端通过供电导线(1-3)与ARM7微处理器(2)的电源端连接,光电传感器(1-2)的输出端通过测量导线(1-4)与ARM7微处理器(2)的信号输入端连接;语音合成输出模块(3)由语音合成芯片(3-1)、功率放大器(3-2)和扬声器(3-3)组成,语音合成芯片(3-1)的输入端与ARM7微处理器(2)的输出端连接,语音合成芯片(3-1)的输出端通过功率放大器(3-2)与扬声器(3-3)的输入端连接。
2.根据权利要求1所述的光反射式移动手语识别***,其特征是:所述光电传感器(1-2)设有两套相同结构的传感电路,用于测量手指两个关节的弯曲。
3.根据权利要求2所述的光反射式移动手语识别***,其特征是:所述传感电路的发射输出端由电源、LED发光二极管和限流电阻构成,接收输入端由PD光电管和下拉电阻构成。
4.根据权利要求1或2所述的光反射式移动手语识别***,其特征是:所述带A/D的ARM7微处理器(2)设有3.3V供电电源。
5.光反射式移动手语识别的手指弯曲测量方法,其特征在于步骤如下:
1)将数据手套(1)上的指环(1-1)分别套在拇指、食指、中指、无名指和尾指的第二节上;
2)固定在指环(1-1)上的光电传感器(1-2)开始测量手指的弯曲程度,LED发光二极管发出的光经手指反射后被PD光电管接收,手指弯曲程度的不同,PD光电管接收的光强也随之改变,当手指完全伸直时,PD光电管接收的反射光强最弱,接收管不导通,输出电压为0;当手指完全弯曲时,PD光电管接收的反射光强最强,输出电压最大;
3)光电传感器(1-2)根据2)步中所测量的手指弯曲的结果通过输出信号M1、M2送到ARM7微处理器(2)中进行模数转换;
4)ARM7微处理器(2)将识别结果的汉字数据通过串口发送给语音合成芯片(3-1),再经由功率放大器(3-2)推动,在扬声器(3-3)输出。
6.根据权利要求5所述的光反射式移动手语识别的手指弯曲测量方法,其特征在于:在第2)步中,对五个手指的光电传感器(1-2)采用分时选通。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010608497 CN102096467B (zh) | 2010-12-28 | 2010-12-28 | 光反射式移动手语识别***及手指弯曲测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010608497 CN102096467B (zh) | 2010-12-28 | 2010-12-28 | 光反射式移动手语识别***及手指弯曲测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102096467A true CN102096467A (zh) | 2011-06-15 |
CN102096467B CN102096467B (zh) | 2013-04-03 |
Family
ID=44129588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010608497 Expired - Fee Related CN102096467B (zh) | 2010-12-28 | 2010-12-28 | 光反射式移动手语识别***及手指弯曲测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102096467B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982621A (zh) * | 2012-11-09 | 2013-03-20 | 深圳市中航软件技术有限公司 | 柜面信息交互控制盒 |
CN103049761A (zh) * | 2013-01-21 | 2013-04-17 | 中国地质大学(武汉) | 基于手语手套的手语识别方法及*** |
CN103295570A (zh) * | 2013-06-05 | 2013-09-11 | 华东师范大学 | 一种手套式发声*** |
CN103376908A (zh) * | 2012-04-19 | 2013-10-30 | 李大春 | 一种利用手套式输入设备输入汉字的方法 |
CN107373826A (zh) * | 2017-08-17 | 2017-11-24 | 国网四川省电力公司技能培训中心 | 一种用于虚拟现实仿真模拟数据手套 |
CN108874155A (zh) * | 2018-08-29 | 2018-11-23 | 韩思清 | 一种感知手动作发声的手套装置 |
CN109032333A (zh) * | 2018-06-24 | 2018-12-18 | 佛山凯舒易智能科技有限公司 | 一种基于光纤感知的手语识别***及方法 |
CN110322760A (zh) * | 2019-07-08 | 2019-10-11 | 北京达佳互联信息技术有限公司 | 语音数据生成方法、装置、终端及存储介质 |
CN112370310A (zh) * | 2019-12-11 | 2021-02-19 | 上海司羿智能科技有限公司 | 手部运动控制***及其控制方法 |
CN114879841A (zh) * | 2022-05-09 | 2022-08-09 | 南昌航空大学 | 一种基于d型塑料光纤的手势识别***及测量方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050178213A1 (en) * | 2004-02-13 | 2005-08-18 | Jason Skowronski | Device for determining finger rotation using a displacement sensor |
CN1760808A (zh) * | 2005-11-10 | 2006-04-19 | 高丹 | 光学手势捕捉输入装置 |
CN101430603A (zh) * | 2008-11-26 | 2009-05-13 | 东北大学 | 一种便携实用型手语识别发声装置 |
CN201936249U (zh) * | 2010-12-28 | 2011-08-17 | 赵剑桥 | 光反射式移动手语识别*** |
-
2010
- 2010-12-28 CN CN 201010608497 patent/CN102096467B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050178213A1 (en) * | 2004-02-13 | 2005-08-18 | Jason Skowronski | Device for determining finger rotation using a displacement sensor |
CN1760808A (zh) * | 2005-11-10 | 2006-04-19 | 高丹 | 光学手势捕捉输入装置 |
CN101430603A (zh) * | 2008-11-26 | 2009-05-13 | 东北大学 | 一种便携实用型手语识别发声装置 |
CN201936249U (zh) * | 2010-12-28 | 2011-08-17 | 赵剑桥 | 光反射式移动手语识别*** |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103376908A (zh) * | 2012-04-19 | 2013-10-30 | 李大春 | 一种利用手套式输入设备输入汉字的方法 |
CN102982621A (zh) * | 2012-11-09 | 2013-03-20 | 深圳市中航软件技术有限公司 | 柜面信息交互控制盒 |
CN103049761A (zh) * | 2013-01-21 | 2013-04-17 | 中国地质大学(武汉) | 基于手语手套的手语识别方法及*** |
CN103049761B (zh) * | 2013-01-21 | 2016-08-03 | 中国地质大学(武汉) | 基于手语手套的手语识别方法及*** |
CN103295570A (zh) * | 2013-06-05 | 2013-09-11 | 华东师范大学 | 一种手套式发声*** |
CN107373826A (zh) * | 2017-08-17 | 2017-11-24 | 国网四川省电力公司技能培训中心 | 一种用于虚拟现实仿真模拟数据手套 |
CN109032333A (zh) * | 2018-06-24 | 2018-12-18 | 佛山凯舒易智能科技有限公司 | 一种基于光纤感知的手语识别***及方法 |
CN108874155A (zh) * | 2018-08-29 | 2018-11-23 | 韩思清 | 一种感知手动作发声的手套装置 |
CN110322760A (zh) * | 2019-07-08 | 2019-10-11 | 北京达佳互联信息技术有限公司 | 语音数据生成方法、装置、终端及存储介质 |
CN110322760B (zh) * | 2019-07-08 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 语音数据生成方法、装置、终端及存储介质 |
CN112370310A (zh) * | 2019-12-11 | 2021-02-19 | 上海司羿智能科技有限公司 | 手部运动控制***及其控制方法 |
CN112370310B (zh) * | 2019-12-11 | 2024-03-29 | 上海司羿智能科技有限公司 | 手部运动控制***及其控制方法 |
CN114879841A (zh) * | 2022-05-09 | 2022-08-09 | 南昌航空大学 | 一种基于d型塑料光纤的手势识别***及测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102096467B (zh) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102096467B (zh) | 光反射式移动手语识别***及手指弯曲测量方法 | |
US10446059B2 (en) | Hand motion interpretation and communication apparatus | |
AU2018204039A1 (en) | Motion gesture input detected using optical sensors | |
TWI269995B (en) | An optical pen having a light path coaxial with its pen tip | |
CN106462248A (zh) | 用于笔和计算设备交互的多设备多用户传感器相关 | |
CN106462341A (zh) | 用于笔和触敏计算设备交互的传感器相关 | |
WO2008010581A1 (fr) | Dispositif opérationnel et système opérationnel | |
Sriram et al. | A hand gesture recognition based communication system for silent speakers | |
CN201936249U (zh) | 光反射式移动手语识别*** | |
CN2800368Y (zh) | 书写教鞭笔 | |
CN103426342B (zh) | 一种语音沟通方法和语音沟通装置 | |
CN103295570A (zh) | 一种手套式发声*** | |
Havalagi et al. | The amazing digital gloves that give voice to the voiceless | |
CN107204141A (zh) | 穿戴式盲文阅读设备 | |
Kimura et al. | SilentSpeller: Towards mobile, hands-free, silent speech text entry using electropalatography | |
Saleous et al. | Read2Me: A cloud-based reading aid for the visually impaired | |
CN104765475A (zh) | 穿戴式虚拟键盘及其实现方法 | |
US20190311651A1 (en) | Context Responsive Communication Device and Translator | |
CN112906369A (zh) | 一种歌词文件生成方法及装置 | |
CN108345382A (zh) | 手指关节弯曲度测量体感手套 | |
CN111462594B (zh) | 一种基于自然拼读的穿戴式手语翻译装置 | |
CN206757530U (zh) | 一种基于数据手套的智能化手语识别装置 | |
CN210902394U (zh) | 一种基于肤质检测的多功能镜子 | |
Zhu et al. | Machine-learning-assisted soft fiber optic glove system for sign language recognition | |
CN101071351A (zh) | 跟踪一书写工具位置的设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130403 Termination date: 20201228 |