CN108196668B - 一种便携式手势识别***及方法 - Google Patents

一种便携式手势识别***及方法 Download PDF

Info

Publication number
CN108196668B
CN108196668B CN201711271029.3A CN201711271029A CN108196668B CN 108196668 B CN108196668 B CN 108196668B CN 201711271029 A CN201711271029 A CN 201711271029A CN 108196668 B CN108196668 B CN 108196668B
Authority
CN
China
Prior art keywords
gesture
arm
gyroscope
sensor
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711271029.3A
Other languages
English (en)
Other versions
CN108196668A (zh
Inventor
杨晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongdian Dayu Satellite Application Technology Research Institute Co.,Ltd.
Original Assignee
Chongqing Zhongdian Dayu Satellite Application Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongdian Dayu Satellite Application Technology Institute filed Critical Chongqing Zhongdian Dayu Satellite Application Technology Institute
Priority to CN201711271029.3A priority Critical patent/CN108196668B/zh
Publication of CN108196668A publication Critical patent/CN108196668A/zh
Application granted granted Critical
Publication of CN108196668B publication Critical patent/CN108196668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种便携式手势识别***及方法,其中***包括:传感器臂环,用于获取目标手势执行过程中,手臂肌肉的运动信号和手臂的手臂空间转动信号,将运动信号和手臂空间转动信号发送至数据处理器;陀螺仪手套,用于获取目标手势执行过程中,手指各关节的手指空间转动信号,将手指空间转动信号发送至数据处理器;数据处理器,用于根据运动信号、手臂空间转动信号和手指空间转动信号,提取目标手势起始点和结束点对应的目标区别特征数据,将目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定目标手势对应的手势类别。上述***及方法可靠性高,能有效对手势进行识别,具有很高的实用性。

Description

一种便携式手势识别***及方法
技术领域
本发明涉及手势识别领域,特别涉及一种便携式手势识别***及方法。
背景技术
随着电子技术和计算机技术的发展,传统的鼠标以及键盘输入方式已经无法满足人们的使用需求。近年来,鉴于手势具有直观性、自然性的特点,基于用户手势的输入方式已成为人机交互的一种重要手段。基于手势的人机交互更多的强调以用户为中心,使用更加符合用户自然交流习惯,从而为用户提供一个自然有效的人机交互方式,同时要求***携带方便、用户体验好。由于手势识别的实时性和准确性对于自然交互非常重要,所以对于手势识别方法的研究对自然的人机交互有着重大意义。
但是,传统方式的手势识别***或方法,没有仅釆用陀螺仪传感器识别手势的手套,大量使用的陀螺仪及相关装置降低了设备的可靠性,电路设计复杂,设备笨重,佩戴不方便。急需一种新的识别***来解决这个问题。
发明内容
针对上述技术问题,本发明提供一种可靠性高,能有效对手势进行识别的便携式手势识别***及方法。
为解决上述技术问题,本发明所采取的技术方案是:提供一种便携式手势识别***,包括数据处理器以及与所述数据处理器连接的传感器臂环和陀螺仪手套;
所述传感器臂环,用于获取目标手势执行过程中,手臂肌肉的运动信号和手臂的手臂空间转动信号,将所述运动信号和所述手臂空间转动信号发送至所述数据处理器;
所述陀螺仪手套,用于获取目标手势执行过程中,手指各关节的手指空间转动信号,将所述手指空间转动信号发送至所述数据处理器;
所述数据处理器,用于根据所述运动信号、所述手臂空间转动信号和所述手指空间转动信号,提取所述目标手势起始点和结束点对应的目标区别特征数据,将所述目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定所述目标手势对应的手势类别。
本发明采用以上技术方案,达到的技术效果为:通过设置的传感器臂环和陀螺仪手套,能够有效的对手势运动过程中手臂肌肉的运动信号、手臂的手臂空间运动信号以及手指各关节的手指空间转动信号进行检测,数据处理器能够根据检测到的信号,提取目标手势的目标区别特征数据,将提取到的目标特征数据与预存储的手势分类集合中手势对应的区别特征数据进行匹配,根据匹配结果,确定当前目标手势的手势类别。上述***结构相对简单,能够有效的对手势进行识别,并且识别率高,具有很高的实用性。
较优地,在上述技术方案中,所述传感器臂环包括与所述数据处理器连接的8个肌电信号传感器、1个加速度传感器和3个第一陀螺仪传感器;
所述肌电信号传感器,设置在所述传感器臂环的内侧,用于与前臂肌肉组织接触,用于获取所述运动信号,将所述运动信号发送至所述数据处理器;
所述加速度传感器,设置在所述传感器臂环内,用于获取手臂在空间内的运动角度和运动方向,将所述运转角度和所述运转方向发送至所述数据处理器;
所述第一陀螺仪传感器,设置在所述传感器臂环内,用于获取手臂在空间内的转动参数,将所述运转参数发送至所述数据处理器。
较优地,在上述技术方案中,所述陀螺仪手套包括N个与所述数据处理器连接的第二陀螺仪传感器,其中N为大于等于5的正整数;
各个所述第二陀螺仪传感器,设置在所述陀螺仪手套内,每个所述第二陀螺仪传感器用于与相应的手指的端背部分接触,用于获取手指各关节在空间内的转动角度和转动方向,将所述转动角度和所述转动方向发送至所述数据处理器。
较优地,在上述技术方案中,所述识别***还包括将所述肌电信号传感器、所述加速度传感器、所述第一陀螺仪传感器以及所述第二陀螺仪传感器分别和所述数据处理器连通的通信模块;
所述通信模块,用于将所述肌电信号传感器、所述加速度传感器、所述第一陀螺仪传感器和所述第二陀螺仪传感器检测到的数据信息转发至所述数据处理器。
还提供了一种便携式手势识别方法,包括以下步骤:
获取目标手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
根据所述目标手势的手臂肌肉的运动信号、所述手臂空间转动信号以及所述手指空间转动信号,提取所述目标手势起始点和结束点对应的目标区别特征数据,将所述目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定所述目标手势对应的手势类别。
本发明采用以上技术方案,达到的技术效果为:通过对获取的目标手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号的提取,能够明确目标手势起始点和结束点对应的目标区别特征数据,通过将目标区别特征数据与预存储的手势分类集合中手势对应的区别特征数据进行匹配,根据匹配结果,确定当前目标手势的手势类别。上述方法能够有效的对手势进行识别,并且识别率高,具有很高的实用性。
较优地,在上述技术方案中,在所述获取目标手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号之前,还包括以下步骤:
采集标准手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
提取所述标准手势起始点和结束点对应的区别特征数据,为所述标准手势对应的区别特征数据构建手势分类集合,对构建的所述手势分类集合进行存储。
附图说明
下面结合附图对本发明作进一步说明:
图1是本发明提供的便携式手势识别***示意性结构示意图;
图2是本发明提供的便携式手势识别方法一实施例的示意性流程图;
图3是本发明提供的便携式手势识别方法的另一实施例的示意性流程图。
具体实施方式
如图1所示,本发明提供的便携式手势识别***,包括数据处理器以及与数据处理器连接的传感器臂环和陀螺仪手套;
传感器臂环,用于获取目标手势执行过程中,手臂肌肉的运动信号和手臂的手臂空间转动信号,将运动信号和手臂空间转动信号发送至数据处理器;
陀螺仪手套,用于获取目标手势执行过程中,手指各关节的手指空间转动信号,将手指空间转动信号发送至数据处理器;
数据处理器,用于根据运动信号、手臂空间转动信号和手指空间转动信号,提取目标手势起始点和结束点对应的目标区别特征数据,将目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定目标手势对应的手势类别。
其中:目标手势即为需要进行手势类别确定的手势。
较优地,在上述技术方案中,传感器臂环包括与数据处理器连接的8个肌电信号传感器、1个加速度传感器和3个第一陀螺仪传感器;
肌电信号传感器,设置在传感器臂环的内侧,用于与前臂肌肉组织接触,用于获取运动信号,将运动信号发送至数据处理器;
加速度传感器,设置在传感器臂环内,用于获取手臂在空间内的运动角度和运动方向,将运转角度和运转方向发送至数据处理器;
第一陀螺仪传感器,设置在传感器臂环内,用于获取手臂在空间内的转动参数,将运转参数发送至数据处理器。
较优地,在上述技术方案中,陀螺仪手套包括N个与数据处理器连接的第二陀螺仪传感器,其中N为大于等于5的正整数;
各个第二陀螺仪传感器,设置在陀螺仪手套内,每个第二陀螺仪传感器用于与相应的手指的端背部分接触,用于获取手指各关节在空间内的转动角度和转动方向,将转动角度和转动方向发送至数据处理器。
较优地,在上述技术方案中,识别***还包括将肌电信号传感器、加速度传感器、第一陀螺仪传感器以及第二陀螺仪传感器分别和数据处理器连通的通信模块;
通信模块,用于将肌电信号传感器、加速度传感器、第一陀螺仪传感器和第二陀螺仪传感器检测到的数据信息转发至数据处理器。
本发明采用以上技术方案,达到的技术效果为:通过设置的传感器臂环和陀螺仪手套,能够有效的对手势运动过程中手臂肌肉的运动信号、手臂的手臂空间运动信号以及手指各关节的手指空间转动信号进行检测,数据处理器能够根据检测到的信号,提取目标手势的目标区别特征数据,将提取到的目标特征数据与预存储的手势分类集合中手势对应的区别特征数据进行匹配,根据匹配结果,确定当前目标手势的手势类别。上述***结构相对简单,能够有效的对手势进行识别,并且识别率高,具有很高的实用性。
如图2所示,本发明还提供了一种便携式手势识别方法,该方法中使用到的装置以及装置执行的对应操作都在图1对应的实施例中详细描述,在方法实施例中不再进行论述。便携式手势识别方法的具体步骤如下:
S110:获取目标手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
S120:根据目标手势的手臂肌肉的运动信号、手臂空间转动信号以及手指空间转动信号,提取目标手势起始点和结束点对应的目标区别特征数据,将目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定目标手势对应的手势类别。
上述技术方案通过对获取的目标手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号的提取,能够明确目标手势起始点和结束点对应的目标区别特征数据,通过将目标区别特征数据与预存储的手势分类集合中手势对应的区别特征数据进行匹配,根据匹配结果,确定当前目标手势的手势类别。能够有效的对手势进行识别,并且识别率高,具有很高的实用性。
如图3所示,在图2对应实施例的基础上,还进行了以下改进:
S105:采集标准手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
提取标准手势起始点和结束点对应的区别特征数据,为标准手势对应的区别特征数据构建手势分类集合,对构建的手势分类集合进行存储;
S110:获取目标手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
S120:根据目标手势的手臂肌肉的运动信号、手臂空间转动信号以及手指空间转动信号,提取目标手势起始点和结束点对应的目标区别特征数据,将目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定目标手势对应的手势类别。
其中:标准手势,为具体执行的参照手势,也可以说是标准手势,通过对获取的参照手势的手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号的提取,能够明确参照手势的起始点和结束点对应的区别特征数据,为获取的区别特征数据构建手势分类集合,手势分类集合中包含多种标准手势的区别特征数据,每一种区别特征数据对应一种手势类别。
在上述技术方案中,通过对标准手势执行过程中手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号的采集,能够根据采集的信号构建的具有标准手势区别特征数据的手势分类集合,为对目标手势的验证提供了更好的参照,能够更加准确的对目标手势进行识别。
进一步的,在获取目标手势的手臂肌肉的运动信号、手臂空间转动信号以及手指空间转动信号之后,还会对目标手势的各种信号进行筛选,每一个目标手势都包含3种不同的信号,每一个目标手势对应的信号为一组信号,筛选过程中会剔除缺少某一信号对应的组信号,即剔除无效的目标手势信号。
在上述技术方案中,通过对无效目标手势信号的剔除,有效的简化了目标手势识别过程中流程,提高了对目标手势信号识别的准确度。
手势动作中包括手指动作和手臂动作,需要手指动作和手臂动作结合确定手势动作。手指动作的识别中对识别有关键作用的数据是由传感器臂环内与数据处理器连接的8个肌电信号传感器、1个加速度传感器和3个第一陀螺仪传感器以及陀螺仪手套内N个与数据处理器连接的第二陀螺仪传感器,其中N为大于等于5的正整数进行采集的。手臂动作的识别中对识别有关键作用的数据是由传感器臂环中8个肌电信号传感器、1个加速度传感器和3个第一陀螺仪传感器获取的。
训练数据生成,即标准手势数据的生成采集:
1、手指动作数据采集算法:
(1)以400HZ的频率获取第二螺陀仪传感器在x、y、z三个轴向瞬时的角速度;
(2)以2.5*10-3秒为时间间隔对(1)所获角速度角进行梯形积分获得x、y、z三轴向角度值;
(3)具体操作中,第二陀螺仪传感器包括5个手指端面的0-4号5个陀螺仪传感器以及手背位置的5号陀螺仪传感器,将1-4号陀螺仪传感器x、y、z角度值减去5号陀螺仪传感器的三轴向的角度值,0号陀螺仪传感器,x、z的角速度值交换后再减去5号陀螺仪传感器的三轴向角度值,获取的最终的三轴角速度值为区别特征数据中的手指角速度的区别特征数据;
(4)将(3)结果取得的结果进行存储;
(5)对所有手势执行(1)-(4)步骤,这样就可以获取所有手势执行过程中手指角速度的区别特征数据,对获取的手指转动角度的区别特征数据进行存储。
2、训练数据生成
(1)将1中所得的手指转动角度的区别特征数据按手势种类分类;
(2)按手势分类后对不同手势统计其出现过的不同数值总数计为k;
(3)在不同类别手势库中对各轴向所有出现过的数值分别对其出现频率进行统计并得到结果Ai(i=0,1,2....,k);
(4)按手势分类后对各手势分别统计其所有数据总数记为Si(i=1,2,…,k);
(5)求得各手势不同数值出现概率Pi=Ai/Si。
(6)按手势分类对不同手势的Pi进行聚类,得nj(j=0,1,2,3,4,5)个按Pi划分的类别范围,其中j为对应陀螺仪号;
(7)每个类别范围其中心点值作为该范围的权值记为Wn,n为(6)中所得的范围号;
(8)按手势分类,以每个手势陀螺仪传感器所对应的每一组Wn以及所属范围的上下限作为记录,每手势写入nj条记录形成手势识别库R,即手势分类集合。
3、手指动作识别算法:
(1)以400HZ频率获取螺陀仪传感器x、y、z三个轴向瞬时角速度;
(2)以2.5*10-3秒为时间间隔对(1)所获角速度角进行梯形积分得z、y、x轴向角度值;
(3)1-4号陀螺仪x、y、z角度值减去5号陀螺仪传感器三轴向角度值;0号陀螺仪,x、z的轴向角速度值交换后再减去5号陀螺仪传感器三轴向角度值记为XAj,YAj,ZAj(j=0,1.2.3.4.5),每一组XA、YA、ZA记为Dj=[XAj,YAj,YZj];获取的最终数组即为获取的目标手势的目标区别特征数据;
(4)对应手指读数Dj中各陀螺仪传感器各轴向读数,即目标区别特征数据与手势识别库R中的手指运动参数的区别特征数据进行匹配,对每一手势,检测Dj的三轴向分量是否落在手势识别库R中对应识别位置数据记录中有效范围内,如落在对应有效范围内则以所属范围对应权值作为该手势对应识别位置的第二特征值,记为t2,进而确定手势对应的手指动作;
(5)(4)步骤中如实时数据未落在有效范围内,则以各识别位置权值以KNN算法归类确定该识别位置数据权值,并将该组数据存入个性化数据库Rc;
(6)按(4)步骤所述方式,将所获读数匹配所有手势,获得所有手势各识别位置对于该读数的第二特征值t2j,各组特征值组成特向量Tkj=[t21j,t22j,t23j,t24j,t25j](t21j,t22j,t23j,t24j,t25j)。
(7)比较所有手势所产生的特征向量Tkj,各元素最大值对应的手势,将该手势该识别位置第一特征值计为1,否则记为0,得各组手势第一特征向量t1j=[t11,t12,t13,t14,t15];
(8)计算所有手势对于读数所产生的第一特征值合;
(9)计算是否存在唯一最高T1值,如果存在则将该手势作为识别结果返回;
(10)如果不存唯一最高T1则计算最高的T1值相同手势的第二特征值T2j=Tkj*E;
(11)在最高T1值相同的手势中T2值中唯一最高值的手势作为识别结果返回;
(12)如果T1、T2结合仍不存在唯一手势,则以数据库处所顺序返回记录号最小的一个。
4、手臂动作数据采集:
在执行上述过程的同时,还需要传感器臂环中8个肌电信号传感器、1个加速度传感器和3个第一陀螺仪传感器数据的支持,在执行对应手势的过程中,手臂的部分肌肉也会运动,肌电信号传感器会获取前臂肌肉组织的运动信号,加速度传感器,会获取手臂在空间内的运动角度和运动方向,第一陀螺仪传感器,会获取手臂在空间内的转动参数。
4.1、手臂动作数据采集算法
通过肌电信号的幅值来提取活动段,以肌电信号的起始点和结束点分别作为压力信号的起始点和结束点;利用移动平均法对肌电信号进行活动段检测,并且对于维持时间在设定阈值T以下的手势信号认为是用户无意识动作,其中阈值T需要在采集完成后对多个完整的手势信号进行分析来确定,T为800ms。选择压力信号的均值和标准差SD表示压力信号的特征,选择肌电信号的中值频率MF和标准差SD表示肌电信号的特征;SD和MF的计算如公式(1)、(2)、(3)所示:
Figure BDA0001495585080000121
Figure BDA0001495585080000122
Figure BDA0001495585080000123
其中Xi表示当前采集到的信号,PSD(x)为肌电信号的功率谱密度:一个有效手势的肌电信号特征向量表示为Eemg=[e1,e2],其中e1和e2为肌电信号的中值频率和标准差;一个有效手势压力信号的特征向量Efsr=[e3,e4],e3和e4为压力信号的均值和标准差;一个有效手势的空间转动特征向量Emng=[e5,e6]。将肌电信号特征向量Eemg=[e1,e2]、手势压力信号特征向量Efsr=[e3,e4]以及空间转动特征向量Emng=[e5,e6],标记为区别特征数据中的手臂区别特征数据,为每组手臂区别特征数据构建手臂特征识别库。
4.2、手臂动作识别
在将目标手势与标准手势进行比对时,也会通过上述公式获取目标手势执行过程中的三个参数的特征向量,即目标区别特征数据的目标手臂区别特征数据,与区别特征数据中的手臂区别特征数据进行比对,判断目标手臂区别特征数据的三个特征向量是否落在手臂区别特征数据中的三个特征向量内,若目标手臂区别特征数据的三个特征向量均落在手臂区别特征数据的三个特征向量内,就可以确定目标手臂区别特征数据对应的手臂动作,根据手指动作和手臂动作确定最终的手势动作。
通过将确定的手势动作与对应的手臂动作结合,能够准确的判定出整个手势的完整动作。通过对肌电信号特征向量、手势压力信号的特征向量以及手势的空间转动特征向量获取以及判断,能够更加准确的对手势动作进行判断。
上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用,对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的,故本发明包括但不限于上述实施方式,任何符合本权利要求书或说明书描述,符合与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品,均落入本发明的保护范围之内。

Claims (4)

1.一种便携式手势识别***,其特征在于,包括数据处理器以及与所述数据处理器连接的传感器臂环和陀螺仪手套;
所述传感器臂环,用于获取目标手势执行过程中,手臂肌肉的运动信号和手臂的手臂空间转动信号,将所述运动信号和所述手臂空间转动信号发送至所述数据处理器;
所述陀螺仪手套,用于获取目标手势执行过程中,手指各关节的手指空间转动信号,将所述手指空间转动信号发送至所述数据处理器;
所述数据处理器,用于根据所述运动信号、所述手臂空间转动信号和所述手指空间转动信号,提取所述目标手势起始点和结束点对应的目标区别特征数据,将所述目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定所述目标手势对应的手势类别;
所述传感器臂环包括与所述数据处理器连接的8个肌电信号传感器、1个加速度传感器和3个第一陀螺仪传感器;
所述肌电信号传感器,设置在所述传感器臂环的内侧,用于与前臂肌肉组织接触,用于获取所述运动信号,将所述运动信号发送至所述数据处理器;
所述加速度传感器,设置在所述传感器臂环内,用于获取手臂在空间内的运动角度和运动方向,将所述运动角度和所述运动方向发送至所述数据处理器;
所述第一陀螺仪传感器,设置在所述传感器臂环内,用于获取手臂在空间内的转动参数,将所述转动参数发送至所述数据处理器;
所述陀螺仪手套包括N个与所述数据处理器连接的第二陀螺仪传感器,其中N为大于等于5的正整数;
各个所述第二陀螺仪传感器,设置在所述陀螺仪手套内,每个所述第二陀螺仪传感器用于与相应的手指的端背部分接触,并获取手指各关节在空间内的转动角度和转动方向,将所述转动角度和所述转动方向发送至所述数据处理器;所述第二陀螺仪传感器包括5个手指端面的0-4号5个陀螺仪传感器以及手背位置的5号陀螺仪传感器;
所述数据处理器具体用于:
以400HZ频率获取所述第二陀螺仪传感器x、y、z三个轴向瞬时角速度;
以2.5*10-3秒为时间间隔对所述轴向瞬时角速度进行梯形积分得z、y、x轴向角度值;
所述1-4号陀螺仪x、y、z角度值减去所述5号陀螺仪传感器三轴向角度值;所述0号陀螺仪,x、z的轴向角速度值交换后再减去所述5号陀螺仪传感器三轴向角度值记为XAj,YAj,ZAj(j=0,1.2.3.4),每一组XA、YA、ZA记为Dj=[XAj,YAj,ZAj];获取的最终数组即为获取的目标手势的所述目标区别特征数据;
对应手指读数Dj中各陀螺仪传感器各轴向读数,即所述目标区别特征数据与手势识别库R中的手指运动参数的区别特征数据进行匹配,对每一手势,检测Dj的三轴向分量是否落在手势识别库R中对应识别位置数据记录中有效范围内,如落在对应有效范围内则以所属范围对应权值作为该手势对应识别位置的第二特征值,记为t2i(i=1.2…),进而确定手势对应的手指动作;
将所获读数匹配所有手势,获得所有手势各识别位置对于该读数的第二特征值t2i,各组特征值组成特征向量Tki=[t21i,t22i,t23i,t24i,t25i];
比较所有手势的特征向量Tki,并将各元素对应最大权值的位置计为1,否则记为0,得到各组手势第一特征向量t1i=[t11,t12,t13,t14,t15];
计算所有手势所产生的第一特征向量中的数值之和;
在所有所述数值之和中计算是否存在唯一最高的T1值,如果存在则将该手势作为识别结果;
如果不存在,则计算最高的T1值相同手势的第二特征值T2i=Tki*E;
将多个所述第二特征值T2i中唯一最高值的T2值对应的手势作为所述识别结果;
如果所述T1值、所述T2值结合仍不存在唯一手势,则以所述手势识别库R中记录号最小的手势作为所述识别结果;
所述数据处理器中,得到权值的过程包括:
按手势分类对不同手势的概率Pi进行聚类,得到nj(j=0,1,2,3,4)个按所述概率Pi划分的类别范围,其中j为对应的陀螺仪号,并将每个类别范围的中心点值作为该范围的权值。
2.如权利要求1所述的便携式手势识别***,其特征在于,所述识别***还包括将所述肌电信号传感器、所述加速度传感器、所述第一陀螺仪传感器以及所述第二陀螺仪传感器分别和所述数据处理器连通的通信模块;
所述通信模块,用于将所述肌电信号传感器、所述加速度传感器、所述第一陀螺仪传感器和所述第二陀螺仪传感器检测到的数据信息转发至所述数据处理器。
3.一种便携式手势识别方法,其特征在于,包括以下步骤:
获取目标手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
根据所述目标手势的手臂肌肉的运动信号、所述手臂空间转动信号以及所述手指空间转动信号,提取所述目标手势起始点和结束点对应的目标区别特征数据,将所述目标区别特征数据与预存储的手势分类集合内手势对应的区别特征数据进行匹配,根据匹配结果,确定所述目标手势对应的手势类别;
从肌电信号传感器中获取所述运动信号;
从加速度传感器中获取手臂在空间内的运动角度和运动方向;
从第一陀螺仪传感器中获取手臂在空间内的转动参数;
所述陀螺仪手套包括N个与所述数据处理器连接的第二陀螺仪传感器,其中N为大于等于5的正整数;
各个所述第二陀螺仪传感器,设置在所述陀螺仪手套内,每个所述第二陀螺仪传感器用于与相应的手指的端背部分接触,并获取手指各关节在空间内的转动角度和转动方向,将所述转动角度和所述转动方向发送至所述数据处理器;所述第二陀螺仪传感器包括5个手指端面的0-4号5个陀螺仪传感器以及手背位置的5号陀螺仪传感器;
以400HZ频率获取所述第二陀螺仪传感器x、y、z三个轴向瞬时角速度;
以2.5*10-3秒为时间间隔对所述轴向瞬时角速度进行梯形积分得z、y、x轴向角度值;
所述1-4号陀螺仪x、y、z角度值减去所述5号陀螺仪传感器三轴向角度值;所述0号陀螺仪,x、z的轴向角速度值交换后再减去所述5号陀螺仪传感器三轴向角度值记为XAj,YAj,ZAj(j=0,1.2.3.4),每一组XA、YA、ZA记为Dj=[XAj,YAj,ZAj];获取的最终数组即为获取的目标手势的所述目标区别特征数据;
对应手指读数Dj中各陀螺仪传感器各轴向读数,即所述目标区别特征数据与手势识别库R中的手指运动参数的区别特征数据进行匹配,对每一手势,检测Dj的三轴向分量是否落在手势识别库R中对应识别位置数据记录中有效范围内,如落在对应有效范围内则以所属范围对应权值作为该手势对应识别位置的第二特征值,记为t2i(i=1.2…),进而确定手势对应的手指动作;
将所获读数匹配所有手势,获得所有手势各识别位置对于该读数的第二特征值t2i,各组特征值组成特征向量Tki=[t21i,t22i,t23i,t24i,t25i];
比较所有手势的特征向量Tki,并将各元素对应最大权值的位置计为1,否则记为0,得到各组手势第一特征向量t1i=[t11,t12,t13,t14,t15];
计算所有手势所产生的第一特征向量中的数值之和;
在所有所述数值之和中计算是否存在唯一最高的T1值,如果存在则将该手势作为识别结果;
如果不存在,则计算最高的T1值相同手势的第二特征值T2i=Tki*E;
将多个所述第二特征值T2i中唯一最高值的T2值对应的手势作为所述识别结果;
如果所述T1值、所述T2值结合仍不存在唯一手势,则以所述手势识别库R中记录号最小的手势作为所述识别结果;
得到权值的过程包括:
按手势分类对不同手势的概率Pi进行聚类,得到nj(j=0,1,2,3,4)个按所述概率Pi划分的类别范围,其中j为对应的陀螺仪号,并将每个类别范围的中心点值作为该范围的权值。
4.如权利要求3所述的便携式手势识别方法,其特征在于,在所述获取目标手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号之前,还包括以下步骤:
采集标准手势执行过程中,手臂肌肉的运动信号、手臂的手臂空间转动信号以及手指各关节的手指空间转动信号;
提取所述标准手势起始点和结束点对应的区别特征数据,为所述标准手势对应的区别特征数据构建手势分类集合,对构建的所述手势分类集合进行存储。
CN201711271029.3A 2017-12-05 2017-12-05 一种便携式手势识别***及方法 Active CN108196668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711271029.3A CN108196668B (zh) 2017-12-05 2017-12-05 一种便携式手势识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711271029.3A CN108196668B (zh) 2017-12-05 2017-12-05 一种便携式手势识别***及方法

Publications (2)

Publication Number Publication Date
CN108196668A CN108196668A (zh) 2018-06-22
CN108196668B true CN108196668B (zh) 2021-08-03

Family

ID=62573761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711271029.3A Active CN108196668B (zh) 2017-12-05 2017-12-05 一种便携式手势识别***及方法

Country Status (1)

Country Link
CN (1) CN108196668B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656358A (zh) * 2018-11-23 2019-04-19 南京麦丝特精密仪器有限公司 一种多维手语识别方法
CN110703910B (zh) * 2019-09-26 2022-07-12 深圳大学 一种基于智能手表的手势识别方法及***
CN110794961A (zh) * 2019-10-14 2020-02-14 无锡益碧医疗科技有限公司 一种穿戴式手势解析***
CN113031775B (zh) * 2021-03-24 2023-02-03 Oppo广东移动通信有限公司 手势数据获取方法、装置、终端及存储介质
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控***交互方法及设备
CN114167996B (zh) * 2022-02-14 2022-05-17 浙江强脑科技有限公司 一种基于传感器的动作预判方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN104485037A (zh) * 2015-01-12 2015-04-01 重庆中电大宇卫星应用技术研究所 一种聋哑人用的手势发音说话手套
CN105138133A (zh) * 2015-09-14 2015-12-09 李玮琛 生物信号手势识别设备及方法
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN104485037A (zh) * 2015-01-12 2015-04-01 重庆中电大宇卫星应用技术研究所 一种聋哑人用的手势发音说话手套
CN105138133A (zh) * 2015-09-14 2015-12-09 李玮琛 生物信号手势识别设备及方法
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别***及方法

Also Published As

Publication number Publication date
CN108196668A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108196668B (zh) 一种便携式手势识别***及方法
US7259756B2 (en) Method and apparatus for selecting information in multi-dimensional space
CN106897592B (zh) 用户认证方法、用户认证设备以及书写工具
Wang et al. A comparative study on human activity recognition using inertial sensors in a smartphone
Wang et al. Human activity recognition with user-free accelerometers in the sensor networks
Hsu et al. An inertial pen with dynamic time warping recognizer for handwriting and gesture recognition
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
JP6064280B2 (ja) ジェスチャを認識するためのシステムおよび方法
KR101157073B1 (ko) 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치
CN107678550A (zh) 一种基于数据手套的手语手势识别***
US9619024B2 (en) Virtual input device and virtual input method
CN102985897A (zh) 高效姿势处理
CN107390867B (zh) 一种基于安卓手表的人机交互***
Cho et al. Two-stage recognition of raw acceleration signals for 3-d gesture-understanding cell phones
Pan et al. Handwriting trajectory reconstruction using low-cost imu
US20150193686A1 (en) Static posture based person identification
CN108985157A (zh) 一种手势识别方法和装置
WO2019180511A1 (en) Ultrasound based air-writing system and method
CN110471529A (zh) 动作评分方法及装置
Hausberger et al. IMU-based smart fitness devices for weight training
CN110866468A (zh) 一种基于无源rfid的手势识别***及方法
CN107533371A (zh) 使用影响手势的用户接口控制
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
Agarwal et al. Gestglove: A wearable device with gesture based touchless interaction
CN110929766A (zh) 一种基于高斯混合聚类算法的自适应行人手机姿态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 400000 # 28-19, No. 28, Wusi Road, Yuzhong District, Chongqing

Patentee after: Chongqing Zhongdian Dayu Satellite Application Technology Research Institute Co.,Ltd.

Address before: 400065 No.39, Wenfeng section, Huangshan Town, Nan'an District, Chongqing

Patentee before: CHONGQING ZHONGDIAN DAYU SATELLITE APPLICATION TECHNOLOGY INSTITUTE