CN105807923A - 一种基于超声波的凌空手势识别方法及*** - Google Patents

一种基于超声波的凌空手势识别方法及*** Download PDF

Info

Publication number
CN105807923A
CN105807923A CN201610127516.1A CN201610127516A CN105807923A CN 105807923 A CN105807923 A CN 105807923A CN 201610127516 A CN201610127516 A CN 201610127516A CN 105807923 A CN105807923 A CN 105807923A
Authority
CN
China
Prior art keywords
movement tendency
gesture
palm movement
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610127516.1A
Other languages
English (en)
Inventor
陈益强
杨晓东
于汉超
钟习
胡子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201610127516.1A priority Critical patent/CN105807923A/zh
Priority to PCT/CN2016/085475 priority patent/WO2017152531A1/zh
Publication of CN105807923A publication Critical patent/CN105807923A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于超声波的凌空手势识别方法及***,所述方法包括:利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;以及,利用预先训练好的手势识别模型,对得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。本发明适用于智能移动终端,并且同时能实现手势识别的高精度和高鲁棒性。

Description

一种基于超声波的凌空手势识别方法及***
技术领域
本发明涉及人机交互领域,更具体地,涉及基于超声波的凌空手势识别技术,尤其是面向智能移动终端的超声波凌空手势识别技术。
背景技术
近年来,随着智能移动终端与可穿戴技术的不断发展,出现了许多新型的人机交互场景与形式。目前主流的基于触摸屏的人机交互方式要求用户与触摸屏接触,影响人机交互的普适性和自然性,尤其是针对特定场景(如驾驶车辆过程、烹饪食物过程等)和特定设备形态(如智能眼镜、智能手环等),用户难以进行触摸,无法完全满足人机交互多样化的需求。因此,迫切需要一种适用于智能移动终端的凌空手势输入方法。
传统的人机交互***中,用于提供凌空手势识别的现有技术方案主要有以下三种方式:
(1)基于计算机视觉。基于摄像头采集的彩色图像信息或者专业的深度摄像头采集的深度图像信息识别出用户的手部,并进一步识别出用户的手势,此类方法可参见公开号为CN104360742A、CN103136541A、CN103176605A、CN103472916A、CN104915010A等的中国专利申请。然而,此类方法对光线比较敏感,算法复杂度较高,对手势的识别范围有限,需要较多的***资源,并且需要配备专用的摄像头传感器,不适于在普适环境下进行推广应用。
(2)基于数据手套。通过数据手套采集手部动作,从而识别出用户的手势,此类方法可参见公开号为CN104392237A、CN105127973A、CN204765652U、CN204740561U等的中国专利申请。该方法需要用户佩戴复杂的位置***和数据手套,操作复杂,不利于自然的人机交互,并且价格比较昂贵,同样不适于在普适环境下进行推广应用。
(3)基于肌电传感器。采用腕带的方式测量小臂的肌电信号,由于不同的手势动作表现不同的肌电信号,从而识别出不同的静态手势,此类方法可参见公开号为CN105138133A、CN105139038A等的中国专利申请。该方法需要用户佩戴专业的肌电腕带,要求腕带与用户小臂紧密贴合,可能造成用户的不适,且成本较高。
此外,以上三种方式均不适用于智能移动终端。
发明内容
为解决上述现有技术中存在的问题,根据本发明的一个实施例,提供一种基于超声波的凌空手势识别方法,包括:
步骤1)、利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;
步骤2)、利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。
上述方法的步骤1)包括:
从所采集的经由人手反射回的超声波信号中提取特征,利用预先训练好的手掌运动趋势模型针对提取到的特征识别手掌运动趋势,缓存经识别得到的手掌运动趋势直至手势结束,并且将缓存的手掌运动趋势组成手掌运动趋势时序序列,其中:
针对所采集的一帧超声波信号执行如下步骤,其中一帧超声波信号由连续的L个采样点数据组成:
步骤11)、从所述一帧超声波信号中提取特征,得到输入数据;
步骤12)、判断当前状态,如果当前状态指示处于手势过程中则执行步骤14),否则执行步骤13);
步骤13)、利用预先训练好的手掌运动趋势模型针对所述输入数据识别手掌运动趋势,如果识别结果指示无手掌运动趋势则针对所采集的下一帧超声波信号返回步骤11),否则将当前状态设置为处于手势过程中、缓存识别得到的手掌运动趋势并且针对所采集的下一帧超声波信号返回步骤11);
步骤14)、判断手势是否结束,如果结束则将缓存的手掌运动趋势组成手掌运动趋势时序序列并执行步骤2),否则针对所采集的下一帧超声波信号返回步骤11)。
上述方法在步骤2)之后还包括:
清空缓存的手掌运动趋势,将当前状态设置为非手势过程,并且返回步骤1)。
上述方法中,还包括根据以下步骤训练手掌运动趋势模型:
步骤a)、从所采集的经由人手反射回的每帧超声波信号中提取特征得到每帧训练样本,并且为每帧训练样本赋予相应的类别,形成第一训练数据集;
步骤b)、根据所述第一训练数据集,训练所述手掌运动趋势模型。
上述方法中,步骤b)包括:利用ELM模型结合交叉验证的要求来训练所述手掌运动趋势模型。
上述方法中,还包括根据以下步骤训练手势识别模型:
步骤c)、将所述第一训练数据集经由训练后的所述手掌运动趋势模型得到的结果进行手势分割,形成不同手势对应的训练样本,并且为每个手势对应的训练样本赋予相应的类别,形成第二训练数据集;
步骤d)、根据所述第二训练数据集,针对每个手势训练相应的手势识别模型。
上述方法中,步骤d)包括:利用HMM模型针结合交叉验证的要求,针对每个手势训练相应的手势识别模型。
上述方法中,由智能移动终端所固有的扬声器持续地发射超声波信号,并且由所述智能移动终端所固有的麦克风采集经由人手反射回的超声波信号。
上述方法中,所述超声波的频率为18kHz-22kHz。
根据本发明的一个实施例,还提供一种基于超声波的凌空手势识别***,包括:
手掌运动趋势识别装置,用于利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;
手势识别装置,用于利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。
上述***中,由智能移动终端所固有的扬声器持续地发射超声波信号,并且由所述智能移动终端所固有的麦克风采集经由人手反射回的超声波信号。
本发明提供的基于超声波的凌空手势识别方法是一种融合了声波信号的声学特征与时序特征的层次化方法:在第一层次,针对每一时刻(在下文中称为帧)采集的超声波信号数据提取声学特征,识别出每一帧的手掌运动趋势,得到其中的手掌运动趋势的时序序列;在第二层次,对于识别出的手掌运动趋势序列进行识别分类,从而实现凌空手势识别。该方法在识别出手掌运动趋势的基础上执行进一步的手势分类,实现了高精度和高鲁棒性的凌空手势识别。
此外,与上述现有技术相比,本发明中所要处理的数据较为简单,无需使用额外的数据手套、肌电传感器等,适用于智能移动终端,可使用智能移动终端固有的麦克风与扬声器进行超声波的发射与接收,因此成本较低,易于推广应用。
附图说明
图1是根据本发明一个实施例的模型离线训练方法的流程图;
图2是根据本发明一个实施例的基于超声波的凌空手势识别方法的流程图;
图3是根据本发明一个实施例的基于超声波的凌空手势识别方法中的层次化识别流程的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明加以说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
根据本发明的一个实施例,提供一种基于超声波的凌空手势识别方法。
概括而言,该方法通过发射、接收超声波,并且对接收的超声波信号进行(两层的)手掌运动趋势识别及手势识别,来捕捉用户手部动作,从而实现凌空手势的识别。其中,利用预先训练好的手掌运动趋势模型进行手掌运动趋势识别,并且利用预先训练好的手势识别模型进行手势识别。需要说明的是,这里的超声波指的是正常成年人听不到的音频频率(即不低于18kHz);并且凌空手势包括但不限于:前伸、后拉、单击、双击等。
下文将分两个阶段来描述本发明提供的基于超声波的凌空手势识别方法,这两个阶段分别是模型训练阶段和手势识别阶段。
一.模型训练阶段
在进行凌空手势识别(其中包括手掌运动趋势识别以及手势识别)之前,需要事先训练好手掌运动趋势模型和手势识别模型。参见图1,该模型训练方法包括以下步骤:
1、超声波凌空手势数据采集
在本步骤中,由超声波发射装置持续地播放超声波并且由超声波接收装置采集经由人手反射回的超声波。
根据本发明的一个实施例,可以利用智能移动终端固有的扬声器来播放超声波。在使用智能移动终端发射和接收超声波(参见下一段)的情况下,所采用的超声波的频率范围可以为18kHz到22kHz,优选为18kHz。本文所涉及的智能移动终端包括但不限于:智能手机、平板电脑以及智能手表等可穿戴智能设备。
同时,可以利用智能移动终端(即发射超声波的智能移动终端)固有的麦克风以预定的采样频率采集经由人手反射回的超声波。对于本发明来说,人手可以相对于该智能移动终端位于任何位置处,优选地,位于与该智能移动终端距离半米的范围内。另外,在声学采样方面,尽管存在11.025kHz,22.05kHz和44.1kHz等标准的采样频率,然而针对18kHz的超声波,本文的超声波接收装置优选采用44.1kHz的采样频率进行周期性声波信号(即反射回的超声波)的采集。
2、对采集到的信号数据进行预处理
首先,用长度为L的滑动海明窗将所采集的超声波信号数据分割成连续的多帧(即每L个采样点的时序序列构成一帧),并且相邻两帧之间的数据没有重叠。其中,L可以是2048(或者其他2的n次幂,以适用于下文的特征提取),从而针对44.1kHz的采样频率,每帧的时间约为46.44ms,并且每帧数据可以表示为:Ai={a1,a2,…,a2048},其中aj(可称作帧内时域信号)表示采样点j的模拟电压值经过A/D转换后的整数型数值,而连续的多帧数据组成声波信号序列A={A1,A2,…An}。
接着,对采集得到的帧数据进行预处理。预处理包括初步平滑处理,以用于提高最终的识别准确率。例如,可以采用N阶滑动平均滤波法(MovingAverageFilter)对帧内时域信号进行滤波处理,其响应函数表示如下:
a j ′ = 1 N Σ i = 1 N a j - i + 1 - - - ( 1 )
在平滑处理后,该帧数据可表示为:Ai={a1’,a2’,…,a2048’}。
3、特征提取
在本步骤中,从预处理后的帧数据中提取特征,组成手掌运动趋势模型的训练样本集。
具体而言,将预处理后的每帧数据作为一个单元来提取每一帧对应的特征(如声学特征),从而组成手掌运动趋势模型的训练样本集。其中,所提取的特征可以是谱峰值、谱峰位置、频率图谱、均值、过零率、标准差等。本领域技术人员应理解,这里所提取的特征不限于上文列举的几种典型特征。另外,以上特征的其中之一或者其组合均可以用于实现手掌运动趋势模型的训练。
举例来说,在每帧数据包括2048个采样点的情况下,可采取如下方式提取每帧对应的特征:
通过FFT时频转换得到1025点(即1025个频段)的频域数据,提取其中的谱峰值和谱峰前后各n个(n为正整数)频段的频谱值作为该帧对应的特征向量。其中,确定谱峰所在的频段包括如下方式:1、在所得到的频域数据的高频区域(>17000Hz),将频谱值最大处作为谱峰所在频段;2、选择载波频率所在的频段作为谱峰所在频段,其中在18kHz载波(即上述18kHz超声波)、44.1kHz采样频率和2048采样点/帧的前提下,载波频率所在频段的下标约为835。
4、手掌运动趋势数据的标定
根据手掌运动趋势的类别(例如,包括向前、向后等),为每帧数据分别赋予相应的手掌运动趋势类别标号(例如,向前的手掌运动趋势类别标号为1,向后的手掌运动趋势类别标号为2等),从而由每帧数据提取的特征向量(上述手掌运动趋势模型的训练样本集)及该帧类别形成第一层次的训练数据集TrainDataSet_1。
5、训练手掌运动趋势模型
本文中,手掌运动趋势模型的输出可以包括但不限于:“null”、“forward”和“backward”,分别表示无手掌运动趋势,相对于麦克风的靠近和相对于麦克风的远离。
在本步骤中,将第一层次的训练数据集TrainDataSet_1分为m份,用于交叉验证;利用分类模型(例如,朴素贝叶斯,SVM,DNN等)进行训练。
优选地,利用ELM(极速学***均值作为最终的精度值,并且输出模型参数。
举例来说,可以将训练样本平均分为10(即m=10)组,选择其中1组作为测试数据,其余9组作为训练数据。使用ELM模型对9组训练样本组成的训练样本集构造手掌运动趋势模型,将所建立的模型对测试数据进行测试,得到训练准确率和测试准确率;重复上述过程9次,每次选取不同的1组作为测试数据,其余9组作为训练数据,得到相应的训练准确率和测试准确率。取10次实验训练准确率和测试准确率的均值作为最终模型的准确率并输出模型的参数。
6、手势数据的提取与标定
首先,将TrainDataSet_1经过训练后的手掌运动趋势模型所得到的结果(手掌运动趋势的时序序列),进行手势分割,以组成针对不同手势的训练样本集;其中,可在训练样本集中进行序列长度归一化处理和重复手势去除处理。
接着,为各手势的训练样本分别赋予相应的类别编号(例如,“单击”的类别标号为1,“双击”的类别标号为2等),从而由针对不同手势的训练样本集及相应类别形成用于手势识别模型的第二层次的训练数据集TrainDataSet_2。
7、训练手势识别模型
在本步骤中,针对每个手势,采用诸如CRF,HMM等利用时序特征的模型来进行模型训练。
优选地,利用HMM模型(隐马尔可夫模型,HiddenMarkovModel)来进行训练。具体地,将第二层次的训练数据集TrainDataSet_2分为m份,以用于交叉验证(例如采用十折交叉验证方法);针对手势集(该手势集包括但不限于:“向前”、“向后”、“单击”、“双击”、“反向单击”等)中的每个手势(需要说明的是,HMM模型在训练过程中,是针对每个手势训练一个HMM模型,这样,一个手掌运动趋势序列对每个手势对应的模型都有一个似然概率,其中最大概率对应的手势即为识别的手势),利用HMM模型结合交叉验证的要求(该交叉验证的过程类似于第5步)来进行手势识别模型的训练,训练结束后获得模型的输出参数。
由此,针对手势集中的每一种手势分别建立了相应的手势识别模型。
二.手势识别阶段
参见图2,本实施例提供的基于超声波的凌空手势识别方法包含如下步骤:
第一步:持续播放超声波并且接收经由人手反射回的超声波
1、超声波发射装置持续地播放超声波。
与模型训练阶段的第1步相同,为了使环境中存在超声波信号,要利用超声波发射装置(如智能移动终端固有的扬声器)来播放18~20kHz的超声波,优选发射18kHz的超声波。
2、同时,超声波接收装置(例如,发射超声波的智能移动终端所固有的麦克风)接收并且以44.1kHz的采样频率采集经由人手反射回的超声波。每采集一定数量的超声波信号,则进入第二步对这些超声波信号进行后续处理。
在上文中,用长度为L(如2048)的滑动海明窗将所采集的超声波信号数据分割成连续的多帧,在本步骤,每采集L个采样点组成的一帧,针对该帧数据进入第二步。
第二步:对采集到的信号进行预处理并且从预处理后的信号中提取特征以组成手掌运动趋势模型的输入数据
与模型训练阶段类似,本步骤对第一步中采集的帧数据进行预处理和特征提取,包括:
1、利用上述公式(1)对采集的帧数据进行滤波处理;
2、与上文给出的特征提取方式相同,从预处理后的数据中提取特征,构成手掌运动趋势模型的输入数据。
第三步:基于输入数据识别手掌运动趋势
本步骤包括如下子步骤:
1、判断当前状态
当前状态用于指示当前是否处于手势过程中(即,正在做手势的过程中)。如果处于手势过程中,则当前状态表示为“gesture”否则表示为“wait”(即,非手势过程)。如果处于手势过程(“gesture”)中,则执行子步骤3,否则(即“wait”)执行子步骤2。本文中,初始状态为“wait”。
2、针对输入数据识别手掌运动趋势
根据预先训练好的手掌运动趋势模型针对上述输入数据来识别手掌运动趋势。如上文所述,该手掌运动趋势模型的识别结果包括但不限于:“forward”,“backward”,“null”,分别代表相对于麦克风的靠近、远离以及无手掌运动趋势。
具体而言,将输入数据输入手掌运动趋势模型进行识别,得到识别结果;根据识别结果判断当前手掌运动趋势是否为“null”(即,无手掌运动趋势),如果为“null”则返回第一步,以根据采集的下一帧执行预处理等后续过程,否则将当前状态设置为“gesture”,并且将所识别的当前手掌运动趋势(例如,“backward”或“forward”)进行缓存,接着返回第一步,以根据采集的下一帧执行预处理等后续过程。
3、判断手势是否结束,如果手势结束,则进入第四步,否则返回第一步,以根据采集的下一帧执行预处理等后续过程。
在本发明的一个实施例中,可以将连续三个“null”作为手势结束的标志,如果手掌运动趋势模型最近连续识别三个“null”则进入第四步;否则返回第一步。
第四步:对缓存的手掌运动趋势进行手势识别
进入第四步之后,之前缓存的手掌运动趋势可组成手掌运动趋势的时序序列(即,手掌运动趋势序列),采用预先训练好的手势识别模型对该序列进行识别,并且输出手势识别结果。其中,可以先对手掌运动趋势的时序序列进行长度归一化处理再通过手势识别模型进行识别。以下给出了手势运动趋势序列的一个例子:
(forward,forward,…,backward,backward)
如上文所述,采用与每个手势相对应的手势识别模型来进行识别。手掌运动趋势序列在通过每个手势识别模型后得到一个似然概率,取其中最大概率对应的手势作为所识别的手势。
第五步:响应手势操作
在本步骤中,(例如,智能移动装置)以与识别结果相对应的操作进行响应。同时清空缓存,将当前状态设置为“wait”(即非手势过程),并且返回第一步,以根据采集的下一帧来执行预处理等后续过程。
上述方法是一种层次化方法,根据手部自然运动的自由度,将手势分解为多个手掌运动趋势的时序序列。在第一层次(参见第三步),进行手掌运动趋势的识别;在第二层次(参见第四步),根据所识别的一系列手掌运动趋势来进行手势识别。图3示出了通过该层次化方法识别手势的流程示意图。
根据本发明的一个实施例,还提供一种基于超声波的凌空手势识别***,包括:
手掌运动趋势识别装置,用于利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;
手势识别装置,用于利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。
在一个实施例中,该凌空手势识别***还包括:超声波发射装置,用于持续地发射超声波信号;超声波接收装置,用于采集经由人手反射回的超声波信号。其中,超声波发射装置可以是智能移动终端的扬声器,而超声波接收装置可以是智能移动终端的麦克风。智能移动终端可以是普适环境下的智平板电脑、智能手机等。
为验证本发明提供的凌空手势识别方法和***的有效性,发明人进行了如下实验:
1、实验平台
●实验环境:正常的工作环境(~30dB)
●实验设备:MacBookPro13-inch;DellInsprion1545
●扬声器:实验设备固有的扬声器
●麦克风:实验设备固有的麦克风
2、手势数据源
4位用户(2位男士用户和2位女士用户)在1分半钟内随机实施“向前”、“向后”和“单击”手势,共采集了7600帧手掌运动趋势对应的声波信号,然后人工对每帧声波信号(即前文所述的每帧数据)提取谱峰值及其前后15个频段的频谱值(频率范围为[17677,18323]),并且将每帧数据进行标定,作为初始的手掌运动趋势模型的训练数据和测试数据,并且选择其中构成手势的手掌运动趋势序列(即下文中的有效的手掌运动趋势序列)作为手势识别模型的训练数据和测试数据。
3、手掌运动趋势模型
将得到的7600帧手掌运动趋势数据平均分成10组,将ELM的激励函数设置为Sigmoid、隐层节点数设置为90,然后采用十折交叉验证的方法,利用ELM算法对手掌运动趋势识别模型进行训练和测试,并与基于规则的手掌运动趋势识别方法进行对比,该基于ELM的手掌运动趋势模型的实验结果如下表所示。
表1
4、手势识别模型
在7600帧手掌运动趋势数据的基础上,通过手掌运动趋势模型和手势分割得到有效的手掌运动趋势序列,并对其进行长度归一化、手势类型标定和重复手势序列去除处理。然后采用十折交叉验证的方法,将标定好的手掌运动趋势序列作为HMM模型训练的特征向量,利用HMM算法对手势识别模型进行训练和测试,该基于HMM的手势识别模型的实验结果如下表所示。
表2
根据以上实验结果可知,本发明提供的方法和***适用于智能移动终端,并且同时实现了高精度的凌空手势识别。
应该注意到并理解,在不脱离后附的权利要求所要求的本发明的精神和范围的情况下,能够对上述详细描述的本发明做出各种修改和改进。因此,要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (12)

1.一种基于超声波的凌空手势识别方法,所述方法包括:
步骤1)、利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;
步骤2)、利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。
2.根据权利要求1所述的方法,其中,步骤1)包括:
从所采集的经由人手反射回的超声波信号中提取特征,利用预先训练好的手掌运动趋势模型针对提取到的特征识别手掌运动趋势,缓存经识别得到的手掌运动趋势直至手势结束,并且将缓存的手掌运动趋势组成手掌运动趋势时序序列。
3.根据权利要求2所述的方法,其中,步骤1)包括:
针对所采集的一帧超声波信号执行如下步骤,其中一帧超声波信号由连续的L个采样点数据组成:
步骤11)、从所述一帧超声波信号中提取特征,得到输入数据;
步骤12)、判断当前状态,如果当前状态指示处于手势过程中则执行步骤14),否则执行步骤13);
步骤13)、利用预先训练好的手掌运动趋势模型针对所述输入数据识别手掌运动趋势,如果识别结果指示无手掌运动趋势则针对所采集的下一帧超声波信号返回步骤11),否则将当前状态设置为处于手势过程中、缓存识别得到的手掌运动趋势并且针对所采集的下一帧超声波信号返回步骤11);
步骤14)、判断手势是否结束,如果结束则将缓存的手掌运动趋势组成手掌运动趋势时序序列并执行步骤2),否则针对所采集的下一帧超声波信号返回步骤11)。
4.根据权利要求3所述的方法,其中,步骤2)之后还包括:
清空缓存的手掌运动趋势,将当前状态设置为非手势过程,并且返回步骤1)。
5.根据权利要求1-4中任何一个所述的方法,还包括根据以下步骤训练手掌运动趋势模型:
步骤a)、从所采集的经由人手反射回的每帧超声波信号中提取特征得到每帧训练样本,并且为每帧训练样本赋予相应的类别,形成第一训练数据集;
步骤b)、根据所述第一训练数据集,训练所述手掌运动趋势模型。
6.根据权利要求5所述的方法,其中,步骤b)包括:
利用ELM模型结合交叉验证的要求来训练所述手掌运动趋势模型。
7.根据权利要求5所述的方法,还包括根据以下步骤训练手势识别模型:
步骤c)、将所述第一训练数据集经由训练后的所述手掌运动趋势模型得到的结果进行手势分割,形成不同手势对应的训练样本,并且为每个手势对应的训练样本赋予相应的类别,形成第二训练数据集;
步骤d)、根据所述第二训练数据集,针对每个手势训练相应的手势识别模型。
8.根据权利要求7所述的方法,其中,步骤d)包括:
利用HMM模型针结合交叉验证的要求,针对每个手势训练相应的手势识别模型。
9.根据权利要求1-4中任何一个所述的方法,其中,由智能移动终端所固有的扬声器持续地发射超声波信号,并且由所述智能移动终端所固有的麦克风采集经由人手反射回的超声波信号。
10.根据权利要求1-4中任何一个所述的方法,其中,所述超声波的频率为18kHz-22kHz。
11.一种基于超声波的凌空手势识别***,包括:
手掌运动趋势识别装置,用于利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;
手势识别装置,用于利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。
12.根据权利要求11所述的***,其中,由智能移动终端所固有的扬声器持续地发射超声波信号,并且由所述智能移动终端所固有的麦克风采集经由人手反射回的超声波信号。
CN201610127516.1A 2016-03-07 2016-03-07 一种基于超声波的凌空手势识别方法及*** Pending CN105807923A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610127516.1A CN105807923A (zh) 2016-03-07 2016-03-07 一种基于超声波的凌空手势识别方法及***
PCT/CN2016/085475 WO2017152531A1 (zh) 2016-03-07 2016-06-12 一种基于超声波的凌空手势识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610127516.1A CN105807923A (zh) 2016-03-07 2016-03-07 一种基于超声波的凌空手势识别方法及***

Publications (1)

Publication Number Publication Date
CN105807923A true CN105807923A (zh) 2016-07-27

Family

ID=56466783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610127516.1A Pending CN105807923A (zh) 2016-03-07 2016-03-07 一种基于超声波的凌空手势识别方法及***

Country Status (2)

Country Link
CN (1) CN105807923A (zh)
WO (1) WO2017152531A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及***
CN106951861A (zh) * 2017-03-20 2017-07-14 上海与德科技有限公司 超声波手势识别方法及装置
CN107450724A (zh) * 2017-07-31 2017-12-08 武汉大学 一种基于双声道音频多普勒效应的手势识别方法及***
CN107943300A (zh) * 2017-12-07 2018-04-20 深圳大学 一种基于超声波的手势识别方法及***
CN108562890A (zh) * 2017-12-29 2018-09-21 努比亚技术有限公司 超声波特征值的校准方法、装置及计算机可读存储介质
CN108959866A (zh) * 2018-04-24 2018-12-07 西北大学 一种基于高频声波频率的持续身份认证方法
WO2019105376A1 (zh) * 2017-11-30 2019-06-06 腾讯科技(深圳)有限公司 手势识别方法、终端及存储介质
CN110031827A (zh) * 2019-04-15 2019-07-19 吉林大学 一种基于超声波测距原理的手势识别方法
CN110780741A (zh) * 2019-10-28 2020-02-11 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN111124108A (zh) * 2019-11-22 2020-05-08 Oppo广东移动通信有限公司 模型训练方法、手势控制方法、装置、介质及电子设备
CN111562843A (zh) * 2020-04-29 2020-08-21 广州美术学院 一种手势捕捉的定位方法、装置、设备和存储介质
CN112740219A (zh) * 2018-11-19 2021-04-30 深圳市欢太科技有限公司 手势识别模型的生成方法、装置、存储介质及电子设备
CN113450537A (zh) * 2021-06-25 2021-09-28 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947249B (zh) * 2019-03-15 2024-03-19 努比亚技术有限公司 穿戴式设备的交互方法、穿戴式设备和计算机存储介质
CN111625087A (zh) * 2020-04-28 2020-09-04 中南民族大学 一种手势采集与识别***
CN112883849A (zh) * 2021-02-02 2021-06-01 北京小米松果电子有限公司 识别手势的方法、装置、存储介质及终端设备
CN113095386B (zh) * 2021-03-31 2023-10-13 华南师范大学 一种基于三轴加速度空时特征融合的手势识别方法及***
CN115884067A (zh) * 2021-09-28 2023-03-31 华为技术有限公司 一种设备组网及声道配置方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982315A (zh) * 2012-11-05 2013-03-20 中国科学院计算技术研究所 一种自动检测非手势模式的手势分割识别方法及***
US20130182539A1 (en) * 2012-01-13 2013-07-18 Texas Instruments Incorporated Multipath reflection processing in ultrasonic gesture recognition systems
CN104751141A (zh) * 2015-03-30 2015-07-01 东南大学 基于特征图像全像素灰度值的elm手势识别算法
CN104766038A (zh) * 2014-01-02 2015-07-08 株式会社理光 手掌开合动作识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616028B (zh) * 2014-10-14 2017-12-12 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182539A1 (en) * 2012-01-13 2013-07-18 Texas Instruments Incorporated Multipath reflection processing in ultrasonic gesture recognition systems
CN102982315A (zh) * 2012-11-05 2013-03-20 中国科学院计算技术研究所 一种自动检测非手势模式的手势分割识别方法及***
CN104766038A (zh) * 2014-01-02 2015-07-08 株式会社理光 手掌开合动作识别方法和装置
CN104751141A (zh) * 2015-03-30 2015-07-01 东南大学 基于特征图像全像素灰度值的elm手势识别算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨晓东等: "面向可穿戴设备的超声波手势识别方法", 《计算机科学》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446801B (zh) * 2016-09-06 2020-01-07 清华大学 基于超声主动探测的微手势识别方法及***
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及***
CN106951861A (zh) * 2017-03-20 2017-07-14 上海与德科技有限公司 超声波手势识别方法及装置
CN107450724A (zh) * 2017-07-31 2017-12-08 武汉大学 一种基于双声道音频多普勒效应的手势识别方法及***
WO2019105376A1 (zh) * 2017-11-30 2019-06-06 腾讯科技(深圳)有限公司 手势识别方法、终端及存储介质
CN109857245A (zh) * 2017-11-30 2019-06-07 腾讯科技(深圳)有限公司 一种手势识别方法和终端
CN109857245B (zh) * 2017-11-30 2021-06-15 腾讯科技(深圳)有限公司 一种手势识别方法和终端
CN107943300A (zh) * 2017-12-07 2018-04-20 深圳大学 一种基于超声波的手势识别方法及***
CN108562890A (zh) * 2017-12-29 2018-09-21 努比亚技术有限公司 超声波特征值的校准方法、装置及计算机可读存储介质
CN108959866A (zh) * 2018-04-24 2018-12-07 西北大学 一种基于高频声波频率的持续身份认证方法
CN108959866B (zh) * 2018-04-24 2020-10-23 西北大学 一种基于高频声波频率的持续身份认证方法
CN112740219A (zh) * 2018-11-19 2021-04-30 深圳市欢太科技有限公司 手势识别模型的生成方法、装置、存储介质及电子设备
CN110031827A (zh) * 2019-04-15 2019-07-19 吉林大学 一种基于超声波测距原理的手势识别方法
CN110031827B (zh) * 2019-04-15 2023-02-07 吉林大学 一种基于超声波测距原理的手势识别方法
CN110780741A (zh) * 2019-10-28 2020-02-11 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN110780741B (zh) * 2019-10-28 2022-03-01 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN111124108A (zh) * 2019-11-22 2020-05-08 Oppo广东移动通信有限公司 模型训练方法、手势控制方法、装置、介质及电子设备
CN111124108B (zh) * 2019-11-22 2022-11-15 Oppo广东移动通信有限公司 模型训练方法、手势控制方法、装置、介质及电子设备
CN111562843A (zh) * 2020-04-29 2020-08-21 广州美术学院 一种手势捕捉的定位方法、装置、设备和存储介质
CN113450537A (zh) * 2021-06-25 2021-09-28 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2017152531A1 (zh) 2017-09-14

Similar Documents

Publication Publication Date Title
CN105807923A (zh) 一种基于超声波的凌空手势识别方法及***
CN106484139B (zh) 表情符号推荐方法及装置
CN110364144B (zh) 一种语音识别模型训练方法及装置
CN103035135B (zh) 基于增强现实技术的儿童认知***及认知方法
CN110853617B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN110853618A (zh) 一种语种识别的方法、模型训练的方法、装置及设备
CN110838286A (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN107369439B (zh) 一种语音唤醒方法和装置
CN107221320A (zh) 训练声学特征提取模型的方法、装置、设备和计算机存储介质
CN103294199B (zh) 一种基于脸部肌音信号的无声信息识别***
McIntee A Task Model of Free-Space Movement-Based Gestures
Das et al. Smart glove for sign language communications
CN105844216A (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
Zhang et al. Wisign: Ubiquitous american sign language recognition using commercial wi-fi devices
CN105760825A (zh) 一种基于切比雪夫前向神经网络的手势识别***和方法
CN110443113A (zh) 一种虚拟现实书写方法、***和存储介质
CN102063282B (zh) 汉语语音输入***及方法
CN105118356B (zh) 一种手语语音转换方法及装置
CN117390409A (zh) 大规模语言模型生成答案可靠性检测方法
CN101901348B (zh) 一种基于归一化的手写识别方法和识别装置
CN109766951A (zh) 一种基于时频统计特性的WiFi手势识别
CN111913575B (zh) 一种手语词的识别方法
CN110621038B (zh) 一种基于WiFi信号检测步态实现多用户身份识别的方法及装置
Robert et al. A review on computational methods based automated sign language recognition system for hearing and speech impaired community
CN110347807A (zh) 问题信息处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160727

WD01 Invention patent application deemed withdrawn after publication