CN110308796B - 一种基于腕部pvdf传感器阵列的手指运动识别方法 - Google Patents
一种基于腕部pvdf传感器阵列的手指运动识别方法 Download PDFInfo
- Publication number
- CN110308796B CN110308796B CN201910608346.2A CN201910608346A CN110308796B CN 110308796 B CN110308796 B CN 110308796B CN 201910608346 A CN201910608346 A CN 201910608346A CN 110308796 B CN110308796 B CN 110308796B
- Authority
- CN
- China
- Prior art keywords
- action
- wrist
- data
- short
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于腕部PVDF传感器阵列的手指运动识别方法,首先使用PVDF传感器阵列实时采集多通道的腕部动作信号,进行预处理;其次对腕部动作信号进行基于短时能量的端点检测,得到手指动作的分割点,进而提取得到一段手指运动的数据;然后基于短时能量对该段手指运动的数据进行编码,得到单个手指动作的特征向量;最后使用分类器对手指动作的特征向量进行分类与识别,得到手指运动识别结果。本发明的优势在于,用户在腕部佩戴PVDF传感器阵列后,手部无需其他辅助装置,即可有效识别鼠标使用时的基本动作,如食指点击、中指点击、大拇指点击等,为穿戴式移动设备提供了一种新的人机交互方式。
Description
技术领域
本发明涉及手指运动识别方法领域,具体是一种基于腕部PVDF传感器阵列的手指运动识别方法。
背景技术
手势识别作为人机交互的重要方法之一,广泛应用于手语识别、假肢控制、游戏操作、遥控操作等领域。
传统的手势识别技术主要有两种,其一为基于机器视觉的手势识别,它是目前手势识别技术中的主流,但是它容易受外部环境的干扰,并且在使用时不能有遮挡物。另一种是基于传感器的手势识别,它主要是利用惯性传感器与压阻传感器来实现,比如数据手套,但这种方法会限制用户的手部运动;同时基于表面肌电传感器的手势识别也是研究的热点,然而这类传感器佩戴时对皮肤表面的环境要求高,且舒适度低。
并且基于传感器的手部动作识别方法,常利用多个通道的数据,提取相应的时域、频域、时频域的特征,利用特定的数据分类算法,完成动作分类与识别。在实际应用时,要精确识别出多个不同手势,则需要多个通道的传感器信号。而传感器数量的增加,一方面造成***复杂度提升,另一方面也带来了更大的噪声干扰。因此如何实时地识别出更多的手势,是目前亟需解决的重要问题。
发明内容
本发明的目的是提供一种基于腕部PVDF传感器阵列的手指运动识别方法,以解决现有技术基于传感器的手部动作识别方法受限制较大、数据处理易受噪声干扰的问题。
为了达到上述目的,本发明所采用的技术方案为:
一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:包括以下步骤:
(1)、采用PVDF传感器阵列,实时采集多通道的腕部动作信号;
(2)、分别计算步骤(1)采集的腕部动作信号和背景噪声的短时能量,并对步骤(1)采集的腕部动作信号进行预处理,以去除其中的背景噪声和滤除工频干扰;
(3)、基于步骤(2)得到的短时能量和预处理结果,对腕部动作信号进行基于短时能量的端点检测,以得到手指动作的分割点,进而提取得到手指运动数据;
(4)、基于短时能量对步骤(3)得到的手指运动数据进行编码,得到单个手指动作的特征向量;
(5)、使用分类器对步骤(4)得到的单个手指动作特征向量进行分类与识别,得到手指运动识别结果。
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:设PVDF传感器阵列由J个PVDF传感器构成,步骤(2)中,定义x(n)为J个PVDF传感器第n次采样的多通道的腕部运动信号,可表示为x(n)={xj(n),j=1,2,...,J},x(n)称为第n组腕部运动信号,同时设第n组腕部运动信号的短时能量为E(n),通过公式可计算得到E(n);
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:步骤(2)中,设第n组腕部运动信号x(n)去除背景背景噪声后的信号为xr(n),则xr(n)=x(n)-xnoise,通过该公式实现去除第n组腕部运动信号x(n)中的背景噪声;
定义H(z)为工频滤波所使用的离散传递函数,通过公式xf(n)=xr(n)*H(z)实现滤除xr(n)中的工频干扰,完成预处理,其中*表示卷积运算,最终预处理后的信号为xf(n)。
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:步骤(3)的过程如下:
(3.1)、在端点检测子程序中初始化设置动作起点标志器S=0,有效动作标志器F=0,短时能量低阈值E1=2ε,短时能量高阈值Eh=15ε,将预处理后的xf(n)与E(n)输入到端点检测子程序中;
(3.2)、判断E(n)是否小于E1,若判断为是,则执行步骤(3.5);若判断为否,则保存xf(n)并执行步骤(3.3);
(3.3)、判断E(n)是否大于E1,以及动作起点标志器S是否等于0,若判断为是,则标记该组数据为动作起点A,并设置动作起点标志器S=1,然后执行步骤(3.6);若判断为否,则执行步骤(3.4);
(3.4)、判断E(n)是否大于Eh,若判断为是,则设置有效动作标志器F=1,执行步骤(3.6);若判断为否,则设置有效动作标志器F=0,执行步骤(3.6);
(3.5)判断有效动作标志器F是否等于1,以及E(n)是否小于E1,若判断为是,则设置F=0、S=0,并且标记该组数据为动作终止点B,并执行步骤(3.7);若判断为否,则执行步骤(3.6);
(3.6)、取下一组数据Xf(n+1)与E(n+1),并执行步骤(3.1);
(3.7)、将检测到的单个动作记的信号记为XAB,XAB={xf(i)|i=nA,...,nB},数据长度为nAB=nB-nA,对XAB查找最大值的位置,记为nmax,在该位置向前查找p组数据、向后查找q组数据,截取在(nmax-p)组~(nmax+q)组之间的数据,若在查找时出现无数据位或数据长度不足,即为nmax-p<nA或nmax+q>nB,则在(nmax-p)组~nA组或nB组~(nmax+q)组的无数据位补零,得到动作数据长度为l的单个动作的信号XL={xl(i)|i=p,...,q}。
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:步骤(3)中,所述短时能量的高阈值Eh=(15±2)×ε,短时能量的低阈值El=(2±1)×ε,动作数据长度l=p+q,p为上升沿的长度,q为下降沿的长度。
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:步骤(4)中,对分割后的单个动作的信号XL进行分帧并计算其短时能量Ex,对短时能量Ex进行向量化得到单个手指动作的特征向量V;
对短时能量Ex的数据按行向量的方向重新排列为一维向量,特征向量V的维数为n(V)=fn*J,其中fn为分帧后的帧长,公式如下:
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:步骤(5)中,使用n(V)维输入的分类器对动作的特征向量V矩阵进行分类.
所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:所述的分类器为多层前馈神经网络。
与现有技术相比,本发明优点为:
本发明提出的基于腕部PVDF传感器阵列的手指动作识别方法,在进行数据采集与预处理时,去除了工频噪声与背景噪声对信号幅值的影响,并且基于短时能量的动作数据提取可以提取不同速度的手指动作,在实际应用中,用户在腕部佩戴PVDF传感器阵列后,手部无需其他辅助装置,即可对食指点击、中指点击、大拇指点击等鼠标使用时的基本动作进行有效地识别,为穿戴式移动设备提供了一种新的人机交互方式。
附图说明
图1是本发明的***框图。
图2是本发明方法流程框图。
图3是本发明的动作信号端点检测程序流程图。
图4是本发明的单通道动作信号分割示意图。
图5是本发明多通道动作信号编码实例图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1、图2所示,用户佩戴基于PVDF传感器阵列进行手指动作识别的方法,步骤如下:首先使用多通道PVDF传感器阵列(101)采集多通道的腕部动作信号并进行预处理(102);其次基于短时能量对预处理后的动作信号进行端点检测(103),得到单个手指动作的分割点,分割得到单个手指动作的数据;对单个手指动作的数据进行基于短时能量的编码(104),得到单个手指动作的特征矩阵,使用分类器(105)对特征进行分类与识别。
其中预处理(102)是对经由J个PVDF传感器构成的传感器阵列采集多通道的一组腕部动作信号x(n),进行去直流分量处理,得到xr(n)=x(n)-xnoise,进一步的,对xr(n)滤除工频干扰,得到预处理后的信号xf(n)=xr(n)*H(z),*表示卷积运算;采集多通道的腕部动作信号时,典型的采样频率为1000Hz;而 为工频滤波所使用的离散传递函数;定义x(n)={xj(n),j=1,2,...,J}为第n次采样的J个PVDF传感器通道腕部运动信号,称为第n组腕部运动信号,且为第n组信号的短时能量;进一步的,对腕部PVDF传感器阵列,在每次上电初始化时,利用采集的M组(M组总时长不少于3秒)数据,计算得到背景噪音的幅值平均值以及背景噪音的短时能量平均值
图3所示的动作信号端点检测程序流程图,对预处理后的信号xf(n)按照如下步骤进行处理,得到的单个动作XL,步骤如下:
步骤200、初始化设置动作起点标志器S=0,有效动作标志器F=0,El=2ε,Eh=15ε;
步骤201、输入xf(n),E(n);
步骤202、判断E(n)<El,若判断为是,执行步骤209,若判断为否,则执行步骤203;
步骤203、保存xf(n);
步骤204、判断E(n)>El且S=0,若判断为是,则执行步骤205,若判断为否,则执行步骤206;
步骤205、标记该组数据为动作起点A,为第nA组数据,并设置S=1,并执行步骤211;
步骤206、判断E(n)>Eh,若判断为是,则执行步骤207,若判断为否,则执行步骤208;
步骤207、设置F=1,并执行步骤211;
步骤208、设置F=0,并执行步骤211;
步骤209、判断F=1且E(n)<El,若判断为是,则执行步骤210;若判断为否,则执行步骤211;
步骤210、设置F=0,S=0,并且标记该组数据为动作终止点B,为第nB组数据,并执行步骤212;若判断为否,则执行步骤211;
步骤211、取下一组数据Xf(n+1)与E(n+1),并执行步骤(202)
步骤212、将检测到的单个动作记为XAB={xf(i)|i=nA,...,nB},数据长度为nAB=nB-nA,对XAB查找最大值的位置,记为nmax,在该位置向前查找第p组数据,向后查找q组数据,截取在(nmax-p)组~(nmax+q)组之间的数据,若在查找时出现无数据位或数据长度不足,即为nmax-p<nA或nmax+q>nB,则在(nmax-p)组~nA组或nB组~(nmax+q)组的无数据位补零,得到固定长度为1的单个动作XL={xl(i)|i=p,...,q};
图4所示的是单通道动作信号分割示意图,展示的是连续手指动作的原始信号以及信号分割后的信号图。图3中,A为一个动作的起始点,B是该动作的终止点。
图5所示的是的多通道动作信号编码实例图,对分割后的单个动作的信号XL进行分帧并计算其短时能量Ex,进一步的,对Ex进行向量化得到单个动作的特征向量V;在采样频率为1000Hz时,帧长w=5,帧移inc=3,分帧后的帧长为fn=(l-w)/inc+1;计算分帧的短时能量为:
特别的,l=194时fn=64;
特征向量V的维数为n(V)=fn*J;向量化是对Ex的数据按行向量的方向重新排列为一维向量,公式如下:
使用n(V)维输入的分类器对手指动作的特征矩阵V进行分类,其中所述分类器包括但不限于多层前馈神经网络。使用该方法在对手指动作进行识别时,完成对手指动作的实时识别。
综上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、同等替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:包括以下步骤:
(1)、采用PVDF传感器阵列,实时采集多通道的腕部动作信号;
(2)、分别计算步骤(1)采集的腕部动作信号和背景噪声的短时能量,并对步骤(1)采集的腕部动作信号进行预处理,以去除其中的背景噪声和滤除工频干扰;
(3)、基于步骤(2)得到的短时能量和预处理结果,对腕部动作信号进行基于短时能量的端点检测,以得到手指动作的分割点,进而提取得到手指运动数据;
(4)、基于短时能量对步骤(3)得到的手指运动数据进行编码,得到单个手指动作的特征向量;
(5)、使用分类器对步骤(4)得到的单个手指动作特征向量进行分类与识别,得到手指运动识别结果;
设PVDF传感器阵列由J个PVDF传感器构成,步骤(2)中,定义x(n)为J个PVDF传感器第n次采样的多通道的腕部运动信号,可表示为x(n)={xj(n),j=1,2,...,J},x(n)称为第n组腕部运动信号,同时设第n组腕部运动信号的短时能量为E(n),通过公式可计算得到W(n);
步骤(2)中,设第n组腕部运动信号x(n)去除背景噪声后的信号为xr(n),则xr(n)=x(n)-xnoise,通过该公式实现去除第n组腕部运动信号x(n)中的背景噪声;
定义H(z)为工频滤波所使用的离散传递函数,通过公式xf(n)=xr(n)*H(z)实现滤除xr(n)中的工频干扰,完成预处理,其中*表示卷积运算,最终预处理后的信号为xf(n);
步骤(3)的过程如下:
(3.1)、在端点检测子程序中初始化设置动作起点标志器S=0,有效动作标志器F=0,短时能量低阈值E1=2ε,短时能量高阈值Eh=15ε,将xf(n)与E(n)输入到端点检测子程序中;
(3.2)、判断E(n)是否小于E1,若判断为是,则执行步骤(3.5);若判断为否,则保存xf(n),并执行步骤(3.3);
(3.3)、判断E(n)是否大于E1,以及动作起点标志器S是否等于0,若判断为是,则标记该组数据为动作起点A,并设置动作起点标志器S=1,然后执行步骤(3.6);若判断为否,则执行步骤(3.4);
(3.4)、判断E(n)是否大于Eh,若判断为是,则设置有效动作标志器F=1,执行步骤(3.6);若判断为否,则设置有效动作标志器F=0,执行步骤(3.6);
(3.5)判断有效动作标志器F是否等于1,以及E(n)是否小于E1,若判断为是,则设置F=0、S=0,并且标记该组数据为动作终止点B,并执行步骤(3.7);若判断为否,则执行步骤(3.6);
(3.6)、取下一组数据Xf(n+1)与E(n+1),并执行步骤(3.1);
(3.7)、将检测到的单个动作的数据记为XAB,XAB={xf(i)|i=nA,...,nB},动作的数据长度为nAB=nB-nA,对XAB查找最大值的位置,记为nmax,在该位置向前查找p组数据、向后查找q组数据,截取在(nmax-p)组~(nmax+q)组之间的数据,若在查找时出现无数据位或数据长度不足,即为nmax-p<nA或nmax+q>nB,则在(nmax-p)组~nA组或nB组~(nmax+q)组的无数据位补零,得到动作数据长度为l的单个动作的信号XL={xl(i)|i=p,...,q};
3.根据权利要求1或2所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:步骤(5)中,使用n(V)维输入的分类器对动作的特征向量V矩阵进行分类。
4.根据权利要求3所述的一种基于腕部PVDF传感器阵列的手指运动识别方法,其特征在于:所述的分类器为多层前馈神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910608346.2A CN110308796B (zh) | 2019-07-08 | 2019-07-08 | 一种基于腕部pvdf传感器阵列的手指运动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910608346.2A CN110308796B (zh) | 2019-07-08 | 2019-07-08 | 一种基于腕部pvdf传感器阵列的手指运动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110308796A CN110308796A (zh) | 2019-10-08 |
CN110308796B true CN110308796B (zh) | 2022-12-02 |
Family
ID=68079291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910608346.2A Active CN110308796B (zh) | 2019-07-08 | 2019-07-08 | 一种基于腕部pvdf传感器阵列的手指运动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110308796B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105022471A (zh) * | 2014-04-23 | 2015-11-04 | 王建勤 | 基于压力传感器阵列进行手势识别的装置与方法 |
CN105278699A (zh) * | 2014-09-29 | 2016-01-27 | 北京至感传感器技术研究院有限公司 | 易穿戴式手势识别装置 |
CN107045870A (zh) * | 2017-05-23 | 2017-08-15 | 南京理工大学 | 一种基于特征值编码的语音信号端点检测方法 |
CN109567819A (zh) * | 2018-11-28 | 2019-04-05 | 合肥工业大学 | 一种基于pvdf传感器阵列的可穿戴式装置 |
CN109976518A (zh) * | 2019-03-12 | 2019-07-05 | 合肥工业大学 | 一种基于pvdf传感器阵列的人机交互方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102368297A (zh) * | 2011-09-14 | 2012-03-07 | 北京英福生科技有限公司 | 一种用于识别被检测对象动作的设备、***及方法 |
US20170215768A1 (en) * | 2016-02-03 | 2017-08-03 | Flicktek Ltd. | Wearable controller for wrist |
CN107766868A (zh) * | 2016-08-15 | 2018-03-06 | 中国联合网络通信集团有限公司 | 一种分类器训练方法及装置 |
CN107392106B (zh) * | 2017-06-26 | 2021-03-02 | 辽宁大学 | 一种基于双门限的人体活动端点检测方法 |
CN107249080A (zh) * | 2017-06-26 | 2017-10-13 | 维沃移动通信有限公司 | 一种调整音效的方法、装置及移动终端 |
CN109144238B (zh) * | 2018-05-14 | 2021-09-28 | 孙佳楠 | 一种基于眼电编码的人机交互***及其交互方法 |
-
2019
- 2019-07-08 CN CN201910608346.2A patent/CN110308796B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105022471A (zh) * | 2014-04-23 | 2015-11-04 | 王建勤 | 基于压力传感器阵列进行手势识别的装置与方法 |
CN105278699A (zh) * | 2014-09-29 | 2016-01-27 | 北京至感传感器技术研究院有限公司 | 易穿戴式手势识别装置 |
CN107045870A (zh) * | 2017-05-23 | 2017-08-15 | 南京理工大学 | 一种基于特征值编码的语音信号端点检测方法 |
CN109567819A (zh) * | 2018-11-28 | 2019-04-05 | 合肥工业大学 | 一种基于pvdf传感器阵列的可穿戴式装置 |
CN109976518A (zh) * | 2019-03-12 | 2019-07-05 | 合肥工业大学 | 一种基于pvdf传感器阵列的人机交互方法 |
Non-Patent Citations (1)
Title |
---|
基于传感器的手指运动姿态监测;都悦来等;《黑龙江大学工程学报》;20170331(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110308796A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844755B (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
CN106919958B (zh) | 一种基于智能手表的人体手指动作识别方法 | |
CN101930285B (zh) | 基于表面肌电信号的手写识别方法 | |
Lopes et al. | Hand/arm gesture segmentation by motion using IMU and EMG sensing | |
CN111103976B (zh) | 手势识别方法、装置及电子设备 | |
CN110399846A (zh) | 一种基于多通道肌电信号相关性的手势识别方法 | |
CN110308795B (zh) | 一种动态手势识别方法及*** | |
CN107480697A (zh) | 一种肌电手势识别方法和*** | |
CN111700718B (zh) | 一种识别握姿的方法、装置、假肢及可读存储介质 | |
CN111399640A (zh) | 一种面向柔性臂的多模态人机交互控制方法 | |
Devaraj et al. | Hand gesture signal classification using machine learning | |
CN109009098B (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
He et al. | Adaptive pattern recognition of myoelectric signal towards practical multifunctional prosthesis control | |
Zhang et al. | Real-time surface EMG pattern recognition for hand gestures based on support vector machine | |
Sharma et al. | Trbaggboost: An ensemble-based transfer learning method applied to Indian Sign Language recognition | |
CN107346207B (zh) | 一种基于隐马尔科夫模型的动态手势切分识别方法 | |
CN114384999B (zh) | 基于自适应学习的用户无关肌电手势识别*** | |
CN106845348B (zh) | 一种基于手臂表面肌电信号的手势识别方法 | |
CN113901881B (zh) | 一种肌电数据自动标注方法 | |
Jo et al. | Real-time hand gesture classification using crnn with scale average wavelet transform | |
CN108898062B (zh) | 一种基于改进的信号片段提取算法的手部动作识别方法 | |
CN110308796B (zh) | 一种基于腕部pvdf传感器阵列的手指运动识别方法 | |
Ison et al. | Beyond user-specificity for emg decoding using multiresolution muscle synergy analysis | |
CN112084898A (zh) | 基于静动态分离的装配作业动作识别方法 | |
CN111914724A (zh) | 基于滑动窗口分割的连续中国手语识别方法及其*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |