CN110309689A - 基于超宽带雷达的Gabor域手势识别检测方法 - Google Patents

基于超宽带雷达的Gabor域手势识别检测方法 Download PDF

Info

Publication number
CN110309689A
CN110309689A CN201810255881.XA CN201810255881A CN110309689A CN 110309689 A CN110309689 A CN 110309689A CN 201810255881 A CN201810255881 A CN 201810255881A CN 110309689 A CN110309689 A CN 110309689A
Authority
CN
China
Prior art keywords
gesture
gabor
echo
ultra
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810255881.XA
Other languages
English (en)
Other versions
CN110309689B (zh
Inventor
孙理
马悦
洪弘
顾陈
李彧晟
顾旭
余晨晖
陈耿
奚梦婷
朱晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201810255881.XA priority Critical patent/CN110309689B/zh
Publication of CN110309689A publication Critical patent/CN110309689A/zh
Application granted granted Critical
Publication of CN110309689B publication Critical patent/CN110309689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于超宽带雷达的Gabor域手势识别检测方法。首先将超宽带雷达录取的手势数据经过预处理，截取包含手势信息的数据，得到预处理后的灰度图；然后利用Gabor域，从s个基本方向对手势回波图像进行Gabor变换，提取图中手势包络的特征参数；接着利用机器学习算法判决手势的种类。本发明方法有效可行，性能可靠，可以准确地实现不同手势的识别检测。

Description

基于超宽带雷达的Gabor域手势识别检测方法
技术领域
本发明属于雷达技术领域，具体涉及一种基于超宽带雷达的人体手势识别方法。
背景技术
随着计算机技术的发展,人与机器交互的重要性逐渐凸显,最初的人机交互通过键盘输入命令行进行,之后出现鼠标、触摸屏等方式,而以手势作为人机交互的输入,显得更加自然与便捷,更能体现出以人为中心的思想。手势识别作为一种自然、直观的交互方式，是人机交互领域的一大研究热点,涉及人工智能、模式识别、机器学习、计算机图形学等众多学科，其应用也深入到各个领域，如虚拟现实、机器人控制、智能家居等等。
现有手势识别技术大多是基于接触式或者摄像头等设备，基于数据手套的方式不利于自然的人机交互，设备昂贵。基于视觉的手势识别识别率较低，实时性较差，手势种类较少，而且类似摄像头等设备一直以来就有着侵犯隐私等道德上的问题，没有被群众广泛认可,而运用雷达来进行手势识别，人体无需接触任何电极和传感器。
传统的雷达实现手势识别检测，多是利用稀疏算法，三维空间定位，快速傅里叶变换等传统雷达信号处理方法，计算量大，可靠性低，且效果较差。
发明内容
本发明的目的主要针对目前雷达对手势识别信号处理的不足，提出了一种基于超宽带雷达的Gabor域手势识别检测方法，并且实现了常见手势的分类：
实现本发明目的的技术解决方案为：一种基于超宽带雷达的Gabor域手势识别检测方法，包括以下步骤：
步骤1、采用超宽带雷达得到人体常见手势的数据，将数据进行预处理，消除背景和噪声干扰，具体为：
步骤1-1、雷达回波信号为：R[j,n]＝r(t＝jTs,τ＝nTf)，其中j＝[1,2,...,J]代表慢时采样的时间序号，n＝[1,2,,...,N]代表距离门的个数；Tf和Ts分别表示快时和慢时的采样时刻；
步骤1-2、采集到的雷达信号经过快慢时采样后重新排列得到X×Y的回波矩阵，其中X表示快时采样点数，Y表示慢时采样点数，在得到了回波信号数据之后，运用动目标检测MTI方法，去除室内各种背景杂波干扰的情况，保留手势动作的信息；
步骤1-3、对手势回波信号的灰度图进行二值化处理，之后再利用中值滤波，去除动目标检测MTI后产生的尾影杂波，进一步增强手势回波信号。
步骤2、截取手势回波信号，提取手势包络的特征参数，具体为：
步骤2-1、按相同时间长度及相同距离门大小的截取手势回波信号；
步骤2-2、分别选择s个不同方向，进行不同方向的Gabor变换，其中s的取值为2～6；
步骤2-3、对Gabor变换后的图像，分别在水平和垂直方向取x×y大小的子块图像，将整个图像分成m个x×y大小的子图像块，然后计算每一块对应的能量，具体计算公式如下：
其中a(k)ij表示着第k个子图像块中第i行第j列的数值，计算之后得到一个联合空间频率能量矩阵E，所述m为子图像块的个数；
步骤2-4、将能量矩阵E变化为1×m的一维矩阵，作为原始图像在某一方向和尺度变换后的特征向量，该一维矩阵即为手势回波信号的Gabor特征参数。
步骤3、将步骤2中提取的特征输入到机器学习中，最终完成不同手势的分类。所述机器学习为现有的通用技术，详见专利《基于加权联合距离时频变换的室内人体姿态识别方法》，专利号为201710409174.7。
本发明与现有技术相比，其显著优点为：1)超宽带雷达具有抗干扰能力强，距离分辨率高等优点；2)Gabor算法具有良好的时频局部化特性，处理的数据量较少，能满足实时性要求，且能容忍一定程度的旋转和变形；3)本发明能够有效的实现手势识别，简单有效，性能可靠，便于实施。
下面结合说明书附图对本发明做进一步描述。
附图说明
图1为本发明实现手势识别的流程图。
图2为翻掌动作的Gabor变换结果图，方向为0，其中图(a)为回波信号，图(b)为变换结果图。
图3为翻掌动作的Gabor变换结果图，方向为π/4，其中图(c)为回波信号，图(d)为变换结果图。
图4为翻掌动作的Gabor变换结果图，方向为π/2，其中图(e)为回波信号，图(f)为变换结果图。
图5为翻掌动作的Gabor变换结果图，方向3π/4，其中图(g)为回波信号，图(h)为变换结果图。
图6为Gabor特征提取示意图。
具体实施方式
Gabor算法广泛应用于图像处理领域，具有很好的抗干扰能力，更加有效地运用于非平稳信号分析和处理。
结合图1，本发明的一种基于超宽带雷达的Gabor域手势识别检测方法，包括以下步骤：
步骤1、采用超宽带雷达得到人体常见手势的数据，将数据进行预处理，消除背景和噪声干扰；所述超宽带雷达为脉冲体制的雷达，采集人体常见手势的数据，具体为：
步骤1-1、雷达回波信号为：R[j,n]＝r(t＝jTs,τ＝nTf)，其中j＝[1,2,...,J]代表慢时采样的时间序号，n＝[1,2,,...,N]代表距离门的个数；Tf和Ts分别表示快时和慢时的采样时刻；
步骤1-2、采集到的雷达信号经过快慢时采样后重新排列得到X×Y的回波矩阵，其中X表示快时采样点数，Y表示慢时采样点数，在得到了回波信号数据之后，运用动目标检测MTI方法，去除室内各种背景杂波干扰的情况，保留手势动作的信息；
步骤1-3、对手势回波信号的灰度图进行二值化处理，之后再利用中值滤波，去除动目标检测MTI后产生的尾影杂波，从而增强手势回波信号。
所述手势为非周期瞬时手势，包括：翻掌，挥手，扇手，OK，招手以及伸掌这些动作。
步骤2、截取手势回波信号，利用Gabor算法，从s个基本方向对手势回波图像进行Gabor变换，提取图中手势包络的特征参数，其中s的取值为2～6；
所述提取图中手势包络的特征参数，具体为：
步骤2-1、按相同时间长度及相同距离门大小的截取手势回波信号；
步骤2-2、分别选择s个不同方向，进行不同方向的Gabor变换；
步骤2-3、对Gabor变换后的图像，分别在水平和垂直方向取x×y大小的子块图像，将整个图像分成m个x×y大小的子图像块，然后计算每一块对应的能量，具体计算公式如下：
其中a(k)ij表示着第k个子图像块中第i行第j列的数值，计算之后得到一个联合空间频率能量矩阵E，所述m为子图像块的个数；
步骤2-4、将能量矩阵E变化为1×m的一维矩阵，作为原始图像在某一方向和尺度变换后的特征向量，该一维矩阵即为手势回波信号的Gabor特征参数。
步骤3、将步骤2中提取的特征输入到机器学习中，最终完成手势的识别。
本发明能够有效的实现手势识别，简单有效，性能可靠，便于实施。
下面结合实施例对本发明做进一步详细的描述。
实施例
用超宽带雷达对日常生活中的六种手势动作进行数据采集，分别是：(a)翻掌，(b)挥手，(c)扇手，(d)ok，(e)招手，(f)伸掌，对每个手势动作的具体描述如下表：
表5.1手势动作描述
手势动作 详细描述
翻掌 手心正对雷达翻转手掌，使手心手背轮流对着雷达
挥手 手心正对雷达，五指并拢，左右挥动
扇手 伸直手掌，垂直于雷达，手腕左右运动，手掌做扇风动作
ok 握拳正对雷达，之后拇指食指环绕，另外三根手指竖起，呈ok状
招手 手心向上,手指正对雷达，弯曲四根手指往上
伸掌 手臂弯曲，手心正对雷达，伸展手臂，使手掌靠近雷达
对雷达回波信号进行预处理，消除背景和噪声干扰，然后截取信号，通过Gabor变换法，选择了0、π/4、π/2和3π/4四个经典方向的Gabor滤波器对手势回波信号进行处理。以翻掌动作为例，方向为0的Gabor变换结果如图2所示，方向为π/4的Gabor变换结果如图3所示，方向为π/2的Gabor变换结果如图4所示，方向为3π/4的Gabor变换结果如图5所示。
图6为手势回波信号的Gabor特征参数，经过图像分块法提取的Gabor特征矩阵大小为1×247，即每一包数据提取了247个特征，放入SVM分类器中进行分类识别，各个方向的处理结果经过机器学习SVM分类器进行分类的准确率如表2所示。
表2不同方向Gabor滤波器分类准确
Gabor滤波器方向 SVM分类准确率
0 96.2％
π/4 95.6％
π/2 97.8％
3π/4 97.3％
通过表2可以看出，0、π/4、π/2和3π/4这四个方向的Gabor滤波器，对于手势回波信号最终分类的结果之间差距很小，平均识别率为97.3％，说明Gabor算法能够有效的实现手势识别，简单有效，性能可靠。

Claims (4)

1.一种基于超宽带雷达的Gabor域手势识别检测方法，其特征在于，包括以下步骤：
步骤1、采用超宽带雷达得到人体常见手势的数据，将数据进行预处理，消除背景和噪声干扰；
步骤2、截取手势回波信号，利用Gabor算法，从s个基本方向对手势回波图像进行Gabor变换，提取图中手势包络的特征参数，其中s的取值为2～6；
步骤3、将步骤2中提取的特征输入到机器学习中，最终完成手势的识别。
2.根据权利要求1所述的基于超宽带雷达的Gabor域手势识别检测方法，其特征在于，步骤1中所述超宽带雷达为脉冲体制的雷达，采集人体常见手势的数据，具体为：
步骤1-1、雷达回波信号为：R[j,n]＝r(t＝jTs,τ＝nTf)，其中j＝[1,2,...,J]代表慢时采样的时间序号，n＝[1,2,,...,N]代表距离门的个数；Tf和Ts分别表示快时和慢时的采样时刻；
步骤1-2、采集到的雷达信号经过快慢时采样后重新排列得到X×Y的回波矩阵，其中X表示快时采样点数，Y表示慢时采样点数，在得到了回波信号数据之后，运用动目标检测MTI方法，去除室内各种背景杂波干扰的情况，保留手势动作的信息；
步骤1-3、对手势回波信号的灰度图进行二值化处理，之后再利用中值滤波，去除动目标检测MTI后产生的尾影杂波，从而增强手势回波信号。
3.根据权利要求1所述的基于超宽带雷达的Gabor域手势识别检测方法，其特征在于，步骤2中提取图中手势包络的特征参数，具体为：
步骤2-1、按相同时间长度及相同距离门大小的截取手势回波信号；
步骤2-2、分别选择s个不同方向，进行不同方向的Gabor变换；
步骤2-3、对Gabor变换后的图像，分别在水平和垂直方向取x×y大小的子块图像，将整个图像分成m个x×y大小的子图像块，然后计算每一块对应的能量，具体计算公式如下：
其中a(k)ij表示着第k个子图像块中第i行第j列的数值，计算之后得到一个联合空间频率能量矩阵E，所述m为子图像块的个数；
步骤2-4、将能量矩阵E变化为1×m的一维矩阵，作为原始图像在某一方向和尺度变换后的特征向量，该一维矩阵即为手势回波信号的Gabor特征参数。
4.根据权利要求1所述的基于超宽带雷达的Gabor域手势识别检测方法，其特征在于，步骤1中所述手势为非周期瞬时手势，包括：翻掌，挥手，扇手，OK，招手以及伸掌这些动作。
CN201810255881.XA 2018-03-27 2018-03-27 基于超宽带雷达的Gabor域手势识别检测方法 Active CN110309689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810255881.XA CN110309689B (zh) 2018-03-27 2018-03-27 基于超宽带雷达的Gabor域手势识别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810255881.XA CN110309689B (zh) 2018-03-27 2018-03-27 基于超宽带雷达的Gabor域手势识别检测方法

Publications (2)

Publication Number Publication Date
CN110309689A true CN110309689A (zh) 2019-10-08
CN110309689B CN110309689B (zh) 2023-04-07

Family

ID=68074082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810255881.XA Active CN110309689B (zh) 2018-03-27 2018-03-27 基于超宽带雷达的Gabor域手势识别检测方法

Country Status (1)

Country Link
CN (1) CN110309689B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415510A (zh) * 2020-11-05 2021-02-26 深圳大学 双站雷达手势识别方法、装置、***和存储介质
CN114760168A (zh) * 2022-03-22 2022-07-15 广东电力通信科技有限公司 一种ai智能边缘计算网关

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855941A (zh) * 2016-12-09 2017-06-16 清华大学 基于雷达微多普勒信号稀疏优化的手势识别方法及***
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855941A (zh) * 2016-12-09 2017-06-16 清华大学 基于雷达微多普勒信号稀疏优化的手势识别方法及***
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415510A (zh) * 2020-11-05 2021-02-26 深圳大学 双站雷达手势识别方法、装置、***和存储介质
CN114760168A (zh) * 2022-03-22 2022-07-15 广东电力通信科技有限公司 一种ai智能边缘计算网关

Also Published As

Publication number Publication date
CN110309689B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110309690B (zh) 基于时频谱和距离多普勒谱的手势识别检测方法
CN107024685A (zh) 一种基于距离‑速度特征的手势识别方法
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
Zhang et al. u-DeepHand: FMCW radar-based unsupervised hand gesture feature learning using deep convolutional auto-encoder network
CN106845384A (zh) 一种基于递归模型的手势识别方法
Liu et al. Spectrum-based hand gesture recognition using millimeter-wave radar parameter measurements
CN111444488A (zh) 一种基于动态手势的身份认证方法
Zhao et al. Continuous human motion recognition using micro-Doppler signatures in the scenario with micro motion interference
CN115877376A (zh) 基于多头自注意力机制的毫米波雷达手势识别方法及识别***
Pan et al. Sign language recognition in complex background scene based on adaptive skin colour modelling and support vector machine
Li et al. Human activity recognition using dynamic representation and matching of skeleton feature sequences from RGB-D images
Wang et al. Gesture Feature Extraction and Recognition Based on Image Processing.
CN110309689A (zh) 基于超宽带雷达的Gabor域手势识别检测方法
Mohanarathinam et al. Study on Hand Gesture Recoginition by using Machine Learning
Qian et al. Parallel LSTM-CNN network with radar multispectrogram for human activity recognition
Shao et al. Deep learning methods for personnel recognition based on micro-Doppler features
Yashas et al. Hand gesture recognition: a survey
Song et al. High-accuracy gesture recognition using mm-wave radar based on convolutional block attention module
Li et al. DeepTPA-Net: A Deep Triple Attention Network for sEMG-Based Hand Gesture Recognition
CN108108648A (zh) 一种新型的手势识别***装置及方法
CN105955473A (zh) 一种基于计算机的静态手势图像识别交互***
ul Haq et al. New hand gesture recognition method for mouse operations
Raza et al. An integrative approach to robust hand detection using CPM-YOLOv3 and RGBD camera in real time
Zhen-Yan Chinese character recognition method based on image processing and hidden markov model
Munir et al. Hand Gesture Recognition: A Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant