CN110309689B - 基于超宽带雷达的Gabor域手势识别检测方法 - Google Patents
基于超宽带雷达的Gabor域手势识别检测方法 Download PDFInfo
- Publication number
- CN110309689B CN110309689B CN201810255881.XA CN201810255881A CN110309689B CN 110309689 B CN110309689 B CN 110309689B CN 201810255881 A CN201810255881 A CN 201810255881A CN 110309689 B CN110309689 B CN 110309689B
- Authority
- CN
- China
- Prior art keywords
- gesture
- gabor
- ultra
- radar
- wideband radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于超宽带雷达的Gabor域手势识别检测方法。首先将超宽带雷达录取的手势数据经过预处理,截取包含手势信息的数据,得到预处理后的灰度图;然后利用Gabor域,从s个基本方向对手势回波图像进行Gabor变换,提取图中手势包络的特征参数;接着利用机器学习算法判决手势的种类。本发明方法有效可行,性能可靠,可以准确地实现不同手势的识别检测。
Description
技术领域
本发明属于雷达技术领域,具体涉及一种基于超宽带雷达的人体手势识别方法。
背景技术
随着计算机技术的发展,人与机器交互的重要性逐渐凸显,最初的人机交互通过键盘输入命令行进行,之后出现鼠标、触摸屏等方式,而以手势作为人机交互的输入,显得更加自然与便捷,更能体现出以人为中心的思想。手势识别作为一种自然、直观的交互方式,是人机交互领域的一大研究热点,涉及人工智能、模式识别、机器学习、计算机图形学等众多学科,其应用也深入到各个领域,如虚拟现实、机器人控制、智能家居等等。
现有手势识别技术大多是基于接触式或者摄像头等设备,基于数据手套的方式不利于自然的人机交互,设备昂贵。基于视觉的手势识别识别率较低,实时性较差,手势种类较少,而且类似摄像头等设备一直以来就有着侵犯隐私等道德上的问题,没有被群众广泛认可,而运用雷达来进行手势识别,人体无需接触任何电极和传感器。
传统的雷达实现手势识别检测,多是利用稀疏算法,三维空间定位,快速傅里叶变换等传统雷达信号处理方法,计算量大,可靠性低,且效果较差。
发明内容
本发明的目的主要针对目前雷达对手势识别信号处理的不足,提出了一种基于超宽带雷达的Gabor域手势识别检测方法,并且实现了常见手势的分类:
实现本发明目的的技术解决方案为:一种基于超宽带雷达的Gabor域手势识别检测方法,包括以下步骤:
步骤1、采用超宽带雷达得到人体常见手势的数据,将数据进行预处理,消除背景和噪声干扰,具体为:
步骤1-1、雷达回波信号为:R[j,n]=r(t=jTs,τ=nTf),其中j=[1,2,...,J]代表慢时采样的时间序号,n=[1,2,,...,N]代表距离门的个数;Tf和Ts分别表示快时和慢时的采样时刻;
步骤1-2、采集到的雷达信号经过快慢时采样后重新排列得到X×Y的回波矩阵,其中X表示快时采样点数,Y表示慢时采样点数,在得到了回波信号数据之后,运用动目标检测MTI方法,去除室内各种背景杂波干扰的情况,保留手势动作的信息;
步骤1-3、对手势回波信号的灰度图进行二值化处理,之后再利用中值滤波,去除动目标检测MTI后产生的尾影杂波,进一步增强手势回波信号。
步骤2、截取手势回波信号,提取手势包络的特征参数,具体为:
步骤2-1、按相同时间长度及相同距离门大小的截取手势回波信号;
步骤2-2、分别选择s个不同方向,进行不同方向的Gabor变换,其中s的取值为2~6;
步骤2-3、对Gabor变换后的图像,分别在水平和垂直方向取x×y大小的子块图像,将整个图像分成m个x×y大小的子图像块,然后计算每一块对应的能量,具体计算公式如下:
其中a(k)ij表示着第k个子图像块中第i行第j列的数值,计算之后得到一个联合空间频率能量矩阵E,所述m为子图像块的个数;
步骤2-4、将能量矩阵E变化为1×m的一维矩阵,作为原始图像在某一方向和尺度变换后的特征向量,该一维矩阵即为手势回波信号的Gabor特征参数。
步骤3、将步骤2中提取的特征输入到机器学习中,最终完成不同手势的分类。所述机器学习为现有的通用技术,详见专利《基于加权联合距离时频变换的室内人体姿态识别方法》,专利号为201710409174.7。
本发明与现有技术相比,其显著优点为:1)超宽带雷达具有抗干扰能力强,距离分辨率高等优点;2)Gabor算法具有良好的时频局部化特性,处理的数据量较少,能满足实时性要求,且能容忍一定程度的旋转和变形;3)本发明能够有效的实现手势识别,简单有效,性能可靠,便于实施。
下面结合说明书附图对本发明做进一步描述。
附图说明
图1为本发明实现手势识别的流程图。
图2为翻掌动作的Gabor变换结果图,方向为0,其中图2中的(a)为回波信号,图2中的(b)为变换结果图。
图3为翻掌动作的Gabor变换结果图,方向为π/4,其中图3中的(c)为回波信号,图3中的(d)为变换结果图。
图4为翻掌动作的Gabor变换结果图,方向为π/2,其中图4中的(e)为回波信号,图4中的(f)为变换结果图。
图5为翻掌动作的Gabor变换结果图,方向3π/4,其中图5中的(g)为回波信号,图5中的(h)为变换结果图。
图6为Gabor特征提取示意图。
具体实施方式
Gabor算法广泛应用于图像处理领域,具有很好的抗干扰能力,更加有效地运用于非平稳信号分析和处理。
结合图1,本发明的一种基于超宽带雷达的Gabor域手势识别检测方法,包括以下步骤:
步骤1、采用超宽带雷达得到人体常见手势的数据,将数据进行预处理,消除背景和噪声干扰;所述超宽带雷达为脉冲体制的雷达,采集人体常见手势的数据,具体为:
步骤1-1、雷达回波信号为:R[j,n]=r(t=jTs,τ=nTf),其中j=[1,2,...,J]代表慢时采样的时间序号,n=[1,2,,...,N]代表距离门的个数;Tf和Ts分别表示快时和慢时的采样时刻;
步骤1-2、采集到的雷达信号经过快慢时采样后重新排列得到X×Y的回波矩阵,其中X表示快时采样点数,Y表示慢时采样点数,在得到了回波信号数据之后,运用动目标检测MTI方法,去除室内各种背景杂波干扰的情况,保留手势动作的信息;
步骤1-3、对手势回波信号的灰度图进行二值化处理,之后再利用中值滤波,去除动目标检测MTI后产生的尾影杂波,从而增强手势回波信号。
所述手势为非周期瞬时手势,包括:翻掌,挥手,扇手,OK,招手以及伸掌这些动作。
步骤2、截取手势回波信号,利用Gabor算法,从s个基本方向对手势回波图像进行Gabor变换,提取图中手势包络的特征参数,其中s的取值为2~6;
所述提取图中手势包络的特征参数,具体为:
步骤2-1、按相同时间长度及相同距离门大小的截取手势回波信号;
步骤2-2、分别选择s个不同方向,进行不同方向的Gabor变换;
步骤2-3、对Gabor变换后的图像,分别在水平和垂直方向取x×y大小的子块图像,将整个图像分成m个x×y大小的子图像块,然后计算每一块对应的能量,具体计算公式如下:
其中a(k)ij表示着第k个子图像块中第i行第j列的数值,计算之后得到一个联合空间频率能量矩阵E,所述m为子图像块的个数;
步骤2-4、将能量矩阵E变化为1×m的一维矩阵,作为原始图像在某一方向和尺度变换后的特征向量,该一维矩阵即为手势回波信号的Gabor特征参数。
步骤3、将步骤2中提取的特征输入到机器学习中,最终完成手势的识别。
本发明能够有效的实现手势识别,简单有效,性能可靠,便于实施。
下面结合实施例对本发明做进一步详细的描述。
实施例
用超宽带雷达对日常生活中的六种手势动作进行数据采集,分别是:(a)翻掌,(b)挥手,(c)扇手,(d)ok,(e)招手,(f)伸掌,对每个手势动作的具体描述如下表:
表1手势动作描述
手势动作 | 详细描述 |
翻掌 | 手心正对雷达翻转手掌,使手心手背轮流对着雷达 |
挥手 | 手心正对雷达,五指并拢,左右挥动 |
扇手 | 伸直手掌,垂直于雷达,手腕左右运动,手掌做扇风动作 |
ok | 握拳正对雷达,之后拇指食指环绕,另外三根手指竖起,呈ok状 |
招手 | 手心向上,手指正对雷达,弯曲四根手指往上 |
伸掌 | 手臂弯曲,手心正对雷达,伸展手臂,使手掌靠近雷达 |
对雷达回波信号进行预处理,消除背景和噪声干扰,然后截取信号,通过Gabor变换法,选择了0、π/4、π/2和3π/4四个经典方向的Gabor滤波器对手势回波信号进行处理。以翻掌动作为例,方向为0的Gabor变换结果如图2所示,方向为π/4的Gabor变换结果如图3所示,方向为π/2的Gabor变换结果如图4所示,方向为3π/4的Gabor变换结果如图5所示。
图6为手势回波信号的Gabor特征参数,经过图像分块法提取的Gabor特征矩阵大小为1×247,即每一包数据提取了247个特征,放入SVM分类器中进行分类识别,各个方向的处理结果经过机器学习SVM分类器进行分类的准确率如表2所示。
表2不同方向Gabor滤波器分类准确
Gabor滤波器方向 | SVM分类准确率 |
0 | 96.2% |
π/4 | 95.6% |
π/2 | 97.8% |
3π/4 | 97.3% |
通过表2可以看出,0、π/4、π/2和3π/4这四个方向的Gabor滤波器,对于手势回波信号最终分类的结果之间差距很小,平均识别率为97.3%,说明Gabor算法能够有效的实现手势识别,简单有效,性能可靠。
Claims (3)
1.一种基于超宽带雷达的Gabor域手势识别检测方法,其特征在于,包括以下步骤:
步骤1、采用超宽带雷达得到人体常见手势的数据,将数据进行预处理,消除背景和噪声干扰;
步骤2、截取手势回波信号,利用Gabor算法,从s个基本方向对手势回波图像进行Gabor变换,提取图中手势包络的特征参数,其中s的取值为2~6;具体为:
步骤2-1、按相同时间长度及相同距离门大小的截取手势回波信号;
步骤2-2、分别选择s个不同方向,进行不同方向的Gabor变换;
步骤2-3、对Gabor变换后的图像,分别在水平和垂直方向取x×y大小的子块图像,将整个图像分成m个x×y大小的子图像块,然后计算每一块对应的能量,具体计算公式如下:
其中a(k)ij表示着第k个子图像块中第i行第j列的数值,计算之后得到一个联合空间频率能量矩阵E,所述m为子图像块的个数;
步骤2-4、将能量矩阵E变化为1×m的一维矩阵,作为原始图像在某一方向和尺度变换后的特征向量,该一维矩阵即为手势回波信号的Gabor特征参数;
步骤3、将步骤2中提取的特征输入到机器学习中,最终完成手势的识别。
2.根据权利要求1所述的基于超宽带雷达的Gabor域手势识别检测方法,其特征在于,步骤1中所述超宽带雷达为脉冲体制的雷达,采集人体常见手势的数据,具体为:
步骤1-1、雷达回波信号为:R[j,n]=r(t=jTs,τ=nTf),其中j=[1,2,...,J]代表慢时采样的时间序号,n=[1,2,,...,N]代表距离门的个数;Tf和Ts分别表示快时和慢时的采样时刻;
步骤1-2、采集到的雷达信号经过快慢时采样后重新排列得到X×Y的回波矩阵,其中X表示快时采样点数,Y表示慢时采样点数,在得到了回波信号数据之后,运用动目标检测MTI方法,去除室内各种背景杂波干扰的情况,保留手势动作的信息;
步骤1-3、对手势回波信号的灰度图进行二值化处理,之后再利用中值滤波,去除动目标检测MTI后产生的尾影杂波,从而增强手势回波信号。
3.根据权利要求1所述的基于超宽带雷达的Gabor域手势识别检测方法,其特征在于,步骤1中所述手势为非周期瞬时手势,包括:翻掌,挥手,扇手,OK,招手以及伸掌这些动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810255881.XA CN110309689B (zh) | 2018-03-27 | 2018-03-27 | 基于超宽带雷达的Gabor域手势识别检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810255881.XA CN110309689B (zh) | 2018-03-27 | 2018-03-27 | 基于超宽带雷达的Gabor域手势识别检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110309689A CN110309689A (zh) | 2019-10-08 |
CN110309689B true CN110309689B (zh) | 2023-04-07 |
Family
ID=68074082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810255881.XA Active CN110309689B (zh) | 2018-03-27 | 2018-03-27 | 基于超宽带雷达的Gabor域手势识别检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110309689B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112415510B (zh) * | 2020-11-05 | 2023-08-04 | 深圳大学 | 双站雷达手势识别方法、装置、***和存储介质 |
CN114760168A (zh) * | 2022-03-22 | 2022-07-15 | 广东电力通信科技有限公司 | 一种ai智能边缘计算网关 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106855941A (zh) * | 2016-12-09 | 2017-06-16 | 清华大学 | 基于雷达微多普勒信号稀疏优化的手势识别方法及*** |
CN107024685A (zh) * | 2017-04-10 | 2017-08-08 | 北京航空航天大学 | 一种基于距离‑速度特征的手势识别方法 |
-
2018
- 2018-03-27 CN CN201810255881.XA patent/CN110309689B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106855941A (zh) * | 2016-12-09 | 2017-06-16 | 清华大学 | 基于雷达微多普勒信号稀疏优化的手势识别方法及*** |
CN107024685A (zh) * | 2017-04-10 | 2017-08-08 | 北京航空航天大学 | 一种基于距离‑速度特征的手势识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110309689A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110309690B (zh) | 基于时频谱和距离多普勒谱的手势识别检测方法 | |
CN111399642B (zh) | 手势的识别方法、装置、移动终端和存储介质 | |
CN101551863B (zh) | 基于非下采样轮廓波变换的遥感图像道路提取方法 | |
CN104899600B (zh) | 一种基于深度图的手部特征点检测方法 | |
CN102402289B (zh) | 一种基于机器视觉的手势鼠标识别方法 | |
CN102508547A (zh) | 基于计算机视觉的手势输入法构建方法及*** | |
CN107452022A (zh) | 一种视频目标跟踪方法 | |
CN112198966B (zh) | 基于fmcw雷达***的笔画识别方法以及*** | |
CN105447506B (zh) | 一种基于区间分布概率特征的手势识别方法 | |
CN104268598A (zh) | 一种基于二维扫描激光的人腿检测方法 | |
CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
CN110309689B (zh) | 基于超宽带雷达的Gabor域手势识别检测方法 | |
CN115877376A (zh) | 基于多头自注意力机制的毫米波雷达手势识别方法及识别*** | |
Zhang et al. | Hand gesture recognition with SURF-BOF based on Gray threshold segmentation | |
Yu et al. | Comparison of PCA, LDA and GDA for palmprint verification | |
CN105975906A (zh) | 一种基于面积特征的pca静态手势识别方法 | |
CN114397963A (zh) | 一种手势识别方法、装置、电子设备及存储介质 | |
CN112380903B (zh) | 一种基于WiFi-CSI信号增强的人体活动识别方法 | |
CN109766559A (zh) | 一种手语识别翻译***及其识别方法 | |
Yashas et al. | Hand gesture recognition: a survey | |
CN104268852A (zh) | 红外序列图像中弱小目标的检测方法及其检测装置 | |
Song et al. | High-accuracy gesture recognition using mm-wave radar based on convolutional block attention module | |
CN108108648A (zh) | 一种新型的手势识别***装置及方法 | |
Raza et al. | An integrative approach to robust hand detection using CPM-YOLOv3 and RGBD camera in real time | |
Zhen-Yan | Chinese character recognition method based on image processing and hidden markov model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |