CN109271838A - 一种基于fmcw雷达的三参数特征融合手势识别方法 - Google Patents

Abstract

本发明提出了一种基于FMCW(frequency modulated continuous wave)雷达的三参数特征融合手势识别方法。首先通过雷达获取不同手势的中频信号，从中得到角度参数、距离参数和多普勒频移参数，并构造对应数据集；其次，将关于角度、距离和多普勒频移的数据集分别送入卷积神经网络中训练，得到特征值并做融合处理；最后，将融合后的特征值送入分类器，得到手势类别。本发明创新地提出多重参数在卷积神经网络中的融合方法，解决了传统识别算法使用条件受限的问题，且最终手势的分类效果优于单一参数。

Description

一种基于FMCW雷达的三参数特征融合手势识别方法

技术领域

本发明涉及手势识别技术领域，特别涉及一种基于FMCW雷达的三参数特征融合手势识别方法。

背景技术

随着当今时代人机交互技术的发展，手势识别已经成人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性，并且在各个领域得到广泛的应用。

传统的人机交互方式依赖于键盘、鼠标等输入设备，无法实现简单、高效、灵活的信息互动。而手势可以直观、有效地表达信息，并且其信息可以传达到视觉***。近年来，由于电子产品的普及和相关技术的发展，手势识别技术已成为了国内外研究的热点。在家庭娱乐方面，根据用户在游戏环境中左右挥动等动作来控制游戏中的角色，使得用户体验效果更好。而在智能驾驶方面，由于司机在驾驶过程中可能被车载导航***电话***分散注意力进而产生危险，为避免此类事件发生可以通过识别驾驶员手势动作完成对导航***以及车载娱乐***的控制，提高驾驶的安全性。

目前在手势识别的研究中，传统的手势识别方法主要利用光学摄像头和深度摄像头进行数据采集。光学图像和深度图像可以描述手势纹理、轮廓、形状等信息，但在强光或昏暗光线下效果较差。而雷达传感器可以解决由光线不佳而引起手势识别精度低下的问题，并可保护用户隐私。因此，调频连续波(frequency modulated continuous wave,FMCW)雷达在手势识别的应用上具有非常可观的研究前景。

现有手势识别方法存在以下问题。首先，传统的光学和深度传感器在手势识别的应用中难以克服非正常光照的影响。其次，由于传统的可视化传感器对用户保持不间断地监控，无法有效保护用户的隐私。再次，目前基于雷达的手势识别研究中，仅挖掘了手势目标的距离和多普勒信息，而忽略了能够有效表征手势目标方位的角度信息，没有充分挖掘雷达所能提供的有用手势信息。此外，二维卷积神经网络的输入为表征图像的二维矩阵，三维卷积神经网络的输入为表征序列图像的三维矩阵。然而，二维或三维卷积神经网络的输入样本所能容纳的信息维度有限，无法同时输入描述手势动作距离-时间、多普勒-时间和角度-时间的多维耦合信息，不能构成一个端到端的融合网络，这为手势识别研究中数据集构建和网络设计带来了一定难度。

发明内容

本发明的目的是提供一种基于FMCW雷达的三参数特征融合手势识别方法，相比于传统的手势识别技术，本发明结合了手势动作的距离、多普勒和角度进行多维参数学习，有效解决了单维参数手势识别方法中手势描述信息量低的问题和传统卷积神经网络的输入样本无法容纳多维参数的问题。它能有效的解决传统识别使用环境受限以及算法鲁棒性差的问题，且能实现多种手势的精确分类。

本发明所述的一种基于FMCW雷达的三参数特征融合手势识别方法，包括以下步骤：

1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作，并采集不同手势动作的FMCW雷达信号数据，将每一种手势动作的数据记为不同类别。

2)将发送信号s_T(t)和回波信号s_R(t)输入到混频器中，得到混频信号s_M(t)，混频信号s_M(t)经过低通滤波器得到中频信号s_IF(t)。

3)根据中频信号s_IF(t)求解得到雷达目标的距离参数R、角度参数θ和多普勒频移参数。

4)将计算得到的距离、角度和多普勒频移进行多帧累积，构造距离-时间图(Range-Time-Map，RTM)、多普勒-时间图(Doppler-Time-Map,DTM)和角度-时间图(Angle-Time-Map,ATM)并归一化处理。

5)将步骤四得到的RTM、DTM和ATM同步手势类别标签，构建三维参数数据集。

6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型，进行单个参数的特征提取。

7)将步骤六得到的三个特征函数F_RTM、F_DTM、F_ATM输入全连接层进行特征融合。

8)将融合过后的特征向量F_fusion输入softmax分类器，其输出为不同手势类别。

9)将测试手势数据集输入到卷积神经网络中分类，得到手势分类结果y′。

所述步骤7)特征融合包括以下步骤：

7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理，融合成为一个端到端的网络，这一部分的输入为RTM、DTM和ATM的fc6层特征函数F_RTM、F_DTM、F_ATM。

7b)将特征函数以矩阵的形式并行处理，以如下方式融合，得到融合过后的特征函数F_fusion:

其中(a₁,a₂,…,a_m)，(b₁,b₂,…,b_m)，(c₁,c₂,…,c_m)分别代表F_RTM,F_DTM,F_ATM中对应的特征向量。

本发明具有以下优点：本发明首先通过雷达获取各种手势的信号，并从中提取每种手势的运动参数，进行多帧累积形成参数时间图；然后，利用卷积神经网络对参数时间图分别进行参数特征提取，再对得到的参数特征进行融合；最后，将融合后的参数特征送入分类函数，得到分类结果。本发明方法采用雷达信号作为数据来源，适用场景广泛，无需考虑光照等外界因素。

附图说明

图1为本发明的整体流程图；

图2为本发明卷积神经网络的***流程图；

图3为步骤三中对角度的谱峰搜索仿真图；

图4为输入的RTM信号图；

图5为输入的DTM信号图；

图6为输入的ATM信号图；

图7为本发明ATM、DTM和RTM最终测试的准确率曲线；

图8为本发明融合过后准确率曲线；

具体实施方式

1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作，并采集不同手势动作的FMCW雷达信号数据，得到回波信号s_R(t)，并将每一种手势动作的数据记为不同类别，具体为：

1a)设计前推、后拉、左滑、右滑、前后推拉和左右滑动这六个手势作为采集的手势动作，采集数据，并对每一种手势动作的数据贴上不同的标签。

1b)根据FMCW雷达的信息计算其发射信号表达式，FMCW的发射信号s_T(t)具体表示为：

其中，f_c是载波的中心频率，f_T(τ)表示在一段长度为T的时间内发射信号的频率，T是锯齿波信号的脉宽，A_T表示发射信号的幅值。

1c)发射信号经过时延，得到回波信号s_R(t)：

其中，A_R为回波信号幅值，f_c是载波频率，Δt_delay表示从发射信号发出到接收到回波信号的飞行时延，f_R(τ)为回波信号频率。

2)将发送信号s_T(t)和回波信号s_R(t)输入到混频器中，得到混频信号s_M(t)，混频信号s_M(t)经过低通滤波器得到中频信号s_IF(t)，具体步骤如下：

2a)将发送信号s_T(t)和回波信号s_R(t)输入到混频器得到混频信号s_M(t)：

s_M(t)＝s_T(t)s_R(t)

2b)将得到的混频信号经过低通滤波器得到中频信号s_IF(t)：

其中，A_T为发送信号幅值，A_R为回波信号幅值，为中频信号相位。

低通滤波器的表达式为：

f_s代表截止频率。

3)根据中频信号s_IF(t)求解得到距离参数R、角度参数θ和多普勒频移参数，具体计算步骤如下：

3a)雷达信号的距离R是根据信号的飞行时延Δt_delay计算得到：

其中：

两式合并，可以得到：

其中f_IF表示中频信号频率，c为光速，B是带宽，T为周期。

3b)本专利中，以帧为单位观测手势动作，对每个手势动作的观测时长为32帧，每帧时长为40毫秒，并包含128个扫频。

在多普勒的测量中，每隔一帧对手势目标距离扫频一次，再对扫频信号快速傅里叶变换(Fast Fourier Transform,FFT)分析，得到中频信号频谱，再通过谱峰搜索求出目标对应的频点解得距离值。最后，将每一次扫频的频谱估计结果进行累积，从而得到距离-多普勒图。

3c)采用的FMCW雷达有N_T＝2个发射天线和N_R＝4个接收天线，通过时分复用得到8个虚拟接收天线阵元，信号模型为：

s(m,t)＝s_IF(m,t)+n(m,t)

其中，m＝1,2,...,8表示不同接收天线阵元，s_IF(m,t)和n(m,t)分别表示第m路的信号分量和噪声分量。根据采样信号可以构造出接收信号的向量矩阵S：

利用向量矩阵S，计算协方差矩阵R＝E{X(t)X^H(t)}，求得特征向量v_i(i＝1,2,...,M)，令E_N＝[v₁ v₂ ... v_M]^T构造空间谱函数：

其中，a(θ)为目标接收信号的导向矢量阵，a^H(θ)为a(θ)的共轭转置矩阵，为E_N的共轭转置矩阵。再对上述空间谱函数进行谱峰搜索，再每一帧数据可以进行角度搜索，如附图3所示，获取每个角度下信号的峰值即为手势目标对应的角度值。

4)将计算得到的距离、角度和多普勒频移多帧累积，构造距离-时间图(Range-Time-Map，RTM)如附图4、多普勒-时间图(Doppler-Time-Map,DTM)如附图5和角度-时间图(Angle-Time-Map,ATM)如附图6并归一化处理，具体步骤如下：

4a)在一帧数据内，每个快时间域均可求出其对应的频谱(距离估计谱)，在帧内求平均后得到该帧数据所对应的距离估计谱，将多帧距离估计谱进行累积后得到RTM；

4b)根据手势目标所处的距离单元提取出多普勒估计谱，将多帧多普勒估计谱进行累积后得到DTM；

4c)根据一帧数据内8路信号所构成的接收信号向量矩阵，计算协方差矩阵，构造空间谱函数，再对空间谱函数进行谱峰搜索得到角度估计谱，并将多帧角度估计谱进行累积后得到ATM；

4d)由于RTM、DTM和ATM数据图像样本的数值上存在较大差异性，使得卷积神经网络的训练难以收敛。因此需要对数据进行归一化处理，对每张图像数据进行数值缩放：

其中，具有R行和L列的像素点构成了矩阵X，x_i,j表示原始像素值，表示更新后的像素值。数值缩放后，图像中每一个像素值均在[-1,1]区间内。

4e)其次，对数据集中每个图像样本X_n逐样本均值消减：

其中，X_n表示原始图像样本，表示均值消减后的图像样本，N表示数据集中样本个数。最后，为了使数据集中图像尺寸保持一致，需要将每张图像尺寸均缩放为128×128。

5)将步骤四得到的RTM、DTM和ATM同步手势类别标签，构建三维参数数据集。

6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型，进行单个参数的特征提取，具体步骤如下：

6a)将处理好的RTM数据图像送入卷积神经网络的单参数特征提取网络部分。单参数特征提取网络部分共有5层，有N个卷积池化模块。第一层、第二层的卷积-池化模块结构相同，各有N_c个卷积层和N_p个池化层，它的输入尺寸、输入通道数和输出通道数各不相同，具体尺寸大小为：

第一层、第二层卷积滤波器K_c尺寸大小为：

其中p_ij(i＝1,2,…,m j＝1,2,…,n)表示卷积滤波器的尺寸大小，例如本专利采用m＝3,n＝3。

池化滤波器K_p的尺寸大小为：

其中q_ij(i＝1,2,…,m j＝1,2,…,n)表示池化滤波器的尺寸大小，例如本专利采用m＝2,n＝2。

6b)单参数网络中第三层、第四层和第五层的卷积-池化模块结构相同，各有N_o个卷积层和N_v个池化层。其中，每一层卷积-池化模块各有三种不同尺寸的卷积滤波器其尺寸大小分别为：

其中w_i(i＝1,2,…,k,…,m)只表示卷积滤波器的尺寸大小，例如本专利中m＝3,k＝1。

池化滤波器的尺寸大小为：

其中r_ij(i＝1,2,…,m j＝1,2,…,n)表示池化滤波器的尺寸大小，例如本专利中m＝2,n＝2。

6c)通过单参数网络前五层的特征提取后，输出对应的RTM数据图像的第六卷积层(fc6层)的特征函数F_RTM，具体表示为：

其中(a₁,a₂,…,a_m)代表对应RTM数据图像的特征矩阵中的特征向量，(a₁₁,a₁₂,…,a_ij,…,a_nm)代表特征向量中具体的特征值，n和m表示特征值的个数。

6d)提取ATM和DTM的单参数网络和提取RTM的单参数网络结构相同，三个分支网络具有相同的结构和平行的处理时序，每个分支网络的输出均为fc6层特征。重复步骤六的以上步骤，提取ATM的fc6层特征函数F_DTM和DTM的fc6层特征函数F_ATM。

其中(b₁,b₂,…,b_m)代表对应DTM数据图像的特征矩阵中的特征向量，(b₁₁,b₁₂,…,b_ij,…,b_nm)代表DTM特征向量中具体的特征值，n和m表示特征值的个数。

其中(c₁,c₂,…,c_m)代表对应ATM数据图像的特征矩阵中的特征向量，(c₁₁,c₁₂,…,c_ij,…,c_nm)代表ATM特征向量中具体的特征值，n和m表示特征值的个数。

7)将步骤六得到的三个特征函数F_RTM、F_DTM、F_ATM输入全连接层进行特征融合，具体步骤如下：

7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理，融合成为一个端到端的网络，这一部分的输入为RTM、DTM和ATM的fc6层特征函数F_RTM、F_DTM、F_ATM。

7b)将特征函数以矩阵的形式并行处理，以如下方式融合，得到融合过后的特征函数F_fusion:

其中(a₁,a₂,…,a_m)，(b₁,b₂,…,b_m)，(c₁,c₂,…,c_m)分别代表F_RTM,F_DTM,F_ATM中对应的特征向量。

8)将融合过后的特征函数F_fusion输入softmax分类器，其输出为不同手势类别。

9)将测试手势数据集输入到卷积神经网络中分类，得到手势分类结果y′，根据分类结果y′得到在不同学习率下的准确率图，如图8。

Claims (2)

1.一种基于FMCW雷达的三参数特征融合手势识别方法，其特征在于，包括以下步骤：

1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作，并采集不同手势动作的FMCW雷达信号数据，将每一种手势动作的数据记为不同类别；

2)将发送信号s_T(t)和回波信号s_R(t)输入到混频器中，得到混频信号s_M(t)，混频信号s_M(t)经过低通滤波器得到中频信号s_IF(t)；

3)根据中频信号s_IF(t)求解得到雷达目标的距离参数R、角度参数θ和多普勒频移参数；

4)将计算得到的距离、角度和多普勒频移进行多帧累积，构造距离-时间图(Range-Time-Map，RTM)、多普勒-时间图(Doppler-Time-Map,DTM)和角度-时间图(Angle-Time-Map,ATM)并归一化处理；

5)将步骤四得到的RTM、DTM和ATM同步手势类别标签，构建三维参数数据集；

6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型，进行单个参数的特征提取；

7)将步骤六得到的三个特征函数F_RTM、F_DTM、F_ATM输入全连接层进行特征融合；

8)将融合过后的特征向量F_fusion输入softmax分类器，其输出为不同手势类别；

9)将测试手势数据集输入到卷积神经网络中分类，得到手势分类结果y′。

2.基于权利要求1中所述的一种基于FMCW雷达的三参数特征融合手势识别方法，其特征在于：所述步骤7)中特征融合的方法，具体包括：

7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理，融合成为一个端到端的网络，这一部分的输入为RTM、DTM和ATM的fc6层特征函数F_RTM、F_DTM、F_ATM；

7b)将特征函数以矩阵的形式并行处理，以如下方式融合，得到融合过后的特征函数F_fusion:

其中，(a₁,a₂,…,a_m)，(b₁,b₂,…,b_m)，(c₁,c₂,…,c_m)分别代表F_RTM,F_DTM,F_ATM中对应的特征向量。