CN110348288A - 一种基于77GHz毫米波雷达信号的手势识别方法 - Google Patents

Abstract

本发明提供了一种基于77GHz毫米波雷达信号的手势识别方法，包括首先通过雷达获取不同手势动作的中频信号，并创新性地利用一种改进的小波阈值函数对其低频系数进行预处理，解决了由于天线耦合现象造成的近距离手势无法识别的问题，其次，对预处理后的中频信号提取时间‑距离谱图、时间‑速度谱图以及时间‑角度谱图，创新地将三种特征谱图进行拼接得到多元化特征图，并输入到卷积神经网络进行训练，优化了传统识别算法信息表达不完备的问题，同时也有利于网络结构的简化，且最终取得较好的识别效果。

Description

一种基于77GHz毫米波雷达信号的手势识别方法

技术领域

本发明涉及雷达信号处理识别技术领域，特别涉及一种基于77GHz毫米波 雷达信号的手势识别方法。

背景技术

自二十一世纪以来，随着计算机技术突飞猛进的发展，人机交互技术已成为 当今重大学科技术之一。目前，常用的人机交互方法是以鼠标和键盘作为机械式 输入设备，然而，这些方法没有办法实现简单、高效、高度自由的人与计算机的 信息互动。在计算机与信号处理领域发展过程中，手势识别技术以其生动、形象、 直观、高效的表达特点拥有着越来越多的应用场景，例如智能家居***、手语实 时教学***、手势操控游戏***等等。伴随着人机交互技术的飞速发展，手势识 别技术目前已经成为了国内外各学者的研究热点。

传统的手势识别技术绝大多数都是基于视频和图像的，例如微软公司的体感 设备Kinect，就是利用3D体感摄像头和光编码技术形成有深度的场景图，通过 评估景深图像的像素级，进行图像深度识别，再结合人体骨骼追踪技术来捕捉人 体的各个部位或者手势动作。然而，传统的基于图像或视频的手势识别方法存在 一定的局限性。首先，传统的基于图像的手势识别技术的识别正确率极易受到光 照、天气以及工作环境等因素的影响。其次，传统的基于图像或视频的手势识别 方法也容易受到遮挡的影响，如墙壁、书柜等等，当手势执行者位于墙后或者房 间中某处被部分或者完全遮挡的位置时，这种方法就会完全行不通。此外，传统 的基于图像或视频的手势识别方法也存在用户隐私泄露的风险。在个人信息高度 敏感的时代，这种方法造成的隐私泄露问题可能会产生很严重的后果。最后，传 统的基于图像或视频的手势识别方法对计算资源与能耗的要求相对都比较高，一 般情况下都需要独立的外界供电***，这使得其应用场景与规模都受到很大的限 制。

相比于传统基于视频或图像的手势识别方法而言，基于雷达信号的手势识别 方法通常具有非接触，不受光照、天气以及工作环境影响等特点，能够有效解决 光照不足等条件影响识别正确率的问题。同时雷达也具有一定的穿透遮挡传播的 功能，能够有效地避免墙、书柜等遮挡物的影响，使得手势执行者在被完全遮挡 或部分遮挡的情况下实现手势控制与交互成为可能。并且基于雷达信号的手势识 别方法能够有效地消除由于拍摄视频或图像引起的用户隐私泄露问题，这一优点 在保护用户隐私的同时也保障了用户的安全性。此外，雷达传感器大多都能集成 在能耗比较低的高质量芯片上，能够大大降低识别的成本并减少计算复杂性，大 大增加手势识别技术的应用场景与规模。77GHz毫米波雷达以其质量轻、体积 小的特点，得到越来越广泛的应用。同时，77GHz毫米波雷达很容易就能达到 更高的空间分辨率，使得测距、测角、测速的精度更高。结合目前77GHz毫米 波雷达在智能驾驶、智能家居等方面的应用，基于77GHz毫米波雷达的手势识 别技术拥有着非常广泛的应用前景。

现有的基于雷达信号的手势识别方法中存在以下问题。首先，针对由于发 射天线和接收天线耦合产生的能量较大的低频信号而言，目前的方法都是从距离 域进行截取，丢掉近距离信息。事实上，对于动态的手势动作而言，当手势距离 雷达较近时，这种做法会将有用的手势信号一起去除掉，是不科学的。其次，目 前对雷达角度信息的利用较少，没有充分利用雷达所能提供的有用信息，且在构 建卷积神经网络的输入数据集时缺乏对特征谱图的信息融合，增加了后期的卷积 神经网络的设计难度。

发明内容

本发明的目的是提供一种去除由于发射天线和接收天线耦合产生的能量较 大的低频信号的方法，并提供一种雷达手势信号多元化特征图谱的构建方法。与 传统手势识别技术相比，一方面可以对近距离手势信号进行识别，进一步增大了 手势识别技术的应用场景；另一方面使得手势信号特征表达更加完备，解决了以 往手势信息量描述较低的问题，并有利于简化后期卷积神经网络的设计，便于实 现多种手势的精确分类。

本发明所述的一种基于77GHz毫米波雷达信号的手势识别方法，包括以下 步骤：

步骤一、设计N个手势动作，以N＝4为例，设计打钩、径向挥手、顺时针 旋转和逆时针旋转四种手势动作，并由不同的志愿者在微波暗室环境下进行相应 手势的数据采集，总共得到4*ClassNum组数据；

步骤二、将发射信号S_T(t)和接收信号S_R(t)通过混频器，得到混频信号 S_MIX(t)，S_MIX(t)通过低通滤波器，解析出中频信号x(t)，并从中频信号中提取相 应的接收天线对应的信号SN_I\Q(t)；

步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着 一个能量很大的低频信号，利用小波阈值方法对上述中频信号SN_I\Q(t)进行预处 理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信 号

步骤四、对中频信号进行处理，估计出手势动作的时间-距离谱图、 时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理；

步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度 谱图进行拼接，构造多元化特征谱图A；

步骤六、对采集到的4*ClassNum组手势回波数据分别进行步骤二-步骤六的 操作，得到4*ClassNum组原始手势信号多元化特征谱图集

步骤七、将步骤六得到的多元化特征谱图集中的每一个样本均进行灰度化 处理，得到原始多元化特征图集B；

步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一 化，得到多元化特征图集并对每一幅特征图贴标签；

步骤九、将多元化特征图集按照一定的比例分成训练集S_train、验证集S_val和测试集S_test，例如训练集占70％、验证集占20％、测试集占10％；

步骤十、将S_train、S_val和其对应的标签一起作为卷积神经网络的输入数据集C_input，并初始化网络权重，其中S_train用来对网络系数进行训练，S_val在训练一段 时间后进行网络验证，并通过误差对网络的权值进行调整；

步骤十一、将输入数据集C_input进行一次卷积池化操作，设置卷积核的尺度kernel_size1、卷积步长kernel_stride1以及池化尺寸pool_size1、池化步长 pool_stride1，得到特征图集feature1；

步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置 卷积核的尺寸kernel_size2、卷积步长kernel_stride2以及池化尺寸pool_size2、 池化步长pool_stride2，得到特征图集feature2；

步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特 征，设置卷积核的尺寸kernel_size3、卷积步长kernel_stride3以及池化尺寸 pool_size3、池化步长pool_stride3，得到特征图集feature3；

步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置 fc4、fc5、fc6的尺寸大小为size4、size5、size6，将特征图集转换成1×size6的列 向量v1；

步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通 过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型 Netmodel。

步骤十六、将测试数据集S_test加载到Netmodel中，得到手势分类结果y。

所述步骤三包括以下步骤：

3.1选取合适的小波基函数，对手势中频信号SN_I\Q(t)进行N层小波变换， 得到近似系数A(i)和细节系数D(1，i)、D(2，i)、…、D(N，i)；

3.2对低频系数A(i)做阈值处理，即

A_i'＝mA_i+(1-m)sgn(A_i)(|A_i|-n)

3.3利用D(1，i)、D(2，i)、…、D(N，i)对信号进行重构，得到预处 理后的手势中频信号x'(t)。

所述步骤四包括以下步骤：

4.1提取时间-距离谱图：首先在快时间域内作FFT，接着在慢时间域内加权 求平均，最后进行帧间累积即可得到时间-距离谱图，尺寸大小为 FFTNum1*FrameNum；

4.2提取时间-速度谱图：首先以帧为单位进行二维FFT，得到距离-多普勒 图，接着搜索距离-多普勒图的最大值，并提取该最大值所在行，以该行的速度 信息作为当前帧信号的速度，最后在帧间进行累积得到时间-速度谱图，尺寸大 小为FFTNum2*FrameNum；

4.3提取时间-角度谱图：首先以帧为单位，对N个接收天线的对应帧信号分 别做二维FFT，得到N幅距离-多普勒图。对N幅距离-多普勒图分别提取最大值， 并将最大值排列成1×N的一维向量，对该一维向量做FFT，即可得到当前帧信 号对应的速度信息，最后在帧间进行累积即可得到时间-角度图，尺寸大小为 FFTNum3*FrameNum；

4.4数值归一化处理：首先要对每一个特征谱图进行离差标准化，具体地， 以时间-距离谱图D为例，对其按如下公式进行数值缩放：

通过上述缩放操作，时间-距离谱图中的每一值均落在[0，1]范围内。

附图说明：

图1为本发明的流程图。

图2为本发明中设计识别的具体手势动作。

图3为各手势动作小波低频阈值处理仿真图。

图4为各手势动作的时间-距离谱图仿真图。

图5为各手势动作的时间-速度谱图仿真图。

图6为各手势动作的时间-角度谱图仿真图。

图7为各手势动作的多元化特征图(归一化后的结果)。

图8为卷积神经网络的网络架构。

图9为表1。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

以四种手势为例：

步骤一、设计打钩、径向挥手、顺时针旋转和逆时针旋转四种手势动作，如 图2所示，首先对77GHz毫米波雷达的相关参数进行配置。本专利中，设置采 样频率为2000kHz，帧周期为55ms，每次采集100帧数据，每帧内有128个chirp 信号，每个chirp信号有64个采样点。天线采用一发四收，即一个发射天线、四 个接收天线，并在微波暗室环境下由三名志愿者进行相应的手势数据采集；

步骤二、将发射信号S_T(t)与接收信号S_R(t)通过混频器进行混频，得到混频 信号S_MIX(t)，并将S_MIX(t)通过低通滤波器，获得中频信号x(t)，并从中频信号中 提取相应的接收天线对应的信号SN_I\Q(t)，具体步骤如下：

步骤：2-1雷达发射信号的具体表达式为：

其中，A_T为发射信号的幅值，f_c为载波频率，T为锯齿波周期，B为信号 带宽，f_T(t)为T时间内发射信号的频率；

步骤2-2雷达接收信号是发射信号延迟Δt后的结果，其结果如下：

其中，A_R为接收信号的幅值，f_R(t)为T时间内接收信号的频率，Δf为频率 偏移；

步骤2-3：将发射信号S_T(t)和接收信号S_R(t)通过混频器，得到混频信号 S_MIX(t)的表达式如下：

S_MIX(t)＝S_T(t)S_R(t)

步骤2-4：将混频信号S_MIX(t)通过低频滤波器，得到中频信号x(t)表达式如 下：

步骤2-5：采用一发四收，四个接收天线共有8路I\Q通道，将中频信号x(t) 每隔8个点赋值给一路数据，即可提取出没路天线对应的中频信号SN_I\Q(t)；

步骤三、由于发射天线和接收天线的耦合现象，手势中频信号中存在着一个 能量很大的低频信号，利用小波阈值方法对上述中频信号SN_I\Q(t)进行预处理， 选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号 具体步骤如下：

步骤3-1：选择Sym6作为小波基函数，对手势中频信号进行三层小 波分解后，得到近似系数A(i)，细节系数D(1，i)、D(2，i)、D(3，i)，

步骤3-2：对其低频系数A(i)进行阈值处理，即

A_i'＝mA_i+(1-m)sgn(A_i)(|A_i|-n)

步骤3-3：用D(1，i)、D(2，i)、D(3，i)进行重构，即得到预处理后的 信号x'(t)，各手势动作小波低频阈值处理仿真结果如图3所示。

步骤四、对中频信号进行处理，估计出手势动作的时间-距离谱图、 时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理。具体 步骤如下：

4.1提取时间-距离谱图：首先在快时间域内作FFT，接着在慢时间域内加权 求平均，最后进行帧间累积即可得到时间-距离谱图，尺寸大小为 FFTNum1*FrameNum，各手势动作时间-距离谱图仿真结果如图4所示；

4.2提取时间-速度谱图：首先以帧为单位进行二维FFT，得到距离-多普勒 图，接着搜索距离-多普勒图的最大值，并提取该最大值所在行，以该行的速度 信息作为当前帧信号的速度，最后在帧间进行累积得到时间-速度谱图，尺寸大 小为FFTNum2*FrameNum，各手势动作时间-速度谱图仿真结果如图5所示；

4.3提取时间-角度谱图：首先以帧为单位，对N个接收天线的对应帧信号分 别做二维FFT，得到N幅距离-多普勒图。对N幅距离-多普勒图分别提取最大值， 并将最大值排列成1×N的一维向量，对该一维向量做FFT，即可得到当前帧信 号对应的速度信息，最后在帧间进行累积即可得到时间-角度图，尺寸大小为 FFTNum3*FrameNum，各手势动作时间-角度谱图仿真结果如图6所示；

4.4数值归一化处理：首先要对每一个特征谱图进行离差标准化，具体地， 以时间-距离谱图D为例，对其按如下公式进行数值缩放：

通过上述缩放操作，时间-距离谱图中的每一值均落在[0，1]范围内。

步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度 谱图按列进行拼接，构造多元化特征谱图A其尺寸大小为 (FFTNum1+FFTNum2+FFTNum3)*FrameNum；

步骤六、对采集到的4*ClassNum组手势回波数据分别进行步骤二-步骤六的 操作，得到4*ClassNum组原始手势信号多元化特征谱图集

步骤七、将步骤六得到的多元化特征谱图集中的每一个样本均进行灰度化 处理，得到原始多元化特征图集B；

步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一 化，得到多元化特征图集各手势动作多元化特征图结果如图7所示，并对每 一幅特征图贴标签，集体步骤如下：

8.1依据下式，求多元化特征图集B内所有样本的均值

这里值得注意的是，这里是对多元化数据集B内的所有样本求均值，而不是 只针对某一类手势在类内求均值；

8.2对多元化特征图集B内的任一样本进行均值消去，即

8.3对多元化特征图集进行尺度归一化：将数据集中各特征图的尺度归一 化为Hight×Width，具体地，当原始特征图尺寸大于Hight×Width时进行下采样， 反之进行上采样，最终得到归一化的多元化特征图集

步骤九、将多元化特征图集按照一定的比例分成训练集S_train、验证集S_val和测试集S_test，例如训练集占70％、验证集占20％、测试集占10％；

步骤十、将S_train、S_val和其对应的标签一起作为卷积神经网络的输入数据集C_input，并初始化网络权重，其中S_train用来对网络系数进行训练，S_val在训练一段 时间后进行网络验证，并通过误差反向传播对网络的权值进行调整；

步骤十一、将输入数据集C_input进行一次卷积池化操作，设置卷积核的尺度 11×11、卷积步长4以及池化尺寸3×3、池化步长2，得到特征图集feature1；

步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置 卷积核的尺寸5×5、卷积步长1以及池化尺寸3×3、池化步长2，得到特征图集 feature2；

步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特 征，设置卷积核的尺寸3×3、卷积步长1以及池化尺寸3×3、池化步长2，得到 特征图集feature3；

步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置 fc4、fc5、fc6的尺寸大小为4096、2048、1000，将特征图集转换成1×1000的列 向量v1；

步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通 过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型 Netmodel。

步骤十六、将测试数据集S_test加载到Netmodel中，得到手势分类结果y， 得到手势数据分类结果如表1。

Claims (3)

1.一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于，包括以下步骤：

步骤一、设计N个手势动作，并由不同的志愿者在微波暗室环境下进行相应手势的数据采集，总共得到N*ClassNum组数据；

步骤二、对雷达原始数据进行解析，获得中频信号x(t)，并从中频信号中提取相应的接收天线对应的中频信号SN_I\Q(t)；

步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SN_I\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号

步骤四、对中频信号进行处理，估计出手势动作的时间-距离谱图、时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理；

步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度谱图进行拼接，构造多元化特征谱图A；

步骤六、对采集到的N*ClassNum组手势回波数据分别进行步骤二-步骤六的操作，得到N*ClassNum组原始手势信号多元化特征谱图集

步骤七、将步骤六得到的多元化特征谱图集中的每一个样本均进行灰度化处理，得到原始多元化特征图集B；

步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一化，得到多元化特征图集并对每一幅特征图贴标签；

步骤九、将多元化特征图集按照一定的比例分成训练集S_train、验证集S_val和测试集S_test，例如训练集占70％、验证集占20％、测试集占10％；

步骤十、将S_train、S_val和其对应的标签一起作为卷积神经网络的输入数据集C_input，并初始化网络权重，其中S_train用来对网络系数进行训练，S_val在训练一段时间后进行网络验证，并通过误差反向传播对网络的权值进行调整；

步骤十一、将输入数据集C_input进行一次卷积池化操作，设置卷积核的尺度kernel_size1、卷积步长kernel_stride1以及池化尺寸pool_size1、池化步长pool_stride1，得到特征图集feature1；

步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置卷积核的尺寸kernel_size2、卷积步长kernel_stride2以及池化尺寸pool_size2、池化步长pool_stride2，得到特征图集feature2；

步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特征，设置卷积核的尺寸kernel_size3、卷积步长kernel_stride3以及池化尺寸pool_size3、池化步长pool_stride3，得到特征图集feature3；

步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置fc4、fc5、fc6的尺寸大小为size4、size5、size6，将特征图集转换成1×size6的列向量v1；

步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型Netmodel。

步骤十六、将测试数据集S_test加载到Netmodel中，得到手势分类结果y。

2.根据权利要求1中所述的一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于：所述步骤三中的预处理方法，具体包括：

步骤3-1针对由于发射天线和接收天线耦合产生的能量较大的低频信号，运用一种改进的小波阈值函数进行去除，该阈值函数如式1所示：

其中

W_j,k(m,n)＝mω_j,k+(1-m)sgn(ω_j,k)(|ω_j,k|-n)

可以看出，改进的阈值函数在λ和-λ处连续，同时也可以调节α和β的值使得该方法适应多种噪声场景的需求；

步骤3-2针对干扰信号的特点，对手势中频信号进行N层小波分解后，得到近似系数A(i)，细节系数D(1，i)、D(2，i)、…、D(N，i)，只对其低频系数A(i)进行阈值处理，即

A_i'＝mA_i+(1-m)sgn(A_i)(|A_i|-n)

紧接着再用D(1，i)、D(2，i)、…、D(N，i)进行重构，即得到预处理后的信号x'(t)。

3.根据权利要求1中所述的一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于：所述步骤五中多元化特征谱图A的构建，具体包括：

步骤5-1：提取时间-距离谱图：首先在快时间域内作FFT，接着在慢时间域内加权求平均，最后进行帧间累积即可得到时间-距离谱图，尺寸大小为FFTNum1*FrameNum；

步骤5-2：提取时间-速度谱图：首先以帧为单位进行二维FFT，得到距离-多普勒图，接着搜索距离-多普勒图的最大值，并提取该最大值所在行，以该行的速度信息作为当前帧信号的速度，最后在帧间进行累积得到时间-速度谱图，尺寸大小为FFTNum2*FrameNum；

步骤5-3：提取时间-角度谱图：首先以帧为单位，对N个接收天线的对应帧信号分别做二维FFT，得到N幅距离-多普勒图。对N幅距离-多普勒图分别提取最大值，并将最大值排列成1×N的一维向量，对该一维向量做FFT，即可得到当前帧信号对应的速度信息，最后在帧间进行累积即可得到时间-角度图，尺寸大小为FFTNum3*FrameNum；

步骤5-4：构建多元化特征谱图A：上述方法提取到的三种特征谱图具有相同的列数，三种谱图分别进行归一化后，将归一化后的特征谱图以行进行拼接即可得到多元化特征谱图，尺寸大小为(FFTNum1+FFTNum2+FFTNum3)*FrameNum。