CN109583436A - 一种基于毫米波雷达的手势识别*** - Google Patents

Abstract

本发明公开了一种基于毫米波雷达的手势识别***，包括手势识别单元，包括用于收发手势变换所产生的毫米波雷达信号的收发模块，和用于提取收发模块所获取毫米波雷达信号的MFCC特征参数的主控模块；处理单元，用于将主控模块得到的频谱图用AI芯片进行处理，处理单元包括深度学习模块，其对多种手势分别进行多次训练，利用深度可分解的卷积神经网络和全连接层，对每种手势的MFCC特征向量统一数据集成，形成目标数据库；判别输出单元，利用手势识别单元获取待测手势信号，并将其与处理单元的目标数据库进行比对，将识别结果上传至终端显示。本发明识别手势的时间短，识别效率高，可穿透一定厚度的障碍物，不受环境因素影响，距离信息准确度高。

Description

一种基于毫米波雷达的手势识别***

技术领域

本发明属于手势识别信息技术领域，尤其是涉及一种基于毫米波雷达的手势识别***。

背景技术

手势识别作为人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性，从广泛使用的智能手机到带动作识别的高级游戏机，手势识别扮演着越来越重要的角色，传统的基于光学摄像头的手势识别技术，受到背景噪声，场景照度等因素的限制，在这些全新的人机交互环境中受到了极大的冲击。

目前市面上现有的主流手势识别技术有三种，1、结构光：由于其以折射光的落点位移来计算位置，这种技术不能计算出精确的深度信息，对识别的距离也有严格的要求。而且容易受到环境光线的干扰，强光下不适合，响应也比较慢；2、双目视觉：该技术需要庞大的程序计算量，对硬件设备有一定配置要求，同时受外界环境影响大，比如环境光线昏暗、背景杂乱、有遮挡物等情况下不适用；3、TOF原理：由于传感器芯片并不成熟，成本很高，所以实现量产困难，另一方面，TOF分辨率不高，因此不适合精度要求高的场景。

发明内容

为了克服现有技术的不足，本发明提供一种识别耗时短，受环境因素影响小，准确度高，适用场景广泛的基于毫米波雷达的手势识别***。

本发明解决其技术问题所采用的技术方案是：一种基于毫米波雷达的手势识别***，包括：

手势识别单元，包括用于收发手势变换所产生的毫米波雷达信号的收发模块，和用于提取收发模块所获取毫米波雷达信号的MFCC特征参数的主控模块；

处理单元，与手势识别单元相连，用于将主控模块得到的频谱图用AI芯片进行处理，处理单元包括深度学习模块，其对多种手势分别进行多次训练，利用深度可分解的卷积神经网络和全连接层，对每种手势的MFCC特征向量统一数据集成，形成目标数据库；

判别输出单元，分别与手势识别单元和处理单元相连，利用手势识别单元获取待测手势信号，并将其与处理单元的目标数据库进行比对，以相似度为判别依据，将识别结果上传至终端显示。

作为优选，所述目标数据库中包括五个类别的特定手势，为向上手势、向下手势、向左手势、向右手势和点手势。

作为优选，所述收发模块包括毫米波雷达传感器和收发天线；通过计算从收发天线发射无线电波到天线收到反射波的延时可计算得到目标手势的位置，通过收发天线与目标手势之间的夹角、收发天线发出发射波和收发天线收到反射波的波长变化，利用多普勒频移公式可计算得到目标手势的变换速度。

作为优选，所述毫米波雷达传感器的发射频率为24GHz。

作为优选，所述提取MFCC特征参数的过程包括：

1)判断毫米波雷达信号是否位于低频到高频的频带内；

2)如果步骤1)中的判断结果为是，则将毫米波雷达信号通过高频滤波器提升高频部分；

3)将步骤2)中处理得到的毫米波雷达信号经过加汉明窗、FFT转换、Mel滤波器组频谱优化和对数运算后，得到MFCC多维的动静态特征参数。

进一步的，还包括以下步骤：将毫米波雷达信号分解为帧，将每帧毫米波雷达信号序列依此存入一个数据区，用循环队列存储数据，已处理完成并提取出了手势MFCC特征参数的一帧手势数据依次抛弃，以让出存储空间来存储新数据。

作为优选，所述深度可分解的卷积神经网络包括一个深度卷积和一个点卷积，深度卷积将每个卷积应用到每一个通道，点卷积用来组合通道卷积的输出。

作为优选，所述一个深度卷积经过合并BN层和经过ReLU激活函数后，再使一个点卷积经过BN层合并和RuLU函数激活。

作为优选，所述AI芯片采用DSP处理器和ARM处理器并行处理。

本发明对5种特定的手势动作的原始运动信号进行预处理，得到每个手势的每帧时域信号，提取时域信号的MFCC特征参数，使用AI芯片用已训练的深度神经网络模型对提取的MFCC特征参数量进行分类识别，最终输出手势识别的类型。

本发明的有益效果是：(1)用训练好的模型去识别分类手势，识别手势的用时时间短，识别效率高；(2)选用毫米波雷达检测手势位置，可穿透一定厚度的障碍物，不受环境因素(如光照)等影响；(3)同时计算速度与距离，距离信息准确度高；(4)可广泛应用于各种场景中，车辆导航、电视、游戏、灯控等。

附图说明

图1为本发明的基本原理图。

图2为本发明的手势识别流程图。

图3为毫米波雷达信号提取MFCC特征参数的处理过程示意图。

图4为AI芯片处理信号特性量示意图。

图5为本发明的构成框架及连接示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1-5所示，一种基于毫米波雷达的手势识别***，包括：

(1)手势识别单元

本发明运用24GHz毫米波雷达追踪在空中5个手势的亚毫米的精准度的高速运动，并产生毫米波雷达信号。

手势识别单元主要由两个模块组成，一个是毫米波雷达信号收发模块，一个是主控模块；收发模块集成毫米波雷达传感器和收发天线，微型毫米波雷达传感器的发射频率为24GHz,具有180°视角，采样帧数为每秒8000个采样点。

根据公式ΔT＝T′-T″，通过计算从收发天线发射无线电波，到天线收到反射波的延时，可以计算物体的位置，通过收发天线发出发射波和天线收到反射波的波长变化，通过多普勒频移公式：

其中，θ为收发天线与目标物之间的夹角，计算出目标物的速度，当手势变换运动时，毫米波雷达实时捕捉到手势的位置和速度，从而以很低的计算量获取手势的运动。

主控模块提取毫米波雷达信号的MFCC特征参数。在毫米波雷达信号从低频到高频这一段频带内，将毫米波雷达信号通过一个高通滤波器，提升高频部分，使信号的频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱。再将处理过的毫米波雷达信号乘以汉明窗，增加每帧信号的左端和右端的连续性，经过FFT转换、Mel滤波器组频谱优化和对数运算，得到了MFCC多维的动静态特征参数。

如图5所示，手势识别单元的收发模块具体包括两根收发天线，与收发天线相连的IWR1642雷达传感器芯片，分别与IWR1642雷达传感器芯片相连的低噪声LDO、电源管理芯片PMIC、DC-DC芯片，DC-DC芯片用于降压处理，电源管理芯片PMIC与供电接口相连，供电接口、DC-DC芯片、电源管理芯片PMIC与排母相连，该排母与AloC数据处理板连接。

(2)处理单元

将处理过毫米波雷达信号的频谱图用AI芯片进行处理。处理单元与手势识别单元电连接，处理单元将获取到的MFCC特征参数进行处理。AI芯片先将频谱图在DSP处理器中进行处理，处理图像时采用了3个DSP和一个ARM并行处理方式，运行相同的图片处理程序，负责一个采样点的处理。

如图5所示，AI芯片电路板上设有备用供电口，可与雷达板相连的排针，及集成了3个DSP核和1个ARM核的AloC芯片；排针与几个LDO和几个DCDC芯片相连，其用于给AloC板提供不同的电压；AloC芯片分别与1Gb的LPDDR和2Gb的NAND FLASH存储器相连，AloC芯片还与用于控制***休眠的单片机相连，AloC芯片还设有AloC程序下载口，AloC芯片还连接与后台服务器通信的模块，如4G模块。

图5中的AloC芯片、与雷达板相连的排针、与AloC数据处理板连接的排母、IWR1642雷达传感器芯片可以连接，用于将采集到的雷达信号通过数据总线进行简单的信号处理，传递给AI芯片，Ai芯片再对信号进行更深度的处理(即图4中的DSP和深度学习)。

本发明预先设置分析拟合5种特定手势的初始深度学习模型，5种特定手势分别为向上手势、向下手势、向左手势、向右手势和点手势，对每种手势分别进行10000多次具有轻微差别的训练。采用深度可分解的卷积神经网络，对每种手势的特征向量统一数据集成，形成目标数据库。将MFCC原始手势特征信息输入深度学习网络模型中，进行逐层训练和微调，得到整个深度学习网络的连接权值和偏置参数。深度模型输出手势的类别，判断是否为5种类型的其中一类。本发明使用MobileNet来解决一般神经卷积网络的计算效率和参数量。

深度学习具体步骤：

本发明深度学习模块主要包括了一个深度可分解的卷积神经网络(mobileNet)和全连接层。

深度可分解的卷积神经网络将标准的卷积核分解成一个深度卷积和一个点卷积(1*1卷积核)。深度卷积将每个卷积应用到每一个通道，而点卷积用来组合通道卷积的输出。首先输入F的维度是为DF*DF*M，每一个FilterMap采用的统计量和Scale,shift参数都是共享的。经过标准卷积核K得到输出G的维度为DG*DG*N,所以标准卷积核为M*N*DK*DK。

一个深度卷积经过合并BN层(对输入数据进行缩放和平移，增加两个学***移参数β和缩放参数γ，使得卷积层的输出限制在均值为0方差为1的分布内)和经过ReLU激活函数后，再使一个点卷积经过BN层合并和RuLU函数激活。这个过程所得的输出结果与标准的cnn卷积网络结果基本相同，但是参数明显减少。

全连接层：将最后一个卷积层在合适的卷积核和最佳大小的采样层的情况下，输出降采样到一个一维矩阵。利用提取的特征对信号的每个特征进行分类或预测。对特征图不同区域的特征进行聚合统计。

更具体地说，给手势毫米波雷达反射波进行采样，每秒读取数千次，24GHz毫米波雷达每秒24*109个读数，足以覆盖整个手势运动进程中细微的变化。

首先将雷达三角波信号分解为帧，由于整个手势在1-2秒内即可完成整个手势动作，我们把每帧分化为200us-1ms，将每帧雷达信号序列依此存入一个数据区，用循环队列存储数据，已处理完并提取出了手势特征参数的一帧手势数据可以依次抛弃，让出存储空间来存储新数据，对手势信号通过一阶数字滤波器作预处理。

H(Z)＝1-μz^-1(μ值接近1)

第一步先提升高频部分(预加重)，2倍频程增加频率，将经过一阶数字滤波处理后的信号进行短时处理，用一定的窗函数与雷达波相乘，可得：

s_ω(n)＝s(n)*ω(n)

处理完成后可得到一帧一帧的加过汉明窗的短时信号。

对于每帧短时信号，计算周期功率谱，对一帧信号做短时傅里叶变换，将复杂的信号波分解为空间位置x，y，z上各个方向对应的单独的信号波。为了使信号波具有较高的频率分辨率，选择DFT以及相应FFT点数N1＝1024保证足够多，并加重每帧信号波的高频部分，将每个单独的信号波包含的能量叠加在一起，得到能量谱(幅度谱平方)。为增强***处理信号的性能，将实际的能量谱转化为临界频谱特征。

|x_m(k)|²＝|x_n(e^jwk)|²，k＝0～1023

将能量谱获取若干个临界带频率分割点，分割为24个临界点，在每个临界带中得到相应的临界带特征矢量，用高效的FFT完成；

将mel滤波器应用到能量谱中，计算每个滤波器的能量和；

由于手势在运动过程中，会存在较小的运动偏差，即向左运动的手势有向上运动的趋势，当频率变大时，这种影响更明显。采用配置L个mel三角形滤波器组，每一个三角形滤波器等间隔分配。较窄的滤波器能告诉我们低频率附近的每点能量；当频率变高，滤波器的宽度变大时，能获得高频率的每点能量。

因为毫米波雷达信号具有很多的杂波和干扰信号，直接将所有频点(N维)能量作为特征提取存在非常大的冗余，因此我们用少量filterbank将频域划分成少量子带(比如24个filterbank，这些子带在mel频域是均匀划分的，相邻子带有一半重叠，在自然频域则是低频窄高频宽)，每个子带输出子带能量和作为特征表征该频率段的能量水平，这样就得到24个特征。

计算能量的对数值：

这里首先要对24个子带能量进行同态分析后求对数(倒谱系数)，压缩一下动态范围。由于子带有重叠，所以相邻子带能量有一定冗余，可以采用Karhunen-Loeve变换去相关并选择主成分进行降维，也就是主成分分析。

对每个对数能量进行离散余弦变换(DCT)，进行将为分析：

通过DCT变换对24个子带能量特征进行去相关并降到13维，包括C0-C12，为13维的差分系数，可用来描述手势雷达信号的动态特征，也即手势特征在相邻帧间的变化情况。

保留DCT的2-13个系数，其余系数舍去，舍弃C0，保留C1-C12共12维特征，因为低阶和高阶dct系数都很容易受噪声影响，而中阶系数则相对稳定许多，因此提升倒谱环节，其目的就是抑制C1、C12这类两端的系数，加强C6C7这类中间的系数。

在整个手势运动过程中，反复对信号进行频谱绘图。

在特征系数进行深度学习之前，先设定一个训练集，有N张手势动作的特征频谱图(大概一万多张)，层级中的权重参数得到正确调整。

在模型训练完毕后，发现模型在样本上表现良好，但在新数据上准确率低于或高于某阈值，则发生了过拟合(如低于50％或高于90％)；在模型训练阶段采用交叉验证来检测是否发生了过拟合。基本方法是将训练数据分为一个或多个数据集，用一部分数据集训练模型，另一部分验证模型准确度，如果分类结果在训练集合和测试集合上相差很多，那么就是产生了过拟合。

假设有N个样本，将每一个样本作为测试样本，其它N-1个样本作为训练样本。这样得到N个分类器，N个测试结果，用这N个结果的平均值来衡量模型的性能。

将频谱图输入到深度神经网络中，频谱绘图输入一个像素值数组，经过几个深度值相同的过滤器(通道)，得到一个感受野。当筛选值在图像上滑动(卷积运算)时，过滤器中的值会与图像中的原始像素值相乘(又称为计算点积)，这些乘积被加在一起，过滤器滑过所有位置后将得到激活映射(activation map)或特征映射(feature map)。

卷积网络的过程：

输入→卷积→ReLU→卷积→ReLU→池化→ReLU→卷积→ReLU→池化→全连接

第一个卷积层的输出是第二个卷积层的输入，第一层的输入是原始图像，而第二卷积层的输入正是第一层输出的激活映射。特征量经过多组过滤器后，得到更为复杂的激活映射，最后经过池化层输出一个5维向量，即5个分类器，全连接层判断输出与哪一分类器最为吻合。

为了提高卷积网络的计算效率和解决神经网络中参数量膨胀的问题，在卷积层中，对卷积核进行线性组合分解。即过滤器中的值与原始像素值相乘，原本数值为s*s*n*m(s*s为标准卷积核，n为输出维度，m为输入维度)的标准3D卷积替换为一个逐个通道处理的2D卷积和一个3D的点卷积(1*1)。分解后的卷积参数量为s*s*m+n*m。

(3)判别输出单元

分别与手势识别单元和处理单元相连，将手势识别单元获取到的待测手势信号的MFCC特征参数向量与目标数据库中的MFCC特征参数向量进行比对，得到相似度最高的那个手势为判定的手势，并将获取到手势信号识别结果，如输出1为向左手势，2为向右手势，3为向上手势，4为向下手势，5为点手势，将识别结果上传至终端显示。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种基于毫米波雷达的手势识别***，其特征在于包括：

手势识别单元，包括用于收发手势变换所产生的毫米波雷达信号的收发模块，和用于提取收发模块所获取毫米波雷达信号的MFCC特征参数的主控模块；

处理单元，与手势识别单元相连，用于将主控模块得到的频谱图用AI芯片进行处理，处理单元包括深度学习模块，其对多种手势分别进行多次训练，利用深度可分解的卷积神经网络和全连接层，对每种手势的MFCC特征向量统一数据集成，形成目标数据库；

判别输出单元，分别与手势识别单元和处理单元相连，利用手势识别单元获取待测手势信号，并将其与处理单元的目标数据库进行比对，以相似度为判别依据，将识别结果上传至终端显示。

2.根据权利要求1所述的基于毫米波雷达的手势识别***，其特征在于：所述目标数据库中包括五个类别的特定手势，为向上手势、向下手势、向左手势、向右手势和点手势。

3.根据权利要求1所述的基于毫米波雷达的手势识别***，其特征在于：所述收发模块包括毫米波雷达传感器和收发天线；通过计算从收发天线发射无线电波到天线收到反射波的延时可计算得到目标手势的位置，通过收发天线与目标手势之间的夹角、收发天线发出发射波和收发天线收到反射波的波长变化，利用多普勒频移公式可计算得到目标手势的变换速度。

4.根据权利要求3所述的基于毫米波雷达的手势识别***，其特征在于：所述毫米波雷达传感器的发射频率为24GHz。

5.根据权利要求1所述的基于毫米波雷达的手势识别***，其特征在于，所述提取MFCC特征参数的过程包括：

1)判断毫米波雷达信号是否位于低频到高频的频带内；

2)如果步骤1)中的判断结果为是，则将毫米波雷达信号通过高频滤波器提升高频部分；

3)将步骤2)中处理得到的毫米波雷达信号经过加汉明窗、FFT转换、Mel滤波器组频谱优化和对数运算后，得到MFCC多维的动静态特征参数。

6.根据权利要求5所述的基于毫米波雷达的手势识别***，其特征在于，还包括以下步骤：将毫米波雷达信号分解为帧，将每帧毫米波雷达信号序列依此存入一个数据区，用循环队列存储数据，已处理完成并提取出了手势MFCC特征参数的一帧手势数据依次抛弃，以让出存储空间来存储新数据。

7.根据权利要求1所述的基于毫米波雷达的手势识别***，其特征在于：所述深度可分解的卷积神经网络包括一个深度卷积和一个点卷积，深度卷积将每个卷积应用到每一个通道，点卷积用来组合通道卷积的输出。

8.根据权利要求7所述的基于毫米波雷达的手势识别***，其特征在于：所述一个深度卷积经过合并BN层和经过ReLU激活函数后，再使一个点卷积经过BN层合并和RuLU函数激活。

9.根据权利要求1所述的基于毫米波雷达的手势识别***，其特征在于：所述AI芯片采用DSP处理器和ARM处理器并行处理。