CN110348288B - 一种基于77GHz毫米波雷达信号的手势识别方法 - Google Patents

一种基于77GHz毫米波雷达信号的手势识别方法 Download PDF

Info

Publication number
CN110348288B
CN110348288B CN201910445702.3A CN201910445702A CN110348288B CN 110348288 B CN110348288 B CN 110348288B CN 201910445702 A CN201910445702 A CN 201910445702A CN 110348288 B CN110348288 B CN 110348288B
Authority
CN
China
Prior art keywords
spectrogram
time
gesture
distance
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910445702.3A
Other languages
English (en)
Other versions
CN110348288A (zh
Inventor
赵占锋
刘多
周志权
赵宜楠
冯翔
陈雄兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN201910445702.3A priority Critical patent/CN110348288B/zh
Publication of CN110348288A publication Critical patent/CN110348288A/zh
Application granted granted Critical
Publication of CN110348288B publication Critical patent/CN110348288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于77GHz毫米波雷达信号的手势识别方法，包括首先通过雷达获取不同手势动作的中频信号，并创新性地利用一种改进的小波阈值函数对其低频系数进行预处理，解决了由于天线耦合现象造成的近距离手势无法识别的问题，其次，对预处理后的中频信号提取时间‑距离谱图、时间‑速度谱图以及时间‑角度谱图，创新地将三种特征谱图进行拼接得到多元化特征图，并输入到卷积神经网络进行训练，优化了传统识别算法信息表达不完备的问题，同时也有利于网络结构的简化，且最终取得较好的识别效果。

Description

一种基于77GHz毫米波雷达信号的手势识别方法
技术领域
本发明涉及雷达信号处理识别技术领域，特别涉及一种基于77GHz毫米波雷达信号的手势识别方法。
背景技术
自二十一世纪以来，随着计算机技术突飞猛进的发展，人机交互技术已成为当今重大学科技术之一。目前，常用的人机交互方法是以鼠标和键盘作为机械式输入设备，然而，这些方法没有办法实现简单、高效、高度自由的人与计算机的信息互动。在计算机与信号处理领域发展过程中，手势识别技术以其生动、形象、直观、高效的表达特点拥有着越来越多的应用场景，例如智能家居***、手语实时教学***、手势操控游戏***等等。伴随着人机交互技术的飞速发展，手势识别技术目前已经成为了国内外各学者的研究热点。
传统的手势识别技术绝大多数都是基于视频和图像的，例如微软公司的体感设备Kinect，就是利用3D体感摄像头和光编码技术形成有深度的场景图，通过评估景深图像的像素级，进行图像深度识别，再结合人体骨骼追踪技术来捕捉人体的各个部位或者手势动作。然而，传统的基于图像或视频的手势识别方法存在一定的局限性。首先，传统的基于图像的手势识别技术的识别正确率极易受到光照、天气以及工作环境等因素的影响。其次，传统的基于图像或视频的手势识别方法也容易受到遮挡的影响，如墙壁、书柜等等，当手势执行者位于墙后或者房间中某处被部分或者完全遮挡的位置时，这种方法就会完全行不通。此外，传统的基于图像或视频的手势识别方法也存在用户隐私泄露的风险。在个人信息高度敏感的时代，这种方法造成的隐私泄露问题可能会产生很严重的后果。最后，传统的基于图像或视频的手势识别方法对计算资源与能耗的要求相对都比较高，一般情况下都需要独立的外界供电***，这使得其应用场景与规模都受到很大的限制。
相比于传统基于视频或图像的手势识别方法而言，基于雷达信号的手势识别方法通常具有非接触，不受光照、天气以及工作环境影响等特点，能够有效解决光照不足等条件影响识别正确率的问题。同时雷达也具有一定的穿透遮挡传播的功能，能够有效地避免墙、书柜等遮挡物的影响，使得手势执行者在被完全遮挡或部分遮挡的情况下实现手势控制与交互成为可能。并且基于雷达信号的手势识别方法能够有效地消除由于拍摄视频或图像引起的用户隐私泄露问题，这一优点在保护用户隐私的同时也保障了用户的安全性。此外，雷达传感器大多都能集成在能耗比较低的高质量芯片上，能够大大降低识别的成本并减少计算复杂性，大大增加手势识别技术的应用场景与规模。77GHz毫米波雷达以其质量轻、体积小的特点，得到越来越广泛的应用。同时，77GHz毫米波雷达很容易就能达到更高的空间分辨率，使得测距、测角、测速的精度更高。结合目前77GHz毫米波雷达在智能驾驶、智能家居等方面的应用，基于77GHz毫米波雷达的手势识别技术拥有着非常广泛的应用前景。
现有的基于雷达信号的手势识别方法中存在以下问题。首先，针对由于发射天线和接收天线耦合产生的能量较大的低频信号而言，目前的方法都是从距离域进行截取，丢掉近距离信息。事实上，对于动态的手势动作而言，当手势距离雷达较近时，这种做法会将有用的手势信号一起去除掉，是不科学的。其次，目前对雷达角度信息的利用较少，没有充分利用雷达所能提供的有用信息，且在构建卷积神经网络的输入数据集时缺乏对特征谱图的信息融合，增加了后期的卷积神经网络的设计难度。
发明内容
本发明的目的是提供一种去除由于发射天线和接收天线耦合产生的能量较大的低频信号的方法，并提供一种雷达手势信号多元化特征图谱的构建方法。与传统手势识别技术相比，一方面可以对近距离手势信号进行识别，进一步增大了手势识别技术的应用场景；另一方面使得手势信号特征表达更加完备，解决了以往手势信息量描述较低的问题，并有利于简化后期卷积神经网络的设计，便于实现多种手势的精确分类。
本发明所述的一种基于77GHz毫米波雷达信号的手势识别方法，包括以下步骤：
步骤一、设计N个手势动作，以N＝4为例，设计打钩、径向挥手、顺时针旋转和逆时针旋转四种手势动作，并由不同的志愿者在微波暗室环境下进行相应手势的数据采集，总共得到4*ClassNum组数据；
步骤二、将发射信号ST(t)和接收信号SR(t)通过混频器，得到混频信号SMIX(t)，SMIX(t)通过低通滤波器，解析出中频信号x(t)，并从中频信号中提取相应的接收天线对应的信号SNI\Q(t)；
步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SNI\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号
Figure GDA0002190221990000021
步骤四、对中频信号
Figure GDA0002190221990000022
进行处理，估计出手势动作的时间-距离谱图、时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理；
步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度谱图进行拼接，构造多元化特征谱图A；
步骤六、对采集到的4*ClassNum组手势回波数据分别进行步骤二-步骤六的操作，得到4*ClassNum组原始手势信号多元化特征谱图集
Figure GDA0002190221990000031
步骤七、将步骤六得到的多元化特征谱图集
Figure GDA0002190221990000032
中的每一个样本均进行灰度化处理，得到原始多元化特征图集B；
步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一化，得到多元化特征图集
Figure GDA0002190221990000033
并对每一幅特征图贴标签；
步骤九、将多元化特征图集
Figure GDA0002190221990000034
按照一定的比例分成训练集Strain、验证集Sval和测试集Stest，例如训练集占70％、验证集占20％、测试集占10％；
步骤十、将Strain、Sval和其对应的标签一起作为卷积神经网络的输入数据集Cinput，并初始化网络权重，其中Strain用来对网络系数进行训练，Sval在训练一段时间后进行网络验证，并通过误差对网络的权值进行调整；
步骤十一、将输入数据集Cinput进行一次卷积池化操作，设置卷积核的尺度kernel_size1、卷积步长kernel_stride1以及池化尺寸pool_size1、池化步长pool_stride1，得到特征图集feature1；
步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置卷积核的尺寸kernel_size2、卷积步长kernel_stride2以及池化尺寸pool_size2、池化步长pool_stride2，得到特征图集feature2；
步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特征，设置卷积核的尺寸kernel_size3、卷积步长kernel_stride3以及池化尺寸pool_size3、池化步长pool_stride3，得到特征图集feature3；
步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置fc4、fc5、fc6的尺寸大小为size4、size5、size6，将特征图集转换成1×size6的列向量v1；
步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型Netmodel。
步骤十六、将测试数据集Stest加载到Netmodel中，得到手势分类结果y。
所述步骤三包括以下步骤：
3.1选取合适的小波基函数，对手势中频信号SNI\Q(t)进行N层小波变换，得到近似系数A(i)和细节系数D(1，i)、D(2，i)、…、D(N，i)；
3.2对低频系数A(i)做阈值处理，即
Figure GDA0002190221990000041
Ai'＝mAi+(1-m)sgn(Ai)(|Ai|-n)
Figure GDA0002190221990000042
Figure GDA0002190221990000043
Figure GDA0002190221990000044
3.3利用
Figure GDA0002190221990000045
D(1，i)、D(2，i)、…、D(N，i)对信号进行重构，得到预处理后的手势中频信号x'(t)。
所述步骤四包括以下步骤：
4.1提取时间-距离谱图：首先在快时间域内作FFT，接着在慢时间域内加权求平均，最后进行帧间累积即可得到时间-距离谱图，尺寸大小为FFTNum1*FrameNum；
4.2提取时间-速度谱图：首先以帧为单位进行二维FFT，得到距离-多普勒图，接着搜索距离-多普勒图的最大值，并提取该最大值所在行，以该行的速度信息作为当前帧信号的速度，最后在帧间进行累积得到时间-速度谱图，尺寸大小为FFTNum2*FrameNum；
4.3提取时间-角度谱图：首先以帧为单位，对N个接收天线的对应帧信号分别做二维FFT，得到N幅距离-多普勒图。对N幅距离-多普勒图分别提取最大值，并将最大值排列成1×N的一维向量，对该一维向量做FFT，即可得到当前帧信号对应的速度信息，最后在帧间进行累积即可得到时间-角度图，尺寸大小为FFTNum3*FrameNum；
4.4数值归一化处理：首先要对每一个特征谱图进行离差标准化，具体地，以时间-距离谱图D为例，对其按如下公式进行数值缩放：
Figure GDA0002190221990000046
通过上述缩放操作，时间-距离谱图中的每一值均落在[0，1]范围内。
附图说明：
图1为本发明的流程图。
图2为本发明中设计识别的具体手势动作。
图3为各手势动作小波低频阈值处理仿真图。
图4为各手势动作的时间-距离谱图仿真图。
图5为各手势动作的时间-速度谱图仿真图。
图6为各手势动作的时间-角度谱图仿真图。
图7为各手势动作的多元化特征图(归一化后的结果)。
图8为卷积神经网络的网络架构。
图9为表1。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
以四种手势为例：
步骤一、设计打钩、径向挥手、顺时针旋转和逆时针旋转四种手势动作，如图2所示，首先对77GHz毫米波雷达的相关参数进行配置。本专利中，设置采样频率为2000kHz，帧周期为55ms，每次采集100帧数据，每帧内有128个chirp信号，每个chirp信号有64个采样点。天线采用一发四收，即一个发射天线、四个接收天线，并在微波暗室环境下由三名志愿者进行相应的手势数据采集；
步骤二、将发射信号ST(t)与接收信号SR(t)通过混频器进行混频，得到混频信号SMIX(t)，并将SMIX(t)通过低通滤波器，获得中频信号x(t)，并从中频信号中提取相应的接收天线对应的信号SNI\Q(t)，具体步骤如下：
步骤：2-1雷达发射信号的具体表达式为：
Figure GDA0002190221990000051
Figure GDA0002190221990000052
其中，AT为发射信号的幅值，fc为载波频率，T为锯齿波周期，B为信号带宽，fT(t)为T时间内发射信号的频率；
步骤2-2雷达接收信号是发射信号延迟Δt后的结果，其结果如下：
Figure GDA0002190221990000053
Figure GDA0002190221990000054
其中，AR为接收信号的幅值，fR(t)为T时间内接收信号的频率，Δf为频率偏移；
步骤2-3：将发射信号ST(t)和接收信号SR(t)通过混频器，得到混频信号SMIX(t)的表达式如下：
SMIX(t)＝ST(t)SR(t)
步骤2-4：将混频信号SMIX(t)通过低频滤波器，得到中频信号x(t)表达式如下：
Figure GDA0002190221990000055
步骤2-5：采用一发四收，四个接收天线共有8路I\Q通道，将中频信号x(t)每隔8个点赋值给一路数据，即可提取出没路天线对应的中频信号SNI\Q(t)；
步骤三、由于发射天线和接收天线的耦合现象，手势中频信号中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SNI\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号
Figure GDA0002190221990000061
具体步骤如下：
步骤3-1：选择Sym6作为小波基函数，对手势中频信号
Figure GDA0002190221990000062
进行三层小波分解后，得到近似系数A(i)，细节系数D(1，i)、D(2，i)、D(3，i)，
步骤3-2：对其低频系数A(i)进行阈值处理，即
Figure GDA0002190221990000063
Ai'＝mAi+(1-m)sgn(Ai)(|Ai|-n)
Figure GDA0002190221990000064
Figure GDA0002190221990000065
Figure GDA0002190221990000066
步骤3-3：用
Figure GDA0002190221990000067
D(1，i)、D(2，i)、D(3，i)进行重构，即得到预处理后的信号x'(t)，各手势动作小波低频阈值处理仿真结果如图3所示。
步骤四、对中频信号
Figure GDA0002190221990000068
进行处理，估计出手势动作的时间-距离谱图、时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理。具体步骤如下：
4.1提取时间-距离谱图：首先在快时间域内作FFT，接着在慢时间域内加权求平均，最后进行帧间累积即可得到时间-距离谱图，尺寸大小为FFTNum1*FrameNum，各手势动作时间-距离谱图仿真结果如图4所示；
4.2提取时间-速度谱图：首先以帧为单位进行二维FFT，得到距离-多普勒图，接着搜索距离-多普勒图的最大值，并提取该最大值所在行，以该行的速度信息作为当前帧信号的速度，最后在帧间进行累积得到时间-速度谱图，尺寸大小为FFTNum2*FrameNum，各手势动作时间-速度谱图仿真结果如图5所示；
4.3提取时间-角度谱图：首先以帧为单位，对N个接收天线的对应帧信号分别做二维FFT，得到N幅距离-多普勒图。对N幅距离-多普勒图分别提取最大值，并将最大值排列成1×N的一维向量，对该一维向量做FFT，即可得到当前帧信号对应的速度信息，最后在帧间进行累积即可得到时间-角度图，尺寸大小为FFTNum3*FrameNum，各手势动作时间-角度谱图仿真结果如图6所示；
4.4数值归一化处理：首先要对每一个特征谱图进行离差标准化，具体地，以时间-距离谱图D为例，对其按如下公式进行数值缩放：
Figure GDA0002190221990000071
通过上述缩放操作，时间-距离谱图中的每一值均落在[0，1]范围内。
步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度谱图按列进行拼接，构造多元化特征谱图A其尺寸大小为(FFTNum1+FFTNum2+FFTNum3)*FrameNum；
步骤六、对采集到的4*ClassNum组手势回波数据分别进行步骤二-步骤六的操作，得到4*ClassNum组原始手势信号多元化特征谱图集
Figure GDA0002190221990000072
步骤七、将步骤六得到的多元化特征谱图集
Figure GDA0002190221990000073
中的每一个样本均进行灰度化处理，得到原始多元化特征图集B；
步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一化，得到多元化特征图集
Figure GDA0002190221990000074
各手势动作多元化特征图结果如图7所示，并对每一幅特征图贴标签，集体步骤如下：
8.1依据下式，求多元化特征图集B内所有样本的均值
Figure GDA0002190221990000075
这里值得注意的是，这里是对多元化数据集B内的所有样本求均值，而不是只针对某一类手势在类内求均值；
8.2对多元化特征图集B内的任一样本进行均值消去，即
Figure GDA0002190221990000076
8.3对多元化特征图集
Figure GDA0002190221990000077
进行尺度归一化：将数据集中各特征图的尺度归一化为Hight×Width，具体地，当原始特征图尺寸大于Hight×Width时进行下采样，反之进行上采样，最终得到归一化的多元化特征图集
Figure GDA0002190221990000078
步骤九、将多元化特征图集
Figure GDA0002190221990000079
按照一定的比例分成训练集Strain、验证集Sval和测试集Stest，例如训练集占70％、验证集占20％、测试集占10％；
步骤十、将Strain、Sval和其对应的标签一起作为卷积神经网络的输入数据集Cinput，并初始化网络权重，其中Strain用来对网络系数进行训练，Sval在训练一段时间后进行网络验证，并通过误差反向传播对网络的权值进行调整；
步骤十一、将输入数据集Cinput进行一次卷积池化操作，设置卷积核的尺度11×11、卷积步长4以及池化尺寸3×3、池化步长2，得到特征图集feature1；
步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置卷积核的尺寸5×5、卷积步长1以及池化尺寸3×3、池化步长2，得到特征图集feature2；
步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特征，设置卷积核的尺寸3×3、卷积步长1以及池化尺寸3×3、池化步长2，得到特征图集feature3；
步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置fc4、fc5、fc6的尺寸大小为4096、2048、1000，将特征图集转换成1×1000的列向量v1；
步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型Netmodel。
步骤十六、将测试数据集Stest加载到Netmodel中，得到手势分类结果y，得到手势数据分类结果如表1。

Claims (2)

1.一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于，包括以下步骤：
步骤一、设计N个手势动作，并由不同的志愿者在微波暗室环境下进行相应手势的数据采集，总共得到N*ClassNum组数据；
步骤二、对雷达原始数据进行解析，获得中频信号x(t)，并从中频信号中提取相应的接收天线对应的中频信号SNI\Q(t)；
步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SNI\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号
Figure FDA0004036335390000011
步骤四、对中频信号
Figure FDA0004036335390000012
进行处理，估计出手势动作的时间-距离谱图、时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理；
步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度谱图进行拼接，构造多元化特征谱图A；
步骤六、对采集到的N*ClassNum组手势回波数据分别进行步骤二-步骤六的操作，得到N*ClassNum组原始手势信号多元化特征谱图集
Figure FDA0004036335390000013
步骤七、将步骤六得到的多元化特征谱图集
Figure FDA0004036335390000014
中的每一个样本均进行灰度化处理，得到原始多元化特征图集B；
步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一化，得到多元化特征图集
Figure FDA0004036335390000015
并对每一幅特征图贴标签；
步骤九、将多元化特征图集
Figure FDA0004036335390000016
按照一定的比例分成训练集Strain、验证集Sval和测试集Stest；
步骤十、将Strain、Sval和其对应的标签一起作为卷积神经网络的输入数据集Cinput，并初始化网络权重，其中Strain用来对网络系数进行训练，Sval在训练一段时间后进行网络验证，并通过误差反向传播对网络的权值进行调整；
步骤十一、将输入数据集Cinput进行一次卷积池化操作，设置卷积核的尺度kernel_size1、卷积步长kernel_stride1以及池化尺寸pool_size1、池化步长pool_stride1，得到特征图集feature1；
步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置卷积核的尺寸kernel_size2、卷积步长kernel_stride2以及池化尺寸pool_size2、池化步长pool_stride2，得到特征图集feature2；
步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特征，设置卷积核的尺寸kernel_size3、卷积步长kernel_stride3以及池化尺寸pool_size3、池化步长pool_stride3，得到特征图集feature3；
步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置fc4、fc5、fc6的尺寸大小为size4、size5、size6，将特征图集转换成1×size6的列向量v1；
步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型Netmodel；
步骤十六、将测试数据集Stest加载到Netmodel中，得到手势分类结果y；
所述步骤三中的预处理方法，具体包括：
步骤3-1针对由于发射天线和接收天线耦合产生的能量较大的低频信号，运用一种改进的小波阈值函数进行去除，该阈值函数如式1所示：
Figure FDA0004036335390000021
其中
Wj,k(m,n)＝mωj,k+(1-m)sgn(ωj,k)(|ωj,k|-n)
Figure FDA0004036335390000022
Figure FDA0004036335390000023
Figure FDA0004036335390000024
改进的阈值函数在λ和-λ处连续，调节α和β的值使得该方法适应多种噪声场景的需求；
步骤3-2针对干扰信号的特点，对手势中频信号
Figure FDA0004036335390000025
进行N层小波分解后，得到近似系数A(i)，细节系数D(1，i)、D(2，i)、···、D(N，i)，只对其低频系数A(i)进行阈值处理，即
Figure FDA0004036335390000026
Ai'＝mAi+(1-m)sgn(Ai)(|Ai|-n)
Figure FDA0004036335390000031
Figure FDA0004036335390000032
Figure FDA0004036335390000033
紧接着再用
Figure FDA0004036335390000034
D(1，i)、D(2，i)、···、D(N，i)进行重构，即得到预处理后的信号x'(t)。
2.根据权利要求1中所述的一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于：所述步骤五中多元化特征谱图A的构建，具体包括：
步骤5-1：提取时间-距离谱图：首先在快时间域内作FFT，接着在慢时间域内加权求平均，最后进行帧间累积即可得到时间-距离谱图，尺寸大小为FFTNum1*FrameNum；
步骤5-2：提取时间-速度谱图：首先以帧为单位进行二维FFT，得到距离-多普勒图，接着搜索距离-多普勒图的最大值，并提取该最大值所在行，以该行的速度信息作为当前帧信号的速度，最后在帧间进行累积得到时间-速度谱图，尺寸大小为FFTNum2*FrameNum；
步骤5-3：提取时间-角度谱图：首先以帧为单位，对N个接收天线的对应帧信号分别做二维FFT，得到N幅距离-多普勒图，对N幅距离-多普勒图分别提取最大值，并将最大值排列成1×N的一维向量，对该一维向量做FFT，即可得到当前帧信号对应的速度信息，最后在帧间进行累积即可得到时间-角度图，尺寸大小为FFTNum3*FrameNum；
步骤5-4：构建多元化特征谱图A：上述方法提取到的三种特征谱图具有相同的列数，三种谱图分别进行归一化后，将归一化后的特征谱图以行进行拼接即可得到多元化特征谱图，尺寸大小为(FFTNum1+FFTNum2+FFTNum3)*FrameNum。
CN201910445702.3A 2019-05-27 2019-05-27 一种基于77GHz毫米波雷达信号的手势识别方法 Active CN110348288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445702.3A CN110348288B (zh) 2019-05-27 2019-05-27 一种基于77GHz毫米波雷达信号的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445702.3A CN110348288B (zh) 2019-05-27 2019-05-27 一种基于77GHz毫米波雷达信号的手势识别方法

Publications (2)

Publication Number Publication Date
CN110348288A CN110348288A (zh) 2019-10-18
CN110348288B true CN110348288B (zh) 2023-04-07

Family

ID=68174720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445702.3A Active CN110348288B (zh) 2019-05-27 2019-05-27 一种基于77GHz毫米波雷达信号的手势识别方法

Country Status (1)

Country Link
CN (1) CN110348288B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110687816A (zh) * 2019-10-31 2020-01-14 复旦大学 基于毫米波雷达的智能家居控制***和方法
CN110988863A (zh) * 2019-12-20 2020-04-10 北京工业大学 一种新的毫米波雷达手势信号处理方法
CN113408328B (zh) * 2020-03-16 2023-06-23 哈尔滨工业大学（威海） 基于毫米波雷达的手势分割与识别算法
CN111461037B (zh) * 2020-04-07 2023-04-07 电子科技大学 一种基于fmcw雷达的端到端手势识别方法
CN111929674B (zh) * 2020-07-10 2022-10-04 西安电子科技大学 一种基于神经网络的智能比幅测角方法、存储介质及设备
CN112183279B (zh) * 2020-09-21 2022-06-10 中国人民解放军国防科技大学 基于iq图特征的通信辐射源个体识别方法
CN112148128B (zh) * 2020-10-16 2022-11-25 哈尔滨工业大学 一种实时手势识别方法、装置及人机交互***
CN112198966B (zh) * 2020-12-08 2021-03-16 中南大学 基于fmcw雷达***的笔画识别方法以及***
CN112446348B (zh) * 2020-12-08 2022-05-31 电子科技大学 一种基于特征谱流的行为识别方法
CN113406610B (zh) * 2021-06-16 2023-06-23 深圳大学 一种目标检测方法、装置、设备和存储介质
CN113567950B (zh) * 2021-09-24 2021-12-17 巍泰技术(武汉)有限公司 一种毫米波雷达距离速度谱估计方法及***
CN114114223A (zh) * 2021-12-01 2022-03-01 长春理工大学 一种基于卷积神经网络的毫米波坐姿检测智慧台灯

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055089A (zh) * 2016-04-27 2016-10-26 深圳市前海万象智慧科技有限公司 基于人机交互设备的手势识别的控制***及其控制方法
CN106295684A (zh) * 2016-08-02 2017-01-04 清华大学 一种基于微多普勒特征的动态连续/非连续手势识别方法
CN108509910A (zh) * 2018-04-02 2018-09-07 重庆邮电大学 基于fmcw雷达信号的深度学习手势识别方法
CN109271838A (zh) * 2018-07-19 2019-01-25 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055089A (zh) * 2016-04-27 2016-10-26 深圳市前海万象智慧科技有限公司 基于人机交互设备的手势识别的控制***及其控制方法
CN106295684A (zh) * 2016-08-02 2017-01-04 清华大学 一种基于微多普勒特征的动态连续/非连续手势识别方法
CN108509910A (zh) * 2018-04-02 2018-09-07 重庆邮电大学 基于fmcw雷达信号的深度学习手势识别方法
CN109271838A (zh) * 2018-07-19 2019-01-25 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Zhanfeng Zhao.Feature Extraction and Identification of Pipeline Intrusion Based on Phase-Sensitive Optical Time Domain Reflectometer.《Web of science》 .2019,全文. *
张佳俊.基于5GHz频段雷达的手势识别***研究.《CNKI》 .2018,全文. *

Also Published As

Publication number Publication date
CN110348288A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348288B (zh) 一种基于77GHz毫米波雷达信号的手势识别方法
Liu et al. Deep learning and recognition of radar jamming based on CNN
CN107024685A (zh) 一种基于距离‑速度特征的手势识别方法
CN112001306A (zh) 基于深度卷积对抗生成神经网络的脑电信号解码方法
Zhao et al. Cubelearn: End-to-end learning for human motion recognition from raw mmwave radar signals
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
CN111784560A (zh) 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
WO2023029390A1 (zh) 一种毫米波雷达手势检测识别方法
CN103473559A (zh) 基于nsct域合成核的sar图像变化检测方法
CN113376600A (zh) 一种基于RSDNet的行人雷达回波去噪方法
CN113408328A (zh) 基于毫米波雷达的手势分割与识别算法
CN114037891A (zh) 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Tang et al. MDPose: Human skeletal motion reconstruction using WiFi micro-Doppler signatures
CN113111706B (zh) 一种面向方位角连续缺失的sar目标特征解缠与识别方法
Li et al. Image reflection removal using end‐to‐end convolutional neural network
CN113901931A (zh) 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法
CN112241001A (zh) 雷达人体动作识别方法、装置、电子设备和存储介质
Yang et al. Extraction and denoising of human signature on radio frequency spectrums
CN116794602A (zh) 一种应用于干扰环境下的毫米波雷达动态手势识别方法
CN116012934A (zh) 基于雷达距离多普勒图和ir-st的人体跌倒识别方法
Sheng et al. Dyliteradhar: Dynamic lightweight slowfast network for human activity recognition using mmwave radar
CN115345216A (zh) 一种融合先验信息的fmcw雷达干扰消除方法
CN110659598B (zh) 一种基于Wi-Fi信号的人体动作分层解析和识别方法及装置
CN114580468A (zh) 一种基于时频瀑布图和卷积神经网络的干扰信号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant