CN111461037B - 一种基于fmcw雷达的端到端手势识别方法 - Google Patents

一种基于fmcw雷达的端到端手势识别方法 Download PDF

Info

Publication number
CN111461037B
CN111461037B CN202010263886.4A CN202010263886A CN111461037B CN 111461037 B CN111461037 B CN 111461037B CN 202010263886 A CN202010263886 A CN 202010263886A CN 111461037 B CN111461037 B CN 111461037B
Authority
CN
China
Prior art keywords
radar
gesture
network
neural network
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010263886.4A
Other languages
English (en)
Other versions
CN111461037A (zh
Inventor
武俊杰
李楚杨
易志伟
杨建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010263886.4A priority Critical patent/CN111461037B/zh
Publication of CN111461037A publication Critical patent/CN111461037A/zh
Application granted granted Critical
Publication of CN111461037B publication Critical patent/CN111461037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于FMCW雷达的端到端手势识别方法，本发明的方法基于FMCW雷达采集手势回波，采用端到端的算法设计思想，利用残差思想及注意力机制设计能够完成特征自动提取及筛选的一维卷积神经网络，并连同LSTM网络完成对单个手势的时序特征利用，从而进行手势分类。由于采取端到端设计思想，可以有效地解决自定义特征效果欠佳，提取不充分的问题，且由于全过程对一维数据进行操作，参数量相较于基于二维数据的识别算法显著降低；并且由于使用循环神经网络中的长短时记忆思想，算法对于数据的时序特征提取充分，并能识别出时序信息中的长时依赖，获得更好的识别效果。本发明的方法也适用于基于毫米波雷达的人体行为的识别。

Description

一种基于FMCW雷达的端到端手势识别方法
技术领域
本发明属于毫米波雷达手势识别技术领域，具体涉及基于线性调频连续波(Frequency Modulated Continuous Wave，FMCW)雷达的端到端手势识别方法。
背景技术
手势是一种产生时间较早，表意较为直接的人类沟通信息方式，因其在人日常生活中所起到的举足轻重的作用，手势识别在计算机信号处理领域具有十分重要的地位，是其中研究历史最久，应用场景最多的模式识别技术之一。
目前较为成熟的手势识别技术，大多基于图像与视频等视觉媒介，然而传统的基于光学图像的手势识别技术有着若干局限性。首先，传统基于光学图像的手势识别技术的识别率受到光照条件的限制；同时，设备视距有限，易受阻挡等问题也是基于光学的手势识别技术存在的缺陷；再者，传统基于图像的手势识别技术对运算资源的要求相对较高；并且光学图像的采集存在隐私等伦理问题。相较而言，基于雷达的手势识别具有许多优点，其不受光照条件影响，大大扩展了手势识别***的使用范围；其可以很好地集成在能耗较低的芯片上，节能高效的运作大大降低***成本；雷达信号比图像信息更为安全保密，基本不存在涉密隐私问题。可以看出，基于雷达信号处理的收拾识别具有较大的研究意义，具有广泛的应用场景。
现有基于雷达的手势识别算法，多从雷达回波的信号处理角度入手，对于收取回波进行预处理及具体的特征提取，后通过机器学习或深度学习算法进行学习。如文献“ChenZ,Li G,Fioranelli F，et al.Dynamic Hand Gesture Classification Based onMultistatic Radar Micro-Doppler Signatures Using Convolutional Neural Network[C].IEEE Radar Conference,2019:1-5.”基于毫米波雷达发射的线性调频信号，对回波进行短时傅里叶变换以获得手势的时频特征，后通过卷积神经网络进行手势分类；文献“RyuS J,Suh J S,Baek S H,et al.Feature-based hand gesture recognition using anFMCW radar and its temporal feature analysis[J].IEEE Sensors Journal,2018,18(18):7593-7602”中，利用二维傅里叶变换获得手势目标的距离-多普勒图，并在距离-多普勒图中进一步提取特征，以供后续算法学习，此种定义具体特征的预处理方式具有较好的可解释性，但特征提取步骤繁琐，且容易出现特征提取不充分，泛化能力不强等问题。此外，大多现有的手势识别算法提取特征为二维化图像特征，对一维信号二维化处理会导致较大的参数量，并且存在未将手势的时序信息充分利用的可能性。
发明内容
针对现有手势识别算法存在的上述问题，本发明提出了一种基于FMCW雷达的端到端手势识别方法。
本发明的技术方案为：一种基于FMCW雷达的端到端手势识别方法，具体包括如下步骤：
S1.设置雷达***参数，所述设置的参数包括：雷达载频fc，信号带宽B，信号时宽T，脉冲重复频率PRF，调频斜率K，距离向采样点数n；
S2.设计手势；
S3.手势数据采集及信号预处理，利用FMCW雷达***进行四通道手势数据采集，获得回波信号sr(t，n)，其中，t为快时间变量，即单个线性调频脉冲内时间，n为慢时间变量，即线性调频脉冲数，对于采集的回波信号以动目标显示的方式进行杂波抑制，获得预处理后信号
Figure BDA0002440475550000021
S4.建立手势样本数据库，首先对数据进行类别标注，分出训练集，验证集及测试集；
S5.搭建深度神经网络；
S6.对步骤S5搭建的深度神经网络进行训练；
S7.利用训练好的网络，对步骤S3中划分出的测试集进行预测。
进一步的，步骤S5所述的搭建深度神经网络，具体步骤如下：
S51.特征预提取，搭建基于残差结构的一维卷积神经网络，具体包括多个卷积层与池化层，具体输入为四通道的单个线性调频脉冲回波
Figure BDA0002440475550000022
的实部及虚部共八通道数据，i为单个脉冲序数，输出为通道数为64的初步特征提取结果；
S52.特征筛选及融合，搭建基于通道间注意力机制的一维卷积神经网络，对步骤S51中的特征输出进行进一步压缩处理，具体包括多个卷积层与尾部的一层全连接层，并且同样使用残差结构；
S53.序列处理，搭建基于长短时记忆(LSTM)的循环神经网络，用于处理步骤S52中输出的特征向量，所述循环神经网络由双层LSTM层构成；
S54.分类输出，搭建由全连接层和softmax层构成的神经网络，用于获得最终的分类输出。
进一步的，步骤S6所述的对深度神经网络进行训练的具体步骤如下：
S61.设置训练迭代次数、学习率、批大小等网络训练参数；并设置交叉熵损失为训练所使用损失函数，即
Figure BDA0002440475550000023
其中，y为真实标签，
Figure BDA0002440475550000024
为预测标签，log表示以e为底的对数运算；
S62.将步骤S4中划分出的训练集数据送入网络进行迭代训练，对输出的预测结果同真实类别标注送入损失函数，记录损失，更新网络参数，
S63.在每一次迭代完成后，将步骤S4中划分出的验证集数据送入网络进行预测，观察网络对验证集的识别率，判断网络是否过拟合；
S64.每次迭代后判断损失下降程度，以更改学习率或提前终止学习。
更进一步的，步骤S61设置Adam为网络学习的优化算法。
更进一步的，S62具体利用Adam优化算法进行优化，更新网络参数。
本发明的有益效果：本发明的方法基于FMCW雷达采集手势回波，采用端到端的算法设计思想，利用残差思想及注意力机制设计能够完成特征自动提取及筛选的一维卷积神经网络，并连同LSTM网络完成对单个手势的时序特征利用，从而进行手势分类。本发明的方法由于采取端到端设计思想，可以有效地解决自定义特征效果欠佳，提取不充分的问题，且由于全过程对一维数据进行操作，参数量相较于基于二维数据的识别算法显著降低；并且由于使用循环神经网络中的长短时记忆思想，算法对于数据的时序特征提取充分，并能识别出时序信息中的长时依赖，获得更好的识别效果。本发明的方法也适用于基于毫米波雷达的人体行为的识别。
附图说明
图1为本发明的基于FMCW雷达的端到端手势识别方法流程示意图；
图2为本发明实施例的手势动作设计示意图；
图3为本发明实施例的神经网络识别网络整体流程示意图；
图4为本发明实施例的神经网络的特征提取流程示意图；
图5为本发明实施例的神经网络的特征筛选及融合流程示意图；
图6为本发明实施例的神经网络的序列处理及分类输出流程示意图；
图7为本发明实施例的训练损失曲线图；
图8为本发明实施例的混淆矩阵图。
具体实施方式
下面结合附图对本发明的实施例做进一步的说明。
本发明为了解决现有手势识别算法因自定义特征而可能出现的特征使用不充分导致识别效果欠佳的问题，通过端到端的深度学习算法设计，实现网络对于手势特征的自动提取及优化。卷积神经网络因具备卷积和非线性激活函数的操作，故具有很强的非线性拟合能力，而针对一维信号而言，卷积操作同样具备拟合传统信号处理算法的能力，例如短时傅里叶变换可以等效为带有确定系数的一维卷积操作，故利用一维卷积神经网络提取回波特征，具有较强的实操性。同时，由于本发明利用一维卷积神经网络处理一维信号，从而相较于从一维信号中提取二维特征，进而相较于利用二维卷积神经网络进行处理的方案具有参数量的显著减少。本发明对经前序网络提取的手势特征输入由两层LSTM构成的循环神经网络层，循环神经网络对时序数据具有较强的处理能力，而LSTM作为循环神经网络中的代表架构，其具有对长时间距离的信息依赖良好识别的特性，故此种设计可以有效利用手势的时序特征。本发明具有手势特征提取效率高、特征利用充分、整体算法参数量较小的突出优点。
具体流程图如图1所示，包括六部分，依次为：A0.雷达***参数设置；A.手势动作设计；B.手势数据采集及信号预处理；C.手势样本库的建立；D.深度神经网络的搭建；E.网络训练及测试。
A0.***参数初始化：
具体初始化的参数如下表1所示：
表1
名称 数值
载频 77GHz
带宽 3.072GHz
时宽 102.4us
PRF 2000Hz
调频斜率 30MHz/us
距离采样点数 512
ADC采样率 5MHz
A.手势动作设计：
手势设计部分，主要需考虑手势的代表性及在真实场景中的实用性。本实施例设计8类手势动作如图2所示：
(1)左挥：在雷达上方10cm-20cm高度，手掌及小臂快速从左到右挥，动作持续0.5s到1s
(2)右挥：在雷达上方10cm-20cm高度，手掌及小臂快速从右到左挥，动作持续0.5s到1s
(3)上拉：手掌于雷达上方5cm-10cm处，快速上拉至40cm处以上，动作持续0.5s到1s
(4)下推：手掌于雷达上方40cm处，快速下推至5cm-10cm处，动作持续0.5s到1s
(5)左右小挥：在雷达上方10cm-20cm高度，手掌快速先向左后向右小挥两次，动作持续0.5s到1s
(6)上下轻拍：手掌于雷达上方20cm处，小幅度轻拍两次，动作持续0.5s到1s
(7)画勾：手掌于雷达斜上方约20cm处，先左上挥至中间下方，再挥至右上，动作持续约1s到1.5s
(8)画叉：手掌于雷达斜上方约20cm处，先左上挥至右下，后右上挥至左下，动作持续约1s到1.5s
B.手势数据采集及信号预处理，具体操作如下：
①使用雷达***采集手势数据，雷达发射信号为：
sT(t)＝exp(j2π(fct+0.5kt2))
其中，fc为信号载频，k为信号调频率，
Figure BDA0002440475550000051
其中，B为信号带宽，T为信号脉宽。
雷达接收信号为：
sr0(t)＝exp(j2π(fc(t-τ)+0.5k(t-τ)2))
其中，τ为接收信号的时延，
Figure BDA0002440475550000052
其中，R为目标距离，vr为目标径向速度，c为光速。
收发混频，得到高频低频两个信号，再经过低通滤波器，即可获得实验所需的中频信号：
sr(t)＝exp(j2π(fcτ-0.5kτ2+ktτ))
以上为单个线性调频脉冲的回波处理。记一个手势的整体回波信号为sr(t，n)，其中t为快时间，即如上式的单个线性调频脉冲内时间；n为慢时间，即线性调频脉冲数。
采集阶段由四位采集者完成，每类手势采集样本量300，总体数据量2400。
②对手势回波信号进行杂波抑制，通过加权平均滤波器对手势回波逐行处理：
Figure BDA0002440475550000053
Figure BDA0002440475550000054
其中，Bn为前n-1个脉冲回波的加权积累，加权积累等效于低通滤波，用于提取数据中零频及低频分量，对应于采集过程中的缓动及静止目标；
Figure BDA0002440475550000055
为原数据减去Bn所获的结果，代表原数据中剔除缓动及静止目标，保留速度较快的手势目标，达到杂波抑制的目的。
C.手势样本库的建立：
①对所采集手势进行数据标注，用1-8八个数字标注8类手势。
②将手势总体样本分为训练集、验证集及测试集，对于单类手势而言，训练集样本量为220，验证集及测试集样本量各为40。
D.搭建深度神经网络，网络整体结构如图3，网络使用修正线性单元激活函数，并使用批规范层提高网络训练效率。具体操作如下：
①特征预提取，搭建基于残差结构的一维卷积神经网络，具体结构图如图4所示，包括七层卷积层，其中2-3层、4-5层、6-7层间加入残差结构。含有两层下采样层，分别位于第1层卷积层后及模块尾端，下采样层有利于网络提取更高维特征。其输入为雷达四接收端获取单个线性调频脉冲回波
Figure BDA0002440475550000061
的实虚部共八通道数据，i为单个脉冲序数，其输出为通道数为64的初步特征提取结果；
②特征筛选及融合，搭建基于通道间注意力机制的一维卷积神经网络，对步骤①中的特征输出进行自动筛选及融合处理，具体结构图如图5所示，含有两层普通卷积层及两层1*1卷积层。第一层1*1卷积层连同softmax函数，完成对数据各通道的加权操作，即完成模块基于注意力机制的通道自动选择；第二层1*1卷积层完成通道压缩，以便后续序LSTM层操作，其输入为步骤①中的输出特征，输出为长度为58的一维列向量。
③序列处理，搭建基于LSTM的循环神经网络，用于处理步骤②中输出的特征向量，具体结构图如图6所示，由双层LSTM层构成，LSTM-cell输入向量大小58，隐藏层大小256，LSTM结构可有效处理序列信息，并防止训练时的梯度***或消失。具体输入为长为500的向量序列，其中单个向量为第②部分输出的为长度58的一维列向量，输出为长度为256的一维向量，作为最终的特征向量；
④分类输出，搭建由全连接层和Softmax层构成的神经网络，用于获得最终的分类输出，具体结构图如图6右侧，由一层全连接层及一层Softmax层构成，全连接层用于将输入向量(本例为长度256)转换为长度为手势类别数(本例为8)的向量，即表征对8类手势的预测偏向，Softmax层用于将全连接层的输出向量标准化，使其各元素和为1，用于表征网络最终对8类手势的预测概率。
E.网络训练及测试，对所设计的网络进行训练，具体步骤如下：
①设置训练参数及各项函数如表2所示：
表2
名称 具体内容
最大训练迭代次数 500
初始学习率 0.001
批大小 8
损失函数 交叉熵损失
优化算法 Adam
交叉熵损失函数表达式为：
Figure BDA0002440475550000071
其中，y为真实标签，
Figure BDA0002440475550000072
为预测标签，log表示以e为底的对数运算，交叉熵损失用于衡量两数据的分布差异，其值越小，分布差异越小，故常用于多类别预测。
②将训练集数据送入网络进行迭代训练，对输出的预测结果同真实类别标注送入损失函数，记录损失，利用Adam优化算法进行优化，更新网络参数。在每一次迭代完成后，将验证集数据送入网络进行预测，观察网络对验证集的识别率，判断网络是否过拟合。每次迭代后判断损失下降程度，以更改学习率或提前终止学习。
算法损失下降曲线如图7，测试集混淆矩阵如图8，算法对测试集预测准确率达到94.4％。由此可知，本发明对手势识别任务有良好的预测准确率，能够有效运用于手势识别场景。此外，本发明中网络总参数量为0.9M(百万)，远小于基于二维卷积神经网络的典型网络参数量，显著降低了运算处理的负担。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于FMCW雷达的端到端手势识别方法，具体包括如下步骤：
S1.设置雷达***参数，所述设置的参数包括：雷达载频fc，信号带宽B，信号脉宽T，脉冲重复频率PRF，调频斜率K，距离向采样点数；
S2.设计手势，8类手势动作如下；
(1)左挥：在雷达上方10cm-20cm高度，手掌及小臂快速从左到右挥，动作持续0.5s到1s
(2)右挥：在雷达上方10cm-20cm高度，手掌及小臂快速从右到左挥，动作持续0.5s到1s
(3)上拉：手掌于雷达上方5cm-10cm处，快速上拉至40cm处，动作持续0.5s到1s
(4)下推：手掌于雷达上方40cm处，快速下推至5cm-10cm处，动作持续0.5s到1s
(5)左右小挥：在雷达上方10cm-20cm高度，手掌快速先向左后向右小挥两次，动作持续0.5s到1s
(6)上下轻拍：手掌于雷达上方20cm处，小幅度轻拍两次，动作持续0.5s到1s
(7)画勾：手掌于雷达斜上方20cm处，先左上挥至中间下方，再挥至右上，动作持续1s到1.5s
(8)画叉：手掌于雷达斜上方20cm处，先左上挥至右下，后右上挥至左下，动作持续1s到1.5s
S3.手势数据采集及信号预处理，利用FMCW雷达***进行四通道手势数据采集，获得回波信号sr(t，n)，其中，t为快时间变量，即单个线性调频脉冲内时间，n为慢时间变量，即线性调频脉冲数，对于采集的回波信号以动目标显示的方式进行杂波抑制，获得预处理后信号
Figure FDA0004045384080000011
回波信号sr(t，n)的具体获取过程如下：
使用雷达***采集手势数据，雷达发射信号为：
sT(t)＝exp(j2π(fct+0.5kt2))
其中，fc为信号载频，k为信号调频率，
Figure FDA0004045384080000012
雷达接收信号为：
sr0(t)＝exp(j2π(fc(t-τ)+0.5k(t-τ)2))
其中，τ为接收信号的时延，
Figure FDA0004045384080000013
其中，R为目标距离，vr为目标径向速度，c为光速；
收发混频，得到高频低频两个信号，再经过低通滤波器，即可获得实验所需的中频信号：
sr(t)＝exp(j2π(fcτ-0.5kτ2+ktτ))
以上为单个线性调频脉冲的回波处理；记一个手势的整体回波信号为sr(t，n)；
S4.建立手势样本数据库，首先对数据进行类别标注，分出训练集，验证集及测试集；
S5.搭建深度神经网络；
具体步骤如下：
S51.特征预提取，搭建基于残差结构的一维卷积神经网络，具体包括多个卷积层与池化层，具体输入为四通道的单个线性调频脉冲回波
Figure FDA0004045384080000021
的实部及虚部共八通道数据，i为单个脉冲序数，输出为通道数为64的初步特征提取结果；
S52.特征筛选及融合，搭建基于通道间注意力机制的一维卷积神经网络，对步骤S51中的特征输出进行进一步压缩处理，具体包括多个卷积层与尾部的一层全连接层，并且同样使用残差结构；
S53.序列处理，搭建基于长短时记忆LSTM的循环神经网络，用于处理步骤S52中输出的特征向量，所述循环神经网络由双层LSTM层构成；
S54.分类输出，搭建由全连接层和softmax层构成的神经网络，用于获得最终的分类输出；
S6.对步骤S5搭建的深度神经网络进行训练；
具体步骤如下：
S61.设置训练迭代次数、学习率、批大小的网络训练参数；并设置交叉熵损失为训练所使用损失函数，即
Figure FDA0004045384080000022
其中，y为真实标签，
Figure FDA0004045384080000023
为预测标签，log表示以e为底的对数运算；
S62.将步骤S4中划分出的训练集数据送入网络进行迭代训练，对输出的预测结果同真实类别标注送入损失函数，记录损失，更新网络参数，
S63.在每一次迭代完成后，将步骤S4中划分出的验证集数据送入网络进行预测，观察网络对验证集的识别率，判断网络是否过拟合；
S64.每次迭代后判断损失下降程度，以更改学习率或提前终止学习；
S7.利用训练好的网络，对步骤S3中划分出的测试集进行预测。
2.根据权利要求1所述的基于FMCW雷达的端到端手势识别方法，其特征在于，步骤S61设置Adam为网络学习的优化算法。
3.根据权利要求1所述的基于FMCW雷达的端到端手势识别方法，其特征在于，步骤S62具体利用Adam优化算法进行优化，更新网络参数。
CN202010263886.4A 2020-04-07 2020-04-07 一种基于fmcw雷达的端到端手势识别方法 Active CN111461037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263886.4A CN111461037B (zh) 2020-04-07 2020-04-07 一种基于fmcw雷达的端到端手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263886.4A CN111461037B (zh) 2020-04-07 2020-04-07 一种基于fmcw雷达的端到端手势识别方法

Publications (2)

Publication Number Publication Date
CN111461037A CN111461037A (zh) 2020-07-28
CN111461037B true CN111461037B (zh) 2023-04-07

Family

ID=71683535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263886.4A Active CN111461037B (zh) 2020-04-07 2020-04-07 一种基于fmcw雷达的端到端手势识别方法

Country Status (1)

Country Link
CN (1) CN111461037B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112198966B (zh) * 2020-12-08 2021-03-16 中南大学 基于fmcw雷达***的笔画识别方法以及***
US11592908B2 (en) 2021-03-19 2023-02-28 Google Llc Hand gesture recognition based on detected wrist muscular movements
CN113378641B (zh) * 2021-05-12 2024-04-09 北京工业大学 基于深度神经网络和注意力机制的手势识别方法
CN113466852B (zh) * 2021-06-08 2023-11-24 江苏科技大学 应用于随机干扰场景下的毫米波雷达动态手势识别方法
CN113720862B (zh) * 2021-08-17 2023-01-13 珠海格力电器股份有限公司 零件异常检测方法、装置、设备及存储介质
CN113962261B (zh) * 2021-10-21 2024-05-14 中国人民解放军空军航空大学 一种用于雷达信号分选的深度网络模型构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038445A (zh) * 2017-12-11 2018-05-15 电子科技大学 一种基于多视角深度学习框架的sar自动目标识别方法
CN108469611A (zh) * 2018-03-29 2018-08-31 电子科技大学 基于身份识别的fmcw雷达测距***基带信号处理方法
CN110084209A (zh) * 2019-04-30 2019-08-02 电子科技大学 一种基于父子分类器的实时性手势识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514770B2 (en) * 2016-06-17 2019-12-24 Texas Instruments Incorporated Hidden Markov model-based gesture recognition with FMCW radar
CN108896976A (zh) * 2018-07-05 2018-11-27 电子科技大学 一种用于多频道外辐射源雷达的相参处理方法
CN109271838B (zh) * 2018-07-19 2020-11-03 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法
CN109358330B (zh) * 2018-11-06 2020-04-21 电子科技大学 一种双基前视sar线性时间同步误差估计方法
CN109633588A (zh) * 2018-12-29 2019-04-16 杭州电子科技大学 基于深度卷积神经网络的雷达辐射源识别方法
CN110348288B (zh) * 2019-05-27 2023-04-07 哈尔滨工业大学（威海） 一种基于77GHz毫米波雷达信号的手势识别方法
CN110398663B (zh) * 2019-07-03 2021-03-23 东南大学 一种基于卷积神经网络的柔性直流电网故障识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038445A (zh) * 2017-12-11 2018-05-15 电子科技大学 一种基于多视角深度学习框架的sar自动目标识别方法
CN108469611A (zh) * 2018-03-29 2018-08-31 电子科技大学 基于身份识别的fmcw雷达测距***基带信号处理方法
CN110084209A (zh) * 2019-04-30 2019-08-02 电子科技大学 一种基于父子分类器的实时性手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Gesture recognition with a low power FMCW radar and a deep convolutional neural network";B. Dekker.etc;《2017 European Radar Conference (EURAD)》;第163-166页 *
"基于毫米波雷达的手势识别算法研究";李楚杨;《中国优秀硕士学位论文全文数据库信息科技辑》;I136-788 *

Also Published As

Publication number Publication date
CN111461037A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111461037B (zh) 一种基于fmcw雷达的端到端手势识别方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN110348288A (zh) 一种基于77GHz毫米波雷达信号的手势识别方法
CN112001306A (zh) 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN108985454B (zh) 民航客机个体目标识别方法
Liu Multi-feature fusion for specific emitter identification via deep ensemble learning
CN114564982B (zh) 雷达信号调制类型的自动识别方法
CN111126361B (zh) 基于半监督学习和特征约束的sar目标鉴别方法
CN105117736B (zh) 基于稀疏深度堆栈网络的极化sar图像分类方法
CN111050315B (zh) 一种基于多核双路网络的无线发射机识别方法
CN111476058A (zh) 一种基于毫米波雷达的手势识别方法
CN113762130B (zh) 一种毫米波雷达手势检测识别方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN109711314A (zh) 基于特征融合与sae的雷达辐射源信号分类方法
CN110048978A (zh) 一种信号调制识别方法
CN116047427B (zh) 一种小样本雷达有源干扰识别方法
CN115438708A (zh) 一种基于卷积神经网络和多模态融合的分类识别方法
CN115630276A (zh) 一种基于YOLOv5的雷达脉内调制类型快速识别方法
CN106443625A (zh) 基于高分辨一维像信息融合的目标识别方法
CN110969203B (zh) 基于自相关和cam网络的hrrp数据去冗余方法
Feng et al. FCGCN: Feature Correlation Graph Convolution Network for Few-Shot Individual Identification
CN115600101B (zh) 一种基于先验知识的无人机信号智能检测方法及装置
CN115809426A (zh) 一种辐射源个体识别方法及***
Ebert-Uphoff et al. Evaluation, tuning and interpretation of neural networks for meteorological applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant