CN116561700A - 基于毫米波雷达的室内人体姿态识别方法 - Google Patents

基于毫米波雷达的室内人体姿态识别方法 Download PDF

Info

Publication number
CN116561700A
CN116561700A CN202310447826.1A CN202310447826A CN116561700A CN 116561700 A CN116561700 A CN 116561700A CN 202310447826 A CN202310447826 A CN 202310447826A CN 116561700 A CN116561700 A CN 116561700A
Authority
CN
China
Prior art keywords
time
human body
layer
body posture
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310447826.1A
Other languages
English (en)
Inventor
吴小川
李文隆
张鑫
邓维波
菅宇鹏
左鑫
马占超
杨松岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyi Zhilian Wuxi Industrial Automation Technology Co ltd
Harbin Institute of Technology
Original Assignee
Zhongyi Zhilian Wuxi Industrial Automation Technology Co ltd
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyi Zhilian Wuxi Industrial Automation Technology Co ltd, Harbin Institute of Technology filed Critical Zhongyi Zhilian Wuxi Industrial Automation Technology Co ltd
Priority to CN202310447826.1A priority Critical patent/CN116561700A/zh
Publication of CN116561700A publication Critical patent/CN116561700A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

基于毫米波雷达的室内人体姿态识别方法，涉及毫米波雷达技术领域，针对现有技术中人体姿态识别准确率低的问题，本申请采用毫米波雷达采集了常见的室内人体姿态数据，通过对原始数据进行预处理和二维傅里叶变换的方式获得了时频图和时间距离图，根据生成的人体姿态数据集的特点搭建了神经网络，通过决策级融合的方式输出最后的识别结果。本申请的方法可以有效的识别出采集到的室内人体姿态，识别准确率达到了93.00％。

Description

基于毫米波雷达的室内人体姿态识别方法
技术领域
本发明涉及毫米波雷达技术领域，具体为基于毫米波雷达的室内人体姿态识别方法。
背景技术
人体姿态识别在体感游戏、医疗诊断、智能安全住宅、残障人士辅助、体育健身等领域有着重要的应用价值，在下一代人机信息交互的技术应用上将具有着非常的广泛深远的技术应用的前景。目前的人体姿态检测使用的方案主要是利用光学摄像头或者穿戴设备。对于采用摄像头进行人体姿态识别的方法，容易受到光照条件影响，存在视野盲区，并且还存在侵犯个人隐私的问题，在卧室、厕所、浴室等敏感区域无法安装。对于可穿戴设备人体姿态识别的方法，传感器需要时刻佩戴在身上，舒适性差，存在易损坏，功能单一等问题，并且在设备充电时，无法对其进行检测，长时间的佩戴还可能出现影响身体健康的隐患。雷达作为一种识别人体姿态的替代传感方式，已被证明在人体姿态识别方面是成功的，在民用领域受到了越来越大的关注，不仅可以应用在养老、医院等领域，在防控、安检以及智慧家居等场景也有很大的应用前景。在室内环境下，雷达检测相较于穿戴设备而言具有更好的舒适性，以及避免老人跌倒时因忘记穿戴设备而引发的报警不及时情况；此外，雷达检测与计算机视觉检测相比对光线和障碍误影响不敏感，且避免了隐私泄露。
深度学习作为机械学习的一个重要分支，具有着学习能力强、覆盖广、上限高、可移植性好等一系列优点，这使得它在目标分类和成像等雷达应用中有着巨大的前景。传统的机器学习方法，如基于人体关节点、基于时空兴趣点和基于密集轨迹等，并不能准确识别人体姿态。
发明内容
本发明的目的是：针对现有技术中人体姿态识别准确率低的问题，提出基于毫米波雷达的室内人体姿态识别方法。
本发明为了解决上述技术问题采取的技术方案是：
基于毫米波雷达的室内人体姿态识别方法，包括以下步骤：
步骤一：采用毫米波雷达采集室内人体姿态数据；
步骤二：对室内人体姿态数据进行特征提取，得到人体姿态的时频图和时间距离图；
步骤三：将时频图和时间距离图进行恒虚警检测，得到时频图的标签预测值和时间距离图的标签预测值；
步骤四：利用时频图和时间距离图为输入、时频图的标签预测值和时间距离图的标签预测值为输出，训练CNN神经网络；
步骤五：针对待识别的室内人体姿态数据，通过步骤一和步骤二，得到对应的时频图和时间距离图，然后将时频图和时间距离图输入训练好的CNN神经网络，得到输出的时频图的标签预测值和时间距离图的标签预测值；
步骤六：将步骤五得到的时频图的标签预测值和时间距离图的标签预测值进行决策级融合，得到一维的向量Y，向量Y中预测概率最大值对应的姿态为识别的人体姿态。
进一步的，所述步骤二中得到人体姿态的时频图和时间距离图的具体步骤为：
首先对室内人体姿态数据中回波信号进行动目标显示处理，即MTI，然后对MTI处理后的每帧信号分别进行两次傅里叶变换后，在时域上得到距离多普勒图，即RD图，然后对RD图进行谱峰搜索，得到每个RD图上能量最高点，并记录能量最高点的坐标，之后得到能量最高点的横坐标，并获取横坐标的行向量，再对行向量进行逆傅里叶，得到每帧信号的多普勒信息，之后将所有帧的多普勒信息进行拼接，得到时频图；
首先对室内人体姿态数据中回波信号进行动目标显示处理，即MTI，然后对MTI处理后的每帧信号分别进行两次傅里叶变换，在时域上生成距离多普勒图，即RD图，然后对RD图进行谱峰搜索，得到每个RD图上能量最高点，并记录能量最高点的坐标，之后得到能量最高点的纵坐标，并获取纵坐标的列向量，将所有帧得到的列向量进行拼接，得到时间距离图。
进一步的，所述CNN神经网络共有21层，包括1个输入层，13个卷积层，5个池化层，1个回归层和1个输出层，具体如下：
层 卷积核/数量/步长 输出大小
输入层 - 256×256×3
卷积层1 3/32/1 256×256×32
最大池化层 2/-/2 128×128×32
卷积层2 3/64/1 128×128×64
最大池化层 2/-/2 64×64×64
卷积层3 3/128/1 64×64×128
卷积层4 1/64/1 66×66×64
卷积层5 3/128/1 66×66×128
最大池化层 2/-/2 33×33×128
卷积层6 3/256/1 33×33×256
卷积层7 1/1281 35×35×128
卷积层8 3/256/1 35×35×256
最大池化层 2/-/2 17×17×256
卷积层9 3/512/1 17×17×512
卷积层10 1/256/1 19×19×256
卷积层11 1/128/1 21×21×128
卷积层12 3/256/1 21×21×256
Dropout层 - 21×21×256
卷积层13 1/6/1 23×23×6
平均池化层 - 1×1×6
Softmax层 - 1×6
输出层 - 6
。
进一步的，所述CNN神经网络的时间复杂度使用FLOPs衡量，CNN神经网络的时间复杂度表示为：
其中，卷积层产生的时间复杂度为：
Time～O(M2·K2·Cin·Cout)
M＝(X-K+2*Padding)/Stride+1
空间复杂度表示为：
其中，M为卷积核输出特征的边长，K为卷积核边长，Cin为该层的输入通道数，Cout为输出通道数，X为输入矩阵大小，Padding为填充大小，Stride为步长，l为网络中第l个卷积层，Cl为第l个卷积层的输出通道数Cout，D为网络的深度。
进一步的，所述标签预测值表示为：
其中，zi为第i个姿态输入，i＝1,2,3...6，f为softmax函数，yi为标签预测值。
进一步的，所述决策级融合表示为：
其中，acc1和acc2为融合前单独的识别准确率，Y1和Y2为融合前标签预测值。
进一步的，所述步骤四中时频图和时间距离图经过归一化处理后，作为输入，训练CNN神经网络，所述归一化处理具体为：
将时频图和时间距离图调整为三通道、256×256像素。
进一步的，所述CNN神经网络的激活函数为ReLU激活函数。
进一步的，所述室内人体姿态数据中人体姿态包括弯腰、下蹲、站立、走路、跑步、爬行。
进一步的，所述毫米波雷达为60GHz。
本发明的有益效果是：
本申请采用毫米波雷达采集了常见的室内人体姿态数据，通过对原始数据进行预处理和二维傅里叶变换的方式获得了时频图和时间距离图，根据生成的人体姿态数据集的特点搭建了神经网络，通过决策级融合的方式输出最后的识别结果。本申请的方法可以有效的识别出采集到的室内人体姿态，识别准确率达到了93.00％。
附图说明
图1为人体姿态识别流程图；
图2为人体姿态识别网络框架图；
图3为网络模型结构图；
图4为弯腰的时频图；
图5为蹲下的时频图；
图6为站立的时频图；
图7为跑步的时频图；
图8为走路的时频图；
图9为爬行的时频图；
图10为弯腰的时间距离图；
图11为蹲下的时间距离图；
图12为站立的时间距离图；
图13为跑步的时间距离图；
图14为走路的时间距离图；
图15为爬行的时间距离图；
图16为单独使用时频图的混淆矩阵示意图；
图17为单独使用时间距离图的混淆矩阵示意图；
图18为决策级融合后的混淆矩阵示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于毫米波雷达的室内人体姿态识别方法，包括以下步骤：
步骤一：采用毫米波雷达采集室内人体姿态数据；
步骤二：对室内人体姿态数据进行特征提取，得到人体姿态的时频图和时间距离图；
步骤三：将时频图和时间距离图进行恒虚警检测，得到时频图的标签预测值和时间距离图的标签预测值；
步骤四：利用时频图和时间距离图为输入、时频图的标签预测值和时间距离图的标签预测值为输出，训练CNN神经网络；
步骤五：针对待识别的室内人体姿态数据，通过步骤一和步骤二，得到对应的时频图和时间距离图，然后将时频图和时间距离图输入训练好的CNN神经网络，得到输出的时频图的标签预测值和时间距离图的标签预测值；
步骤六：将步骤五得到的时频图的标签预测值和时间距离图的标签预测值进行决策级融合，得到一维的向量Y，向量Y中预测概率最大值对应的姿态为识别的人体姿态。
本申请使用雷达进行人体姿态识别，有着不受光照等外界因数的影响和很好的保护用户隐私等特点，毫米波雷达作为一种重要的传感器，在姿态识别方面得到广泛应用。
本申请构建了人体姿态识别网络，针对室内的实验场景，采集到的原始数据处理的流程图如图1所示，首先设计了6种室内常见的人体姿态，通过毫米波雷达进行数据采集；然后对采集到的原始数据进行信号处理，通过特征提取获得人体姿态的时频图和时间距离图，通过恒虚警检测将它们制作成人体姿态特征数据集；最后通过本申请针对人体姿态特征来设计的神经网络进行姿态识别，通过决策集融合的方法得到最后的识别结果。
1人体姿态识别网络模型
本申请提出的人体姿态识别网络如图2所示，主要由数据输入、特征提取和分类识别三部分组成。
1.1数据输入
首先需要将数据集输入到网络中，颜色越深的部分代表雷达的回波越强。网络的输入层需要输入同样大小的图片，将其定义为256×256。由于彩色图像具有R、G、B三个不同的通道，RGB指图片通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化,并将它们按照一定比例相互的叠加来得到各种的颜色，RGB是从0到255用数字表示，都各有256级亮度，因此输入神经网络的格式为3维数组，数组中元素的大小为0到255。因此每个数据输入输入层的为256×256×3的像素矩阵。最后将6种姿态的时频图数据集和时间距离图数据集分别打好标签后输进网络。
1.2特征提取
针对本申请采集到的6种人体姿态设计CNN网络，网络模型如图3所示。该网络的深度为13，这里的网络深度指网络中卷积层和全连接层的总共的个数。网络一共有21层，其中包含1个输入层，13个卷积层，5个池化层，1个回归层和1个输出层。卷积层中卷积核的大小有1×1和3×3两种，卷积核数量有32、64、128、256、512个，不同数量的卷积核可以输出对应数目的特征。
在每个卷积层的后面都添加了激活函数，使网络各个卷积层上的输出函数都同时实现到了非线性的运算，这么一做就能够保证使网络在再学***均池化，均采用2×2的采样矩阵，池化可以有效降低矩阵维度，减少计算量。最后连接softmax分类器进行概率预测，输出为6种人体姿态的种类。
本申请设计的网络模型具体的参数如表1所示。
表1网络模型参数
本申请设计的网络与常规的神经网络第一个不同点在于舍弃了全连接层，使用1×1的卷积层代替全连接层。这种做法的好处在于全连接层会把图像降维成一维序列，会提取到全图特征，但本申请的人体姿态数据并不要求提取全图特征，只需要对感受野内特征进行提取，使它能够覆盖目标大小的即可。如果使用全连接层提取全图的特征，由于背景的平均特征的存在，那么对于人体姿态关键的微小特征会被淹没在其中，而无法准确学习到关键特征。其次原因在于上下一级输入单元的图像尺寸确定影响了整个互连层的输入参数的个数，使得整个互连层的输入单元尺寸都可以确定为一个稳定值，而卷积核心的输入参数的个数则不受图象尺寸确定的影响，因此可以输入任意大小的图像。
第二个不同点在于在网络中加入了Dropout层结构，Dropout是指在网络的训练中，根据一定的概率，将网络中的神经元随机丢弃，并对其进行训练和优化。Dropout能够降低网络神经元间的交互作用，使网络节点数目呈指数级的集中，从而加快了网络训练的速度，并能有效地降低过度拟合。
1.3网络的时间和空间复杂度
网络的时间复杂度，即模型的运算次数，它决定了模型训练的时间。本申请使用FLOPs衡量网络的时间复杂度，全称为浮点运算次数(FLoating-point Operations)。
对于卷积层来说，单个卷积层产生的时间复杂度为：
Time～O(M2·K2·Cin·Cout)(1)
其中M为卷积核输出特征的边长；K为卷积核边长；Cin为该层的输入通道数，也就是上一层的输出通道数；Cout为输出通道数，也就是卷积核数量。
对于卷积核输出特征的边长M，有由输入矩阵大小X，卷积核边长K，填充大小Padding和步长Stride决定，计算公式为：
M＝(X-K+2*Padding)/Stride+1 (2)
那么当网络的深度为D＝13时，该网络整体的时间复杂度为：
这里的l为网络中第l个卷积层，Cl为第l个卷积层的输出通道数Cout。这样将表1中介绍的该网路参数输入，可以得到该网路的时间复杂度为3.4GFLOPs。
网络的空间复杂度，包括总参数量和各层输出特征两部分。它决定了模型的参数数量，参数越大，训练所需的数据集就越大，这就导致数据集不足时，训练网络就更容易出现过拟合的现象。因此空间复杂度的计算公式为：
这里的K、M、D、Cl等参数与时间复杂度的参数一致。再次将表1中介绍的该网路参数代入，可以计算出该网路的空间复杂度为94.8MB。
1.4决策级融合
由于该网络中使用了softmax层，它的作用是得到这6种人体姿态种类的标签预测值。对于这六种姿态，softmax层输出公式为：
式中zi为第i个姿态输入，i＝1,2,3...6，f是softmax函数，yi是标签预测值。跟据上式可知，该函数还具有该性质：
f(z1)+f(z2)+…+f(z6)＝1 (6)
本申请将时频图的标签预测值和时间距离图的标签预测值按照一定权重的比例相融合，即决策级融合，融合的公式为：
其中acc1和acc2为融合前单独的识别准确率，S1和S2为融合前标签预测值矩阵，矩阵中各元素为yi，s为融合后得到的预测值矩阵。决策级融合后进行分类识别，使用融合后得到的预测值矩阵s，将其分解为n个一维的向量Y,其中n为输入的数据集数目，那么每一个向量Y代表每一个数据的预测概率，最终最大的预测概率对应着识别出的姿态结果：
针对一个时频图和时间距离图，即决策级融合，融合的公式为：
其中acc1和acc2为融合前单独的识别准确率，Y1和Y2为融合前标签预测值，
Y:[y1,y2,y3,y4,y5,y6]
2实验数据采集
2.1实验设备
本申请使用60GHz的毫米波雷达进行数据采集，该雷达***由雷达传感器和数据采集板两部分组成。能够在60至64GHz的频段内工作，最大工作带宽4GHz，具有4根接收(RX)天线和1根发射(TX)天线，发射线性调频连续波，并且带有120度方位角和30度仰角视野，对应的雷达工作参数如表2。
表2硬件平台的参数
2.2数据采集
为了增强实验的泛化性，选择了10位身高、体重各不相同的实验者，在室内进行数据采集。雷达架设在距离地面高0.9m处水平放置，室内除了实验者外无其它运动物体干扰。选定了六种动作，分别是弯腰、下蹲、站立、走路、跑步、爬行，如表3所示，其中前三种为原地动作，后三种为非原地动作。
表3本申请采集的姿态类别
每个动作在朝向、远离雷达，在0、22.5、45和67.5度的方向上，以不同的姿态，在各个方位进行采样，每种动作采集了300组数据，总计1800组数据，室内。通过这种方法，可以实现对雷达的全方位、多角度的采集，而不是只选择正面和背面的雷达，从而使得神经网络能够在各个姿态的训练中，更精确地识别出各个姿态的特点。
2.3数据预处理
将采集到的原始回波数据通过数据采集板传至PC端，在实际环境中测量会有很多固定物体的存在，如桌子、墙壁等，这些静止物体反射的回波信号会对毫米波雷达的人体姿态识别造成很大干扰，这些固定杂波的频谱会淹没运动目标的频谱，需要将固定目标的杂波抑制到极小，并且需要保留运动目标的谱线，本申请使用动目标显示的方式，根据固定目标与运动目标回波的差别，经过延时对消处理从而抵消掉固定回波，只保留运动回波。再将多个短时序列的多普勒依序排列，通过窗函数，把信号分成列时信号，再把每次FFT后的信号，进行排列，确定频率后，最终得到如图4-图9所示的多普勒特征图像。从图中可以看出不同人体姿态对应雷达的特征具有显著差异，可以有效地进行特征识别。
接下来得到每帧信号的RD谱；通过恒虚警检测确定目标所在的位置，将目标所在的整个速度维作为该帧信号的距离信息代表，并对每帧信号都进行这一步骤，最后将结果在时间域进行累积，就能够得到如图10-图15所示的人体姿态时间距离图。
信号是150帧，每帧时间为36ms；
首先对回波信号进行动目标显示(MTI)处理。通过延时对消的方法将目标从静止杂波中分离出来。
然后对每帧信号进行两次FFT(傅里叶)变换，在时域上就生成了RD图(距离多普勒图)，然后使用谱峰搜索的方式，将每个RD图上的能量最高点搜索出来，记录最高点的坐标，取能量最高点横坐标，即能量最高点那个距离在rd谱上的一行，再进行ifft(逆傅里叶)，就得到了每帧的多普勒信息，再将150帧的多普勒信息拼接起来，得到时频图，因此每个时频图时间为150*0.036＝5.4s。
同样再谱峰搜索后，取能量最高点纵坐标，即能量最高点那一列，将150个列向量拼接在一起就得到时间距离图。
3实验结果与分析
3.1训练过程
将1800个数据集按照4：1：1进行划分，1200个作为训练集，300个作为验证集，300个作为测试集，其中训练集和测试集在数据采集上无相同人员。采用多分类交叉熵损失最为损失函数，并且网络采用SGDM优化器进行优化训练，初始学习率为0.01，并且每10轮下降一次，下降因子为0.1，最大训练回合数为30，最小训练批次大小为32；每轮训练前都打乱一次数据。整个网络在工作站上进行运行，工作站的CPU型号为Intel(R)Xeon(R)Gold [email protected]，内存为512G,GPU的型号为NVIDIARTXA5000。
3.2实验结果
本申请实验是6种姿态进行识别，将所有姿态识别的平均准确率作为识别指标，并于其它常见的几种识别网络进行对比，如表4所示，可以看到本申请网络的平均识别准确率达到了93％,比其它网络都要高。
表4本申请网络与其它网络性能对比
为了验证本申请提出的网络算法的合理性，将测试结果以混淆矩阵的形式给出，其中图16是单独使用时频图的混淆矩阵，图17是单独使用时间距离图的混淆矩阵，图18是使用以上两种数据集决策级融合后得到的混淆矩阵。对于混淆矩阵而言，横轴显示的概率代表姿态识别的精确率(Precision)，是指对预测结果中预测为正的样本，实际也为正的概率，纵轴显示的概率为姿态识别的召回率(Recall)，是指原样本中实际为正的样本，在预测中也为正的概率。而混淆矩阵对角线元素的个数比上总元素个数代表的是测试结果的准确率。
通过上述混淆矩阵得到表5，可以看到本申请提出的方法比仅用时频图的方法和仅使用时间距离图的方法准确率要高，由此证明在6种人体姿态识别上，本申请提出的方法更具优势。
表5决策级融合前后对比
本申请使用60GHz的毫米波雷达进行数据采集进行真实的数据采集，通过对原始数据进行特征提取获得人体姿态的时频图和时间距离图，提出了针对该数据集的卷积神经网络，通过决策级融合的方式得到了识别结果，实验结果表明该方法具有93％的平均识别成功率，满足室雷达人体姿态识别需求。
当然该算法还存在一些不足，仅实现了6种常见人体姿态的识别，下一步将采取多块雷达，从不同角度进行数据采集，来识别多种复杂的人体姿态。
实验中采集了10名实验人员摆出的六种姿态，每种姿态300组数据，共计1800组数据，按照4：1：1划分为训练集、验证集和测试集。实验结果表明该算法较传统算法准确率有所提升，可以有效的识别出采集到的室内人体姿态，识别准确率达到了93.00％。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (10)

1.基于毫米波雷达的室内人体姿态识别方法，其特征在于包括以下步骤：
步骤一：采用毫米波雷达采集室内人体姿态数据；
步骤二：对室内人体姿态数据进行特征提取，得到人体姿态的时频图和时间距离图；
步骤三：将时频图和时间距离图进行恒虚警检测，得到时频图的标签预测值和时间距离图的标签预测值；
步骤四：利用时频图和时间距离图为输入、时频图的标签预测值和时间距离图的标签预测值为输出，训练CNN神经网络；
步骤五：针对待识别的室内人体姿态数据，通过步骤一和步骤二，得到对应的时频图和时间距离图，然后将时频图和时间距离图输入训练好的CNN神经网络，得到输出的时频图的标签预测值和时间距离图的标签预测值；
步骤六：将步骤五得到的时频图的标签预测值和时间距离图的标签预测值进行决策级融合，得到一维的向量Y，向量Y中预测概率最大值对应的姿态为识别的人体姿态。
2.根据权利要求1所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述步骤二中得到人体姿态的时频图和时间距离图的具体步骤为：
首先对室内人体姿态数据中回波信号进行动目标显示处理，即MTI，然后对MTI处理后的每帧信号分别进行两次傅里叶变换后，在时域上得到距离多普勒图，即RD图，然后对RD图进行谱峰搜索，得到每个RD图上能量最高点，并记录能量最高点的坐标，之后得到能量最高点的横坐标，并获取横坐标的行向量，再对行向量进行逆傅里叶，得到每帧信号的多普勒信息，之后将所有帧的多普勒信息进行拼接，得到时频图；
首先对室内人体姿态数据中回波信号进行动目标显示处理，即MTI，然后对MTI处理后的每帧信号分别进行两次傅里叶变换，在时域上生成距离多普勒图，即RD图，然后对RD图进行谱峰搜索，得到每个RD图上能量最高点，并记录能量最高点的坐标，之后得到能量最高点的纵坐标，并获取纵坐标的列向量，将所有帧得到的列向量进行拼接，得到时间距离图。
3.根据权利要求2所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述CNN神经网络共有21层，包括1个输入层，13个卷积层，5个池化层，1个回归层和1个输出层，具体如下：
层 卷积核/数量/步长 输出大小 输入层 - 256×256×3 卷积层1 3/32/1 256×256×32 最大池化× 2/-/2 128×128×32 卷积×2 3/64/1 128×128×64 最大池化层 2/-/2 64×64×64 卷积层3 3/128/1 64×64×128 卷积层4 1/64/1 66×66×64 卷积层5 3/128/1 66×66×128 最大池化层 2/-/2 33×33×128 卷积层6 3/256/1 33×33×256 卷积层7 1/128/1 35×35×128 卷积层8 3/256/1 35×35×256 最大池化层 2/-/2 17×17×256 卷积层9 3/512/1 17×17×512 卷积层10 1/256/1 19×19×256 卷积层11 1/128/1 21×21×128 卷积层12 3/256/1 21×21×256 Dropout层 - 21×21×256 卷积层13 1/6/1 23×23×6 平均池化层 - 1×1×6 Softmax层 - 1×6 输出层 - 6
。
4.根据权利要求1所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述CNN神经网络的时间复杂度使用FLOPs衡量，
CNN神经网络的时间复杂度表示为：
其中，卷积层产生的时间复杂度为：
Time～O(M2·K2·Cin·Cout)
M＝(X-K+2*Padding)/Stride+1
空间复杂度表示为：
其中，M为卷积核输出特征的边长，K为卷积核边长，Cin为该层的输入通道数，Cout为输出通道数，X为输入矩阵大小，Padding为填充大小，Stride为步长，l为网络中第l个卷积层，Cl为第l个卷积层的输出通道数Cout，D为网络的深度。
5.根据权利要求4所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述标签预测值表示为：
其中，zi为第i个姿态输入，i＝1,2,3...6，f为softmax函数，yi为标签预测值。
6.根据权利要求5所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述决策级融合表示为：
其中，acc1和acc2为融合前单独的识别准确率，Y1和Y2为融合前标签预测值。
7.根据权利要求6所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述步骤四中时频图和时间距离图经过归一化处理后，作为输入，训练CNN神经网络，所述归一化处理具体为：
将时频图和时间距离图调整为三通道、256×256像素。
8.根据权利要求7所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述CNN神经网络的激活函数为ReLU激活函数。
9.根据权利要求8所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述室内人体姿态数据中人体姿态包括弯腰、下蹲、站立、走路、跑步、爬行。
10.根据权利要求9所述的基于毫米波雷达的室内人体姿态识别方法，其特征在于所述毫米波雷达为60GHz。
CN202310447826.1A 2023-04-24 2023-04-24 基于毫米波雷达的室内人体姿态识别方法 Pending CN116561700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310447826.1A CN116561700A (zh) 2023-04-24 2023-04-24 基于毫米波雷达的室内人体姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310447826.1A CN116561700A (zh) 2023-04-24 2023-04-24 基于毫米波雷达的室内人体姿态识别方法

Publications (1)

Publication Number Publication Date
CN116561700A true CN116561700A (zh) 2023-08-08

Family

ID=87489110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310447826.1A Pending CN116561700A (zh) 2023-04-24 2023-04-24 基于毫米波雷达的室内人体姿态识别方法

Country Status (1)

Country Link
CN (1) CN116561700A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117310646A (zh) * 2023-11-27 2023-12-29 南昌大学 基于室内毫米波雷达的轻量化人体姿态识别方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117310646A (zh) * 2023-11-27 2023-12-29 南昌大学 基于室内毫米波雷达的轻量化人体姿态识别方法及***
CN117310646B (zh) * 2023-11-27 2024-03-22 南昌大学 基于室内毫米波雷达的轻量化人体姿态识别方法及***

Similar Documents

Publication Publication Date Title
Majid et al. Attention based CNN model for fire detection and localization in real-world images
Li et al. An improved YOLOv5-based vegetable disease detection method
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
WO2022012158A1 (zh) 一种目标确定方法以及目标确定装置
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及***
CN105389562B (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN112560619B (zh) 一种基于多聚焦图像融合的多距离鸟类精准识别方法
US20180313950A1 (en) CNN-Based Remote Locating and Tracking of Individuals Through Walls
Zheng et al. Human posture reconstruction for through-the-wall radar imaging using convolutional neural networks
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
Xia et al. Person identification with millimeter-wave radar in realistic smart home scenarios
Kılıç et al. Through‐Wall Radar Classification of Human Posture Using Convolutional Neural Networks
CN113850204A (zh) 一种基于深度学习和超宽带雷达的人体动作识别方法
CN107798345A (zh) 基于块对角与低秩表示的高光谱伪装目标检测方法
CN116561700A (zh) 基于毫米波雷达的室内人体姿态识别方法
CN108182410A (zh) 一种联合目标区域定位和深度特征学习的跌倒识别算法
CN113739790B (zh) 一种被动式室内定位***及定位方法
WO2022130350A1 (en) Radar detection and tracking
Huang et al. Tscnn: A 3d convolutional activity recognition network based on rfid rssi
CN114663795A (zh) 距离选通成像设备获取玻璃幕墙后图像的目标检测方法
Li et al. Passive Multi-user Gait Identification through micro-Doppler Calibration using mmWave Radar
Zhou et al. Deep-WiID: WiFi-based contactless human identification via deep learning
Gao et al. RCVNet: A bird damage identification network for power towers based on fusion of RF images and visual images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination