CN110569928A - 一种卷积神经网的微多普勒雷达人体动作分类方法 - Google Patents

一种卷积神经网的微多普勒雷达人体动作分类方法 Download PDF

Info

Publication number
CN110569928A
CN110569928A CN201910897354.3A CN201910897354A CN110569928A CN 110569928 A CN110569928 A CN 110569928A CN 201910897354 A CN201910897354 A CN 201910897354A CN 110569928 A CN110569928 A CN 110569928A
Authority
CN
China
Prior art keywords
layer
convolutional
convolution
neural network
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910897354.3A
Other languages
English (en)
Other versions
CN110569928B (zh
Inventor
叶文彬
陈海权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910897354.3A priority Critical patent/CN110569928B/zh
Publication of CN110569928A publication Critical patent/CN110569928A/zh
Application granted granted Critical
Publication of CN110569928B publication Critical patent/CN110569928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网的微多普勒雷达人体动作分类方法，包括原始数据处理过程和深度卷积神经网络，原始数据处理过程的输出连接到深度卷积神经网络，所述的原始数据处理过程为一维卷积过程，深度卷积神经网络包括复数个带池化的多尺度密集连接模块和全连接层；复数个带池化的多尺度密集连接模块依次串接，原始数据处理过程的输入为原始雷达数据，第一个带池化的多尺度密集连接模块的输入端接原始数据处理过程的输出端，最后一个带池化的多尺度密集连接模块的输出端接全连接层，全连接层输出分类标签。本发明的神经网络结构简单，参数量少，计算量小，运算速度快，并且具有较高的准确率。

Description

一种卷积神经网的微多普勒雷达人体动作分类方法
[技术领域]
本发明涉及人体动作识别技术，尤其涉及一种卷积神经网的微多普勒雷达人体动作分类方法。
[背景技术]
人类活动识别用于老年人监护，非接触式医疗监测和人机交互等许多领域。微多普勒雷达是用于捕获人体动作信号的常见传感器之一，其具有穿透能力并且不受环境的影响，例如光照、天气等等。跑步，拳击和行走等人体动作可以产生微多普勒效应，这种效应可以用来表征人体的动作。因此，如何提取和分析雷达微多普勒特征成为一个近年来研究的热点。
在过去的几十年中，分析雷达微多普勒特征进行人体动作识别的方法一般可分为两类。第一类是基于机器学习的方式。这类方法通常包括两个步骤：特征提取和分类。特征提取的方式包括从原始信号直接提取，但是该方法忽略了时间信息，另一个方式是先对原始信号进行短时傅里叶变换，然后提取频谱图的包络信息作为原始信号的特征。提取到的特征送入支持向量机，K最邻近分类等分类器进行分类。但是手工提取的方式提取的特征并不是最优的，于是人们开始用深度学习的方法进行分类。把频谱图直接作为卷积神经网络的输入，进行特征提取和分类。
申请号为CN201710325528.X的发明公开了一种基于雷达仿真图像的卷积神经网络人体动作分类方法，包括下列的步骤：建立包含多种人体动作的时频图像数据集；雷达时頻图像数据增强；建立卷积神经网络模型：以手写体识别网络LeNet为基础，在其3个卷积层、2个池化层以及2个全连接层的基础上，引入修正线性单元ReLU替换原来的Sigmoid激活函数作为卷积网络的激活函数，并增加一个池化层，减少一个全连接层，构成卷积神经网络结构，该结构包含3个卷积层、3个最大池化层和1个全连接层，调整网络的层间结构和层内结构及训练参数以达到更好的分类效果；训练卷积神经网络模型。
首先，尽管频谱图表示出了人体动作雷达信号的物理关系，但是这种表示与神经网络模型的学习是分开进行的，频谱图并不是为分类任务进行优化的表示方式。雷达信号的STFT(短时傅里叶变换)可以被认为是具有固定傅里叶系数的一维卷积。其次，通过使用STFT或可训练卷积过程将雷达信号转换为特定域，可以获得二维矩阵。现有的深度学习方法将这种二维矩阵视为传统的光学图像，并使用二维卷积神经网络进行分类。光学图像的像素具有高的空间相关性，而雷达的二维矩阵的像素具有更多时间相关性。因此，将2D矩阵视为光学图像然后使用二维卷积神经网络对其进行分类，网络参数多，计算量大，运算速度慢。
[发明内容]
本发明要解决的技术问题是提供一种网络参数少，计算量小，运算速度快的卷积神经网的微多普勒雷达人体动作分类方法。
为了解决上述技术问题，本发明采用的技术方案是，一种卷积神经网的微多普勒雷达人体动作分类方法，包括原始数据处理过程和深度卷积神经网络，原始数据处理过程的输出连接到深度卷积神经网络，所述的原始数据处理过程为一维卷积过程，深度卷积神经网络包括复数个带池化的多尺度密集连接模块和全连接层；复数个带池化的多尺度密集连接模块依次串接，原始数据处理过程的输入为原始雷达数据，第一个带池化的多尺度密集连接模块的输入端接原始数据处理过程的输出端，最后一个带池化的多尺度密集连接模块的输出端接全连接层，全连接层输出分类标签。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，原始数据处理过程包括依次串接的两个一维卷积层和一个最大值池化层，第一一维卷积层的通道数为n，第二一维卷积层的通道数和最大值池化层的通道数为2n；第一一维卷积层输入所述的原始雷达数据，第三一维卷积层的输出端接第一个带池化的多尺度密集连接模块；其中n为初始的通道数。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，带池化的多尺度密集连接模块包括前后连接的多尺度密集连接模块和最大值池化层，多尺度密集连接模块的输出接最大值池化层；所述的全连接层为两个，两个全连接层串接，最后一个带池化的多尺度密集连接模块的最大值池化层和第一个全连接层之间实施随机失活，随机失活的概率为0.6；修正线性单元函数用作第一个全连接层中的激活函数，第二个全连接层使用归一化指数函数作为激活函数，用于最后的分类。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，多尺度密集连接模块包括4个卷积分支、一个直通分支和拼接层，4个卷积分支和一个直通分支并接在多尺度密集连接模块的输入端与后部的拼接层之间，拼接层将四个卷积分支与输入拼接到一起作为多尺度密集连接模块的输出。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，第一卷积分支和第二卷积分支各包括串接的两个一维卷积层，第三卷积分支包括按前后顺序串接的平均值池化层和一维卷积层；第四卷积分支包括一个一维卷积层。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，第一卷积分支第一一维卷积层卷积核的数量为1，通道数为(1/8)k，第一卷积分支第二一维卷积层卷积核的数量为5，通道数为(i/16)k；第二卷积分支第一一维卷积层卷积核的数量为1，通道数为(1/8)k，第二卷积分支第二一维卷积层卷积核的数量为3，通道数为((8-i/)16)k；第三卷积分支平均值池化层采样的大小为3，第三卷积分支一维卷积层卷积核的数量为1，通道数为(1/4)k；第四卷积分支一维卷积层卷积核的数量为1，通道数为(1/4)k；其中，k为4个卷积分支通道数的总和，i为控制卷积核大小为3到5之间数量比率的参数。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，深度卷积神经网络包括多个所述的带池化的多尺度密集连接模块，按前后顺序，第一带池化的多尺度密集连接模块拼接层的通道数和最大值池化层的通道数为2n+k,后面每增加一个带池化的多尺度密集连接模块，其拼接层的通道数和最大值池化层的通道数增加k；其中，其中n为初始的通道数。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，深度卷积神经网络包括三个所述的带池化的多尺度密集连接模块，三个所述的带池化的多尺度密集连接模块从前到后，i的值分别被设置为4,6和7，在多尺度密集连接模块中，所有卷积和池化操作的步长均为1，并且都使用补零填充来保持与输入具有相同的形状。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，在最后一个带池化的多尺度密集连接模块的最大值池化层，将所有元素展平为一列，然后通过全连接层进行分类，输出分类标签。
以上所述的卷积神经网的微多普勒雷达人体动作分类方法，原始数据处理过程的第一卷积层中，卷积核的大小为51，步长为2，通道数n为64；第二卷积层卷积核大小为9，步长为2；最大值池化层的大小为4，步长也为4。
本发明的神经网络结构简单，参数量少，计算量小，运算速度快，并且具有较高的准确率。
[附图说明]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例人体活动数据采集示意图。
在图1中，(a)跑步、(b)走路、(c)举枪走路、(d)爬行、(e)走路拳击、(f)站立拳击、(g)静坐。
图2是本发明实施例ID-1D-CNN的总体架构图。
在图2中，①一维卷积层，②最大值池化层，③平均值池化层，④拼接层，⑤全连接层，⑥标签。
图3是本发明实施例ID-Block的整体结构框图。
在图3中，①一维卷积层，②平均值池化层。
图4是本发明实施例卷不同数量的训练数据对CAE与ID-1D-CNN准确率的影响曲线图。
图5是本发明实施例数据采集时间对准确率的影响曲线图。
[具体实施方式]
本发明实施例一维卷积神经网的微多普勒雷达人体动作分类方法包括以下步骤：
如图1所示，使用英飞凌Sense2GoL微多普勒雷达在自由空间中采集7类人体日常动作数据，共14,923组。7类人体日常动作包括：跑步(2075组)、走路(2367组)、举枪走路(2064组)、爬行(1972组)、走路拳击(1967组)、站立拳击(2492组)、静坐(2049组)。收集的数据来自七个实验者，包括五名男性和两名女性。这七个动作，波束宽度和目标范围的示意图如图1所示。从图1中可以看出，雷达垂直方向的波束宽度是20，水平方向的波束宽度是42。测量范围在0.5到5米之间。7类人体日常动作的详细描述如表1所示。雷达的采样频率为2000Hz，每组动作的采集时长是3秒。每组数据标准化为均值为0，方差为1。
表1七类人体日常动作的详细描述
搭建端到端的一维卷积神经网络ID-1D-CNN。本发明ID-1D-CNN的整体架构如图2所示。为了减少内存的使用，ID-Block用于较高层，而较低层则使用传统卷积用于提取主要特征。ID-1D-CNN的输入是一维原始雷达数据，然后通过两个一维卷积层和最大值池化层连接。特别地，将大尺度二维卷积核转换为若干小卷积核(如3×3)的技术在Inception-v3和Inception-ResNet中被应用，以达到减少参数和增加深度的目的。然而，这种技术不适用于本发明的1D卷积层，因为它增加了参数的数量。
在本发明的ID-1D-CNN架构中，Stem模块(初级模块)前两层的卷积核大小远大于3。第二卷积层的通道数是第一层的两倍，因为后面连接了池化层对该层输出进行下采样。三个多尺度密集连接模块(ID-Block)分别连接一个最大值池化层构成带池化的多尺度密集连接模块，在带池化的多尺度密集连接模块中，每个ID-Block连接一个最大值池化层可以减小特征图的大小以提取更抽象的特征。这三个ID-Block的结构和参数略有不同，详细内容将在下面介绍。在最后一个带池化的多尺度密集连接模块最大值池化层之后，将所有元素展平为一列，然后通过全连接层进行分类，输出分类标签。
在图2所示的ID-1D-CNN中有三个ID-Block，包括ID-Block(a)，ID-Block(b)和ID-Block(c)。其中n和k是网络层中的通道数。其中n是第一层卷积层的通道数(初始的通道数)。k是增加ID-Block后增加的通道数。
在本发明的ID-1D-CNN中，ID-Block旨在提高网络性能。以下一些技术应用于本发明的ID-Block：
受GoogLeNet的启发，多尺度技术应用于所提出的ID-1D-CNN。为了构建更宽和更深的CNN，使用多卷积分支结构，每个卷积分支代表不同的过滤器大小，意味着不同大小的感受野。通过网络的培训，网络可以在初始模块中自动选择合适的卷积核大小。
在本发明所提出的网络中也采用密集连接的方法。密集连接技术可以解决梯度消失的问题，同时增加了特征的重用，提高了网络的性能。
为了进一步减少参数数量并增加网络深度，应用了Network-in-Network(NiN)技术。在NiN中，特征映射的通道被1×1的卷积压缩，从而减少了网络的参数和增加网络的深度。
框图中公式形式为a×k的含义是，其中a是卷积核的大小。k是四个卷积分支的通道数的总数。每个卷积分支末尾通道数的比率是i/16，(8-i)/16,1/4和1/4。池化层中的数字3是采样的大小。
如图3所示。ID-Block中有四个卷积分支和一个直通分支。其中三个卷积分支的后部是卷积层，卷积核大小分别为1,3和5。NiN技术通常用于二维卷积，本发明将它用于一维卷积，并起到相同的作用。因此，卷积核大小为3和5的卷积分支前面是一个卷积核大小为1的卷积层，旨在进行通道压缩以避免维度灾难。与前面相同的原因，大小为5的内核不分解为大小为3的两个内核。池化层在卷积神经网络中起着重要作用，因此将其嵌入到ID-Block卷积分支中。2D池化的大小通常设置为3×3，因此本发明提出的ID-Block中的池化大小为3。然后这四个卷积分支最终和输入拼接到一起作为输出。本发明的ID-1D-CNN使用密集连接的方法来解决1D卷积中的“梯度消失”问题。
在本发明提出的ID-Block中，四个卷积分支的最终的卷积核(通道)总数表示为k。ID-Block中每个卷积分支末尾的通道数的比率分别为i/16，(8-i)/16,1/4和1/4，如图3所示，其中i为控制卷积核大小为3和5之间数量的比率的参数。换句话说，具有卷积核大小1和池化层的卷积分支的卷积核的数量是固定的，而大小为3和5的卷积核的数量随着网络中ID-Block的深度变化。由于较高层的特征更抽象，空间集中度较低，因此ID-Block中的大卷积核的数量随着网络深度的增加而增大。对应于ID-Block(a)，ID-Block(b)和ID-Block(c)的i的值分别被设置为4,6和7。ID-Block中的所有卷积和池化操作的步长均为1，并且都使用补零填充来保持与输入具有相同的形状，以便它们可以拼接在一起。假设输入通道的数量为l，则一个ID-Block中的参数数量计算为
其中PN表示参数总数，每个括号的值表示ID-Block中每个卷积分支的参数量。
验证实例：
构建模型时，把人体动作数据分为五折，采用五折交叉验证法对模型的结构进行验证，得到最终的模型。然后采用5折交叉验证法验证其他模型的结果，进行对比。
在本发明以下的实验中，每个类别的数据被分为5份。采用5折交叉验证法来验证所提出的模型的性能。ID-1D-CNN的整体结构如图2所示。网络输入是原始雷达信号。在原始数据处理过程的初级模块的第一卷积层中，卷积核的大小为51，步长大小为2。在第一卷积层中尝试了不同大小的卷积核后，发现大小为51的卷积核是最优的。这可以理解为51个采样点的微多普勒信号类似于语音信号的“帧”。补零填充的大小为25以保持相同的形状，并且通道数n为64。对于第二卷积层，卷积核大小为9，步长大小为2。在第二卷积层中也使用补零填充。之后，连接大小为4且步长也为4的最大值池化层。每添加一个ID-Block，整个网络的通道数增加k。在本发明的实验中，k设置为64。每个ID-Block后面连接一个最大值池化层，其大小为4，步长大小为4。在ID-1D-CNN的末端是两个全连接层。第一个全连接层中隐藏神经元的数量设置为160。随机失活技术应用于最后一个最大值池化层和第一个全连接层之间，随机失活的概率为0.6。修正线性单元函数(Rectified Linear Unit，ReLU,)用作第一个全连接层中的激活函数，第二个全连接层使用归一化指数函数(softmax)作为激活函数，用于最后的分类。反正切函数(arctan)作为其它层的激活函数。
通过四个指标评估所提出的ID-1D-CNN的性能，包括5折交叉验证结果的平均准确率，超参数的数量，一个epoch的平均训练时间和没有反向传播的单个样本的测试时间。所提出的模型使用一块NVIDIA GeForce GTX1080Ti显卡(GPU，12GB内存)和2.5GHz Inter(R)Xeon(R)CPU E5-2678 v3，并具有64G内存的服务器上进行训练。模型在Tensorflow后端的Keras框架中进行训练。在训练过程中使用Adam(Adaptive moment estimation)优化器，批量大小为64，初始学习率为0.001。训练过程使用学习率衰减策略，当迭代20个epoch，验证集的准确率没有提升，则学习率为原来的1/2，学习率最小为0.00001。训练过程还使用early stop机制，用于检测模型是否拟合。当迭代50个epoch，验证集的准确率没有提升，则认为模型已经拟合，停止训练。网络参数的初始化方法为Glorot均匀分布初始化。
为了证明本方案的优越性，将本发明的方法与最近发表的文献[1-6]中的方法进行了比较。在文献[2]中，首先提出了一种利用高斯核的SVM方法对人类活动进行分类。在文献[1]中，ANN只有一个隐藏层，其中有34个神经元。在文献[3]中，提出了一个由3个卷积层和2个全连接层组成的卷积神经网络。在文献[4]中提出了由5个卷积层组成的更深的CNN。在文献[5]中，经典网络ResNet-18由18个残差模块组成，用于对六种人类活动的频谱图像进行分类。在文献[6]中采用卷积自动编码器由3个卷积层和3个反卷积层组成，用于更具挑战性的12类动作的分类问题。此外，InceptionResNet(I-ResNet)[7]被添加到比较中。
表2不同模型5折交叉验证的结果
表3不同模型的参数、训练时间及单个样本测试时间
每种模型的对比实验结果如表2和表3所示。对于传统方法(MLP和SVM)，它们的准确度相对较低。原因是因为本发明的实验获得的频谱图(手动提取的特征)的包络并不像[1,2]中提出的那样明显。这意味着手动提取特征的方法具有显着的局限性。对于深度学***均为5.62秒，这比其他模型的方法更快。更重要的是，ID-1D-CNN没有反向传播的单个样本的测试时间是0.141毫秒，并且比其他模型快2.14～29.68倍。
使用不同训练数据量的CAE和ID-1D-CNN的表现如图4所示。两种方法的性能随着训练样本的增加而提高。但是，当训练数据减少到总训练数据数量的50％以下时，CAE方法优于所述的方法。换句话说，当训练样本的数量有限时，CAE方法可以实现比所述的方法更好的性能
为了进一步研究本发明ID-1D-CNN的性能，还构建了多尺度密集连接的二维CNN(ID-2D-CNN)和STFT-1D-Net。ID-2D-CNN具有与ID-1D-CNN相同的架构，仅扩展了维度。例如，ID-2D-CNN中的卷积核大小为3×3，而ID-1D-CNN中的卷积核大小为3。ID-2D-CNN的4层最大值池化层的大小和步长均为2×2。剩余的超参数与ID-1D-CNN相同。对于STFT-1DNet，其结构和参数与去除前两个卷积层和第一个池化层后的ID-1D-CNN相同。STFT-1D-Net的输入是被看成一维向量序列的频谱图。
表4 5折交叉验证的结果
表5 ID-2D-CNN及STFT-1D-Net的参数、训练时间及单个样本测试时间
对于ID-2D-CNN和STFT-1D-Net，结果如表4和表5所示。ID-1D-CNN的分类准确率为96.10％，略高于ID-2D-CNN(96.01％)。然而，ID-1D-CNN中使用的超参数的数量是365,319，比ID-2D-CNN减少了71.55％。训练过程的速度也提高了5.54倍，而测试过程仅包括前向传播提升了10.2倍。STFT-1D-Net的准确率为94.59％，比所提出的ID-1D-CNN方法低1.51％。因此，用两个可训练的卷积层替换STFT可以改善性能。
本发明比较了数据不同采集时间(从1s到3s，步长为0.2s)的准确性。结果如图5所示。雷达的有效探测范围为5米。对于跑步动作，跑5米需要不到3秒钟。所以采集时间的最大值是3秒。总的来说，采集数据的时间越长，准确度越高。当采集时间为3秒时，精度最高，因此在本发明的情况下采集时间设置为3秒。
本发明以上实施例与现有技术相比具有以下优势及有益效果：
1、本发明ID-1D-CNN的输入为原始雷达信号，而不是信号经过短时傅里叶变换(STFT)之后得到的频谱图。短时傅里叶变换可以看成是具有固定傅里叶系数的一维卷积。因此，在本发明中，用ID-1D-CNN的前两个卷积层代替短时傅里叶变换。雷达信号特征的表示过程被融合到神经网络中，并且可以通过优化分类误差来学习到更优的特征表示方式。
2、本发明的网络结构是一维的，更符合时间相关的数据(雷达数据)。通过使用短时傅里叶变换可将雷达信号变换到时间频率域，可以获得维矩阵(频谱图)。现有的深度学习方法将这个二维矩阵视为典型的光学图像，并使用2D-CNN进行分类。光学图像的像素具有空间相关性，而雷达的二维矩阵的像素具有更多时间相关性。因此，将二维矩阵视为光学图像然后使用2D-CNN对其进行分类可能不是最佳的。1D-CNN通常用于处理时序信号，因此具有更好的从雷达信号中提取时间相关性的能力。实验结果证实，该方法可以获得比现有2D-CNN方法更好的性能。
3、综合上述两点，通过输入原始雷达数据，学习雷达数据的内在特征，直接输出动作数据的类别，充分利用神经网络端到端的学习优势。
4、本发明提出的ID-Block中，融合了多卷积分支技术、NiN技术和密集连接技术。它们能够增强特征的可表示性，增加特征的重利用和减少梯度消失。
5、本发明的神经网络结构简单，参数量少，并且具有较高的准确率和较低的复杂度，具备嵌入硬件***的可能性。
参考文献：
[1]Y.Kim and H.Ling,"Human activity classification based on micro-Doppler signatures using an artificial neural network,"in Antennas andPropagation Society International Symposium,2008.AP-S 2008.IEEE,2008,pp.1-4:IEEE.
[2]Y.Kim and H.Ling,"Human activity classification based on micro-Doppler signatures using a support vector machine,"IEEE Transactions onGeoscience and Remote Sensing,vol.47,no.5,pp.1328-1337,2009.
[3]Y.Kim and T.Moon,"Human detection and activity classificationbased on micro-Doppler signatures using deep convolutional neural networks,"IEEE geoscience and remote sensing letters,vol.13,no.1,pp.8-12,2016.
[4]T.S.Jordan,"Using convolutional neural networks for human activityclassification on micro-Doppler radar spectrograms,"in Sensors,and Command,Control,Communications,and Intelligence(C3I)Technologies for HomelandSecurity,Defense,and Law Enforcement Applications XV,2016,vol.9825,p.982509:International Society for Optics and Photonics.
[5]H.Du,Y.He,and T.Jin,"Transfer Learning for Human ActivitiesClassification Using Micro-Doppler Spectrograms,"in 2018 IEEE InternationalConference on Computational Electromagnetics(ICCEM),2018,pp.1-3:IEEE.
[6]M.S.and S.Z.Gürbüz,"Deep neural network initializationmethods for micro-Doppler classification with low training sample support,"IEEE Geosci.Remote Sens.Lett,vol.14,no.12,pp.2462-2466,2017.
[7]C.Szegedy,S.Ioffe,V.Vanhoucke,and A.A.Alemi,"Inception-v4,inception-resnet and the impact of residual connections on learning,"in AAAI,2017,vol.4,p.12.

Claims (10)

1.一种卷积神经网的微多普勒雷达人体动作分类方法，包括原始数据处理过程和深度卷积神经网络，原始数据处理过程的输出连接到深度卷积神经网络，其特征在于，所述的原始数据处理过程为一维卷积过程，深度卷积神经网络包括复数个带池化的多尺度密集连接模块和全连接层；复数个带池化的多尺度密集连接模块依次串接，原始数据处理过程的输入为原始雷达数据，第一个带池化的多尺度密集连接模块的输入端接原始数据处理过程的输出端，最后一个带池化的多尺度密集连接模块的输出端接全连接层，全连接层输出分类标签。
2.根据权利要求1所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，原始数据处理过程包括依次串接的两个一维卷积层和一个最大值池化层，第一一维卷积层的通道数为n，第二一维卷积层的通道数和最大值池化层的通道数为2n；第一一维卷积层输入所述的原始雷达数据，第三一维卷积层的输出端接第一个带池化的多尺度密集连接模块；其中n为初始的通道数。
3.根据权利要求1所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，带池化的多尺度密集连接模块包括前后连接的多尺度密集连接模块和最大值池化层，多尺度密集连接模块的输出接最大值池化层；所述的全连接层为两个，两个全连接层串接，最后一个带池化的多尺度密集连接模块的最大值池化层和第一个全连接层之间实施随机失活，随机失活的概率为0.6；修正线性单元函数用作第一个全连接层中的激活函数，第二个全连接层使用归一化指数函数作为激活函数，用于最后的分类。
4.根据权利要求3所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，多尺度密集连接模块包括4个卷积分支、一个直通分支和拼接层，4个卷积分支和一个直通分支并接在多尺度密集连接模块的输入端与后部的拼接层之间，拼接层将四个卷积分支与输入拼接到一起作为多尺度密集连接模块的输出。
5.根据权利要求4所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，第一卷积分支和第二卷积分支各包括串接的两个一维卷积层，第三卷积分支包括按前后顺序串接的平均值池化层和一维卷积层；第四卷积分支包括一个一维卷积层。
6.根据权利要求5所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，第一卷积分支第一一维卷积层卷积核的数量为1，通道数为(1/8)k，第一卷积分支第二一维卷积层卷积核的数量为5，通道数为(i/16)k；第二卷积分支第一一维卷积层卷积核的数量为1，通道数为(1/8)k，第二卷积分支第二一维卷积层卷积核的数量为3，通道数为((8-i/)16)k；第三卷积分支平均值池化层采样的大小为3，第三卷积分支一维卷积层卷积核的数量为1，通道数为(1/4)k；第四卷积分支一维卷积层卷积核的数量为1，通道数为(1/4)k；其中，k为4个卷积分支通道数的总和，i为控制卷积核大小为3到5之间数量比率的参数。
7.根据权利要求6所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，深度卷积神经网络包括多个所述的带池化的多尺度密集连接模块，按前后顺序，第一带池化的多尺度密集连接模块拼接层的通道数和最大值池化层的通道数为2n+k,后面每增加一个带池化的多尺度密集连接模块，其拼接层的通道数和最大值池化层的通道数增加k；其中，其中n为初始的通道数。
8.根据权利要求7所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，深度卷积神经网络包括三个所述的带池化的多尺度密集连接模块，三个所述的带池化的多尺度密集连接模块从前到后，i的值分别被设置为4,6和7，在多尺度密集连接模块中，所有卷积和池化操作的步长均为1，并且都使用补零填充来保持与输入具有相同的形状。
9.根据权利要求7所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，在最后一个带池化的多尺度密集连接模块的最大值池化层，将所有元素展平为一列，然后通过全连接层进行分类，输出分类标签。
10.根据权利要求2所述的卷积神经网的微多普勒雷达人体动作分类方法，其特征在于，原始数据处理过程的第一卷积层中，卷积核的大小为51，步长为2，通道数n为64；第二卷积层卷积核大小为9，步长为2；最大值池化层的大小为4，步长也为4。
CN201910897354.3A 2019-09-23 2019-09-23 一种卷积神经网的微多普勒雷达人体动作分类方法 Active CN110569928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910897354.3A CN110569928B (zh) 2019-09-23 2019-09-23 一种卷积神经网的微多普勒雷达人体动作分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910897354.3A CN110569928B (zh) 2019-09-23 2019-09-23 一种卷积神经网的微多普勒雷达人体动作分类方法

Publications (2)

Publication Number Publication Date
CN110569928A true CN110569928A (zh) 2019-12-13
CN110569928B CN110569928B (zh) 2023-04-07

Family

ID=68781793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910897354.3A Active CN110569928B (zh) 2019-09-23 2019-09-23 一种卷积神经网的微多普勒雷达人体动作分类方法

Country Status (1)

Country Link
CN (1) CN110569928B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339969A (zh) * 2020-03-02 2020-06-26 深圳市瑞立视多媒体科技有限公司 人体姿势估计方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0064788A1 (en) * 1981-04-27 1982-11-17 Rijksuniversiteit Leiden System and method for observing and quantifying body movements
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
JP2017169726A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 測定装置、測定方法、及び測定プログラム
CN108564549A (zh) * 2018-04-20 2018-09-21 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN109034374A (zh) * 2018-07-03 2018-12-18 苏州中科启慧软件技术有限公司 使用多刻度密集连通卷积网络的相对深度序列估计方法
CN109086700A (zh) * 2018-07-20 2018-12-25 杭州电子科技大学 基于深度卷积神经网络的雷达一维距离像目标识别方法
CN109645980A (zh) * 2018-11-14 2019-04-19 天津大学 一种基于深度迁移学习的心律异常分类方法
CN109961095A (zh) * 2019-03-15 2019-07-02 深圳大学 基于非监督深度学习的图像标注***及标注方法
US20190236440A1 (en) * 2018-01-31 2019-08-01 Pin-Han Ho Deep convolutional neural network architecture and system and method for building the deep convolutional neural network architecture
CN110222748A (zh) * 2019-05-27 2019-09-10 西南交通大学 基于1d-cnn多域特征融合的ofdm雷达信号识别方法
CN110245581A (zh) * 2019-05-25 2019-09-17 天津大学 一种基于深度学习和距离-多普勒序列的人体行为识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0064788A1 (en) * 1981-04-27 1982-11-17 Rijksuniversiteit Leiden System and method for observing and quantifying body movements
JP2017169726A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 測定装置、測定方法、及び測定プログラム
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
US20190236440A1 (en) * 2018-01-31 2019-08-01 Pin-Han Ho Deep convolutional neural network architecture and system and method for building the deep convolutional neural network architecture
CN108564549A (zh) * 2018-04-20 2018-09-21 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN109034374A (zh) * 2018-07-03 2018-12-18 苏州中科启慧软件技术有限公司 使用多刻度密集连通卷积网络的相对深度序列估计方法
CN109086700A (zh) * 2018-07-20 2018-12-25 杭州电子科技大学 基于深度卷积神经网络的雷达一维距离像目标识别方法
CN109645980A (zh) * 2018-11-14 2019-04-19 天津大学 一种基于深度迁移学习的心律异常分类方法
CN109961095A (zh) * 2019-03-15 2019-07-02 深圳大学 基于非监督深度学习的图像标注***及标注方法
CN110245581A (zh) * 2019-05-25 2019-09-17 天津大学 一种基于深度学习和距离-多普勒序列的人体行为识别方法
CN110222748A (zh) * 2019-05-27 2019-09-10 西南交通大学 基于1d-cnn多域特征融合的ofdm雷达信号识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNGWOOK KIM: "Human Activity Classification Based on Micro-Doppler Signatures Using an Artificial Neural Network", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339969A (zh) * 2020-03-02 2020-06-26 深圳市瑞立视多媒体科技有限公司 人体姿势估计方法、装置、设备及存储介质
CN111339969B (zh) * 2020-03-02 2023-06-20 深圳市瑞立视多媒体科技有限公司 人体姿势估计方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110569928B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
LU503919B1 (en) Facial expression recognition method based on attention-modulated contextual spatial information
US10936913B2 (en) Automatic filter pruning technique for convolutional neural networks
Liew et al. Gender classification: a convolutional neural network approach
CN109472194B (zh) 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN104268568B (zh) 基于独立子空间网络的行为识别方法
CN108985252B (zh) 改进的脉冲深度神经网络的图像分类方法
CN112784798A (zh) 一种基于特征-时间注意力机制的多模态情感识别方法
CN107918772B (zh) 基于压缩感知理论和gcForest的目标跟踪方法
CN112215296B (zh) 基于迁移学习的红外图像识别方法及存储介质
Chen et al. Mobile convolution neural network for the recognition of potato leaf disease images
CN111460980A (zh) 基于多语义特征融合的小目标行人的多尺度检测方法
Liu et al. Crop disease recognition based on modified light-weight CNN with attention mechanism
Mihanpour et al. Human action recognition in video using DB-LSTM and ResNet
Min et al. Gait recognition using deep convolutional features
CN112633377A (zh) 一种基于生成对抗网络的人体行为预测方法及***
CN117033985A (zh) 一种基于ResCNN-BiGRU的运动想象脑电分类方法
CN110569928B (zh) 一种卷积神经网的微多普勒雷达人体动作分类方法
CN111860266B (zh) 基于深度特征的伪装人脸识别方法
Elbarawy et al. Facial expressions recognition in thermal images based on deep learning techniques
Bernecker et al. Representation learning for cloud classification
Khan et al. Traditional features based automated system for human activities recognition
Wirayasa et al. Comparison of Convolutional Neural Networks Model Using Different Optimizers for Image Classification
Fredj et al. Deep face verification based convolutional neural network
Wu et al. Human action recognition using action bank and RBFNN trained by L-GEM
Srihari et al. A Deep Learning Based Hybrid Approach for Human Physical Activity Recognition in Thermal Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant