CN111965620B - 基于时频分析和深度神经网络的步态特征提取与识别方法 - Google Patents
基于时频分析和深度神经网络的步态特征提取与识别方法 Download PDFInfo
- Publication number
- CN111965620B CN111965620B CN202010900952.4A CN202010900952A CN111965620B CN 111965620 B CN111965620 B CN 111965620B CN 202010900952 A CN202010900952 A CN 202010900952A CN 111965620 B CN111965620 B CN 111965620B
- Authority
- CN
- China
- Prior art keywords
- time
- frequency analysis
- human
- frequency
- gait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 109
- 238000004458 analytical method Methods 0.000 title claims abstract description 97
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000002474 experimental method Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000002592 echocardiography Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000035485 pulse pressure Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000011065 in-situ storage Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一种基于时频分析和深度神经网络的步态特征提取与识别方法,包括以下步骤:初始化雷达参数以及人体步态雷达原始回波信号采集;对人体步态的雷达原始回波信号进行预处理;时频分析处理,采用短时傅里叶变换处理所述一维复序列,获得时频分析图像,时频分析图像的横轴为时间轴,纵轴为多普勒频率轴;从时频分析图像中获取人体步态特征参;将时频分析图像中的人体步态独立周期结果按行张成一维实序列,将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列,构建训练集和测试集;构建深度神经网络,将训练集送入深度神经网络完成网络训练,并在测试集上验证不同类型人体步态行为的识别精度。
Description
技术领域
本发明涉及雷达信息获取与处理技术领域,更具体地,涉及一种基于时频分析和深度神经网络的步态特征提取与识别方法。
背景技术
与光学***和录像监视***相比较,采用雷达技术可对人体步态进行全天时、全天候的监测,雷达在大雾或其他可见度较低的环境下仍然可以无障碍使用。雷达发射微波信号对人体步态进行探测,其回波信号中包含了人体微动所产生的微多普勒信息。因此,利用雷达进行人体步态微动特征参数提取在军事、安防、反恐等相关领域具有非常重要的应用前景与价值。
日常生活中存在着一些常见的“低、慢、小”运动目标,如人体、动物、旋翼无人机等。时频分析方法是提取运动目标微动特征参数的主要方法,是分析时变非平稳信号的有力工具。时频分析方法提供了时间域与频率域的联合分布信息,能够清楚地描述信号频率随时间的变化关系。常见的时频分析方法有短时傅里叶变换、小波变换、Garbor展开等。
深度学习是当前图像处理领域的前沿热点,其在图像特征提取方面具有无可比拟的优越性。深度学习利用神经网络结构做逐层的非线性变换,并通过分层的网络获取分层次的特征信息。优秀的特征自学习能力使得深度学习受到了学术界的广泛关注。近年来,深度学习在图像分类,目标检测与识别,以及自然语言处理等领域均取得了较好的效果。
通过人体步态雷达信号的时频分析结果,以及时频分析结果中所提取的特征参数主观人为地去判断其具体的步态类型会耗费大量的人力和物力资源,并可能存在严重的主观臆断,造成误判的情况。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于时频分析和深度神经网络的步态特征提取与识别方法,以期部分地解决上述技术问题中的至少之一。
为了实现上述目的,作为本发明的一方面,提供了一种基于时频分析和深度神经网络的步态特征提取与识别方法,包括以下步骤:
初始化雷达参数以及人体步态雷达原始回波信号采集;
对人体步态的雷达原始回波信号进行预处理,包括距离向脉冲压缩处理以获取时间-距离像,时间-距离像中方位脉冲对消处理;
时频分析处理,采用短时傅里叶变换处理所述一维复序列,获得时频分析图像,时频分析图像的横轴为时间轴,纵轴为多普勒频率轴;
从时频分析图像中获取人体步态特征参数,根据人体时频分析图的周期获取人体步态周期,根据时频分析图的中心频率相对于零频的偏移量获取人体躯干与雷达间的瞬时径向速度,根据时频图像中的多普勒频率获取人体主要关节部位与雷达间的瞬时径向摆动速度;
将时频分析图像中的人体步态独立周期结果按行张成一维实序列,将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列,构建训练集和测试集;
构建深度神经网络,将训练集送入深度神经网络完成网络训练,并在测试集上验证不同类型人体步态行为的识别精度。
其中,所述初始化雷达参数,雷达发射脉冲体制或者调频连续波体制的线性调频信号,雷达载频记为f0,雷达带宽记为Br,雷达脉冲时间宽度记为Tr,距离向采样率记为Fr,线性调频信号的调频率记为Kr=Br/Tr,脉冲发射频率记为PRF=1/Tr,电磁波在真空中传播速度记为c,expX表示以自然常数e为底数,以X为指数的指数函数;雷达采集到的人体回波信号为
其中,Ri表示人体第i关节处关节与雷达之间的距离,Ai表示人体第i关节处的回波信号幅度。
其中,对人体步态的雷达原始回波信号进行预处理,完成距离向脉冲压缩和方位脉冲对消操作,并将人体回波占据的距离门相干累加后获得一维复序列。
其中,若采用脉冲体制信号,距离向脉冲压缩操作采用匹配滤波的方式;若采用调频连续波信号,回波应采用去斜接收的方式而获得距离向脉冲压缩结果;人体雷达回波信号的距离向脉压结果为
其中,处理时间长度为T的信号,则待处理脉冲数为Na=T·PRF;采取方位降采样的方式减小数据量,方位降采样系数记为α,则实际处理脉冲数为α·Na;时间-距离图像是大小为(α·Na)×(Tr·Fr)的复矩阵;方位脉冲对消处理用于消除环境中存在的静态物体回波和一些杂波;将时间-距离图像中人体所在距离门相干累加后得到长度为α·Na的一维复序列。
其中,采用短时傅里叶变换对一维复序列做时频分析处理,得到横轴为时间,纵轴为多普勒频率的时频分析图像,所述短时傅里叶变换公式为
ω(t)为对一维复序列进行分割的窗函数,窗函数信号在一维序列上随时间滑动,实现变换;窗函数大小决定了短时傅里叶变换的时间分辨率和频率分辨率。
其中,人体步态周期与时频分析图像的周期一致,人体躯干的瞬时径向速度由公式计算得到,fdop0为人体躯干的瞬时多普勒频率;第i处人体关节部位的绝对瞬时径向摆动速度可由公式计算得到,fdopi代表第i处人体关节部位的瞬时多普勒频率;第i处人体关节部位的相对径向摆动速度为
其中,将时频分析图像中的人体步态独立周期结果按行张成一维实序列,并做归一化处理;将M种不同类型步态实验的人体时频图像的多个周期数据张成的一维实序列,构建训练集和测试集;训练集和测试集的标签设置为[1 0 … 0 0]1×M,[0 1 … 0 0]1×M;采用时频图像平移和添加均值为μ,方差为σ的高斯白噪声的方式扩充数据集。
其中,构建深度神经网络,将训练集送入神经网络完成网络训练,并在测试集上验证不同人体步态的识别精度的步骤中,深度神经网络的输入层大小为所述的一维实序列长度,输出层大小为所述的步态类型个数M,隐藏层要求为两层及以上。
作为本发明的另一方面,提供了一种基于时频分析和深度神经网络的步态特征提取与识别装置,包括:
信号采集及预处理单元,用于初始化雷达参数、人体步态雷达原始回波信号采集以及对人体步态的雷达原始回波信号进行预处理;
时频分析单元,用于时频分析处理,采用短时傅里叶变换处理所述一维复序列,获得时频分析图像,时频分析图像的横轴为时间轴,纵轴为多普勒频率轴;
特征提取单元,从时频分析图像中获取人体步态特征参数,构建训练集和测试集;
构建神经网络单元,构建深度神经网络,将训练集送入深度神经网络完成网络训练,并在测试集上验证不同类型人体步态行为的识别精度;
数据处理单元,其中包括:
处理器,用于执行存储器内存储的程序;
存储器,用于存储用来执行如上所述的方法的程序。
基于上述技术方案可知,本发明的基于时频分析和深度神经网络的步态特征提取与识别方法相对于现有技术至少具有如下有益效果之一或其中的一部分:
本发明可以根据短时傅里叶变换的时频分析结果准确计算提取人体步态特征参数,提出将时频分析结果按行张成一维实序列,构造深度神经网络,可以实现多类型人体步态的高精度自动识别与分类。通过人体步态雷达探测实验及算法处理验证了本方法有效性。
附图说明
图1是本发明实施例提供的基于时频分析和深度神经网络的步态特征提取与识别方法流程图;
图2是本发明实施例提供的人体步态雷达回波采集实验图;
图3是本发明实施例提供的人体步态雷达回波预处理结果图,其中,图3(a)为原始雷达回波示意图,图3(b)为图3(a)经过方位脉冲对消处理后的结果图;
图4是本发明实施例提供的四种不同类型人体步态时频分析结果图,其中,图4(a)表示人体原地摆动单臂的时频图,图4(b)表示人体原地摆动双臂的时频图,图4(c)表示人体原地模拟走动的时频图,图4(d)表示人体径直走向雷达的时频图;
图5是本发明实施例提供的时频分析结果训练集和测试集构造示意图;
图6是本发明实施例提供的五层深度神经网络构造示意图;
图7是本发明实施例提供的人体步态识别精度随训练样本批次增加的变化曲线图。
具体实施方式
本发明在考虑具有大量多类型人体步态先验结果的情况下,构建包含大量样本信息的训练集,训练深度神经网络。利用深度神经网络优秀的特征自学习能力可以实现多类型人体运动步态的自动识别与分类。
本发明公开了一种基于时频分析和深度神经网络的步态特征提取与识别方法,利用雷达回波时频分析结果准确提取人体步态特征参数,通过将时频分析结果送入深度神经网络训练的方式达到人体步态类型自动识别与分类的目的。本发明采用短时傅里叶变换对人类雷达回波做时频分析处理;通过对时频分析结果进行分析与计算,获取人体步态特征参数,如人体步态周期,人体躯干瞬时径向速度,人体主要关节部位的瞬时径向速度等;本发明提出了构造深度神经网络对时频分析结果按行张成的一维实序列进行识别与分类的方法。
具体的,本发明公开了一种基于时频分析和深度神经网络的步态特征提取与识别方法,包括以下步骤:
初始化雷达参数以及人体步态雷达原始回波信号采集;
对人体步态的雷达原始回波信号进行预处理,包括距离向脉冲压缩处理以获取时间-距离像,时间-距离像中方位脉冲对消处理;
时频分析处理,采用短时傅里叶变换处理所述一维复序列,获得时频分析图像,时频分析图像的横轴为时间轴,纵轴为多普勒频率轴;
从时频分析图像中获取人体步态特征参数,根据人体时频分析图的周期获取人体步态周期,根据时频分析图的中心频率相对于零频的偏移量获取人体躯干与雷达间的瞬时径向速度,根据时频图像中的多普勒频率获取人体主要关节部位与雷达间的瞬时径向摆动速度;
将时频分析图像中的人体步态独立周期结果按行张成一维实序列,将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列,构建训练集和测试集;
构建深度神经网络,将训练集送入深度神经网络完成网络训练,并在测试集上验证不同类型人体步态行为的识别精度。
其中,所述初始化雷达参数,雷达发射脉冲体制或者调频连续波体制的线性调频信号,雷达载频记为f0,雷达带宽记为Br,雷达脉冲时间宽度记为Tr,距离向采样率记为Fr,线性调频信号的调频率记为Kr=Br/Tr,脉冲发射频率记为PRF=1/Tr,电磁波在真空中传播速度记为c,expX表示以自然常数e为底数,以X为指数的指数函数;雷达采集到的人体回波信号为
其中,Ri表示人体第i关节处关节与雷达之间的距离,Ai表示人体第i关节处的回波信号幅度。
其中,对人体步态的雷达原始回波信号进行预处理,完成距离向脉冲压缩和方位脉冲对消操作,并将人体回波占据的距离门相干累加后获得一维复序列。
其中,若采用脉冲体制信号,距离向脉冲压缩操作采用匹配滤波的方式;若采用调频连续波信号,回波应采用去斜接收的方式而获得距离向脉冲压缩结果;人体雷达回波信号的距离向脉压结果为
其中,处理时间长度为T的信号,则待处理脉冲数为Na=T·PRF;采取方位降采样的方式减小数据量,方位降采样系数记为α,则实际处理脉冲数为α·Na;时间-距离图像是大小为(α·Na)×(Tr·Fr)的复矩阵;方位脉冲对消处理用于消除环境中存在的静态物体回波和一些杂波;将时间-距离图像中人体所在距离门相干累加后得到长度为α·Na的一维复序列。
其中,采用短时傅里叶变换对一维复序列做时频分析处理,得到横轴为时间,纵轴为多普勒频率的时频分析图像,所述短时傅里叶变换公式为
ω(t)为对一维复序列进行分割的窗函数,窗函数信号在一维序列上随时间滑动,实现变换;窗函数大小决定了短时傅里叶变换的时间分辨率和频率分辨率。
其中,人体步态周期与时频分析图像的周期一致,人体躯干的瞬时径向速度由公式计算得到,fdop0为人体躯干的瞬时多普勒频率;第i处人体关节部位的绝对瞬时径向摆动速度可由公式计算得到,fdopi代表第i处人体关节部位的瞬时多普勒频率;第i处人体关节部位的相对径向摆动速度为
其中,将时频分析图像中的人体步态独立周期结果按行张成一维实序列,并做归一化处理;将M种不同类型步态实验的人体时频图像的多个周期数据张成的一维实序列,构建训练集和测试集;训练集和测试集的标签设置为[1 0 … 0 0]1×M,[0 1 … 0 0]1×M;采用时频图像平移和添加均值为μ,方差为σ的高斯白噪声的方式扩充数据集。
其中,构建深度神经网络,将训练集送入神经网络完成网络训练,并在测试集上验证不同人体步态的识别精度的步骤中,深度神经网络的输入层大小为所述的一维实序列长度,输出层大小为所述的步态类型个数M,隐藏层要求为两层及以上。
本发明还公开了一种基于时频分析和深度神经网络的步态特征提取与识别装置,包括:
信号采集及预处理单元,用于初始化雷达参数、人体步态雷达原始回波信号采集以及对人体步态的雷达原始回波信号进行预处理;
时频分析单元,用于时频分析处理,采用短时傅里叶变换处理所述一维复序列,获得时频分析图像,时频分析图像的横轴为时间轴,纵轴为多普勒频率轴;
特征提取单元,从时频分析图像中获取人体步态特征参数,构建训练集和测试集;
构建神经网络单元,构建深度神经网络,将训练集送入深度神经网络完成网络训练,并在测试集上验证不同类型人体步态行为的识别精度;
数据处理单元,其中包括:
处理器,用于执行存储器内存储的程序;
存储器,用于存储用来执行如上所述的方法的程序。
为了使本发明实施例的目的、技术方案以及优点更加清楚,下面结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整的描述。实施例在Matlab和Python平台上实现。应该指出,所描述的实施例仅是为说明的目的,而不是对本发明的限制。
如图1所示,本发明公开了一种基于时频分析和深度神经网络的步态特征提取与识别方法。
初始化雷达参数,雷达发射Ka波段调频连续波体制的线性调频信号,雷达载频f0=34.6GHz,雷达带宽Br=1200MHz,雷达脉冲时间宽度Tr=8μs,距离向采样率Fr=50MHz,线性调频信号调频率Kr=1.5×1014Hz/s,脉冲发射频率PRF=125000Hz。人体步态雷达回波采集实验图如图2所示,雷达采集到的人体回波信号为
回波采用去斜接收的方式获得距离向脉冲压缩结果。采取方位降采样的方式减小数据量,方位降采样系数为0.1,方位降采样后时间-距离像如图2(a)所示。人体雷达回波信号的距离向脉压结果为
对时间-距离像做方位脉冲对消处理,消除环境中存在的静态物体回波和一些杂波。图3为人体步态雷达回波预处理结果图,其中,图3(a)经过方位脉冲对消处理后得到图3(b)。将图3(b)中人体信号占据的距离门相干累加后获得一维复序列。
实施例中人体步态实验分为以下四类,原地摆动单臂,原地摆动双臂,原地模拟走动,以及径直走向雷达。采用短时傅里叶变换对四种人体步态的一维复序列做时频分析,得到横轴为时间,纵轴为多普勒频率的时频分析图,如图4所示。其中,图4(a)表示人体原地摆动单臂的时频图,图4(b)表示人体原地摆动双臂的时频图,图4(c)表示人体原地模拟走动的时频图,图4(d)表示人体径直走向雷达的时频图。短时傅里叶变换公式为
据时频分析图获取人体步态特征参数,人体步态周期与时频分析结果的周期一致,人体躯干的瞬时径向速度和第i处人体关节部位的相对瞬时径向摆动速度由如下计算公式得到
以人体径直走向雷达的步态为例,对图3(d)进行人体步态特征参数提取。获取人体步态周期约为1s,中心多普勒频率为380Hz,最大多普勒频率为1200Hz,因此计算得到,径直走向雷达时人体躯干的径向速度为1.647m/s,最大摆臂速度为3.555m/s,步态特征参数提取结果与实际实验状况一致。
如图5所示,提取多类型人体步态时频分析图的周期结果构建训练集和测试集。考虑到数据集的大小,将时频图的周期结果大小降采样到256×256,按行张成一维实序列,并做归一化处理。人体原地摆动单臂的标签为[1 0 0 0]1×4,人体原地摆动双臂的标签为[0 10 0]1×4,人体原地模拟走动的标签为[0 0 1 0]1×4,人体径直走向雷达的标签为[0 0 01]1×4。为保证神经网络有足够的训练样本和测试样本,采用时频图像平移和添加高斯白噪声的方式扩充训练集和测试集。
如图6所示,构建五层的深度神经网络实现四种类型人体步态的自动识别与分类。深度神经网络包含一层输入层,一层输出层以及三层隐藏层。输入层的神经元个数为一维实序列的长度65536,输出层的神经元个数为标签的长度4,第一层隐藏层设置4096个神经元,第二层隐藏层设置512个神经元,第三层隐藏层设置64个神经元。输入层到第一层隐藏层,以及隐藏层到下一层隐藏层之间采用tanh(z)函数作为激活函数
最后一层隐藏层到输出层之间采用归一化指数函数(Softmax函数)作为激活函数,对结果进行非负性和归一化处理。
采用交叉熵代价函数作为训练深度神经网络的损失函数
x表示样本,y表示实际值,n为样本总数,a=σ(z)表示激活函数输出结果,z=∑ωjxj+b,则
σ(z)-y表示神经网络训练时输出值与实际值的误差,当误差越大时,梯度越大,权值和偏置值调整就越快。
采用自适应矩估计算法,即Adam优化器求解深度神经网络中最小损失函数对应的权重值。
将训练集中每25个序列样本作为一个训练批次,深度神经网络经过30个批次的训练之后,人体步态识别精度随训练样本批次增加的变化曲线图,如图7所示。
实验结果表明所构建的五层深度神经网络可以根据时频分析图像精确实现多类型人体步态的自动识别与分类。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于时频分析和深度神经网络的步态特征提取与识别方法,其特征在于,包括以下步骤:
初始化雷达参数以及人体步态雷达原始回波信号采集;
对人体步态的雷达原始回波信号进行预处理,包括距离向脉冲压缩处理以获取时间-距离像,时间-距离像中方位脉冲对消处理;
时频分析处理,采用短时傅里叶变换处理一维复序列,获得时频分析图像,时频分析图像的横轴为时间轴,纵轴为多普勒频率轴;
从时频分析图像中获取人体步态特征参数,根据人体时频分析图的周期获取人体步态周期,根据时频分析图的中心频率相对于零频的偏移量获取人体躯干与雷达间的瞬时径向速度,根据时频图像中的多普勒频率获取人体主要关节部位与雷达间的瞬时径向摆动速度;
将时频分析图像中的人体步态独立周期结果按行张成一维实序列,将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成一维实序列,构建训练集和测试集;
构建深度神经网络,将训练集送入深度神经网络完成网络训练,并在测试集上验证不同类型人体步态行为的识别精度;
其中,所述采用短时傅里叶变换处理一维复序列,获得时频分析图像包括:
采用所述短时傅里叶变换对所述一维复序列做时频分析处理,得到横轴为时间,纵轴为多普勒频率的所述时频分析图像,所述短时傅里叶变换由如下公式表示:
ω(t)为对一维复序列进行分割的窗函数,窗函数信号在一维序列上随时间滑动,实现变换;窗函数大小决定了短时傅里叶变换的时间分辨率和频率分辨率;
其中,人体步态周期与时频分析图像的周期一致;
其中,将时频分析图像中的人体步态独立周期结果按行张成一维实序列,并做归一化处理;将M种不同类型步态实验的人体时频图像的多个周期数据张成的一维实序列,构建训练集和测试集;训练集和测试集的标签设置为[1 0 ... 0 0]1×M,[0 1 ... 0 0]1×M;采用时频图像平移和添加均值为μ,方差为σ的高斯白噪声的方式扩充数据集。
3.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法,其特征在于,对人体步态的雷达原始回波信号进行预处理,完成距离向脉冲压缩和方位脉冲对消操作,并将人体回波占据的距离门相干累加后获得一维复序列。
5.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法,其特征在于,处理时间长度为T的信号,则待处理脉冲数为Na=T·PRF;采取方位降采样的方式减小数据量,方位降采样系数记为α,则实际处理脉冲数为α·Na;时间-距离图像是大小为(α·Na)×(Tr·Fr)的复矩阵;方位脉冲对消处理用于消除环境中存在的静态物体回波和一些杂波;将时间-距离图像中人体所在距离门相干累加后得到长度为α·Na的一维复序列。
6.根据权利要求1或5所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法,其特征在于,构建深度神经网络,将训练集送入神经网络完成网络训练,并在测试集上验证不同人体步态的识别精度的步骤中,深度神经网络的输入层大小为一维实序列长度,输出层大小为所述的步态类型个数M,隐藏层要求为两层及以上。
7.一种电子设备,其特征在于,包括:
处理器,用于执行存储器内存储的程序;
存储器,用于存储用来执行如权利要求1-6任一所述的方法的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010900952.4A CN111965620B (zh) | 2020-08-31 | 2020-08-31 | 基于时频分析和深度神经网络的步态特征提取与识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010900952.4A CN111965620B (zh) | 2020-08-31 | 2020-08-31 | 基于时频分析和深度神经网络的步态特征提取与识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111965620A CN111965620A (zh) | 2020-11-20 |
CN111965620B true CN111965620B (zh) | 2023-05-02 |
Family
ID=73399521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010900952.4A Active CN111965620B (zh) | 2020-08-31 | 2020-08-31 | 基于时频分析和深度神经网络的步态特征提取与识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111965620B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112859070B (zh) * | 2021-01-20 | 2024-04-19 | 应急管理部四川消防研究所 | 一种基于多域多特征和深度学习的生命探测雷达*** |
CN113057673B (zh) * | 2021-03-11 | 2023-04-07 | 华中科技大学同济医学院附属协和医院 | 一种机器人超声扫描控制方法、***、设备及存储介质 |
CN113486859B (zh) * | 2021-08-03 | 2024-07-16 | 张博宙 | 基于多类谱图和复合卷积神经网络的人体行为识别方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118683A (ja) * | 2010-11-30 | 2012-06-21 | Daihatsu Motor Co Ltd | 歩行者認識装置 |
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN107169435A (zh) * | 2017-05-10 | 2017-09-15 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
CN107292250A (zh) * | 2017-05-31 | 2017-10-24 | 西安科技大学 | 一种基于深度神经网络的步态识别方法 |
CN108256488A (zh) * | 2018-01-19 | 2018-07-06 | 中国人民解放军陆军装甲兵学院 | 一种基于微多普勒特征提取和深度学习的雷达目标识别方法 |
CN108614993A (zh) * | 2018-03-23 | 2018-10-02 | 武汉雷博合创电子科技有限公司 | 一种基于雷达及模式识别的行人姿态识别方法及*** |
CN108872984A (zh) * | 2018-03-15 | 2018-11-23 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
CN108920993A (zh) * | 2018-03-23 | 2018-11-30 | 武汉雷博合创电子科技有限公司 | 一种基于雷达及多网络融合的行人姿态识别方法及*** |
US10310073B1 (en) * | 2018-02-07 | 2019-06-04 | Infineon Technologies Ag | System and method for determining engagement level of a human being using a millimeter-wave radar sensor |
CN110045348A (zh) * | 2019-05-05 | 2019-07-23 | 应急管理部上海消防研究所 | 一种基于改进卷积神经网络的人体运动状态分类方法 |
CN110275147A (zh) * | 2018-03-13 | 2019-09-24 | 中国人民解放军国防科技大学 | 基于迁移深度神经网络的人体行为微多普勒的分类识别方法 |
CN111368930A (zh) * | 2020-03-09 | 2020-07-03 | 成都理工大学 | 基于多类谱图融合与分级学习的雷达人体姿态识别方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7924212B2 (en) * | 2009-08-10 | 2011-04-12 | Robert Bosch Gmbh | Method for human only activity detection based on radar signals |
-
2020
- 2020-08-31 CN CN202010900952.4A patent/CN111965620B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118683A (ja) * | 2010-11-30 | 2012-06-21 | Daihatsu Motor Co Ltd | 歩行者認識装置 |
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN107169435A (zh) * | 2017-05-10 | 2017-09-15 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
CN107292250A (zh) * | 2017-05-31 | 2017-10-24 | 西安科技大学 | 一种基于深度神经网络的步态识别方法 |
CN108256488A (zh) * | 2018-01-19 | 2018-07-06 | 中国人民解放军陆军装甲兵学院 | 一种基于微多普勒特征提取和深度学习的雷达目标识别方法 |
US10310073B1 (en) * | 2018-02-07 | 2019-06-04 | Infineon Technologies Ag | System and method for determining engagement level of a human being using a millimeter-wave radar sensor |
CN110275147A (zh) * | 2018-03-13 | 2019-09-24 | 中国人民解放军国防科技大学 | 基于迁移深度神经网络的人体行为微多普勒的分类识别方法 |
CN108872984A (zh) * | 2018-03-15 | 2018-11-23 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
CN108614993A (zh) * | 2018-03-23 | 2018-10-02 | 武汉雷博合创电子科技有限公司 | 一种基于雷达及模式识别的行人姿态识别方法及*** |
CN108920993A (zh) * | 2018-03-23 | 2018-11-30 | 武汉雷博合创电子科技有限公司 | 一种基于雷达及多网络融合的行人姿态识别方法及*** |
CN110045348A (zh) * | 2019-05-05 | 2019-07-23 | 应急管理部上海消防研究所 | 一种基于改进卷积神经网络的人体运动状态分类方法 |
CN111368930A (zh) * | 2020-03-09 | 2020-07-03 | 成都理工大学 | 基于多类谱图融合与分级学习的雷达人体姿态识别方法及*** |
Non-Patent Citations (4)
Title |
---|
Personnel Recognition and Gait Classification Based on Multistatic Micro-Doppler Signatures Using Deep Convolutional Neural Networks;Zhaoxi Chen 等;《GEOSCIENCE AND REMOTE SENSING LETTERS》;20180531;1-5 * |
Simulation and Analysis of Human Micro-Dopplers in Through-Wall Environments;Shobha Sundar Ram 等;《TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20100430;1-9 * |
基于卷积神经网络和微动特征的人体步态识别技术;袁延鑫等;《信号处理》;20180525(第05期);1-8 * |
基于卷积神经网络的雷达人体动作与身份多任务识别;侯春萍等;《激光与光电子学进展》;20200131(第02期);1-9 * |
Also Published As
Publication number | Publication date |
---|---|
CN111965620A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111965620B (zh) | 基于时频分析和深度神经网络的步态特征提取与识别方法 | |
CN107728142B (zh) | 基于二维卷积网络的雷达高分辨距离像目标识别方法 | |
CN109188414A (zh) | 一种基于毫米波雷达的手势运动探测方法 | |
US6801155B2 (en) | Method and apparatus for recognising a radar target | |
CN110133599B (zh) | 基于长短时记忆模型的智能雷达辐射源信号分类方法 | |
EP0888560B1 (en) | Improved method of moment estimation and feature extraction for devices which measure spectra as a function of range or time | |
CN108564005A (zh) | 一种基于卷积神经网络的人体跌倒辨识方法 | |
CN112184849A (zh) | 一种针对复杂动态多目标微动信号智能处理方法及*** | |
CN111983569B (zh) | 基于神经网络的雷达干扰抑制方法 | |
Pegoraro et al. | Deep learning for accurate indoor human tracking with a mm-wave radar | |
CN115061126A (zh) | 一种基于多维参数神经网络的雷达集群目标行为识别方法 | |
CN112364689A (zh) | 基于cnn与雷达图像的人体动作与身份多任务识别方法 | |
Zhao et al. | Research on electronic jamming identification based on CNN | |
CN113126050B (zh) | 一种基于神经网络的生命探测方法 | |
CN113608193A (zh) | 一种基于UNet的雷达多目标距离和速度估计方法 | |
KR102557458B1 (ko) | 인공지능 기반의 레이다 표적 탐지 방법 및 그를 위한 장치 | |
CN112327286B (zh) | 低复杂度下日常活动分类方法、装置、设备及存储介质 | |
CN113901878A (zh) | 一种基于cnn+rnn算法的三维探地雷达图像地下管线识别方法 | |
CN116524537A (zh) | 一种基于cnn和lstm联合的人体姿态识别方法 | |
Zhu et al. | Radar HRRP group-target recognition based on combined methods in the backgroud of sea clutter | |
CN115061094B (zh) | 一种基于神经网络与svm的雷达目标识别方法 | |
Ott et al. | Uncertainty-based meta-reinforcement learning for robust radar tracking | |
Qin et al. | Fast recognition of pull-off jamming using LSTM | |
CN113093174B (zh) | 基于phd滤波雷达起伏微弱多目标的检测前跟踪方法 | |
CN112666528B (zh) | 一种基于卷积神经网络的多站雷达***干扰鉴别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |