CN112434643A - 低慢小目标的分类识别方法 - Google Patents

低慢小目标的分类识别方法 Download PDF

Info

Publication number
CN112434643A
CN112434643A CN202011419393.1A CN202011419393A CN112434643A CN 112434643 A CN112434643 A CN 112434643A CN 202011419393 A CN202011419393 A CN 202011419393A CN 112434643 A CN112434643 A CN 112434643A
Authority
CN
China
Prior art keywords
data
network
target
time
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011419393.1A
Other languages
English (en)
Inventor
朱海鹏
帅晓飞
宋苏杭
钱凯
昌旻倩
姜旭先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingbayi Electronic Group Co ltd
Original Assignee
Lingbayi Electronic Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingbayi Electronic Group Co ltd filed Critical Lingbayi Electronic Group Co ltd
Priority to CN202011419393.1A priority Critical patent/CN112434643A/zh
Publication of CN112434643A publication Critical patent/CN112434643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种低慢小目标的分类识别方法,识别准确,可以识别时间短。本发明通过下述技术方案实现:基于原始点迹形成的PPI图像,将不同的目标航迹数据作为数据预处理模块的训练样本;数据预处理模块对获得航迹相关点迹数据规律进行数据预测和预处理,生成训练集,构建依次采用深度卷积网络DCNN和长短期记忆网络LSTM的深度学习网络模型和网络优化模块,从分帧数据中提取两组特征,并拼接得到联合特征,将深度学习,图像识别目标航迹数据实时输入加权计算模块,对已经训练好的网络模型结构进行模型压缩和加速,通过加权计算和模型剪枝实现模型压缩加速,实现准确分类所需的深度特征,完成对小型飞鸟及无人机的分类识别的准确识别。

Description

低慢小目标的分类识别方法
技术领域
本发明涉及飞鸟与无人机等目标雷达探测与识别技术,主要涉及一种飞行高度在1000米以下“低慢小”目标的分类识别方法。尤其是在低空小功率搜索雷达对小型目标进行探测时,对探测到的小型鸟类和小型无人机进行分类识别的方法。
技术背景
鸟类的目标特性、飞行特性等与小型无人机类似,同属于“低小慢”类目标,会干扰对小型无人机目标的识别。低慢小目标,全称“低空、慢速、小型飞行目标”,具有低可观测性,对两者的有效监视和识别成为保障空中航路安全、城市安保等需求迫切需要解决的难题。飞鸟和无人机(UAVs)是典型的“低慢小”目标,具有低可观测性。飞鸟和无人机目标类型多、飞行高度低、飞行高度一般在1000米以下,速度慢、机动性强、背景干扰多,低小慢,多普勒频移不明显,空中目标雷达散射面积小,加之探测环境复杂,给目标探测带来极大困扰。速度较慢,雷达反射面积小,存在“难发现、难捕捉、难处置、难应对”的特点,“低慢小”目标对重要目标的空防安全形成极大威胁。无人机的无证飞行和随意飞行严重影响和威胁公共安全的问题,由于轻小型无人机与飞鸟很难区分,使得基于“低小慢”目标探测与识别成为一个世界性难题。现代雷达要求要进行准确的威胁等级评定并消除威胁,需要对目标进行识别分类。普通的MTI算法对地物杂波的抑制很有效,但无法消除运动杂波;目标跟踪算法能消除部分虚警轨迹,但是地理环境信息(主要为栖息地和觅食地)、城市车辆、空间气流等复杂环境形成的大量不稳定轨迹的目标,无法完全通过目标跟踪算法形成的轨迹进行区分。对未来复杂场景下飞鸟和无人机目标检测与识别技术,近年来复杂场景下旋翼无人机和飞鸟目标检测与识别技术是飞鸟和无人机探测的主要手段。常用的探测手段主要从回波建模和微动特性认知、泛探模式下机动特征增强与提取、分布式多视角特征融合、运动轨迹差异、深度学习智能分类等方面给出检测和识别的途径。由于鸟类和小型无人机对低空空域的威胁等级和威胁方向各不相同,对鸟类和小型无人机的反制措施也各不相同,因此能够区分小型鸟类和小型无人机类型对维护低空空域安全至关重要。
低空空域雷达监视***为了区分轻小型无人机目标与飞鸟目标,利用雷达数据提取目标运动特征,以提升低空空域雷达监视***的识别能力。传统的识别方法是采用信号处理方式,通过数据分析,人为设计公式来提取诸如速度、加速度、曲率、RCS方差、RCS极差等若干特征,再借由支持向量机、K近邻、马尔科夫链、决策树等分类策略实现目标识别。这类方法受人为知识领域的限制,从输入数据中提取的为目标浅层特征,特征类型有限表征能力不够,分类识别的准确性和泛化能力受限。同时,对于小型飞鸟和小型无人机这两类目标而言,从常规的运动特征和RCS变化等角度上来分析,这两类目标并没有显著的差异性,传统识别方法较难准确识别。目前,基于深度学***衡,预测得出的结论往往也是有偏的,即分类结果会偏向于较多观测的类。对于这种问题的处理,要么将多的那一类砍掉一部分(即欠采样),要么将少的那一类进行Bootstrap抽样(即过采样)。但这样做会存在问题,对于第一种方法,砍掉的数据会导致某些隐含信息的丢失;而第二种方法中,有放回的抽样形成的简单复制,又会使模型产生过拟合。
发明内容
为了克服低慢小目标分类难的问题,本发明提供一种实现成本低,识别准确,具有高效性,实时性高、可以缩短识别时间的一种低慢小目标的分类识别方法。
本发明的上述目的可以通过以下措施实现:一种低慢小目标的分类识别方法,其特征在于,包括如下步骤:基于周围地理环境信息、历史航迹数据、采集相关点迹数据,以及原始点迹形成的像素密度PPI(Pixels Per Inch)图像,将不同的目标航迹数据作为数据预处理模块的训练样本;数据预处理模块首先对原始数据进行预处理,利用目标航迹数据规律对未知数据进行预测,从数据中自动分析获得航迹相关点迹数据规律,进行数据预测和预处理,生成训练集,构建深度学习网络模型和网络优化模块,深度学习网络模型采用深度学习算法和图像识别相关算法,对低慢小目标形成的PPI图像两个种类进行分类识别计算,对飞鸟和无人机两组特征数据时间序列进行分帧处理、数据特征提取和分类识别,依次采用深度卷积网络DCNN和长短期记忆网络LSTM,从分帧数据中提取上述两组特征,并将两组特征拼接得到联合特征;网络优化模块基于DCNN_LSTM架构识别网络构建网络自学习机制,对深度学习网络模型DCNN_LSTM识别网络联合特征进行增量学习训练,对未学习过的新目标进行识别,用训练集对深度学习网络模型进行训练,实现深度学习网络模型对新数据的快速增量学习,并将深度学习,图像识别目标航迹数据实时输入加权计算模块,对已经训练好的网络模型结构进行模型压缩和加速,基于通道熵值的模型剪枝法,对DCNN_LSTM识别网络的DCNN部分进行通道熵值计算,通过加权计算和模型剪枝实现模型压缩加速,从目标飞行原始数据和飞行轨迹图形中自动学习,实现准确分类所需的深度特征,以感知目标运动的细微差异,在两种识别的基础上进行加权,获得最终的识别结果,完成对小型飞鸟和小型无人机的分类识别的准确识别。
本发明相比于现有技术具有如下有益效果。
1)本发明针对特征提取是所有识别任务的关键,基于周围地理环境信息、历史航迹数据、采集相关点迹数据,以及原始点迹形成的PPI图像,将不同的目标航迹数据作为数据预处理模块的训练样本;数据预处理模块首先对原始数据进行预处理,利用目标航迹数据规律对未知数据进行预测,从数据中自动分析获得航迹相关点迹数据规律,进行数据预测和数据预处理,生成训练集,构建深度学习网络模型和网络优化模块;深度学习网络模型基于DCNN_LSTM架构识别网络,以感知目标运动的细微差异,实现准确分类所需的深度特征,大大提高了网络分类识别能力,可节约大量的人力物力。
2)本发明采用深度学习算法和图像识别相关算法,对低慢小目标进行两个种类分类识别计算;从目标飞行原始数据和飞行轨迹图形中自动学习,结合轨迹图形和数据点对小型鸟类和小型无人机进行分类识别,实现小型飞鸟和小型无人机的准确识别,避免了传统采用信号处理方式的识别方法,人为设计公式提取诸速度、加速度、曲率、RCS方差、RCS极差等若干特征,要借助支持向量机、K近邻、马尔科夫链、决策树等分类策略实现目标识别,受人为知识领域的限制,特征类型有限表征能力不够,分类识别的准确性和泛化能力受限的缺陷。
3)本发明综合识别网络目标运动的短时间依赖特征和长时间依赖特征,采用深度学习算法和图像识别相关算法,对飞鸟和无人机两组特征数据时间序列进行分帧处理、数据特征提取和分类识别,依次采用DCNN和LSTM网络,从分帧数据中提取上述两组特征,并将两组特征拼接得到联合特征,以联合特征进行后续分类识别,大大提高了网络分类识别的高效性。
4)本发明针对模型对新样本的泛化能力是决定***能否实用的重要指标,为实现模型压缩加速,基于DCNN_LSTM架构识别网络构建网络自学习机制,对深度学习网络模型DCNN_LSTM识别网络联合特征进行增量学习训练,对未学习过的新目标进行识别,用训练集对深度学习网络模型进行训练,学习到的特征有更强的辨别力。与独立时间序列信号或者统计学特征相比,实现深度学习网络模型对新数据的快速增量学习,并将深度学习,图像识别目标航迹数据实时输入加权计算模块,对已经训练好的网络模型结构进行模型压缩和加速,基于通道熵值的模型剪枝法。通过对DCNN_LSTM识别网络的DCNN部分进行通道熵值计算,删除熵值小的通道,并进行参数微调实现模型压缩加速的目的,缩短模型识别输出时间,可以缩短识别时间。
5)本发明以迁移学***滑处理来提高其性能,采用模型剪枝手段实现模型压缩加速。挑选出模型中不重要的参数,减少网络参数、降低运算量。将不重要的参数或通道剔除并不会对模型的效果造成明显影响,压缩后的模型还可以通过重新训练的过程来恢复部分网络性能。采用通道熵值来评价通道重要性,并对深度识别网络中的通道进行剪枝。提高了识别***对新样本的适应性,为***广泛工程化应用打下了坚实的基础。
附图说明
图1是本发明低慢小目标分类识别的处理流程示意图;
图2是图1数据预处理模块的数据预处理流程示意图;
图3是本发明基于DCNN_LSTM的深度学习分类识别网络构建深度学习网络模型的流程示意图;
图4是本发明基于通道熵值的模型剪枝法裁剪的流程图。
具体实施方式
参阅图1。根据本发明,基于周围地理环境信息、历史航迹数据、采集相关点迹数据,以及原始点迹形成的PPI图像,将不同的目标航迹数据作为数据预处理模块的训练样本;数据预处理模块首先对原始数据进行预处理,利用目标航迹数据规律对未知数据进行预测,从数据中自动分析获得航迹相关点迹数据规律,进行数据预测和数据预处理,生成训练集,构建深度学习网络模型和网络优化模块;深度学习网络模型采用深度学习算法和图像识别相关算法,对低慢小目标形成的PPI图像和数据进行分类识别计算,对飞鸟和无人机两组特征分帧数据时间序列进行分帧处理、数据特征提取和分类识别,依次采用DCNN和LSTM网络,从分帧数据中提取上述两组特征,并将两组特征拼接得到联合特征;网络优化模块基于DCNN_LSTM架构识别网络构建网络自学习机制,对深度学习网络模型DCNN_LSTM识别网络联合特征进行增量学习训练,对未学习过的新目标进行识别,用训练集对深度学习网络模型进行训练,实现深度学习网络模型对新数据的快速增量学习,并将深度学习,图像识别目标航迹数据实时输入加权计算模块,对已经训练好的网络模型结构进行模型压缩和加速,基于通道熵值的模型剪枝法,对DCNN_LSTM识别网络的DCNN部分进行通道熵值计算,通过加权计算和模型剪枝实现模型压缩加速,从目标飞行原始数据和飞行轨迹图形中自动学习,实现准确分类所需的深度特征,以感知目标运动的细微差异,在两种识别的基础上进行加权,获得最终的识别结果,完成对小型飞鸟和小型无人机的分类识别的准确识别。
数据预处理
参阅图2。数据预处理模块在数据预处理阶段对原始数据集进行预训练,将得到的数据与原始数据进行融合,对获得的数据进行预处理,将实时输入的目标航迹序列数据依次进行:坐标转换、异常数据清理、样本均衡化处理,在坐标转换中,将目标航迹的雷达坐标转换为以雷达所在位置为原点的笛卡尔坐标系三维坐标(xi,yi,zi)(xi,yi,zi),对输入的目标航迹序列及回波幅度值变化序列,进行回波幅度值与标校信号幅度对比,获得等效目标RCS值。
在异常数据清理中,数据预处理模块对序列数据按采样时刻进行异常检测,删除原始数据中的无关数据、重复数据,处理缺失值、异常值;在对应目标的数据上添加包含至少一条完整的目标航迹标签,每个标签和每条航迹按时间顺序排列目标的历史点迹向量;若相邻采样点的数据变化超过预定门限,则确认为当前采样值出现异常,取宽度为L的矩形窗前后两次采样值的均值来替换当前异常采样值,在每个训练数据上滑动,每一条航迹的目标历史点数不超过矩形窗宽度,并对长度不足L的航迹数据进行填充,使每个标签达到同样长度。
如果用于训练的样本集合中各类别的样本数量分布不均衡,则样本量少的类别所包含的特征不能很好的获得,从而过度依赖有限的数据样本而导致过拟合,模型分类准确性变差。因此在进行模型训练前,需要对训练集中的样本进行均衡化处理。数据预处理模块在模型训练阶段,对训练集中的样本进行均衡化处理,本实施例采用缓解数据不均衡的算法SMOTE(Synthetic Minority Oversampling Technique)过采样算法。数据预处理模块在模型训练阶段,对训练集中的样本进行均衡化处理,采用SMOTE过采样算法,对少数类别样本进行分析和模拟,并将人工模拟的新样本添加到数据集中,从K个近邻中随机挑选N个样本进行随机线性插值构,造新的少数类样本,将新样本与原数据合成,产生新的训练集;通过增加分类中少数类样本的数量来实现样本均衡,在多个通道进行统一,将之前训练网络时的所有样本的联合特征向量和类别标签作为历史数据事先保存,并将异常数据清理的数据入库,然后在需要参数微调时,把历史特征数据导出,并和新样本的特征数据一起用于后几层网络的参数微调。
通过增加分类中少数类样本的数量来实现样本均衡,在多个通道进行统一,将之前训练网络时的所有样本的联合特征向量和类别标签作为历史数据事先保存,并将异常数据清理的数据入库,然后在需要参数微调时,把历史特征数据导出,并和新样本的特征数据一起用于后几层网络的参数微调。
所述的输入数据包括目标的航迹序列及回波幅度值变化序列,其中,航迹信息包含每个采样时刻目标与雷达的径向距离Ri、方位角θi、俯仰角φi和径向速度Vi,以及雷达散射截面积方位和差比幅、俯仰和差比幅。
构建深度学习网络
参阅图3。在深度学习网络模型的构建中,对于数据预处理模块输入的序列数据,先用深度网络进行滑窗数据分帧,并进行短时依赖特征提取,构造深度卷积神经网络DCNN短时特征提取网络和长短期记忆网络LSTM长时特征提取网络,将融合数据和对应的标签送入有监督的深度卷积神经网络(DCNN)中,然后采用LSTM和循环神经网络RNN得到目标航迹特征提取结果的长时间依赖特征特权,随后将DCNN提取的融合特征与LSTM的短时、长时依赖特征进行拼接,最后经过两个全连接层和一个softmax层完成目标识别和分类任务,输出分类任务结果。
经数据预处理模块预处理后的数据为目标的空间坐标(xi,yi,zi)、径向速度Vi、RCS等信息的时间序列,即多通道的时间序列。由于目标的可分性体现在目标的运动特性上,目标单独某一个时刻的采样值没有分类意义,需要将连续多个时刻的数据作为一个整体来处理,才能获取目标运动特征。因此,要在输入的序列数据上做滑窗处理,数据预处理模块设滑窗大小为m,设滑动步长S=m,则代表一次取连续个采样点的数据作为一帧数据,将这一帧数据输入后续的分类网络得到一个分类结果。滑窗的滑动步长可设为S=m,则相邻帧之间没有重叠,若滑动步长小于m,则相邻帧之间有重叠。
数据预处理模块对滑窗截取出的一帧数据,构造深度卷积神经网络DCNN进行深度特征提取,针对每帧数据都是多通道的时间序列,按时间维度构造卷积和池化核,取池化窗口最大值为当前窗口的输出,对卷积层的输出数据进行最大池化处理。将训练集数据输入卷积神经网络,经过输入层、卷积层、池化层、全连接层和回归层,得到表示航迹维度的目标类别。
对于每一帧输入数据,该深度卷积神经网络DCNN都可提取出一组深度特征向量,这组特征向量反映的是m个时间步目标短时间的特征。而目标飞行过程中的长时间依赖性特征无法从单一帧数据中获取。若将多个时间帧的特征综合,提取到目标长时间依赖特征,必将获得更好的识别效果。因此本实施例提出基于DCNN_LSTM的网络结构来特征提取,在经深度卷积神经网络DCNN提取短时特征后,对每个点迹向量分别对应的方位差比幅和俯仰差比幅信息进行全局卷积,得到和差比幅信息部分的抽象特征,再利用LSTM的循环神经网络RNN结构捕获对深度卷积神经网络DCNN卷积运算提取的特征的长时间依赖性,完成对序列数据中目标时间依赖特征的提取。
循环神经网络RNN(Recurrent Neural Networks)是一个随着时间的推移,重复发生的结构,这种结构能够实现某种“记忆功能”,因此可以完成对序列数据中目标时间依赖特征的提取。和普通的神经网络不同的是,RNN网络的神经网络单元A不仅仅与输入和输出存在联系,其与自身也存在一个回路。即上一个时刻的网络状态信息将会作用于下一个时刻的网络状态。
而长短期记忆网络LSTM(Long Short Term Memory network)是循环神经网络RNN的一个变体,它继承了大部分RNN模型的特性,同时有效解决了梯度反传过程中由于逐步缩减而产生的梯度消失问题,可以学习到长的时间依赖。
首先,网络引入一个新的内部状态,专门进行线性的循环信息传递,同时输入层输出信息传向隐藏层,经过隐藏层流入输出层的外部状态,向前流动。其次,长短期记忆网络LSTM网络引入输入门、遗忘门和输出门三个门机制来控制信息传递的路径。输入门、遗忘门和输出门三个门都包含一个sigmoid神经网络层和一个pointwise乘法操作,Sigmoid层输出0到1之间的数值,描述每个部分有多少量可以通过,其中,遗忘门控制上一时刻的内部状态需要遗忘多少信息,输入门控制当前时刻的候选状态有多少信息需要保存,输出门控制当前时刻的内部状态有多少信息需要输出给外部状态。
长短期记忆网络LSTM内部首先利用上一时刻的外部状态和此时的输入,计算出三个门,以及候选状态,其次,结合遗忘门、输入门来更新记忆单元,最后,结合输出门将内部状态的信息传递给外部状态,利用LSTM循环单元,可以建立整个网络长距离的时序依赖关系经上述DCNN和LSTM网络分别提取到目标的短、长时依赖特征后,使用一个拼接层进行两种特征的合并,再经过后续网络层完成识别输出。
网络模型优化
参阅图4。上述复杂度的网络模型要完成一次测试运算的时间约为50ms量级,要满足实时性的要求,还需要对该网络的结构进行优化,以实现网络模型的压缩和加速。
模型剪枝是实现模型压缩加速的一条重要手段。模型剪枝就是挑选出模型中不重要的参数,以减少网络参数、降低运算量。将不重要的参数或通道剔除并不会对模型的效果造成明显影响,压缩后的模型还可以通过重新训练的过程来恢复部分网络性能。
模型剪枝的关键在于找到一个有效的对参数重要性的评价手段。本实施例采用通道熵值来评价通道重要性,并对上述深度识别网络中的通道进行剪枝。
熵值剪枝法的基本思想是:将每一层的输出表示为c×h×w的张量,其中c代表通道数,h和w分别代表特征图的长和宽。加权计算模块基于通道熵值的模型剪枝法,通过全局平均池化将输出张量转换为一个1×c的向量,每个通道对于输入的一帧序列数据产生一个相应的打分,输入n帧数据,最后得到一个矩阵M∈Rn×c;对于通道j,将其得到的M:,j矩阵分为m个bin,统计每个bin的概率pi,通过公式
Figure BDA0002819317100000081
计算它的熵值,利用此熵值来判定通道的重要性,通过设定一个阈值,令所有熵低于该阈值的通道被剔除,其对应的特征图也被剔除,之后再通过微调恢复其泛化能力。
4)网络增量学习
在实际应用中,不同鸟类、不同类型的无人机在不同环境下的飞行信息是不可能事先完全获得的,需要随着时间逐步得到。因此最初用于训练深度网络的训练样本是不完备的。当有差异性较大的新的目标样本出现时,模型的泛化能力降低。为了实现模型对新目标的识别,就需要构建网络自学习机制,实现网络模型对新数据的快速增量学习,提高模型泛化能力。
增量学习的目的就是模拟人脑学习的能力,使网络在保留以前学到的知识的情况下不断的学习新的知识。本方法的深度识别网络中DCNN和LSTM层分别完成提取目标短时间依赖和长时间依赖运动特征任务,我们认为在处理新样本时,这两类特征的获取方式可以保持不变,但由新样本提取到的特征分布会发生变化,因此只需要更新最后几层的分类网络层参数,用新的特征加权方式来得到识别结果输出。为此,本方法提出了结合数据回顾的迁移学习方法来实现模型增量学习。
常规的迁移学习方法,是在出现新样本时固定DCNN+LSTM层的网络参数不变,利用新数据微调后面的分类层网络参数,使微调后的网络能够识别新数据。但仅用新数据微调最后几层可能会出现新网络能很好识别新样本,却无法识别原有的目标样本的情况。
为了让微调后的网络即能识别新数据,又还能保持对之前已有数据的识别,实现网络增量学习。在微调最后几层分类层时采用数据回顾的方法,即:
首先将之前训练网络时的所有样本的联合特征向量和类别标签作为历史数据事先保存;然后在需要参数微调时,把历史特征数据导出,并和新样本的特征数据一起用于后几层网络的参数微调。
数据验证
首先将包含目标的径向速度值在内航迹数据和每条轨迹数据为一个4维的时间序列数据中的目标雷达坐标转换为直角坐标,将4维的时间序列进行滑窗分帧,相邻帧采样点重叠度为50%。将每一帧数据作为一个训练和测试深度学习网络的样本,设计一个10层的深度循环神经网络CNN来实现目标分类识别。在该循环神经网络CNN结构中,前4个部分的每个部分都包含了一个卷积层和一个池化层,卷积层中还内含了归一化层,其中卷积层将输入或者上一层的输出和一组卷积核进行卷积,卷积后的输出要通过整流线性单元(ReLU)层,激活函数relu(v)=max(v;0),将卷积后的输出映射成新的输出,最大池化层可在局部时域范围内找到特征图的最大值,归一化层用于对上一层中不同特征图的值,采用归一化的公式:
Figure BDA0002819317100000091
进行归一化,
其中κ,α,β是超参数,G(j)是特征图中参与归一化的元素索引集合。
为了统一所有运动特征第4部分输出的特征图,用分帧后的4维序列数据对上述深度学习网络进行训练识别,采用一种特殊的全连接层处理第4部分的输出,这一层的特征图中第j个值的计算方法使用概率论和相关领域中的归一化指数函数softmax:
Figure BDA0002819317100000092
将一个含任意实数的K维向量“压缩”到另一个K维实向量中,循环神经网络CNN中的第6部分,采用基础的全连接层得到最终的输出,输出的计算方式根据输出类别C,使用归一化指数函数softmax作为神经网络的最后一层:
Figure BDA0002819317100000093
接受来自上一层网络的输入值,然后将其转化为概率,将多个神经元的输出映射到(0,1)区间内,输出值为分类结果的后验概率,,然后构造一个目标函数,寻找能够使目标函数取得最大/最小值的交叉熵代价函数,寻求一个光滑的最大值函数,有效地限制梯度的总幅度。各个非目标分数得到的梯度过softmax函数进行分配,逐步改造成softmax交叉熵损失函数,控制整个神经网络的幅度。
模型训练过程中学习率采用Adam算法优化,batchsize=32,迭代次数epoch=200。用于模型训练和识别测试的样本数分配如表1所示。
表1样本集数量
训练集 验证集 测试集
无人机 529 133 106
鸟类 423 105 106
通过验证,本发明识别方法的正确识别率在迭代25次后结果趋于稳定,对无人机和鸟类等低慢小目标测试样本的正确分类识别率为75%左右。
上文已详尽描述了本发明专利的实施例,本领域内的技术人员在了解其基本创造性概念后,则可对本实施例进行各种改动和变型而不脱离本发明专利的设计精神和范围。本发明专利权利要求包含这些修改和变型。

Claims (10)

1.一种低慢小目标的分类识别方法,其特征在于,包括如下步骤:基于周围地理环境信息、历史航迹数据、采集相关点迹数据,以及原始点迹形成的像素密度PPI(Pixels PerInch)图像,将不同的目标航迹数据作为数据预处理模块的训练样本;数据预处理模块首先对原始数据进行预处理,利用目标航迹数据规律对未知数据进行预测,从数据中自动分析获得航迹相关点迹数据规律,进行数据预测和预处理,生成训练集,构建深度学习网络模型和网络优化模块,深度学习网络模型采用深度学习算法和图像识别相关算法,对低慢小目标形成的PPI图像两个种类进行分类识别计算,对飞鸟和无人机两组特征数据时间序列进行分帧处理、数据特征提取和分类识别,依次采用深度卷积网络DCNN和长短期记忆网络LSTM,从分帧数据中提取上述两组特征,并将两组特征拼接得到联合特征;网络优化模块基于DCNN_LSTM架构识别网络构建网络自学习机制,对深度学习网络模型DCNN_LSTM识别网络联合特征进行增量学习训练,对未学习过的新目标进行识别,用训练集对深度学习网络模型进行训练,实现深度学习网络模型对新数据的快速增量学习,并将深度学习,图像识别目标航迹数据实时输入加权计算模块,对已经训练好的网络模型结构进行模型压缩和加速,基于通道熵值的模型剪枝法,对DCNN_LSTM识别网络的DCNN部分进行通道熵值计算,通过加权计算和模型剪枝实现模型压缩加速,从目标飞行原始数据和飞行轨迹图形中自动学习,实现准确分类所需的深度特征,以感知目标运动的细微差异,在两种识别的基础上进行加权,获得最终的识别结果,完成对小型飞鸟和小型无人机的分类识别的准确识别。
2.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,数据预处理模块在数据预处理阶段对原始数据集进行预训练,将得到的数据与原始数据进行融合,对获得的数据进行预处理,将实时输入的目标航迹序列数据依次进行:坐标转换、异常数据清理、样本均衡化处理,在坐标转换中,将目标航迹的雷达坐标转换为以雷达所在位置为原点的笛卡尔坐标系三维坐标(xi,yi,zi),对输入的目标航迹序列及回波幅度值变化序列,进行回波幅度值与标校信号幅度对比,获得等效目标RCS值。
3.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,在异常数据清理中,数据预处理模块对序列数据按采样时刻进行异常检测,删除原始数据中的无关数据、重复数据,处理缺失值、异常值;在对应目标的数据上添加包含至少一条完整的目标航迹标签,每个标签和每条航迹按时间顺序排列目标的历史点迹向量;若相邻采样点的数据变化超过预定门限,则确认为当前采样值出现异常,取宽度为L的矩形窗前后两次采样值的均值来替换当前异常采样值,在每个训练数据上滑动,每一条航迹的目标历史点数不超过矩形窗宽度,并对长度不足L的航迹数据进行填充,使每个标签达到同样长度。
4.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,数据预处理模块在模型训练阶段,对训练集中的样本进行均衡化处理,采用SMOTE过采样算法,对少数类别样本进行分析和模拟,并将人工模拟的新样本添加到数据集中,通过增加分类中少数类样本的数量来实现样本均衡,在多个通道进行统一,将之前训练网络时的所有样本的联合特征向量和类别标签作为历史数据事先保存,并将异常数据清理的数据入库,然后在需要参数微调时,把历史特征数据导出,并和新样本的特征数据一起用于后几层网络的参数微调。
5.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,在深度学习网络模型的构建中,对于数据预处理模块输入的序列数据,先用深度网络进行滑窗数据分帧,并进行短时依赖特征提取,构造深度卷积神经网络DCNN短时特征提取网络和长短期记忆网络LSTM长时特征提取网络,将融合数据和对应的标签送入有监督的深度卷积神经网络(DCNN)中,然后采用LSTM和循环神经网络RNN得到目标航迹特征提取结果的长时间依赖特征特权,随后将DCNN提取的融合特征与LSTM的短时、长时依赖特征进行拼接,最后经过两个全连接层和一个softmax层完成目标识别和分类任务,输出分类任务结果。
6.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,经数据预处理模块预处理后的数据为目标的空间坐标(xi,yi,zi)、径向速度Vi、RCS信息的时间序列,即多通道的时间序列,在输入的序列数据上做滑窗处理,滑窗截取出的一帧数据,构造深度卷积神经网络DCNN进行深度特征提取,针对每帧数据都是多通道的时间序列,按时间维度构造卷积和池化核,取池化窗口最大值为当前窗口的输出,对卷积层的输出数据进行最大池化处理,将训练集数据输入卷积神经网络,经过输入层、卷积层、池化层、全连接层和回归层,得到表示航迹维度的目标类别。
7.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,在经深度卷积神经网络DCNN提取短时特征后,对每个点迹向量分别对应的方位差比幅和俯仰差比幅信息进行全局卷积,得到和差比幅信息部分的抽象特征,再利用LSTM的循环神经网络RNN结构捕获对深度卷积神经网络DCNN卷积运算提取的特征的长时间依赖性,完成对序列数据中目标时间依赖特征的提取。
8.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,,长短期记忆网络LSTM网络引入输入门、遗忘门和输出门三个门机制来控制信息传递的路径,首先利用上一时刻的外部状态和此时的输入,计算出三个门,以及候选状态,其次,结合遗忘门、输入门来更新记忆单元,结合输出门将内部状态的信息传递给外部状态,利用LSTM循环单元,建立整个网络长距离的时序依赖关系,经上述DCNN和LSTM网络分别提取到目标的短、长时依赖特征后,使用一个拼接层进行两种特征的合并,再经过后续网络层完成识别输出。
9.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,加权计算模块基于通道熵值的模型剪枝法,通过全局平均池化将输出张量转换为一个1×通道数c的向量,每个通道对于输入的一帧序列数据产生一个相应的打分,输入n帧数据,得到一个矩阵M∈Rn×c;对于通道j,将其得到的M:,j矩阵分为m个bin,统计每个bin的概率pi,通过公式
Figure FDA0002819317090000031
计算它的熵值,利用此熵值来判定通道的重要性,通过设定一个阈值,令所有熵低于该阈值的通道被剔除,其对应的特征图也被剔除,之后再通过微调恢复其泛化能力。
10.如权利要求1所述的低慢小目标的分类识别方法,其特征在于,首先将包含目标的径向速度值在内航迹数据和每条轨迹数据为一个4维的时间序列数据中的目标雷达坐标转换为直角坐标,将4维的时间序列进行滑窗分帧,再将每一帧数据作为一个训练和测试深度学习网络的样本,设计一个10层的深度循环神经网络CNN来实现目标分类识别,在该循环神经网络CNN结构中,前4个部分的每个部分都包含了一个卷积层和一个池化层,卷积层中还内含了归一化层,其中卷积层将输入或者上一层的输出和一组卷积核进行卷积,卷积后的输出通过整流线性单元(ReLU)层,激活函数relu(v)=max(v;0),将卷积后的输出映射成新的输出,最大池化层在局部时域范围内找到特征图的最大值,归一化层用于对上一层中不同特征图的值,采用归一化的公式:
Figure FDA0002819317090000032
进行归一化,其中κ,α,β是超参数,G(j)是特征图中参与归一化的元素索引集合。
CN202011419393.1A 2020-12-06 2020-12-06 低慢小目标的分类识别方法 Pending CN112434643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011419393.1A CN112434643A (zh) 2020-12-06 2020-12-06 低慢小目标的分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011419393.1A CN112434643A (zh) 2020-12-06 2020-12-06 低慢小目标的分类识别方法

Publications (1)

Publication Number Publication Date
CN112434643A true CN112434643A (zh) 2021-03-02

Family

ID=74692359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011419393.1A Pending CN112434643A (zh) 2020-12-06 2020-12-06 低慢小目标的分类识别方法

Country Status (1)

Country Link
CN (1) CN112434643A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157800A (zh) * 2021-03-31 2021-07-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 实时发现空中动态目标识别方法
CN113239775A (zh) * 2021-05-09 2021-08-10 西北工业大学 一种基于分层关注深度卷积神经网络的方位历程图中航迹检测与提取方法
CN113569465A (zh) * 2021-06-25 2021-10-29 中国人民解放军战略支援部队信息工程大学 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法
CN113837268A (zh) * 2021-09-18 2021-12-24 北京百度网讯科技有限公司 确定轨迹点状态的方法、装置、设备和介质
CN114118214A (zh) * 2021-10-25 2022-03-01 中国电子科技集团公司第十五研究所 基于目标运动模型自学习的低空组网融合结果优化方法
CN114417942A (zh) * 2022-03-28 2022-04-29 成都数之联科技股份有限公司 一种杂波识别方法及***及装置及介质
CN114491413A (zh) * 2022-01-25 2022-05-13 中国人民解放军海军航空大学航空作战勤务学院 基于最小化交叉熵的概率密度假设航迹生成方法及***
CN114999233A (zh) * 2022-08-05 2022-09-02 中国航天科工集团八五一一研究所 一种基于航迹关联的目标意图判断方法
CN115099372A (zh) * 2022-08-25 2022-09-23 深圳比特微电子科技有限公司 分类识别方法和装置
CN115128600A (zh) * 2022-06-28 2022-09-30 西安电子科技大学 一种包含潜射无人机的海面小目标分类方法
CN115659229A (zh) * 2022-12-27 2023-01-31 四川迪晟新达类脑智能技术有限公司 一种低小慢目标威胁程度评估方法及装置
CN115952407A (zh) * 2023-01-04 2023-04-11 广东工业大学 一种考虑卫星时序性和空域交互性的多径信号识别方法
CN117349712A (zh) * 2023-12-04 2024-01-05 贵州大学 基于时空特征自适应共享网络的无人机故障诊断方法
CN117574133A (zh) * 2024-01-11 2024-02-20 湖南工商大学 一种不安全生产行为识别方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
CN108170531A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于深度信念网络的云数据中心请求流调度方法
CN108877267A (zh) * 2018-08-06 2018-11-23 武汉理工大学 一种基于车载单目相机的交叉路口检测方法
CN109753874A (zh) * 2018-11-28 2019-05-14 南京航空航天大学 一种基于机器学习的低慢小雷达目标分类方法
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微***与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111860197A (zh) * 2020-06-26 2020-10-30 中国人民解放军32802部队 基于多光谱多模的低慢小目标感知方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
CN108170531A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于深度信念网络的云数据中心请求流调度方法
CN108877267A (zh) * 2018-08-06 2018-11-23 武汉理工大学 一种基于车载单目相机的交叉路口检测方法
CN109753874A (zh) * 2018-11-28 2019-05-14 南京航空航天大学 一种基于机器学习的低慢小雷达目标分类方法
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微***与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111860197A (zh) * 2020-06-26 2020-10-30 中国人民解放军32802部队 基于多光谱多模的低慢小目标感知方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG Q, ET AL.: "Vehicle color recognition using Multiple-Layer Feature Representations of lightweight convolutional neural network", 《SIGNAL PROCESSING》, pages 148 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157800A (zh) * 2021-03-31 2021-07-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 实时发现空中动态目标识别方法
CN113239775A (zh) * 2021-05-09 2021-08-10 西北工业大学 一种基于分层关注深度卷积神经网络的方位历程图中航迹检测与提取方法
CN113239775B (zh) * 2021-05-09 2023-05-02 西北工业大学 一种基于分层关注深度卷积神经网络的方位历程图中航迹检测与提取方法
CN113569465A (zh) * 2021-06-25 2021-10-29 中国人民解放军战略支援部队信息工程大学 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法
CN113837268A (zh) * 2021-09-18 2021-12-24 北京百度网讯科技有限公司 确定轨迹点状态的方法、装置、设备和介质
CN114118214A (zh) * 2021-10-25 2022-03-01 中国电子科技集团公司第十五研究所 基于目标运动模型自学习的低空组网融合结果优化方法
CN114491413A (zh) * 2022-01-25 2022-05-13 中国人民解放军海军航空大学航空作战勤务学院 基于最小化交叉熵的概率密度假设航迹生成方法及***
CN114417942A (zh) * 2022-03-28 2022-04-29 成都数之联科技股份有限公司 一种杂波识别方法及***及装置及介质
CN114417942B (zh) * 2022-03-28 2022-06-07 成都数之联科技股份有限公司 一种杂波识别方法及***及装置及介质
CN115128600A (zh) * 2022-06-28 2022-09-30 西安电子科技大学 一种包含潜射无人机的海面小目标分类方法
CN114999233B (zh) * 2022-08-05 2022-11-01 中国航天科工集团八五一一研究所 一种基于航迹关联的目标意图判断方法
CN114999233A (zh) * 2022-08-05 2022-09-02 中国航天科工集团八五一一研究所 一种基于航迹关联的目标意图判断方法
CN115099372A (zh) * 2022-08-25 2022-09-23 深圳比特微电子科技有限公司 分类识别方法和装置
CN115659229A (zh) * 2022-12-27 2023-01-31 四川迪晟新达类脑智能技术有限公司 一种低小慢目标威胁程度评估方法及装置
CN115952407A (zh) * 2023-01-04 2023-04-11 广东工业大学 一种考虑卫星时序性和空域交互性的多径信号识别方法
CN115952407B (zh) * 2023-01-04 2024-01-30 广东工业大学 一种考虑卫星时序性和空域交互性的多径信号识别方法
CN117349712A (zh) * 2023-12-04 2024-01-05 贵州大学 基于时空特征自适应共享网络的无人机故障诊断方法
CN117349712B (zh) * 2023-12-04 2024-03-12 贵州大学 基于时空特征自适应共享网络的无人机故障诊断方法
CN117574133A (zh) * 2024-01-11 2024-02-20 湖南工商大学 一种不安全生产行为识别方法及相关设备
CN117574133B (zh) * 2024-01-11 2024-04-02 湖南工商大学 一种不安全生产行为识别方法及相关设备

Similar Documents

Publication Publication Date Title
CN112434643A (zh) 低慢小目标的分类识别方法
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
Tsintotas et al. Assigning visual words to places for loop closure detection
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN110866887A (zh) 一种基于多传感器的目标态势融合感知方法和***
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和***
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN106951915A (zh) 一种基于类别置信度的一维距离像多分类器融合识别法
US20220026557A1 (en) Spatial sensor system with background scene subtraction
CN111898685A (zh) 一种基于长尾分布数据集的目标检测方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、***及计算机可读介质
CN117009916A (zh) 基于多传感器信息融合与迁移学习的促动器故障诊断方法
CN115272882A (zh) 一种基于遥感影像的离散建筑物检测方法及***
Kundur et al. Deep convolutional neural network architecture for plant seedling classification
CN117237902B (zh) 基于深度学习的机器人物体识别***
KR20230060214A (ko) 인공지능 기반 영상 객체 추적 장치 및 방법
Sudha et al. Real time riped fruit detection using faster R-CNN deep neural network models
CN109887004A (zh) 一种基于tld算法的无人船海域目标跟踪方法
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
US20230260259A1 (en) Method and device for training a neural network
CN115546668A (zh) 海洋生物的检测方法、装置及无人机
CN114663916A (zh) 一种基于深度抽象特征的热红外人体目标识别方法
Zhao et al. Robust power line extraction from aerial image using object-based Gaussian–Markov random field with gravity property parameters
CN114913485A (zh) 一种多层级特征融合的弱监督检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination