CN111062310B - 一种基于虚拟样本生成的少样本无人机图像识别方法 - Google Patents

一种基于虚拟样本生成的少样本无人机图像识别方法 Download PDF

Info

Publication number
CN111062310B
CN111062310B CN201911280878.4A CN201911280878A CN111062310B CN 111062310 B CN111062310 B CN 111062310B CN 201911280878 A CN201911280878 A CN 201911280878A CN 111062310 B CN111062310 B CN 111062310B
Authority
CN
China
Prior art keywords
layer
unmanned aerial
aerial vehicle
virtual
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911280878.4A
Other languages
English (en)
Other versions
CN111062310A (zh
Inventor
杨志钢
李辉洋
黎明
王军亮
胡家欣
孙鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201911280878.4A priority Critical patent/CN111062310B/zh
Publication of CN111062310A publication Critical patent/CN111062310A/zh
Application granted granted Critical
Publication of CN111062310B publication Critical patent/CN111062310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器学习领域，具体涉及实用性很强的一种基于虚拟样本生成的少样本无人机图像识别方法。本发明通过摄像装置由地对空远距离拍摄一段帧数为N的无人机飞行的短视频，获取N个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，作为训练样本集。本发明的有益效果在于：在不过度失真的情况下，增加样本的有效信息和多样性，从而提升了模型的泛化能力；识别算法部分中，快速DPM模型采用固定了根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。

Description

一种基于虚拟样本生成的少样本无人机图像识别方法
技术领域
本发明属于机器学习领域，具体涉及实用性很强的一种基于虚拟样本生成的少样本无人机图像识别方法。
背景技术
近年来，无人机产业的应用和前景受到各行业关注，无人机数量暴增，安全隐患也随之而来。无人机无序黑飞，侵犯公民隐私，用于违法犯罪活动，威胁空中航道安全等事件频繁出现，因此，对无人机进行监控和管制显得愈发重要。利用随处可见的超清摄像头对无人机进行识别和监控是一种有效的监管方式，因而研究基于图像的无人机检测和识别方法具有重要的实际意义。一方面，无人机图像识别的难点在于图像尺寸极小和类内间距较大，原因有距离远、运动范围大引起的无人机图像尺寸极小和尺度差异大，以及天气环境、飞行高度和拍摄角度等也使无人机图像之间差异明显；另一方面，由于无人机识别任务的学习样本较少、无人机种类繁多、场景多样、获取样本困难等原因，导致样本集不够充足，从而造成识别模型的泛化能力不高。
小目标检测和识别方法一直处于学术研究前沿领域，主要有深度学习和传统机器学习方法两类。深度学习中FPN模型对尺度变化的小目标检测和识别任务有很好的效果，YOLO系列算法在检测和识别小目标的表现中也较为突出，但这类算法的良好性能是建立在充足样本量的基础上，少样本条件下的模型性能并不突出；传统机器学习方法性能主要由特征提取和分类器决定，HOG特征和SVM模型的方案在小目标检测和识别等图像任务中有突出表现，而结合SVM和LatentSVM的DPM模型比SVM具有更好的性能。
少样本学习领域是目前机器学习前沿领域之一，其中构造大量的虚拟样本以改善模型识别能力的虚拟样本生成方法，是解决样本量不足问题的一种有效的方法。图像的虚拟样本生成方法有很多种，最简单有效的就是随机剪裁、翻转、旋转、重采样等样本增强方法；QR分解重构方法利用最大化矩阵列向量的独立性和保留主要成分的思想，生成保留原图像主要分量的虚拟样本；加权融合方法生成的虚拟样本能保持多个原图像中的特征分布，使分类器学习到样本的主要特征分布信息；GAN作为图像生成的新热门方法，可以生成“以假乱真”的虚拟样本。
发明内容
本发明的目的在于提供一种基于虚拟样本生成的少样本无人机图像识别方法。
本发明的目的是这样实现的：
一种基于虚拟样本生成的少样本无人机图像识别方法，包括以下步骤：
步骤1：通过摄像装置由地对空远距离拍摄一段帧数为N的无人机飞行的短视频，获取N个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，作为训练样本集；
步骤2：采用基于卷积网络的W-GAN方法生成虚拟样本，利用总数为N的正样本图像训练GAN模型，通过模型中的生成器随机地生成数量为3N的虚拟样本；
步骤3：将总数为N的正样本图像以每组两幅的方式划分为0.5N组，利用QR重构加权融合方法对每组样本生成4幅图像，共获得数量为2N的虚拟样本；
步骤4：对总数为N的正样本图像，利用包括镜像翻转、重采样的其它虚拟样本生成方法获得数量为4N的虚拟样本；
步骤5：生成数量为9N的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速DPM模型，获得在少样本条件下的能准确识别无人机图像的识别器。
所述步骤2基于卷积网络的W-GAN模型生成方法，具体包括：
(2-a)模型中的生成器网络结构为2个全连接层和2个反卷积层组成，网络结果具体为：
第1层为使用ReLU函数激活的全连接层，输出为1024大小的向量；
第2层为使用ReLU函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；
第3层为卷积核为4×4、步长为2的反卷积层，并使用ReLU函数激活，输出为16×16×64大小的图；
第4层为卷积核为4×4、步长为2的反卷积层，并使用Tanh函数激活，输出为32×32×3大小的图；
(2-b)模型中的判别器网络结构为2个卷积层和2个全连接层组成，网络结构具体为：
第1层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为16×16×128大小的图；
第2层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；
第3层为使用LeakyReLU函数激活的全连接层，输出为1024大小的向量；
第4层为不使用激活函数的全连接层，输出为1大小的向量；
(2-c)使用数量为N的正样本集训练模型得到已训练好的生成器，再利用生成器随机生成数量3N的虚拟样本。
所述步骤3中QR重构加权融合方法生成虚拟样本的具体步骤包括：(3-a)根据QR分解所得酉矩阵Q和上三角阵R，直接进行重构得到的图为完整的信息图
I(Q,R)＝Q·R
其中，由于上三角阵R的特性，对应的矩阵Q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增；对其中一张图像Il进行QR分解，计算包含图像信息的酉矩阵Ql和上三角阵Rl；利用矩阵Q、R和重构系数w进行重构得到左向信息图I：
I(Ql,Rl,w)＝Ql32×(32·w)·Rl(32·w)×32
4个重构系数0.25、0.5、0.75、1.0分别获得对应的4幅左向信息图；(3-b)对组内另一张图像Ir先进行镜像翻转得到对称的图像，采用与(3-a)相同的处理方式得到酉矩阵Qr和上三角阵Rr，进而获取对称图像的左向信息图，并再次进行镜像翻转得到4幅右向信息图IG：
IG(Qr,Rr,w)＝G(Qr32×(32·w)·Rr(32·w)×32)
其中，G(·)为将矩阵镜像翻转；
(3-c)将同一重构系数下的左向信息图I和右向信息图IG进行加权融合：
Figure BDA0002316705610000031
得到4幅融合后的虚拟图像Iw；最终数量0.5N组的图像经QR重构加权融合后获得数量为2N的虚拟样本。
所述步骤5中快速DPM模型，具体包括：
(5-a)根据无人机的四个机翼和机身的明显特征，DPM模型的部件滤波器个数选为5；
(5-b)计算图像的两层HOG特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入；
(5-c)根滤波器的锚点固定为图像中心(x0,y0)，图像的总响应值得分公式为：
Figure BDA0002316705610000032
Figure BDA0002316705610000033
其中，R0为根滤波器得分，Ri为部件滤波器得分，
Figure BDA0002316705610000034
为根滤波器锚点与部件的检测点间的距离。
本发明的有益效果在于：虚拟样本生成方法中，采用了基于卷积网络的W-GAN使得模型生成高质量的无人机虚拟图像，QR重构加权融合方法生成的虚拟图像具备两幅图像特征的分布，在不过度失真的情况下，增加样本的有效信息和多样性，从而提升了模型的泛化能力；识别算法部分中，快速DPM模型采用固定了根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。
附图说明
图1是本发明实施例提供的基于虚拟样本生成的少样本无人机图像识别方法流程示意图；
图2是本发明实施例提供的基于卷积网络的W-GAN框架示意图；
图3是本发明实施例提供的实际图像以及W-GAN生成的虚拟样本图样例；
图4是本发明实施例提供的QR重构加权融合方法示意图；
图5是本发明实施例提供的QR重构加权融合方法生成的虚拟样本效果图；
图6是本发明实施例提供的快速DPM模型框架示意图。
具体实施方式
下面结合附图对本发明做进一步描述。
针对现有技术的以上缺陷，本发明提出了一种基于虚拟样本生成的少样本无人机图像识别方法，改善少样本的模型泛化能力不足状况，并结合无人机图像的模块化特征，解决了少样本条件下的无人机识别难题。为实现上述目标，本发明的方法方案如下：
一种基于虚拟样本生成的少样本无人机图像识别方法，其特征在于，包括以下步骤：
(1)通过摄像装置由地对空远距离拍摄一段帧数为N的无人机飞行的短视频，获取N个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，作为训练样本集；
(2)采用基于卷积网络的W-GAN方法生成虚拟样本，利用总数为N的正样本图像训练GAN模型，通过模型中的生成器随机地生成数量为3N的虚拟样本；
(3)将总数为N的正样本图像以每组两幅的方式划分为0.5N组，利用QR重构加权融合方法对每组样本生成4幅图像，共获得数量为2N的虚拟样本；
(4)对总数为N的正样本图像，利用包括镜像翻转、重采样的其它虚拟样本生成方法获得数量为4N的虚拟样本；
(5)生成数量为9N的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速DPM模型，获得在少样本条件下的能准确识别无人机图像的识别器。
进一步的，所述基于卷积网络的W-GAN模型生成方法，具体包括：
(2-a)模型中的生成器网络结构为2个全连接层和2个反卷积层组成，网络结果具体为：
第1层为使用ReLU函数激活的全连接层，输出为1024大小的向量；
第2层为使用ReLU函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；
第3层为卷积核为4×4、步长为2的反卷积层，并使用ReLU函数激活，输出为16×16×64大小的图；
第4层为卷积核为4×4、步长为2的反卷积层，并使用Tanh函数激活，输出为32×32×3大小的图。
(2-b)模型中的判别器网络结构为2个卷积层和2个全连接层组成，网络结构具体为：
第1层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为16×16×128大小的图；
第2层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；
第3层为使用LeakyReLU函数激活的全连接层，输出为1024大小的向量；
第4层为不使用激活函数的全连接层，输出为1大小的向量。
(2-c)使用数量为N的正样本集训练模型得到已训练好的生成器，再利用生成器随机生成数量3N的虚拟样本。
进一步的，所述QR重构加权融合方法生成虚拟样本的具体步骤包括：
(3-a)根据QR分解所得酉矩阵Q和上三角阵R，直接进行重构得到的图为完整的信息图：
I(Q,R)＝Q·R
其中，由于上三角阵R的特性，对应的矩阵Q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增。
对其中一张图像Il进行QR分解，计算包含图像信息的酉矩阵Ql和上三角阵Rl。利用矩阵Q、R和重构系数w进行重构得到左向信息图I：
I(Ql,Rl,w)＝Ql32×(32·w)·Rl(32·w)×32
4个重构系数0.25、0.5、0.75、1.0分别获得对应的4幅左向信息图。
(3-b)对组内另一张图像Ir先进行镜像翻转，得到对称的图像，采用与(3-a)相同的处理方式得到酉矩阵Qr和上三角阵Rr，进而获取对称图像的左向信息图，并再次进行镜像翻转，得到4幅右向信息图IG：
IG(Qr,Rr,w)＝G(Qr32×(32·w)·Rr(32·w)×32)
其中，G(·)为将矩阵镜像翻转。
(3-c)将同一重构系数下的左向信息图I和右向信息图IG进行加权融合：
Figure BDA0002316705610000061
得到4幅融合后的虚拟图像Iw。
最终数量0.5N组的图像经QR重构加权融合后获得数量为2N的虚拟样本。
进一步的，所述快速DPM模型，具体包括：
(5-a)根据无人机的四个机翼和机身的明显特征，DPM模型的部件滤波器个数选为5。
(5-b)计算图像的两层HOG特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入。
(5-c)根滤波器的锚点固定为图像中心(x0,y0)，图像的总响应值得分公式为：
Figure BDA0002316705610000062
Figure BDA0002316705610000063
其中，R0为根滤波器得分，Ri为部件滤波器得分，
Figure BDA0002316705610000064
为根滤波器锚点与部件的检测点间的距离。
本发明提出了一种基于虚拟样本生成的少样本无人机图像识别方法。首先利用基于卷积网络的W-GAN、QR重构加权融合等虚拟样本生成方法扩充样本数量，改善了少样本条件下模型泛化能力不足状况，再通过快速DPM模型对待识别的无人机图像进行识别，充分利用无人机图像的模块化特点保证识别的准确性和鲁棒性。可以看出，虚拟样本生成方法中，采用了基于卷积网络的W-GAN使得模型生成高质量的无人机虚拟图像，QR重构加权融合方法生成的虚拟图像具备两幅图像特征的分布，在不过度失真的情况下，增加样本的有效信息和多样性，从而改善模型的泛化能力；识别算法部分中，快速DPM模型采用固定了根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。
为使本发明的目的、方法方案及优点更加清楚明白，下面将结合具体实施例中的所有附图对本发明的方法方案进行清楚、完整地描述。应当理解，所描述的实施例仅用于解释说明本发明，而不是全部的实施例并且并不限制本发明。
由于种类多、成像受环境影响大等原因，无人机的识别任务处于少样本条件下；采集到一段无法正确识别目标的无人机飞行视频，经处理后，使得识别器能准确识别无人机是本发明的方法目标。图1为本发明实施例提供的基于虚拟样本生成的少样本无人机图像识别方法流程示意图，具体的实施步骤如下：
S1、通过摄像装置由地对空远距离拍摄一段帧数为N的无人机飞行的短视频，获取N个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，统一缩放至32×32的大小，作为训练样本集。
无人机正样本是通过人工或其它手段截取包含无人机的矩形区域，因飞行姿势、环境等因素，图像呈现较大差别。各类干扰小区域作为负样本，除空中小物体干扰外，树、楼、云的部分区域也易成为算法的干扰。将所有样本图像缩放至32×32大小，不影响图像质量的同时，方便后续算法进行处理。
S2、利用基于卷积网络的W-GAN方法生成虚拟样本，将总数为N的正样本图像，训练GAN模型，通过模型中的生成器随机地生成数量为3N的虚拟样本。
目前流行的生成式对抗网络(Generative Adversarial Networks,GAN)是生成虚拟样本的可靠方法。但GAN具有难以训练和易出现模式崩溃的问题，且生成图像的质量也有较大差别。为了生成较好质量的无人机正样本图片，本发明方法提出基于卷积网络的W-GAN方法。W-GAN由生成器G和判别器D组成，其目标函数如下所示：
Figure BDA0002316705610000071
图2是本发明实施例提供的基于卷积网络的W-GAN框架示意图，模型中的生成器与判别器为互对称的卷积网络结构，提升模型性能并适应低分辨率下的无人机图像。其中，生成器G的网络结构为2个全连接层和2个反卷积层组成，具体为：
第1层为使用ReLU函数激活的全连接层，输出为1024大小的向量；
第2层为使用ReLU函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；
第3层为卷积核为4×4、步长为2的反卷积层，并使用ReLU函数激活，输出为16×16×64大小的图；
第4层为卷积核为4×4、步长为2的反卷积层，并使用Tanh函数激活，输出为32×32×3大小的图。
判别器D的网络结构为2个卷积层和2个全连接层组成，网络结构具体为：
第1层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为16×16×128大小的图；
第2层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；
第3层为使用LeakyReLU函数激活的全连接层，输出为1024大小的向量；
第4层为不使用激活函数的全连接层，输出为1大小的向量。
使用数量为N的正样本集训练基于卷积网络的W-GAN模型，得到已训练好的生成器后，随机生成数量为3N的虚拟样本。图3(a)所示为本发明实施例提供的正样本集实际图像样例；图3(b)所示为原W-GAN方法生成的虚拟样本的样例，容易看出其生成的虚拟样本图像存在较大噪声和图像质量差的问题；图3(c)所示为基于卷积网络的W-GAN方法生成的虚拟样本的样例，可以看出，该方法生成的图像与原正样本的图像相似度较高，解决了噪声问题且提升虚拟图像质量，表明模型已经完全学习到了原正样本的特征分布。
S3、将总数为N的正样本图像以每组两幅的方式划分为0.5N组，利用QR重构加权融合方法对每组样本生成4幅图像，共获得数量为2N的虚拟样本。
图4是本发明实施例提供的QR重构加权融合方法示意图，总数为N的正样本图像被划分为0.5N组，每一组有两幅图像，对于每组进行QR重构加权融合，具体为：
首先，对其中一张图像Il进行QR分解，计算包含图像信息的酉矩阵Ql和上三角阵Rl。其中，矩阵Q和R可以通过相乘方式重组为与原图像完全相同的完整信息图，如下所示：
I(Q,R)＝Q·R
其中，由于上三角阵R的特性，对应的矩阵Q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增。因此，可以由重构系数w来保留前32×w列，决定Q、R矩阵所包含的信息份量。由于QR分解所得的信息图具有的左向完整特性，利用矩阵Ql、Rl和重构系数w进行计算得到左向信息图I，如下式所示：
I(Ql,Rl,w)＝Ql32×(32·w)·Rl(32·w)×32
4个重构系数0.25、0.5、0.75、1分别获得对应的4幅左向信息图。
然后，对组内另一张图像Ir先进行镜像翻转，得到对称的图像，采用与上一步骤相同的处理方式得到酉矩阵Qr和上三角阵Rr，进而获取对称图像的左向信息图，并再次进行镜像翻转得到4幅右向信息图IG，如下式所示：
IG(Qr,Rr,w)＝G(Qr32×(32·w)·Rr(32·w)×32)
其中，G(·)为将矩阵镜像翻转。
最后，将同一重构系数下的左向信息图和右向信息图进行加权融合，如下式所示：
Figure BDA0002316705610000081
得到融合后的虚拟图像Iw。
最终数量为N的正样本图像经QR重构加权融合后可获得数量为2N的虚拟样本。图5展示了本发明实施例提供的QR重构加权融合方法生成的虚拟样本效果图。
S4.对总数为N的正样本图像，利用其它虚拟样本生成方法对每个样本生成4幅图像，共获得数量为4N的虚拟样本。
S41.利用镜像翻转方法，对数量为N的正样本图像，获得数量为N的虚拟图像样本。
对一幅图像I进行镜像翻转，如下式所示，得到对称的虚拟图像I’(xi,yj)：
I'(xi,yj)＝I(x27-i,yj)
镜像翻转方法获得的虚拟图像为原图关于y轴对称的图，由于无人机自身的对称性特点，该虚拟图像与真实图像非常接近。
S42.利用重采样方法，对数量为N的正样本图像，由3种重采样系数获得数量为3N的虚拟图像样本。
对一幅图像进行重采样，先将图像按3种采样系数0.4、0.6、0.8分别进行下采样，得到缩小的图片，再利用双线性插值方法进行上采样，获得的3幅重采样图像为虚拟样本。重采样方法获得图像可以视为无人机距离变远时捕捉的图像，同样与真实图像十分接近，增强了样本集的多尺度特性。
S5.生成数量为9N的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速DPM模型，获得在少样本条件下的能准确识别无人机图像的识别器。
本发明所述的各虚拟样本生成方法获得的虚拟样本数量为9N，结合原正样本，共获得数量10N的正样本，结合原负样本得到新的样本集。
DPM(Deformable Parts Model，可形变部件模型)是一个非常成功的目标检测算法，其通过根模版与部件模版计算目标的匹配得分，进行分类。DPM模型先计算输入图像的多层HOG特征金字塔，然后通过滑动窗口搜索找到目标的最大得分位置。但该方案存在大量相似的匹配计算，算法耗费时间较长。由于无人机的模块化特征，DPM部件匹配与整体匹配相结合的思想非常适合用于无人机目标的识别任务。为进一步优化算法运行速度，本发明提出快速DPM模型，图6是本发明实施例提供的快速DPM模型框架示意图，具体为：
S51.根据无人机的四个机翼和机身的明显特征，DPM模型的部件滤波器个数选为5。
S52.计算图像的两层HOG特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入。
S53.根滤波器的锚点固定为图像中心(x0,y0)，图像的响应值得分公式如下式所示：
Figure BDA0002316705610000101
Figure BDA0002316705610000102
其中，R0为根滤波器得分，Ri为部件滤波器得分，
Figure BDA0002316705610000103
为根滤波器锚点与部件的检测点间的距离。
对DPM模型进行训练后，得到已训练的无人机识别器。其识别过程为：输入图像，计算两层HOG特征金字塔，根滤波器计算底层特征图的得分，5个部件滤波器在顶层特征图进行滑动搜索方式计算卷积所得响应值并寻找最优位置；若图像的总响应得分高于阈值，则判断为无人机目标；反之，则判断为非无人机目标。
综上可知，虚拟样本生成方法结合DPM模型的识别方法适合针对于少样本下的无人机小图像识别任务，实用性很强；所述的基于卷积网络的W-GAN模型可以生成高质量的无人机虚拟图像，所述的QR重构加权融合方法生成的虚拟图像具备两幅图像特征的分布，在不过度失真的情况下，增加样本的有效信息和多样性，从而提升模型的泛化能力；所述的快速DPM模型采用固定根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。
以上描述了本少样本无人机图像识别方法的基本原理、主要特征和实用的特点，本行业的方法人员应该了解，以上实施例的说明只是用于帮助理解本发明的方法技术和核心思想，并不限制本发明，同时，根据本申请的思想，在具体实施方式和应用范围上均会有改变之处，这些改变都落入本发明的保护范围内。

Claims (2)

1.一种基于虚拟样本生成的少样本无人机图像识别方法，其特征在于，包括以下步骤：
步骤1：通过摄像装置由地对空远距离拍摄一段帧数为N的无人机飞行的短视频，获取N个的无人机区域作为正样本，结合其它相关视频收集干扰小区域作为负样本，作为训练样本集；
步骤2：采用基于卷积网络的W-GAN方法生成虚拟样本，利用总数为N的正样本图像训练GAN模型，通过模型中的生成器随机地生成数量为3N的虚拟样本；
步骤3：将总数为N的正样本图像以每组两幅的方式划分为0.5N组，利用QR重构加权融合方法对每组样本生成4幅图像，共获得数量为2N的虚拟样本；
步骤4：对总数为N的正样本图像，利用包括镜像翻转、重采样的其它虚拟样本生成方法获得数量为4N的虚拟样本；
步骤5：生成数量为9N的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速DPM模型，获得在少样本条件下的能准确识别无人机图像的识别器；
所述步骤2基于卷积网络的W-GAN方法，具体包括：
(2-a)模型中的生成器网络结构为2个全连接层和2个反卷积层组成，网络结果具体为：
第1层为使用ReLU函数激活的全连接层，输出为1024大小的向量；
第2层为使用ReLU函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；
第3层为卷积核为4×4、步长为2的反卷积层，并使用ReLU函数激活，输出为16×16×64大小的图；
第4层为卷积核为4×4、步长为2的反卷积层，并使用Tanh函数激活，输出为32×32×3大小的图；
(2-b)模型中的判别器网络结构为2个卷积层和2个全连接层组成，网络结构具体为：
第1层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为16×16×128大小的图；
第2层为卷积核为4×4、步长为2的卷积层，并使用LeakyReLU函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；
第3层为使用LeakyReLU函数激活的全连接层，输出为1024大小的向量；
第4层为不使用激活函数的全连接层，输出为1大小的向量；
(2-c)使用数量为N的正样本集训练模型得到已训练好的生成器，再利用生成器随机生成数量3N的虚拟样本；
所述步骤5中快速DPM模型，具体包括：
(5-a)根据无人机的四个机翼和机身的明显特征，DPM模型的部件滤波器个数选为5；
(5-b)计算图像的两层HOG特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入；
(5-c)根滤波器的锚点固定为图像中心(x0,y0)，图像的总响应值得分公式为：
Figure FDA0003639184460000021
Figure FDA0003639184460000022
其中，R0为根滤波器得分，Ri为部件滤波器得分，
Figure FDA0003639184460000023
为根滤波器锚点与部件的检测点间的距离。
2.根据权利要求1所述的一种基于虚拟样本生成的少样本无人机图像识别方法，其特征在于，所述步骤3中QR重构加权融合方法的具体步骤包括：(3-a)根据QR分解所得酉矩阵Q和上三角阵R，直接进行重构得到的图为完整的信息图
I(Q,R)＝Q·R
其中，由于上三角阵R的特性，对应的矩阵Q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增；对其中一张图像Il进行QR分解，计算包含图像信息的酉矩阵Ql和上三角阵Rl；利用矩阵Q、R和重构系数w进行重构得到左向信息图I：
I(Ql,Rl,w)＝Ql32×(32·w)·Rl(32·w)×32
4个重构系数0.25、0.5、0.75、1.0分别获得对应的4幅左向信息图；(3-b)对组内另一张图像Ir先进行镜像翻转得到对称的图像，采用与(3-a)相同的处理方式得到酉矩阵Qr和上三角阵Rr，进而获取对称图像的左向信息图，并再次进行镜像翻转得到4幅右向信息图IG：
IG(Qr,Rr,w)＝G(Qr32×(32·w)·Rr(32·w)×32)
其中，G(·)为将矩阵镜像翻转；
(3-c)将同一重构系数下的左向信息图I和右向信息图IG进行加权融合：
Figure FDA0003639184460000024
得到4幅融合后的虚拟图像Iw；最终数量0.5N组的图像经QR重构加权融合后获得数量为2N的虚拟样本。
CN201911280878.4A 2019-12-13 2019-12-13 一种基于虚拟样本生成的少样本无人机图像识别方法 Active CN111062310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911280878.4A CN111062310B (zh) 2019-12-13 2019-12-13 一种基于虚拟样本生成的少样本无人机图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911280878.4A CN111062310B (zh) 2019-12-13 2019-12-13 一种基于虚拟样本生成的少样本无人机图像识别方法

Publications (2)

Publication Number Publication Date
CN111062310A CN111062310A (zh) 2020-04-24
CN111062310B true CN111062310B (zh) 2022-07-29

Family

ID=70300974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911280878.4A Active CN111062310B (zh) 2019-12-13 2019-12-13 一种基于虚拟样本生成的少样本无人机图像识别方法

Country Status (1)

Country Link
CN (1) CN111062310B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488948B (zh) * 2020-04-29 2021-07-20 中国科学院重庆绿色智能技术研究院 一种抖动环境下稀疏样本的标记方法
CN111817794B (zh) * 2020-05-29 2021-04-13 中南民族大学 一种基于深度学习的多域协同无人机探测方法及***
CN111931816A (zh) * 2020-07-09 2020-11-13 河南工业大学 一种视网膜图像平行处理方法及装置
CN112529114B (zh) * 2021-01-13 2021-06-29 北京云真信科技有限公司 基于gan的目标信息识别方法、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108681774A (zh) * 2018-05-11 2018-10-19 电子科技大学 基于生成对抗网络负样本增强的人体目标跟踪方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110298450A (zh) * 2019-05-21 2019-10-01 北京大学第三医院（北京大学第三临床医学院） 一种基于生成式对抗网络的虚拟样本生成方法
CN110348330A (zh) * 2019-06-24 2019-10-18 电子科技大学 基于vae-acgan的人脸姿态虚拟视图生成方法
CN110378408A (zh) * 2019-07-12 2019-10-25 台州宏创电力集团有限公司 基于迁移学习和神经网络的电力设备图像识别方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
GB201710877D0 (en) * 2017-07-06 2017-08-23 Nokia Technologies Oy A method and an apparatus for evaluating generative machine learning model
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
US11062179B2 (en) * 2017-11-02 2021-07-13 Royal Bank Of Canada Method and device for generative adversarial network training

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108681774A (zh) * 2018-05-11 2018-10-19 电子科技大学 基于生成对抗网络负样本增强的人体目标跟踪方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110298450A (zh) * 2019-05-21 2019-10-01 北京大学第三医院（北京大学第三临床医学院） 一种基于生成式对抗网络的虚拟样本生成方法
CN110348330A (zh) * 2019-06-24 2019-10-18 电子科技大学 基于vae-acgan的人脸姿态虚拟视图生成方法
CN110378408A (zh) * 2019-07-12 2019-10-25 台州宏创电力集团有限公司 基于迁移学习和神经网络的电力设备图像识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络的小样本数据生成技术研究;杨懿男等;《电力建设》;20190501(第05期);第75-81页 *
虚拟样本生成技术研究;于旭等;《计算机科学》;20110315(第03期);第16-19页 *

Also Published As

Publication number Publication date
CN111062310A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111062310B (zh) 一种基于虚拟样本生成的少样本无人机图像识别方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN112084868B (zh) 一种基于注意力机制的遥感图像中目标计数方法
KR102362744B1 (ko) 딥 뉴럴 네트워크(deep neural network) 기반의 다중 패치 조합(multiple patch combination)을 이용하여 얼굴을 인식하고, 극도의 상황에서 결함 허용 능력 및 흔들림에 강인한 성질을 향상시키는 방법
CN107883947B (zh) 基于卷积神经网络的星敏感器星图识别方法
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及***
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN111506759B (zh) 一种基于深度特征的影像匹配方法及装置
CN113495575B (zh) 一种基于注意力机制的无人机自主着陆视觉引导方法
CN108805149A (zh) 一种视觉同步定位与地图构建的回环检测方法及装置
CN112163498A (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN111582091A (zh) 基于多分支卷积神经网络的行人识别方法
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN108320310A (zh) 基于图像序列的空间目标三维姿态估计方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN111191704A (zh) 一种基于任务图卷积网络的地基云分类方法
Liu et al. Target detection and tracking algorithm based on improved Mask RCNN and LMB
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
CN110472092B (zh) 一种街景图片的地理定位方法及***
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN115909255B (zh) 图像生成、图像分割方法、装置、设备、车载终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant