CN111881982A - 一种无人机目标识别方法 - Google Patents

Abstract

本发明公开了一种无人机目标识别方法，所述方法包括：数据增强步骤包括：对获取的待识别无人机目标的原始图像进行数据增强处理，得到增强数据；特征提取步骤包括：对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征；目标检测步骤包括：通过神经网络对图像中的所述待识别无人机目标进行类别和位置信息编码，并对所述类别和位置信息进行解码确定所述原始图像中的所述待识别无人机目标的检测结果。本发明能够实现无人机反制领域中自动化的检测和识别无人机。

Description

一种无人机目标识别方法

技术领域

本发明涉及成像技术领域，特别是涉及一种无人机目标识别方法。

背景技术

目前，随着无人机技术的不断成熟和相关产品价格的大幅下降，各类型无人机已被应用于不同领域。无人机为人们带来便利的同时，也成为了不法分子手中的犯罪工具。由于针对无人机的监管控制措施的缺失，无人机滥用和违规飞行现象日趋严重，利用无人机进行偷拍、侵犯隐私的事件更是层出不穷。面对此类目标的威胁，目前尚无有效的探测发现手段，也缺乏完备的反制***。

由于小型无人机目标尺寸小、飞行速度易变、飞行环境复杂，因此，需要无人机反制***对目标定位和识别方法的精度与速度有较高的要求。现有技术中主要利用雷达活着红外的方式进行无人机的识别和检测。其中，基于雷达和无线电的无人机检测方法，其探测易受地形影响，且无法判断检测到的目标是否为无人机，也无法确定目标无人机的型号。根据红外图像中的小目标的连通域面积、灰度和运行轨迹等图像特征来判断是否为运动的高热量飞行目标，其主要是基于连通域算法的高亮小目标检测算法，此方法所选取的图像特征适应性差，判别条件单一，在使用时会将飞行的鸟类和地物中的点目标判断为无人机，虚警率高。最终仍依赖人工来判断目标是否为无人机和无人机的型号。

发明内容

本发明所要解决的技术问题是提供一种无人机目标识别方法，实现无人机反制领域中自动化的检测和识别无人机。

本发明公开了一种目标识别方法，包括：数据增强步骤、特征提取步骤和目标检测步骤；

所述数据增强步骤包括：对获取的待识别无人机目标的原始图像进行数据增强处理，得到增强数据；

所述特征提取步骤包括：对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征；

所述目标检测步骤包括：通过神经网络对图像中的待识别无人机目标进行类别和位置信息编码，并对所述类别和位置信息进行解码确定所述原始图像中的待识别无人机目标检测结果。

优选地，所述方法之前包括：建立无人机数据集，并采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标计算先验框。

优选地，所述对获取的待识别无人机目标的原始图像进行数据增强处理包括：

对所述待识别无人机目标的原始图像进行随机模糊和/或运动模糊处理处理。

优选地，对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征包括：

对所述增强数据依次进行第一卷积处理、第二卷积处理和第三卷积处理，分别提取第一检测特征图、第二检测特征图和第三检测特征图，并对获得的第一检测特征图、第二检测特征图和第三检测特征图进行融合；将融合后的特征作为用于所述待识别无人机目标分类和定位的图像特征。

优选地，建立无人机数据集，并采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标计算先验框包括：

采集不同型号的无人机的图像数据，建立各个飞行场景、各个飞行姿态下分类的无人机数据集；

采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标，使先验框和真实框的交集和并集的比值IOU最大，K-means聚类的距离d表示公式如下：

d＝1-IOU。

优选地，所述方法还包括：计算所述神经网络的损失函数：L_total＝λ₁L_loc+λ₂L_conf+λ₃L_cla；

其中，L_loc为目标定位偏移量损失；

L_conf为目标置信度损失；

L_cla为目标分类损失；

其中，偏移量损失采用的是误差的平方和，分类损失采用的是二值交叉熵，λ₁，λ₂，λ₃是平衡系数。

优选地，建立无人机数据集时，对所述无人机数据集进行随机模糊和/或运动模糊处理处理。

优选地，对所述无人机数据集进行随机模糊处理包括：

采用高斯点扩散函数对所述无人机数据集中的每张图片进行模糊处理：其中，光学***成像公式如下：

g(x,y)＝∫∫f(ξ,η)h(x-ξ,y-η)dξdη＝f(x,y)*h(x,y)

其中，f(*,*)表示图像原像，h(*,*)表示点扩散函数，ζ，η是图像在x，y的偏移量；

高斯离焦模糊模型公式如下：

式中，σ为高斯离焦模型的参数。

优选地，对所述无人机数据集进行运动模糊处理包括：

运动模糊图像的成像公式如下所示：

其中，v_x为图像在x方向上的平移速度，v_y为在y方向上的平移速度，T为快门打开时间，即产生模糊图像的时间，n(x,y)为加性噪声。

优选地，通过改变σ，模拟不同程度的离焦模糊。

与现有技术相比，本发明具有以下优点：

本发明首先对多种无人机进行针对性的图像数据采集和标注。然后用聚类算法对无人机数据的标注进行处理，选出适应于无人机目标的先验框。然后将无人机数据进行数据增强。将增强后的数据输入神经网络进行训练，训练出的模型即可完整无人机的目标检测。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的无人机目标识别方法的流程图；

图2为本发明实施例的无人机目标识别装置的示意图；

图3是根据本申请另一个实施例的计算设备结构图；

图4是根据本申请另一个实施例的计算机可读存储介质结构图；

图5是本发明实施例的基于深度学习的无人机检测的流程图；

图6是本发明实施例的无人机种类采集示意图；

图7是本发明实施例的无人机数据采集场景示意图；

图8是本发明实施例的训练用无人机原始数据的示意图；

图9是本发明实施例的训练用无人机模糊数据的示意图；

图10是本发明实施例的无人机识别结果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本发明实施例提供一种无人机目标识别方法，包括：数据增强步骤、特征提取步骤和目标检测步骤；

S101、所述数据增强步骤包括：对获取的待识别无人机目标的原始图像进行数据增强处理，得到增强数据；

S102、所述特征提取步骤包括：对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征；

S103、所述目标检测步骤包括：通过神经网络对图像中的待识别无人机目标进行类别和位置信息编码，并对所述类别和位置信息进行解码确定所述原始图像中的待识别无人机目标检测结果。

本发明实施例采用基于回归方法进行深度学习、目标识别，将无人机目标分类和定位整合到了一起，实现了端到端的检测。其检测速度达每秒40帧，可实现实时的视频目标识别。

本发明实施例中，所述方法之前包括：建立无人机数据集，并采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标计算先验框。

本发明实施例中，所述对获取的待识别无人机目标的原始图像进行数据增强处理包括：

对所述待识别无人机目标的原始图像进行随机模糊和/或运动模糊处理处理。

本发明实施例中，对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征包括：

对所述增强数据依次进行第一卷积处理、第二卷积处理和第三卷积处理，分别提取第一检测特征图、第二检测特征图和第三检测特征图，并对获得的第一检测特征图、第二检测特征图和第三检测特征图进行融合；将融合后的特征作为用于所述待识别无人机目标分类和定位的图像特征。

本发明实施例的神经网络结构由输入层，卷积层和输出层构成。其中，输入层是原始图像经过数据增强处理后得到的数据。然后是53个卷积层，其主要操作是对输入层的数据进行卷积运算提取图像特征，以便后续的分类和定位处理。每个卷积模块(Conv)由一个卷积层后接一个Batch Normalization(BN，批标准化)层和一个LeakyReLU(修正线性单元)层组成，来对信息进行特征提取、归一化和激活。卷积模块间还会加入残差模块(Residual)，来解决梯度消失问题。网络主体被分成3个阶段，1-26层卷积为阶段1，27-43层卷积为阶段2，44-52层卷积为阶段3，低层卷积(1-26层)感受视野较小，负责检测小目标，深层卷积(44-52)感受野大，负责检测大目标，中层卷积(27-43层)负责检出中等大小的目标。三个阶段的卷积层会输出三个不同的特征图，深层的特征图会进行上采样来与低层的特征图进行融合，来对不同尺度的目标进行检测，提高不同尺寸目标的检测能力。神经网络最后输出的信息包括图像中目标的类别和位置信息的编码，对此信息进行统一的解码即可在原图中绘制出检测结果。

本发明实施例中，建立无人机数据集，并采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标计算先验框包括：

采集不同型号的无人机的图像数据，建立各个飞行场景、各个飞行姿态下分类的无人机数据集；

采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标，使先验框和真实框的交集和并集的比值IOU最大，K-means聚类的距离d表示公式如下：

d＝1-IOU。

本发明实施例中，在检测图像时，会以每个像素图像为中心随机生成大量的不同长宽比的检测框，然后为每个检测框预测类别以及偏移量，接着根据预测的偏移量调整检测框位置从而得到预测边界框，最后筛选需要输出的预测边界框。但是随机生成检测框计算量巨大，因此，提前根据数据集生成先验框，即可以加快训练速度，又可以提高位置预测的准确性。

本发明实施例采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。本发明实施例中聚类的目的是使先验框和临近的真实框有更大的IOU(先验框和真实框的交集和并集的比值，比值越大说明二者越接近)，因此，此次聚类的距离d公式如下：

d＝1-IOU

本发明实施例中，所述的识别方法，还包括：计算所述神经网络的损失函数：L_total＝λ₁L_loc+λ₂L_conf+λ₃L_cla；

其中，L_loc为目标定位偏移量损失；

L_conf为目标置信度损失；

L_cla为目标分类损失；

其中，偏移量损失采用的是误差的平方和，分类损失采用的是二值交叉熵，λ₁、λ₂、λ₃是平衡系数。

本发明实施例的神经网络的损失函数主要包括三个部分，目标定位偏移量损失L_loc，目标置信度损失L_conf，以及目标分类损失L_cla，其中坐标损失采用的是误差的平方和，类别损失采用的是二值交叉熵，λ₁，λ₂，λ₃是平衡系数。

L_total＝λ₁L_loc+λ₂L_conf+λ₃L_cla

本发明实施例中，建立无人机数据集时，对所述无人机数据集进行随机模糊和/或运动模糊处理处理。

本发明实施例中，对所述无人机数据集进行随机模糊处理包括：

采用高斯点扩散函数对所述无人机数据集中的每张图片进行模糊处理：其中，光学***成像公式如下：

g(x,y)＝∫∫f(ξ,η)h(x-ξ,y-η)dξdη＝f(x,y)*h(x,y)

其中，f(*,*)表示图像原像，h(*,*)表示点扩散函数，ζ,η是图像在x，y的偏移量；

高斯离焦模糊模型公式如下：

式中，σ为高斯离焦模型的参数，通过改变σ，模拟不同程度的离焦模糊。

本发明实施例中，对所述无人机数据集进行运动模糊处理包括：

运动模糊图像的成像公式如下所示：

其中，v_x为图像在x方向上的平移速度，v_y为在y方向上的平移速度，T为快门打开时间，即产生模糊图像的时间，n(x,y)为加性噪声。

因为在实际的无人机反制场景相对复杂，由于天气条件(雨，雾)、光学***离焦、目标快速运动、目标距离过远等因素的影响，实际的图像往往是模糊的，因此使用清晰图像训练出的模型无法应用于实际场景。因此，本发明实施例在训练时需对数据集进行数据增强，随机对标注框内的目标图像加模糊处理。

本发明实施例中利用高斯点扩散函数模型，它广泛的出现在显微镜、光学相机等领域。本发明实施例中，对于无人机成像的应用中，影响成像质量的点扩散函数的因素比较多，这些因素综合的结果使点扩散函数趋于高斯分布。成像公式如下：

g(x,y)＝∫∫f(ξ,η)h(x-ξ,y-η)dξdη＝f(x,y)*h(x,y)

其中，f(*,*)表示图像原像，h(*,*)表示点扩散函数，ζ,η是图像在x,y的偏移量；高斯离焦模糊模型公式如下：

式中，σ为高斯离焦模型的参数，通过改变σ，即可模拟不同程度的离焦模糊。

由于在拍摄设备快门打开的时间内，物体在成像平面上的投影发生平移或旋转，使收到的影像彼此发生重叠。因此本发明实施例中的运动模糊图像的成像公式如下所示：

其中，v_x为图像在x方向上的平移速度，v_y为在y方向上的平移速度，T为快门打开时间即产生模糊图像的时间，n(x,y)为加性噪声。

实施例二

如图2所示，本发明实施例还提供一种无人机目标识别装置，包括：数据增强模块、特征提取模块和目标检测模块；

所述数据增强模块：设置为对获取的待识别无人机目标的原始图像进行数据增强处理，得到增强数据；

所述特征提取模块：设置为对所述增强数据进行卷积运算提取用于待识别无人机目标分类和定位的图像特征；

所述目标检测模块：设置为通过神经网络对图像中的待识别无人机目标进行类别和位置信息编码，并对所述类别和位置信息进行解码确定所述原始图像中的待识别无人机目标检测结果。

实施例三

本申请实施例还提供了一种计算设备，参照图3，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图4，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

实施例四

本发明实施例的具体应用对象为无人机检测，其软件代码采用python和VC++编程实现。

本实施例针对无人机反制的需求，实现基于深度学习的无人机检测，可实现实时、自动化的无人机检测和识别。如图5所示，本实施例说明基于深度学习的无人机检测的流程：

1)建立无人机数据集

为保证无人机检测结果的准确性，本实施例建立了多背景、多飞行姿态且精细分类的无人机数据集用于深度学习网络的训练。首先采集了多种不同的无人机图像数据，如图6所示。采集的场景包括居民楼，工厂，商业区，山，树林，河流，海岸等30个不同的场景。采集的天气包括晴天和阴雨天，如图7所示。无人机可见光图像数据的分辨率为1920*1080。

采集无人机时：1.需采集无人机在在摄像机俯视30°仰视60°范围内的4个不同俯仰角度、8个不同的距离位置的图像。2.图像数据需包括无人机的不同方向的图像(前面，后面，上面，下面，侧面)。3.无人机在图像的位置不能不在边框50个像素之内，无人机占照像的画幅不低于128*128个像素不高于1/4画幅。4.需单独采集少量带有轻微遮挡的无人机图像。5.之后将采集的数据进行筛选和标注，最终获得可见光10万份，其中训练集8万份验证集2万份。

2)计算先验框

随着输出的特征图的数量和尺度的变化，先验框的尺寸也需要相应的调整。使用上述K-means聚类法得到先验框的尺寸，现有三种特征图尺寸，为每种特征图设定3种先验框，因此总共需要聚类出9种尺寸的先验框。在无人机数据集计算得到的9个先验框是：(14╳10)，(27╳16)，(30╳23)，(58╳27)，(66╳40)，(129╳69)，(126╳88)，(202╳178)，(393╳331)。

分配上，在最小的13*13特征图上(有最大的感受野)应用较大的先验框(126╳88)，(202╳178)，(393╳331)，适合检测较大的对象。中等的26*26特征图上(中等感受野)应用中等的先验框(58╳27)，(66╳40)，(129╳69)，适合检测中等大小的对象。较大的52*52特征图上(较小的感受野)应用较小的先验框(14╳10)，(27╳16)，(30╳23)，适合检测较小的对象。

3)数据增强

因为实际应用场景获取的图像往往是模糊图像，因此需要对训练用数据集进行随机模糊处理来模拟实际情况。如图8和图9所示，图8为训练用无人机原始数据的示意图，图9为训练用无人机模糊数据的示意图。

4)训练神经网络

将数据数入神经网络进行训练。训练时，训练批次设为100次，学习率0.001，衰减0.0005。训练结束后，所得的模型即可用于无人机目标检测，使用时设定置信度大于0.5时判定为无人机，图10显示无人机识别结果，此时无人机识别准确率在90％以上，识别速度40FPS，可以应用于无人机检测领域。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种无人机目标识别方法，其特征在于，包括：数据增强步骤、特征提取步骤和目标检测步骤；

所述数据增强步骤包括：对获取的待识别无人机目标的原始图像进行数据增强处理，得到增强数据；

所述特征提取步骤包括：对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征；

所述目标检测步骤包括：通过神经网络对图像中的所述待识别无人机目标进行类别和位置信息编码，并对所述类别和位置信息进行解码确定所述原始图像中的所述待识别无人机目标的检测结果。

2.根据权利要求1所述的识别方法，其特征在于，所述方法之前包括：建立无人机数据集，并采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标计算先验框。

3.根据权利要求1或2所述的识别方法，其特征在于，所述对获取的待识别无人机目标的原始图像进行数据增强处理包括：

对所述待识别无人机目标的原始图像进行随机模糊和/或运动模糊处理处理。

4.根据权利要求1或2所述的识别方法，其特征在于，对所述增强数据进行卷积运算提取用于所述待识别无人机目标分类和定位的图像特征包括：

对所述增强数据依次进行第一卷积处理、第二卷积处理和第三卷积处理，分别提取第一检测特征图、第二检测特征图和第三检测特征图，并对获得的第一检测特征图、第二检测特征图和第三检测特征图进行融合；将融合后的特征作为用于所述待识别无人机目标分类和定位的图像特征。

5.根据权利要求2所述的识别方法，其特征在于，建立无人机数据集，并采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标计算先验框包括：

采集不同型号的无人机的图像数据，建立各个飞行场景、各个飞行姿态下分类的无人机数据集；

采用基于距离的K-means聚类算法，采用距离作为相似性的评价指标，使先验框和真实框的交集和并集的比值IOU最大，K-means聚类的距离d表示公式如下：

d＝1-IOU。

6.根据权利要求1或2所述的识别方法，其特征在于，还包括：计算所述神经网络的损失函数：L_total＝λ₁L_loc+λ₂L_conf+λ₃L_cla；

其中，L_loc为目标定位偏移量损失；

L_conf为目标置信度损失；

L_cla为目标分类损失；

其中，偏移量损失采用的是误差的平方和，分类损失采用的是二值交叉熵，λ₁、λ₂、λ₃是平衡系数。

7.根据权利要求2或5所述的识别方法，其特征在于，建立无人机数据集时，对所述无人机数据集进行随机模糊和/或运动模糊处理处理。

8.根据权利要求7所述的识别方法，其特征在于，对所述无人机数据集进行随机模糊处理包括：

采用高斯点扩散函数对所述无人机数据集中的每张图片进行模糊处理：其中，光学***成像公式如下：

g(x,y)＝∫∫f(ξ,η)h(x-ξ,y-η)dξdη＝f(x,y)*h(x,y)

其中，f(*,*)表示图像原像，h(*,*)表示点扩散函数，ζ，η是图像在x，y的偏移量；

高斯离焦模糊模型公式如下：

式中，σ为高斯离焦模型的参数。

9.根据权利要求7所述的识别方法，其特征在于，对所述无人机数据集进行运动模糊处理包括：

运动模糊图像的成像公式如下所示：

其中，v_x为图像在x方向上的平移速度，v_y为在y方向上的平移速度，T为快门打开时间，即产生模糊图像的时间，n(x,y)为加性噪声。

10.根据权利要求8所述的识别方法，其特征在于，通过改变σ，模拟不同程度的离焦模糊。

Images