CN108446707A - 基于关键点筛选及dpm确认的遥感图像飞机检测方法 - Google Patents

Abstract

本发明实施例提供一种基于关键点筛选及DPM确认的遥感图像飞机检测方法，所述方法包括：获取机场图像中的局部图像；局部图像是根据待检测目标的局部特征信息获取的；将预处理后的局部图像的处理结果确定为所述待检测目标的初筛选结果；并根据所述初筛选结果和预先建立的预设模型，确定所述待检测目标所在的区域；对所述区域进行分类，并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标。本发明实施例提供的方法，通过先确定待检测目标所在的区域，再对区域进行分类，并获取相同分类的有重叠部分的候选区域，再确定待检测目标，能够提高对机场中众多影响因素的适应能力、待检测目标的检测精度。

Description

基于关键点筛选及DPM确认的遥感图像飞机检测方法

技术领域

本发明实施例涉及遥感图像飞机检测技术领域，具体涉及一种基于关键点筛选及DPM确认的遥感图像飞机检测方法。

背景技术

目前，在机场中基于光学遥感图像对待检测目标(例如是飞机)进行检测的方法种类繁多，由于飞机外形尺寸差异较大，使得已有算法的适应性有限。此外，机场遥感图像场景复杂，存在与飞机特征属性相似的建筑物干扰，极易产生大量虚警，检测难度大。

有的现有技术采用对飞机局部特征的描述，对飞机进行检测，但对飞机整体特征的表述性较差，仅适用于简单局部场景下的飞机目标检测，在机场复杂大视场下会产生大量虚警。有的现有技术在目标表层特征基础上通过滤波等方法分离出目标，再加上后续鉴别处理实现检测，但此类检测方法也不适用于背景复杂、建筑目标密集混杂的场景。还有的现有技术是利用模板匹配技术进行飞机检测，但普通的模板形式较为固定，灵活性差、兼容性差；光学遥感图像成像易受载荷平台、光照等天气因素影响，使得飞机在遥感影像中产生一定的形变、机身边缘出现阴影，利用普通模板匹配技术在实际场景中适应性较差；且飞机尺寸常有所差异，不同尺寸大小的飞机都需建立相应的模板，计算量和模型建立复杂程度大大增加。

因此，如何避免上述缺陷，提高对机场中众多影响因素的适应能力、待检测目标的检测精度，成为亟须解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种基于关键点筛选及DPM确认的遥感图像飞机检测方法。

本发明实施例提供一种基于关键点筛选及DPM确认的遥感图像飞机检测方法，所述方法包括：

获取机场图像中的局部图像；所述局部图像是根据待检测目标的局部特征信息获取的；

将预处理后的局部图像的处理结果确定为所述待检测目标的初筛选结果；并根据所述初筛选结果和预先建立的预设模型，确定所述待检测目标所在的区域；

对所述区域进行分类，并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，通过先确定待检测目标所在的区域，再对区域进行分类，并获取相同分类的有重叠部分的候选区域，再确定待检测目标，能够提高对机场中众多影响因素的适应能力、待检测目标的检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于关键点筛选及DPM确认的遥感图像飞机检测方法流程示意图；

图2为本发明实施例飞机DPM模型输出结果图；

图3为本发明实施例确定待检测目标以前的机场图像图；

图4为本发明实施例确定待检测目标以后的机场图像图；

图5为本发明实施例基于关键点筛选及DPM确认的遥感图像飞机检测方法的整体流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例基于关键点筛选及DPM确认的遥感图像飞机检测方法流程示意图，如图1所示，本发明实施例提供的一种基于关键点筛选及DPM确认的遥感图像飞机检测方法，包括以下步骤：

S1：获取机场图像中的局部图像；所述局部图像是根据待检测目标的局部特征信息获取的。

具体的，装置获取机场图像中的局部图像；所述局部图像是根据待检测目标的局部特征信息获取的。DPM(Deformable Part Model)，正如其名称所述,可变形的组件模型，是一种基于组件的检测算法。关键点可以理解为待检测目标的局部特征。待检测目标可以是停留在机场上的飞机，局部特征信息可以是突出点，即角点、边缘点、暗区域亮点、亮区域暗点等丰富的局部信息。

S2：将预处理后的局部图像的处理结果确定为所述待检测目标的初筛选结果；并根据所述初筛选结果和预先建立的预设模型，确定所述待检测目标所在的区域。

具体的，装置将预处理后的局部图像的处理结果确定为所述待检测目标的初筛选结果；并根据所述初筛选结果和预先建立的预设模型，确定所述待检测目标所在的区域。

具体可以采用如下方法实现：

1.基于关键点密集度的疑似区筛选

1)关键点提取

由于机场整图(对应机场图像)中大部分区域不含待检测目标，为减少整视场检测计算量，先进行疑似区筛选。可以采用SIFT(Scale-invariant feature transform)算法对机场图像中突出点，即角点、边缘点、暗区域亮点、亮区域暗点等有丰富局部信息存在的局部图像进行提取。利用高斯差分算子计算尺度空间的局部极值点，并对这些局部极值点进行低对比度除去、边缘响应去除，得到精确定位的特征点。

2)基于分块关键点密集度的疑似分块筛选

对关键点提取后的1m分辨率可见光遥感图像中窗口大小设置为256*256，并且以128为步长进行有重叠的滑窗，对每个窗口内的SIFT关键点个数进行累加统计。在该图像分辨率下，通常机场区域富含信息候选区的关键点个数阈值可设定为25，将关键点个数大于阈值的窗口内图像保留，剩余部分图像直接置零，可达到疑似区筛选的目的(即获取到初筛选结果)。

2.基于双分辨率的DPM全尺寸疑似飞机目标框定

1)基于原分辨率图像的DPM的疑似大飞机目标检测框定

a.构建HOG特征金字塔

由于DPM模型在训练时已确定，为了检测图像中不同尺寸的目标需要进行多尺度分析，需要构建特征金字塔。通过HOG算法计算图像的方向梯度直方图以构建L层的特征金字塔，规定

λ为抽样规格，即为了获得金字塔中某一层的两倍分辨率而需要向下走的层数为λ。且金字塔顶层为图像在原分辨率下的HOG特征。

b.计算模型响应得分

假设在训练阶段得到的模型有n个部件，则可将其定义为(n+2)元组(F₀,P₁,…,P_n,b)。其中F₀为根滤波器，P_i为第i个部件滤波器，b为偏置量。滤波器在HOG特征金字塔第l层上响应得分为：

p_i＝(x_i,y_i,l_i)

其中，H为上一步中建立的特征图像金字塔；p_i表示特征图像金字塔l_i层位置为(x_i,y_i)的点；φ表示该点位置在H中的特征向量。当i＝0时，R表示根滤波器在l₀层的响应得分；当i＞0时，表示第i个部件滤波器在l_i层的得分响应。由于部件滤波器的分辨率是根滤波器的两倍，l_i＝l₀-λ，即金字塔中l_i层分辨率为l₀层两倍。

根据以上计算的滤波器得分，在考虑变形花费的同时对高分区域进行拓展，调节部件模型在金字塔第l₀-λ层的位置找到组合

其中，(dx,dy)表示部件位置相对于锚点(部件滤波器理想位置)的位移量；d_i表示偏移向量；φ_d表示偏移的花费权重。

c.计算综合得分

根据给定的根模型位置p₀＝(x₀,y₀,l₀)，在考虑变形花费的同时对高分区域进行拓展，调节部件模型在金字塔第l₀-λ层的位置找到部件模型位置组合(p₁,p₂,...,p_n)使得各个部件模型响应得分最大。

将根滤波器响应得分和各个拓展和子采样后部件滤波器响应得分相加，最后加上部件模型相对根模型的偏移量，得到该l层的综合得分：

其中，v_i表示某一部件滤波器锚点与根滤波器的相对位置；(x₀,y₀)的2倍系数是为了将分辨率统一到部件模型所在的特征金字塔层上；b表示使部件滤波器对其的偏移量。由此可得金字塔中每层得分，通过非极大值抑制的方法选取有效得分，并将其映射回图像，可得到确定目标位置的矩形框，储存图像中的疑似框坐标信息，疑似框即是待检测目标所在的区域。

2)基于插值分辨率图像的DPM的疑似小飞机目标检测框定

由于待检测图像中飞机尺寸差异较大，仅通过构建图像特征金字塔在不同分辨率层上进行检测会对小飞机产生漏检，因此再基于插值分辨率对图像进行检测。将步骤1中提取疑似区的图像插值放大至原图像尺寸的两倍，对插值放大后图像重复步骤1)中所有操作，以检测图像中的小飞机。

图2为本发明实施例飞机DPM模型输出结果图，其中(a)为根模型输出结果图；(b)为部件模型输出结果图；(c)为进行拓展的部件模型输出结果图。

需要说明的是：上述的预先建立的预设模型在使用之前需要预先进行训练，方法可以如下：

建立训练数据库

定义c为训练目标类别，P为正样本集，N为负样本集，正负样本集给定了目标类别c的训练样本。P为人工标记框的正样本数据库，是二元组(I,B)的集合。其中I是图像，B是图像I中c类目标的标记框。由于实际场景需要，c类目标选定为飞机，N为负样本机场跑道、机场廊桥、建筑物边角的集合。对所有样本图像进行人工框定目标，并将对应信息数据储存进xml文件中，建立飞机模型训练数据库。

飞机模型训练

初始化根滤波器

训练的混合模型含有m个组件，将人工标记框的正样本数据库P以长宽比排序并分类为m组，记为P1,...,Pm。选择大于80％矩形框面积的值作为根模型面积。用标准SVM算法训练出m个相应的根滤波器，记为F1,...,Fm。

更新根滤波器

将这m个根滤波器联合起来，通过坐标下降训练算法进行迭代优化。

初始化部件滤波器

将每个组件模型的部件设定为8个，将部件以中轴对称的形式放在根滤波器的两边，第一个部件放置在根滤波器最高能量区域，并将此区域能量置零。重复此操作，直至将部件放置完毕。其中部件滤波器的分辨率是根滤波器的两倍。其中8个部件个数的设定与默认的6个部件相比较更为精细，更加适合复杂场景的目标检测，又不会过于精细让检测过程复杂化。

更新现有模型

用现有模型对训练数据集中的正样本标记框进行检测，将得分最高的位置作为此样本框的正样本，放入缓冲区中。同样用现有模型检测负样本，并将得分最高的位置放入缓冲区，直至文件最大限制，并用缓冲区的样本训练出新模型。按上述策略迭代更新模型10次，得到最终的模型参数。

S3：对所述区域进行分类，并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标。

具体的，装置对所述区域进行分类，并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标。区域可以包括框体的顶点位置信息，即上述的疑似框坐标信息，分类可以包括：

根据所述顶点位置信息，获取所述框体的中心点位置信息；遍历所有的中心点位置信息，计算根据每两个中心点位置信息确定的欧式距离；将大于预设阈值的欧式距离所对应的两个区域划分为相同分类的区域。

具体说明如下：疑似框坐标信息可以是框体左上角坐标位置、右下角坐标位置，以此计算每个框体中心点位置坐标(对应中心点位置信息)。以第一个疑似框的中心点坐标为基准，与其他疑似框中心点坐标进行逐一比对，计算欧氏距离，将大于阈值(对应于预设阈值，预设阈值可以参照飞机模型尺寸的宽度进行自主设置)的划分为一类。再对剩余未分类疑似框重复此操作，直至所有疑似框分类归集。

确定待检测目标所在的目标区域的步骤可以包括：

对每个相同分类的有重叠部分的区域的预设像素值进行累加；提取大于等于预设累加像素值的候选区域；获取每个候选区域的最小外接矩形，并根据每个候选区域的面积与对应的最小外接矩形的对比结果，确定所述待检测目标所在的目标区域。

对以上每一类疑似框作如下操作：

对每个疑似框(对应每个相同分类的有重叠部分的区域)的像素值置1(即预设像素值选为1)，有重叠部分做累加。假设该堆疑似框个数为n，则将叠加后像素值大于等于n/2的部分提取出来，为A₁,...,A_i即候选区域的个数为i个，求提取区域A_i的最小外接矩形B_i，将B_i与构成A_i的每个疑似框面积(对应每个候选区域的面积)作对比，若B_i面积大于构成A_i的每个疑似框面积的二分之一则保留B_i，将构成A_i的所有疑似框去除；反之，去掉B_i，保留构成A_i的所有疑似框。

对每一类框进行此操作后，将保留的框体确定的目标区域作为待检测目标，保存其坐标(对应目标区域的位置信息)，作为检测结果显示于机场图像中。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，通过先确定待检测目标所在的区域，再对区域进行分类，并获取相同分类的有重叠部分的候选区域，再确定待检测目标，能够提高对机场中众多影响因素的适应能力、待检测目标的检测精度。

图3为本发明实施例确定待检测目标以前的机场图像图；图4为本发明实施例确定待检测目标以后的机场图像图，如图3、图4所示，可以看出，本发明实施例能够准确地对待检测目标的进行检测。

图5为本发明实施例基于关键点筛选及DPM确认的遥感图像飞机检测方法的整体流程图，图5的具体说明可参照上述实施例，不再赘述。

在上述实施例的基础上，所述区域包括框体的顶点位置信息；相应地，所述对所述区域进行分类，包括：

根据所述顶点位置信息，获取所述框体的中心点位置信息。

具体的，装置根据所述顶点位置信息，获取所述框体的中心点位置信息。可参照上述实施例，不再赘述。

遍历所有的中心点位置信息，计算根据每两个中心点位置信息确定的欧式距离。

具体的，装置遍历所有的中心点位置信息，计算根据每两个中心点位置信息确定的欧式距离。可参照上述实施例，不再赘述。

将大于预设阈值的欧式距离所对应的两个区域划分为相同分类的区域。

具体的，装置将大于预设阈值的欧式距离所对应的两个区域划分为相同分类的区域。可参照上述实施例，不再赘述。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，通过先对待检测目标所在的区域进行分类，能够保证该方法的正常进行。

在上述实施例的基础上，所述并获取相同分类的有重叠部分的区域，并根据预设规则，确定所述待检测目标所在的目标区域，包括：

对每个相同分类的有重叠部分的区域的预设像素值进行累加。

具体的，装置对每个相同分类的有重叠部分的区域的预设像素值进行累加。可参照上述实施例，不再赘述。

提取大于等于预设累加像素值的候选区域。

具体的，装置提取大于等于预设累加像素值的候选区域。可参照上述实施例，不再赘述。

获取每个候选区域的最小外接矩形，并根据每个候选区域的面积与对应的最小外接矩形的对比结果，确定所述待检测目标所在的目标区域。

具体的，装置获取每个候选区域的最小外接矩形，并根据每个候选区域的面积与对应的最小外接矩形的对比结果，确定所述待检测目标所在的目标区域。可参照上述实施例，不再赘述。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，基于重叠置信度确定待检测目标所在的目标区域，进一步能够提高对机场中众多影响因素的适应能力、待检测目标的检测精度。

在上述实施例的基础上，所述并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标，包括：

若候选区域的面积小于等于对应的最小外接矩形的面积的两倍，则将最小外接矩形确定的目标区域作为所述待检测目标。

具体的，装置若判断获知候选区域的面积小于等于对应的最小外接矩形的面积的两倍，则将最小外接矩形确定的目标区域作为所述待检测目标。可参照上述实施例，不再赘述。

若候选区域的面积大于对应的最小外接矩形的面积的两倍，则将所述候选区域确定的目标区域作为所述待检测目标。

具体的，装置若判断获知候选区域的面积大于对应的最小外接矩形的面积的两倍，则将所述候选区域确定的目标区域作为所述待检测目标。可参照上述实施例，不再赘述。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，通过比较候选区域的面积，以及对应的最小外接矩形的面积，进一步能够提高待检测目标的检测精度。

在上述实施例的基础上，所述方法还包括：

获取每个相同分类的有重叠部分的区域的数量n，所述预设像素值为1；相应地，所述预设累加像素值为n/2。

具体的，装置获取每个相同分类的有重叠部分的区域的数量n，所述预设像素值为1；相应地，所述预设累加像素值为n/2。可参照上述实施例，不再赘述。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，通过为预设像素值和预设累加像素值设置合理数值，能够更加自主灵活地控制待检测目标的检测精度。

在上述实施例的基础上，所述确定所述待检测目标的步骤之后，所述方法还包括：

获取目标区域的位置信息，并将所述位置信息显示于所述机场图像中。

具体的，装置获取目标区域的位置信息，并将所述位置信息显示于所述机场图像中。可参照上述实施例，不再赘述。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，将目标区域的位置信息显示于机场图像中，能够便于位置信息的查看。

在上述实施例的基础上，所述待检测目标是停留在机场上的飞机。

具体的，装置中的所述待检测目标是停留在机场上的飞机。

本发明实施例提供的基于关键点筛选及DPM确认的遥感图像飞机检测方法，通过将待检测目标选为停留在机场上的飞机，进一步能够提高对机场中众多影响因素的适应能力、飞机的检测精度。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (7)

1.一种基于关键点筛选及DPM确认的遥感图像飞机检测方法，其特征在于，包括：

获取机场图像中的局部图像；所述局部图像是根据待检测目标的局部特征信息获取的；

将预处理后的局部图像的处理结果确定为所述待检测目标的初筛选结果；并根据所述初筛选结果和预先建立的预设模型，确定所述待检测目标所在的区域；

对所述区域进行分类，并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标。

2.根据权利要求1所述的方法，其特征在于，所述区域包括框体的顶点位置信息；相应地，所述对所述区域进行分类，包括：

根据所述顶点位置信息，获取所述框体的中心点位置信息；

遍历所有的中心点位置信息，计算根据每两个中心点位置信息确定的欧式距离；

将大于预设阈值的欧式距离所对应的两个区域划分为相同分类的区域。

3.根据权利要求1所述的方法，其特征在于，所述并获取相同分类的有重叠部分的区域，并根据预设规则，确定所述待检测目标所在的目标区域，包括：

对每个相同分类的有重叠部分的区域的预设像素值进行累加；

提取大于等于预设累加像素值的候选区域；

获取每个候选区域的最小外接矩形，并根据每个候选区域的面积与对应的最小外接矩形的对比结果，确定所述待检测目标所在的目标区域。

4.根据权利要求3所述的方法，其特征在于，所述并获取相同分类的有重叠部分的候选区域，并根据预设规则和所述候选区域，确定所述待检测目标，包括：

若候选区域的面积小于等于对应的最小外接矩形的面积的两倍，则将最小外接矩形确定的目标区域作为所述待检测目标；

若候选区域的面积大于对应的最小外接矩形的面积的两倍，则将所述候选区域确定的目标区域作为所述待检测目标。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取每个相同分类的有重叠部分的区域的数量N，所述预设像素值为1；相应地，所述预设累加像素值为N/2。

6.根据权利要求1至5任一所述的方法，其特征在于，所述确定所述待检测目标的步骤之后，所述方法还包括：

获取目标区域的位置信息，并将所述位置信息显示于所述机场图像中。

7.根据权利要求1所述的方法，其特征在于，所述待检测目标是停留在机场上的飞机。