CN110310264B - 一种基于dcnn的大尺度目标检测方法、装置 - Google Patents

Abstract

本发明实施例提供了一种基于DCNN的大尺度目标检测方法、装置。该方法包括：获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到尺度压缩后的目标图像；采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。本发明可以提高大尺度图像目标检测的准确率。

Description

一种基于DCNN的大尺度目标检测方法、装置

技术领域

本申请涉及图像技术领域，特别是涉及一种基于DCNN的大尺度目标检测方法、装置。

背景技术

遥感图像是一种利用航空或者卫星等设施对地拍摄所得影像，具有拍摄范围广、分辨率高、信息量大等特点，因此广泛的应用于不同的技术领域。遥感图像发展的目标识别任务是指通过分析遥感影像，并结合先进的智能化解析技术获取目标图像的特定位置和类别，应用于现代化任务。

DCNN(deep convolutional neural network，深度卷积神经网络)是近些年逐步兴起的一种人工神经网络结构，卷积神经网络能够精确的进行目标识别与分类。依靠大量数据的支撑完成语义分割、场景分类，实现对文字、图像、语音等信息媒介的特征进行自动提取。DCNN算法的本质是在训练过程中不断分析训练集中样本的特征，从而学习到该类别目标所共有的形态、颜色组成、纹理等特征。VSD(visual saliency detection，视觉显著性检测)是指通过智能算法模拟人的视觉特点提取图像中的显著性区域。根据不同区域或像素点之间的对比度，判断目标区域与周围像素点的差异，进而计算图像区域的显著性。

然而，发明人在实现本发明的过程中，发现现有技术至少存在如下问题：

DCNN算法训练样本尺度单一且较小，造成大尺度目标难以识别。VSD算法在复杂环境下无法精确区分图像中的目标物体和干扰背景。因此，单独利用两种算法进行大尺度图像目标检测，会造成检测准确率下降。

发明内容

本申请实施例的目的在于提供一种基于DCNN的大尺度目标检测方法、装置，以提高大尺度图像目标检测的准确率。具体技术方案如下：

第一方面，本发明实施例提供了一种基于DCNN的大尺度目标检测方法，所述方法包括：

获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；

对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；

在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到尺度压缩后的目标图像；

采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

可选的，第一模型是通过以步骤建立的：

获取训练样本集合，该训练样本集合包括至少一张包含大尺度目标物体的遥感图像和多张包含小尺度目标物体的遥感图像；

将训练样本集合输入到深度卷积神经网络模型中进行训练，生成具有目标物体检测能力的第一模型；其中，该第一模型具有对含有目标物体的遥感图像识别的有效权值。

可选的，在获取训练样本集合之前，该方法还包括：

获取相机采集的包含目标物体的原始遥感图像；

对原始遥感图像重叠切割生成预定尺寸的遥感子图像；其中，该预定尺寸根据第一模型训练所需的遥感图像尺寸而定。

可选的，对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体，包括：

将获取到的包含目标物体的遥感图像进行小波变换；

对经过小波变换后的遥感图像进行中心环绕能量像素对比，生成遥感图像对应的能量显著性特征图，其中，该能量显著性特征图表征遥感图像中各像素的灰度值；

统计遥感图像对应的能量显著性特征图中各灰度值的像素的个数；

根据显著性特征图中各灰度值的像素的个数，生成能量显著性特征图对应的灰度直方图；

根据灰度直方图判断获取到的包含目标物体的遥感图像中是否包含大尺度目标物体。

可选的，在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到尺度压缩后的目标图像，包括：

在遥感图像包含大尺度目标物体时，利用下采样法将遥感图像进行尺度压缩处理；

将经过尺度压缩处理后的遥感图像进行像素补零处理，得到图像尺度压缩后的目标图像。

可选的，在采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息之后，该方法还包括：

对经过第一模型确定出的目标图像中的大尺度目标物体的第一位置信息进行等比例变换，得到大尺度目标物体在遥感图像中的第二位置信息。

可选的，获取包含目标物体的遥感图像，包括：

获取待处理遥感图像；

对待处理遥感图像进行重叠切割，得到预定尺寸的遥感图像。

第二方面，本发明实施例提供了一种基于DCNN的大尺度目标检测装置，该装置包括：

第一获取模块，用于获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；

第一检测模块，用于对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；

处理模块，用于在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到尺度压缩后的目标图像；

第二检测模块，用于采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面的一种基于DCNN的大尺度目标检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行上述第一方面的一种基于DCNN的大尺度目标检测方法。

本发明实施例提供的一种基于DCNN的大尺度目标检测方法、装置。该方法包括：获取包含目标物体的遥感图像，对该遥感图像进行显著性检测，判断该遥感图像中是否包含大尺度目标物体；对遥感图像进行显著性检测，判断该遥感图像中是否包含大尺度目标物体；对包含大尺度目标物体的遥感图像进行图像下采样，得到尺度压缩后的目标图像；采用预先建立的第一模型对该目标图像进行检测，确定该目标图像中的大尺度目标物体的第一位置信息。本发明采用显著性检验与DCNN目标识别方法相结合的方法，提高了高分辨率、宽覆盖的遥感图像的大尺度目标识别的准确性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种基于DCNN的大尺度目标检测方法的第一种流程示意图；

图2为本发明实施例的一种基于DCNN的大尺度目标检测方法的第二种流程示意图；

图3为本发明实施例的一种基于DCNN的大尺度目标检测方法的第三种流程示意图；

图4为本发明实施例的一种基于DCNN的大尺度目标检测方法的第四种流程示意图；

图5为本发明实施例的一种基于DCNN的大尺度目标检测方法的第五种流程示意图；

图6为本发明实施例的一种基于DCNN的大尺度目标检测方法的第六种流程示意图；

图7为本发明实施例的一种基于DCNN的大尺度目标检测装置的一种示意图；

图8为本发明实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

遥感图像是一种利用航空或卫星等设施对地拍摄所得影像，因其拍摄范围广、分辨率高、信息量大等特点，广泛应用于不同了领域。基于遥感图像发展的目标识别任务是一种通过分析遥感影像结合先进的智能化解析技术捕获地面特定目标位置、类别并用于具体应用的现代化任务。

DCNN(deep convolutional neural network，深度卷积神经网络)是近些年逐步兴起的一种神经网络结构，能够实现对文字、图像、语音等信息媒介的特征的进行自动化提取，结合大量数据完成目标识别、语义分割、场景分类等多项任务。基于现代计算机高速的处理能力，DCNN可以快速的进行信息的特征提取，且能够足够精确的进行目标的识别与分类，是人工智能领域的研究方向之一，基于DCNN的目标识别方法可广泛应用于海洋灾害救援、交通监管、渔业管理等领域。VSD(visual saliency detection，视觉显著性检测)是指通过智能算法模拟人的视觉特点提取图像中的显著性区域。通过不同区域或像素点之间较强的对比度，判断目标区域与周围像素点的差异，进而计算图像区域的显著性。利用图像显著性检测技术，在对某个特定目标跟踪识别时，可以快速而准确地锁定目标对象的位置。当存储大量的图像时，可以只存储感兴趣的区域，而不是存储整张图像，可以节约大量的存储空间；在基于图像内容的检索中，可以利用已经检测到的显著区域，对图像进行遍历及匹配，而不需要对整张图像进行匹配，提高了图像检索速度。因此，视觉显著性检测技术已受到国内外计算机视觉研究者的广泛关注，在图像压缩和传输、高效存储、图像智能检索中也有了广泛应用。

DCNN算法需要先利用训练集进行训练，得到有效权值再进行实际场景的检测。但是很多情况中训练样本中目标特征较为单一，无法涵盖所有可能出现的目标特点，因此造成训练集与实际场景中目标差异较大。在实际测试过程中，目标识别效果降低。在高分辨率、宽覆盖的遥感图像目标识别任务中，多尺度目标是普遍存在的现象。然而，训练集与实际目标的差异，限制了DCNN目标识别方法在实际应用中的效能。DCNN算法的本质是在训练过程中不断分析训练集中样本的特征，从而学习该类别目标所共有的一些形态、颜色组成、纹理等特征。但是在实际训练过程中，目标尺度大小是多样的，此时大目标的检测效果会非常差。

当遥感图像中存在复杂环境，VSD算法利用传统的数图处理方式，无法精确的区分该图像中的目标物体与干扰背景，造成识别的准确性下降。因此，如何提高大尺度目标物体识别的准确性是亟待解决的问题。

有鉴于此，本发明实施例提供了一种基于DCNN的大尺度目标检测方法、装置及电子设备。该方法可以在服务器侧执行，相应的装置可以设置在服务器中，例如可以是服务器的中央处理器CPU或者图形处理器GPU(Graphics Processing Unit)来执行。第一方面，本发明实施例提供了一种基于DCNN的大尺度目标检测方法的第一种示意图，参见图1，该方法包括：

S11，获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体。

本发明实施例描述了一种基于DCNN的大尺度目标检测方法，该方法应用于终端设备或者服务器侧的设备，其中，该终端设备可以为电子航拍设备。

在本发明实施例中，可以从终端设备搭建的遥感器中获取遥感图像。遥感图像中包含的目标物体的像素个数值不大于32*32时，则划分为小尺度目标物体；当目标物体所占图像的像素个数值不小于512*512时，则划分为大尺度目标物体。该目标物体包括但不限于大型船只，如舰船，目标物体在遥感图像中是整体存在，不存在只包含目标物体一部分的情况。

S12，对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体。

显著性物体检测是一种智能图像处理方式，其基本操作单位是图像像素，显著性程度根据像素的灰度值确定，灰度值越大，则显著性程度越高。本发明实施例中通过SIM(Scale integration Model，非参数化低维视觉显著性检测模型)显著性算法处理输入的高分辨率遥感图像，确定出遥感图像中每一个像素的能量显著性值，根据该能量显著性值统计得出显著性特征图。统计显著性特征图中各灰度值的像素的个数，生成能量显著性特征图对应的灰度直方图。根据该灰度直方图确定遥感图像中是否包含大尺度目标物体。

在一种可能的实现方式中，灰度直方图中灰度值20-100范围定义为低阶灰度值，灰度值在130-170范围定义为高阶灰度值。计算该遥感图像对应的灰度直方图中各个像素点的灰度值在20-100(低阶灰度值)范围内的像素个数的平均值、130-170(高阶灰度值)范围内的像素个数的平均值。根据下述公式判断该遥感图像中是否包含大尺度目标物体，输出表征1或0的二值化分析结果。1代表遥感图像中包含大尺度目标物体，0代表遥感图像中未包括大尺度目标物体。其中，下述公式中X_i代表灰度直方图中第i个像素点的灰度数值：

在另一种可能的实现方式中，可以根据显著性特征图确定输入的高分辨率遥感图像的显著性区域，根据显著性区域的大小可以判断该遥感图像的显著性区域内是否包含大尺度目标物体。

具体的，可以根据获取到的遥感图像中各个像素的灰度值的大小进行显著性区域的划分。例如，当像素的灰度值在130-170之间时，确定该像素构成的封闭区域为遥感图像中的显著性区域，当像素的灰度值在20-100时，确定该像素构成的封闭区域为非显著性区域。包含目标物体的遥感图像中灰度值在130-170范围内，其大尺度目标物体在该范围内的平均像素值个数大于2000。

可以理解的是，遥感图像中的显著性区域可以为遥感图像中的前景部分，遥感图像中的非显著性区域可以为遥感图像中的背景部分。因为前景部分通常可能包含待识别的大尺度目标物体，例如可以是油船、军舰、航母、大型货船等。需要说明的是，获取到的遥感图像中前景呈现高亮度而背景呈现低亮度，大尺度目标物体高亮度区域覆盖面积较大，小尺度目标物体高亮度区域覆盖面积小，可以根据显著性区域呈现高亮度的面积大小判断目标物体尺寸大小。

需要说明的是，尽管以上示例介绍了几种根据遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体的方法，但是本领域技术人员可以理解，本公开不限于此，本领域技术人员可以根据实际应用场景灵活设定确定判断遥感图像中包含大尺度目标物体的方式。

S13，在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到尺度压缩后的目标图像。

判断出遥感图像中包含大尺度目标物体后，需要对该遥感图像进行图像下采样，得到尺度压缩后的目标图像。当图像超分辨率重建时需要对图像进行下采样，而采用下采样处理后的图像可以生成对应图像的缩放图。例如，若图像尺寸为M*N像素时，对该图像进行S倍的下采样操作，可以得到(M/S)*(N/S)尺寸的分辨率图像，但是其中S为M、N的公约数。可以理解的是，当M、N的公约数不存在时，可以采取向下取整的方法。本申请实施例中，采用相同倍数的公约数的方式进行下采样。

本发明实施例中，获取包含大尺度目标物体遥感图像的像素点信息，将包含大尺度目标物体的遥感图像进行像素点的2倍下采样处理，将完成2倍下采样处理后的遥感图像进行填充零像素灰度值，得到尺度压缩后的目标图像。

S14，采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

在本发明实施例中，该目标图像为若干张固定尺寸的遥感图像。将目标图像输入预先建立的第一模型可以得到目标检测结果，例如，若预测目标物体为舰船的类别概率、预测目标物体为舰船的置信度、预测目标物体为舰船的第一位置信息以及检测目标物体准确性的有效权值。其中，舰船的第一位置信息可以根据目标图像中心位置的坐标以及舰船的目标框的宽度、高度、下边框位置坐标、上边框位置坐标等信息确定。

具体的，第一模型是基于深度学习算法训练得到的。在实际应用的过程中，DCNN算法需要先训练集进行训练，得到有效权值再进行目标物体的检测。针对高分辨率、宽覆盖的遥感图像的目标识别任务，多尺度目标是普遍存在的现象。可以理解的是，训练集为包含大尺度目标物体的遥感图像的数量有限，而训练集中包含小尺度目标物体的遥感图像则占比较多。造成了DCNN算法中的RPN网络的识别时对包含小尺度目标物体的遥感图像的目标框体保留较多，因此，将目标图像输入第一模型进行目标检测识别前，该包含大尺度物体的目标图像需要压缩至第一模型在训练时采用的遥感子图像的尺寸大小。

本发明实施例中，通过获取包含目标物体的遥感图像，对该遥感图像进行显著性检测，判断该遥感图像中是否包含大尺度目标物体；对遥感图像进行显著性检测，判断该遥感图像中是否包含大尺度目标物体；对包含大尺度目标物体的遥感图像进行图像下采样，得到尺度压缩后的目标图像；采用预先建立的第一模型对该目标图像进行检测，确定该目标图像中的大尺度目标物体的第一位置信息。在很大程度上解决了大尺度目标检测困难的问题，提高了大尺度目标检测的准确性。

可选的，是本发明实施例提供一种基于DCNN的大尺度目标检测方法的第二种流程示意图。参见图2，第一模型是通过以下步骤建立的：

S21，获取训练样本集合，训练样本集合包括至少一张包含大尺度目标物体的遥感图像和多张包含小尺度目标物体的遥感图像。

具体的，由于遥感图像在采集的过程中难以避免会存在天气等因素的影响，导致获取的目标图像存在干扰。例如待识别的目标物体是舰船时，会存在云、海岛、浪潮等因素影响，致使采集到的遥感图像舰船的检测准确性降低。因此，尽可能选择干扰背景小的包含目标物体的遥感图像作为训练样本集合。

通过收集大量的历史遥感图像，并对遥感图像数据集合进行预处理。其中，预处理可以包括采样、标注、旋转、样本扩充、添加噪声，增强对比度等方法，或者其余的遥感图像预处理等操作。可以理解的是，基于历史遥感图像确定样本图像集合，可以对选中的样本集合的每一张图像进行标注，生成类型标签。对图像进行标注时，可以采用人工标注，也可以利用深度卷积神经网络模型提取未标注图像中的特征，根据该特征确定属于目标物体的概率，从而可以提升标注的效率。

在一些示例中，为了扩充样本容量，可以将获取到的遥感图像进行旋转，但是考虑到旋转角度和目标物体边框坐标的对应关系。将样本图像进行旋转的同时，修改标签文件中存储的每张遥感图像中目标物体边框坐标的位置。可以采取顺时针旋转或者逆时针旋转90°、180°、270°，对图像做不同角度的旋转。通过上述旋转处理扩大了样本图像的数量，可以有效地降低人工搜索包含待检测的不同尺度的目标物体的历史遥感图像。

经过预处理后的遥感图像作为第一模型训练的样本集合。该训练样本集合包括多张含有小尺度目标物体的遥感图像，和至少一张包含大尺度目标物体的遥感图像。例如，该训练样本集合中可以包括多张含有游艇的小尺度目标物体的遥感图像，也可以包括油船、军舰、航母、大型货船四种类型船只的一种或多种的大尺度目标物体的遥感图像。

S22，将训练样本集合输入到深度卷积神经网络模型中进行训练，生成具有目标物体检测能力的第一模型；其中，第一模型具有对含有目标物体的遥感图像识别的有效权值。

本发明实施例采用深度卷积神经网络中的Faster R-CNN(Faster RegionConvolutional Neural Network，基于区域的快速的卷积神经网络检测方法)算法对训练集图片进行训练，训练完后生成具有目标物体检测能力的第一模型。其训练方法可以存在多种，可以采取拆分训练或者端到端训练。处理过程可以采用含有101层卷积层的resnet101的基础架构，结合RPN(region proposal network，区域选取网络)进行目标物***置提取，其本质为基于滑窗的无类别的物体检测器。

第一模型在训练的过程中，存在以下四个基本步骤：候选区域生成、特征提取、分类、目标物***置修正。候选区域是在提取好的特征图上生成的，对所有可能的目标框进行判别，由于后续需要进行目标物***置修正，所以目标框实际比较稀疏。利用Faster-RCNN算法进行训练可以使这四个基本步骤统一到一个深度网络框架内，在提取特征的过程中完成目标框的提取操作，所有计算没有重复操作，完全在GPU上运算，提高了运行速度。

在RPN过程中，以获取训练样本集合中的图片中每16×16的像素为一个区域块生成固定尺寸和比例的框体。利用两个1×1的卷积层卷积所得信息进行框体的调整生成最终的目标提议框和目标类别分数，将目标提议框对应原始图片中的像素块通过RCNN网络进行最终的目框体回归和分类得出最终的分类结果。

可以理解的是，由于对训练样本集合进行目标检测可能存在多类别的检测，即图像中含有多种类别的目标，比如船只，汽车等不同类别的物体，需要将预测出来的目标框进行类别识别，若确定为船只的目标框，还需要将该目标框与真值船只目标框进行对比。具体的，通过卷积层进行特征提取，再利用RPN结构进行目标框回归和类别分类，完成图像目标识别。通过标注得到的目标框和目标物体类别进行对比，计算损失函数，并通过反向传播算法进行算法权值更新，训练多张图片后，得出有效权值。

可选的，参见图3，是本发明实施例提供一种基于DCNN的大尺度目标检测方法的第三种流程示意图。在获取训练样本集合之前，该方法还包括以下步骤：

S31，获取相机采集的包含目标物体的原始遥感图像。

S32，对原始遥感图像重叠切割生成预定尺寸的遥感子图像；其中，预定尺寸根据第一模型训练所需的遥感图像尺寸而定。

获取相机采集到的包含目标物体的原始遥感图像后，利用重叠切割方法对原始遥感图像进行处理，经过处理后的遥感图像的尺寸根据深度卷积神经网络模型可识别的尺寸而定。采用重叠切法，即相邻两个子图像有部分区域为重叠部分，保证被切断样本在某一子图像中为完整目标，识别算法能够得到准确的目标框或候选框。

在一些示例中，若原始遥感图像像素尺寸为10000*10000时，需要将原始遥感图像切割生成1024*1024固定尺寸的遥感子图像。具体的，经过重叠切割后，第一个遥感子图像的起始像素点位置坐标为(0，0)，结束像素点位置坐标为(1024，1024)；第二个遥感子图像的起始像素点位置坐标为(824，0)，而结束像素点位置坐标为(1848，1024)。具体的，这两张遥感子图像的尺寸均为1024*1024，但是第二张遥感子图像的起始像素点的位置是在第一张遥感子图像的范围内，因此两张遥感子图像发生了重叠。本申请实施例中，将重叠区域面积除以其中任一张遥感子图像的面积定义为两幅图像的重叠率。示例性的，图像重叠区域为矩形，该矩形区域的四个端点的像素点位置坐标分别为(824，0)、(1024，0)、(1024，1024)以及(824，1024)，可以根据该四个坐标确定出重叠区域的面积。

可以理解的是，经过重叠切割后获得的遥感子图像中，每幅遥感子图像可以只包括一个目标物体。对每幅需要训练的遥感子图像确定类别标签，即为分割后的每个目标物体均赋予类别标签，以标注该图像中目标物体的类别。在本发明实施例中，该类别标签分为两类，一类为大尺度目标物体遥感子图像，另一类为非大尺度目标物体遥感子图像。

可选的，参见图4，是本发明实施例提供一种基于DCNN的大尺度目标检测方法的第四种流程示意图。对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体，包括以下步骤：

S121，将获取到的包含目标物体的遥感图像进行小波变换。

小波变化(wavelet transform，WT)是一种新的变换分析方法，应用该方法可以继承和发展短时傅立叶变换局部化的思想，同时克服窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口。本发明实施例中，对获取到的包含目标物体的遥感图像进行小波变换，实际是将遥感图像的每一个通道进行分解形成空间金字塔，从而分析出遥感图像中各像素灰度值的变化情况。

S122，对经过小波变换后的遥感图像进行中心环绕能量像素对比，生成遥感图像对应的能量显著性特征图，其中，能量显著性特征图表征遥感图像中各像素的灰度值。

中心环绕能量对比是一种形态学操作，即经过对遥感图像中指定的多个像素进行线性运算(每个像素乘以系数后进行加减)，构建出一个结构元。该结构元为一个特定形状的滤波核，滤波核即为所指定像素所构成的形状。对小波变换后的遥感图像进行中心环绕能量对比，是比较一个像素点与周围像素点的能量差异，经过小波变换后的遥感图像可以对应生成图像金字塔。

在一种可能的实现方式中，以某一像素点为中心构造出一个3*3像素点对应的矩形，在该结构元中每一个像素点的初值应预先设定，该初值为结构元中各像素点的值，在能够提升显著性检测效果的情况下进行随意赋值。此时中心环绕对比即以该矩形的中心像素点为中心，与遥感图像中的每一个像素点及其周围构成的矩形区域进行线性运算，此线性运算可以为相乘运算或者加减运算。最后输出具体数值，将该数值作为显著性特征图中该像素位置的灰度值。所有遍历结束后，生成能量显著性特征图。

具体的，能量显著性特征图是通过显著性检测算法对遥感图像数据进行处理后所得的特征图像，该特征图像是一种单通道灰度图，每一个像素的灰度值均处于0-255之间。在该显著性特征图中，含有若干个灰度值较高的区域，该部分区域被称为显著性区域。该显著性区域表征的含义为在遥感图像中该部分区域所呈现的像素与其他区域差异较大，在该部分区域中包含目标物体的大概率较大。另外，还存在若干个灰度值较低的区域，该区域被称为非显著性区域。该非显著性区域表明在遥感图像中该部分区域与遥感图像中其他区域的差异不明显，有较大概率不含有目标。

S123，统计遥感图像对应的能量显著性特征图中各灰度值的像素的个数。

S124，根据显著性特征图中各灰度值的像素的个数，生成能量显著性特征图对应的灰度直方图。

可以理解的是，根据对样本中出现的某个测量数据进行统计分析，确定出样本中测量数据的最大值和最小值。根据确定出的最大值和最小值定义某个区间，使其包含样本中出现的所有的测量数据。将该区间分成若干小区间，统计各小区间内测量数据出现的频数M，即可以生成直方图。

本发明实施例中，显著性特征图中的灰度值即测量数据，以灰度值大小划分若干个统计区间，统计该灰度值的频数，即该灰度值对应的像素个数，作为该区间对应的频数高度，形成最终的灰度直方图。该灰度直方图中横坐标为0-225，其代表显著性特征图中像素的灰度值，纵坐标为每个灰度值在显著性特征图中所占像素的个数。该灰度直方图代表包含目标物体的遥感图像中各灰度值对应出现的次数，例如，包含目标物体的遥感图像中灰度值为A的像素的个数为B，则灰度值A对应出现的次数为B。

S125，根据灰度直方图判断获取到的包含目标物体的遥感图像中是否包含大尺度目标物体。

灰度直方图表征包含目标物体的遥感图像中的像素点的个数，反映遥感图像中每种灰度出现的频率。可以理解的是，包含不同尺度的目标物体的遥感图像对应的灰度直方图所表征的数据特征是不同的。本发明实施例中，提取多张灰度直方图中的数据特征，总结归纳出该数据特征表征的含义，从而判断是否包含大尺度目标物体。

在一种可能的实现方式中，若包含目标物体的遥感图像对应的灰度直方图中低灰度值区域平均像素点个数要高于高灰度值区域的平均像素个数，并且高出数值通常为2000个像素个数时，认为该灰度直方图表征含有大尺度目标物体。若包含目标物体的遥感图像对应的灰度直方图不满足上述的条件，可以判断此灰度直方图表征不包含大尺度目标物体。可以以此条件为判断依据，用于判断包含目标物体的遥感图像中是否包含大尺度目标物体。

在一种可能的实现方式中，若灰度直方图在低灰度值处(20-100)存在一个最大值，在高灰度值处(130-170)也存在一个最大值，并且低灰度值处峰值大于高灰度值处的峰值，则判断该灰度直方图对应的遥感图像中包含大尺度目标物体。

可选的，参见图5，是本发明实施例提供一种基于DCNN的大尺度目标检测方法的第五种流程示意图。在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到尺度压缩后的目标图像，包括：

S131，在遥感图像包含大尺度目标物体时，利用下采样法将遥感图像进行图像压缩处理。

本发明实施例中，对遥感图像进行2倍下采样处理。该下采样处理是指对遥感图像的像素点样值序列进行间隔取样，得到缩减后的像素点样值序列。所有下采样的方法均可以减少原始遥感图像的像素点的行列数，从而缩小图像尺寸，但不破坏原始遥感图像所含有的内容信息。

在一种可能的实现方式中，可以采用删除行列法对遥感图像进行像素点的2倍下采样处理。具体的，该删除行列法为直接删除原始图像中的偶数行和列，处理后的遥感图像的长宽均变为原始遥感图像的一半。

在一种可能的实现方式中，可以采用删除行列法对遥感图像进行像素点的2倍下采样处理。具体的，该删除行列法为直接删除原始图像中的奇数行和列，处理后的遥感图像的长宽缩小为原始遥感图像的一半。

在一种可能的实现方式中，可以采用局部平均法对遥感图像进行像素点的2倍下采样处理。具体的，该局部平均法是对遥感图像中的各像素按照2*2的单元进行划分，生成若干像素区域小块。计算各2*2的像素区域小块的灰度值的平均数，根据该平均数重新构造得到处理后的遥感图像。

需要说明的是，尽管以上三个示例介绍了对包含大尺度目标物体的遥感图像进行像素点的2倍下采样处理的方式，但是本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景灵活设置确定包含大尺度目标物体的遥感图像进行像素点的2倍下采样的方式。

S132，将经过图像下采样处理后的遥感图像进行像素补零处理，得到尺度压缩后的目标图像。

本发明实施例中，遥感图像经过2倍下采样处理后需要对完成下采样处理的遥感图像进行填充零像素灰度值。该填充零像素灰度值的方式为图像边框填充，即通过一系列对图像像素的操作使得图像的尺寸可以扩大，其中，本申请实施例中所填充的像素值为0灰度值。

在一种可能的实现方式中，可以通过常数值边框填充法对下采样后的遥感图像进行填充零像素灰度值。具体的，通过向下采样后的遥感图像周围添加像素值，使得经过处理后的图像尺寸达到所需尺寸大小，得到了尺度压缩后的目标图像。另外，本申请实施例中所填充的像素值为0灰度值。

在一种可能的实现方式中，可以通过对称填充法对下采样后的遥感图像进行填充零像素灰度值。具体的，通过利用遥感图像本身的像素值进行对称复制，从而扩大了遥感图像的尺度，得到了尺度压缩后的目标图像。

需要说明的是，尽管以上两个示例介绍了对经过图像下采样处理后的遥感图像进行像素补零处理的方式，但是本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景灵活设置确定像素补零处理的方式。

可选的，在采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息之后，该方法还包括：

对经过第一模型确定出的目标图像中的大尺度目标物体的第一位置信息进行等比例变换，得到大尺度目标物体在遥感图像中的第二位置信息。

在发明实施例中，经过预先建立的第一模型对目标图像进行目标检测后，第一模型可以确定该目标图像中的大尺度目标物体的第一位置信息，该第一位置信息可以为目标图像中大尺度目标所在的目标框的位置信息。利用第一模型在训练过程中得到的有效权值，对识别后的目标图像中大尺度目标物体的目标框的位置信息进行比例变换。该位置信息变换过程不适用反向传播算法，而是直接进行目标框的位置信息回归，生成第二位置信息，该第二位置信息为大尺度目标物体在遥感图像中的第二位置信息。

在一种可能的实现方式中，在S32步骤中对原始遥感图像进行重叠切割生成预定尺寸的遥感子图像后，可以记录下遥感子图像在原始遥感图像中的位置。通常采用生成遥感子图像的名称记录该遥感子图像在原始遥感图像中的行列表征的位置坐标信息。例如，若遥感子图像在原始遥感图像中处于第一行，第二列位置处，即像素范围为(824，0)到(1848，1024)。通过利用第一模型对尺度为(1024*1024)的遥感子图像进行处理后，得到大尺度目标物体在遥感子图像的目标框的左上角一点和右下角一点的像素位置坐标分别为(37，100)、(156，200)。经过第一模型检测后得到的大尺度目标物体对应的目标框像素位置坐标转换到原始遥感图像中的过程可以为：遥感子图像在原始遥感图像中的起始像素位置(824，0)与大尺度目标物体在遥感子图像的像素位置坐标(37，100)之和。该大尺度目标物体构成的目标框的左上角一点在原始遥感图像中的像素位置坐标为(861，100)，同理，右下角一点在原始遥感图像中的像素位置坐标为(980，200)。

可选的，参见图6，是本发明实施例提供一种基于DCNN的大尺度目标检测方法的第六种流程示意图。获取包含目标物体的遥感图像，包括：

S111，获取待处理遥感图像。

S112，对待处理遥感图像进行重叠切割，得到预定尺寸的遥感图像。

本发明实施例中，待处理的遥感图像可以是图像采集装置实时采集的遥感图像，也可以是预先采集后存储的遥感图像。另外，待处理的遥感图像可以是图片格式的图像，也可以是图像采集装置进行视频采集得到的图像帧，本发明实施例对此不作限制。其中，本发明实施例提供的大尺度目标检测方法可以检测出待处理遥感图像中是否包含大尺度目标，还可以检测出大尺度目标所在的位置信息。

实际识别任务中高分辨率遥感图像像素远超出计算机程序所能处理的图像像素大小，因此需将大图切割为小图进行分图处理。在切割过程中，为了防止目标物体被切断而导致丧失一定的样本完整性，采用重叠切割法。即相邻两个子图像有部分区域为重叠部分，保证被切断样本在某一子图像中为完整目标，识别算法能够得到准确的坐标框，以及预定尺寸的遥感图像。该尺寸大小根据显著性检测所需的预定尺寸而定。

在一种可能的实现方式中，也可以采取现有的图像分割算法，例如均值漂移算法等。由于获取待处理遥感图像中存在复合图像，即待处理遥感图像中可能包括若干个独立的物体，因此需要将复合图像进行分割，分割后的每幅遥感图像中可以只包含一个物体。例如，若复合图像中包括一条舰船、一条渔船、一条航母、一条油船、一条游艇等。分割之后，得到五幅图像对象，分别为舰船、渔船、航母、油船以及游艇。

第二方面，本发明实施例提供了一种基于DCNN的大尺度目标检测装置，参见图7，该装置包括：

第一获取模块710，用于获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；

第一检测模块720，用于对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；

处理模块730，用于在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到图像压缩后的目标图像；

第二检测模块740，用于采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

本发明实施例中，通过获取包含目标物体的遥感图像，对该遥感图像进行显著性检测，判断该遥感图像中是否包含大尺度目标物体；对遥感图像进行显著性检测，判断该遥感图像中是否包含大尺度目标物体；对包含大尺度目标物体的遥感图像进行图像下采样，得到图像压缩后的目标图像；采用预先建立的第一模型对该目标图像进行检测，确定该目标图像中的大尺度目标物体的第一位置信息。在很大程度上解决了大尺度目标检测困难的问题，提高了大尺度目标检测的准确性。

应当注意，尽管在附图中以特定顺序描述了本发明提出方法的操作，但是，并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序，附加地或者备选地，可以省略某些步骤，也可以将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本发明提供的实施例还提供了一种电子设备，包括：处理器及存储器；

上述存储器，用于存放计算机程序；

上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：

获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；

对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；

在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到图像压缩后的目标图像；

采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

可选的，上述处理器用于执行上述存储器上所存放的程序时还能够实现上述任一大尺度目标检测方法。

可选的，参见图8，本申请实施例的电子设备还包括通信接口802和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：

获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；

对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；

在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到图像压缩后的目标图像；

采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

可选的，处理器801用于执行存储器803上所存放的程序时，还能够实现上述任一所述的一种基于DCNN的大尺度目标检测方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：

获取包含目标物体的遥感图像；其中，目标物体为大尺度目标物体和/或小尺度目标物体；

对遥感图像进行显著性检测，判断遥感图像中是否包含大尺度目标物体；

在遥感图像包含大尺度目标物体时，对遥感图像进行图像下采样，得到图像压缩后的目标图像；

采用预先建立的第一模型对目标图像进行目标检测，确定目标图像中的大尺度目标物体的第一位置信息；其中，第一模型为具有目标物体检测能力的深度卷积神经网络模型。

可选的，上述计算机程序被处理器执行时，还能够实现上述任一所述的一种基于DCNN的大尺度目标检测方法。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (9)

1.一种基于DCNN的大尺度目标检测方法，其特征在于，包括以下步骤：

获取包含目标物体的遥感图像；其中，所述目标物体为大尺度目标物体和/或小尺度目标物体；

对所述遥感图像进行显著性检测，判断所述遥感图像中是否包含大尺度目标物体；

在所述遥感图像包含大尺度目标物体时，对所述遥感图像进行图像下采样，得到尺度压缩后的目标图像；

采用预先建立的第一模型对所述目标图像进行目标检测，确定所述目标图像中的大尺度目标物体的第一位置信息；其中，所述第一模型为具有目标物体检测能力的深度卷积神经网络模型；所述第一模型是通过以下步骤建立的：

获取训练样本集合，所述训练样本集合包括至少一张包含大尺度目标物体的遥感图像和多张包含小尺度目标物体的遥感图像；

将所述训练样本集合输入到深度卷积神经网络模型中进行训练，生成具有目标物体检测能力的第一模型；其中，所述第一模型具有对含有目标物体的遥感图像识别的有效权值。

2.根据权利要求1所述的方法，其特征在于，在所述获取训练样本集合之前，所述方法还包括：

获取相机采集的包含目标物体的原始遥感图像；

对所述原始遥感图像重叠切割生成预定尺寸的遥感子图像；其中，所述预定尺寸根据所述第一模型训练所需的遥感图像尺寸而定。

3.根据权利要求1所述的方法，其特征在于，所述对所述遥感图像进行显著性检测，判断所述遥感图像中是否包含大尺度目标物体，包括：

将获取到的包含目标物体的遥感图像进行小波变换；

对经过小波变换后的所述遥感图像进行中心环绕能量像素对比，生成所述遥感图像对应的能量显著性特征图，其中，所述能量显著性特征图表征所述遥感图像中各像素的灰度值；

统计所述遥感图像对应的能量显著性特征图中各灰度值的像素的个数；

根据所述显著性特征图中各灰度值的像素的个数，生成所述能量显著性特征图对应的灰度直方图；

根据所述灰度直方图判断所述获取到的包含目标物体的遥感图像中是否包含大尺度目标物体。

4.根据权利要求1所述的方法，其特征在于，所述在所述遥感图像包含大尺度目标物体时，对所述遥感图像进行图像下采样，得到尺度压缩后的目标图像，包括：

在所述遥感图像包含大尺度目标物体时，利用下采样法将所述遥感图像进行尺度压缩处理；

将经过尺度压缩处理后的遥感图像进行像素补零处理，得到尺度压缩后的目标图像。

5.根据权利要求1所述的方法，其特征在于，在所述采用预先建立的第一模型对所述目标图像进行目标检测，确定所述目标图像中的大尺度目标物体的第一位置信息之后，所述方法还包括：

对经过第一模型确定出的所述目标图像中的大尺度目标物体的第一位置信息进行等比例变换，得到所述大尺度目标物体在所述遥感图像中的第二位置信息。

6.根据权利要求1所述的方法，其特征在于，所述获取包含目标物体的遥感图像，包括：

获取待处理遥感图像；

对所述待处理遥感图像进行重叠切割，得到预定尺寸的遥感图像。

7.一种基于DCNN的大尺度目标检测装置，其特征在于，所述装置包括:

第一获取模块，用于获取包含目标物体的遥感图像；其中，所述目标物体为大尺度目标物体和/或小尺度目标物体；

第一检测模块，用于对所述遥感图像进行显著性检测，判断所述遥感图像中是否包含大尺度目标物体；

处理模块，用于在所述遥感图像包含大尺度目标物体时，对所述遥感图像进行图像下采样，得到尺度压缩后的目标图像；

第二检测模块，用于采用预先建立的第一模型对所述目标图像进行目标检测，确定所述目标图像中的大尺度目标物体的第一位置信息；其中，所述第一模型为具有目标物体检测能力的深度卷积神经网络模型；所述第一模型是通过以下步骤建立的：

获取训练样本集合，所述训练样本集合包括至少一张包含大尺度目标物体的遥感图像和多张包含小尺度目标物体的遥感图像；

将所述训练样本集合输入到深度卷积神经网络模型中进行训练，生成具有目标物体检测能力的第一模型；其中，所述第一模型具有对含有目标物体的遥感图像识别的有效权值。

8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的一种基于DCNN的大尺度目标检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的一种基于DCNN的大尺度目标检测方法。

Images