CN102867196B - 基于Gist特征学习的复杂海面遥感影像舰船检测方法 - Google Patents

Abstract

一种基于Gist特征学习的复杂海面遥感影像舰船检测方法，包括以下步骤：步骤1，采集不同时相、不同传感器、不同尺度的复杂海面遥感影像数据；步骤2，对复杂海面遥感影像进行分块预处理，获取样本影像切片和检测影像切片；步骤3，提取样本影像切片和检测影像切片的显著特征和Gist特征；步骤4，根据步骤3所得显著特征和Gist特征对样本影像切片进行训练，得到训练模型；步骤5，根据步骤4所得训练模型，用SVM分类器判断检测影像切片是否含有舰船；步骤6，基于改进的itti视觉注意模型寻找检测影像切片的单个舰船。本发明在保证了不漏检舰船的同时尽量降低其虚警率，能有效地处理含有海杂波、云雾等干扰情况的复杂海面遥感影像，计算复杂度低、针对性强。

Description

基于Gist特征学习的复杂海面遥感影像舰船检测方法

技术领域

本发明涉及遥感影像处理技术领域，尤其是涉及一种基于Gist生物视觉特征学习的复杂海面遥感影像舰船检测方法。

背景技术

舰船目标检测是世界各海岸地带国家的传统任务，在舰船寻找与救助、捕鱼船监视、非法移民、保卫领土、反毒品、舰船非法倾倒油污的监视与管理等方面有着广泛的应用。随着遥感成像技术的发展，利用遥感图像进行舰船目标检测成为可能，其研究对象包括对舰船本身和舰船尾迹的检测。在复杂海洋环境条件下，卫星遥感影像上呈现杂乱无章的鱼鳞光、大面积反光区域、不规则运动的丰富纹理波浪等，中小型舰船目标可能会隐藏在复杂的背景杂波中，因而影响舰船目标识别效果。舰船目标影像上海况(风浪)、气象(云雾)、水色等造成遥感影像中海陆特性不稳定、海面波浪、水面悬浮物、舰船尾迹等干扰非常多，舰船检测难度大。

现有舰船目标检测主要有如下算法：基于全局阈值分割的算法、基于局部阈值分割的算法、最佳熵自动门限法、基于分布模型的算法、基于分形模型的算法、基于特征域的目标检测算法等等，但它们普遍存在检测虚警率过高的问题，普适性较差。其中，全局阈值算法无法根据图像中局部区域的变化自动调节阈值，因此检测结果易受局部变化而引入大量虚警和漏检，对幅宽较宽的图像，由于成像机理的原因，海面背景有强烈的灰度变化，也会导致出现虚警和漏检。该类方法在检测过程中只利用了目标的灰度统计特性，没有考虑目标的空间结构信息，并且直方图形状与图像内容的联系也具有不确定性；局部阈值算法在斑噪较多、海面风浪较大时，容易造成大量的虚警。同时这个算法由于需要反复计算窗口内背景区域的统计参数，运算量极大，处理过程的速度较慢，不能够满足实际应用中实时或近实时处理的需要；最佳熵自动门限法阈值的选取只利用了灰度统计特性，没有考虑目标的空间结构信息，并且直方图的分布与图像内容的联系也具有不确定性。在传统的KSW算法中，准则函数被简单地定义为目标灰度熵与背景灰度熵之和，背景灰度熵与目标灰度熵在准则函数中占有同等的比例。这忽略了背景与目标在图像上所占比例的不同，也忽略了背景与目标在灰度范围上的差异。当图像包含较强的海杂波时，往往得不到好的检测结果；基于分布模型的算法首先需要对背景作杂波分布的假设，这就需要一定的先验知识，但实际上一般情况下背景杂波也并不严格地服从某种分布。其次，该类算法需要对图像中每个像素都进行统计，因此计算量较大，并且随着滑动窗口尺寸的增加而增加；基于分形模型的算法认为自然景物和舰船目标的分形维数有一定的差别，根据差异进行检测。但实际图像中受背景复杂度、随机噪声、成像质量等影响，单一的尺度或恒常的分形维数很难区分自然景物和人造目标;基于特征域的目标检测算法，当背景的灰度分布较复杂时、受噪声影响极大，此时会增加噪声对特征图的影响，产生误分割。此外，在特征转换的过程中还会对目标本身的轮廓有一些影响，利用该方法分割目标，形状信息将有所丢失。

可以看出各种算法依然要受到诸多条件的限制，比如图像背景的干扰、目标受天气、光照变化的影响，特别是对于中低分辨率的遥感数据而言，舰船目标在图像上呈现为小目标，监测过程中出现漏警、虚警的概率较高。同时，在一般情况下，可见光图像会受到云层以及油污、海浪等干扰，建立背景模型比较困难，图像中目标与背景差异性不一致，图像中舰船灰度分布不均匀，与海背景对比也不明显，因此也不易分割，特别对于黑极性舰船来讲，更是如此。

发明内容

针对上述问题，本发明提出了一种基于Gist特征学习的复杂海面遥感影像舰船检测方法。

本发明的技术方案为一种基于Gist特征学习的复杂海面遥感影像舰船检测方法，包括以下步骤：

步骤1，采集复杂海面遥感影像的数据；

步骤2，对复杂海面遥感影像进行分块预处理，获取样本影像切片和检测影像切片；

步骤3，提取样本影像切片和检测影像切片的显著特征和Gist特征；

步骤4，根据步骤3所得显著特征和Gist特征对样本影像切片进行训练，得到训练模型；

步骤5，根据步骤4所得训练模型，用SVM分类器判断任一检测影像切片是否含有舰船，是则进入步骤5，否则结束对该检测影像切片的检测；

步骤6，基于itti视觉注意模型寻找检测影像切片的单个舰船，获得船舶目标。

而且，步骤3中对任一样本影像切片和检测影像切片进行显著特征提取，实现方式如下，

将影像切片分解到颜色、亮度、方向这3个特征通道上，颜色、亮度特征通道分别用高斯金字塔表示，通过中央周边差操作生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的方向金字塔，通过中央周边差操作生成每个方向上的特征图；

通过局部非线性融合将各特征图的特征子图融合为颜色显著图、亮度显著图和方向显著图，最后用各显著图的均值、标准差、局部极大值点和局部极大值点间距离表示影像切片的显著特征。

而且，步骤2中对任一样本影像切片和检测影像切片进行所述的Gist特征提取，实现方式如下，

将每个影像切片分解到颜色、亮度、方向3个特征通道上，颜色、亮度特征通道分别用9层高斯金字塔表示，通过中央周边差操作生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的方向金字塔，得到每个方向通道上的特征图；

对各特征图的每张特征子图分为4×4大小的子网格，分别求16个子网格的均值、左上角4个子网格、右上角4个子网格、左下角4个子网格、左上角4个子网格、左上角4个子网格分别合并后的均值以及整个特征子图的均值，最后用所得结果表示Gist特征向量。

而且，步骤6中基于改进的itti视觉注意模型寻找检测影像切片的单个舰船，包括以下步骤，

步骤6.1，对检测影像切片进行初级视觉特征提取，包括亮度、颜色、方向和纹理特征；

步骤6.2，显著图生成，包括将步骤6.1得到的亮度、颜色、方向、纹理4个特征通过中央周边差操作生成各个特征子图，然后用局部非线性融合方法融合生成亮度显著图、颜色显著图、方向显著图、纹理显著图，最后用局部非线性融合方法融合生成整体显著图；在融合生成亮度显著图、颜色显著图、方向显著图、纹理显著图前对相应特征子图的每个像素值进行平方运算；

步骤6.3，舰船目标检测，包括对步骤6.2中得到的显著图通过返回抑制技术检测检测影像切片的单个舰船，获得船舶目标。

而且，采集复杂海面遥感影像的数据时选择来源于不同时相、不同传感器、不同尺度的遥感影像数据，对复杂海面遥感影像进行分块预处理后，标记含有舰船的正样本图像和不含有舰船的负样本图像作为样本影像切片。

本发明提出的方法首先对影像进行分块，提取每一个子影像块的显著特征和Gist特征，根据提取出的特征向量对样本数据进行训练，然后利用SVM分类器判断子影像块中是否含有舰船，最后基于改进的itti视觉注意模型寻找子影像块中的单个舰船。本发明在保证了不漏检舰船的同时尽量降低其虚警率，能有效地处理含有海杂波、云雾等干扰的复杂海面遥感影像，计算复杂度低、针对性强；适用于不同时相、不同分辨率的复杂海面遥感影像数据，具有良好的普适性；能对大幅面的海量遥感影像数据进行快速处理检测舰船。

附图说明

图1为本发明的流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明基于Gist生物视觉特征学习的复杂海面遥感影像舰船检测方法是利用舰船的显著特征和Gist特征，对巨幅影像的子影像块用SVM分类器（支持向量机分类器）进行训练，得到一个预测模型，该模型中的支持向量代表了舰船的典型特征，再根据改进的itti视觉注意模型对有疑似舰船存在的子影像块进行单个舰船的检测。Gist特征可参见现有文献《Drivingme Around the Bend:Learning to Drive from Visual Gist》，可以利用生物视觉特征计算Gist特征。实施例流程可采用计算机软件技术实现自动运行，如图1所示，具体包括以下步骤：

步骤1，采集复杂海面遥感影像的数据。

具体实施时，采用训练数据覆盖应尽可能的多，以应对后面的检测步骤。实施例采集不同时相、不同传感器、不同尺度的复杂海面遥感影像数据。

步骤2，对复杂海面遥感影像进行分块预处理，制作样本数据，获取样本影像切片和检测影像切片。

实施例对遥感影像分块处理，是将原始的巨幅影像分块为大小相等，N×N大小的影像切片，即每个切片包括N×N个像素。

将采集的不同时相、不同传感器、不同尺度的复杂海面遥感影像数据分块后，从所得影像切片中可以选择训练样本，由人工标记S张正样本影像切片(舰船)和S张负样本影像切片(非舰船)，共同构成样本影像切片的训练集。或者可以直接采用预先已标记的样本影像切片。其他影像切片都可以作为待分类的检测影像切片。一般都是将整幅复杂海面遥感影像作为待检测影像，对待检测影像分块后，所得的所有子影像块作为待分类的检测影像切片。

其中，N和S的具体取值可由本领域技术人员自行根据情况设定。

步骤3，提取样本影像切片和检测影像切片的显著特征和Gist特征。

实施例中，对任一样本影像切片和检测影像切片进行显著特征提取，具体是：

将影像切片分解到颜色、亮度、方向3个特征通道上，颜色、亮度特征通道分别用9层高斯金字塔表示，通过中央周边差操作分别生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的9层方向金字塔，分别通过中央周边差操作生成每个方向上的特征图。其中，颜色特征通道上的特征图包括12张颜色特征子图（分两组，一组是红绿颜色对比，一组是黄蓝颜色对比，每组各6张），亮度特征通道上的特征图包括6张亮度特征子图（9层金字塔经过中央周边差操作后变为6张），方向特征通道每个方向上的特征图包括6张方向特征子图（9层金字塔经过中央周边差操作后变为6张），4个方向上总共24张特征子图。总共42张特征子图，即42=12+6+4×6。然后通过局部非线性融合将特征图融合为颜色、亮度、方向显著图，其中12张颜色特征子图融合为1个颜色显著图，6张亮度特征子图融合为1个亮度显著图，4个方向上的共24张方向特征子图融合为1个方向显著图，共3个显著图。最后用影像切片的每个显著图分别的均值、标准差、局部极大值点、局部极大值点间距离，用3个显著图分别的4个值构成的12维向量表示影像切片的显著特征。图像的均值、标准差、局部极大值点、局部极大值点间距离具体求取、中央周边差操作和局部非线性融合为现有技术，可参见文献“L.Itti,C.Koch,E.Niebur,AModel of Saliency-Based Visual Attention for Rapid Scene Analysis,IEEE Transactions on PatternAnalysis and Machine Intelligence,Vol.20,No.11,pp.1254-1259,Nov 1998.”、“L.Itti,C.Koch,Comparison of Feature Combination Strategies for Saliency-Based Visual Attention Systems,In:Proc.SPIE Human Vision and Electronic Imaging IV(HVEI'99),San Jose,CA,Vol.3644,pp.473-82,Bellingham,WA:SPIE Press,Jan 1999.”

实施例中，对任一样本影像切片和检测影像切片进行Gist特征提取，具体是：

将影像切片分解到颜色、亮度、方向3个特征通道上，颜色、亮度特征通道分别用9层高斯金字塔表示，通过中央周边差操作分别生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的4层方向金字塔，取每个方向金字塔的4个尺度的图像（即原始图像分别除以20、21、22、23得到的4层图像）作为相应方向的方向特征子图，得到4个方向上的特征图。颜色特征通道上的特征图包括12张颜色特征子图，亮度特征通道上的特征图包括6张亮度特征子图，方向特征通道每个方向上的特征图包括4张方向特征子图。总共34张特征子图，即34=6+12+4×4。对每张特征子图分为4×4个子网格，分别求16个子网格的均值，左上角4个子网格、右上角4个子网格、左下角4个子网格、左上角4个子网格、左上角4个子网格分别合并后的均值（就是将4个子网格做为一个整体计算其均值）以及整个特征子图的均值，得到一个21维的向量，最后得到一个34×21=714维的Gist特征向量。

具体实施时，高斯金字塔层数可由本领域技术人员自行根据情况设定，层数越多，则提取的特征维也就越高。

步骤4，根据步骤3所得显著特征和Gist特征对样本影像切片进行训练，得到训练模型。

根据样本影像切片的显著特征，以及属于正样本影像切片还是负样本影像切片，即可进行训练。具体训练实现可采用现有技术中的SVM训练器，对所有样本影像切片进行训练后即可获得训练模型。

步骤5，根据步骤4所得训练模型，用SVM分类器判断检测影像切片中是否含有舰船。对于任一检测影像切片，若判断结果为含有，进入步骤6，若判断结果为不含有，结束对这个检测影像切片的处理。

训练模型和预测结果都是通过现有的SVM方法实现的，例如SVM核函数用现有RBF核函数（径向基函数），本发明不予赘述。

步骤6，基于itti视觉注意模型寻找检测影像切片的单个舰船，获得船舶目标。

itti视觉注意模型具体实现为现有技术，为提高检测准确率起见，实施例进一步提出对itti视觉注意模型进行改进，基于改进的itti视觉注意模型寻找检测影像切片的单个舰船。所述改进的itti视觉注意模型是在原始itti模型的基础上增加了纹理特征，扩展了其特征范围，同时在不同尺度的特征子图融合前进行一个平方拉伸运算，加大显著区与非显著区的差异，突出舰船目标。

实施例的步骤如下：

步骤6.1，对检测影像切片进行初级视觉特征提取，包括亮度、颜色、方向和纹理特征。原始itti视觉注意模型分别提取亮度、颜色、方向作为初级视觉特征，实施例增加了提取纹理特征，可通过现有离散矩变换技术实现提取纹理特征，参见文献“VD.Gesu,C.Valent,L.Strinati.Local operators to detect regions of interest[J].Pattern Recognition Letter，1997,18(11-13):1077-1081.”

现有技术离散矩变换（DMT）的公式

${\mathrm{DMT}}_{i,j}(p,q)=\underset{r=-k}{\overset{r=+k}{\mathrm{\Σ}}}\underset{s=-k}{\overset{s=+k}{\mathrm{\Σ}}}g(i-r,j-s)r^p{s}^q$

式中，i,j是检测影像切片中行列值，g(i-r，j-s)表示检测影像切片中第i-r行第j-s列的原始像素值；k是预设的窗口尺寸参数，例如k=1，窗口为3×3；r,s是窗口里的循环变量，p,q是指数，具体实施时本领域技术人员可自行根据需要设定k、r、s取值。实施例分别取（p=0,q=1）(p=1,q=0),(p=1,q=1)即三个DMT纹理特征，DMT_1.0 DMT_0.1 DMT_1.1。

步骤6.2，显著图生成，包括将步骤6.1得到的亮度、颜色、方向、纹理4个特征通过中央周边差操作生成各个特征子图，然后用局部非线性融合方法融合生成亮度显著图、颜色显著图、方向显著图、纹理显著图，最后用局部非线性融合方法融合生成整体显著图，在融合生成亮度显著图、颜色显著图、方向显著图、纹理显著图前对相应特征子图的每个像素值进行平方运算。由于平方运算，拉伸了显著图中像素值的范围，使得显著区域分层更明显，突出了舰船目标。

实施例中，颜色、亮度特征通道分别用9层高斯金字塔表示，通过中央周边差操作分别生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的9层方向金字塔，通过中央周边差操作生成每个方向上的特征图。其中，颜色特征通道上的特征图包括12张颜色特征子图，亮度特征通道上的特征图包括6张亮度特征子图，方向特征通道每个方向上的特征图包括6张方向特征子图，4个方向上总共24张特征子图。总共42张特征子图，即42=12+6+4×6。然后将所有不同尺度的特征子图作为输入，通过局部非线性融合将特征图融合为颜色、亮度、方向显著图，其中12张颜色特征子图融合为1个颜色显著图，6张亮度特征子图融合为1个亮度显著图，4个方向上的共24张方向特征子图融合成1个方向显著图，共3个显著图。

采用离散矩变换得到的纹理特征通道上的特征图包括3张纹理特征子图，将3个纹理特征子图融合为1张纹理显著图，加上之前的3个特征显著图，总共4个显著图，将它们再融合为1个整体显著图，综合所有特征。

步骤6.3，舰船目标检测，在步骤6.2中得到的显著图通过返回抑制技术检测检测影像切片的单个舰船目标。现有返回抑制技术可参见“L.Itti，C.Koch,E.Niebur,A Model ofSaliency-Based Visual Attention for Rapid Scene Analysis,IEEE Transactions on Pattern Analysisand Machine Intelligence,Vol.20,No.11,pp.1254-1259,Nov 1998.”本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于Gist特征学习的复杂海面遥感影像舰船检测方法，其特征在于，包括以下步骤：

步骤1，采集复杂海面遥感影像的数据；

步骤2，对复杂海面遥感影像进行分块预处理，获取样本影像切片和检测影像切片；

步骤3，提取任一样本影像切片和检测影像切片的显著特征和Gist特征；

步骤3中对任一样本影像切片和检测影像切片进行显著特征提取，实现方式如下，

将任一样本影像切片或检测影像切片分解到颜色、亮度、方向这3个特征通道上，颜色、亮度特征通道分别用高斯金字塔表示，通过中央周边差操作生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的方向金字塔，通过中央周边差操作生成每个方向上的特征图；

通过局部非线性融合将各特征图的特征子图融合为颜色显著图、亮度显著图和方向显著图，最后用各显著图的均值、标准差、局部极大值点和局部极大值点间距离表示任一样本影像切片或检测影像切片的显著特征；

步骤3中对任一样本影像切片和检测影像切片进行所述的Gist特征提取，实现方式如下，

将任一样本影像切片或检测影像切片分解到颜色、亮度、方向3个特征通道上，颜色、亮度特征通道分别用9层高斯金字塔表示，通过中央周边差操作生成颜色特征通道上的特征图和亮度特征通道上的特征图；方向特征通道用Gabor滤波得到0°，45°，90°，135°4个方向的方向金字塔，得到每个方向通道上的特征图；

对各特征图的每张特征子图分为4×4大小的子网格，分别求16个子网格的均值、左上角4个子网格、右上角4个子网格、左下角4个子网格、右下角4个子网分别合并后的均值以及整个特征子图的均值，最后用所得结果表示Gist特征；

步骤4，根据步骤3所得显著特征和Gist特征对样本影像切片进行训练，得到训练模型；

步骤5，根据步骤4所得训练模型，用SVM分类器判断任一检测影像切片是否含有舰船，是则进入步骤5，否则结束对该检测影像切片的检测；

步骤6，基于itti视觉注意模型寻找检测影像切片的单个舰船，获得船舶目标；包括以下步骤，

步骤6.1，对检测影像切片进行初级视觉特征提取，包括亮度、颜色、方向和纹理特征；

步骤6.2，显著图生成，包括将步骤6.1得到的亮度、颜色、方向、纹理4个特征通过中央周边差操作生成各个特征子图，然后用局部非线性融合方法融合生成亮度显著图、颜色显著图、方向显著图、纹理显著图，最后用局部非线性融合方法融合生成整体显著图；在融合生成亮度显著图、颜色显著图、方向显著图、纹理显著图前对相应特征子图的每个像素值进行平方运算；

步骤6.3，舰船目标检测，包括对步骤6.2中得到的显著图通过返回抑制技术检测检测影像切片的单个舰船，获得船舶目标。

2.根据权利要求1所述基于Gist特征学习的复杂海面遥感影像舰船检测方法，其特征在于：采集复杂海面遥感影像的数据时选择来源于不同时相、不同传感器、不同尺度的遥感影像数据，对复杂海面遥感影像进行分块预处理后，标记含有舰船的正样本图像和不含有舰船的负样本图像作为样本影像切片。