CN109886267A - 一种基于最优特征选择的低对比度图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于最优特征选择的低对比度图像显著性检测方法。本发明通过递归地自适应地选择低对比度图像中的最佳特征来分层地细化显著性图。首先利用多尺度超像素分割来抑制背景干扰。然后，通过全局对比度和空间关系生成初始显著性图。最终利用局部和全局适应性来优化得到的显著性图。并利用此方法在四个数据集上的进行测试，实验评估表明，所提出的模型在效率和准确性方面优于15种最先进的方法。包括：MSRA数据集，SOD数据集，DUT‑OMRON数据集，和NI数据集。

Description

一种基于最优特征选择的低对比度图像显著性检测方法

技术领域

本发明涉及一种基于最优特征选择的低对比度图像显著性检测方法，属于图像处理领域，能够为夜间安全监控、复杂环境目标定位等热点问题提供理论和技术基础。

背景技术

图像显著性检测可以大大促进计算机自主检测和识别的广泛应用。尽管近年来图像显著性检测已经取得了显著的改进，但低信噪比，低对比度的特色图像仍然对当前方法提出了巨大挑战。本专利提出了一种基于最优特征选择的显著种子传播方法来检测低对比度图像中的显著对象。所提出的方法的关键思想是通过递归地自适应地选择低对比度图像中的最优特征来分层地细化显著性图。旨在模仿人类视觉***，可以毫不费力地从场景中挑选出最相关的物体，显著物体检测可以大大促进图像分割，图像检索，图像压缩，无线网络节点分配等的应用。

通过计算低级别或高级别线索中的像素或区域的唯一性，现有的显著性模型可以分为两类。1)一类是自底而上无人监督的方法，主要是基于局部或全局对比度。这些算法有基于多个特征图的中心环绕差异而计算，有基于直方图和区域对比度进行显著性计算，有利用对比度和空间分布来估计图像显著性，有通过高维颜色变换和回归估计全局显著性和局部显著性，有通过使用颜色和纹理特征的紧凑性假设来构造显著性图。通常，这些自底而上的方法在处理杂乱背景的图像时遇到困难，并且当图像对比度相对较低时难以找到真正的显著对象。

2)另一类是自顶而下的依靠监督学习来指导目标获取的方法。由的方法利用支持向量机(SVM)训练生成超像素级显著图，有的通过融合基于超像素的拉普拉斯传播和训练的卷积神经网络(CNN)来设计一种基于深度学习的显著性模型，有的提出结合了局部和全局特征的简化CNN，也有的提出了一个基于协方差的CNN模型来学习图像显著性和利用边缘保留和多尺度上下文神经网络来生成显著图。这些方法具有较高计算复杂度，当前的深度神经网络模型非常耗时并且它们在精确定位方面的性能相对较弱。随着近年来对深度学习研究的深入，以卷积神经网络为典型代表的网络模型因其强大的学习能力受到广泛的关注并成功应用于不同的视觉任务。卷积神经网络作为一种模拟人类大脑神经结构的模型，其能够完成类似人类感知性能的对象识别，也可视为一种高级显著线索应用于低对比度图像中显著对象的检测。

尽管已经提出了许多自底而上和自顶而下的显著性模型，但是它们中的大多数被设计用于白天场景中的显著物体检测。由于在低对比度图像中表示显著性信息的有用特征比较匮乏，这些模型在低照明场景中可能面临巨大挑战。其原因主要为以下两个方面：1)目前的手工设计的特征很难评估图像中的对象性；2)当前的高级特征在检测精确显著对象边界方面面临巨大挑战，CNN模型中的多级卷积和池化层使得显著对象边界很模糊。

发明内容

本发明涉及一种基于最优特征选择的低对比度图像显著性检测方法。图像显著性检测可以大大促进计算机自主检测和识别的广泛应用。尽管近年来图像显著性检测已经取得了显著的改进，但低信噪比，低对比度的特色图像仍然对当前方法提出了巨大挑战。本专利提出了一种基于最优特征选择的显著种子传播方法来检测低对比度图像中的显著对象。所提出的方法的关键思想是通过递归地自适应地选择低对比度图像中的最佳特征来分层地细化显著性图。首先利用多尺度超像素分割来抑制背景干扰。然后，通过全局对比度和空间关系生成初始显著性图。最终利用局部和全局适应性来优化得到的显著性图。并利用此方法在四个数据集上的进行测试，实验评估表明，所提出的模型在效率和准确性方面优于15种最先进的方法。低对比度图像显著性再现的最佳特征选择方法，本发明具体步骤为：

步骤(1)为保留并利用图像的信息，将图像分割成超像素；

步骤(2)提取若干视觉特征并从中选择最优的特征；

步骤(3)构建显著性模型生成初始显著图；

步骤(4)递归地细化初始显著性种子并优化显著性图。

步骤(1)中，为了保留对象结构信息并利用原始图像的中级信息，利用简单线性迭代聚类(SLIC)算法将输入图像分割成超像素，表示为{s_i},i＝1,···,N。该处理可以通过将超像素视为处理单元来提高模型的效率。由于检测结果的准确性高度依赖于超像素的数量，所提出的模型捕获了三种不同尺度的超像素，其中N分别设置为100,200和 300。

步骤(2)中，从输入图像中提取出若干的低级视觉特征，包括颜色特征、纹理特征、方向特征和梯度特征，其中颜色特征有九种；低级视觉特征的有效性根据输入图像的不同对比度而变化，基于低级视觉特征的信息熵从中自适应选择出九个最优特征。低级视觉特征提取过程描述如下：

2-1.首先对输入图像的RGB颜色空间进行归一化，以消除光和阴影的影响。然后将归一化后图像转换为LAB、HSV和YCbCr颜色空间，以便提取出九种颜色特征。

2-2.利用图像的二维熵来表示其纹理特征。纹理特征的变化通过熵的变化来确定，纹理特征具有很强的抗噪声和几何变形的能力。

2-3.通过在输入的灰度图像上执行不同方向θ∈{0°,45°,90°,135°}的 Gabor滤波器来获取方向特征。方向特征的全局属性和旋转不变性使其受低对比度的影响较小。

2-4.通过平均水平梯度和垂直梯度来计算梯度特征。通过梯度特征可以描述局部灰度变化的幅度。

通过计算每个特征图的1维熵后，从提取出的12个特征 {L,A,B,H,S,V,Y,Cb,Cr,E,O,G}中选择九个最优特征，九个最优特征表示为 {F_k},k＝1,2,...,9，是其方法为：

这里p_I表示灰度值所在的像素的比例I。作为特征统计形式，图像灰度分布的聚合特性中包含的平均信息可以通过图像熵来反映。特征图的图像熵值越大，特征的有效性越高。在本专利中，选择了九个特征，可以确保图像信息的良好描述。

步骤(3)中，构建显著化模型生成初始显著图的具体步骤为：

每个超像素的显著性值是基于全局区域对比度和空间关系得到的，计算方式如下：

这里pos(s_i,s_j)表示显著性s_i和s_j之间的距离。c(s_i)计算像素点(x_i,y_i) 和图像中心(x′,y′)坐标之间的空间距离。v_x和v_y是由图像的水平和垂直信息决定的变量。

步骤(4)中，使用两个代价函数来递归地细化初始显著性种子并最终优化显著性图，具体步骤为：

首先通过计算每个超像素的显著性s_i来获得初始显著性图表示为Smap_k,k＝0；然后使用Otsu的阈值将初始显著性图分割成非显著和显著区域。非显著和显著区域可以被视为原始图像背景种子(表示为 BS)和前景种子(表示为FS)。由于超像素和背景之间的差异越大，超像素的显著性值越高。相反与前景的差异越大，显著性值越低。因此，超像素的显著性值s_i可以基于BS和FS重新计算:

该过程完成了一次迭代优化，并形成了一个新的显著性图Smap_k，k＝1。接下来，重新使用Otsu的方法来获取新的BS和FS，下一代的显著性图Smap_k+1可以通过公式(4-6)获得。通过定义了两个代价函数来确定迭代是否已达到结束条件。

函数f₁(k)测量全局适应度，这意味着新一代和上一代显著图之间的差异越小，目标就更准确。函数f₂(k)测量局部适应度，这意味着超像素与其相邻超像素之间的变化越小，每个决策变量的显著性值就越大。通过最小化f₁(k)和f₂(k)，可以生成最佳的超像素级显著图。

本发明有效果如下：

本发明所提出的模型能够在低对比度图像中实现最先进的性能。

本发明通过递归提取前景和背景种子进行显著性计算。在最佳特征和显著性种子的指导下，可以通过在三个尺度上整合多个超像素级显著性图来生成所得到的显著性图。实验结果表明，所提出的模型在三个公共数据集和夜间图像数据集上超过了15个最先进模型，并具有最佳性能。

附图说明

图1.本发明方法的基本流程图。

图2.使用本发明方法与现有的图像显著性检测方法分别在 MSRA数据集、SOD数据集、DUT-OMRON数据集和本发明提出的 NI数据集上测试的16个显著性模型获得的显著性图的视觉性能对比图。

具体实施方式

下面结合附图对本发明所述技术方案的实施方式作进一步的详细描述。

1.如图1所示，为保留并利用图像的信息，将图像分割成超像素；

2.如图1所示，提取若干视觉特征并从中选择最优的特征；

3.如图1所示，构建显著化模型生成初始显著图；

4.如图1所示，递归地细化初始显著性种子并优化显著性图。

步骤(1)为保留并利用图像的信息，将图像分割成超像素；

步骤(2)提取若干视觉特征并从中选择最优的特征；

步骤(3)构建显著性模型生成初始显著图；

步骤(4)递归地细化初始显著性种子并优化显著性图。

步骤(1)中，为了保留对象结构信息并利用原始图像的中级信息，利用简单线性迭代聚类(SLIC)算法将输入图像分割成超像素，表示为{s_i},i＝1,···,N。该处理可以通过将超像素视为处理单元来提高模型的效率。由于检测结果的准确性高度依赖于超像素的数量，所提出的模型捕获了三种不同尺度的超像素，其中N分别设置为100,200和 300。

步骤(2)中，从输入图像中提取出若干的低级视觉特征，包括颜色特征、纹理特征、方向特征和梯度特征，其中颜色特征有九种；低级视觉特征的有效性根据输入图像的不同对比度而变化，基于低级视觉特征的信息熵从中自适应选择出九个最优特征。低级视觉特征提取过程描述如下：

2-1.首先对输入图像的RGB颜色空间进行归一化，以消除光和阴影的影响。然后将归一化后图像转换为LAB、HSV和YCbCr颜色空间，以便提取出九种颜色特征。

2-2.利用图像的二维熵来表示其纹理特征。纹理特征的变化通过熵的变化来确定，纹理特征具有很强的抗噪声和几何变形的能力。

2-3.通过在输入的灰度图像上执行不同方向θ∈{0°,45°,90°,135°}的Gabor滤波器来获取方向特征。方向特征的全局属性和旋转不变性使其受低对比度的影响较小。

2-4.通过平均水平梯度和垂直梯度来计算梯度特征。通过梯度特征可以描述局部灰度变化的幅度。

通过计算每个特征图的1维熵后，从提取出的12个特征 {L,A,B,H,S,V,Y,Cb,Cr,E,O,G}中选择九个最优特征，九个最优特征表示为 {F_k},k＝1,2,...,9，是其方法为：

这里p_I表示灰度值所在的像素的比例I。作为特征统计形式，图像灰度分布的聚合特性中包含的平均信息可以通过图像熵来反映。特征图的图像熵值越大，特征的有效性越高。在本专利中，选择了九个特征，可以确保图像信息的良好描述。

步骤(3)中，构建显著化模型生成初始显著图的具体步骤为：

每个超像素的显著性值是基于全局区域对比度和空间关系得到的，计算方式如下：

这里pos(s_i,s_j)表示显著性s_i和s_j之间的距离。c(s_i)计算像素点(x_i,y_i) 和图像中心(x′,y′)坐标之间的空间距离。v_x和v_y是由图像的水平和垂直信息决定的变量。

步骤(4)中，使用两个代价函数来递归地细化初始显著性种子并最终优化显著性图，具体步骤为：

首先通过计算每个超像素的显著性s_i来获得初始显著性图表示为Smap_k,k＝0；然后使用Otsu的阈值将初始显著性图分割成非显著和显著区域。非显著和显著区域可以被视为原始图像背景种子(表示为 BS)和前景种子(表示为FS)。由于超像素和背景之间的差异越大，超像素的显著性值越高。相反与前景的差异越大，显著性值越低。因此，超像素的显著性值s_i可以基于BS和FS重新计算:

该过程完成了一次迭代优化，并形成了一个新的显著性图Smap_k， k＝1。接下来，重新使用Otsu的方法来获取新的BS和FS，下一代的显著性图Smap_k+1可以通过公式(4-6)获得。通过定义了两个代价函数来确定迭代是否已达到结束条件。

函数f₁(k)测量全局适应度，这意味着新一代和上一代显著图之间的差异越小，目标就更准确。函数f₂(k)测量局部适应度，这意味着超像素与其相邻超像素之间的变化越小，每个决策变量的显著性值就越大。通过最小化f₁(k)和f₂(k)，可以生成最佳的超像素级显著图。

本发明方法与现有的图像显著性检测模型分别在MSRA数据集、 SOD数据集、DUT-OMRON数据集和NI数据集上测试所得到的显著图的检测效果对比如图2所示，其中1)MSRA数据集包含10000个自然图像，具有简单的背景和高对比度；2)SOD数据集包含多个对象和复杂背景的图像；3)DUT-OMRON数据集包含相对复杂和具有挑战性的图像；4)我们的NI数据集包含200个晚上用立式相机拍摄的低对比度图像。每张图片的分辨率是640×480，还提供了手动标记的基准显著图。 15个做对比显著性模型包括：IT模型、SR模型、FT模型、NP模型、CA模型、IS模型、LR模型、PD模型、MR模型、SO模型、BL模型、 GP模型、SC模型、SMD模型、MIL模型以及本发明方法的模型。所有实验均在具有8GB RAM的Intel i5-5250CPU(1.6GHz)PC上使用 MATLAB执行。

我们为了评估性能，使用了七个标准，包括PR(precision-recall) 曲线，TPR-FPR(true positive rate and false positive rate)曲线，AUC(area under the curve)得分，MAE(mean absolute error)得分，WF(weighted F-measure)得分，OR(overlappingratio)得分和每个图像的平均执行时间(秒)。

通过不同的阈值将显著图二值化并将其和基准显著图做对比，就可以得到不同的精度P、召回率R、真阳率TPR和假阳率FPR，得到了这些比率就可以绘制PR曲线和TPR-FPR曲线。AUC分数是TPR-FPR 曲线下面积的百分比，它可以直观的表明显著性图可以预测真实显著对象的好坏程度。MAE分数被视为所获得的显著性图和真实显著图之间的平均绝对差。其值越小，相似性就越高。F-measure分数被定义为精度和召回率之间的加权调和平均值，WF分数是通过对检测误差引入加权函数来计算的。OR分数被视为二值显著图和真实显著图之间的重叠显著像素的比率。

所提出的显著性模型在四个数据集上和其他的15个模型的定量检测性能如表1所示。表1中最好的三个结果分别以红色，蓝色和绿色字体突出显示。向上箭头表示该值越大性能越好，向下箭头表示相反的含义。结果表明，在大多数情况下，所提出的模型在三个公共图像数据集上排名第一或第二，并且在相对短的时间消耗中在低对比度图像数据集上实现最佳性能。

表1.使用五个标准在四个数据集上各显著性模型的定量结果

在MSRA和DUT-OMRON数据集(图2)上，所提出的模型在 TPRs-FPRs曲线、PR曲线和AUC分数上获得最佳性能，而SO模型在 MAE和WF分数上达到最佳，MIL模型在OR分数上达到最佳。这是因为SO模型利用边界连通性和全局优化来提高鲁棒性，而MIL模型提出了一种多实例学***均耗时超过每张图像100秒，这是非常低效的。

在SOD数据集上(图2)，所提出的模型在TPR-FPR，PR，AUC， WF和OR上实现了最佳性能。在MAE评分方面，我们的模型的性能排第二，与SO模型的最佳结果只有很小的差异(0.002)。

在NI数据集上(图2)，所提出的模型是优越的，因为它在这些标准上获得了时间消耗相对较低的最佳结果。

四个数据集上16个显著性模型的显著性图的定性比较如图2所示，所提出的模型能够准确地提取复杂和低对比度图像中的真实显著对象。IT，NP，IS和SC模型容易受到背景噪声的影响。SR和FT模型无法准确定位显著对象。CA和PD模型无法反映显著对象的内部结构。 LR，MR，BL和GP模型的主观性能受低对比度背景的影响很大。SO， SMD和MIL模型无法在低对比度环境下稳健地检测显著物体。所提出的模型能够在低对比度图像中实现最先进的性能。

综上所诉，本发明构建了一种基于最优特征选择的低对比度图像显著性检测方法，通过递归提取前景和背景种子进行显著性计算。在最佳特征和显著性种子的指导下，可以通过在三个尺度上整合多个超像素级显著性图来生成所得到的显著性图。实验结果表明，所提出的模型在三个公共数据集和夜间图像数据集上超过了15个最先进模型，并具有最佳性能。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管按照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上描述了本发明的基本原理和主要特征以及本发明的优点。本行业技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (4)

1.一种基于最优特征选择的低对比度图像显著性检测方法，其特征在于包括如下步骤：

步骤(1)为保留并利用输入图像的信息，将输入图像分割成超像素；

步骤(2)提取若干视觉特征并从中选择最优的特征；

步骤(3)构建显著性模型生成初始显著图；

步骤(4)递归地细化初始显著性种子并优化显著性图。

2.根据权利要求1所述的一种基于最优特征选择的低对比度图像显著性检测方法，其特征在于：

步骤(1)中为了保留对象结构信息并利用输入图像的中级信息，利用简单线性迭代聚类算法将输入图像分割成超像素，表示为{si},i＝1,···,N；由于检测结果的准确性高度依赖于超像素的数量，其中N分别设置为100,200和300；

步骤(2)中从输入图像中提取出若干的低级视觉特征，包括颜色特征、纹理特征、方向特征和梯度特征，其中颜色特征有九种；低级视觉特征的有效性根据输入图像的不同对比度而变化，基于低级视觉特征的信息熵从中自适应选择九个最优特征，低级视觉特征提取过程描述如下：

2-1.首先对输入图像的RGB颜色空间进行归一化，然后将归一化后图像转换为LAB、HSV和YCbCr颜色空间，以便提取出九种颜色特征；

2-2.利用图像的二维熵来表示其纹理特征，纹理特征的变化通过熵的变化来确定；

2-3.通过在输入的灰度图像上执行不同方向θ∈{0°,45°,90°,135°}的Gabor滤波器来获取方向特征；

2-4.通过平均水平梯度和垂直梯度来计算梯度特征；

通过计算每个特征图的1维熵后，从提取出的12个特征{L,A,B,H,S,V,Y,Cb,Cr,E,O,G}中选择九个最优特征，九个最优特征表示为{F_k},k＝1,2,...,9，是其方法为：

这里p_I表示灰度值所在的像素的比例I；作为特征统计形式，图像灰度分布的聚合特性中包含的平均信息可以通过图像熵来反映；特征图的图像熵值越大，特征的有效性越高。

3.根据权利要求2所述的一种基于最优特征选择的低对比度图像显著性检测方法，其特征在于：

步骤(3)具体实现步骤如下：

每个超像素的显著性值是基于全局区域对比度和空间关系得到的，计算方式如下：

这里pos(s_i,s_j)表示显著性s_i和s_j之间的距离；c(s_i)计算像素点(x_i,y_i)和图像中心(x′,y′)坐标之间的空间距离；v_x和v_y是由图像的水平和垂直信息决定的变量。

4.根据权利要求3所述的一种基于最优特征选择的低对比度图像显著性检测方法，其特征在于：

步骤(4)中使用两个代价函数来递归地细化初始显著性种子并最终优化显著性图，具体步骤为：

首先通过计算每个超像素的显著性s_i来获得初始显著性图表示为Smap_k,k＝0；然后使用Otsu的阈值将初始显著性图分割成非显著和显著区域；非显著和显著区域可以被视为原始图像背景种子BS和前景种子FS，超像素的显著性值s_i基于BS和FS重新计算为：

该重新计算过程完成了一次迭代优化，并形成了一个新的显著性图Smap_k，k＝1；接下来，重新使用Otsu的方法来获取新的BS和FS，下一代的显著性图Smap_k+1通过重复公式(4-6)获得；

通过定义两个代价函数来确定迭代是否已达到结束条件；

函数f₁(k)测量全局适应度，这意味着新一代和上一代显著图之间的差异越小，目标就更准确；函数f₂(k)测量局部适应度，这意味着超像素与其相邻超像素之间的变化越小，每个决策变量的显著性值就越大；通过最小化f₁(k)和f₂(k)生成最佳的超像素级显著图。