CN108846404A - 一种基于相关约束图排序的图像显著性检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于相关约束图排序的图像显著性检测方法及装置，方法包括：对待检测图像进行超像素分割，建立一个闭环图模型，进而计算每一个超像素节点的先验信息；提取输入图像的颜色、纹理、位置等信息；获取每一个超像素节点的前景概率值；将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于第二预设阈值；使用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f，并使用前景概率值S_f作为最终的显著估计值S_final。应用本发明实施例，可以使显著性检测结果更加准确。

Description

一种基于相关约束图排序的图像显著性检测方法及装置

技术领域

本发明涉及一种显著性检测方法及装置，更具体涉及一种基于相关约束图排序的图像显著性检测方法及装置。

背景技术

随着计算机和网络通信技术的快速发展，图像数据越来越多。海量的多媒体图像数据给信息处理带来了巨大的挑战，近年来的主要研究热点就是如何高效地存储、分析和处理这些图像信息。显著性检测作为计算机视觉领域用来降低计算复杂度的重要预处理步骤，显著性目标检测的任务是从场景中定位并分割出最显著的前景目标。该技术的应用领域特别广泛，如：目标检测与识别，基于内容的图像检索，基于上下文感知的图像大小调整，视频目标检测等。如何快速准确地找到图像的显著区域尚未形成完整的理论体系，且与具体应用有着密切的关系，对研究人员来说仍是一个富有挑战的课题。

目前通常使用自底向上的方法进行视觉信息处理。自底向上的方法通常基于底层视觉信息，所以可以有效检测图像的细节信息，而不是全局形状信息，所检测到的显著区域可能只包含目标的一部分，或容易与背景混合。近几年来出现了很多自底向上的显著性检测模型：最初Itti等人提出了一种基于神经网络的显著检测模型，该模型结合了多个尺度内的三种特征通道，实现快速场景分析，虽然该模型能够辨识部分显著像素，但是结果也包含了大量的误检。Harel等人提出了一种基于图的显著性检测方法，该模型是一种自底向上的模型，通过计算相异性获得最终的显著结果。Chang等人构建了一种图模型，结合似物性和区域显著性从而获得较好的显著性估计。Wang等人提出了一种结合局部的图结构和背景先验，并提出了一种优化框架的显著性检测模型，最终的实验结果在大多数场景下都有良好的表现。Jiang等人提出了使用吸收马尔科夫链模型来进行图像的显著性检测。Tu等人提出了使用最小生成树模型来进行图像的显著性检测。Li等人提出了使用正则化随机游走的排序模型来估计显著性值。Yang等人提出了一种基于图的流形排序的显著性检测算法，(以下简称MR算法)该算法通过筛选出一些前景种子点和背景种子点，然后使用流形排序的模型计算其余节点与这些种子点之间的相关性，从而得到最终的显著值。

但是，MR算法分为两个阶段，首先计算其余节点与获得的背景种子点之间的相关性，进行取反后获得初步的显著结果，然后在第一个阶段的基础上，获得前景种子点，然后计算其余节点与这些前景种子点的相关性，从而获得最终的结果。该方法两次排序过程是完成独立进行的，会导致图像显著性检测的准确率不高的技术问题。

发明内容

本发明所要解决的技术问题在于提供了一种基于相关约束图排序的图像显著性检测方法及装置，以解决现有基于图的流形排序模型中存在的不足。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种基于相关约束图排序的图像显著性检测方法，所述方法包括：

A：针对每一幅待检测图像，使用简单线性迭代聚类SLIC算法对所述待检测图像进行超像素分割，得到不重叠的超像素块，然后将每一个所述不重叠的超像素块作为节点建立一个闭环图模型，进而计算每一个节点的中心先验信息；

B：提取输入图像的颜色、纹理、位置等信息；

C：利用MR算法获取每一个节点的前景概率值；

D：将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于所述第二预设阈值；

E：使用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f，并使用前景概率值S_f作为最终的显著估计值S_final。

可选的，所述A步骤包括：

A1：针对每一幅待检测图像，使用SLIC算法对该图像进行超像素分割成N个超像素块，每个超像素作为集合V中的一个节点；再获取与每一个节点对应的无向边，进而构建无向图模型G¹＝(V,E)；

A2：利用公式，计算每一个节点的中心先验信息，其中，

c_i为第i个节点的中心先验信息；x_i为第i个节点的中心位置横坐标；y_i为第i个节点的中心位置纵坐标；(x₀,y₀)表示的是整幅图像的中心位置坐标；σ₁为平衡参数，用于控制计算位置距离的离散程度；exp()为以自然底数为底数的指数函数；i为节点的个数。

可选的，所述无向边是通过以下步骤获取的：

针对每个节点i的二近邻k的相邻节点l，利用公式，dist(k,l)＝||x_k-x_l||²，计算其与k的颜色欧氏距离dist(k,l)；若所述颜色欧氏距离小于阈值θ，则在节点l与节点i之间连接一条无向边，找到相连的节点后继续查找，直至所有节点连接完成，其中，dist(k,l)为第l个节点与第k个节点之间的颜色欧氏距离；x_k为第k个节点的颜色值；x_l为第l个节点的颜色值；||||为求模函数。

可选的，所述B步骤，包括：根据提取的图像的颜色、纹理、位置信息；利用公式，计算每个无向边的权重，构建第一关联矩阵其中，

为第i个节点与第j个节点之间的无向边的权重；i和j为节点的序号，且0≤i,j≤N；v_i为第i个节点的特征描述符，且v_i∈R⁶⁵，v_i＝[x_i,y_i,L_i,a_i,b_i,c_i,ω_i]；(x_i,y_i)表示的是每个超像素节点的中心位置坐标；(L_i,a_i,b_i)表示的是每个超像素节点的在CIE LAB颜色空间中包含的所有像素点的颜色均值；c_i为第i个节点的中心先验信息；ω_i为第i个节点的LBP值；v_j为第j个节点的特征描述符；σ为预设的控制权重平衡的常数；n为超像素块的数量。

可选的，所述C步骤，包括：

C1：获取MR算法中每一个节点的各个无向边的权重；

C2：根据每一个所述无向边的权重，构建MR算法的第二关联矩阵其中，

为所述第i个超像素和第j个超像素之间边的权重，且W²为第二关联矩阵；i,j∈V，i为第i个节点的序号；j为第j个节点的序号；c_i为第i个节点在CIE LAB颜色空间中所有像素点的颜色均值；c_j为第j个节点在CIELAB颜色空间中所有像素点的颜色均值；σ为控制权重平衡的常数；

C3：根据公式，D＝diag{d₁₁,…,d_nn}，计算度矩阵，其中，

D为度矩阵；diag{}为对角线矩阵构建函数；d_ii为度矩阵元素，且 为第二关联矩阵对应的无向边的权重；

C4：针对边界上的每一节点，根据边界先验，标记所述节点的标记值；

C5：利用公式，f:X→R^m，计算所述待检测图像对应的排序权重，其中，

f为排序函数，且f＝[f₁,…,f_n]^T；f₁为第1个节点的排序值；f_n为第n个节点的排序值；n为节点的个数；令y＝[y₁,y₂,…y_n]^T表示标签向量，种子点的标签值为1，其余的节点的标签值为0；X为输入的图像对应的特征矩阵；R为实数空间；R^m为m维实数空间；m为空间维度；y为所有种子节点标签值组成的向量；

C6：利用排序函数公式，计算闭合解，其中，

f*为排序函数；为求解函数最小值自变量函数；∑为求和函数；f_i为第i个节点的排序值；f_j为第j个节点的排序值；y_i为第i个节点的标签值；为所述无向边的权重；d_ii为度矩阵中第i行i列的元素；d_jj为度矩阵中第j行j列的元素；μ为平衡参数；

C7：根据所述闭合解利用公式，获取非归一化解，其中，

D为度矩阵；W²为第二关联矩阵；S是W²的归一化矩阵；

C8：利用公式，分别计算每个节点与四个边界上的背景种子点之间的相关性，得到四种情况下每个节点的背景概率值f，其中，λ为预设参数；

C9：对每个节点与四个边界上的背景种子点之间的相关性值进行归一化得到再进行取反得到每个节点的显著值；将四种情况下得到的显著值进行点乘获取初始结果S_MR，作为节点的前景概率值。

可选的，所述D步骤，包括：

D1：利用公式，获取第一预设阈值和第二预设阈值；其中，

h₁为第一预设阈值；h₂为第二预设阈值；mean为求平均值函数；max为最大值求值函数；

D2：利用公式，获取前景种子点集合ind_fore和背景种子点集合ind_back，其中，

ind_fore为前景种子点集合；ind_back为背景种子点集合；θ为预设参数。

可选的，所述E步骤，包括：

E1：利用公式，F:X→Rⁿ，计算所述待检测图像对应的排序权重，其中，

F为排序函数；F_i表示的是第i个节点的排序值，且F＝(f,g)；f为每个节点属于前景的概率，g为每个节点属于背景的概率；

E2：利用公式，获取每一个节点的标签值；再利用公式，Y＝(y¹,y²)∈R^m×2，获取每一个节点的标签向量，其中，

Y为每一个节点的标签向量；y¹为所述节点属于前景的标签值；y²为所述节点属于背景的标签值；R^m×2为2m维实数空间；

E3：构建的相关约束图排序的模型公式为，

其中，

F^*为闭合解；W_ij为第i个节点和第j个节点之间无向边的权重对应的第一关联矩阵；F_i为第i个节点的排序值；F_j为第j个节点的排序值；d_i为度矩阵元素；f_i为第i个节点的前景概率；g_i为第i个节点的背景概率；w_i为第i个节点的特征权重；x_i为第i个节点的特征；b_i为偏置参数；β₁为对前景概率的线性约束系数；β₂为对背景概率的线性约束系数；

E4：对使用所述E3步骤的排序模型对前景概率求偏导得到显著性值。

本发明实施例还提供了一种基于相关约束图排序的图像显著性检测装置，所述装置包括：

第一计算模块，用于针对每一幅待检测图像，使用简单线性迭代聚类SLIC算法对所述待检测图像进行超像素分割，得到不重叠的超像素块，然后将每一个所述不重叠的超像素块作为节点建立一个闭环图模型，进而计算每一个节点的中心先验信息；

输入模块，用于提取输入图像的颜色、纹理、位置等信息；

第二计算模块，用于利用MR算法获取每一个节点的前景概率值；

第一设置模块，用于将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于所述第二预设阈值；

第二设置模块，用于用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f和背景概率S_g，并使用前景概率值S_f作为最终的显著估计值S_final。

可选的，所述第一计算模块，还用于：

A1：针对每一幅待检测图像，使用SLIC算法对该图像进行超像素分割成N个超像素块，每个超像素作为集合V中的一个节点；再获取与每一个节点对应的无向边，进而构建无向图模型G¹＝(V,E)；

A2：利用公式，计算每一个节点的中心先验信息，其中，

c_i为第i个节点的中心先验信息；x_i为第i个节点的中心位置横坐标；y_i为第i个节点的中心位置纵坐标；(x₀,y₀)表示的是整幅图像的中心位置坐标；σ₁为平衡参数，用于控制计算位置距离的离散程度；exp()为以自然底数为底数的指数函数；i为节点的个数。

可选的，所述第二计算模块，还用于：

C1：获取MR算法中每一个节点的各个无向边的权重；

C2：根据每一个所述无向边的权重，构建MR算法的第二关联矩阵其中，

为所述第i个超像素和第j个超像素之间边的权重，且W²为第二关联矩阵；i,j∈V，i为第i个节点的序号；j为第j个节点的序号；c_i为第i个节点在CIE LAB颜色空间中所有像素点的颜色均值；c_j为第j个节点在CIELAB颜色空间中所有像素点的颜色均值；σ为控制权重平衡的常数；

C3：根据公式，D＝diag{d₁₁,…,d_nn}，计算度矩阵，其中，

D为度矩阵；diag{}为对角线矩阵构建函数；d_ii为度矩阵元素，且 为关联矩阵对应的无向边的权重；

C4：针对边界上的每一节点，根据边界先验，标记所述节点的标记值；

C5：利用公式，f:X→R^m，计算所述待检测图像对应的排序权重，其中，

f为排序函数，且f＝[f₁,…,f_n]^T；f₁为第i个节点的排序值；f_n为第n个节点的排序值；n为节点的个数；令y＝[y₁,y₂,…y_n]^T表示标签向量，种子点的标签值为1，其余的节点的标签值为0；X为输入的图像对应的特征矩阵；R为实数空间；R^m为m维实数空间；m为空间维度；y为所有种子节点标签值组成的向量；

C6：利用排序函数公式，计算闭合解，其中，

f*为排序函数；为求解函数最小值自变量函数；∑为求和函数；f_i为第i个节点的排序值；f_j为第j个节点的排序值；y_i为第i个节点的标签值；为所述无向边的权重；d_ii为度矩阵中第i行i列的元素；d_jj为度矩阵中第j行j列的元素；μ为平衡参数；

C7：根据所述闭合解利用公式，获取非归一化解，其中，

D为度矩阵；W²为所述第二关联矩阵；S是W²的归一化矩阵；

C8：利用公式，分别计算每个节点与四个边界上的背景种子点之间的相关性，得到四种情况下每个节点的背景概率值f，其中，λ为预设参数；

C9：对每个节点与四个边界上的背景种子点之间的相关性值进行归一化得到再进行取反得到每个节点的显著值；将四种情况下得到的显著值进行点乘获取初始结果S_MR，作为节点的前景概率值。

可选的，所述第二计算模块，还用于：

根据提取的图像的颜色、纹理、位置信息；

利用公式，计算每个无向边的权重，构建第一关联矩阵其中，

为第i个节点与第j个节点之间的无向边的权重；i和j为节点的序号，且0≤i,j≤N；v_i为第i个节点的特征描述符，且v_i∈R⁶⁵，v_i＝[x_i,y_i，L_i,a_i,b_i,c_i,ω_i]；(x_i,y_i)表示的是每个超像素节点的中心位置坐标；(L_i,a_i,b_i)表示的是每个超像素节点的在CIE LAB颜色空间中包含的所有像素点的颜色均值；c_i为第i个节点的中心先验信息；ω_i为第i个节点的LBP值；v_j为第j个节点的特征描述符；σ为预设的控制权重平衡的常数。

本发明相比现有技术具有以下优点：

应用本发明实施例，在构建图排序函数时，引入了前景线索和背景线索之间的关联参数，相对于现有技术中在构建图排序函数时，不考虑前景线索和背景线索之间的关联，考虑的影响因素更多，进而使显著性检测结果更加准确。同时由于传统的基于构图的方式在进行显著性计算的时候忽略了图像特征的作用，所以利用图像特征的线性学习来对最终的显著值进行约束，达到对构图信息和特征信息的充分利用，从而进一步提高最终的检测结果。

附图说明

图1为本发明实施例提供的一种基于相关约束图排序的图像显著性检测方法的流程示意图；

图2为本发明实施例提供的一种基于相关约束图排序的图像显著性检测方法的原理示意图；

图3为本发明实施例提供的一种构建的闭环图模型的结构示意图；

图4为本发明实施例提供的一种基于相关约束图排序的图像显著性检测装置的结构示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

为解决现有技术问题，本发明实施例提供了一种基于相关约束图排序的图像显著性检测方法及装置，下面首先就本发明实施例提供的一种基于相关约束图排序的图像显著性检测方法进行介绍。

图1为本发明实施例提供的一种基于相关约束图排序的图像显著性检测方法的流程示意图；图2为本发明实施例提供的一种基于相关约束图排序的图像显著性检测方法的原理示意图，如图1和图2所示，所述方法包括：

S101：针对每一幅待检测图像，使用简单线性迭代聚类SLIC算法对所述待检测图像进行超像素分割，得到不重叠的超像素块，然后将每一个所述不重叠的超像素块作为节点建立一个闭环图模型，进而计算每一个节点的先验信息；

具体的，S101步骤可以包括：A1：针对每一幅待检测图像，使用SLIC算法对该图像进行超像素分割成N个超像素块，每个超像素作为集合V中的一个节点；再获取与每一个节点对应的无向边，每个节点与它直接相邻的节点、与相邻的相邻(二近邻)的节点之间有边，针对每个节点的二近邻的相邻节点，利用公式，计算得到相连的边，四个边界上的节点相互连接，进而构建出无向图模型G¹＝(V,E)；A2：利用公式，计算每一个节点的中心先验信息，其中，c_i为第i个节点的中心先验信息；x_i为第i个节点的中心位置横坐标；y_i为第i个节点的中心位置纵坐标；(x₀,y₀)表示的是整幅图像的中心位置坐标；σ₁为平衡参数，用于控制计算位置距离的离散程度；exp()为以自然底数为底数的指数函数；i为节点的个数。

图3为本发明实施例提供的一种构建的闭环图模型的结构示意图，如图3所示，图3的构建过程为：将待检测图像被进行超像素分割后，得到N个超像素块，将每一个超像素块作为一个节点，将每个超像素与和它在局部区域内属于相邻的那些超像素之间进行连接，构建边，最终建立的一个闭环图模型G¹。

在实际应用中，每个节点之间边的连接情况可以分为以下四种情况：

1、每个节点i与其直接相邻的节点j之间有边。

2、每个节点i与其二近邻(相邻的相邻)的节点k之间有边。

3、每个节点i的二近邻k的相邻节点l，利用公式，dist(k，l)＝||x_k-x_l||²，计算其与k的颜色欧氏距离dist(k,l)，若距离小于阈值θ，则认为其与节点i之间也有一条边相连，找到相连的节点后继续查找，直至所有节点连接完成，其中，dist(k,l)为第l个节点与第k个节点之间的颜色欧氏距离；x_k为第k个节点的颜色值；x_l为第l个节点的颜色值；||||为求模函数。

4、位于四个边界上的每个节点之间相互连接，在图像的四周构成闭环相连。

应用本发明上述实施例，相对于现有技术中的闭环图模型，将第3点加入到了构建的闭环图模型，扩大了每个超像素区域的局部平滑范围，更好地诠释了在一定相邻区域内超像素区域之间具有一致的特征，进而提高了图像显著性检测的准确性。

S102：提取输入图像的颜色、纹理、位置等信息。

具体的，可以根据提取的图像的颜色、纹理、位置信息；

再利用公式，计算每个无向边的权重，构建第一关联矩阵其中，

为第i个节点与第j个节点之间的无向边的权重；W¹为第一关联矩阵；i和j为节点的序号，且0≤i,j≤N；v_i为第i个节点的特征描述符，且v_i∈R⁶⁵，v_i＝[x_i,y_i,L_i,a_i,b_i,c_i,ω_i]；(x_i,y_i)表示的是每个超像素节点的中心位置坐标；(L_i,a_i,b_i)表示的是每个超像素节点的在CIE LAB颜色空间中包含的所有像素点的颜色均值；c_i为第i个节点的中心先验信息；ω_i为第i个节点的LBP值；v_j为第j个节点的特征描述符；σ为预设的控制权重平衡的常数；n为超像素块的数量。

如图2所示，在实际应用中，图像的颜色特征采用的是每个超像素区域包含像素点的CIE LAB(Commission International Eclairage光线标准的组织规定的LAB)颜色均值；纹理特征采用的是LBP(Local Binary Patterns，局部二值模式)特征。通过计算相连的两个超像素节点之间在特征组合上的差异计算它们之间边的权重W²。

S103：利用MR算法获取每一个节点的前景概率值。

具体的，所述S103步骤可以包括：

C1：使用SLIC算法对待检测图像进行超像素分割，分割得到n个不重叠的超像素块集合X＝{x₁,…x_q,x_q+1,…x_n}，其中，前q个超像素块是已标记的查询种子点，剩下的是未标记的超像素节点。然后，构建一个闭环图模型G²＝(V,E)。V代表的是所有的节点集合，E代表的是所有的无向边集合。其中，每个节点与它直接相邻的节点、与相邻的相邻的节点之间有边，四个边界上的节点相互连接。

C2：构建第二关联矩阵其中，为所述第i个超像素和第j个超像素之间边的权重，且W²为第二关联矩阵；i,j∈V，i为第i个节点的序号；j为第j个节点的序号；c_i为第i个节点在CIE LAB颜色空间中所有像素点的颜色均值；c_j为第j个节点在CIE LAB颜色空间中所有像素点的颜色均值；σ为控制权重平衡的常数，通常与两个节点之间颜色均值的欧氏距离正相关。

C3：根据公式，D＝diag{d₁₁,…,d_nn}，计算度矩阵，其中，D为度矩阵；diag{}为对角线矩阵构建函数；d_ii为度矩阵元素，且 为关联矩阵对应的无向边的权重。

C4：针对边界上的每一节点，根据边界先验，标记所述节点的标记值。

C5：利用公式，f:X→R^m，计算所述待检测图像对应的排序权重，其中，f为排序函数，且f＝[f₁,…,f_n]^T；f₁为第1个节点的排序值；f_n为第n个节点的排序值；n为节点的个数；令y＝[y₁,y₂,…y_n]^T表示标签向量，种子点的标签值为1，其余的节点的标签值为0；X为输入的图像对应的特征矩阵；R为实数空间；R^m为m维实数空间；m为空间维度；y为所有种子节点标签值组成的向量；

C6：利用排序函数公式，计算闭合解，其中，f^*为排序函数；为求解函数最小值自变量函数；∑为求和函数；f_i为第i个节点的排序值；f_j为第j个节点的排序值；y₁为第i个节点的标签值；为所述无向边的权重；d_ii为度矩阵中第i行i列的元素；d_jj为度矩阵中第j行j列的元素；μ为平衡参数。

C7：根据所述闭合解利用公式，获取非归一化解，其中，D为度矩阵；W²为所述第二关联矩阵；S是W²的归一化矩阵。

C6步骤中计算得到的闭合解可以为：

其中，λ为预设参数；f^*为所述闭合解；I是单位矩阵。

根据闭合解和度矩阵，可以得到非归一化解

C8：利用公式，分别计算每个节点与四个边界上的背景种子点之间的相关性，得到四种情况下每个节点的背景概率值f，其中，λ为预设参数。

在实际应用中，在图像显著性检测中，通常使用度矩阵替换闭合解中的单位矩阵，进而得到上述公式。例如，计算的每个节点与四个边界上的背景种子点之间的相关性值，即四种情况下每个节点的背景概率值为f。

C9：对每个节点与四个边界上的背景种子点之间的相关性值进行归一化得到再进行取反得到每个节点的显著值；将四种情况下得到的显著值进行点乘获取初始结果S_MR，作为前景概率值。

在实际应用中，对归一化后的背景概率值取反后的值为：

将四种情况下得到的显著值进行点乘获取初始结果可以为：

S_bq(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)。

需要强调的是，S103步骤中利用MR算法获取每一个节点的前景概率值，利用的是经典的基于图的流形排序算法第一个阶段获取的待检测图像的S_MR(前景概率值)。

把每个超像素当作是一个节点，将每个超像素与和它在局部区域内属于相邻的那些超像素进行连接，构建边，然后建立一个闭环图模型G²。然后提取每个超像素区域的LAB颜色特征，通过计算相连的两个超像素节点之间在颜色特征上差异值计算出边的权重W²。该算法主要分为两个阶段，根据S101步骤中计算的先验信息，选取图像的四个边界上的超像素作为背景查询点Query，然后使用流形排序算法计算每个超像素节点与背景查询点之间的相关性，计算得出每个超像素属于背景的概率，然后归一化，再进行取反，得到初始的显著结果。第二阶段首先第一阶段初始的结果进行二值化，然后筛选出前景查询点Query，然后再使用流形排序算法计算每个超像素节点与前景查询点之间的相关性，从而获取的待检测图像的S_MR(前景概率值)。

S104：将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于所述第二预设阈值。

具体的，所述S104步骤，可以包括：

D1：利用公式，获取第一预设阈值和第二预设阈值；h₁为第一预设阈值；h₂为第二预设阈值；mean为求平均值函数；max为最大值求值函数；

D2：利用公式，获取前景种子点集合ind_fore和背景种子点集合ind_back，其中，ind_fore为前景种子点集合；ind_back为背景种子点集合；θ为预设参数。

S105：使用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f，并使用前景概率值S_f作为最终的显著估计值S_final。

具体的，S105步骤可以包括：E1：利用公式，F:X→Rⁿ，计算所述待检测图像对应的排序权重，其中，F为排序函数；F_i表示的是第i个节点的排序值，且F＝(f,g)；f为每个节点属于前景的概率，g为每个节点属于背景的概率；E2：利用公式，获取每一个节点的标签值；再利用公式，Y＝(y¹,y²)∈R^m×2，获取每一个节点的标签向量，其中，

Y为每一个节点的标签向量；y¹为所述节点属于前景的标签值；y²为所述节点属于背景的标签值；R^m×2为2m维实数空间。

E3：构建的相关约束图排序的模型公式为，

其中，F^*为闭合解；W_ij为第i个节点和第j个节点之间无向边的权重对应的第一关联矩阵；F_i为第i个节点的排序值；F_j为第j个节点的排序值；d_i为度矩阵元素；f_i为第i个节点的前景概率；g_i为第i个节点的背景概率；w_i为第i个节点的特征权重；x_i为第i个节点的特征；b_i为偏置参数；β₁为对前景概率的线性约束系数；β₂为对背景概率的线性约束系数；E4：对使用所述E3步骤的排序模型对前景概率求偏导得到显著性值。

在E3步骤中的公式中，第一个多项式为平滑项，由于图像中具有某一特性的区域的周围区域也具有和它相似的特征，即认为相邻的局部区域内的节点之间的排序的得分尽可能的相似，因此可以加入平滑项；第二项为拟合项，使得我们最终计算的排序值和我们给定的初始标签值之间的差异尽可能的小；第三项是对f和g的约束项，目的是使得计算得到的f和g之间的相关性尽可能的小；第四、五项是分别对f和g的线性约束项，利用图像特征的线性学习来对最终的显著值进行约束。

在实际应用中，E4步骤可以包括：

1)、对构建的相关约束图排序的模型公式进行简化，得到优化后的公式为，

2)、固定f可以获得b和W的最优解，因此有：

和

其中，1是全为1的向量。I∈R是单位矩阵，所以可得到

其中，

3)、将相关约束图排序的模型的求解问题写成如下公式：

J＝Tr[F^TA^*F-μF^TY]+λf^Tg+β₁||X^TW_f+b_f1-f||²+β₂||X^TW_g+b_g1-g||²，其中，

A^*＝(1+μ)D-W。

4)、将上述公式中的F替换为F＝(f,g)，Y＝(y₁，y₂)并求解化简可以得到公式，

5)、对4)步骤中的f求导，得到以下结果：

6)、对4)步骤中的g求导，得到以下结果：

7)、由5)和6)可得到：

8)、根据7)的公式可计算得：

f^*＝μ(λ²I-4(A^*)²-2A^*β₁B-2β₂BA^*-β₂β₁B²)^-1(λy₂-2A^*y₁-β₂By₁)；

将f^*作为最终的显著估计值S_final。

应用本发明图1所示实施例，在构建图排序函数时，引入了前景线索和背景线索之间的关联参数，在同时计算每个超像素节点与给定的前景查询点和背景查询之间的相关性时，加上一个相关性约束条件，降低了求得的前景概率值和背景概率值之间的相关性，相对于现有技术中在构建图排序函数时，不考虑前景线索和背景线索之间的关联，考虑的影响因素更多，进而使显著性检测结果更加准确。同时由于传统的基于构图的方式在进行显著性计算的时候忽略了图像特征的作用，所以利用图像特征的线性学习来对最终的显著值进行约束，达到对构图信息和特征信息的充分利用，从而进一步提高最终的检测结果。

与本发明实施例提供的一种基于相关约束图排序的图像显著性检测方法相对应，本发明实施例还提供了一种基于相关约束图排序的图像显著性检测装置。

图4为本发明实施例提供的一种基于相关约束图排序的图像显著性检测装置的结构示意图，如图4所示，所述装置包括：

第一计算模块401，用于针对每一幅待检测图像，使用简单线性迭代聚类SLIC算法对所述待检测图像进行超像素分割，得到不重叠的超像素块，然后将每一个所述不重叠的超像素块作为节点建立一个闭环图模型，进而计算每一个节点的先验信息；

输入模块402，用于提取输入图像的颜色、纹理、位置等信息；

第二计算模块403，用于利用MR算法获取每一个节点的前景概率值；

第一设置模块404，用于将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于所述第二预设阈值；

第二设置模块405，用于用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f和背景概率S_g，并使用前景概率值S_f作为最终的显著估计值S_final。

应用本发明图4所示实施例，在构建图排序函数时，引入了前景线索和背景线索之间的关联参数，在同时计算每个超像素节点与给定的前景查询点和背景查询之间的相关性时，加上一个相关性约束条件，降低了求得的前景概率值和背景概率值之间的相关性，相对于现有技术中在构建图排序函数时，不考虑前景线索和背景线索之间的关联，考虑的影响因素更多，进而使显著性检测结果更加准确。同时由于传统的基于构图的方式在进行显著性计算的时候忽略了图像特征的作用，所以利用图像特征的线性学习来对最终的显著值进行约束，达到对构图信息和特征信息的充分利用，从而进一步提高最终的检测结果。

在本发明实施例的一种具体实施方式中，所述第一计算模块404，还用于：

A1：针对每一幅待检测图像，使用SLIC算法对该图像进行超像素分割成N个超像素块，每个超像素作为集合V中的一个节点；再获取与每一个节点对应的无向边，进而构建无向图模型G¹＝(V,E)；

A2：利用公式，计算每一个节点的中心先验信息，其中，

c_i为第i个节点的中心先验信息；x_i为第i个节点的中心位置横坐标；y_i为第i个节点的中心位置纵坐标；(x₀,y₀)表示的是整幅图像的中心位置坐标；σ₁为平衡参数，用于控制计算位置距离的离散程度；exp()为以自然底数为底数的指数函数；i为节点的个数。

在本发明实施例的一种具体实施方式中，所述第二计算模块403，还用于：

C1：获取MR算法中每一个节点的各个无向边的权重；

C2：根据每一个所述无向边的权重，构建MR算法的第二关联矩阵其中，

为所述第i个超像素和第j个超像素之间边的权重，且W²为第二关联矩阵；i,j∈V，i为第i个节点的序号；j为第j个节点的序号；c_i为第i个节点在CIE LAB颜色空间中所有像素点的颜色均值；c_j为第j个节点在CIELAB颜色空间中所有像素点的颜色均值；σ为控制权重平衡的常数；

C3：根据公式，D＝diag{d₁₁,…,d_nn}，计算度矩阵，其中，

D为度矩阵；diag{}为对角线矩阵构建函数；d_ii为度矩阵元素，且 为关联矩阵对应的无向边的权重；

C4：针对边界上的每一节点，根据边界先验，标记所述节点的标记值；

C5：利用公式，f:X→R^m，计算所述待检测图像对应的排序权重，其中，

f为排序函数，且f＝[f₁,…,f_n]^T；f₁为第1个节点的排序值；f_n为第n个节点的排序值；n为节点的个数；令y＝[y₁，y₂，…y_n]^T表示标签向量，种子点的标签值为1，其余的节点的标签值为0；X为输入的图像对应的特征矩阵；R为实数空间；R^m为m维实数空间；m为空间维度；y为所有种子节点标签值组成的向量；

C6：利用排序函数公式，计算闭合解，其中，

f^*为排序函数；为求解函数最小值自变量函数；∑为求和函数；f_i为第i个节点的排序值；f_j为第j个节点的排序值；y_i为第i个节点的标签值；为所述无向边的权重；d_ii为度矩阵中第i行i列的元素；d_jj为度矩阵中第j行j列的元素；μ为平衡参数；

C7：根据所述闭合解利用公式，获取非归一化解，其中，D为度矩阵；W²为所述第二关联矩阵；S是W²的归一化矩阵；

C8：利用公式，分别计算每个节点与四个边界上的背景种子点之间的相关性，得到四种情况下每个节点的背景概率值f，其中，λ为预设参数；

C9：对每个节点与四个边界上的背景种子点之间的相关性值进行归一化得到再进行取反得到每个节点的显著值；将四种情况下得到的显著值进行点乘获取初始结果S_MR，作为节点的前景概率值。

在本发明实施例的一种具体实施方式中，所述第二计算模块403，还用于：

利用公式，计算每个无向边的权重，构建第一关联矩阵其中，

为第i个节点与第j个节点之间的无向边的权重；i和j为节点的序号，且0≤i,j≤N；v_i为第i个节点的特征描述符，且v_i∈R⁶⁵，v_i＝[x_i,y_i,L_i,a_i,b_i,c_i,ω_i]；(x_i,y_i)表示的是每个超像素节点的中心位置坐标；(L_i,a_i,b_i)表示的是每个超像素节点的在CIE LAB颜色空间中包含的所有像素点的颜色均值；c_i为第i个节点的中心先验信息；ω_i为第i个节点的LBP值；v_j为第j个节点的特征描述符；σ为预设的控制权重平衡的常数。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述方法包括：

A：针对每一幅待检测图像，使用简单线性迭代聚类SLIC算法对所述待检测图像进行超像素分割，得到不重叠的超像素块，然后将每一个所述不重叠的超像素块作为节点建立一个闭环图模型，进而计算每一个节点的中心先验信息；

B：提取输入图像的颜色、纹理、位置等信息；

C：利用MR算法获取每一个节点的前景概率值；

D：将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于所述第二预设阈值；

E：使用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f，并使用前景概率值S_f作为最终的显著估计值S_final。

2.根据权利要求1所述的一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述A步骤包括：

A1：针对每一幅待检测图像，使用SLIC算法对该图像进行超像素分割成N个超像素块，每个超像素作为集合V中的一个节点；再获取与每一个节点对应的无向边，进而构建无向图模型G¹＝(V,E)；

A2：利用公式，计算每一个节点的中心先验信息，其中，

c_i为第i个节点的中心先验信息；x_i为第i个节点的中心位置横坐标；y_i为第i个节点的中心位置纵坐标；(x₀,y₀)表示的是整幅图像的中心位置坐标；σ₁为平衡参数，用于控制计算位置距离的离散程度；exp()为以自然底数为底数的指数函数；i为节点的个数。

3.根据权利要求2所述的一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述无向边是通过以下步骤获取的：

针对每个节点i的二近邻k的相邻节点l，利用公式，dist(k,l)＝||x_k-x_l||²，计算其与k的颜色欧氏距离；若所述颜色欧氏距离小于阈值θ，则在节点l与节点i之间连接一条无向边，找到相连的节点后继续查找，直至所有节点连接完成，其中，dist(k,l)为第l个节点与第k个节点之间的颜色欧氏距离；x_k为第k个节点的颜色值；x_l为第l个节点的颜色值；|| ||为求模函数。

4.根据权利要求1所述的一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述B步骤，包括：

根据提取的图像的颜色、纹理、位置信息；利用公式，计算每个无向边的权重，构建第一关联矩阵其中，

为第i个节点与第j个节点之间的无向边的权重；W¹为第一关联矩阵；i和j为节点的序号，且0≤i,j≤N；v_i为第i个节点的特征描述符，且v_i∈R⁶⁵，v_i＝[x_i,y_i,L_i,a_i,b_i,c_i,ω_i]；(x_i,y_i)表示的是每个超像素节点的中心位置坐标；(L_i,a_i,b_i)表示的是每个超像素节点的在CIE LAB颜色空间中包含的所有像素点的颜色均值；c_i为第i个节点的中心先验信息；ω_i为第i个节点的LBP值；v_j为第j个节点的特征描述符；σ为预设的控制权重平衡的常数；n为超像素块的数量。

5.根据权利要求1所述的一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述C步骤，包括：

C1：获取MR算法中每一个节点的各个无向边的权重；

C2：根据每一个所述无向边的权重，构建MR算法的第二关联矩阵其中，

为所述第i个超像素和第j个超像素之间边的权重，且W²为第二关联矩阵；i,j∈V，i为第i个节点的序号；j为第j个节点的序号；c_i为第i个节点在CIE LAB颜色空间中所有像素点的颜色均值；c_j为第j个节点在CIE LAB颜色空间中所有像素点的颜色均值；σ为控制权重平衡的常数；

C3：根据公式，D＝diag{d₁₁,…,d_nn}，计算度矩阵，其中，

D为度矩阵；diag{}为对角线矩阵构建函数；d_ii为度矩阵元素，且 为关联矩阵对应的无向边的权重；

C4：针对边界上的每一节点，根据边界先验，标记所述节点的标记值；

C5：利用公式，f:X→R^m，计算所述待检测图像对应的排序权重，其中，

f为排序函数，且f＝[f₁,…,f_n]^T；f₁为第1个节点的排序值；f_n为第n个节点的排序值；n为节点的个数；令y＝[y₁,y₂,…y_n]^T表示标签向量，种子点的标签值为1，其余的节点的标签值为0；X为输入的图像对应的特征矩阵；R为实数空间；R^m为m维实数空间；m为空间维度；y为所有种子节点标签值组成的向量；

C6：利用排序函数公式，计算闭合解，其中，

f*为排序函数；为求解函数最小值自变量函数；∑为求和函数；f_i为第i个节点的排序值；f_j为第j个节点的排序值；y_i为第i个节点的标签值；为所述无向边的权重；d_ii为度矩阵中第i行i列的元素；d_jj为度矩阵中第j行j列的元素；μ为平衡参数；

C7：根据所述闭合解利用公式，获取非归一化解，其中，

D为度矩阵；W²为所述第二关联矩阵；S是W²的归一化矩阵；

C8：利用公式，分别计算每个节点与四个边界上的背景种子点之间的相关性，得到四种情况下每个节点的背景概率值f，其中，λ为预设参数；

C9：对每个节点与四个边界上的背景种子点之间的相关性值进行归一化得到再进行取反得到每个节点的显著值；将四种情况下得到的显著值进行点乘获取初始结果S_MR，作为节点的前景概率值。

6.根据权利要求1所述的一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述D步骤，包括：

D1：利用公式，获取第一预设阈值和第二预设阈值；其中，

h₁为第一预设阈值；h₂为第二预设阈值；mean为求平均值函数；max为最大值求值函数；

D2：利用公式，获取前景种子点集合ind_fore和背景种子点集合ind_back，其中，

ind_fore为前景种子点集合；ind_back为背景种子点集合；θ为预设参数。

7.根据权利要求1所述的一种基于相关约束图排序的图像显著性检测方法，其特征在于，所述E步骤，包括：

E1：利用公式，F:X→Rⁿ，计算所述待检测图像对应的排序权重，其中，

F为排序函数；F_i表示的是第i个节点的排序值，且F＝(f,g)；f为每个节点属于前景的概率，g为每个节点属于背景的概率；

E2：利用公式，获取每一个节点的标签值；再利用公式，Y＝(y¹,y²)∈R^m×2，获取每一个节点的标签向量，其中，

Y为每一个节点的标签向量；y¹为所述节点属于前景的标签值；y²为所述节点属于背景的标签值；R^m×2为2m维实数空间；

E3：构建的相关约束图排序的模型公式为，

其中，

F^*为闭合解；W_ij为第i个节点和第j个节点之间无向边的权重对应的第一关联矩阵；F_i为第i个节点的排序值；F_j为第j个节点的排序值；d_i为度矩阵元素；f_i为第i个节点的前景概率；g_i为第i个节点的背景概率；w_i为第i个节点的特征权重；x_i为第i个节点的特征；b_i为偏置参数；β₁为对前景概率的线性约束系数；β₂为对背景概率的线性约束系数；

E4：对使用所述E3步骤的排序模型对前景概率求偏导得到显著性值。

8.一种基于相关约束图排序的图像显著性检测装置，其特征在于，所述装置包括：

第一计算模块，用于针对每一幅待检测图像，使用简单线性迭代聚类SLIC算法对所述待检测图像进行超像素分割，得到不重叠的超像素块，然后将每一个所述不重叠的超像素块作为节点建立一个闭环图模型，进而计算每一个节点的中心先验信息；

输入模块，用于提取输入图像的颜色、纹理、位置等信息；

第二计算模块，用于利用MR算法获取每一个节点的前景概率值；

第一设置模块，用于将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore；将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back；第一预设阈值大于所述第二预设阈值；

第二设置模块，用于用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f和背景概率S_g，并使用前景概率值S_f作为最终的显著估计值S_final。

9.根据权利要求8所述的一种基于相关约束图排序的图像显著性检测装置，其特征在于，所述第一计算模块，还用于：

A1：针对每一幅待检测图像，使用SLIC算法对该图像进行超像素分割成N个超像素块，每个超像素作为集合V中的一个节点；再获取与每一个节点对应的无向边，进而构建无向图模型G¹＝(V,E)；

A2：利用公式，计算每一个节点的中心先验信息，其中，

c_i为第i个节点的中心先验信息；x_i为第i个节点的中心位置横坐标；y_i为第i个节点的中心位置纵坐标；(x₀,y₀)表示的是整幅图像的中心位置坐标；σ₁为平衡参数，用于控制计算位置距离的离散程度；exp()为以自然底数为底数的指数函数；i为节点的个数。

10.根据权利要求8所述的一种基于相关约束图排序的图像显著性检测装置，其特征在于，所述第二计算模块，还用于：

C1：获取MR算法中每一个节点的各个无向边的权重；

C2：根据每一个所述无向边的权重，构建MR算法的第二关联矩阵其中，

为所述第i个超像素和第j个超像素之间边的权重，且W²为第二关联矩阵；i,j∈V，i为第i个节点的序号；j为第j个节点的序号；c_i为第i个节点在CIE LAB颜色空间中所有像素点的颜色均值；c_j为第j个节点在CIE LAB颜色空间中所有像素点的颜色均值；σ为控制权重平衡的常数；

C3：根据公式，D＝diag{d₁₁,…,d_nn}，计算度矩阵，其中，

D为度矩阵；diag{}为对角线矩阵构建函数；d_ii为度矩阵元素，且 为第二关联矩阵对应的无向边的权重；

C4：针对边界上的每一节点，根据边界先验，标记所述节点的标记值；

C5：利用公式，f:X→R^m，计算所述待检测图像对应的排序权重，其中，

f为排序函数，且f＝[f₁,…,f_n]^T；f₁为第1个节点的排序值；f_n为第n个节点的排序值；n为节点的个数；令y＝[y₁,y₂,…y_n]^T表示标签向量，种子点的标签值为1，其余的节点的标签值为0；X为输入的图像对应的特征矩阵；R为实数空间；R^m为m维实数空间；m为空间维度；y为所有种子节点标签值组成的向量；

C6：利用排序函数公式，计算闭合解，其中，

f*为排序函数；为求解函数最小值自变量函数；∑为求和函数；f_i为第i个节点的排序值；f_j为第j个节点的排序值；y_i为第i个节点的标签值；y_n为第n个节点的权值；为所述无向边的权重；d_ii为度矩阵中第i行i列的元素；d_jj为度矩阵中第j行j列的元素；μ为平衡参数；

C7：根据所述闭合解利用公式，获取非归一化解，其中，

D为度矩阵；W²为所述第二关联矩阵；S是W²的归一化矩阵；

C8：利用公式，分别计算每个节点与四个边界上的背景种子点之间的相关性，得到四种情况下每个节点的背景概率值f，其中，λ为预设参数；

C9：对每个节点与四个边界上的背景种子点之间的相关性值进行归一化得到再进行取反得到每个节点的显著值；将四种情况下得到的显著值进行点乘获取初始结果S_MR，作为节点的前景概率值。