CN105574534B - 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种基于稀疏子空间聚类和低秩表示的显著性目标检测方法。其步骤为：1、对输入图像进行超像素分割和聚类；2、提取聚类中每一个超像素的颜色、纹理和边缘特征，构建聚类特征矩阵；3、根据颜色对比度的大小对所有超像素特征进行排序，构建字典；4、根据字典构建联合低秩表示模型，求解该模型对聚类的特征矩阵进行分解得到低秩表示系数，并计算聚类的显著性因子；5、将每一个聚类的显著值按照其空间位置映射到输入图像中，获得输入图像的显著图。本发明能完整一致地检测出图像中尺寸较大的显著性目标，且能抑制背景中的噪声，提升复杂背景图像中显著性目标检测的鲁棒性。可用于图像分割、目标识别、图像恢复和自适应图像压缩。

Description

基于稀疏子空间聚类和低秩表示的显著性目标检测方法

技术领域

本发明属于图像处理技术领域，具体的说涉及一种显著性目标检测方法，可用于图像分割、目标识别、图像恢复和自适应图像压缩。

背景技术

显著性目标检测的目的是完整一致地检测出图像中最吸引人注意的目标区域。近年来，随着可视信息网络的扩张和电子商务行业的飞速增长，图像显著性目标检测技术的重要性日益突显。作为一种新的高维数据分析和处理工具，低秩矩阵恢复技术能够有效地从受强噪声污染或部分缺失的高维观测样本中发现它的本征低维空间，该技术已经被广泛应用于计算机视觉、机器学习、统计分析等领域，并出现了一些基于低秩矩阵恢复的显著性检测方法。

Yan等基于稀疏编码和低秩矩阵恢复技术提出一种显著性检测方法(Yan J,ZhuM,Liu H,et al.Visual saliency detection via sparsity pursuit[J].SignalProcessing Letters,2010,17(8):739-742.)。该方法的具体步骤是：首先，将图像分成8×8的小块。然后，提取图像块的特征并进行稀疏编码，得到表示输入图像的稀疏编码矩阵。最后，利用鲁棒主成分分析方法分解稀疏编码矩阵，并采用分解得到的稀疏矩阵定义相应图像块的显著性。该方法简单假设显著性目标的尺寸很小，故其特征具有稀疏特性，因此能够较为准确地检测出简单场景中尺寸较小的显著性目标。但是该方法仍然存在的不足之处是，难以完整一致地检测出尺寸较大的显著性目标。

Shen等基于低秩矩阵恢复技术提出了一种结合先验信息的显著性目标检测方法(Shen X,Wu Y.A unified approach to salient object detection via low rankmatrix recovery[C].IEEE Conference on Computer Vision and PatternRecognition,2012,23(10):853-860.)。该方法首先对输入图像进行超像素分割，并提取超像素的特征构建特征矩阵，然后利用MSRA数据库学习先验知识和特征变换矩阵，并对所有超像素特征组成的矩阵进行变换，最后采用低秩矩阵恢复方法分解变换后的特征矩阵。该方法通过特征变换使得显著性目标的特征更加稀疏，背景的特征更具有相似性。由于尺寸较大的显著性目标不再具有稀疏特性，该方法并没有从本质上解决较大尺寸显著性目标的检测问题。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于稀疏子空间聚类和低秩表示的显著性目标检测方法，以更加完整一致地检测尺寸较大的显著性目标，且提高检测准确度和召回率。

本发明的技术思路是，对输入图像进行超像素分割，并对分割得到的超像素进行聚类，由于同一聚类内超像素的特征具有相似性，本发明假设同一聚类内的超像素特征处于相同的低维子空间，并根据颜色对比度构建字典，在此基础上构建联合低秩表示模型，求解该模型对聚类的特征矩阵进行低秩稀疏分解，最后采用矩阵分解得到的低秩表示系数定义相应聚类的显著性，并按照其空间位置将显著性值映射到输入图像中，得到输入图像的显著图。

本发明的实现步骤如下：

(1)将输入图像I分割成N个超像素{p_i|i＝1,2,...,N}；

(2)对所有超像素进行聚类，得到输入图像I的J个聚类{C_j|j＝1,2,...,J}，其中每一个聚类C_j包含了m_j个超像素，即C_j＝{p_j,k|k＝1,2,...,m_j}；

(3)构建聚类特征矩阵：

针对每一个聚类C_j＝{p_j,k|k＝1,2,...,m_j}当中包含的第k个超像素p_j,k，提取该超像素中每一个像素点的颜色、边缘和纹理特征构建该像素点的特征向量，其维数为M＝53，并利用超像素p_j,k中所有像素特征向量的均值向量x_j,k作为该超像素的特征，构建聚类C_j的特征矩阵为

(4)计算所有超像素的颜色对比度，并根据超像素颜色对比度由大到小对超像素特征进行排序，得到低秩表示算法的字典D；

(5)根据上述特征矩阵X_j和字典D构建联合低秩表示模型：

s.t.X_j＝DZ_j+E_j

其中，Z_j为低秩表示系数，E为重构误差矩阵，λ是权衡低秩成分和稀疏成分之间的一个常量因子，||·||_*为矩阵核范数，表示矩阵的所有奇异值之和，||E||_2,1为重构误差矩阵E＝[E₁,E₂,...,E_j]的范数，且E(u,v)表示E的第u行第v列元素；

求解上述联合低秩表示模型，对聚类C_j的特征矩阵X_j进行低秩稀疏分解，得到低秩表示系数的最优解集合

(6)利用聚类C_j对应的低秩表示系数计算该聚类的显著性因子L(C_j)：

其中，是低秩表示系数矩阵的前m行，是低秩表示系数矩阵的后m行，||·||_1,1表示矩阵的范数，即|A(u,v)|表示A的第u行第v列元素的绝对值；

(7)将每一个聚类C_j的显著性因子L(C_j)按照其空间位置映射到输入图像I中，得到输入图像I的显著图。

本发明与现有的技术相比具有以下优点：

第一，解决了传统方法难以检测较大尺寸显著性目标的问题

本发明对输入图像进行超像素分割，并对分割得到的超像素聚类，然后采用低秩表示算法对聚类特征矩阵进行低秩稀疏分解，并利用低秩表示系数定义聚类的显著性，克服了传统基于低秩矩阵恢复的显著性检测方法中难以完整一致地检测较大尺寸显著性目标的问题。

第二，提升了复杂背景图像显著性检测的鲁棒性

传统基于低秩矩阵恢复的显著性检测方法简单假设背景特征属于同一低维子空间，并对整幅图像的特征进行低秩稀疏分解，由于复杂背景中包含不同的纹理区域，在这种情况下背景的特征不具有低秩特性，因而传统方法的假设不再成立。鉴于同一聚类内超像素的特征具有相似性，本发明假设其属于相同的低维子空间，并利用低秩表示算法对聚类特征进行低秩稀疏分解，因此与传统基于低秩矩阵恢复的显著性检测方法相比，本发明提升了复杂背景图像显著性检测的鲁棒性。

附图说明

图1为本发明的实现流程图；

图2为用本发明对包含大尺寸显著性目标图像检测的仿真图；

图3为用本发明对包含复杂背景图像显著性目标检测的仿真图；

图4为用本发明对显著性目标检测结果的客观评价图。

具体实施方式

下面结合附图对本发明的实施例和效果作进一步的详细描述。

参照附图1，本发明的实现步骤如下：

步骤1，输入图像并进行超像素分割。

(1a)从MSRA-1000数据库中选取一幅图像作为输入图像I；

(1b)将输入图像I分割成N个超像素{p_i|i＝1,2,...,N}。已有的超像素分割算法有Superpixel Lattice、Normalized cuts、Turbopixels和SLIC等，其中SLIC超像素分割算法在超像素形状、边界保持以及算法的运算速度上具有明显的优势，本发明选用SLIC超像素分割算法对输入图像进行分割。

步骤2，对超像素进行聚类。

拉普拉斯稀疏子空间聚类算法在稀疏子空间聚类算法的基础上加入约束数据特征一致性的Laplacian项，具有更加优越的性能，因此本发明选择拉普拉斯稀疏子空间算法对所有超像素进行聚类，得到输入图像I的J个聚类{C_j|j＝1,2,...,J}，其中每一个聚类C_j包含了m_j个超像素，即C_j＝{p_j,k|k＝1,2,...,m_j}。

步骤3，构建聚类特征矩阵。

(3a)提取聚类中超像素特征：

(3a1)针对每一个聚类C_j＝{p_j,k|k＝1,2,...,m_j}当中包含的第k个超像素p_j,k，分别提取p_j,k中每个像素点的颜色、边缘和纹理特征，每个像素点的颜色特征的维数为5，用3个尺度4个方向的金字塔滤波器提取每个像素点的边缘特征，其维数为12，用3个尺度12个方向的Gabor滤波器提取每个像素点的纹理特征，其维数为36，将上述颜色、边缘和纹理特征组合得到每个像素点的特征向量，其维数M＝53；

(3a2)根据(3a1)提取的超像素p_j,k中每个像素点的53维特征向量，对超像素p_j,_k包含的所有像素点的特征向量取均值得到p_j,k的特征x_j,k，k＝1,2,...,m_j；

(3b)构建特征矩阵：

根据(3a)中提取的聚类C_j中m_j个超像素的特征，构建聚类C_j的特征矩阵为

步骤4，构建基于颜色对比度的字典。

(4a)计算超像素的颜色对比度：

其中，表示超像素p_i中所有像素的CIElab空间颜色特征的均值，常用的颜色空间模型有RGB、HSI和CIElab，本发明采用的颜色特征取自于CIElab空间，表示超像素p_i中任一像素点I_m的颜色特征，|p_i|是超像素p_i中像素点的总数，表示超像素pj中所有像素的颜色特征的均值，表示超像素pj中任一像素点I_n的颜色特征，|p_j|是超像素pj中像素点的总数，||c_i-c_j||²为c_i和c_j欧氏距离的平方；表示超像素p_i中所有像素位置坐标的均值，表示超像素p_i中任一像素点I_m的位置坐标，表示超像素p_j中所有像素位置坐标的均值，表示超像素p_j中任一像素点I_n的位置坐标，||l_i-l_j||²为l_i和l_j欧氏距离的平方，Z_i是使得的归一化参数，σ_p是局部-全局权衡因子；

(4b)根据超像素颜色对比度由大到小对超像素特征进行排序，得到低秩表示算法的字典其中，是超像素的特征向量，1≤s_i≤N，且满足

步骤5，根据特征矩阵X_j和字典D构建联合低秩表示模型。

由于同一聚类内超像素的特征具有相似性，因此Z_j具有低秩特性，重构误差E_j具有稀疏特性，且核范数是矩阵秩的最优凸近似，基于上述原理，根据特征矩阵X_j和字典D构建联合低秩表示模型，对聚类{C_j|j＝1,2,...,J}的低秩表示系数{Z_j|j＝1,2,...,J}进行联合低秩约束，对重构误差矩阵E进行范数约束，其表示如下：

s.t.X_j＝DZ_j+E_j

其中，为特征矩阵在字典D下低秩表示系数，为聚类C_j的重构误差，λ是权衡低秩成分和稀疏成分之间的一个常量因子，D∈R^M×N是根据颜色对比度构建的字典，||·||_*为矩阵核范数，表示矩阵的所有奇异值之和，||E||_2,1为重构误差矩阵的范数，且E(u,v)表示E的第u行第v列元素；

求解上述联合低秩表示模型，对聚类C_j的特征矩阵X_j进行低秩稀疏分解，得到低秩表示系数的最优解集合

步骤6，利用特征矩阵X_j的低秩稀疏分解得到的低秩表示系数计算聚类C_j的显著性因子L(C_j)。

假设图像中所有超像素的特征共同构成字典其中每一列对应一个超像素特征，则字典中任意一个超像素特征可以表示为字典D中所有超像素特征的线性组合，即：

其中是特征在特征下的表示系数，较大的表示特征和特征在字典D列向量张成的特征空间中拥有相似的映射。因此，能够衡量超像素与超像素的相似程度，即超像素特征的表示系数能够揭示该特征与字典中对应特征的相似程度。

综上所述，由于字典D是利用超像素颜色对比度由大到小对超像素特征进行排序得到的，低秩表示系数矩阵的前m行用表示，后m行用表示，能够反映该聚类特征与高对比度超像素特征的相似程度，表示该聚类特征与低对比度超像素特征的相似程度，则L(C_j)可以用来衡量聚类C_j的显著性：

其中，||·||_1,1表示矩阵的范数，即|A(u,v)|表示A的第u行第v列元素的绝对值。

步骤7，获得输入图像的显著图。

将每一个聚类C_j的显著性因子L(C_j)按照其空间位置映射到输入图像中，得到输入图像I的显著图。

本发明的效果可通过以下仿真进一步说明：

1.仿真方法与条件

仿真使用的方法包括本发明方法和现有的如下10种方法，它们分别是：

基于稀疏编码与鲁棒主成分分析的显著性检测方法SP，

基于特征变换与鲁棒主成分分析的显著性检测方法UA，

基于区域对比度的显著性检测方法RC，

基于直方图对比度的显著性检测方法HC，

基于频率调制的显著性检测方法FT，

基于图论的显著性检测方法GBVS，

基于局部对比度的显著性检测方法ITTI，

基于编码长度增量的显著性检测方法DVA，

基于自信息的显著性检测方法AIM，

基于图像签名的显著性区域检测方法SIG。

实验数据利用MSRA-1000数据库，仿真实验均在Windows 7操作***下采用Matlab2010软件实现。

仿真1

从MSRA-1000数据库中选取一组包含大尺寸显著性目标的图像，选取图像中目标的尺寸均大于整幅图像大小的25％，用本发明与现有的SP和UA方法分别对这一组输入图像进行显著性检测，结果如图2，其中：

图2的第(a)列为一组待检测图像，

图2的第(b)列为采用SP方法的显著性检测结果,

图2的第(c)列为采用UA方法的显著性检测结果，

图2的第(d)列为采用本发明方法的显著性检测结果，

图2的第(e)列为Ground-truth图像。

由图2的第(b)列可以看出，SP方法检测得到的显著图会在显著性目标的边缘处分配较大的显著值，该方法不能完整一致地检测出尺寸较大的显著性目标。UA方法得到的显著图如图2的第(c)列所示，该方法虽然能够较为准确地检测出尺寸较大的显著性目标，但目标区域难以分配一致的显著值。如图2的第(d)列所示，本发明提出的显著性目标检测方法不仅能够准确检测出显著性目标，而且能够在目标区域内分配一致的显著值。

仿真2

从MSRA-1000数据库中选取一组包含复杂背景的图像，用本发明与现有的SP和UA方法分别对这一组输入图像进行显著性检测，结果如图3，其中：

图3的第(a)列为一组待检测图像，

图3的第(b)列为采用SP方法的显著性检测结果,

图3的第(c)列为采用UA方法的显著性检测结果，

图3的第(d)列为采用本发明方法的显著性检测结果，

图3的第(e)列为Ground-truth图像。

由图3的第(b)列可以看出，SP方法得到的显著图会给复杂背景分配较大的显著值，不能准确检测出显著性目标。UA方法得到的显著图如图3的第(c)列所示，该方法虽然能够较为准确地检测出复杂背景中的显著性目标，但难以抑制复杂背景中的噪声。如图3的第(d)列所示，本发明提出的显著性目标检测方法不仅能够完整一致地检测出显著性目标，而且能够充分抑制复杂背景中的噪声。

仿真3，基于准确度-召回率曲线、F-measure曲线、平均绝对误差以及自适应阈值下的平均准确度、召回率和F-measure这四种常用的显著性目标检测评价标准，用本发明与现有的UA、RC、HC、FT、GBVS、ITTI、DVA、AIM、SIG显著性检测方法对MSRA-1000数据库中的1000幅图像作对比实验，结果如图4，其中：

图4(a)为准确度-召回率曲线，

图4(b)为F-measure曲线，

图4(c)为自适应阈值下的平均准确度、召回率和F-measure直方图，

图4(d)为平均绝对误差。

由图4(a)可以看出，本发明方法能够达到主流算法的准确度-召回率曲线指标。由图4(b)可知，本发明方法能够在较大的阈值范围内得到最大的F-measure值。由图4(c)可以看出，本发明方法能够得到最高的平均准确度、召回率和F-measure值。由图4(d)可知，本发明方法与Ground-truth图像的差异最小，即最接近理想的显著性目标检测结果。

Claims (2)

1.一种基于稀疏子空间聚类和低秩表示的显著性目标检测方法，包括如下步骤：

(1)将输入图像I分割成N个超像素{p_i|i＝1,2,...,N}；

(2)对所有超像素进行聚类，得到输入图像I的J个聚类{C_j|j＝1,2,...,J}，其中每一个聚类C_j包含了m_j个超像素，即C_j＝{p_j,k|k＝1,2,...,m_j}；

(3)构建聚类特征矩阵：

针对每一个聚类C_j＝{p_j,k|k＝1,2,...,m_j}当中包含的第k个超像素p_j,k，提取该超像素中每一个像素点的颜色、边缘和纹理特征构建该像素点的特征向量，其维数为M＝53，并利用超像素p_j,k中所有像素特征向量的均值向量x_j,k作为该超像素的特征，构建聚类C_j的特征矩阵为

(4)计算所有超像素的颜色对比度，并根据超像素颜色对比度由大到小对超像素特征进行排序，得到低秩表示算法的字典D；

(5)根据上述特征矩阵X_j和字典D构建联合低秩表示模型：

s.t.X_j＝DZ_j+E_j

其中，Z_j为低秩表示系数，E为重构误差矩阵，λ是权衡低秩成分和稀疏成分之间的一个常量因子，||·||_*为矩阵核范数，表示矩阵的所有奇异值之和，||E||_2,1为重构误差矩阵E＝[E₁,E₂,...,E_j]的l_2,1范数，且E(u,v)表示E的第u行第v列元素；

求解上述联合低秩表示模型，对聚类C_j的特征矩阵X_j进行低秩稀疏分解，得到低秩表示系数的最优解集合

(6)利用聚类C_j对应的低秩表示系数计算该聚类的显著性因子L(C_j)：

其中，是低秩表示系数矩阵的前m行，是低秩表示系数矩阵的后m行，||·||_1,1表示矩阵的l_1,1范数，即|A(u,v)|表示A的第u行第v列元素的绝对值；

(7)将每一个聚类C_j的显著性因子L(C_j)按照其空间位置映射到输入图像I中，得到输入图像I的显著图。

2.根据权利要求1所述的基于稀疏子空间聚类和低秩表示的显著性目标检测方法，其特征在于：步骤(4)中得到低秩表示算法的字典D，包括如下步骤：

(4a)计算超像素的颜色对比度：

其中，表示超像素p_i中所有像素的CIElab颜色特征的均值，表示超像素p_i中任一像素点I_m的颜色特征，|p_i|是超像素p_i中像素点的总数，表示超像素p_j中所有像素的颜色特征的均值，表示超像素p_j中任一像素点I_n的颜色特征，|p_j|是超像素p_j中像素点的总数，||c_i-c_j||²为c_i和c_j欧氏距离的平方；表示超像素p_i中所有像素位置坐标的均值，表示超像素p_i中任一像素点I_m的位置坐标，表示超像素p_j中所有像素位置坐标的均值，表示超像素p_j中任一像素点I_n的位置坐标，||l_i-l_j||²为l_i和l_j欧氏距离的平方，Z_i是使得的归一化参数，σ_p是局部-全局权衡因子；

(4b)根据超像素颜色对比度由大到小对超像素特征进行排序，得到低秩表示算法的字典其中，是超像素的特征向量，1≤s_i≤N，且满足