CN110503113A - 一种基于低秩矩阵恢复的图像显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种基于低秩矩阵恢复的图像显著性目标检测方法，包括：从原始图像中提取颜色特征，结合图像超像素，确定原始图像的特征矩阵；从特征矩阵中分解出低秩矩阵；利用图像超像素按照索引树生成算法构造原始图像的分层索引树，结合高层先验信息，确定原始图像的分层稀疏范数；将低秩矩阵进行三元分解，确定原始图像的结构化低秩矩阵恢复模型；将原始图像的分层稀疏范数和原始图像的结构化低秩矩阵恢复模型融合，并结合交替方向优化算法，获得显著图。本发明引入低秩矩阵三元分解加快奇异值分解的方法，解决了最小化矩阵迹范数导致的高计算复杂度问题；通过构造索引树，结合高层先验，解决了复杂背景下的无监督图像显著性目标检测问题。

Description

一种基于低秩矩阵恢复的图像显著性目标检测方法

技术领域

本发明涉及图像检测技术领域，更具体的涉及一种基于低秩矩阵恢复的图像显著性目标检测方法。

背景技术

显著性目标检测能够有效从单个场景中准确分割前景目标，或者从多个图像中实现协同检测。目前，已广泛应用于图像分割，基于内容的图像检索，图像压缩，图像剪切等。根据是否利用标记信息，显著性目标检测方法大致分为有监督和无监督两类。有监督方法通常利用深度学习模型和大规模训练算法实现目标检测。无监督方法无需大规模图像样本，具有更好的灵活性和较低的计算复杂度。

无监督显著性目标检测方法通常利用高层先验和低层显著性特征实现快速目标检测。Achanta等利用颜色对比度先验信息和中心先验定位显著性目标。除了颜色和中心先验信息，Wei等通过计算显著性目标与图像边界的几何距离作为背景先验定位目标。Shen等结合不同先验信息与鲁棒主成分分析(Robust Principal Component Analysis，RPCA)，建立统一的检测模型。Lang等通过整合不同高层先验实现区域级的显著性目标生成。Tang等利用颜色、位置和边界连接性推断每个图像区域属于背景的概率。Huo等建立了一个专门的线性反馈控制***模型，该模型可以接收多个显著性先验和图像特征。Liu等基于核密度估计提出一种非参显著性目标检测模型，该模型使用项目似然度量和显著性度量生成逐像素的显著图。Goferman等基于局部和全局对比度设计了一个上下文注意力显著性区域抽取模型，然后多尺度对比度、中心-周围直方图和颜色空间分布引入条件随机场，用于提升显著图的质量。此外，小波和傅里叶变换域上抽取的全局特征对比度也被有效用于无监督显著性目标检测。

上述无监督显著性目标检测方法中，基于低秩矩阵分解的方法因其鲁棒性和高效性引起了广泛关注，该方法将原始图像分解为低秩矩阵和稀疏矩阵，其中低秩矩阵对应高度冗余的图像背景区域，稀疏矩阵对应图像的显著性前景目标区域。然而，这些现有方法通常使用简单的矩阵范数诱导稀疏矩阵，忽视了图像显著性目标的结构化信息，从而导致生成的显著图出现发散或不完整现象。此外，这些方法使用矩阵核范数约束低秩矩阵，导致算法需要在每次迭代中执行奇异值分解，增加了计算代价。

发明内容

本发明实施例提供一种基于低秩矩阵恢复的图像显著性目标检测方法，用以解决现有技术中存在的问题。

本发明实施例提供一种基于低秩矩阵恢复的图像显著性目标检测方法，包括：

从原始图像中提取颜色特征，结合图像超像素，确定原始图像的特征矩阵；通过鲁棒主成分分析方法，从特征矩阵中分解出低秩矩阵；

利用图像超像素按照索引树生成算法构造原始图像的分层索引树，结合高层先验信息，确定原始图像的分层稀疏范数；

将低秩矩阵进行三元分解，确定原始图像的结构化低秩矩阵恢复模型；

将原始图像的分层稀疏范数和原始图像的结构化低秩矩阵恢复模型融合，并结合交替方向优化算法，获得显著图。

进一步地，所述从原始图像中提取颜色特征，结合图像超像素，确定原始图像的特征矩阵；具体包括：

从原始图像中提取颜色特征，并利用简单线性迭代聚类算法生成图像超像素{P₁，P₂，...，P_n}，其中每个超像素块P_i对应一个特征向量x_i表示，原始图像的特征矩阵为其中，表示欧氏空间，D表示特征向量维数，n表示特征向量个数。

进一步地，所述原始图像的分层稀疏范数；具体包括：

其中，第i层第j个索引树结点的权重表示为|·|表示集合元素个数，d表示索引树的层数，n_i表示每层树节点个数，||·||_∞表示l_∞的范数，其中表示为：

其中，m表示第i层第j个树结点包含的超像素编号；使用位置、颜色和边界连接三个先验图融合为最终的高层先验图，h_m表示每个超像素块P_i∈P对应的高层先验图的对应值。

进一步地，所述将低秩矩阵进行三元分解，确定原始图像的结构化低秩矩阵恢复模型；具体包括：

将低秩矩阵分解为三个矩阵的乘积L＝QMR，Q^TQ＝I，RR^T＝I，其中r＜＜min(m，n)；其中，Q的维数表示为D×r，M的维数表示为r×r，R的维数为r×N，r表示矩阵L的秩；

假定矩阵Q和R分别具有正交的行和列向量，即Q^TQ＝I，RR^T＝I，则等式||QMR||_*＝||M||_*成立；根据上述关系可知||L||_*＝||QMR||_*＝||M||_*，结构化低秩矩阵恢复模型如下：

S.t.X＝L+S，L＝QMR，Q^TQ＝I，RR^T＝1

其中，||M||_*表示M的核范数；表示分层稀疏正则项；α，β表示平衡系数；表示流形正则项，且表达式如下：

其中，S_i是稀疏矩阵S的第i列；表示拉普拉斯矩阵，即L_g＝D-W，D为度矩阵；Tr(·)表示矩阵的迹；W表示超像素对生成的近邻矩阵，W_i，j表示第i和第j个超像素之间的距离。

进一步地，所述将原始图像的分层稀疏范数和原始图像的结构化低秩矩阵恢复模型融合，并结合交替方向优化算法，获得显著图；具体包括：

对结构化低秩矩阵恢复模型优化后表示为：

s.t.X＝L+S，L＝QMR，Q^TQ＝I，RR^T＝I.

对优化后模型的求解算法推导如下：

利用辅助变量E使得目标函数能够分解，优化后模型表示为：

s.t.X＝QMR+S，Q^TQ＝I，RR^T＝I，S＝E.

将分解后的优化模型的增广拉格朗日函数表示为：

其中，和表示拉格朗日乘子，μ＞0表示惩罚参数，使用交替方向优化算法最小化对变量M，E，S，Q，R，Y₁和Y₂交替求解。

本发明实施例提供一种基于低秩矩阵恢复的图像显著性目标检测方法，与现有技术相比，其有益效果如下：

本发明提出一种融合快速低秩矩阵分解与分层稀疏正则化的显著性目标检测方法，引入低秩矩阵三元分解加快奇异值分解的方法、降低奇异值分解的图像尺度、降低计算复杂度，从而降低了奇异值分解的规模和解决了最小化矩阵迹范数导致的高计算复杂度问题。通过构造索引树，结合高层先验，将分层稀疏正则化与矩阵低秩分解有效融合，引入分层稀疏正则化提升复杂背景下的显著性目标检测性能，解决复杂背景下的无监督图像显著性目标检测问题。

附图说明

图1为本发明实施例提供的显著性目标检测框架；

图2a为本发明实施例提供的iCoSeg数据集上与传统算法的PR曲线对比图；

图2b为本发明实施例提供的iCoSeg数据集上与经典算法的PR曲线对比图；

图3a为本发明实施例提供的iCoSeg数据集上与传统算法的F-measure曲线对比图；

图3b为本发明实施例提供的iCoSeg数据集上与主流算法的F-measure曲线对比图；

图4a为本发明实施例提供的SOD数据集上与传统算法的PR曲线对比图；

图4b为本发明实施例提供的SOD数据集上与主流算法的PR曲线对比图；

图5a为本发明实施例提供的ECSSD数据集上与传统算法的F-measure曲线对比图；

图5b为本发明实施例提供的ECSSD数据集上与主流算法的F-measure曲线对比图；

图6为本发明实施例提供的各算法生成的显著图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供一种基于低秩矩阵恢复的图像显著性目标检测方法，该方法包括：

步骤1：从原始图像中提取颜色特征，结合图像超像素，确定原始图像的特征矩阵；通过鲁棒主成分分析方法，从特征矩阵中分解出低秩矩阵。

步骤2：利用图像超像素按照索引树生成算法构造原始图像的分层索引树，结合高层先验信息，确定原始图像的分层稀疏范数。

步骤3：将低秩矩阵进行三元分解，确定原始图像的结构化低秩矩阵恢复模型。

步骤4：利用原始图像的分层稀疏范数约束图像的结构化低秩矩阵恢复模型，结合交替方向优化算法，获得显著图。

对于上述步骤1～4的具体说明如下：

首先从原始图像提取颜色特征，接着利用简单线性迭代聚类算法生成图像超像素{P₁，P₂，...，P_n}。其中每个超像素块P_i对应一个特征向量x_i表示。因此，原始图像可以表示为一个特征矩阵

为了有效结合结构化稀疏正则化方法提升显著图的生成质量。利用生成的超像素按照索引树生成算法构造原始图像的分层索引树，得到图像的层次结构表示。然后基于索引树定义图像的分层稀疏范数如下：

其中，第i层第j个索引树结点的权重表示为|·|表示集合元素个数，d表示索引树的层数，n_i表示每层树节点个数，||·||_∞表示l_∞的范数，该分层稀疏范数能够有效分割前景和背景区域，其中表示每个树节点对应的高层先验权重，定义如下：

其中，m表示第i层第j个树结点包含的超像素编号；使用位置、颜色和边界连接三个先验图融合为最终的高层先验图，h_m表示每个超像素块P_i∈P对应的高层先验图的对应值

经典的鲁棒主成分分析方法能够将特征矩阵X分解为图像背景对应的低秩矩阵L和前景显著性目标对应的稀疏矩阵S。但是，算法每次迭代需要进行奇异值分解，复杂度较高。为此，秩为r^x的低秩矩阵分解为三个矩阵的乘积，即L＝QMR，Q^TQ＝I，RR^T＝I，其中r＜＜min(m，n)。

理论：假定矩阵Q和R分别具有正交的行和列向量，即Q^TQ＝I，RR^T＝I，则等式||QMR||_*＝||M||_*成立。

上述理论可以推导出||L||_*＝||QMR||_*＝||M||_*。因此，提出以下结构化低秩矩阵恢复模型：

s.t.X＝L+S，L＝QMR,Q^TQ＝I,RR^T＝I

其中，||M||_*表示M的核范数；表示分层稀疏正则项；α，β表示平衡系数；表示流形正则项，定义如下：

其中，S_i是稀疏矩阵S的第i列；表示拉普拉斯矩阵，即L_g＝D-W，D为度矩阵；Tr(·)表示矩阵的迹；W表示超像素对生成的近邻矩阵，w_i，j表示第i和第j个超像素之间的距离。

基于上述讨论，优化问题上式可以表示为：

s.t.X＝L+S，L＝QMR，Q^TQ＝I，RR^T＝I.

上述优化模型的求解算法推导如下：

首先，利用辅助变量E使得目标函数可分，优化问题转化为：

s.t.X＝QMR+S，Q^TQ＝I，RR^T＝I，S＝E.

然后，优化上述问题的增广拉格朗日函数表示为：

其中，和表示拉格朗日乘子，μ＞0表示惩罚参数，使用交替方向优化算法最小化对变量M，E，S，Q，R，Y₁和Y₂交替求解。

结构化低秩矩阵三元分解算法如下：

Input：特征矩阵X，参数αβ，索引树权值秩上界r.

Output：L＝QMR和S.

1：初始化Q⁰＝0，M⁰＝0，R⁰＝eye(r，N)，S⁰＝0，E⁰＝0，μ⁰：0.1，

μ_max＝10¹⁰，ρ＝1.1，ε＝10^-5k＝0.

2：判断是否收敛||X-Q^kM^kR^k-S^k||_∞＜ε and||S^k-E^k||_∞＜ε，

若是，则终止，转到(13)，否则循环(3)-(12)。

3：

4：

5：

6：

7：

8：

9：

10：μ^k+1＝min(ρμ^k，μ_max)

11：k＝k+1

12：转到（3)继续循环

13：返回L^k＝Q^kM^kR^k和S^k.

利用交替方向法，分别更新增广拉格朗日函数中的各个变量：

1)更新Q^k+1和R^k+1

固定其他变量，关于Q的优化子问题表示为：

s.t.Q^TQ＝I，

其中，

上述问题是一个正交约束下的最小二乘问题，固定M^k，R^k，S^k和两个矩阵Q和M^k的乘积为其中表示矩阵R^k的伪逆，能够用满足约束R^k(R^k)^T＝I的(R^k)^T代替。Q^k+1可以根据下式计算：

Q^k+1＝QR(QM^k)＝QR(Z(R^k)^T)，

其中，QR(·)表示QR分解算子。类似地，R^k+1计算如下：

(R^k+1)^T＝QR((Q^k+1)^TZ)

2)更新M^k+1

固定其他变量，关于M的优化子问题如下：

且具有如下闭合解：

其中，SVT_μ(X)＝Udiag(max(σ-μ，0))V^T表示奇异值阈值算子，表示X的奇异值，即X＝Udiag(σ)V^T，

3)更新E^k+1

固定M^k+1，S^k，Q^k+1，R^k+1，和推导出如下优化子问题：

对变量E求导，可得：

4)更新S^k+1

关于S的优化子问题表示如下：

其中，λ＝α/(2μ^k)，

上述问题可以通过分层近邻算子求解。

算法复杂性分析

对矩阵(Q^k+1)^TZ(R^k+1)^T进行奇异值分解的时间复杂度为QR分解和矩阵相乘时间复杂度为因此，结构化低秩矩阵三元分解总的时间复杂度为其中t表示迭代次数。实际应用中r＜＜D，N，因此算法的计算复杂度降低为

实施例

针对上述模型和算法进行显著图生成与实验验证，同时与流行的显著性目标检测算法进行对比分析。这些当前表现最好的算法包括SMD、WLRR、DRFI、RBD和DSR，以及其他无监督显著性目标检测算法。

数据集的选取

如表1所示，实验使用不同条件下的数据集，测试提出算法的鲁棒性，这些数据集包括多目标简单背景数据集SOD和iCoSeg，以及多目标复杂背景数据集ECSSD。所有算法均使用Matlab2016(a)环境，使用Intel酷睿双核CPU i5-6200U和内存8GB配置进行测试和对比。

表1数据集描述

模型参数设置和评估指标

特征矩阵的维数为200×75，其中超像素数为200，每个超像素块对应的特征向量维度为75。索引树的层数设置为5层。目标函数中的参数σ²＝0.05，平衡参数α和β分别设置为0.5和1.0。输入的低秩矩阵的秩的上界使用QR分解算法估计。

评价指标包括PR曲线，F-measure曲线，平均绝对误差MAE，ROC曲线下面积(AUC)，重叠率(OR)和加权F-measure(WF)得分。其中通过设置不同的阈值来生成PR和F-measure曲线。

在不同数据集上进行实验测试，验证提出算法的有效性：

1)多目标简单背景

首先，对多目标简单背景数据集SOD和iCoSeg测试提出的算法。图2a图2b、图3a、图3b分别给出了PR和F-measure曲线。根据PR曲线，提出的算法和SMD算法的性能优于其他方法。并且从图3a、图3b中可以看出，提出的算法和SMD算法对于阈值不敏感，而其他方法仅在一定范围才能获得较好的检测效果。此外，DRFI的表现也较好，但是它是一种浅层有监督模型，需要预先训练，而提出的方法是无监督的，可以直接进行目标检测，因此比DRFI方法性能更好，也更灵活。提出的算法和SMD算法性能相当，但是提出的算法因为使用了高效的结构化低秩矩阵三元分解算法，因此效率更高，二者的运行时间对比见表2。

2)多目标复杂背景

复杂背景下，各算法的性能会受到较大影响，通过测试复杂背景条件下的多目标检测性能，可以对比各算法的鲁棒性。实验中对多目标复杂图像SOD和ECSSD进行了测试。图4a、图4b、图5a、图5b分别给出了各算法在SOD数据集上的PR曲线和在ECSSD数据集上的F-measure曲线。从图4a、图4b中可以看出，提出的算法和SMD算法性能相当。DRFI取得了最好的性能，但是DRFI是有监督的，需要提前训练模型。另外，从图5a、图5b中，提出的算法在较大的阈值范围明显优于DRFI算法，而DRFI仅在阈值较小的情况下取得相对高的F-measure指标，但是指标仍然低于提出方法在其他阈值范围内的指标。因此，综合两个复杂背景多目标数据集，提出的算法不仅无需预先训练，而且综合指标优于其他算法。说明提出的算法对复杂背景的干扰鲁棒性更强。

3)与SMD的实验对比

从以上分析可以看出，提出的算法和SMD算法的性能相当。下面从生成的显著图和运行时间两方面进一步对提出的算法和SMD进行实验分析。图6给出了不同图像条件下表现最好的算法生成的显著图。从图6中可以看出，提出的算法和SMD算法生成的显著图质量明显优于其他算法。但提出的算法能够抽取更细节的显著性目标，例如图6中的第一行，可以看出SMD算法生成的显著图存在一定的细节缺失，而提出的算法优于引入了结构化低秩矩阵三元分解，具有更好的低秩矩阵恢复效果，能够最大程度分离前景和背景图像。此外，对于提出的算法和SMD的运行时间进行了分析对比，结果如表2所示。超像素数量越多，特征矩阵变大，算法的运行时间越长，但是本文提出的算法运行速度更快，并且特征矩阵越大，运行效率约明显。综合不同数据集各指标的性能分析可以得出，本发明提出的方法的综合性能在所有方法中是最优的。

表2运行时间对比(分)

综上所述，为了提升传统无监督目标检测算法的效率，增强对背景复杂的图像鲁棒性。本发明提出一种融合低秩矩阵三元分解与分层稀疏正则化的显著性目标检测方法，低秩矩阵三元分解解决奇异值分解高计算复杂度问题，分层稀疏正则化解决复杂背景下传统显著性目标检测弱鲁棒性问题，通过对不同条件下的图像进行测试，结果表明本发明提出的方法优于其他无监督显著性目标检测算法，且具有较低的时间复杂度。

以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于低秩矩阵恢复的图像显著性目标检测方法，其特征在于，包括：

从原始图像中提取颜色特征，结合图像超像素，确定原始图像的特征矩阵；通过鲁棒主成分分析方法，从特征矩阵中分解出低秩矩阵；

利用图像超像素按照索引树生成算法构造原始图像的分层索引树，结合高层先验信息，确定原始图像的分层稀疏范数；

将低秩矩阵进行三元分解，确定原始图像的结构化低秩矩阵恢复模型；

利用原始图像的分层稀疏范数约束图像的结构化低秩矩阵恢复模型，结合交替方向优化算法，获得显著图。

2.如权利要求1所述的基于低秩矩阵恢复的图像显著性目标检测方法，其特征在于，所述从原始图像中提取颜色特征，结合图像超像素，确定原始图像的特征矩阵；具体包括：

从原始图像中提取颜色特征，并利用简单线性迭代聚类算法生成图像超像素{P₁，P₂，...，P_n}，其中每个超像素块P_i对应一个特征向量x_i表示，原始图像的特征矩阵为其中，表示欧氏空间，D表示特征向量维数，n表示特征向量个数。

3.如权利要求2所述的基于低秩矩阵恢复的图像显著性目标检测方法，其特征在于，所述原始图像的分层稀疏范数；具体包括：

其中，第i层第j个索引树结点的权重表示为 |·|表示集合元素个数，d表示索引树的层数，n_i表示每层树节点个数，||·||_∞表示l_∞的范数，其中表示为：

其中，m表示第i层第j个树结点包含的超像素编号；使用位置、颜色和边界连接三个先验图融合为最终的高层先验图，h_m表示每个超像素块P_i∈P对应的高层先验图的对应值。

4.如权利要求3所述的基于低秩矩阵恢复的图像显著性目标检测方法，其特征在于，所述将低秩矩阵进行三元分解，确定原始图像的结构化低秩矩阵恢复模型；具体包括：

将低秩矩阵分解为三个矩阵的乘积L＝QMR，Q^TQ＝I，RR^T＝I，其中r＜＜min(m，n)；其中，Q的维数表示为D×r，M的维数表示为r×r，R的维数为r×N，r表示矩阵L的秩；

假定矩阵Q和R分别具有正交的行和列向量，即Q^TQ＝I，RR^T＝I，则等式||QMR||_*＝||M||_*成立；根据上述关系可知||L||_*＝||QMR||_*＝||M||_*，结构化低秩矩阵恢复模型如下：

S·t.X＝L+S，L＝QMR，Q^TQ＝I，RR^T＝1

其中，||M||_*表示M的核范数；表示分层稀疏正则项；α，β表示平衡系数；表示流形正则项，且表达式如下：

其中，S_i是稀疏矩阵S的第i列；表示拉普拉斯矩阵，即L_g＝D-W，D为度矩阵；Tr(·)表示矩阵的迹；W表示超像素对生成的近邻矩阵，w_i，j表示第i和第j个超像素之间的距离。

5.如权利要求4所述的基于低秩矩阵恢复的图像显著性目标检测方法，其特征在于，所述将原始图像的分层稀疏范数和原始图像的结构化低秩矩阵恢复模型融合，并结合交替方向优化算法，获得显著图；具体包括：

对结构化低秩矩阵恢复模型优化后表示为：

s.t.X＝L+S，L＝QMR，Q^TQ＝I，RR^T＝I.

对优化后模型的求解算法推导如下：

利用辅助变量E使得目标函数能够分解，优化后模型表示为：

s.t.X＝QMR+S，Q^TQ＝I，RR^T＝I，S＝E.

将分解后的优化模型的增广拉格朗日函数表示为：

其中，和表示拉格朗日乘子，μ＞0表示惩罚参数，使用交替方向优化算法最小化对变量M，E，S，Q，R，Y₁和Y₂交替求解。