CN111046868B - 基于矩阵低秩稀疏分解的目标显著性检测方法 - Google Patents
基于矩阵低秩稀疏分解的目标显著性检测方法 Download PDFInfo
- Publication number
- CN111046868B CN111046868B CN201911170155.9A CN201911170155A CN111046868B CN 111046868 B CN111046868 B CN 111046868B CN 201911170155 A CN201911170155 A CN 201911170155A CN 111046868 B CN111046868 B CN 111046868B
- Authority
- CN
- China
- Prior art keywords
- matrix
- rank
- image
- norm
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于矩阵低秩稀疏分解的目标显著性检测方法,首先,对图像进行超像素分割,提取出图像特征。其次,分别提取超像素的位置、颜色以及边缘先验,并融合成一个背景先验,以增大图像背景与显著目标的差异性。然后,一方面,利用加权Schatten p‑范数对图像背景进行低秩约束。另一方面,对于显著目标,则采用具有树结构稀疏特性的l2,1范数和图像拉普拉斯正则化进行稀疏约束。本专利采用交替方向乘子法对模型进行求解。特别地,利用广义软阈值算法给出加权Schatten p‑范数子问题的解。本发明与已有的基于核范数的模型相比,能更好地逼近秩函数,使显著目标更易被检测出来,检测精度更高。
Description
技术领域
本发明属于图像处理技术领域,具体涉及基于矩阵低秩稀疏分解的目标显著性检测方法。
背景技术
在计算机视觉领域里,目标显著性检测已经成为一个具有挑战性的热门话题,其主要目的是提取图像的重要信息,即人们感兴趣的区域。近年来,目标显著性检测已被有效地运用于计算机视觉任务中,如图像检索、图像分割以及对象识别。
显著性检测的方法一般分为两大类。一类是基于数据驱动的自下而上的方法,其主要依赖于显著对象或背景的一些先验知识,例如颜色、纹理和位置等;另一类是基于目标任务驱动的自上而下的方法,该类方法需要利用标签进行有监督的学习训练。随着低秩矩阵恢复研究的兴起,很多学者也将其原理应用到目标显著性检测问题上,结合自下而上的方法,给出了一些基于低秩矩阵恢复的显著性检测方法。
假设一张图像可以分成信息冗余部分(即图像背景,通常处于低维特征子空间,具有低秩或近似低秩结构)和显著目标部分(即显著对象,具有稀疏结构,可视为稀疏噪声或误差)。换言之,对于给定的图像特征矩阵F∈Rm×n,可以拆分成一个对应图像背景的低秩矩阵L∈Rm×n和一个对应显著对象的稀疏矩阵S∈Rm×n。基于这样的假设,目标显著性检测可以看成是矩阵的低秩稀疏分解问题:
其中rank(·)为秩函数,λ为正则化参数,‖·‖0为l0范数。
由于秩函数是非凸的,并且不连续,因此(1)是一个NP难问题。所以,根据压缩感知和低秩矩阵恢复理论,利用核范数(NuclearNorm,简写为NN)和l1范数分别对秩函数和l0范数进行替代,将非凸优化问题(1)转化成以下凸优化问题:
尽管一些基于核范数的最小优化模型能较好地逼近非凸优化模型(1),且具有很强的理论保证,但在实际应用中却只能获得次优解。这是因为所有非零奇异值对秩函数的影响是相同的,而核范数将所有非零奇异值加在一起,并且同时最小化,使得奇异值具有不同的贡献。因此,核范数不能成为秩函数的最佳近似替代。
近十多年来,为了更好地逼近秩函数,人们提出了一些秩函数的替代。有人提出了一种NN的非凸最小化的替代,即Schatten p-范数,其表示为0<p≤1。显然,当p=1时,其等价于核范数,而当p越趋向0时,Schatten p-范数越近似于秩函数。Gu等人提出用加权核范数(Weighted Nuclear Norm,简写为WNN)来替代核范数,利用权重改变不同奇异值对秩函数的影响,具有较好的效果。基于加权核范数和Schatten p-范数的提出与应用,Xie等人提出了能更好处理不同奇异值影响的加权Schatten p-范数,其表达式为0<p≤1,并提出其可以更好地逼近原始秩函数。但上述现有技术方法,在显著性检测中,仍存在检测精度较低的技术问题。
发明内容
有鉴于此,为了解决上述现有技术问题,本发明提出了一种基于加权Schatten p-范数与树结构稀疏分解的目标显著性检测方法,以提高显著性检测的精确度,。
本发明的技术解决方案是,提供了一种基于矩阵低秩稀疏分解的目标显著性检测方法:
(1)给定一张输入图像I,首先通过简单线性迭代聚类方法(simple lineariterative clustering,简写为SLIC)将其分割成互不重叠的N个超像素块;
(2)对于每个超像素块Pi提取一个D维的特征向量,记为fi∈RD。然后,将所有超像素块Pi的特征向量整合成一个表示图像I的特征矩阵F=[f1,...,fN]∈RD×N;
(3)对每个超像素块Pi分别提取位置Lo(i)、颜色Co(i)和边缘Bo(i)先验,并将其融合为一个背景先验Ω(i)=Lo(i)·Co(i)·Bo(i),从而得到背景先验权重Ω;
(4)将特征矩阵F分解成低秩矩阵与稀疏矩阵的和,即F=L+S,所述低秩矩阵表征图像背景,所述稀疏矩阵表征显著目标;然后,利用加权Schatten p-范数约束低秩矩阵对于显著目标,则用树结构稀疏l2,1范数和拉普拉斯正则化(Tr(SMFST))对其进行约束;
(5)采用交替方向乘子法对分解模型进行求解,得出显著目标的检测效果图。
可选的,步骤(4)中,对低秩背景的加权Schatten p-范数约束为
为保留图像固有局部结构,对显著目标进行拉普拉斯正则化约束
其中si表示S的第i列元素,Θ∈RN×N为图像关联矩阵,其表达式为
s.t.F=L+S,
可选的,步骤(5)中,优化模型的拉格朗日函数为:
其中Y1和Y2是拉格朗日乘子,μ>0是惩罚参数,J为辅助变量。用交替方向乘子法求解模型的步骤如下:
2)初始化:L0=0,S0=0,辅助变量J0=0,拉格朗日乘子Y1,0=0,Y2,0=0,惩罚因子μ0=0.1,μmax=1010,ρ=1.1,以及迭代次数k=0;
4)固定其他变量,对Γ(Lk+1,Sk,J,Y1,k,Y2,k,μk)关于J求导并等于零,更新Jk+1;
6)分别更新Y1,k+1=Y1,k+μk(F-Lk+1-Sk+1),Y2,k+1=Y2,k+μk(Sk+1-Jk+1)以及
μk+1=min(ρμk,μmax);
7)重复步骤3)-6),直到满足收敛条件时停止;
8)输出:L和S。
本发明与现有技术相比,具有如下优点:
本发明将图像处理成超像素的形式,然后对其进行特征和背景先验提取。相比于直接在单个图像像素上操作,可以减少操作成本。本发明用加权Schatten p-范数代替核范数,使其更好地逼近秩函数。另外,利用具有树结构稀疏特性的l2,1范数,充分考虑了图像块之间的内在空间结构。并且,结合显著目标的拉普拉斯正则化约束,保留固有局部结构的同时,增大了背景与目标的差异性,大大提升了显著性检测的精确度。
附图说明
图1是本发明的流程图;
图2是本发明选取不同p值在ECSSD数据库的显著性检测结果;
图3是本发明与其他四种方法在不同数据库的显著性检测视觉效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述,但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
参照图1,本发明的具体实施过程如下:
步骤一,对于给定的输入图像I,首先通过简单线性迭代聚类方法(SLIC)将其分割成互不重叠的N个超像素块。
步骤二,对于每个超像素块Pi提取一个D维的特征向量,记为fi∈RD。然后,将所有超像素块Pi的特征向量整合成一个表示图像I的特征矩阵F=[f1,...,fN]∈RD×N。
步骤三,对每个超像素块Pi分别提取位置Lo(i)、颜色Co(i)和边缘Bo(i)先验,并将其融合为一个背景先验Ω(i)=Lo(i)·Co(i)·Bo(i),从而得到背景先验权重Ω。
其中,超像素块Pi的位置先验为其中σ2为高斯分布方差,c为图像中心。颜色先验根据人眼对暖色系的敏感程度获取。边缘先验则是其中B表示边缘超像素集合,qi表示超像素Pi内的像素个数,|·|表示交集长度,即两个超像素连接的像素个数。然后将三个先验值相乘,得到每个超像素对应的背景先验。最后,得到背景先验权重为
步骤四,将特征矩阵F分解成低秩矩阵(图像背景)与稀疏矩阵(显著目标)的和,即F=L+S。然后,利用加权Schatten p-范数约束低秩矩阵对于显著目标,则用树结构稀疏l2,1范数和拉普拉斯正则化(Tr(SMFST))对其进行约束。
其中,对低秩背景的加权Schatten p-范数约束为
为保留图像固有局部结构,对显著目标进行拉普拉斯正则化约束
其中si表示S的第i列元素,Θ∈RN×N为图像关联矩阵,其表达式为
s.t.F=L+S,
步骤五,采用交替方向乘子法对分解模型进行求解,优化模型的拉格朗日函数为
其中Y1和Y2是拉格朗日乘子,μ>0是惩罚参数,J为辅助变量。用交替方向乘子法求解模型的步骤如下:
(2)初始化:L0=0,S0=0,辅助变量J0=0,拉格朗日乘子Y1,0=0,Y2,0=0,惩罚因子μ0=0.1,μmax=1010,ρ=1.1,以及迭代次数k=0;
(4)固定其他变量,对Γ(Lk+1,Sk,J,Y1,k,Y2,k,μk)关于J求导并等于零,更新Jk+1;
(6)分别更新Y1,k+1=Y1,k+μk(F-Lk+1-Sk+1),Y2,k+1=Y2,k+μk(Sk+1-Jk+1)以及
μk+1=min(ρμk,μmax);
(7)重复步骤(3)-(6),直到满足收敛条件时停止;
(8)输出:L和S。
本发明的优势由以下实验结果与视觉效果图进一步说明。
1.实验说明
1)选取三个图像数据库,分别为ECSSD、iCoSeg以及Pascal1500。
2)确定本发明分别在不同数据库上参数p(0<p≤1)的最优取值;
3)将本发明与现有的SMD、WLRR、ULR和GBMR四种方法在不同数据库上的显著性检测性能进行对比;
4)参数α和β分别设置为0.35和1.1;
5)以平均绝对误差(MAE)、OR指数(overlapping ratio)、加权F-measure指数(WF)、平均F-measure指数(aveF)和最大F-measure指数(maxF)作为显著性检测性能的评价指标。
2.实验内容与结果
1)确定本发明分别在不同数据库上参数p(0<p≤1)的取值
本实验的目的是:说明不同p值对模型的影响。
选取p为[0.2,0.8]中间隔为0.1的七个值,分别在ECSSD上进行实验。从图2的四条曲线可知,当p=0.3时显著性检测效果最好。在另外两个数据库上也得到相同的结论。
2)将本发明与现有的SMD、WLRR、ULR和GBMR四种方法在不同数据库上的显著性检测性能进行对比
本实验的目的是:展示在不同数据库下,本发明与其他四种方法的显著性检测性能。
图3展示了部分由五种方法进行目标显著性检测的视觉效果图。表1、表2和表3是在三个不同数据库中,五种方法分别进行目标显著性检测的评价指标结果。
表1五种算法在ECSSD数据库中的显著性检测结果
注:“+”表示值越大越好;“-”表示值越小越好.
表2五种算法在iCoSeg数据库中的显著性检测结果
表3五种算法在Pascal1500数据库中的显著性检测结果
综上所有分析,本发明在目标显著性检测问题上具有良好的表现,优于其他四种检测方法。
虽然以上将实施例分开说明和阐述,但涉及部分共通之技术,在本领域普通技术人员看来,可以在实施例之间进行替换和整合,涉及其中一个实施例未明确记载的内容,则可参考有记载的另一个实施例。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之内。
Claims (2)
1.基于矩阵低秩稀疏分解的目标显著性检测方法,其特征在于:包括如下步骤:
(1)给定一张输入图像I,首先通过线性迭代聚类方法将其分割成互不重叠的N个超像素块;
(2)对于每个超像素块Pi提取一个D维的特征向量,记为fi∈RD;然后,将所有超像素块Pi的特征向量整合成一个表示图像I的特征矩阵:
F=[f1,...,fN]∈RD×N;
(3)对每个超像素块Pi分别提取位置Lo(i)、颜色Co(i)和边缘Bo(i)先验,并将其融合为一个背景先验Ω(i)=Lo(i)·Co(i)·Bo(i),从而得到背景先验权重Ω;
(4)将特征矩阵F分解成低秩矩阵与稀疏矩阵的和,即F=L+S,所述低秩矩阵表征图像背景,所述稀疏矩阵表征显著目标;然后,利用加权Schattenp-范数约束低秩矩阵对于显著目标,则用树结构稀疏l2,1范数和拉普拉斯正则化(Tr(SMFSΤ))对其进行约束;
(5)采用交替方向乘子法对分解模型进行求解,得出显著目标的检测效果图;
步骤(4)中,对低秩背景的加权Schattenp-范数约束为
为保留图像固有局部结构,对显著目标进行拉普拉斯正则化约束
其中si表示S的第i列元素,Θ∈RN×N为图像关联矩阵,其表达式为
s.t.F=L+S,
步骤(5)中,优化模型的拉格朗日函数为:
其中Y1和Y2是拉格朗日乘子,μ>0是惩罚参数,J为辅助变量;用交替方向乘子法求解模型的步骤如下:
2)初始化:L0=0,S0=0,辅助变量J0=0,拉格朗日乘子Y1,0=0,Y2,0=0,惩罚因子μ0=0.1,μmax=1010,ρ=1.1,以及迭代次数k=0;
3)分别更新Y1,k+1=Y1,k+μk(F-Lk+1-Sk+1),Y2,k+1=Y2,k+μk(Sk+1-Jk+1)以及μk+1=min(ρμk,μmax);
4)重复步骤6),直到满足收敛条件时停止;
5)输出:L和S。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911170155.9A CN111046868B (zh) | 2019-11-26 | 2019-11-26 | 基于矩阵低秩稀疏分解的目标显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911170155.9A CN111046868B (zh) | 2019-11-26 | 2019-11-26 | 基于矩阵低秩稀疏分解的目标显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111046868A CN111046868A (zh) | 2020-04-21 |
CN111046868B true CN111046868B (zh) | 2023-02-24 |
Family
ID=70233322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911170155.9A Active CN111046868B (zh) | 2019-11-26 | 2019-11-26 | 基于矩阵低秩稀疏分解的目标显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046868B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862027B (zh) * | 2020-07-15 | 2024-02-20 | 常州大学 | 基于低秩稀疏矩阵分解的纺织品瑕疵检测方法 |
CN112927235B (zh) * | 2021-02-26 | 2022-12-02 | 南京理工大学 | 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法 |
CN113344013B (zh) * | 2021-07-15 | 2023-06-30 | 西安电子科技大学 | 基于图低秩稀疏分解的极化sar图像特征挖掘方法 |
CN115690418B (zh) * | 2022-10-31 | 2024-03-12 | 武汉大学 | 一种无监督的图像航路点自动检测方法 |
CN116701891A (zh) * | 2023-04-24 | 2023-09-05 | 中国人民解放军国防科技大学 | 基于Schatten-p范数的低秩判别迁移子空间学习方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734174A (zh) * | 2018-04-21 | 2018-11-02 | 大连海事大学 | 一种基于低秩表示的复杂背景图像显著性检测方法 |
CN110188770A (zh) * | 2019-05-17 | 2019-08-30 | 重庆邮电大学 | 一种基于结构矩阵分解的非凸低秩显著目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170169563A1 (en) * | 2015-12-11 | 2017-06-15 | Macau University Of Science And Technology | Low-Rank and Sparse Matrix Decomposition Based on Schatten p=1/2 and L1/2 Regularizations for Separation of Background and Dynamic Components for Dynamic MRI |
-
2019
- 2019-11-26 CN CN201911170155.9A patent/CN111046868B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734174A (zh) * | 2018-04-21 | 2018-11-02 | 大连海事大学 | 一种基于低秩表示的复杂背景图像显著性检测方法 |
CN110188770A (zh) * | 2019-05-17 | 2019-08-30 | 重庆邮电大学 | 一种基于结构矩阵分解的非凸低秩显著目标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于稀疏表示模型的显著目标检测;张萌等;《福州大学学报(自然科学版)》(第02期);第47-53页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111046868A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046868B (zh) | 基于矩阵低秩稀疏分解的目标显著性检测方法 | |
Tu et al. | Learning superpixels with segmentation-aware affinity loss | |
CN104834922B (zh) | 基于混合神经网络的手势识别方法 | |
CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
CN106920243B (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
Zhang et al. | Global and local saliency analysis for the extraction of residential areas in high-spatial-resolution remote sensing image | |
CN110148104B (zh) | 基于显著性分析与低秩表示的红外与可见光图像融合方法 | |
CN105574534B (zh) | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 | |
US11182644B2 (en) | Method and apparatus for pose planar constraining on the basis of planar feature extraction | |
CN104182772B (zh) | 一种基于深度学习的手势识别方法 | |
Zhang et al. | Double low-rank matrix decomposition for hyperspectral image denoising and destriping | |
CN107292234B (zh) | 一种基于信息边缘和多模态特征的室内场景布局估计方法 | |
CN106023257B (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
Huang et al. | Saliency and co-saliency detection by low-rank multiscale fusion | |
CN109299303B (zh) | 基于可变形卷积与深度网络的手绘草图检索方法 | |
CN110210282A (zh) | 一种基于非凸低秩稀疏分解的运动目标检测方法 | |
Zhong et al. | Multiscale and multifeature normalized cut segmentation for high spatial resolution remote sensing imagery | |
Qu et al. | Hyperspectral and panchromatic image fusion via adaptive tensor and multi-scale retinex algorithm | |
Dinesh et al. | 3D point cloud color denoising using convex graph-signal smoothness priors | |
CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
Yao et al. | Principal component dictionary-based patch grouping for image denoising | |
TU et al. | MULTITEMPORAL IMAGE CLOUD REMOVAL USING GROUP SPARSITY AND NONCONVEX LOW-RANK APPROXIMATION. | |
Wang | Image matting with transductive inference | |
CN109993151A (zh) | 一种基于多模块全卷积网络的三维视频视觉注意力检测方法 | |
CN109658523A (zh) | 利用ar增强现实应用实现车辆各功能使用说明的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |