CN109086775B - 一种快速流形排序和低秩约束的协同显著性检测方法 - Google Patents
一种快速流形排序和低秩约束的协同显著性检测方法 Download PDFInfo
- Publication number
- CN109086775B CN109086775B CN201810796361.XA CN201810796361A CN109086775B CN 109086775 B CN109086775 B CN 109086775B CN 201810796361 A CN201810796361 A CN 201810796361A CN 109086775 B CN109086775 B CN 109086775B
- Authority
- CN
- China
- Prior art keywords
- collaborative
- saliency map
- manifold
- saliency
- significance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000012163 sequencing technique Methods 0.000 claims abstract description 3
- 230000004927 fusion Effects 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000002195 synergetic effect Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 101150064138 MAP1 gene Proteins 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 235000009508 confectionery Nutrition 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 101150077939 mapA gene Proteins 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种快速流形排序和低秩约束的协同显著性检测方法。首先,通过两阶段的快速流形排序算法为每张图片生成多张协同显著图;然后,基于协同显著图从每张图片分割出一组不同尺度的显著性区域,并通过显著图构建的特征矩阵得到自适应权重,与协同显著图相乘得到融合后的结果;最后,再利用图割法对检测结果作进一步优化。本发明能够有效增强协同显著性物体,并抑制背景和非协同显著区域。
Description
技术领域
本发明属于计算机视觉图像检测领域,特别涉及了一种快速流形排序和低秩约束的协同显著性检测方法。
背景技术
协同显著性检测是计算机视觉领域的一个热门研究方向。其作为视觉显著性检测领域的一个分支,旨在凸显一组多张图片中相同的显著性目标,并被广泛应用于物体协同分割、视频的前景提取、图像检索、多摄像头监控等计算机视觉任务之中。
现有的协同显著性检测算法主要分为三类:自底向上的方法、基于融合的方法和基于学习的方法。自底向上的方法通过人工提取一些图片特征得到一组图片的二值化结果。Li等人通过挖掘单张图片的内部显著性和多张图片之间的显著性关联得到一组成对图片的协同显著性区域。随后,他们在先前工作的基础上,使用多尺度的分割方法探索前景区域的物体属性,以产生单张图像的内部显著图,同时,提取更多有效的局部描述符来计算图片之间的协同显著图。以上两种方法都是通过加权组合图像内部和图像之间的显著图以得到最终的协同显著图。Fu等人提出基于聚类的协同显著性检测方法,通过融合对比,空间和相关性这三个线索得到最终的协同显著性图。Cao等人提出了一种通用的显著性融合框架,通过探索多张显著图之间的关系来获得一个自适应权重,以通过加权融合产生协同显著图。最近,基于学习的协同显著性检测方法正在逐渐兴起,Li等人提出两阶段的检测框架,通过显著图确定标签信息,然后利用快速流形排序学习得到二值化协同显著性图。然而,该方法第一阶段通过显著图选取的标签信息并不纯净,导致其第二阶段经过快速流形排序(EMR)学习得到的二值图并不准确,最终导致前景像素和背景像素的误检。
发明内容
为了解决上述背景技术提出的技术问题,本发明旨在提供一种快速流形排序和低秩约束的协同显著性检测方法,增强协同显著性物体,并抑制背景和非协同显著区域。
为了实现上述技术目的,本发明的技术方案为:
一种快速流形排序和低秩约束的协同显著性检测方法,包括以下步骤:
步骤1、基于快速流形排序算法得到第一阶段协同显著图:
步骤1.1、对于给定的一组输入图像M为该组输入图像的数目,用LAB空间颜色来表示每一个像素点,构建数据点集χ={x1,x2,...,xn},其中xk代表用LAB空间颜色表示的某一像素,n代表该组输入图像所有像素数目;
步骤1.2、利用聚类算法选择d个聚类中心作为锚点{u1,u2,...,ud},每一个数据点xk与距它最近的s个锚点相连,s<d,计算所有数据点与各自最近的s个锚点之间的关联权重zkp,并组成一个关联矩阵Z∈Rd×n;
步骤1.3、使用单张显著性检测算法得到的显著图作为原始标签信息,并计算计算每一张显著图SMi的均值thi,当像素大于均值thi,则yi被赋值“1”,否则yi被赋值“0”,得到初始列向量y=[y1;y2;...;yM];
步骤2、基于快速流形排序得到第二阶段协同显著性图:
步骤3、协同显著性分割:
步骤4、低秩约束:
步骤4.1、步骤3分割出的显著性区域fij之间具有相似属性,为了表示这种相似属性,利用三维颜色直方图来表示分割出的每一个显著性区域,将每一个颜色通道分为q个区间,总计Q=q3个颜色区间,统计每一个显著性区域在每一个颜色区间的像素个数,用以表示该显著性区域的颜色直方图,记为hij∈RQ×1,将所有分割出的显著性区域表示为特征矩阵
步骤4.2、特征矩阵H具有低秩性质,将特征矩阵表示为H=L+S,L代表低秩部分,S代表稀疏部分;
ζij=-||Sij||2
其中,Sij为矩阵S第i行第j列元素,||·||2代表矩阵的l2范数;
步骤5、基于差异值计算自适应权重并得到融合图:
步骤6、优化平滑融合图,得到最终的协同显著性检测结果。
进一步地,在步骤1.2中,聚类算法采用k-means算法。
进一步地,在步骤1.2中,关联权重zkp的计算公式如下:
进一步地,在步骤1.4中,快速流形排序算法的函数r*如下:
进一步地,在步骤3.1中,采用超像素分割法采用SLIC法。
进一步地,在步骤3.2中,通过如下公式获得二值图Bij:
进一步地,在步骤4.3中,采用RPCA算法求解S:
min(||L||*+λ||S||1)
s.t.H=L+S
其中,||·||*代表矩阵的核范数,||·||1代表矩阵的l1范数,λ为用来控制矩阵S的稀疏程度的参数;
进一步地,步骤6的具体过程如下:
步骤6.1、采用图割的方法对融合图进行平滑;
步骤6.2、利用Max-Flow方法得到第i张输入图像基于前景概率的每个像素点的前景图Mi;
步骤6.3、计算最终的协同显著性检测结果CSfinal:
采用上述技术方案带来的有益效果:
本发明通过快速流形排序产生的基于不同标签信息的协同显著图,并利用低秩分解得到的自适应权重加权融合,得到融合后的结果,最后再用图割法平滑优化,得到的协同显著图能有效增强协同显著区域,抑制非协同部分。
附图说明
图1是本发明的方法流程图;
图2是本发明与其余不同算法检测结果的对比图;
图3是本发明与其余算法在AP、AUC、F-measure指标上的对比图。
具体实施方式
以下将结合附图,对本发明的技术方案进行详细说明。
本实施例在最常用的iCoseg数据集进行实验。iCoseg包含38组图片,每组含多张图片,每张图片包含一个或多个外形相似或相同的物体,共634张图像。每张图像都有基于像素级别的真值图用于对协同显著性图的评测。
如图1所示,本发明提出的一种快速流形排序和低秩约束的协同显著性检测方法,具体步骤如下。
步骤1、基于快速流形排序算法得到第一阶段协同显著图:
步骤1.1、对于给定的一组输入图像M为该组输入图像的数目,用LAB空间颜色来表示每一个像素点,构建数据点集χ={x1,x2,...,xn},其中xk代表用LAB空间颜色表示的某一像素,n代表该组输入图像所有像素数目;
步骤1.2、利用k-menas聚类算法选择d个聚类中心作为锚点{u1,u2,...,ud},每一个数据点xk与距它最近的s个锚点相连,s<d,计算所有数据点与各自最近的s个锚点之间的关联权重zkp,并组成一个关联矩阵Z∈Rd×n:
步骤1.3、使用单张显著性检测算法得到的显著图作为原始标签信息,并计算计算每一张显著图SMi的均值thi,当像素大于均值thi,则yi被赋值“1”,否则yi被赋值“0”,得到初始列向量y=[y1;y2;...;yM];
步骤2、基于快速流形排序得到第二阶段协同显著性图:
步骤3、协同显著性分割:
步骤4、低秩约束:
步骤4.1、步骤3分割出的显著性区域fij之间具有相似属性,为了表示这种相似属性,利用三维颜色直方图来表示分割出的每一个显著性区域,将每一个颜色通道分为q个区间,总计Q=q3个颜色区间,统计每一个显著性区域在每一个颜色区间的像素个数,用以表示该显著性区域的颜色直方图,记为hij∈RQ×1,将所有分割出的显著性区域表示为特征矩阵
步骤4.2、特征矩阵H具有低秩性质,将特征矩阵表示为H=L+S,L代表低秩部分,S代表稀疏部分;
步骤4.3、采用RPCA算法求解稀疏矩阵S:
min(||L||*+λ||S||1)
s.t.H=L+S
其中,||·||*代表矩阵的核范数,||·||1代表矩阵的l1范数,λ为用来控制矩阵S的稀疏程度的参数;
ζij=-||Sij||2
其中,Sij为矩阵S第i行第j列元素,||·||2代表矩阵的l2范数。
步骤5、基于差异值计算自适应权重并得到融合图:
步骤6、优化平滑融合图,得到最终的协同显著性检测结果:
步骤6.1、采用图割的方法对融合图进行平滑;
步骤6.2、利用Max-Flow方法得到第i张输入图像基于前景概率的每个像素点的前景图Mi;
图2是本发明与其余不同优秀算法检测结果的对比图,图3是本发明方法与其余优秀算法在AP(average precision)、AUC(area under curve)、F-measure指标上的对比图,可以看出本发明的各项指标均超过其余方法,说明本发明的有效性。在图中,Ours表示本发明,其余CBCS-S、CBCS、BSCA、CSHS、ESMG、RBD、RFPR均为本领域已知算法。
实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (10)
1.一种快速流形排序和低秩约束的协同显著性检测方法,其特征在于,包括以下步骤:
步骤1、基于快速流形排序算法得到第一阶段协同显著图:
步骤1.1、对于给定的一组输入图像M为该组输入图像的数目,用LAB空间颜色来表示每一个像素点,构建数据点集χ={x1,x2,...,xn},其中xk代表用LAB空间颜色表示的某一像素,k=1,2,…,n,n代表该组输入图像所有像素数目;
步骤1.2、利用聚类算法选择d个聚类中心作为锚点{u1,u2,...,ud},每一个数据点xk与距它最近的s个锚点相连,s<d,计算所有数据点与各自最近的s个锚点之间的关联权重zkp,并组成一个关联矩阵Z∈Rd×n;
步骤1.3、使用单张显著性检测算法得到的显著图作为原始标签信息,并计算每一张显著图SMi的均值thi,当像素大于均值thi,则yi被赋值“1”,否则yi被赋值“0”,得到初始列向量y=[y1;y2;...;yM];
步骤2、基于快速流形排序得到第二阶段协同显著性图:
步骤3、协同显著性分割:
步骤4、低秩约束:
步骤4.1、步骤3分割出的显著性区域fij之间具有相似属性,为了表示这种相似属性,利用三维颜色直方图来表示分割出的每一个显著性区域,将每一个颜色通道分为q个区间,总计Q=q3个颜色区间,统计每一个显著性区域在每一个颜色区间的像素个数,用以表示该显著性区域的颜色直方图,记为hij∈RQ×1,将所有分割出的显著性区域表示为特征矩阵
步骤4.2、特征矩阵H具有低秩性质,将特征矩阵表示为H=L+S,L代表低秩部分,S代表稀疏部分;
ζij=-||Sij||2
其中,Sij为矩阵S第i行第j列元素,||·||2代表矩阵的l2范数;
步骤5、基于差异值计算自适应权重并得到融合图:
步骤6、优化平滑融合图,得到最终的协同显著性检测结果。
2.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法,其特征在于,在步骤1.2中,聚类算法采用k-means算法。
6.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法,其特征在于,在步骤3.1中,超像素分割法采用SLIC法。
9.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法,其特征在于,在步骤4.3中,采用RPCA算法求解S:
min(||L||*+λ||S||1)
s.t.H=L+S
其中,||·||*代表矩阵的核范数,||·||1代表矩阵的l1范数,λ为用来控制矩阵S的稀疏程度的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810796361.XA CN109086775B (zh) | 2018-07-19 | 2018-07-19 | 一种快速流形排序和低秩约束的协同显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810796361.XA CN109086775B (zh) | 2018-07-19 | 2018-07-19 | 一种快速流形排序和低秩约束的协同显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109086775A CN109086775A (zh) | 2018-12-25 |
CN109086775B true CN109086775B (zh) | 2020-10-27 |
Family
ID=64837952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810796361.XA Active CN109086775B (zh) | 2018-07-19 | 2018-07-19 | 一种快速流形排序和低秩约束的协同显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109086775B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413151A (zh) * | 2013-07-22 | 2013-11-27 | 西安电子科技大学 | 基于图正则低秩表示维数约简的高光谱图像分类方法 |
CN104240244A (zh) * | 2014-09-10 | 2014-12-24 | 上海交通大学 | 一种基于传播模式和流形排序的显著性物体检测方法 |
CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
CN105574548A (zh) * | 2015-12-23 | 2016-05-11 | 北京化工大学 | 一种基于稀疏和低秩表示图的高光谱数据降维方法 |
CN105740912A (zh) * | 2016-02-03 | 2016-07-06 | 苏州大学 | 基于核范数正则化的低秩图像特征提取的识别方法及*** |
CN105787516A (zh) * | 2016-03-09 | 2016-07-20 | 南京信息工程大学 | 一种基于空谱局部性低秩超图学习的高光谱图像分类方法 |
-
2018
- 2018-07-19 CN CN201810796361.XA patent/CN109086775B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413151A (zh) * | 2013-07-22 | 2013-11-27 | 西安电子科技大学 | 基于图正则低秩表示维数约简的高光谱图像分类方法 |
CN104240244A (zh) * | 2014-09-10 | 2014-12-24 | 上海交通大学 | 一种基于传播模式和流形排序的显著性物体检测方法 |
CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
CN105574548A (zh) * | 2015-12-23 | 2016-05-11 | 北京化工大学 | 一种基于稀疏和低秩表示图的高光谱数据降维方法 |
CN105740912A (zh) * | 2016-02-03 | 2016-07-06 | 苏州大学 | 基于核范数正则化的低秩图像特征提取的识别方法及*** |
CN105787516A (zh) * | 2016-03-09 | 2016-07-20 | 南京信息工程大学 | 一种基于空谱局部性低秩超图学习的高光谱图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109086775A (zh) | 2018-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108549891B (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
CN109829449B (zh) | 一种基于超像素时空上下文的rgb-d室内场景标注方法 | |
CN110163239B (zh) | 一种基于超像素和条件随机场的弱监督图像语义分割方法 | |
CN110866896B (zh) | 基于k-means与水平集超像素分割的图像显著性目标检测方法 | |
CN105184772B (zh) | 一种基于超像素的自适应彩色图像分割方法 | |
CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
CN109086777B (zh) | 一种基于全局像素特征的显著图精细化方法 | |
CN108629783B (zh) | 基于图像特征密度峰值搜索的图像分割方法、***及介质 | |
CN110096961B (zh) | 一种超像素级别的室内场景语义标注方法 | |
CN108596919B (zh) | 一种基于深度图的自动图像分割方法 | |
CN109255357B (zh) | 一种rgbd图像协同显著性检测方法 | |
CN105654475B (zh) | 基于可区分边界和加权对比度的图像显著性检测方法及其装置 | |
CN108022244B (zh) | 一种基于前景和背景种子用于显著目标检测的超图优化方法 | |
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN108416347A (zh) | 基于边界先验和迭代优化的显著目标检测算法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN103093470A (zh) | 一种具有尺度无关特性的快速多模态图像协同分割方法 | |
CN107358172B (zh) | 一种基于人脸朝向分类的人脸特征点初始化方法 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN108388901B (zh) | 基于空间-语义通道的协同显著目标检测方法 | |
CN108345835B (zh) | 一种基于仿复眼感知的目标识别方法 | |
CN112329662A (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN107085725B (zh) | 一种通过基于自适应码本的llc聚类图像区域的方法 | |
CN111814884A (zh) | 一种基于可变形卷积的目标检测网络模型的升级方法 | |
CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 210032 No. 219 Ning six road, Jiangbei new district, Nanjing, Jiangsu Applicant after: Nanjing University of Information Science and Technology Address before: 211500 Yuting Square, 59 Wangqiao Road, Liuhe District, Nanjing City, Jiangsu Province Applicant before: Nanjing University of Information Science and Technology |
|
GR01 | Patent grant | ||
GR01 | Patent grant |