CN109448015A - 基于显著图融合的图像协同分割方法 - Google Patents
基于显著图融合的图像协同分割方法 Download PDFInfo
- Publication number
- CN109448015A CN109448015A CN201811272256.2A CN201811272256A CN109448015A CN 109448015 A CN109448015 A CN 109448015A CN 201811272256 A CN201811272256 A CN 201811272256A CN 109448015 A CN109448015 A CN 109448015A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- super
- formula
- notable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000004927 fusion Effects 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims abstract description 58
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004040 coloring Methods 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 11
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 210000003296 saliva Anatomy 0.000 claims 3
- 238000010276 construction Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 11
- 238000003709 image segmentation Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明基于显著图融合的图像协同分割方法，涉及图像处理技术领域，步骤是：输入图像组，预分割图像；计算图像Ij的对象图obj；计算图像Ij的基于DRFI的显著图Sd，计算图像Ij的基于背景先验优化的显著图Sr，计算图像Ij的基于近邻优化的显著图Ssca，计算图像Ij的基于DRFI和对象性的显著图Sdo，计算图像Ij的基于背景先验优化和对象性的显著图Sro；计算融合的显著图S；协同项优化融合的显著图S；结合数据项和平滑项协同分割，本发明克服了现有技术在分割结果中前景目标缺失，以及前景目标在边界处无法准确分割的问题。
Description
技术领域
本发明的技术方案涉及图像处理技术领域，具体地说是基于显著图融合的图像协同分割方法。
背景技术
显著图融合目的是融合多种方法得到的显著图，达到突出前景目标区域和抑制背景区域的目标。在显著图融合的基础上，利用显著图提供的先验信息进行协同分割。典型的显著图融合方法为Cao等人在2014年发表的“Self-Adaptively Weighted Co-saliencyDetection via Rank Constraint”论文中提出利用多个显著性线索的关系，获得自适应权重，通过加权获得最终的显著图，该方法在加权部分对图像的所有区域使用同一个自适应权重，在图像前景背景复杂时导致无法很好突出前景目标抑制背景噪声。
图像的协同分割旨在从一组图像中分割出共同的前景目标，协同分割结合了监督分割和无监督分割的优点，不需要人工交互即可进行图像分割，在分割图像的同时充分利用同组其他图像的信息，具有广阔的应用前景。自Rother首次提出基于马尔科夫随机场的图像协同分割模型后，越来越多的人研究协同分割，协同分割分为基于像素点的图像协同分割方法和基于区域的图像协同分割方法。
典型的图像协同分割的方法为Wang等人于2016年发表的“Higher-Order ImageCo-segmentation”一文中提出了高阶能量的协同分割，该方法需要人工标记前景和背景，将图像所有的像素点同标记的前景背景比较得到图像的初始显著性值，利用图割方法分割图像，该方法需要人工标记耗时较多，并且图像的初始显著性值受人工标记影响较大，对于前景背景颜色相似的图像分割效果较差。Meng等人在2016年发表的“Cosegmentation ofmultiple image groups”一文提出了多图像组协同分割，该方法主要将图像分为简单图像和复杂图像，简单图像的分割结果指导复杂图像的分割，每次的分割结果作为先验优化下一次迭代的图像分割，该方法人工将图像分为简单图像和复杂图像耗时较多，简单图像的选取对图像的分割结果影响大，并且在对于复杂图像前景背景颜色相似的情况下无法准确的将前景目标分割出来。Xu等人在2017年发表的“Image Cosegmentation using ShapeSimilarity and Object Discovery Scheme”一文提出了利用形状相似和前景发现构建一个模型，前景发现获得前景目标的粗略轮廓，利用图像间能量和图像内能量对图像进行协同分割，该方法在同组图像前景目标轮廓差别较大时分割效果较差。CN103390279B公开了联合显著性检测与判别式学习的目标前景协同分割方法，该方法使用低秩矩阵分解进行图像的显著性检测，在图像分割部分使用阈值进行二值分割，该方法没有考虑图像前景背景对比度较弱的情况，导致显著性检测部分图像出现大量背景噪声，图像分割部分难以找到一个合适阈值导致分割结果较差，并且对噪声敏感。CN105740915A公开了一种融合感知信息的协同分割方法，该方法在图像协同分割部分使用同组其他图像的协同信息，但在计算各个图像显著性值时未使用同组图像协同信息，导致计算的单张显著图噪声多，协同分割效果不好。CN106780376A公开了基于显著性检测和联合分割算法的背景图像分割方法，该方法使用K均值聚类的方法将所有的像素点进行聚类，在背景复杂的图像中使用K均值聚类无法将所有的像素点很好的聚类，无法确定K的最优值，导致背景复杂的图像分割效果不好。CN105809672A公开了一种基于超像素和结构化约束的图像多目标协同分割方法，该方法需要选取部分图像训练前景背景分类器，训练集的选择会影响分类器的性能，训练集选取不合适会导致分类器无法精确地分割图像。
总之，图像协同分割方法的相关现有技术存在图像分割结果中图像前景目标缺失，以及图像前景目标在边界处无法准确分割的缺陷。
发明内容
本发明所要解决的技术问题是：提供基于显著图融合的图像协同分割方法，对每张图像利用颜色、纹理、位置等信息，计算多个显著图，多个显著图进行像素级别的融合，得到融合的显著图，充分利用同组图像前景目标相似的关系，利用图像间线索对融合的显著图进行优化，得到优化后的显著图，利用优化后的显著图和全局线索进行协同分割，克服了现有技术在分割结果中前景目标缺失，以及前景目标在边界处无法准确分割的问题。
本发明解决该技术问题所采用的技术方案是：基于显著图融合的图像协同分割方法，对每张图像计算多个显著图，进行融合之后利用协同项对融合的显著图进行优化，利用优化后的显著图、数据项和平滑项进行协同分割，具体步骤如下：
第一步，输入图像组，预分割图像：
输入图像组I＝{I1,I2,...,Isum}，对图像Ij,j＝1,2,...,sum使用SLIC方法进行预分割，得到超像素sp＝{spi,i＝1,2,...,n}，n如公式(1)所示，
公式(1)中，row和col分别是图像Ij的行、列大小，由此完成输入图像组，预分割图像；
第二步，计算图像Ij的对象图obj：
对上述第一步中的图像Ij，利用“Measuring the objectness of imagewindows”所提出的对象度量测量方法，输出图像Ij的一组边界框和该组边界框所包含的图像前景目标的概率，然后将排名前1000的边界框所包含的图像前景目标的概率累积生成如公式(2)所示的图像Ij的对象图obj，
公式(2)中，num为图像Ij的像素点的个数，probability为“概率”一词的英文，由此完成计算图像Ij的对象图obj；
第三步，计算图像Ij的基于DRFI的显著图Sd：
使用公知的DRFI方法，完成计算图像Ij的基于DRFI的显著图Sd；
第四步，计算图像Ij的基于背景先验优化的显著图Sr：
对上述第一步中的图像Ij，计算图像Ij的基于背景先验优化的显著图Sr，步骤如下，通过连接所有相邻的超像素构造无向图，计算显著图Sd中超像素sp的平均显著性值，利用大津算法获取图像Ij的自适应阈值，小于该阈值的超像素被归为背景种子集合Bback，位于图像Ij边界上的超像素被归为边界种子集合Bside，Bback和Bside取交集得到背景集合Bnd如公式(3)所示，
Bnd＝Bback∩Bside (3)，
使用下述公式(4)对超像素区域sp和背景集合Bnd的连接程度进行计算，
公式(4)中，LenBnd(sp)定义为如公式(5)所示，
公式(5)中，当超像素spi被归为背景集合Bnd时，σ(spi∈Bnd)＝1，否则为0，
公式(4)中，Area(sp)定义如公式(6)所示，
公式(6)中，设定δc＝10，dgeo(sp,spi)为任意两个超像素之间，沿无向图最短路径的边权重的测地距离，如公式(7)所示，
公式(7)中，dgeo(spi,spi)＝0，dapp(spi,spi+1)是超像素spi和超像素spi+1在CIE-Lab颜色空间中的欧氏距离，
使用区域对比度作为显著性的线索，利用空间距离进行加权，计算权重项wC(sp)，如公式(8)所示，
公式(8)中，设定δs＝0.25，dspa(sp,spi)为超像素sp的中心与超像素spi的中心的距离，为背景概率，δBndC＝1，进行基于背景的显著性优化，图像Ij的像素点p∈spi的显著性值Sr(p)＝wC(spi)，由此计算得到图像Ij的基于背景先验优化的显著图Sr；
第五步，计算图像Ij的基于近邻优化的显著图Ssca：
图像边界上的超像素是彼此相连的，所以任意一个超像素的邻居包括与该超像素在位置上相邻的超像素，和与相邻超像素共有同一边界的超像素，计算超像素spi对超像素spj的影响因子f_inij，建立影响因子矩阵F_in如公式(9)所示，
公式(9)中，||ci,cj||2是在CIE-Lab色彩空间中超像素spi和超像素spj颜色之间的欧氏距离，其中NB(i)是超像素spi的邻居集合，对影响因子矩阵进行归一化如公式(10)所示，
F_in*＝D_in-1·F_in (10)，公式(10)中，D_in＝diag{d1,d2,...,dn},di＝∑jf_inij，超像素下一个时刻的状态由该超像素此时的状态和该超像素的邻居此时的状态共同决定，建立了一个置信度矩阵C_in＝diag{c1,c2,...,cn}，其中ci定义为公式(11)所示，
显著图Ssca按照公式(12)和公式(13)更新如下，
Ssca＝Sr (12)，
公式(13)中，F_in*为影响因子矩阵，C_in为置信度矩阵，I为单位矩阵，t为迭代更新的次数，设定t＝10，
由此完成计算图像Ij的基于近邻优化的显著图Ssca；
第六步，计算图像Ij的基于DRFI和对象性的显著图Sdo：
图像的超像素构成一个无向加权图G＝(V,E)，顶点vi∈V代表超像素spi，边ei,j∈E表示连接超像素spi和spj的边，边的权重根据外观差异、位置差异、显著性和对象性差异进行计算，具体操作步骤如下：
第6.1步，计算外观差异：
外观差异包括两部分，颜色差异和纹理差异，其中颜色差异Wc(vi,vj)如公式(14)所示，纹理差异Wt(vi,vj)如公式(15)所示，
公式(14)中，是CIE-Lab颜色空间下超像素spi的颜色直方图，是CIE-Lab颜色空间下超像素spj的颜色直方图，||·||2是两个直方图之间的欧氏距离，
公式(15)中，是超像素spi的纹理直方图，是超像素spj的纹理直方图，纹理特征使用SIFT特征，每个颜色通道选取σ＝1的高斯导数方向，对于每个颜色通道的每个方向，取bin＝10，对于超像素spi有维数N＝240的纹理直方图使用L1范数对纹理直方图进行归一化，||·||2是两个直方图之间的欧氏距离，由此完成计算外观差异；
第6.2步，计算位置差异：
位置差异Wpo(vi,vj)由公式(16)进行计算，
公式(16)中，poi是超像素spi相对于图像尺寸进行归一化的坐标，poj是超像素spj相对于图像尺寸进行归一化的坐标，由此完成计算位置差异；
第6.3步，计算显著性和对象性差异：
显著性和对象性差异Wsal_obj_d(vi,vj)由公式(17)进行计算，
公式(17)中，sal_di为在上述第三步中的图像Ij的显著图Sd中的超像素spi的平均显著性值，sal_dj为在上述第三步中的图像Ij的显著图Sd中的超像素spj的平均显著性值，obji为超像素spi的对象性值，objj为超像素spj的对象性值，由此完成计算显著性和对象性差异；
第6.4步，计算权重：
上述第三步中的图像Ij的显著图Sd和上述第二步中的图像Ij的对象图obj之间的一致性为调整这两项的贡献因子，结合外观差异，位置差异，显著性和对象性差异来计算无向加权图G＝(V,E)中边的权重，权重Wd(vi,vj)如下公式(18)所示，
公式(18)中，dso_d为高置信度的目标区域Fsal_d和Fobj之间归一化的空间质心的差异，使用大津算法计算显著图Sd的自适应阈值，Fsal_d为显著图Sd中大于该阈值的区域，使用大津算法计算对象图obj的自适应阈值，Fobj为对象图obj中大于该阈值的区域，Wsal_obj_d为显著性和对象性差异，Wc为颜色差异，Wpo为位置差异，Wt为纹理差异，由此完成计算权重；
第6.5步，计算图像Ij中超像素spi的显著性值Sdo(spi)：
基于上述第6.4步具有边缘权重的无向加权图G，通过累积从超像素spi到上述第四步的背景集合Bnd包含的顶点t的最短路径，由公式(19)计算出Sdo(spi)，
公式(19)中，图像Ij的像素点p∈spi的显著性值Sdo(p)＝Sdo(spi)，由此完成计算图像Ij的基于DRFI和对象性的显著图Sdo；
第七步，计算图像Ij的基于背景先验优化和对象性的显著图Sro：
图像的超像素构成一个无向加权图G＝(V,E)，顶点vi∈V代表超像素spi，边ei,j∈E表示连接超像素spi和spj的边，边的权重根据外观差异、位置差异、显著性和对象性差异进行计算，具体操作步骤如下：
第7.1步，计算外观差异：
同上述第6.1步；
第7.2步，计算位置差异：
同上述第6.2步；
第7.3步，计算显著性和对象性差异：
显著性和对象性差异为Wsal_obj_r(vi,vj)，由公式(20)进行计算，
公式(20)中，sal_ri为上述第四步中的图像Ij的基于背景先验优化的显著图Sr中超像素spi的平均显著性值，sal_rj为上述第四步中的图像Ij的基于背景先验优化的显著图Sr中超像素spj的平均显著性值，obji为超像素spi的对象性值，objj为超像素spj的对象性值，由此完成计算显著性和对象性差异；
第7.4步，计算权重：
上述第四步中的图像Ij的基于背景先验优化的显著图Sr和上述第二步中的图像Ij的对象图obj之间的一致性为调整这两项的贡献因子，结合外观差异，位置差异，显著性和对象性差异来计算无向加权图G＝(V,E)中边的权重，权重Wr(vi,vj)如下公式(21)所示，
公式(21)中，dso_r为高置信度的目标区域Fsal_r和Fobj之间归一化的空间质心的差异，使用大津算法计算显著图Sr的自适应阈值，Fsal_r为显著图Sr中大于该阈值的区域，使用大津算法计算对象图obj的自适应阈值，Fobj为对象图obj中大于该阈值的区域，Wsal_obj_r为显著性和对象性差异，Wc为颜色差异，Wpo为位置差异，Wt为纹理差异，由此完成计算权重；
第7.5步，计算图像Ij中超像素spi的显著性值Sro(spi)：
基于上述第7.4步具有边缘权重的无向加权图G，通过累积从超像素spi到上述第四步的背景集合Bnd包含的顶点t的最短路径，由公式(22)计算出Sro(spi)，
公式(22)中，图像Ij的像素点p∈spi的显著性值Sro(p)＝Sro(spi)，由此完成计算图像Ij的基于背景先验优化和对象性的显著图Sro；
第八步，计算融合的显著图S：
上述第三步至第七步中的不同显著图的同一位置的像素点互为邻居，图像Ij的基于DRFI的显著图Sd、图像Ij的基于背景先验优化的显著图Sr、图像Ij的基于DRFI和对象性的显著图Sdo、图像Ij的基于背景先验优化和对象性的显著图Sro和基于近邻优化的显著图Ssca分别使用大津算法得到各自的自适应阈值ηk，根据公式(23)更新各自的显著图，
公式(23)中，表示t时刻时，第a幅显著图上所有像素点的显著性值，设定t＝10，融合A＝5个更新后的显著图，
由此完成计算融合的显著图S；
第九步，协同项优化融合的显著图S：
对于上述第一步中的图像Ij的超像素spi，在同组的其他图像中找到颜色最相似超像素spout_i构成邻居集合NeiB(i)，获取其颜色信息和显著性值，计算置信度矩阵F_ot，
公式(25)中，其中ci是图像Ij在CIE-Lab颜色空间下超像素spi颜色直方图，cout_j是同组其他图像在CIE-Lab颜色空间下超像素spout_j颜色直方图，||·||2是两个直方图之间的欧氏距离，NeiB(i)是超像素spi的邻居集合，
用公式(26)进行归一化，
F_ot*＝D_ot-1·F_ot (26)，
公式(26)中，D_ot＝diag{d_ot1,d_ot2,...,d_otn},d_oti＝∑jf_otij，
用公式(27)更新融合的显著图S，
公式(27)中，sum为某组中图像的数量，simout_j为NeiB(i)中超像素spout_i的显著性值，C_ot＝diag{c_ot1,c_ot2,...,c_otn}为置信度矩阵，c_oti定义为公式(28)所示，
由此完成协同项优化融合的显著图S；
第十步，结合数据项和平滑项协同分割：
为图像Ij中每一个像素分配标签，其中Labelp∈{0,1}，Labelp＝1表示该像素属于前景目标，Labelp＝0表示该像素属于背景，能量函数如公式(29)所示，
公式(29)中，Rglobal(p,Labelp,S,Mglobal)基于全局的数据项，Rlocal(p,Labelp,S,Mlocal)为基于局部的数据项，U(p,q)为平滑项，N为相邻像素的集合，
在CIE-Lab颜色空间下，相邻像素颜色特征相似，平滑项U(·)平滑相邻像素具有不同标签，定义如公式(30)所示，
U(·)＝γD(p,q)-1|Labelp-Labelq|exp(-ω||cp-cq||2) (30)，公式(30)中，cp表示像素p的颜色信息，cq表示像素q的颜色信息，D(p,q)表示像素p和像素q在CIE-Lab颜色空间上的欧氏距离，
设定公式(30)中的γ＝50，ω＝[5E(||cp-cq||2)]-1，数据项Rglobal(·)包括高斯混合模型中的和为该组所有图像的前景目标的颜色信息，为该组所有图像的背景的颜色信息，利用了该图像的上述第九步中的融合的显著图S构建数据项Rglobal(·)，如公式(31)所示，
公式(31)中，中p∈set_f，set_f为在某组中每张图像显著性值最大的像素点集合，中p∈set_b，set_b为在某组中每张图像显著性值最小的像素点集合，
上述数据项Rlocal(·)包括高斯混合模型中的和为该张图像的前景目标的颜色信息，为该张图像的背景的颜色信息，利用该图像的上述第九步中的融合的显著图S构建数据项Rlocal(·)，如公式(32)所示，
公式(32)中，中p∈mf，mf为显著性值大于该图像平均显著性值的像素点集合，中p∈mb，mb为显著性值小于该图像平均显著性值的像素点集合，
结合上述数据项Rglobal(·)、数据项Rlocal(·)和平滑项U(·)构建图，将图像Ij的前景目标完整的分割出来，得到像素的标签，由此完成结合数据项和平滑项协同分割；
至此完成基于显著图融合的图像协同分割。
上述基于显著图融合的图像协同分割方法中，所述DRFI算法的全称为SalientObject Detection:ADiscriminative Regional Feature Integration Approach、SIFT特征的全称为Scale Invariant Feature Transform、大津算法和L1范数均为本技术领域公知的算法。
本发明的效果和益处是：
(1)本发明是基于区域的协同分割，以区域为单位，判断局部区域的前景背景属性进行分割，克服了基于像素点的协同分割模型不能反映区域的语义特征的缺点。
(2)本发明生成多个显著图，其中基于DRFI和对象性的显著图Sdo和基于背景先验优化和对象性的显著图Sro结合了图像Ij的对象图obj更好地突出前景目标区域，抑制背景区域，本发明提出的显著图融合方法，进行像素级的操作，对任意一个像素点，结合多个显著图在该像素点的显著性值，一致高亮的突出前景目标，和抑制背景区域，保留了前景目标完整的轮廓，减少了前景目标的缺失。
(3)本发明利用同组图像的前景目标相似的性质，利用同组其他图像的前景目标的颜色信息和显著性信息优化各个图像的显著图，使得前景目标和背景区域的显著性值有明显区分，得到更精确的显著图。
(4)本发明利用同组图像的前景目标相似的性质，利用同组所有图像的前景目标的颜色信息和显著性信息构建数据项和平滑项，利用数据项、平滑项和显著图对图像进行协同分割，在复杂背景下，前景目标被完整的分割出来，减少背景噪声。
(5)本发明方法与CN103390279B相比，本发明方法所具有的突出的实质性特点和显著进步是：CN103390279B联合显著性检测与判别式学***滑项，充分利用同组图像前景目标相似这一特征，分割效果更好，减少了背景噪声。
(6)本发明方法与CN105740915A相比，本发明方法所具有的突出的实质性特点和显著进步是：CN105740915A一种融合感知信息的协同分割方法在分割的时候利用了协同信息，在计算各个图像显著性值时未使用协同信息，本发明在计算显著图之后利用该组的协同信息优化单张图的显著性值，更加充分的利用了协同信息，更好的将前景目标分割出来，利用融合的显著图，结合数据项和平滑项进行分割，避免了将重复多次出现的背景分割成了前景目标。
(7)本发明方法与CN106780376A相比，本发明方法所具有的突出的实质性特点和显著进步是：CN106780376A基于显著性检测和联合分割算法的背景图像分割在单张图片中对所有的像素点使用K均值聚类的方法分为六类，在对于背景复杂的图像中设定K＝6无法很好的将图片进行精确的分类，本发明使用多特征下的多显著图融合引导协同分割对于背景复杂的图片有很好的效果，利用融合后的显著图，结合数据项和平滑项进行分割，前景目标差异较大时也能将前景目标完整的分割出来。
(8)本发明方法与CN105809672A相比，本发明方法所具有的突出的实质性特点和显著进步是：CN105809672A一种基于超像素和结构化约束的图像多目标协同分割方法需要训练前景背景分类器，训练集选择不合适的时候训练出来的分类器不能很好地分割测试集图像，本发明无需训练分类器，不存在训练集选择不当造成分割结果不精确的问题，在时间上大大减少。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2是图像Ij的对象图obj。
图3.1～3.5是图像Ij的各种显著图，其中，
图3.1是图像Ij的基于DRFI的显著图Sd。
图3.2是图像Ij的基于背景先验优化的显著图Sr。
图3.3是图像Ij的基于近邻优化的显著图Ssca。
图3.4是图像Ij的基于DRFI和对象性的显著图Sdo。
图3.5是图像Ij的基于背景先验优化和对象性的显著图Sro。
图4是协同项优化融合的显著图S。
图5是结合数据项和平滑项协同分割得到的图像。
具体实施方式
图1所示实施例表明，本发明的流程如下：
输入图像组，预分割图像→计算图像Ij的对象图obj→计算图像Ij的基于DRFI的显著图Sd；计算图像Ij的基于背景先验优化的显著图Sr；计算图像Ij的基于近邻优化的显著图Ssca；计算图像Ij的基于DRFI和对象性的显著图Sdo；计算图像Ij的基于背景先验优化和对象性的显著图Sro→计算融合的显著图S→协同项优化融合的显著图S→结合数据项和平滑项协同分割。
图2显示了图像Ij利用对象度量测量方法生成的对象图obj。
图3.1显示了图像Ij的基于DRFI的显著图Sd。
图3.2显示了图像Ij利用区域对比度，空间距离加权进行背景先验优化的显著图Sr。
图3.3显示了图像Ij利用影响因子进行近邻优化的显著图Ssca。
图3.4显示了图像Ij利用DRFI和对象性的显著图Sdo。
图3.5显示了图像Ij利用背景先验优化和对象性的显著图Sro。
图4显示了融合Sd，Sr，Ssca，Sdo，Sro五个显著图后，利用协同项优化融合的显著图S。
图5显示了显著图S结合数据项和平滑项协同分割得到的图像。该图像是利用数据项、平滑项和显著图对图像进行协同分割，在复杂背景下，前景目标被完整的分割出来，减少背景噪声。
上述图2-图5中的图像Ij为iCoseg数据库中026Airshows组中的图像。
实施例1
本实施例基于显著图融合的图像协同分割方法，具体步骤如下：
第一步，输入图像组，预分割图像：
输入图像组I＝{I1,I2,...,Isum}，对图像Ij,j＝1,2,...,sum使用SLIC方法进行预分割，得到超像素sp＝{spi,i＝1,2,...,n}，n如公式(1)所示，
公式(1)中，row和col分别是图像Ij的行、列大小，由此完成iCoseg数据库中026Airshows图像组的输入，预分割图像；
第二步，计算图像Ij的对象图obj：
对上述第一步中的图像Ij，利用“Measuring the objectness of imagewindows”所提出的对象度量测量方法，输出图像Ij的一组边界框和该组边界框所包含的图像前景目标的概率，然后将排名前1000的边界框所包含的图像前景目标的概率累积生成如公式(2)所示的图像Ij的对象图obj，
公式(2)中，num为图像Ij的像素点的个数，probability为“概率”一词的英文，由此完成计算图像Ij的对象图obj；
第三步，计算图像Ij的基于DRFI的显著图Sd：
使用公知的DRFI方法，完成计算图像Ij的基于DRFI的显著图Sd；
第四步，计算图像Ij的基于背景先验优化的显著图Sr：
对上述第一步中的图像Ij，计算图像Ij的基于背景先验优化的显著图Sr，步骤如下，通过连接所有相邻的超像素构造无向图，计算显著图Sd中超像素sp的平均显著性值，利用大津算法获取图像Ij的自适应阈值，小于该阈值的超像素被归为背景种子集合Bback，位于图像Ij边界上的超像素被归为边界种子集合Bside，Bback和Bside取交集得到背景集合Bnd如公式(3)所示，
Bnd＝Bback∩Bside (3)，
使用下述公式(4)对超像素区域sp和背景集合Bnd的连接程度进行计算，
公式(4)中，LenBnd(sp)定义为如公式(5)所示，
公式(5)中，当超像素spi被归为背景集合Bnd时，σ(spi∈Bnd)＝1，否则为0，
公式(4)中，Area(sp)定义如公式(6)所示，
公式(6)中，设定δc＝10，dgeo(sp,spi)为任意两个超像素之间，沿无向图最短路径的边权重的测地距离，如公式(7)所示，
公式(7)中，dgeo(spi,spi)＝0，dapp(spi,spi+1)是超像素spi和超像素spi+1在CIE-Lab颜色空间中的欧氏距离，
使用区域对比度作为显著性的线索，利用空间距离进行加权，计算权重项wC(sp)，如公式(8)所示，
公式(8)中，设定δs＝0.25，dspa(sp,spi)为超像素sp的中心与超像素spi的中心的距离，为背景概率，δBndC＝1，进行基于背景的显著性优化，图像Ij的像素点p∈spi的显著性值Sr(p)＝wC(spi)，由此计算得到图像Ij的基于背景先验优化的显著图Sr；
第五步，计算图像Ij的基于近邻优化的显著图Ssca：
图像边界上的超像素是彼此相连的，所以任意一个超像素的邻居包括与该超像素在位置上相邻的超像素，和与相邻超像素共有同一边界的超像素，计算超像素spi对超像素spj的影响因子f_inij，建立影响因子矩阵F_in如公式(9)所示，
公式(9)中，||ci,cj||2是在CIE-Lab色彩空间中超像素spi和超像素spj颜色之间的欧氏距离，其中NB(i)是超像素spi的邻居集合，对影响因子矩阵进行归一化如公式(10)所示，
F_in*＝D_in-1·F_in (10)，
公式(10)中，D_in＝diag{d1,d2,...,dn},di＝∑jf_inij，超像素下一个时刻的状态由该超像素此时的状态和该超像素的邻居此时的状态共同决定，建立了一个置信度矩阵C_in＝diag{c1,c2,...,cn}，其中ci定义为公式(11)所示，
显著图Ssca按照公式(12)和公式(13)更新如下，
Ssca＝Sr (12)，
公式(13)中，F_in*为影响因子矩阵，C_in为置信度矩阵，I为单位矩阵，t为迭代更新的次数，设定t＝10，
由此完成计算图像Ij的基于近邻优化的显著图Ssca；
第六步，计算图像Ij的基于DRFI和对象性的显著图Sdo：
图像的超像素构成一个无向加权图G＝(V,E)，顶点vi∈V代表超像素spi，边ei,j∈E表示连接超像素spi和spj的边，边的权重根据外观差异、位置差异、显著性和对象性差异进行计算，具体操作步骤如下：
第6.1步，计算外观差异：
外观差异包括两部分，颜色差异和纹理差异，其中颜色差异Wc(vi,vj)如公式(14)所示，纹理差异Wt(vi,vj)如公式(15)所示，
公式(14)中，是CIE-Lab颜色空间下超像素spi的颜色直方图，是CIE-Lab颜色空间下超像素spj的颜色直方图，||·||2是两个直方图之间的欧氏距离，
公式(15)中，是超像素spi的纹理直方图，是超像素spj的纹理直方图，纹理特征使用SIFT特征，每个颜色通道选取σ＝1的高斯导数方向，对于每个颜色通道的每个方向，取bin＝10，对于超像素spi有维数N＝240的纹理直方图使用L1范数对纹理直方图进行归一化，||·||2是两个直方图之间的欧氏距离，由此完成计算外观差异；
第6.2步，计算位置差异：
位置差异Wpo(vi,vj)由公式(16)进行计算，
公式(16)中，poi是超像素spi相对于图像尺寸进行归一化的坐标，poj是超像素spj相对于图像尺寸进行归一化的坐标，由此完成计算位置差异；
第6.3步，计算显著性和对象性差异：
显著性和对象性差异Wsal_obj_d(vi,vj)由公式(17)进行计算，
公式(17)中，sal_di为在上述第三步中的图像Ij的显著图Sd中的超像素spi的平均显著性值，sal_dj为在上述第三步中的图像Ij的显著图Sd中的超像素spj的平均显著性值，obji为超像素spi的对象性值，objj为超像素spj的对象性值，由此完成计算显著性和对象性差异；
第6.4步，计算权重：
上述第三步中的图像Ij的显著图Sd和上述第二步中的图像Ij的对象图obj之间的一致性为调整这两项的贡献因子，结合外观差异，位置差异，显著性和对象性差异来计算无向加权图G＝(V,E)中边的权重，权重Wd(vi,vj)如下公式(18)所示，
公式(18)中，dso_d为高置信度的目标区域Fsal_d和Fobj之间归一化的空间质心的差异，使用大津算法计算显著图Sd的自适应阈值，Fsal_d为显著图Sd中大于该阈值的区域，使用大津算法计算对象图obj的自适应阈值，Fobj为对象图obj中大于该阈值的区域，
Wsal_obj_d为显著性和对象性差异，Wc为颜色差异，Wpo为位置差异，Wt为纹理差异，由此完成计算权重；
第6.5步，计算图像Ij中超像素spi的显著性值Sdo(spi)：
基于上述第6.4步具有边缘权重的无向加权图G，通过累积从超像素spi到上述第四步的背景集合Bnd包含的顶点t的最短路径，由公式(19)计算出Sdo(spi)，
公式(19)中，图像Ij的像素点p∈spi的显著性值Sdo(p)＝Sdo(spi)，由此完成计算图像Ij的基于DRFI和对象性的显著图Sdo；
第七步，计算图像Ij的基于背景先验优化和对象性的显著图Sro：
图像的超像素构成一个无向加权图G＝(V,E)，顶点vi∈V代表超像素spi，边ei,j∈E表示连接超像素spi和spj的边，边的权重根据外观差异、位置差异、显著性和对象性差异进行计算，具体操作步骤如下：
第7.1步，计算外观差异：
同上述第6.1步；
第7.2步，计算位置差异：
同上述第6.2步；
第7.3步，计算显著性和对象性差异：
显著性和对象性差异为Wsal_obj_r(vi,vj)，由公式(20)进行计算，
公式(20)中，sal_ri为上述第四步中的图像Ij的基于背景先验优化的显著图Sr中超像素spi的平均显著性值，sal_rj为上述第四步中的图像Ij的基于背景先验优化的显著图Sr中超像素spj的平均显著性值，obji为超像素spi的对象性值，objj为超像素spj的对象性值，由此完成计算显著性和对象性差异；
第7.4步，计算权重：
上述第四步中的图像Ij的基于背景先验优化的显著图Sr和上述第二步中的图像Ij的对象图obj之间的一致性为调整这两项的贡献因子，结合外观差异，位置差异，显著性和对象性差异来计算无向加权图G＝(V,E)中边的权重，权重Wr(vi,vj)如下公式(21)所示，
公式(21)中，dso_r为高置信度的目标区域Fsal_r和Fobj之间归一化的空间质心的差异，使用大津算法计算显著图Sr的自适应阈值，Fsal_r为显著图Sr中大于该阈值的区域，使用大津算法计算对象图obj的自适应阈值，Fobj为对象图obj中大于该阈值的区域，Wsal_obj_r为显著性和对象性差异，Wc为颜色差异，Wpo为位置差异，Wt为纹理差异，由此完成计算权重；
第7.5步，计算图像Ij中超像素spi的显著性值Sro(spi)：
基于上述第7.4步具有边缘权重的无向加权图G，通过累积从超像素spi到上述第四步的背景集合Bnd包含的顶点t的最短路径，由公式(22)计算出Sro(spi)，
公式(22)中，图像Ij的像素点p∈spi的显著性值Sro(p)＝Sro(spi)，由此完成计算图像Ij的基于背景先验优化和对象性的显著图Sro；
第八步，计算融合的显著图S：
上述第三步至第七步中的不同显著图的同一位置的像素点互为邻居，图像Ij的基于DRFI的显著图Sd、图像Ij的基于背景先验优化的显著图Sr、图像Ij的基于DRFI和对象性的显著图Sdo、图像Ij的基于背景先验优化和对象性的显著图Sro和基于近邻优化的显著图Ssca分别使用大津算法得到各自的自适应阈值ηk，根据公式(23)更新各自的显著图，
公式(23)中，表示t时刻时，第a幅显著图上所有像素点的显著性值，设定t＝10，融合A＝5个更新后的显著图，
由此完成计算融合的显著图S；
第九步，协同项优化融合的显著图S：
对于上述第一步中的图像Ij的超像素spi，在026Airshows组的其他图像中找到颜色最相似超像素spout_i构成邻居集合NeiB(i)，获取其颜色信息和显著性值，计算置信度矩阵F_ot，
公式(25)中，其中ci是图像Ij在CIE-Lab颜色空间下超像素spi颜色直方图，cout_j是026Airshows组其他图像在CIE-Lab颜色空间下超像素spout_j颜色直方图，||·||2是两个直方图之间的欧氏距离，NeiB(i)是超像素spi的邻居集合，
用公式(26)进行归一化，
F_ot*＝D_ot-1·F_ot (26)，
公式(26)中，D_ot＝diag{d_ot1,d_ot2,...,d_otn},d_oti＝∑jf_otij，
用公式(27)更新融合的显著图S，
公式(27)中，sum为026Airshows组中图像的数量，sum＝22，simout_j为NeiB(i)中超像素spout_i的显著性值，C_ot＝diag{c_ot1,c_ot2,...,c_otn}为置信度矩阵，c_oti定义为公式(28)所示，
由此完成协同项优化融合的显著图S；
第十步，结合数据项和平滑项协同分割：
为图像Ij中每一个像素分配标签，其中Labelp∈{0,1}，Labelp＝1表示该像素属于前景目标，Labelp＝0表示该像素属于背景，能量函数如公式(29)所示，
公式(29)中，Rglobal(p,Labelp,S,Mglobal)基于全局的数据项，Rlocal(p,Labelp,S,Mlocal)为基于局部的数据项，U(p,q)为平滑项，N为相邻像素的集合，
在CIE-Lab颜色空间下，相邻像素颜色特征相似，平滑项U(·)平滑相邻像素具有不同标签，定义如公式(30)所示，
U(·)＝γD(p,q)-1|Labelp-Labelq|exp(-ω||cp-cq||2) (30)，
公式(30)中，cp表示像素p的颜色信息，cq表示像素q的颜色信息，D(p,q)表示像素p和像素q在CIE-Lab颜色空间上的欧氏距离，
设定公式(30)中的γ＝50，ω＝[5E(||cp-cq||2)]-1，数据项Rglobal(·)包括高斯混合模型中的和为026Airshows组所有图像的前景目标的颜色信息，为026Airshows组所有图像的背景的颜色信息，利用了该图像的上述第九步中的融合的显著图S构建数据项Rglobal(·)，如公式(31)所示，
公式(31)中，中p∈set_f，set_f为在026Airshows组中每张图像显著性值最大的像素点集合，中p∈set_b，set_b为在026Airshows组中每张图像显著性值最小的像素点集合，
上述数据项Rlocal(·)包括高斯混合模型中的和为该张图像的前景目标的颜色信息，为该张图像的背景的颜色信息，利用该图像的上述第九步中的融合的显著图S构建数据项Rlocal(·)，如公式(32)所示，
公式(32)中，中p∈mf，mf为显著性值大于该图像平均显著性值的像素点集合，中p∈mb，mb为显著性值小于该图像平均显著性值的像素点集合，
结合上述数据项Rglobal(·)、数据项Rlocal(·)和平滑项U(·)构建图，将图像Ij的前景目标完整的分割出来，得到像素的标签，由此完成结合数据项和平滑项协同分割；
至此完成基于显著图融合的图像协同分割。
上述实施例中，所述DRFI算法的全称为Salient Object Detection:ADiscriminativeRegional Feature Integration Approach、SIFT特征的全称为ScaleInvariant Feature Transform、大津算法和L1范数均为本技术领域公知的算法。
Claims (1)
1.基于显著图融合的图像协同分割方法，其特征在于：对每张图像计算多个显著图，进行融合之后利用协同项对融合之后的显著图进行优化，利用优化后的显著图、数据项和平滑项进行协同分割，具体步骤如下：
第一步，输入图像组，预分割图像：
输入图像组I＝{I1,I2,...,Isum}，对图像Ij,j＝1,2,...,sum使用SLIC方法进行预分割，得到超像素sp＝{spi,i＝1,2,...,n}，n如公式(1)所示，
公式(1)中，row和col分别是图像Ij的行、列大小，由此完成输入图像组，预分割图像；
第二步，计算图像Ij的对象图obj：
对上述第一步中的图像Ij，利用“Measuring the objectness of image windows”所提出的对象度量测量方法，输出图像Ij的一组边界框和该组边界框所包含的图像前景目标的概率，然后将排名前1000的边界框所包含的图像前景目标的概率累积生成如公式(2)所示的图像Ij的对象图obj，
公式(2)中，num为图像Ij的像素点的个数，probability为“概率”一词的英文，由此完成计算图像Ij的对象图obj；
第三步，计算图像Ij的基于DRFI的显著图Sd：
使用公知的DRFI方法，完成计算图像Ij的基于DRFI的显著图Sd；
第四步，计算图像Ij的基于背景先验优化的显著图Sr：
对上述第一步中的图像Ij，计算图像Ij的基于背景先验优化的显著图Sr，步骤如下，通过连接所有相邻的超像素构造无向图，计算显著图Sd中超像素sp的平均显著性值，利用大津算法获取图像Ij的自适应阈值，小于该阈值的超像素被归为背景种子集合Bback，位于图像Ij边界上的超像素被归为边界种子集合Bside，Bback和Bside取交集得到背景集合Bnd如公式(3)所示，
Bnd＝Bback∩Bside (3)，
使用下述公式(4)对超像素区域sp和背景集合Bnd的连接程度进行计算，
公式(4)中，LenBnd(sp)定义为如公式(5)所示，
公式(5)中，当超像素spi被归为背景集合Bnd时，σ(spi∈Bnd)＝1，否则为0，
公式(4)中，Area(sp)定义如公式(6)所示，
公式(6)中，设定δc＝10，dgeo(sp,spi)为任意两个超像素之间，沿无向图最短路径的边权重的测地距离，如公式(7)所示，
公式(7)中，dgeo(spi,spi)＝0，dapp(spi,spi+1)是超像素spi和超像素spi+1在CIE-Lab颜色空间中的欧氏距离，
使用区域对比度作为显著性的线索，利用空间距离进行加权，计算权重项wC(sp)，如公式(8)所示，
公式(8)中，设定δs＝0.25，dspa(sp,spi)为超像素sp的中心与超像素spi的中心的距离，为背景概率，δBndC＝1，进行基于背景的显著性优化，图像Ij的像素点p∈spi的显著性值Sr(p)＝wC(spi)，由此计算得到图像Ij的基于背景先验优化的显著图Sr；
第五步，计算图像Ij的基于近邻优化的显著图Ssca：
图像边界上的超像素是彼此相连的，所以任意一个超像素的邻居包括与该超像素在位置上相邻的超像素，和与相邻超像素共有同一边界的超像素，计算超像素spi对超像素spj的影响因子f_inij，建立影响因子矩阵F_in如公式(9)所示，
公式(9)中，||ci,cj||2是在CIE-Lab色彩空间中超像素spi和超像素spj颜色之间的欧氏距离，其中NB(i)是超像素spi的邻居集合，对影响因子矩阵进行归一化如公式(10)所示，
F_in*＝D_in-1·F_in (10)，
公式(10)中，D_in＝diag{d1,d2,...,dn},di＝∑jf_inij，超像素下一个时刻的状态由该超像素此时的状态和该超像素的邻居此时的状态共同决定，建立了一个置信度矩阵C_in＝diag{c1,c2,...,cn}，其中ci定义为公式(11)所示，
显著图Ssca按照公式(12)和公式(13)更新如下，
Ssca＝Sr (12)，
公式(13)中，F_in*为影响因子矩阵，C_in为置信度矩阵，I为单位矩阵，t为迭代更新的次数，设定t＝10，
由此完成计算图像Ij的基于近邻优化的显著图Ssca；
第六步，计算图像Ij的基于DRFI和对象性的显著图Sdo：
图像的超像素构成一个无向加权图G＝(V,E)，顶点vi∈V代表超像素spi，边ei,j∈E表示连接超像素spi和spj的边，边的权重根据外观差异、位置差异、显著性和对象性差异进行计算，具体操作步骤如下：
第6.1步，计算外观差异：
外观差异包括两部分，颜色差异和纹理差异，其中颜色差异Wc(vi,vj)如公式(14)所示，纹理差异Wt(vi,vj)如公式(15)所示，
公式(14)中，是CIE-Lab颜色空间下超像素spi的颜色直方图，是CIE-Lab颜色空间下超像素spj的颜色直方图，||·||2是两个直方图之间的欧氏距离，
公式(15)中，是超像素spi的纹理直方图，是超像素spj的纹理直方图，纹理特征使用SIFT特征，每个颜色通道选取σ＝1的高斯导数方向，对于每个颜色通道的每个方向，取bin＝10，对于超像素spi有维数N＝240的纹理直方图使用L1范数对纹理直方图进行归一化，||·||2是两个直方图之间的欧氏距离，由此完成计算外观差异；
第6.2步，计算位置差异：
位置差异Wpo(vi,vj)由公式(16)进行计算，
公式(16)中，poi是超像素spi相对于图像尺寸进行归一化的坐标，poj是超像素spj相对于图像尺寸进行归一化的坐标，由此完成计算位置差异；
第6.3步，计算显著性和对象性差异：
显著性和对象性差异Wsal_obj_d(vi,vj)由公式(17)进行计算，
公式(17)中，sal_di为在上述第三步中的图像Ij的显著图Sd中的超像素spi的平均显著性值，sal_dj为在上述第三步中的图像Ij的显著图Sd中的超像素spj的平均显著性值，obji为超像素spi的对象性值，objj为超像素spj的对象性值，由此完成计算显著性和对象性差异；
第6.4步，计算权重：
上述第三步中的图像Ij的显著图Sd和上述第二步中的图像Ij的对象图obj之间的一致性为调整这两项的贡献因子，结合外观差异，位置差异，显著性和对象性差异来计算无向加权图G＝(V,E)中边的权重，权重Wd(vi,vj)如下公式(18)所示，
公式(18)中，dso_d为高置信度的目标区域Fsal_d和Fobj之间归一化的空间质心的差异，使用大津算法计算显著图Sd的自适应阈值，Fsal_d为显著图Sd中大于该阈值的区域，使用大津算法计算对象图obj的自适应阈值，Fobj为对象图obj中大于该阈值的区域，Wsal_obj_d为显著性和对象性差异，Wc为颜色差异，Wpo为位置差异，Wt为纹理差异，由此完成计算权重；
第6.5步，计算图像Ij中超像素spi的显著性值Sdo(spi)：
基于上述第6.4步具有边缘权重的无向加权图G，通过累积从超像素spi到上述第四步的背景集合Bnd包含的顶点t的最短路径，由公式(19)计算出Sdo(spi)，
公式(19)中，图像Ij的像素点p∈spi的显著性值Sdo(p)＝Sdo(spi)，由此完成计算图像Ij的基于DRFI和对象性的显著图Sdo；
第七步，计算图像Ij的基于背景先验优化和对象性的显著图Sro：
图像的超像素构成一个无向加权图G＝(V,E)，顶点vi∈V代表超像素spi，边ei,j∈E表示连接超像素spi和spj的边，边的权重根据外观差异、位置差异、显著性和对象性差异进行计算，具体操作步骤如下：
第7.1步，计算外观差异：
同上述第6.1步；
第7.2步，计算位置差异：
同上述第6.2步；
第7.3步，计算显著性和对象性差异：
显著性和对象性差异为Wsal_obj_r(vi,vj)，由公式(20)进行计算，
公式(20)中，sal_ri为上述第四步中的图像Ij的基于背景先验优化的显著图Sr中超像素spi的平均显著性值，sal_rj为上述第四步中的图像Ij的基于背景先验优化的显著图Sr中超像素spj的平均显著性值，obji为超像素spi的对象性值，objj为超像素spj的对象性值，由此完成计算显著性和对象性差异；
第7.4步，计算权重：
上述第四步中的图像Ij的基于背景先验优化的显著图Sr和上述第二步中的图像Ij的对象图obj之间的一致性为调整这两项的贡献因子，结合外观差异，位置差异，显著性和对象性差异来计算无向加权图G＝(V,E)中边的权重，权重Wr(vi,vj)如下公式(21)所示，
公式(21)中，dso_r为高置信度的目标区域Fsal_r和Fobj之间归一化的空间质心的差异，使用大津算法计算显著图Sr的自适应阈值，Fsal_r为显著图Sr中大于该阈值的区域，使用大津算法计算对象图obj的自适应阈值，Fobj为对象图obj中大于该阈值的区域，Wsal_obj_r为显著性和对象性差异，Wc为颜色差异，Wpo为位置差异，Wt为纹理差异，由此完成计算权重；
第7.5步，计算图像Ij中超像素spi的显著性值Sro(spi)：
基于上述第7.4步具有边缘权重的无向加权图G，通过累积从超像素spi到上述第四步的背景集合Bnd包含的顶点t的最短路径，由公式(22)计算出Sro(spi)，
公式(22)中，图像Ij的像素点p∈spi的显著性值Sro(p)＝Sro(spi)，由此完成计算图像Ij的基于背景先验优化和对象性的显著图Sro；
第八步，计算融合的显著图S：
上述第三步至第七步中的不同显著图的同一位置的像素点互为邻居，图像Ij的基于DRFI的显著图Sd、图像Ij的基于背景先验优化的显著图Sr、图像Ij的基于DRFI和对象性的显著图Sdo、图像Ij的基于背景先验优化和对象性的显著图Sro和基于近邻优化的显著图Ssca分别使用大津算法得到各自的自适应阈值ηk，根据公式(23)更新各自的显著图，
公式(23)中，表示t时刻时，第a幅显著图上所有像素点的显著性值，设定t＝10，融合A＝5个更新后的显著图，
由此完成计算融合的显著图S；
第九步，协同项优化融合的显著图S：
对于上述第一步中的图像Ij的超像素spi，在同组的其他图像中找到颜色最相似超像素spout_i构成邻居集合NeiB(i)，获取其颜色信息和显著性值，计算置信度矩阵F_ot，
公式(25)中，其中ci是图像Ij在CIE-Lab颜色空间下超像素spi颜色直方图，cout_j是同组其他图像在CIE-Lab颜色空间下超像素spout_j颜色直方图，||·||2是两个直方图之间的欧氏距离，NeiB(i)是超像素spi的邻居集合，
用公式(26)进行归一化，
F_ot*＝D_ot-1·F_ot (26)，
公式(26)中，D_ot＝diag{d_ot1,d_ot2,...,d_otn},d_oti＝∑jf_otij，
用公式(27)更新融合的显著图S，
公式(27)中，sum为某组中图像的数量，simout_j为NeiB(i)中超像素spout_i的显著性值，C_ot＝diag{c_ot1,c_ot2,...,c_otn}为置信度矩阵，c_oti定义为公式(28)所示，
由此完成协同项优化融合的显著图S；
第十步，结合数据项和平滑项协同分割：
为图像Ij中每一个像素分配标签，其中Labelp∈{0,1}，Labelp＝1表示该像素属于前景目标，Labelp＝0表示该像素属于背景，能量函数如公式(29)所示，
公式(29)中，Rglobal(p,Labelp,S,Mglobal)基于全局的数据项，Rlocal(p,Labelp,S,Mlocal)为基于局部的数据项，U(p,q)为平滑项，N为相邻像素的集合，
在CIE-Lab颜色空间下，相邻像素颜色特征相似，平滑项U(·)平滑相邻像素具有不同标签，定义如公式(30)所示，
U(·)＝γD(p,q)-1|Labelp-Labelq|exp(-ω||cp-cq||2) (30)，
公式(30)中，cp表示像素p的颜色信息，cq表示像素q的颜色信息，D(p,q)表示像素p和像素q在CIE-Lab颜色空间上的欧氏距离，
设定公式(30)中的γ＝50，ω＝[5E(||cp-cq||2)]-1，数据项Rglobal(·)包括高斯混合模型中的和 为该组所有图像的前景目标的颜色信息，为该组所有图像的背景的颜色信息，利用了该图像的上述第九步中的融合的显著图S构建数据项Rglobal(·)，如公式(31)所示，
公式(31)中，中p∈set_f，set_f为在某组中每张图像显著性值最大的像素点集合，中p∈set_b，set_b为在某组中每张图像显著性值最小的像素点集合，
上述数据项Rlocal(·)包括高斯混合模型中的和为该张图像的前景目标的颜色信息，为该张图像的背景的颜色信息，利用该图像的上述第九步中的融合的显著图S构建数据项Rlocal(·)，如公式(32)所示，
公式(32)中，中p∈mf，mf为显著性值大于该图像平均显著性值的像素点集合，中p∈mb，mb为显著性值小于该图像平均显著性值的像素点集合，
结合上述数据项Rglobal(·)、数据项Rlocal(·)和平滑项U(·)构建图，将图像Ij的前景目标完整的分割出来，得到像素的标签，由此完成结合数据项和平滑项协同分割；
至此完成基于显著图融合的图像协同分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811272256.2A CN109448015B (zh) | 2018-10-30 | 2018-10-30 | 基于显著图融合的图像协同分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811272256.2A CN109448015B (zh) | 2018-10-30 | 2018-10-30 | 基于显著图融合的图像协同分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109448015A true CN109448015A (zh) | 2019-03-08 |
| CN109448015B CN109448015B (zh) | 2021-03-30 |
Family
ID=65548969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811272256.2A Expired - Fee Related CN109448015B (zh) | 2018-10-30 | 2018-10-30 | 基于显著图融合的图像协同分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109448015B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211078A (zh) * | 2019-05-14 | 2019-09-06 | 大连理工大学 | 基于各向异性扩散的显著度检测方法 |
| CN111209918A (zh) * | 2020-01-06 | 2020-05-29 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN111461043A (zh) * | 2020-04-07 | 2020-07-28 | 河北工业大学 | 基于深度网络的视频显著性检测方法 |
| CN111507969A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像融合质量检测方法及装置 |
| GB2585933A (en) * | 2019-07-25 | 2021-01-27 | Bae Systems Plc | System and method for processing images |
| CN113138916A (zh) * | 2021-04-06 | 2021-07-20 | 青岛以萨数据技术有限公司 | 基于标注样本的图片结构化算法的自动测试方法及*** |
| CN113705579A (zh) * | 2021-08-27 | 2021-11-26 | 河海大学 | 一种视觉显著性驱动的图像自动标注方法 |
| CN114743027A (zh) * | 2022-04-11 | 2022-07-12 | 郑州轻工业大学 | 弱监督学习引导的协同显著性检测方法 |
| CN115115654A (zh) * | 2022-06-14 | 2022-09-27 | 北京空间飞行器总体设计部 | 一种基于显著性和近邻形状查询的物体图像分割方法 |
| WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463870A (zh) * | 2014-12-05 | 2015-03-25 | 中国科学院大学 | 一种图像显著区域检测方法 |
| US9262691B2 (en) * | 2013-12-17 | 2016-02-16 | Catholic University Industry Academic Cooperation Foundation | Method for extracting salient object from stereoscopic image |
| CN105740915A (zh) * | 2016-03-04 | 2016-07-06 | 浙江大学 | 一种融合感知信息的协同分割方法 |
| CN105913463A (zh) * | 2016-04-11 | 2016-08-31 | 中南大学 | 一种基于位置先验的纹理-颜色特征全局显著性检测方法 |
| CN106780376A (zh) * | 2016-12-07 | 2017-05-31 | 中国农业科学院农业信息研究所 | 基于显著性检测和联合分割算法的背景图像分割方法 |
-
2018
- 2018-10-30 CN CN201811272256.2A patent/CN109448015B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9262691B2 (en) * | 2013-12-17 | 2016-02-16 | Catholic University Industry Academic Cooperation Foundation | Method for extracting salient object from stereoscopic image |
| CN104463870A (zh) * | 2014-12-05 | 2015-03-25 | 中国科学院大学 | 一种图像显著区域检测方法 |
| CN105740915A (zh) * | 2016-03-04 | 2016-07-06 | 浙江大学 | 一种融合感知信息的协同分割方法 |
| CN105913463A (zh) * | 2016-04-11 | 2016-08-31 | 中南大学 | 一种基于位置先验的纹理-颜色特征全局显著性检测方法 |
| CN106780376A (zh) * | 2016-12-07 | 2017-05-31 | 中国农业科学院农业信息研究所 | 基于显著性检测和联合分割算法的背景图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| HUAIZU JIANG.ET AL: ""Salient Object Detection: A Discriminative Regional Feature Integration Approach"", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 段亮亮: ""视觉显著性区域计算及显著性物体分割方法研究"", 《中国博士学位论文全文数据库（电子期刊）》 * |
| 袁巧等: ""多先验特征与综合对比度的图像显著性检测"", 《中国图象图形学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211078A (zh) * | 2019-05-14 | 2019-09-06 | 大连理工大学 | 基于各向异性扩散的显著度检测方法 |
| GB2585933B (en) * | 2019-07-25 | 2023-07-19 | Bae Systems Plc | System and method for processing images |
| GB2585933A (en) * | 2019-07-25 | 2021-01-27 | Bae Systems Plc | System and method for processing images |
| CN111209918B (zh) * | 2020-01-06 | 2022-04-05 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN111209918A (zh) * | 2020-01-06 | 2020-05-29 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN111461043B (zh) * | 2020-04-07 | 2023-04-18 | 河北工业大学 | 基于深度网络的视频显著性检测方法 |
| CN111461043A (zh) * | 2020-04-07 | 2020-07-28 | 河北工业大学 | 基于深度网络的视频显著性检测方法 |
| CN111507969A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像融合质量检测方法及装置 |
| CN113138916A (zh) * | 2021-04-06 | 2021-07-20 | 青岛以萨数据技术有限公司 | 基于标注样本的图片结构化算法的自动测试方法及*** |
| CN113138916B (zh) * | 2021-04-06 | 2024-04-30 | 青岛以萨数据技术有限公司 | 基于标注样本的图片结构化算法的自动测试方法及*** |
| CN113705579A (zh) * | 2021-08-27 | 2021-11-26 | 河海大学 | 一种视觉显著性驱动的图像自动标注方法 |
| CN113705579B (zh) * | 2021-08-27 | 2024-03-15 | 河海大学 | 一种视觉显著性驱动的图像自动标注方法 |
| CN114743027B (zh) * | 2022-04-11 | 2023-01-31 | 郑州轻工业大学 | 弱监督学习引导的协同显著性检测方法 |
| CN114743027A (zh) * | 2022-04-11 | 2022-07-12 | 郑州轻工业大学 | 弱监督学习引导的协同显著性检测方法 |
| CN115115654A (zh) * | 2022-06-14 | 2022-09-27 | 北京空间飞行器总体设计部 | 一种基于显著性和近邻形状查询的物体图像分割方法 |
| CN115115654B (zh) * | 2022-06-14 | 2023-09-08 | 北京空间飞行器总体设计部 | 一种基于显著性和近邻形状查询的物体图像分割方法 |
| WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109448015B (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109448015A (zh) | 基于显著图融合的图像协同分割方法 | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| CN106991686B (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
| CN112784736B (zh) | 一种多模态特征融合的人物交互行为识别方法 | |
| CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
| CN109409240A (zh) | 一种结合随机游走的SegNet遥感图像语义分割方法 | |
| Cheng et al. | Exploiting nonlocal spatiotemporal structure for video segmentation | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
| CN102254326A (zh) | 利用核传递进行图像分割的方法 | |
| CN106611421A (zh) | 基于特征学习和素描线段约束的sar图像分割方法 | |
| CN103226708A (zh) | 一种基于Kinect的多模型融合视频人手分割方法 | |
| CN102663757A (zh) | 基于核传递的半自动图像分割方法 | |
| CN104504734A (zh) | 一种基于语义的图像颜色传输方法 | |
| CN108182436A (zh) | 一种高分辨率遥感图像分割方法 | |
| CN109636809B (zh) | 一种基于尺度感知的图像分割层次选择方法 | |
| CN104408731B (zh) | 基于区域图和统计相似性编码的sar图像分割方法 | |
| CN112396655B (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
| CN104091336B (zh) | 一种基于稠密视差图的立体图像同步分割方法 | |
| CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
| CN108596195A (zh) | 一种基于稀疏编码特征提取的场景识别方法 | |
| CN108615229A (zh) | 基于曲率点聚类及决策树的碰撞检测优化方法 | |
| CN107657276B (zh) | 一种基于寻找语义类簇的弱监督语义分割方法 | |
| CN104346814A (zh) | 基于层次视觉语义的sar图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210330 |