CN109522908B - 基于区域标签融合的图像显著性检测方法 - Google Patents

Abstract

本发明实施例基于区域标签融合的图像显著性检测方法，使用超像素分割算法对图像进行预处理，将图像过分割成若干图像区域块；使用高斯核函数获取区域相似度，利用区域相似度进行超像素区域的谱聚类，获得图像分割的标签集合，根据标签集合保存图像的边界信息；获取图像的显著特征，在条件随机场模型下进行显著特征的融合，得到粗度显著图；利用标签集合对边界信息进行传播，将边界信息与粗度显著图进行对比融合，获得粗度显著图的重构；采用自适应阈值分割方式对重构后的粗度显著图进行二值化处理，利用标签指示向量将显著区域标注成统一标签，并对所述显著区域中的孤点进行处理，获得更有效的显著区域检测。

Description

基于区域标签融合的图像显著性检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于区域标签融合的图像显著性检测方法。

背景技术

人类视觉***可以对不同场景基于视觉注意机制获得感兴趣区域。每幅图像中都包含着一个或多个显著目标，显著性检测则是模仿视觉注意机制获取图像中重要信息，以提高图像处理的效率与准确性。图像显著性检测在图像标注与检索、目标识别、图像自动剪裁、图像压缩等领域均有广泛的应用，是计算机视觉研究的热点之一。

从视觉注意机制出发，显著性检测可分为自底向上的检测模型和自顶向下的检测模型。自底向上模型主要是利用颜色、纹理、边缘等底层特征计算显著区域与非显著区域的差异性，从而提取出显著特征生成显著图。自顶向下模型不仅涵盖了自底向上模型的处理过程，还需要基于目标驱动来调整选择准则，过程更为复杂。因此基于数据驱动的自底向上模型应用较为广泛。

现有技术中，基于生物学启发，存在一种视觉注意机制的模型，该模型使用中心-周边算子，在高斯金字塔结构中计算各尺度的底层特征并实现跨尺度对比计算显著性。由于该模型在特征提取时使用的均是图像的局部信息，且过分依赖于生物学仿真过程，因此显著检测效果并不精确。现有技术中的使用局部对比度差值计算显著图，该方法获取边界信息的同时，由于强调高对比度的要求而忽略了全局特征，导致显著区域不细致。现有技术中的使用全局对比度，在像素级上利用特征直方图对像素点进行分类，再使用距离公式计算显著性。全局对比性方法能够均匀凸显显著区域但也使显著区域出现边缘模糊的情况。现有技术中的结合多尺度空间思想，在不同大小的像素块下，以像素块均值作为特征值计算局部对比度。该算法因只考虑像素间颜色和亮度特征，虽提高了运行速度大幅度，但由于其显著性是在多尺度空间计算，算法偏重提取具有高对比度的区域。现有技术中的上下文认知(CA)算法，引入上下文认知思想，并融合不同尺度下的局部特征图，生成显著图。该算法除了考虑像素本身的特征外，还考虑了空间位置关系作为辅佐。现有技术中从局部、区域和全局三个层面提出多尺度对比、中心-周边直方图和颜色空间分布这三种特征得到特征映射图，并使用条件随机场模型融合三种特征映射图得到最终的显著图。现有技术中的采用Grab-cut方法分割图像，并结合空间关系以区域为单位计算全局对比度。该方法在区域级上计算每块的显著性，提高了对比度计算的速度，不仅节省了计算时间，还获得了不错的显著检测效果。但算法检测结果受分割效果影响，使得显著检测误差因素增多。现有技术中的在不同大小的分割图像块上，构建树形结构，利用多尺度分析方法得到显著图，以减少高纹理区的干扰。基于统计学习思想，先利用图论对图像进行过分割处理，并在分割区域上进行多特征描述，再采用随机森林方法学习特征映射，最后在多层次上进行显著性融合。

此外，基于频域的显著性检测首先将图像由空域变换到频域，分析图像频域信息，采用一定方式表现频域信息和显著特征的关系。其中谱残差方法是对图像经傅里叶变换的幅度谱作对数运算，再与均值滤波器卷积得到残余信息，由此与图像幅度谱卷积获取显著信息，变换到空域后得到显著区域。现有技术中提出利用频域空间，将图像在多个尺度上提取的特征进行幅度谱和相位谱的分析，在空间域上构造显著图。该方法可以获得较为清晰的边界，但是由于局部区域特征的缺乏，导致图像显著区域稠密性不够。

现有技术中，不管采用何种方案，对于显著区域内部存在分散的背景干扰的图像，在进行显著区域检测时往往会出现区域内部不均匀的情况；此外，对于前景和背景颜色相似度高的图像，算法的显著检测效果在一定程度上降低。导致所得到的显著区域存在边界模糊、轮廓不清晰、区域内部不稠密的问题。

发明内容

本发明实施例的目的在于提供一种基于区域标签融合的图像显著性检测方法，解决图像显著区域边界不清晰、内部区域不稠密的问题，将多种显著特征、条件随机场理论、超像素分割方法、谱聚类以及自适应阈值分割方式通过标签信息进行有机融合，实现更有效的显著区域检测。

为实现上述目的，本发明实施例提供一种基于区域标签融合的图像显著性检测方法，包括：

1)使用超像素分割算法对图像进行预处理，将图像过分割成若干图像区域块；

2)根据所述图像区域块的颜色、位置信息使用高斯核函数获取区域相似度，利用所述区域相似度进行超像素区域的谱聚类，获得图像分割的标签集合，根据所述标签集合保存图像的边界信息；

3)获取图像的显著特征，在条件随机场模型下进行所述显著特征的融合，得到粗度显著图；

4)利用所述标签集合对所述边界信息进行传播，将所述边界信息与所述粗度显著图进行对比融合，获得粗度显著图的重构；

5)采用自适应阈值分割方式对重构后的粗度显著图进行二值化处理，利用标签指示向量将显著区域标注成统一标签，并对所述显著区域中的孤点进行处理，获得显著区域检测图像。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤1)中，超像素分割的过程包括：

101)设定超像素分割的区域分割数为K，则聚类中心数目为K，含有N个像素的一幅图像分割后，每个区域像素点的数目为N/K，每个像素点在五维空间中记作x_i＝(l,a,b,x,y)，其中l,a,b为色彩空间CIELAB中的值，x,y为像素点坐标值；

102)初始化每个聚类中心的种子点，在五维空间中计算颜色距离与空间距离，获取像素点与种子点的相似性，使用k-means算法同步更新聚类中心直至收敛，对小区域进行合并，将图像聚类成K个区域，并得到每个超像素区域的特定初始标签信息，记为knlabels[i](i＝1,2,3...,K)。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤2)包括，

201)建立无向图<V,H>，使用高斯核函数计算区域相似性矩阵W∈R^K×K，将其中任意两个超像素区域块R_i和R_j的相似性W_ij定义为：

式中d(R_i,R_j)＝(l_i-l_j)²+(a_i-a_j)²+(b_i-b_j)²表示在区域邻接情况下，任意两个不重合区域在lab颜色空间中的距离平方和，H∈R^K×K为邻接矩阵，用来度量区域位置邻近性；

202)由区域相似性计算超像素区域的图拉普拉斯规范化矩阵L∈R^K×K，

其中W∈R^K×K为区域相似性矩阵，D∈R^K×K矩阵为对角矩阵，对角线上的值为W矩阵中对应行或列的和，即

203)利用拉普拉斯矩阵L生成最小的n个特征值和对应的特征向量，n个特征向量组成矩阵Y∈R^K×n，将Y的每一行作为一个数据点，进行聚类，减少区域数目到n(n<K)，得到超像素谱聚类分割图像C(x,y)，更新合并后的区域标签信息，记为clabels[i](i＝1,2,3...,K)。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤3)包括：

301)对输入的图像I分别计算显著特征多尺度对比映射图F₁、中心-四周直方图F₂以及中心加权颜色空间分布映射图F₃；

302)使用CRF模型对多尺度对比映射图F₁、中心-四周直方图F₂以及中心加权颜色空间分布映射图F₃进行线性融合，得到粗度显著度图。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述CRF模型的条件分布函数为：

其中E为能量函数，z为分配函数。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述能量函数E定义为：

其中F_h表示图像的第h个特征映射图，j_h、b_h为权重参数，C(l_x,l_x′,I)为成对函数，其中l_x，l_x′为像素点x对应的成对二值标签，在条件随机场模型下得到粗度显著图记为G(x,y)。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤4)中，显著特征的融合包括：

401)输入包括超像素谱聚类得到的分割图像C(x,y)、粗度显著图G(x,y)以及区域标签信息clabels(x,y)；

402)根据标签信息计算每个超像素的显著均值来表示每个区域的显著特征，显著均值U[i]的计算公式为：

式中m_i表示标签值为i的像素点的总个数，

表示像素点p(x,y)，标签为i的像素点在粗度显著图中的显著值之和；

403)在区域级别使用每个超像素的显著度均值重构粗度显著图，对于每个区域R_i(i∈[1,n])，将该区域内像素点p(x,y)的显著值以区域的显著均值代替，即：

G′(x,y)＝U[i] p(x,y)∈R_i。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤5)中，二值化处理的方式为：将显著值乘以255使其值在[0～255]之间，寻找一个阈值使得前景与背景两部分之间满足类内方差最小类间方差最大，得到二值化粗度显著图g(x,y)。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤5)中，所述标签指示向量的LI的生成方式为：

其中S(i)表示粗度显著图g(x,y)中，标签为i所对应的区域，显著值为1的像素个数，S(i)定义为：

其中g(x,y)为粗度显著图，clabels(x,y)为标签信息，ρ为阈值参数，

表示不同标签对应的显著值为1的像素个数中的数量最大值，LI(i)为标签i的指示向量，为1表示标签属于显著区，为0表示标签属于背景区域；

所述步骤5)中，将显著区域标注成统一标签的方式为：

统一标签值并分割前背景区，使用标签指示向量得到最终的标签信息，即

其中co表示像素个数为

所对应的标签值，LI(i)表示标签相应的指示向量，clabels(x,y)为像素点p(x,y)相应标签信息，将显著区域标注为同一个标签值co后，通过标签值co确定出显著区域cc(x,y)，显著区域cc(x,y)的确定公式为：

其中label(x,y)为标签值，c(x,y)为超像素谱聚类的分割图像。

作为基于区域标签融合的图像显著性检测方法的优选方案，所述步骤5)中，对所述显著区域中的孤点进行处理的方式为：

采用8邻域方式处理显著区域中的非显著标签，定义一个参数np，用来表示当前检验区域的标签值与8邻域中标签值相同的个数，设定阈值α，若np＞α，则进行合并。

本发明实施例具有如下优点：本发明使用多特征融合实现显著区域检测的同时采用超像素分割获取更加精准的边界信息，利用谱聚类算法合并部分超像素区域，有效减少区域数目，并采用区域标签融合的方式得到更准确的显著图。采用本发明实施例得到的显著图具有更清晰的边界轮廓，显著区域的稠密性得到了保证，同时对显著区域和非显著区域颜色相似度高的图像能够获得很好的显著性检测效果，提高了处理效率，可以应用到需要批量图像处理的领域，如图像检索与图像标注等。

附图说明

图1为本发明实施例提供的基于区域标签融合的图像显著性检测方法流程图；

图2为本发明实施例提供的粗度显著检测与精度显著检测对比图；

图3为本发明实施例提供的特殊图像的显著检测实验结果图；

图4为本发明实施例提供的区域分割对比实验结果图；

图5为本发明实施例提供的显著区域检测结果对比图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

参见图1，提供一种基于区域标签融合的图像显著性检测方法，包括：

S1：使用超像素分割算法对图像进行预处理，将图像过分割成若干图像区域块；

S2：根据所述图像区域块的颜色、位置信息使用高斯核函数获取区域相似度，利用所述区域相似度进行超像素区域的谱聚类，获得图像分割的标签集合，根据所述标签集合保存图像的边界信息；

S3：获取图像的显著特征，在条件随机场模型下进行所述显著特征的融合，得到粗度显著图；

S4：利用所述标签集合对所述边界信息进行传播，将所述边界信息与所述粗度显著图进行对比融合，获得粗度显著图的重构；

S5：采用自适应阈值分割方式对重构后的粗度显著图进行二值化处理，利用标签指示向量将显著区域标注成统一标签，并对所述显著区域中的孤点进行处理，获得显著区域检测图像。

具体的，利用简单线性迭代聚类(SLIC)算法实现超像素分割，超像素分割是本技术方案图像显著区域检测的第一步预处理，与其他超像素方法相比较，SLIC算法具有使用简单，运行速度快，存储空间小的特点，且SLIC分割的超像素具有较好的紧凑性和边界贴合度。因此采用SLIC将图像分割成若干区域块。每个超像素块中的像素点具有颜色、位置相近的特点。超像素分割可以得到具有边界信息的标签集合，为了得到细致的边界信息，超像素的过分割也较为严重，不利于后面的标签融合，且易影响图像的稠密性，因此采用谱聚类算法实现区域聚类，减少区域融合时的数目。本技术方案在LAB颜色空间中，结合超像素位置信息作为辅助，利用三维颜色特征采用高斯核计算相似性，再利用图拉普拉斯矩阵实现谱聚类。

具体的，超像素分割的过程包括：

S101：设定超像素分割的区域分割数为K，则聚类中心数目为K，含有N个像素的一幅图像分割后，每个区域像素点的数目为N/K，每个像素点在五维空间中记作xi＝(l,a,b,x,y)，其中l,a,b为色彩空间CIELAB中的值，x,y为像素点坐标值；

S102：初始化每个聚类中心的种子点，在五维空间中计算颜色距离与空间距离，获取像素点与种子点的相似性，使用k-means算法同步更新聚类中心直至收敛，对小区域进行合并，将图像聚类成K个区域，并得到每个超像素区域的特定初始标签信息，记为knlabels[i](i＝1,2,3...,K)。

具体的，谱聚类是一种基于图论的聚类方法，它可以识别任意形状的样本空间且收敛于全局最优解。步骤S2中包括：

S201：建立无向图<V,H>，使用高斯核函数计算区域相似性矩阵W∈R^K×K，将其中任意两个超像素区域块R_i和R_j的相似性W_ij定义为：

式中d(R_i,R_j)＝(l_i-l_j)²+(a_i-a_j)²+(b_i-b_j)²表示在区域邻接情况下，任意两个不重合区域在lab颜色空间中的距离平方和，H∈R^K×K为邻接矩阵，用来度量区域位置邻近性；

S202：由区域相似性计算超像素区域的图拉普拉斯规范化矩阵L∈R^K×K，

其中W∈R^K×K为区域相似性矩阵，D∈R^K×K矩阵为对角矩阵，对角线上的值为W矩阵中对应行或列的和，即

S203：利用拉普拉斯矩阵L生成最小的n个特征值和对应的特征向量，n个特征向量组成矩阵Y∈R^K×n，将Y的每一行作为一个数据点，进行聚类，减少区域数目到n(n<K)，得到超像素谱聚类分割图像C(x,y)，更新合并后的区域标签信息，记为clabels[i](i＝1,2,3...,K)。

由于超像素分割能够快速得到很好的边界信息并保存到标签当中，再经过谱聚类后，不仅保留了超像素分割的边界优越性，同时减少了过分割区域数量，为后续与显著图的融合提供了较为精准的边界信息，同时加快了融合速度。

显著特征分别为多尺度对比映射图(multi-scale contrast map)、中心—四周直方图(center surround histogram map)以及中心加权颜色空间分布映射图(centerweighted color spatial distribution map)，并使用积分图像技术计算特征值。采用条件随机场模型融合三种特征映射图以获取像素级的显著度图。具体的，所述步骤S3中包括：

S301：对输入的图像I分别计算显著特征多尺度对比映射图F₁、中心-四周直方图F₂以及中心加权颜色空间分布映射图F₃；

S302：使用CRF模型对多尺度对比映射图F₁、中心-四周直方图F₂以及中心加权颜色空间分布映射图F₃进行线性融合，得到粗度显著度图。

在步骤S302中，CRF模型的条件分布函数为：

其中E为能量函数，z为分配函数。能量函数E定义为：

其中F_h表示图像的第h个特征映射图，j_h、b_h为权重参数，C(l_x,l_x′,I)为成对函数，其中l_x，l_x′为像素点x对应的成对二值标签，在条件随机场模型下得到粗度显著图记为G(x,y)。

由于通过条件随机场模型融合三种显著特征得到的显著度图属于像素级显著性获取，得到的显著度图具有边缘模糊，轮廓不清晰的缺点。而区域级的图像分割方式虽然边界轮廓清晰，但是却存在过分割现象，计算的精确度不够。因此本技术方案提出一种区域标签融合方式，将超像素和谱聚类后得到的边界信息与粗度显著度图进行对比融合，同时采用自适应阈值分割方式优化显著度图二值分割过程，最终得到具有清晰边界的二值显著图。该方法不仅保留了多特征融合获取显著图位置的优势，还融合了图像过分割带来的边界信息，实现了像素级和区域级显著信息的融合。二者的融合不仅提高了像素级显著检测的抗干扰能力，还提高了区域级显著检测的计算精准度。具体的，步骤S4中，显著特征的融合包括：

S401：输入包括超像素谱聚类得到的分割图像C(x,y)、粗度显著图G(x,y)以及区域标签信息clabels(x,y)；

S402：根据标签信息计算每个超像素的显著均值来表示每个区域的显著特征，显著均值U[i]的计算公式为：

式中m_i表示标签值为i的像素点的总个数，

表示像素点p(x,y)，标签为i的像素点在粗度显著图中的显著值之和；

S403：在区域级别使用每个超像素的显著度均值重构粗度显著图，对于每个区域R_i(i∈[1,n])，将该区域内像素点p(x,y)的显著值以区域的显著均值代替，即：

G′(x,y)＝U[i] p(x,y)∈R_i。

重构之后的粗度显著图区域化特征更为明显，且具有更少的显著度值，加快了之后的自适应阈值分割过程。

传统的固定阈值的分割方法是设定一个阈值T，通过判断显著值与阈值大小关系来将图像二值化。这种方式处理速度快，但是稳定性不够，不同的图像需要反复设置阈值来找到最合适的分割方式，而且对于前景和背景相似度高的图像分割效果不好，因此选择自适应阈值分割方式。具体的，所述S5中，二值化处理的方式为：将显著值乘以255使其值在[0～255]之间，寻找一个阈值使得前景与背景两部分之间满足类内方差最小类间方差最大，得到二值化粗度显著图g(x,y)。

本技术方案定义一种标签指示向量LI，在标签信息与粗度显著图进行融合时，用来表明标签归属于显著区域还是背景区域。具体的，所述S5中，所述标签指示向量的LI的生成方式为：

其中S(i)表示粗度显著图g(x,y)中，标签为i所对应的区域，显著值为1的像素个数，S(i)定义为：

其中g(x,y)为粗度显著图，clabels(x,y)为标签信息，ρ为阈值参数，

表示不同标签对应的显著值为1的像素个数中的数量最大值，LI(i)为标签i的指示向量，为1表示标签属于显著区，为0表示标签属于背景区域。

具体的，所述S5中，将显著区域标注成统一标签的方式为：

统一标签值并分割前背景区，使用标签指示向量得到最终的标签信息，即

其中co表示像素个数为

所对应的标签值，LI(i)表示标签相应的指示向量，clabels(x,y)为像素点p(x,y)相应标签信息，将显著区域标注为同一个标签值co后，通过标签值co确定出显著区域cc(x,y)，显著区域cc(x,y)的确定公式为：

其中label(x,y)为标签值，c(x,y)为超像素谱聚类的分割图像。

具体的，所述S5中，对所述显著区域中的孤点进行处理的方式为：

采用8邻域方式处理显著区域中的非显著标签，定义一个参数np，用来表示当前检验区域的标签值与8邻域中标签值相同的个数，设定阈值α，若np＞α，则进行合并。为了防止过度合并而导致的边界清晰度降低，在孤点处理时，不仅对显著区域内部由于标签数量过少而忽略的小区域进行合并处理，同样也对非显著区域中的显著点进行处理，最终得到区域内部稠密的显著区域图J。

以下对采用本发明的技术方案的实验结果和分析进行阐述。

实践中，采用南开大学媒体计算实验室提供的MSRA10k数据集作为测试数据集。该数据集包含了MSRA数据集中的10000张图像，同时配有10000张图像相应的GT分割图像。在该数据集上从多个方面对本技术方案的优越性进行了验证和分析。同时使用精确度(Precision)、召回率(Recall)、以及F度量(F-measure)这三种评价指标将本技术方案和其它方案作对比，进一步体现本技术方案的优势。F-measure度量公式为：

其中Precision为精确度，Recall为召回率，α为公式中精确度的权重参数，一般情况α²取值0.3。该权重参数体现出了精确度在公式中的重要程度。

参见图2，为粗度显著检测与精度显著检测对比图，本技术方案(以下简称RLF)对显著区域的检测融合了粗度检测和标签融合边界信息这两步，为了验证标签融合的有效性，实验采用自适应阈值分割结合后的算法(以下简称CSD)，CSD先基于条件随机场融合三种显著特征，再进行粗度显著度图的自适应阈值分割来得到粗度显著图，将其与RLF进行对比。为了充分体现出RLF算法在显著区域边界轮廓上的优势，著区域内部稠密性。实验特别选择了具有较多细致边界的花朵图片来举例说明。与GT作对比可以看出，RLF比CSD算法分割出的显著区域具有更精准且细致的边界轮廓，图像花瓣纹路更清晰，同时RLF借由超像素和谱聚类算法分割得到的精准边界信息，有效地将与显著区域紧邻的背景区域分割出去，获得了与GT更接近的分割图像。

参见图3，为特殊图像的显著检测实验，本实验中的特殊图像是指背景区域与显著区域的颜色、纹理等相似性较高的图像。与GT比较可以看出，尽管两幅图中的背景区域与显著区域的颜色十分相近，RLF依然能够有效地将蒲公英从蓝色天空背景中分割出，将小黄鸭的头部从水中整只小黄鸭中分割出来。并且分割出来的蒲公英边界轮廓非常细致清晰，小鸭子的头部分割也十分完整，保证了两个图像的显著区域内部稠密性，得到的分割图像与GT图有十分相近的显著分割结果。实验结果表明，RLF能够在背景与显著区颜色十分相近的情况下，有效地将显著区域准确分割出来，得到具有细致、清晰边界的显著检测图。RLF在区域分割上选择五维特征(包括三维颜色特征和二维位置特征)作为边界信息，在条件随机场模型下融合三种显著特征，有效降低了背景区域的噪声影响。同时采用区域标签融合方法，不仅在像素级上进行显著检测，还在区域级上检测显著对象，实现了多层次显著检测，对背景干扰较强的特殊图像也能很好的检测到显著区域并同时分割出带有清晰轮廓的显著图。

参见图4，为区域分割对比实验，RLF在区域分割过程中采用SLIC算法得到过分割区域，并采用谱聚类算法缩减区域数目，以此加快后期实验中标签融合的速度，提高内部稠密性。为了验证谱聚类步骤在RLF中的有效性，分别对仅采用SLIC分割与采用SLIC+谱聚类分割两种方法做对比实验，实验中固定相同的方法构建粗度显著图并且统一采用本技术方案提出的区域标签融合方式，使用以上两种不同分割方法进行图像的分割处理，获取边界信息。由图4所示，仅采用SLIC算法进行分割也可以获得具有较为清晰边界的显著分割图，但由于超像素过分割较为严重，容易出现小区域凸起，显著区域内部稠密性不够，而RLF在SLIC超像素分割后使用谱聚类算法缩减区域数目，在较少的超像素块情况下仍旧获得了可靠的边界信息，并且增强了显著区域内部的稠密性，最终获得较为理想的显著区域分割结果。

参见图5，为了验证本技术方案对显著区域分割的有效性、准确性以及分割结果的边界优越性，将RLF与近几年来较新的6种显著区域检测方法FT、SEG、RC、CA、CB、CSD做了比较。与其它方法相比较，RLF得到的显著区域分割结果在保证准确度的情况下，不仅区域内部具有较好的稠密性，还具有比其它算法更加清晰、精准的边界轮廓，显著区域分割结果更加接近GT分割图像。实验表明，RLF在整体性能上优于FT、SEG和CA，所有指标均高于这三种算法。与RC相比，在Precision和F-measure上，RLF与其基本持平，而在Recall上，RLF比RC提高了11％。与CB相比，在Precision上，CB仅比RLF高出1％，而在Recall和F-measure上，RLF比CB分别提高了19.5％和2％。与CSD相比，在Recall是，CSD优于RLF，而在Precision和F-measure上，RLF明显优于CSD。从整体上看，RLF算法相比其它算法有其明显的优越性。由于RLF算法在显著区域分割时不仅融合了三种显著特征，还融合了由超像素和谱聚类算法分析得到的更为精准的边界信息，并加以融合，本文算法不仅能准确的找到显著区域，还能有效地阻隔非显著区域的干扰，由此得到的显著区域分割图像具有更加清晰的边界，图像分割结果也更接近ground-truth分割图像。

整体而言，对于现今显著性检测方法存在的边界轮廓不清晰，显著区域内部稠密性不够等问题，本技术方案提出一种基于区域标签融合的图像显著性检测方法。首先在条件随机场框架下，利用中心周边直方图、多尺度对比图以及中心加权颜色空间分布图获取粗度显著图。为了得到更加准确的边界信息，采用SLIC算法得到超像素图，再使用谱聚类算法获取最终的边界信息。RLF算法采用一种区域标签融合方式，将粗度显著图与带有边界信息的标签集合进行对比融合，精化粗度显著图的边界，最终得到边界轮廓清晰的显著区域。实验从多个角度验证算法的有效性，结果表明，本发明能够有效的获取边界清晰的显著区域，同时保证了显著区域内部的稠密性。而且，对于显著区域与非显著区域颜色较为相似的图像也取得了较好的显著检测效果。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.基于区域标签融合的图像显著性检测方法，其特征在于，包括：

1)使用超像素分割算法对图像进行预处理，将图像过分割成若干图像区域块；

2)根据所述图像区域块的颜色、位置信息使用高斯核函数获取区域相似度，利用所述区域相似度进行超像素区域的谱聚类，获得图像分割的标签集合，根据所述标签集合保存图像的边界信息；

3)获取图像的显著特征，在条件随机场模型下进行所述显著特征的融合，得到粗度显著图；

4)利用所述标签集合对所述边界信息进行传播，将所述边界信息与所述粗度显著图进行对比融合，获得粗度显著图的重构；

5)采用自适应阈值分割方式对重构后的粗度显著图进行二值化处理，利用标签指示向量将显著区域标注成统一标签，并对所述显著区域中的孤点进行处理，获得显著区域检测图像；

所述步骤2)包括，

201)建立无向图<V,H>，使用高斯核函数计算区域相似性矩阵W∈R^K×K，将其中任意两个超像素区域块R_i和R_j的相似性W_ij定义为：

式中d(R_i,R_j)＝(l_i-l_j)²+(a_i-a_j)²+(b_i-b_j)²表示在区域邻接情况下，任意两个不重合区域在lab颜色空间中的距离平方和，H∈R^K×K为邻接矩阵，用来度量区域位置邻近性；

202)由区域相似性计算超像素区域的图拉普拉斯规范化矩阵L∈R^K×K，

其中W∈R^K×K为区域相似性矩阵，D∈R^K×K矩阵为对角矩阵，对角线上的值为W矩阵中对应行或列的和，即

203)利用拉普拉斯矩阵L生成最小的n个特征值和对应的特征向量，n个特征向量组成矩阵Y∈R^K×n，将Y的每一行作为一个数据点，进行聚类，减少区域数目到n(n<K)，得到超像素谱聚类分割图像C(x,y)，更新合并后的区域标签信息，记为clabels[i](i＝1,2,3...,K)。

2.根据权利要求1所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述步骤1)中，超像素分割的过程包括：

101)设定超像素分割的区域分割数为K，则聚类中心数目为K，含有N个像素的一幅图像分割后，每个区域像素点的数目为N/K，每个像素点在五维空间中记作x_i＝(l,a,b,x,y)，其中l,a,b为色彩空间CIELAB中的值，x,y为像素点坐标值；

102)初始化每个聚类中心的种子点，在五维空间中计算颜色距离与空间距离，获取像素点与种子点的相似性，使用k-means算法同步更新聚类中心直至收敛，对小区域进行合并，将图像聚类成K个区域，并得到每个超像素区域的特定初始标签信息，记为knlabels[i](i＝1,2,3...,K)。

3.根据权利要求1所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述步骤3)包括：

301)对输入的图像I分别计算显著特征多尺度对比映射图F₁、中心-四周直方图F₂以及中心加权颜色空间分布映射图F₃；

302)使用CRF模型对多尺度对比映射图F₁、中心-四周直方图F₂以及中心加权颜色空间分布映射图F₃进行线性融合，得到粗度显著度图。

4.根据权利要求3所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述CRF模型的条件分布函数为：

其中E为能量函数，z为分配函数。

5.根据权利要求4所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述能量函数E定义为：

其中F_h表示图像的第h个特征映射图，j_h、b_h为权重参数，C(l_x,l_x′,I)为成对函数，其中l_x，l_x′为像素点x对应的成对二值标签，在条件随机场模型下得到粗度显著图记为G(x,y)。

6.根据权利要求1所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述步骤4)中，显著特征的融合包括：

401)输入包括超像素谱聚类得到的分割图像C(x,y)、粗度显著图G(x,y)以及区域标签信息clabels(x,y)；

402)根据标签信息计算每个超像素的显著均值来表示每个区域的显著特征，显著均值U[i]的计算公式为：

式中m_i表示标签值为i的像素点的总个数，

表示像素点p(x,y)，标签为i的像素点在粗度显著图中的显著值之和；

403)在区域级别使用每个超像素的显著度均值重构粗度显著图，对于每个区域R_i(i∈[1,n])，将该区域内像素点p(x,y)的显著值以区域的显著均值代替，即：

G′(x,y)＝U[i] p(x,y)∈R_i。

7.根据权利要求1所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述步骤5)中，二值化处理的方式为：将显著值乘以255使其值在[0～255]之间，寻找一个阈值使得前景与背景两部分之间满足类内方差最小类间方差最大，得到二值化粗度显著图g(x,y)。

8.根据权利要求1所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述步骤5)中，所述标签指示向量的LI的生成方式为：

其中S(i)表示粗度显著图g(x,y)中，标签为i所对应的区域，显著值为1的像素个数，S(i)定义为：

其中g(x,y)为粗度显著图，clabels(x,y)为标签信息，ρ为阈值参数，

表示不同标签对应的显著值为1的像素个数中的数量最大值，LI(i)为标签i的指示向量，为1表示标签属于显著区，为0表示标签属于背景区域；

所述步骤5)中，将显著区域标注成统一标签的方式为：

统一标签值并分割前背景区，使用标签指示向量得到最终的标签信息，即

其中co表示像素个数为

所对应的标签值，LI(i)表示标签相应的指示向量，clabels(x,y)为像素点p(x,y)相应标签信息，将显著区域标注为同一个标签值co后，通过标签值co确定出显著区域cc(x,y)，显著区域cc(x,y)的确定公式为：

其中label(x,y)为标签值，c(x,y)为超像素谱聚类的分割图像。

9.根据权利要求1所述的基于区域标签融合的图像显著性检测方法，其特征在于，所述步骤5)中，对所述显著区域中的孤点进行处理的方式为：

采用8邻域方式处理显著区域中的非显著标签，定义一个参数np，用来表示当前检验区域的标签值与8邻域中标签值相同的个数，设定阈值α，若np＞α，则进行合并。

Images