CN108491883A - 一种基于条件随机场的显著性检测优化方法 - Google Patents

Abstract

本发明涉及一种基于条件随机场的显著性检测优化方法，其特征在于，包括以下步骤：步骤S1：提取输入图像集合中各图像的全局深度卷积特征；步骤S2：根据全局深度卷积特征计算输入图像集合中两两图像之间的相似性；步骤S3：根据图像之间的相似性对输入图像集合进行K‑means聚类，形成k个相互独立的图像簇；步骤S4：采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数；步骤S5：对于新的输入图像，判断其所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化。该方法适用于多种显著性检测算法的优化，且优化效果好。

Description

一种基于条件随机场的显著性检测优化方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种基于条件随机场的显著性检测优化方法。

背景技术

图像显著性检测算法提取图像中最吸引人注意的地方，这部分信息在实际应用中的重要性较其它区域相比更大。显著性检测算法被广泛应用于包括图像分割、图像分类、图像检索等实际应用中。因此，大量学者研究图像显著性检测算法并不断提出最新的算法。Margolin等人提出一种基于主成分分析法(Principal Component Analysis，PCA)的显著性检测算法，该算法计算模式差异性来检测显著性图。Wei等人提出一种基于测地线(Geodesic saliency，GS)的显著性检测算法，该算法关注图像的背景先验信息。Kim等人提出一种基于高维颜色转换(High-dimensional Color Transform，HDCT)的显著性检测算法，将低维的RGB颜色图映射到高维的颜色特征空间，并在高维空间查找一个最优的颜色系数线性组合来定义显著性区域。但现有的图像显著性检测算法与人工标注的标准图像相比都有一定的缺陷，比如PCA算法注重于提取显著对象的边缘，几乎无法检测出显著对象的中间部分。GS算法只能提取到显著对象的部分区域，HDCT算法将一部分的背景也检测为显著性对象。

发明内容

本发明的目的在于提供一种基于条件随机场的显著性检测优化方法，该方法适用于多种显著性检测算法的优化，且优化效果好。

为实现上述目的，本发明采用的技术方案是：一种基于条件随机场的显著性检测优化方法，包括以下步骤：

步骤S1：提取输入图像集合中各图像的全局深度卷积特征；

步骤S2：根据全局深度卷积特征计算输入图像集合中两两图像之间的相似性；

步骤S3：根据图像之间的相似性对输入图像集合进行K-means聚类，形成k个相互独立的图像簇；

步骤S4：采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数；

步骤S5：对于新的输入图像，判断其所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化。

进一步地，所述步骤S1中，提取图像的全局深度卷积特征，包括以下步骤：

步骤S11：提取图像的局部深度卷积特征，该特征由图像识别深度网络的最后一层卷积层产生，对于输入的图像I，输出d维t×t的局部深度卷积特征f；

步骤S12：计算局部深度卷积特征的聚合权重，计算公式如下：

其中，α(x,y)表示图像I中像素点(x,y)的聚合权重，σ取图像中心与最近边界之间距离的1/3；

步骤S13：加权聚合局部深度卷积特征，得到初步全局特征，计算公式如下：

其中，表示图像I聚合后的初步全局特征，维数是d，W和H分别表示图像的宽度和高度，f(x,y)表示图像I中像素点(x,y)的局部深度卷积特征；

步骤S14：对进行L2规范化处理，计算公式如下：

其中，表示图像I规范化后的全局特征，维数是d；

步骤S15：将进行PCA降维和白化处理，得到n维的全局深度卷积特征n<d，计算公式如下：

其中，M_PCA是一个n×d的PCA矩阵，v_i是关联奇异值，i∈{1,2,...,n}，diag(v₁,v₂,...,v_n)表示对角矩阵；

步骤S16：对进行L2规范化处理，得到最后的全局深度卷积特征计算公式如下：

进一步地，所述步骤S2中，两两图像之间的相似性采用相应的全局深度卷积特征之间的点乘计算，计算公式如下：

其中，< >表示点乘运算，S(I_p,I_q)表示图像I_p和I_q之间的相似性，相似性的值越大表示图像I_p和I_q越相似，分别表示图像I_p、I_q的全局深度卷积特征。

进一步地，所述步骤S3中，根据图像之间的相似性对输入图像集合进行K-means聚类，包括以下步骤：

步骤S31：随机选取k张图像为图像簇的中心，然后通过求解以下最优化问题计算其它图像I_i所属的图像簇c_i：

其中，U_r是图像簇的中心，r＝1,2,...,k，S(I_i,U_r)是图像I_i和图像簇的中心U_r之间的相似性，表示取与图像I_i相似性最大的图像簇的中心对应的图像簇，然后赋值给c_i，从而图像I_i属于该图像簇c_i；

步骤S32：每个图像簇的中心取该图像簇中所有图像的均值，形成新的中心，然后按步骤S31求解最优化问题的方法进行重新聚类；

步骤S33：不断迭代步骤S32，直到每个图像簇的中心不再改变，得到k个图像簇{C_r|r＝1,...,k}。

进一步地，所述步骤S4中，采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数，包括以下步骤：

步骤S41：对于每个图像簇中的每张图像，采用显著性检测算法生成显著性图；

步骤S42：对于每个图像簇中的每张图像，采用网格搜索方法遍历全连接条件随机场的能量函数的参数ω₁、ω₂、σ_α、σ_β、σ_γ的所有取值组合；能量函数的计算公式如下：

其中，L表示整张图像的显著标签，L∈{0,1}^W×H，{0,1}^W×^H表示W×H个0或1的取值；E(L)表示显著标签L对应的能量函数，l_i和l_j分别表示显著标签L中像素点i和j的显著标签，取值为0表示不显著，取值为1表示显著；P(l_i)为像素点i是显著标签l_i的概率，取P(1)＝δ_i，P(0)＝1－δ_i，δ_i是显著性图中像素点i的显著性值；能量函数包括两个部分：第一部分为单元势函数，剩下的部分是成对势函数，包括两个核，第一个核是基于像素点距离和颜色差异的双边核，位置相近且颜色相似的像素点分配相近的显著性值，该核采用参数ω₁控制，像素点距离和颜色差异采用参数σ_α和σ_β控制；第二个核只依赖于像素点距离，目标在于改进原显著性图中小的孤立点，采用参数ω₂和σ_γ控制；μ(l_i,l_j)是判定函数，当l_i＝l_j时，取值为0，否则，取值为1；p_i和p_j分别表示像素点i和j的像素点位置；r_i和r_j分别表示像素点i和j的颜色值；所述参数ω₁、ω₂、σ_α、σ_β、σ_γ的取值范围均为整数集；

对于每张图像的参数ω₁、ω₂、σ_α、σ_β、σ_γ的每个参数取值组合，计算全连接条件随机场的能量函数的最小化问题：

表示取能量函数E(L)最小对应的显著标签L，然后赋值给显著标记L*；

对于每张图像的每个参数取值组合，根据求解出的显著标记L*计算图像中每个像素点的后验概率，从而生成优化后的显著性图；

步骤S43：采用准确率召回率曲线下面积PR-AUC这一显著性检测评估标准作为最优参数取值组合的判断依据，对于每个图像簇，计算每种参数取值组合下该图像簇中所有图像优化后显著性图的平均PR-AUC值，取PR-AUC值最高的参数取值组合作为该图像簇的全连接条件随机场最优参数。

进一步地，所述步骤S5中，判断新的输入图像所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化，包括以下步骤：

步骤S51：采用与步骤S41中相同的显著性检测算法生成新的输入图像I_e的显著性图；

步骤S52：通过求解以下最优化问题计算输入图像I_e所属的图像簇c_e：

其中，U_r是步骤S3得到的图像簇的中心，S(I_e,U_r)是输入图像I_e和图像簇的中心U_r之间的相似性，表示取与输入图像I_e相似性最大的图像簇的中心对应的图像簇，然后赋值给c_e，从而输入图像I_e属于图像簇c_e；

步骤S53：采用图像簇c_e的全连接条件随机场最优参数按照步骤S42中的计算公式对输入图像I_e的显著性图进行优化，生成优化后的显著性图。

相较于现有技术，本发明的有益效果是：采用全连接的条件随机场方法，利用全连接图模型结合彩色图中的颜色和位置信息来调整原显著性图像的显著性值，并利用图像聚类和网格搜索方法搜索核函数的最优权重，同一聚类内的显著性图像采用相同的参数设置进行优化。该方法适用于多种显著性检测算法的优化，不仅适用于简单场景下显著性图的优化，也适用于复杂场景下显著性图的优化，且优化后的显著性图与原显著性图相比更接近人工标注的结果。

附图说明

图1是本发明方法的流程框图。

图2是本发明一实施例的实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本发明提供一种基于条件随机场的显著性检测优化方法，如图1和图2所示，包括以下步骤：

步骤S1：提取输入图像集合中各图像的全局深度卷积特征。具体包括以下步骤：

步骤S11：提取图像的局部深度卷积特征，该特征由图像识别深度网络的最后一层卷积层产生。在本实施例中，图像识别深度网络采用ILSVRC 2014物体识别比赛夺冠的VGG-19深度网络。对于输入的图像I，输出d维t×t的局部深度卷积特征f。在本实施例中，为512维37×37的局部深度卷积特征f。

步骤S12：计算局部深度卷积特征的聚合权重，计算公式如下：

其中，α(x,y)表示图像I中像素点(x,y)的聚合权重，σ取图像中心与最近边界之间距离的1/3。

步骤S13：加权聚合局部深度卷积特征，得到初步全局特征，计算公式如下：

其中，表示图像I聚合后的初步全局特征，维数是512；W和H分别表示图像的宽度和高度，在本实施例中，W＝H＝37；f(x,y)表示图像I中像素点(x,y)的局部深度卷积特征。

步骤S14：对进行L2规范化处理，计算公式如下：

其中，是图像I规范化后的全局特征，维数是512。

步骤S15：将进行PCA降维和白化处理，得到n维的全局深度卷积特征本实施例中n为256，计算公式如下：

其中，M_PCA是一个n×d的PCA矩阵，v_i是关联奇异值，i∈{1,2,...,n}，diag(v₁,v₂,...,v_n)表示对角矩阵。

步骤S16：对进行L2规范化处理，得到最后的全局深度卷积特征计算公式如下：

步骤S2：根据全局深度卷积特征计算输入图像集合中两两图像之间的相似性。

两两图像之间的相似性采用相应的全局深度卷积特征之间的点乘计算，计算公式如下：

其中，< >表示点乘运算，S(I_p,I_q)表示图像I_p和I_q之间的相似性，相似性的值越大表示图像I_p和I_q越相似，分别表示图像I_p、I_q的全局深度卷积特征。

步骤S3：根据图像之间的相似性对输入图像集合进行K-means聚类，形成k个相互独立的图像簇。具体包括以下步骤：

步骤S31：随机选取k张图像为图像簇的中心，然后通过求解以下最优化问题计算其它图像I_i所属的图像簇c_i：

其中，U_r是图像簇的中心，r＝1,2,...,k，S(I_i,U_r)是图像I_i和图像簇的中心U_r之间的相似性，表示取与图像I_i相似性最大的图像簇的中心对应的图像簇，然后赋值给c_i，从而图像I_i属于该图像簇c_i；

步骤S32：每个图像簇的中心取该图像簇中所有图像的均值，形成新的中心，然后按步骤S31求解最优化问题的方法进行重新聚类；

步骤S33：不断迭代步骤S32，直到每个图像簇的中心不再改变，得到k个图像簇{C_r|r＝1,...,k}。

步骤S4：采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数。具体包括以下步骤：

步骤S41：对于每个图像簇中的每张图像，采用显著性检测算法生成显著性图。

步骤S42：对于每个图像簇中的每张图像，采用网格搜索方法遍历全连接条件随机场的能量函数的参数ω₁、ω₂、σ_α、σ_β、σ_γ的所有取值组合。能量函数的计算公式如下：

其中，L表示整张图像的显著标签，L∈{0,1}^W×H，{0,1}^W×H表示W×H个0或1的取值；E(L)表示显著标签L对应的能量函数，l_i和l_j分别表示显著标签L中像素点i和j的显著标签，取值为0表示不显著，取值为1表示显著；P(l_i)为像素点i是显著标签l_i的概率，取P(1)＝δ_i，P(0)＝1－δ_i，δ_i是显著性图中像素点i的显著性值；能量函数包括两个部分：第一部分为单元势函数，剩下的部分是成对势函数，包括两个核，第一个核是基于像素点距离和颜色差异的双边核，位置相近且颜色相似的像素点分配相近的显著性值，该核采用参数ω₁控制，像素点距离和颜色差异采用参数σ_α和σ_β控制；第二个核只依赖于像素点距离，目标在于改进原显著性图中小的孤立点，采用参数ω₂和σ_γ控制；μ(l_i,l_j)是判定函数，当l_i＝l_j时，取值为0，否则，取值为1；p_i和p_j分别表示像素点i和j的像素点位置；r_i和r_j分别表示像素点i和j的颜色值；所述参数ω₁、ω₂、σ_α、σ_β、σ_γ的取值范围均为整数集。在本实施例中，参数的取值范围为：ω₁取值3到6的整数，ω₂取值5到10的整数，σ_α取值3，σ_β取值20到70之间能被10整除的整数，σ_γ取值5到30之间能被5整除的整数和整数33，网格搜索的参数遍历上述参数取值范围内的所有参数取值组合。

对于每张图像的参数ω₁、ω₂、σ_α、σ_β、σ_γ的每个参数取值组合，计算全连接条件随机场的能量函数的最小化问题：

表示取能量函数E(L)最小对应的显著标签L，然后赋值给显著标记L*。

对于每张图像的每个参数取值组合，根据求解出的显著标记L*计算图像中每个像素点的后验概率，从而生成优化后的显著性图。

步骤S43：采用准确率召回率曲线下面积(Area Under Precision Recall Curve，PR-AUC)这一显著性检测评估标准作为最优参数取值组合的判断依据，对于每个图像簇，计算每种参数取值组合下该图像簇中所有图像优化后显著性图的平均PR-AUC值，取PR-AUC值最高的参数取值组合作为该图像簇的全连接条件随机场最优参数。

步骤S5：对于新的输入图像，判断其所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化。具体包括以下步骤：

步骤S51：采用与步骤S41中相同的显著性检测算法生成新的输入图像I_e的显著性图；

步骤S52：通过求解以下最优化问题计算输入图像I_e所属的图像簇c_e：

其中，U_r是步骤S3得到的图像簇的中心，S(I_e,U_r)是输入图像I_e和图像簇的中心U_r之间的相似性，表示取与输入图像I_e相似性最大的图像簇的中心对应的图像簇，然后赋值给c_e，从而输入图像I_e属于图像簇c_e；

步骤S53：采用图像簇c_e的全连接条件随机场最优参数按照步骤S42中的计算公式对输入图像I_e的显著性图进行优化，生成优化后的显著性图。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于条件随机场的显著性检测优化方法，其特征在于，包括以下步骤：

步骤S1：提取输入图像集合中各图像的全局深度卷积特征；

步骤S2：根据全局深度卷积特征计算输入图像集合中两两图像之间的相似性；

步骤S3：根据图像之间的相似性对输入图像集合进行K-means聚类，形成k个相互独立的图像簇；

步骤S4：采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数；

步骤S5：对于新的输入图像，判断其所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化。

2.根据权利要求1所述的一种基于条件随机场的显著性检测优化方法，其特征在于，所述步骤S1中，提取图像的全局深度卷积特征，包括以下步骤：

步骤S11：提取图像的局部深度卷积特征，该特征由图像识别深度网络的最后一层卷积层产生，对于输入的图像I，输出d维t×t的局部深度卷积特征f；

步骤S12：计算局部深度卷积特征的聚合权重，计算公式如下：

其中，α(x,y)表示图像I中像素点(x,y)的聚合权重，σ取图像中心与最近边界之间距离的1/3；

步骤S13：加权聚合局部深度卷积特征，得到初步全局特征，计算公式如下：

其中，表示图像I聚合后的初步全局特征，维数是d，W和H分别表示图像的宽度和高度，f(x,y)表示图像I中像素点(x,y)的局部深度卷积特征；

步骤S14：对进行L2规范化处理，计算公式如下：

其中，表示图像I规范化后的全局特征，维数是d；

步骤S15：将进行PCA降维和白化处理，得到n维的全局深度卷积特征n<d，计算公式如下：

其中，M_PCA是一个n×d的PCA矩阵，v_i是关联奇异值，i∈{1,2,...,n}，diag(v₁,v₂,...,v_n)表示对角矩阵；

步骤S16：对进行L2规范化处理，得到最后的全局深度卷积特征计算公式如下：

3.根据权利要求2所述的一种基于条件随机场的显著性检测优化方法，其特征在于，所述步骤S2中，两两图像之间的相似性采用相应的全局深度卷积特征之间的点乘计算，计算公式如下：

其中，<>表示点乘运算，S(I_p,I_q)表示图像I_p和I_q之间的相似性，相似性的值越大表示图像I_p和I_q越相似，分别表示图像I_p、I_q的全局深度卷积特征。

4.根据权利要求3所述的一种基于条件随机场的显著性检测优化方法，其特征在于，所述步骤S3中，根据图像之间的相似性对输入图像集合进行K-means聚类，包括以下步骤：

步骤S31：随机选取k张图像为图像簇的中心，然后通过求解以下最优化问题计算其它图像I_i所属的图像簇c_i：

其中，U_r是图像簇的中心，r＝1,2,...,k，S(I_i,U_r)是图像I_i和图像簇的中心U_r之间的相似性，表示取与图像I_i相似性最大的图像簇的中心对应的图像簇，然后赋值给c_i，从而图像I_i属于该图像簇c_i；

步骤S32：每个图像簇的中心取该图像簇中所有图像的均值，形成新的中心，然后按步骤S31求解最优化问题的方法进行重新聚类；

步骤S33：不断迭代步骤S32，直到每个图像簇的中心不再改变，得到k个图像簇{C_r|r＝1,...,k}。

5.根据权利要求4所述的一种基于条件随机场的显著性检测优化方法，其特征在于，所述步骤S4中，采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数，包括以下步骤：

步骤S41：对于每个图像簇中的每张图像，采用显著性检测算法生成显著性图；

步骤S42：对于每个图像簇中的每张图像，采用网格搜索方法遍历全连接条件随机场的能量函数的参数ω₁、ω₂、σ_α、σ_β、σ_γ的所有取值组合；能量函数的计算公式如下：

其中，L表示整张图像的显著标签，L∈{0,1}^W×H，{0,1}^W×H表示W×H个0或1的取值；E(L)表示显著标签L对应的能量函数，l_i和l_j分别表示显著标签L中像素点i和j的显著标签，取值为0表示不显著，取值为1表示显著；P(l_i)为像素点i是显著标签l_i的概率，取P(1)＝δ_i，P(0)＝1－δ_i，δ_i是显著性图中像素点i的显著性值；能量函数包括两个部分：第一部分为单元势函数，剩下的部分是成对势函数，包括两个核，第一个核是基于像素点距离和颜色差异的双边核，位置相近且颜色相似的像素点分配相近的显著性值，该核采用参数ω₁控制，像素点距离和颜色差异采用参数σ_α和σ_β控制；第二个核只依赖于像素点距离，目标在于改进原显著性图中小的孤立点，采用参数ω₂和σ_γ控制；μ(l_i,l_j)是判定函数，当l_i＝l_j时，取值为0，否则，取值为1；p_i和p_j分别表示像素点i和j的像素点位置；r_i和r_j分别表示像素点i和j的颜色值；所述参数ω₁、ω₂、σ_α、σ_β、σ_γ的取值范围均为整数集；

对于每张图像的参数ω₁、ω₂、σ_α、σ_β、σ_γ的每个参数取值组合，计算全连接条件随机场的能量函数的最小化问题：

表示取能量函数E(L)最小对应的显著标签L，然后赋值给显著标记L*；

对于每张图像的每个参数取值组合，根据求解出的显著标记L*计算图像中每个像素点的后验概率，从而生成优化后的显著性图；

步骤S43：采用准确率召回率曲线下面积PR-AUC这一显著性检测评估标准作为最优参数取值组合的判断依据，对于每个图像簇，计算每种参数取值组合下该图像簇中所有图像优化后显著性图的平均PR-AUC值，取PR-AUC值最高的参数取值组合作为该图像簇的全连接条件随机场最优参数。

6.根据权利要求5所述的一种基于条件随机场的显著性检测优化方法，其特征在于，所述步骤S5中，判断新的输入图像所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化，包括以下步骤：

步骤S51：采用与步骤S41中相同的显著性检测算法生成新的输入图像I_e的显著性图；

步骤S52：通过求解以下最优化问题计算输入图像I_e所属的图像簇c_e：

其中，U_r是步骤S3得到的图像簇的中心，S(I_e,U_r)是输入图像I_e和图像簇的中心U_r之间的相似性，表示取与输入图像I_e相似性最大的图像簇的中心对应的图像簇，然后赋值给c_e，从而输入图像I_e属于图像簇c_e；

步骤S53：采用图像簇c_e的全连接条件随机场最优参数按照步骤S42中的计算公式对输入图像I_e的显著性图进行优化，生成优化后的显著性图。