CN110942468B - 一种基于超像素对概率传递的交互式图像分割方法 - Google Patents

Abstract

本发明公开了一种基于超像素对概率传递的交互式图像分割方法。该方法包括以下步骤：将图像划分成多个超像素，构造超像素对；构造超像素对的关系矩阵；将图像由RGB空间转换为Lab空间，使用k‑means算法，对种子点特征建模，估计超像素对的初始概率，得到超像素对的初始概率矩阵；利用超像素对的关系矩阵，将超像素对的初始概率传递到全局；根据传递到全局的超像素对初始概率，确定超像素的类别，最终完成图像分割。本发明对种子点具有更好的鲁棒性，减少了计算的复杂度，提高了交互式图像分割的效率。

Description

一种基于超像素对概率传递的交互式图像分割方法

技术领域

本发明涉及图像分割技术领域，特别是一种基于超像素对概率传递的交互式图像分割方法。

背景技术

交互式图像分割是指在用户提供的先验知识下，基于一定的相似性准则将用户感兴趣的目标从复杂的图像背景环境中分离出来，它是图像分析、模式识别和计算机视觉等领域中的一个关键问题，分割质量的好坏将直接影响后续相关应用。

由于具备多特征融合、全局最优、执行效率高等优良特性，近年来基于图论方法的研究受到了国内外学者的广泛关注，并成为了主流的交互式图像分割方法之一。当用户提供足够多的种子点时，传统基于图论的方法在分割简单彩色图像时往往能获得较好的分割结果。然而，该类方法对种子点的数量和位置较为敏感，当用户交互有限时，很难获得满意的分割。此外，传统图论方法只利用图像的局部像素关系来指引分割，由于没有充分利用图像的结构信息，往往较难分割包含噪声和纹理的图像。这些缺陷严重影响了该类方法的准确性和鲁棒性，限制了其实用性。

发明内容

本发明的目的在于提供一种分割结果对种子点的鲁棒性好、计算复杂度低、分割效率高的基于超像素对概率传递的交互式图像分割方法。

实现本发明目的的技术解决方案为：一种基于超像素对概率传递的交互式图像分割方法，包括以下步骤：

步骤1、将图像划分成多个超像素，构造超像素对；

步骤2、构造超像素对的关系矩阵；

步骤3、将图像由RGB空间转换为Lab空间，使用k-means算法，对种子点特征建模，估计超像素对的初始概率，得到超像素对的初始概率矩阵；

步骤4、利用超像素对的关系矩阵，将超像素对的初始概率传递到全局；

步骤5、根据传递到全局的超像素对初始概率，确定超像素的类别，最终完成图像分割。

进一步地，步骤1中所述的将图像划分成多个超像素，构造超像素对，具体如下：

步骤1.1、使用SLIC算法，将图像划分为M个超像素；

步骤2.2、对任意一个超像素，与其余M-1个超像素及自身组合，构建M个超像素对，M个超像素一共构建M²个超像素对。

进一步地，步骤2中所述的构造超像素对的关系矩阵，具体如下：

取超像素中像素点特征的均值作为该超像素的特征，再获取超像素的邻域关系，使用高斯函数，根据超像素的特征值对建立超像素对的关系矩阵。

进一步地，步骤3中所述的使用k-means算法，对种子点特征建模，估计超像素对的初始概率，具体如下：

使用k-means算法对前景和背景种子点分别进行聚类，以未标记种子点与簇心的距离作为权值，使用高斯函数估计每个像素属于前景标签和背景标签的概率，再取超像素中所有像素点概率的均值作为该超像素的先验概率；

将超像素对看成一个单元，建立超像素对与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的初始概率，然后将超像素对属于标签对的初始概率作为超像素对的初始概率；其中F表示前景标签，B表示背景标签。

进一步地，步骤4中所述的将超像素对的初始概率传递到全局，具体如下：

P^(t)＝αQP^(t-1)+(1-α)P

其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵，P为步骤3获得的超像素对的初始概率矩阵，t为迭代次数，P^(t)为P第t次迭代的结果；α是平衡系数，用于平衡初始概率矩阵和迭代后矩阵对结果的影响，0＜α＜1。

进一步地，步骤5所述的根据传递到全局的超像素对初始概率，确定超像素的类别，具体如下：

确定超像素类别时，根据该超像素与自身及其他M-1个超像素的元素对概率之和，完成分类，过程为：判断超像素i的标签时，首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(P^FF,P^FB,P^BF,P^BB)，然后,P^FF+P^FB作为超像素i属于前景标签F的概率P^F，P^BF+P^BB作为超像素i属于背景标签B的概率P^B,如果P^F>P^B，则超像素i属于前景标签F，否则属于背景标签B。

本发明与现有技术相比，其显著优点在于：(1)采用基于鲁棒关系传递的交互式图像分割，引入非局部关系，通过传递邻域像素之间的相似性关系来捕获图像内在的全局关系，取得了很好的分割效果；(2)使用成对关系，在相同种子点的情况下，增加了分割结果对种子点的鲁棒性；(3)使用超像素代替像素点，将成对关系矩阵的规模保持在一个合适的范围，在进行成对关系传递扩散时，减少了计算的复杂度，提高了交互式图像分割的效率。

附图说明

图1是本发明基于超像素对概率传递的交互式图像分割方法的流程图。

图2是本发明基于超像素对概率传递的交互式图像分割方法的实施过程示意图。

图3是本发明实施例中基于单个超像素的概率传递和基于超像素对概率传递两种方法得到的分割结果的比较示例图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

结合图1，本发明基于超像素对概率传递的交互式图像分割方法，包括以下步骤：

步骤1、将图像划分成多个超像素，构造超像素对；

步骤2、构造超像素对的关系矩阵；

步骤3、将图像由RGB空间转换为Lab空间，使用k-means算法，对种子点特征建模，估计超像素对的初始概率；

步骤4、利用超像素对的关系矩阵，将超像素对的初始概率传递到全局；

步骤5、根据传递到全局的超像素对概率，确定超像素的类别，最终完成图像分割。

进一步地，步骤1中所述的将图像划分成多个超像素，构造超像素对，具体如下：

步骤1.1、使用SLIC算法，将图像划分为M个超像素；

步骤2.2、对任意一个超像素，与其余M-1个超像素及自身组合，构建M个超像素对，M个超像素一共构建M²个超像素对。

进一步地，步骤2中所述的构造超像素对的关系矩阵，具体如下：

取超像素中像素点特征的均值作为该超像素的特征，再获取超像素的邻域关系，使用高斯函数，根据超像素的特征值对建立超像素对的关系矩阵。

进一步地，步骤3中所述的使用k-means算法，对种子点特征建模，估计超像素对的初始概率，具体如下：

使用k-means算法对前景和背景种子点分别进行聚类，以未标记种子点与簇心的距离作为权值，使用高斯函数估计每个像素属于前景标签和背景标签的概率，再取超像素中所有像素点概率的均值作为该超像素的先验概率，传统方法是建立单个超像素与前景标签(F)或背景标签(B)之间的度量关系作为初始先验概率，本发明是将成对超像素看成一个单元，建立其与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的概率，然后将超像素对属于标签对的初始概率作为超像素对的初始概率。

进一步地，步骤4中所述的将超像素对的初始概率传递到全局，具体如下：

P^(t)＝αQP^(t-1)+(1-α)P

其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵，P为步骤3获得的超像素对的初始概率矩阵，t为迭代次数，P^(t)为P第t次迭代的结果；α是平衡系数，用于平衡初始概率矩阵和迭代后矩阵对结果的影响，0＜α＜1。

进一步地，步骤5所述的根据传递到全局的超像素对概率，确定超像素的类别，最终完成图像分割，具体如下：

确定超像素类别时，根据该超像素与自身及其他M-1个超像素的元素对概率之和，完成分类。例如判断超像素i的标签时，首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(P^FF,P^FB,P^BF,P^BB)，然后,P^FF+P^FB作为超像素i属于前景标签(F)的概率(P^F)，P^BF+P^BB作为超像素i属于背景标签(B)的概率(P^B)，如果P^F>P^B，则超像素i属于前景标签(F)，否则属于背景标签(B)。

下面结合附图及具体实施例对本发明做进一步详细说明。

实施例1

结合图1，本发明基于超像素对关系传递的交互式图像分割方法，包括以下步骤：

步骤1、将图像划分成若干个超像素，构造超像素对，具体如下：

步骤1.1、使用SLIC算法，将图像划分为M个超像素；

步骤2.2、对任意一个超像素，与其余M-1个超像素及自身组合，构建M个超像素对，M个超像素一共构建M²个超像素对。

步骤2、构造超像素对的关系矩阵，具体如下：

取超像素中像素点特征的均值作为该超像素的特征，再获取超像素的邻域关系，使用高斯函数，根据特征值建立超像素对的关系矩阵。

步骤3、将图像由RGB空间转换为Lab空间，使用k-means算法，对种子点特征建模，来估计超像素对的初始概率，具体如下：

使用k-means算法对前景和背景种子点分别进行聚类，以未标记种子点与‘簇心’的距离作为权值，使用高斯函数估计每个像素属于前景标签和背景标签的概率，再取超像素中所有像素点概率的均值作为该超像素的先验概率，将成对超像素看成一个单元，建立其与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的概率，然后将超像素对属于标签对的初始概率作为超像素对的初始概率。

步骤4、使用基于传递的迭代优化方法，将超像素对的初始概率传递到全局，具体如下：

P^(t)＝αQP^(t-1)+(1-α)P

其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵，P为步骤3获得的超像素对的初始概率矩阵，t为迭代次数，P^(t)为P第t次迭代的结果；α是平衡系数，用于平衡初始概率矩阵和迭代后矩阵对结果的影响，0＜α＜1。

步骤5、根据传递到全局的超像素对概率，确定超像素的类别，最终完成图像分割，具体如下：

确定某个超像素类别时，根据该超像素与自身及其他M-1个超像素的元素对概率之和，完成分类。当判断超像素i的标签时，首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(P^FF,P^FB,P^BF,P^BB)，然后,P^FF+P^FB作为超像素i属于前景标签(F)的概率(P^F)，P^BF+P^BB作为超像素i属于背景标签(B)的概率(P^B)，如果P^F>P^B，则超像素i属于前景标签(F)，否则属于背景标签(B)。

传统的概率传递方法传递的都是单个元素(像素或超像素)的概率，本发明方法是将元素对作为一个单元，传递元素对的概率，然后根据传递后的元素对概率进行图像分割。此方法突破了基于单个元素的概率传递方法对种子点数量敏感的缺点，利用元素对的概率判断元素的类别(前景/背景)，加强了元素之间的联系，提高了分割结果对种子点的鲁棒性。

结合图2，本实施例采用伯克利图像数据集中选取的图像，图像是普通的彩色图像，分割前选取图像，在图像上进行划线，前景使用红色线条标记，背景使用绿色线条标记，来获得种子点类别。使用SLIC算法生成若干个超像素，构建超像素对；取超像素中像素特征均值作为超像素特征，计算超像素对的关系矩阵；通过用户划线交互，获得前景和背景种子点，在此基础之上获得像素先验概率；取超像素中所有像素概率均值作为超像素概率，再估计成对超像素属于标签对的初始概率；然后使用基于传递的迭代优化策略将初始概率传递到全局，获得全局超像素对概率；最后根据传递后的超像素对概率，确定超像素类别，完成图像分割。

实验结果如图3所示，从图中可以看出，在有限种子点的情况下，本发明的方法较传统基于像素的概率传递方法而言，分割效果明显较好，而且分割耗时更少。由于传统的概率传递方法是基于像素的，所以分割是以像素为单位，导致许多零星的像素点被错误的分割，由此可以看出传统方法对种子点的数量更加敏感。而本发明提出的方法，是以超像素对为单位，不存在上述问题，且计算量减小，分割耗时更短。本发明获得的图像分割算法的复杂度和分割结果对种子点的敏感度都优于现有的方法，实现了较好的图像分割效果，对于图像处理中抠图等方面具有重要的实际意义。

Claims (3)

1.一种基于超像素对概率传递的交互式图像分割方法，其特征在于，包括以下步骤：

步骤1、将图像划分成多个超像素，构造超像素对；

步骤2、构造超像素对的关系矩阵；

步骤3、将图像由RGB空间转换为Lab空间，使用k-means算法，对种子点特征建模，估计超像素对的初始概率，得到超像素对的初始概率矩阵；

步骤4、利用超像素对的关系矩阵，将超像素对的初始概率传递到全局；

步骤5、根据传递到全局的超像素对初始概率，确定超像素的类别，最终完成图像分割；

步骤3中所述的使用k-means算法，对种子点特征建模，估计超像素对的初始概率，具体如下：

使用k-means算法对前景和背景种子点分别进行聚类，以未标记种子点与簇心的距离作为权值，使用高斯函数估计每个像素属于前景标签和背景标签的概率，再取超像素中所有像素点概率的均值作为该超像素的先验概率；

将超像素对看成一个单元，建立超像素对与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的初始概率，然后将超像素对属于标签对的初始概率作为超像素对的初始概率；其中F表示前景标签，B表示背景标签；

步骤4中所述的将超像素对的初始概率传递到全局，具体如下：

P^(t)＝αQP^(t-1)+(1-α)P

其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵，P为步骤3获得的超像素对的初始概率矩阵，t为迭代次数，P^(t)为P第t次迭代的结果；α是平衡系数，用于平衡初始概率矩阵和迭代后矩阵对结果的影响，0＜α＜1；

步骤5所述的根据传递到全局的超像素对初始概率，确定超像素的类别，具体如下：

确定超像素类别时，根据该超像素与自身及其他M-1个超像素的元素对概率之和，完成分类，过程为：判断超像素i的标签时，首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(P^FF,P^FB,P^BF,P^BB)，然后,P^FF+P^FB作为超像素i属于前景标签F的概率P^F，P^BF+P^BB作为超像素i属于背景标签B的概率P^B,如果P^F>P^B，则超像素i属于前景标签F，否则属于背景标签B。

2.根据权利要求1所述的基于超像素对概率传递的交互式图像分割方法，其特征在于，步骤1中所述的将图像划分成多个超像素，构造超像素对，具体如下：

步骤1.1、使用SLIC算法，将图像划分为M个超像素；

步骤2.2、对任意一个超像素，与其余M-1个超像素及自身组合，构建M个超像素对，M个超像素一共构建M²个超像素对。

3.根据权利要求1所述的基于超像素对概率传递的交互式图像分割方法，其特征在于，步骤2中所述的构造超像素对的关系矩阵，具体如下：

取超像素中像素点特征的均值作为该超像素的特征，再获取超像素的邻域关系，使用高斯函数，根据超像素的特征值对建立超像素对的关系矩阵。

Images