CN104899877A - 基于超像素和快速三分图的图像前景提取方法 - Google Patents

Abstract

本发明公开了一种基于超像素和快速三分图的图像前景提取方法。该方法主要包括：(1)采用SLIC算法进行超像素预处理；(2)根据所提取的超像素块，提取平均颜色特征和重心位置坐标等超像素特征；(3)利用GrabCut技术，建立有向带权图结构，将超像素分割得到的图像进行迭代能量最小化分割；(4)基于Raw Mask产生快速自适应Trimap；(5)应用Shared Matting和Trimap对初步硬分割边缘进行平滑处理得到Refined Mask；(6)应用Refined Mask，提取前景图像输出。本发明能够提高图像分割的效率，图像Matting边缘修正能够更加方便和高效，有很高的应用价值。

Description

基于超像素和快速三分图的图像前景提取方法

技术领域

本发明属于计算机视觉和图像处理技术领域，特别针对有明显前景目标的自然图像，进行前景目标的提取工作，为后续的应用处理提供有效的前景信息，可以应用到图像编辑、目标跟踪、图像检索等方面。

背景技术

前景提取就是指从现实图像中把感兴趣的目标识别和提取出来的一个任务。它是图像分割的一个分支，也是计算机视觉和模式识别领域的关键问题之一。图象分割在图像分析和图像处理研究中起着承前启后的作用，它是图像处理的一个重要环节。它不但可以检验图像的预处理效果，而且为后续的图像分析和处理奠定坚实基础。从其产生至今，它广泛地应用在诸多领域，为人们生活中的图像处理水平提高做出了重大贡献，也为人类生产力科技水平的提高起到了很大促进作用。因此，在过去的四十多年里，关于图像分割的研究一直受到人们的高度重视。

在人们生活工作中，图像分割的技术有广泛应用，一直是图像技术研究的热点方向。图像分割技术是计算机视觉***、自动目标获取、视频监控等图像识别和解析***中需要首要解决的问题，它在计算机视觉和图像识别中的广泛应用***中占有关键地位。但是，到目前为止，世界上还没有一个普适的或者在某一应用领域能够完全满足人们应用需求的图像分割算法，当然也不存在判断分割是否成功的客观标准。因此，图像分割算法的研究还有广阔的探索空间。

当把图像的前景提取出来后，我们可以利用它做进一步处理或研究，比如进行特征提取，然后用于识别，跟踪和图像检索。例如，如果我们能准确全面的提取出一个人的身体或物体的某个部分，这对于理解人的感兴趣目标和目标跟踪的问题将是一个很大的贡献，也使得这些问题在将来能够得到解决。通过提取前景并且与所需的背景图像进行融合，我们也可以实现虚拟现实与增强现实。另外，前景提取也广泛地应用在如电视，广告，杂志等领域。因此，前景提取是图像处理中的基本操作，也是视觉特效中的最重要的操作。对于图像分割，科研人员已经提出了大量的方法。传统的方法有基于阈值的方法、颜色直方图的方法、边缘检测的方法、区域相似性的方法、聚类的方法以及分水岭方法等。但是这些方法的一个共同缺点是分割结果的语义表达难以满足人们需求。

目前较新的方法大多是基于能量优化、Graph Cut以及能够表达语义的图像分割模式。一种能够较好表达用户意图的分割模式是交互式图像分割技术，而GrabCut是其中最具有代表性的算法：C.Rother,V.Kolmogorov,and A.Blake.GrabCut:Interactive foreground extraction using iterated graph cuts.ACMTransactions on Graphics,23:309–314,2004.GrabCut的主要思路是：(1)手工交互的给出一个前景区域的包围盒；(2)根据当前的前景和背景分割结果，分别估计前景和背景的GMM模型；(3)用max flow/min cut算法进行分割。GrabCut对Graph Cut有如下的改进：(1)利用了GMMs取代了直方图来描述前景与背景像素的分布，并且由灰度图像的处理发展到了彩色图的处理；(2)GrabCut应用了迭代估计的方法代替了原来Graph Cut的一次最小化的估计来完成能量最小化的计算；(3)GrabCut允许通过非完全标记，减少了与用户的交互，用户只需用矩形框标记出背景区域并且少量修饰即可。也就是说只需要矩形框选目标，那么在方框外的像素全部当成背景，这时候就可以对背景和前景分别用GMM进行建模和完成良好的分割了。

存在的问题：

1)计算时间复杂度和空间复杂度比较大；

2)后续Matting处理需要的三分图Trimap不能自动自适应。

发明内容

本发明针对上述现有方法的不足，提出一种基于超像素和快速三分图的图像前景提取方法。该方法利用超像素生成技术SLIC来进行图像与处理，使得图像前景分割计算的时间复杂度和空间复杂度的到大幅降低，同时提出主动自适应的三分图Trimap，使得后续Matting处理的效率提高。

具体实现方案包括如下步骤：

(1)对输入的图像，采用简单线性迭代聚类(SLIC)算法进行超像素预处理，得到以超像素块为单元的超像素图像；

(2)以超像素块内的信息代替单个像素的信息进行分割运算，提取超像素特征；

(3)利用GrabCut技术，对超像素图像构建吉布斯能量公式，建立有向带权图结构，采用最大流/最小割的方法将超像素图像进行迭代能量最小化分割，得到Raw Mask分割结果；

(4)基于Raw Mask，以硬分割边界为中心，若干个像素范围内标记为未知区域来得到快速自适应Trimap；

(5)应用Shared Matting和Trimap对初步硬分割边缘进行平滑处理得到Refined Mask；

(6)应用Refined Mask，提取前景图像输出。

上述超像素块可设置为由大约10个像素构成。

上述超像素特征至少包括平均颜色特征和重心位置坐标。

上述步骤(3)具体如下：

通过矩形框选目标来得到一个初始的TrimapT，即方框外的像素全部作为背景像素TB，而方框内TU的像素全部作为“可能是目标”的像素；GrabCut分别对前景目标和背景进行GMM建模，然后应用GrabCut在超像素图上进行分割；通过带权图和最大流/最小割算法做最小能量迭代优化求解以下能量公式

$\underset{\{{\mathrm{\α}}_n:n\∈T_U\}}{\min }\underset{k}{\min }E(\underset{\‾}{\mathrm{\α}},k,\underset{\‾}{\mathrm{\θ}},z).$

注：α、θ均为参数集，以下划线表示，此为本领域通用表达方式。

上述步骤(4)具体可在以硬分割边界为中心、5个像素范围内标记为未知区域来得到快速自适应Trimap。

上述步骤(5)进行平滑处理，当Refined Mask符合期望，则输出；不符合，则进行交互标记，迭代分割。

本发明具有以下技术效果：

1)本发明算法通过超像素算法预处理，图像分割效率很高；

2)结合快速自适应三分图Trimap的自动生成算法，使得图像Matting边缘修正能够更加方便和高效；

3)通过定性和定量实验对比证明了本发明算法具有高效性、精确性、先进性等显著优点，具有很高的实际应用价值。

附图说明

图1为本发明基于超像素和快速三分图的前景提取算法流程图；

图2、图3为本发明实验中采用的实验图以及不同算法的可视化结果图。

具体实施方式

以下面结合附图，对本发明作进一步的详细描述。

参照图1，本发明实现的步骤如下。

步骤1载入图片，进行超像素预处理

基于像素级别的GrabCut图像分割很耗时，因此很有必要应用超像素进行预处理来加速。超像素即在图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。简单线性迭代聚类(SLIC)算法被证明是目前最好的超像素分割方法。SLIC把LAB颜色空间和坐标空间转化成5维向量。超像素小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。算法把超像素大小设置为包含大约10个像素的大小来处理得到预处理超像素图。

$d_{\mathrm{lab}}=\sqrt{{(l_k-l_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}$

$d_{\mathrm{xy}}=\sqrt{{(x_k-x_i)}^2+{(y_k-y_i)}^2}$

$D^{\′}=\sqrt{{\left(\frac{d_c}{N_c}\right)}^2+{\left(\frac{d_s}{N_x}\right)}^2\·m^2}$

$D=\sqrt{{\left(d_c\right)}^2+{\left(\frac{d_s}{S}\right)}^2\·m^2}$

步骤2，提取超像素特征

利用超像素块内的信息代替单个像素的信息进行分割运算，因此要计算像素块的颜色特征和位置特征。颜色信息采用的是每个像素块内的RGB颜色均值(也可以是其他颜色特征)，位置信息是像素块的重心位置。重心坐标用于交互label过程中定位超像素块。

平均颜色特征

重心位置坐标

步骤3，超像素图像上GrabCut分割

用户通过直接框选目标来得到一个初始的Trimap T，即方框外的像素全部作为背景像素TB，而方框内TU的像素全部作为“可能是目标”的像素。对TB内的每一像素n，初始化像素n的标签αn＝0，即为背景像素；而对TU内的每个像素n，初始化像素n的标签αn＝1，即作为“可能是目标”的像素。经过上面两个步骤，我们就可以分别得到属于目标(αn＝1)的一些像素，剩下的为属于背景(αn＝0)的像素，这时候，就可以通过这个像素来估计目标和背景的GMM了。我们可以通过k-means算法分别把属于目标和背景的像素聚类为K类，即GMM中的K个高斯模型，这时候GMM中每个高斯模型就具有了一些像素样本集，这时候它的参数均值和协方差就可以通过他们的RGB值估计得到，而该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。

当得到超像素块的特征之后，就可以得到一幅相当于缩小10倍的超像素图。然后应用GrabCut在超像素图上进行分割。GrabCut用矩形框初始化前景和背景，并分别前景目标和背景进行建模。对于每个像素，要不来自于目标GMM的某个高斯分量，要不就来自于背景GMM的某个高斯分量。每个GMM模型由5个高斯混合而成，每个高斯都是3维颜色向量的分布。下面是P(z)是高斯混合模型的概率分布

$\begin{array}{c}P\left(z\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\π}}_k{p}_k\left(z\right)\\ =\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\π}}_{k}N\left(z\right|{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)\end{array}$

该算法通过吉布斯能量E(α,k,θ,z)来进行能量优化求解Alpha Mask。该能量优化公式不仅考虑了像素颜色信息的概率分布，即区域能量项U(α,k,θ,z)，而且考虑了领域之间的平滑信息，即边界平滑项V(α,z)。

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

区域能量项：

U(α,k,θ,z)＝P(z)

边界平滑项：

$V(\mathrm{\α},z)=\mathrm{\γ}\underset{(m,n\∈C)}{\mathrm{\Σ}}[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m]\exp -\mathrm{\β}{\left|\right|z_m-z_n\left|\right|}^2$

并通过建立有向带权图和最大流/最小割算法做最小能量迭代求解。

$\underset{\{{\mathrm{\α}}_n:n\∈T_U\}}{\min }\underset{k}{\min }E(\underset{\‾}{\mathrm{\α}},k,\underset{\‾}{\mathrm{\θ}},z)$

步骤4，基于Raw Mask产生快速自适应Trimap

通过步骤(3)，就可以得到一个超像素图的前景和背景的label标记信息，我们通过映射得到原始图像的Raw Mask。因为这样的分割是硬分割，即分割边缘会有锯齿状或者不平滑，不能满足要求。因此，需要对该结果进行修正。而后续Matting技术所需的三分图Trimap一般来自人工标记，很繁琐。本算法通过扩展硬分割边界来得到不确定的分割区域标记，比如在以硬分割边界为中心，5个像素范围内标记为未知区域。这种方法简单而高效，完全通过计算机自动生成，不需要人工标记。

步骤5，Matting边缘处理得到Refined Mask

Shared Matting是一种实时图像边缘处理技术：E.Gastal and M.Oliveira,“Shared sampling for real-time alpha Matting,”Computer Graphics Forum,vol.29,no.2,pp.575–584,2010.该技术需要三分图的辅助，在步骤(4)中生成的快速自适应三分图Trimap可以被用于Shared Matting对初步硬分割边界进行平滑处理。该方法操作简单且计算高效，如果有GPUs的辅助，则完全可以达到实时要求。当Refined Mask符合期望，则输出；不符合，则进行交互标记，迭代分割。

步骤6，输出前景图像

通过步骤(5)得到满意的Refined Mask,我们将它用于前景图像的提取并输出。本发明可以通过以下仿真实验做进一步的说明。

1)仿真条件

本发明是在中央处理器为Intel(R)Core i3-21303.40GHZ、内存16G、WINDOWS 7操作***上，运用Visual Studio 2010软件进行C++与Opencv程序的仿真，使用的是Release版本编译。实验中使用的实验数据是从公开的数据库获得：

以下面结合附图，对本发明实现的步骤作进一步的详细描述：

√ alphamattingdataset(http://www.alphamatting.com)

√ BSDS500(http://www.eecs.berkeley.edu/Research/Projects/CS/vision/)

其中，alphamatting数据集提供了一个27幅图像的训练集。训练集包含Ground truth,而测试集的Ground truth被隐藏。在我们的实验中，我们使用训练集来验证我们的方法的有效性。数据集BSDS500由500个自然的图像。该数据清晰地分离成不相交的训练，验证和测试子集。评价指标是(1)每次交互时间(Time Criterion)；(2)最小均方误差(Mean Square Error(MSE))；(3)绝对误差和(Sum of Absolute Difference(SAD))。

$\mathrm{MSE}(x,y)=\frac{1}{\mathrm{HW}}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{(\mathrm{mask}(x,y)-\mathrm{gt}(x,y))}^2$

$\mathrm{SAD}(x,y)=\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}|\mathrm{mask}(x,y)-\mathrm{gt}(x,y)|$

2)仿真内容

(1)为了证明本算法相对于原始GrabCut的改善效果，在一个对比实验里，我们对比了SuperpixelGrabCut与原始GrabCut在时间，MSE,SAD等三个衡量指标。

表1.SuperpixelGrabCut与原始算法的指标对比

本实验选择了6幅来自BSDS500和6幅来自alphamatting dataset的图片作为实验对象。因为第一个数据库的图片尺寸小(481×321)，第二个数据库图片尺寸大(大约800×550)，这样可以同时证明算法在小尺寸和大尺寸图片的分割都有效。其中选自BSDS500的图片分别为3063,8068,29030,65019,124084和388016；而选自alphamatting dataset的图片分别是GT02,GT05,GT06,GT13,GT14和GT15。实验中将两种算法的分割结果与Ground truth进行比较，计算得到MSE和SAD指标，同时统计每次交互算法的运行时间，结果如表1所示。表1中的黑体代表的是最好的结果，指标越低，效果越好。

从表1可见，本发明的绝大多数指标都优于原始算法，尤其是时间指标和MSE指标，都展现了本算法对于图像分割效果有很大的提升。而由于超像素块相对的不精细，使得SAD指标略微的差了一些，但是差距不是太大。而我们的主要目的是提高分割效率，因此本算法的分割效率优势非常明显。另外，图2是实验的可视化结果，从左到右每列依次是图片8068,29030,124084,GT02和GT06。图2第一行是原始图片，第二行是Ground truth,第三行是原始算法，第四行是提出的SuperpixelGrabCut的可视化结果图,可以看出我们的算法在很多细节方面都比原始算法有很大改善，例如，图片GT02里面的镂空，SuperpixelGrabCut有更符合实际的分割结果。

(2)实验2是为了证明本算法相比于其他同类算法的优势，我们选择了另外两种算法作为本算法的对比算法。第一种是Growcut，代码用Matlab和MEX实现，详细介绍参考论文：V.Vladimir and K.Vadim,“Growcut:Interactive multi-label n-d image segmentation by cellular automata,”inProc.of Graphicon,2005,pp.150–156.另一种是Lazy Snapping，代码用C++实现，详细介绍参考论文：Y.Li,J.Sun,C.Tang,and H.Shum,“Lazysnapping,”ACM Transactions On Graphic.,vol.23,no.3,pp.303–308,2004.表2是量化的指标对比，黑体数字是最好的指标，实验2是用alphamatting dataset里的27幅训练库来做的，可以看出觉得大多数最好的指标都是SuperpixelGrabCut得到，而最关键的时间指标，提出的算法平均时间是0.06秒，相比于Growcut的9.13秒和Lazy Snapping的0.72秒，分别有两个数量级和一个数量级的提升，达到了实时效果。而且在平均MSE和平均SAD指标也达到最好水平。图3是实验的可视化结果，其中图3a)是原始图片数据，图3(b)是Ground truth，图3(c)到图3(e)依次是Growcut、Lazy Snapping以及本发明算法等3种图像分割算法的可视化结果图。可以看出，本发明算法的视觉结果图都是最好的，尤其是图片GT25，本算法的分割结果基本符合实际前景目标，而另外两种的结果有较大变形和错误。因此通过与同类算法的定性和定量的对比，进一步验证了本发明的先进性。

表2.3种算法图像分割结果指标对比

通过定性和定量实验对比证明，本发明具有高效性、精确性、先进性等特点。

Claims (6)

1.基于超像素和快速三分图的图像前景提取方法，包括以下步骤：

(1)对输入的图像，采用简单线性迭代聚类(SLIC)算法进行超像素预处理，得到以超像素块为单元的超像素图像；

(2)以超像素块内的信息代替单个像素的信息进行分割运算，提取超像素特征；

(3)利用GrabCut技术，对超像素图像构建吉布斯能量公式，建立有向带权图结构，采用最大流/最小割的方法将超像素图像进行迭代能量最小化分割，得到Raw Mask分割结果；

(4)基于Raw Mask，以硬分割边界为中心，若干个像素范围内标记为未知区域来得到快速自适应Trimap；

(5)应用Shared Matting和Trimap对初步硬分割边缘进行平滑处理得到Refined Mask；

(6)应用Refined Mask，提取前景图像输出。

2.根据权利要求1所述的基于超像素和快速三分图的图像前景提取方法，其特征在于：所述超像素块由10个像素构成。

3.根据权利要求1所述的基于超像素和快速三分图的图像前景提取方法，其特征在于：所述超像素特征至少包括平均颜色特征和重心位置坐标。

4.根据权利要求1所述的基于超像素和快速三分图的图像前景提取方法，其特征在于，步骤(3)具体如下：

通过矩形框选目标来得到一个初始的TrimapT，即方框外的像素全部作为背景像素TB，而方框内TU的像素全部作为“可能是目标”的像素；GrabCut分别对前景目标和背景进行GMM建模，然后应用GrabCut在超像素图上进行分割；通过带权图和最大流/最小割算法做最小能量迭代优化求解以下能量公式

$\begin{array}{cc}\underset{\{{\mathrm{\α}}_n:n\∈T_U\}}{\min }& \underset{k}{\min }E(\underset{\‾}{\mathrm{\α}},k,\underset{\‾}{\mathrm{\θ}},z).\end{array}$

5.根据权利要求2所述的基于超像素和快速三分图的图像前景提取方法，其特征在于：步骤(4)具体在以硬分割边界为中心、5个像素范围内标记为未知区域来得到快速自适应Trimap。

6.根据权利要求1所述的基于超像素和快速三分图的图像前景提取方法，其特征在于：步骤(5)进行平滑处理，当Refined Mask符合期望，则输出；不符合，则进行交互标记，迭代分割。