CN108428240B - 一种对输入信息自适应的显著物体分割方法 - Google Patents

Abstract

一种对输入信息自适应的显著物体分割方法，首先采用自适应三阈值算法，从显著性图中生成分割种子，然后扩展GrabCut算法，从而能够根据不同的输入信息自适应地初始化算法，并通过自适应GrabCut算法的到显著物体的粗标注图，最后采用自适应初始化分割，优化显著物体轮廓，得到分割结果。本发明采用一个统一框架来处理不同的输入信息，并根据输入信息的变化动态调整方法的模块步骤，从而综合利用了不同输入信息中的物体特征，提高了显著物体分割的准确性和完整性。

Description

一种对输入信息自适应的显著物体分割方法

技术领域

本发明属于计算机技术领域，涉及针对多种输入信息的显著物体分割方法，具体为一种对输入信息自适应的显著物体分割方法。

背景技术

物体分割的目标是在图像或视频中，以像素级别的粒度将物体从背景中区分开来。这项技术作为计算机视觉领域的其他应用的基础，可以广泛应用于物体识别、物体检测、图像检索、动作识别和图像标注中。

传统的图像分割技术可以大致分为三类：基于学习的分割、交互式分割和自动化分割。基于学习的分割依赖于人工标注的训练数据，训练成本高，且分割结果容易受训练数据的分布影响；交互式分割需要有经验的人工标注提供分割线索，精确性较好，但是受人工标注限制效率低下；自动化分割不需要手工标注的辅助，能够处理大量的图片数据，但是对于复杂图像的分割效果不理想。

作为自动化分割的一个分支，显著物体分割的目标是以给出的显著性图作为主要输入，自动化地分割出显著物体。根据对显著性图的利用方式，现有的显著物体分割方法可以大致分为两类：一类只依据显著性图的显著值或明度等特征，划分生成分割结果；另一类首先对显著性图进行显著性分析，以显著性较高的部分作为种子，结合其他输入信息，例如颜色信息和深度信息，作为现有的交互式分割算法的输入，再进行分割。

随着输入信息的增加，更多的显著物体特征能够被利用。然而现有的各种显著物体分割方法只能对应利用固定的输入信息，而不能随着输入信息的增加或变化而动态优化分割策略。因此，本发明提出了一种新的方法，综合利用多种输入信息，包括显著性图、颜色信息和深度信息，可以根据输入信息的变化，动态地优化分割效果。

发明内容

本发明要解决的问题是：现有的基于显著性物体分割方法不能依据不同的输入信息动态调整，当输入信息变化时，无法自适应地调整合适的分割策略。

本发明的技术方案为：一种对输入信息自适应的显著物体分割方法，通过一个统一框架来充分结合不同输入信息，输入信息包括三类：仅有显著性图，同时有显著性图和颜色信息，同时有显著性图、颜色信息和深度信息；根据输入信息的种类，动态调整分割方法的步骤细节，包括以下步骤：

1)显著性图的显著性区间为[0,255]，采用自适应三阈值算法从输入的显著性图中获得三个阈值{α₁,α₂,α₃}，从而将显著性区间分为四个分区间：确定背景区间T_cb＝[0,α₁]，可能背景区间T_pb＝[α₁+1，α₂]，可能前景区间T_pf＝[α₂+1,α₃]和确定前景区间T_cf＝[α₃+1,255]，并将满足区间条件的显著性图的像素标注为对应的四类分割种子，分别为：确定背景

可能背景

可能前景

和确定前景

分割种子以和显著性图同样尺寸的二值化图表示；

2)利用自适应GrabCut算法，根据分割种子和原始输入信息，生成显著物体的粗标注图：

2.1)定义自适应GrabCut算法的能量方程E′为：

E′＝η^sE(Θ,G^s,Λ,P^s)+λ^cE(Θ,G^c,Λ,P^c)+λ^dE(Θ,G^d,Λ,P^d)

其中，上标s、c、d分别表示显著性图、颜色信息和深度信息，E是对应输入信息的能量方程，Θ是和显著性图同样尺寸的四值化图，初始化为

G是对应输入信息的高斯混合模型参数集，Λ是显著性图的前景和背景的灰度梯度图，P是对应输入信息的像素值集，λ^s、λ^c和λ^d分辨是自适应输入信息的参数；Θ是包含四类种子的四值图，初始化为

2.2)定义对应输入信息的能量方程E为：

E(Θ,G,Λ,P)＝U(Θ,Λ,P)+S(Θ,P)

其中，U是原始GrabCut算法定义的数据模型，作用是评估在梯度Λ下，Θ对于P的适合度，S是平滑方程；

2.3)定义平滑方程S为：

其中，N表示相邻像素对的集合，(n_i,n_j)即为相邻像素对，θ_i,θ_j是像素n_i,n_j在对应四值图Θ中的值，p_i,p_j是像素n_i,n_j在对应输入信息中的值，e是自然指数，β＝(2<(p_i-p_j)²>)^-1，<·>表示对应输入信息的期望值，D()是p_i,p_j的距离方程；

2.4)采用分割种子

和输入信息{s,c,d}初始化能量方程E′，迭代步骤2.1)，获得最小能量值，此时得到粗标注图

3)根据粗标注图，优化显著物体的轮廓，获得分割结果：

3.1)腐蚀

得到再分割的确定前景种子

其中，r表示腐蚀操作，γ₁＝0.15，

是

的外接圆半径；

3.2)再分割的可能前景种子

定义为：

3.3)再分割的可能背景种子

定义为：

其中，d表示膨胀操作，γ₂＝0.15，

是区域

的外接圆半径；

3.4)再分割的确定背景种子

定义为：

3.5)将步骤3.1)～3.4)得到的再分割种子

和原始输入能量方程E′，迭代步骤2.1)，获得最小能量值，此时得到优化物体轮廓的标注图

将

和

作为分割结果的背景，

和

作为分割结果的前景。

作为优选方式，步骤2.1)中，当输入信息为仅有显著性图时，{λ^s,λ^c,λ^d}＝{1,0,0}；当输入信息为同时有显著性图和颜色信息时，{λ^s,λ^c,λ^d}＝{1/2,1/2,0}；当输入信息为同时有显著性图、颜色信息和深度信息时，{λ^s,λ^c,λ^d}＝{1/3,1/3,1/3}。

步骤2.3)中，当输入信息是显著性图s时，p_i,p_j表示像素n_i,n_j的显著值，记为

取值是[0,255]区间的整数；当输入信息是颜色信息c时，p_j,p_j表示像素n_i,n_j的颜色值，记为

取值是三维数组，每个元素都是[0,255]区间的整数；当输入信息是深度信息d时，p_i,p_j表示像素n_i,n_j的深度值，记为

取值是[0,255]区间的整数。

步骤2.3)中，当输入信息是显著性图s和颜色信息c时，D()是p_i,p_j的欧式距离方程，即

和

当输入信息是深度信息d时，

ω_i,j表示像素n_i到n_j的一条路径T_i,j的距离，定义为：

其中，n_α和n_β是路径T_i,j上的一对相邻像素，

和

是像素n_α和n_β的深度值，取值是[0,255]区间的整数。

本发明与现有技术相比有如下优点：采用一个分为3个步骤的统一框架来处理不同的输入信息，并根据输入信息的变化动态调整方法的步骤2)，从而综合利用了不同输入信息中的物体特征，提高了显著物体分割的准确性和完整性。图2展示了根据不同的输入信息，本发明所生成的分割结果示例，图中的列对应不同的显著性图，六行分别为：(a)显著性图，(b)颜色信息，(c)深度信息，(d)仅采用显著性图作为输入信息的分割结果，(e)同时采用显著性图和颜色信息作为输入信息的分割结果，(f)同时采用显著性图、颜色信息和深度信息作为输入信息的分割结果。可见本发明方法在不同的输入信息下都可以实现显著物体分割，同时随着输入信息的增加，本发明方法可以自动改进显著物体分割结果。

附图说明

图1为本发明的实施流程。

图2为本发明的分割结果示例。

具体实施方式

本发明解决现有技术的缺陷，提出一种对输入信息自适应的显著物体分割方法，能够随着输入信息的增加，综合利用所有的输入信息，自动提高分割效果。如图1所示，本发明包括以下步骤：

1)显著性图的显著性区间为[0,255]，采用自适应三阈值算法从输入的显著性图中获得三个阈值{α₁,α₂,α₃}，从而将显著性区间分为四个分区间：确定背景区间T_cb＝[0,α₁]，可能背景区间T_pb＝[α₁+1，α₂]，可能前景区间T_pf＝[α₂+1,α₃]和确定前景区间T_cf＝[α₃+1,255]，并将满足区间条件的显著性图的像素标注为对应的四类分割种子，分别为：确定背景

可能背景

可能前景

和确定前景

分割种子以和显著性图同样尺寸的二值化图表示；

自适应三阈值算法参见参考文献[1]。

2)利用自适应GrabCut算法，根据分割种子和原始输入信息，生成显著物体的粗标注图：

2.1)定义自适应GrabCut算法的能量方程E′为：

E′＝λ^sE(Θ,G^s,Λ,P^s)+λ^cE(Θ,G^c,Λ,P^c)+λ^dE(Θ,G^d,Λ,P^d)

其中，上标s、c、d分别表示显著性图、颜色信息和深度信息，E是对应输入信息的能量方程，Θ是包含四类种子的四值化图，即和显著性图同样尺寸的四值化图，初始化为

G是对应输入信息的高斯混合模型参数集，Λ是显著性图的前景和背景的灰度梯度图，P是对应输入信息的像素值集，λ^s、λ^c和λ^d分辨是自适应输入信息的参数；当输入信息为仅有显著性图时，{λ^s,λ^c,λ^d}＝{1,0,0}；当输入信息为同时有显著性图和颜色信息时，{λ^s,λ^c,λ^d}＝{1/2,1/2,0}；当输入信息为同时有显著性图、颜色信息和深度信息时，{λ^s,λ^c,λ^d}＝{1/3,1/3,1/3}。

2.2)定义对应输入信息的能量方程E为：

E(Θ,G,Λ,P)＝U(Θ,Λ,P)+S(Θ,P)

其中，U是原始GrabCut算法定义的数据模型，作用是评估在梯度Λ下，Θ对于P的适合度，S是平滑方程；

2.3)定义平滑方程S为：

其中，N表示相邻像素对的集合，(n_i,n_j)即为相邻像素对，θ_i,θ_j是像素n_i,n_j在对应四值图Θ中的值，p_i,p_j是像素n_i,n_j在对应输入信息中的像素值，e是自然指数，β＝(2<(p_i-p_j)²>)^-1，<·>表示对应输入信息的期望值，D()是对应输入信息的像素值p_i,p_j的距离方程；

当输入信息是显著性图s时，像素值p_i,p_j表示像素n_i,n_j的显著值

取值是[0,255]区间的整数；当输入信息是颜色信息c时，像素值p_i,p_j表示像素n_i,n_j的颜色值

取值是三维数组，每个元素都是[0,255]区间的整数；当输入信息是深度信息d时，像素值p_i,p_j表示像素n_i,n_j的深度值

取值是[0,255]区间的整数；

步骤2.3)中，当输入信息是显著性图s和颜色信息c时，D()是p_i,p_j的欧式距离方程，即

和

当输入信息是深度信息d时，

ω_i,j表示像素n_i到n_j的一条路径T_i,j的距离，定义为：

其中，n_α和n_β是路径T_i,j上的一对相邻像素，

和

是像素n_α和n_β的深度值，取值是[0,255]区间的整数。

2.4)采用分割种子

和输入信息{s,c,d}初始化能量方程E′，迭代步骤2.1)的能量方程，获得最小能量值，此时对应得到粗标注图

GrabCut算法参见参考文献[2]。

3)根据粗标注图，优化显著物体的轮廓，获得分割结果：

3.1)腐蚀

得到再分割的确定前景种子

其中，r表示腐蚀操作，γ₁＝0.15，

是

的外接圆半径；

3.2)再分割的可能前景种子

定义为：

3.3)再分割的可能背景种子

定义为：

其中，d表示膨胀操作，γ₂＝0.15，

是区域

的外接圆半径；

3.4)再分割的确定背景种子

定义为：

3.5)将步骤3.1)～3.4)得到的再分割种子

和原始输入能量方程E′，迭代步骤2.1)的能量方程，获得最小能量值，此时即可对应得到优化物体轮廓的标注图

将

和

作为分割结果的背景，

和

作为分割结果的前景。

本发明提供了一种对输入信息自适应的显著物体分割方法，能够随着输入信息的增加，综合利用所有的输入信息，自动提高分割效果。

参考文献：

[1].Shuzhen Li,Ran Ju,Tongwei Ren,and Gangshan Wu.Saliency cuts basedon adaptive triple thresholding.IEEE International Conference on ImageProcessing,4609-4613,2015.

[2].Carsten Rother,Vladimir Kolmogorov,and Andrew Blake.Grabcut:Interactive foreground extraction using iterated graph cuts.ACM Transactionson Graphics,23(3):309-314,2004.

Claims (4)

1.一种对输入信息自适应的显著物体分割方法，其特征是通过一个统一框架来充分结合不同输入信息，输入信息包括三类：仅有显著性图，同时有显著性图和颜色信息，同时有显著性图、颜色信息和深度信息；根据输入信息的种类，动态调整分割方法的步骤细节，包括以下步骤：

1)显著性图的显著性区间为[0,255]，采用自适应三阈值算法从输入的显著性图中获得三个阈值{α₁,α₂,α₃}，从而将显著性区间分为四个分区间：确定背景区间T_cb＝[0,α₁]，可能背景区间T_pb＝[α₁+1，α₂]，可能前景区间T_pf＝[α₂+1,α₃]和确定前景区间T_cf＝[α₃+1,255]，并将满足区间条件的显著性图的像素标注为对应的四类分割种子，分别为：确定背景

可能背景

可能前景

和确定前景

分割种子以和显著性图同样尺寸的二值化图表示；

2)利用自适应GrabCut算法，根据分割种子和原始输入信息，生成显著物体的粗标注图：

2.1)定义自适应GrabCut算法的能量方程E^′为：

E′＝λ^sE(Θ,G^s,Λ,P^s)+λ^cE(Θ,G^c,Λ,P^c)+λ^dE(Θ,G^d,Λ,P^d)

其中，上标s、c、d分别表示显著性图、颜色信息和深度信息，E是对应输入信息的能量方程，Θ是和显著性图同样尺寸的四值化图，初始化为

G是对应输入信息的高斯混合模型参数集，Λ是显著性图的前景和背景的灰度梯度图，P是对应输入信息的像素值集，λ^s、λ^c和λ^d分别是自适应输入信息的参数；

2.2)定义对应输入信息的能量方程E为：

E(Θ,G ,Λ,P)＝U(Θ,Λ,P)+S(Θ,P)

其中，U是原始GrabCut算法定义的数据模型，作用是评估在梯度Λ下，Θ对于P的适合度，S是平滑方程；

2.3)定义平滑方程S为：

其中，N表示相邻像素对的集合，(n_i,n_j)为相邻像素对，θ_i,θ_j是像素n_i,n_j在对应四值化图Θ中的值，p_i,p_j是像素n_i,n_j在对应输入信息中的值，e是自然指数，β＝(2<(p_i-p_j)²>)^-1，<·>表示对应输入信息的期望值，D()是p_i,p_j的距离方程；

2.4)采用分割种子

和输入信息{s,c,d}初始化能量方程E^′，迭代步骤2.1)，获得最小能量值，此时得到粗标注图

3)根据粗标注图，优化显著物体的轮廓，获得分割结果：

3.1)腐蚀

得到再分割的确定前景种子

其中，r表示腐蚀操作，γ₁＝0.15，

是

的外接圆半径；

3.2)再分割的可能前景种子

定义为：

3.3)再分割的可能背景种子

定义为：

其中，d表示膨胀操作，γ₂＝0.15，

是区域

的外接圆半径；

3.4)再分割的确定背景种子

定义为：

3.5)将步骤3.1)～3.4)得到的再分割种子

和原始输入能量方程E^′，迭代步骤2.1)，获得最小能量值，此时得到优化物体轮廓的标注图

将

和

作为分割结果的背景，

和

作为分割结果的前景，完成分割。

2.根据权利要求1所述的一种对输入信息自适应的显著物体分割方法，其特征是步骤2.1)中，当输入信息为仅有显著性图时，{λ^s,λ^c,λ^d}＝{1,0,0}；当输入信息为同时有显著性图和颜色信息时，{λ^s,λ^c,λ^d}＝{1/2,1/2,0}；当输入信息为同时有显著性图、颜色信息和深度信息时，{λ^s,λ^c,λ^d}＝{1/3,1/3,1/3}。

3.根据权利要求1或2所述的一种对输入信息自适应的显著物体分割方法，其特征是步骤2.3)中，当输入信息是显著性图s时，p_i,p_j表示像素n_i,n_j的显著值，记为

取值是[0,255]区间的整数；当输入信息是颜色信息c时，p_i,p_j表示像素n_i,n_j的颜色值，记为

取值是三维数组，每个元素都是[0,255]区间的整数；当输入信息是深度信息d时，p_i,p_j表示像素n_i,n_j的深度值，记为

取值是[0,255]区间的整数。

4.根据权利要求1或2所述的一种对输入信息自适应的显著物体分割方法，其特征是步骤2.3)中，当输入信息是显著性图s和颜色信息c时，D()是p_i,p_j的欧式距离方程，即

和

当输入信息是深度信息d时，

ω_i,j表示像素n_i到n_j的一条路径Τ_i,j的距离，定义为：

其中，n_α和n_β是路径Τ_i,j上的一对相邻像素，

和

是像素n_α和n_β的深度值，取值是[0,255]区间的整数。

Images