CN104835146A - 基于深度信息和图切割的立体图像中显著对象分割方法 - Google Patents

Abstract

本发明提供公开了一种基于深度信息和图切割的立体图像中显著对象分割方法。该方法首先输入原始图像和深度图，对所述原始图像和深度图进行图像分割，获得若干个区域；然后结合区域级的深度、颜色和空域信息计算原始图像的显著性图；再对所述计算得到的显著性图取阈值以完成原始图像的初始分割，得到对象/背景种子点；之后利用深度图和所述计算得到的显著性图，以及显著性加权的直方图来构建图并设计代价函数；最后利用最大流最小割算法一次性完成显著对象分割。本发明合理利用了深度信息和显著性图，能更加准确地自动分割出立体图像中的显著对象。

Description

基于深度信息和图切割的立体图像中显著对象分割方法

技术领域

本发明涉及通信技术领域，尤其涉及一种基于深度信息和图切割的立体图像中显著对象分割方法。此方法主要是从合理利用深度信息和显著性图以改善显著对象分割结果这一角度来考虑，旨在于利用深度、颜色和空域信息来生成显著性图，再结合深度图和显著性加权的直方图来构建图并设计代价函数，用图切割方法改善显著对象分割的结果。

背景技术

显著对象分割技术是指将视频或者图像中用户感兴趣的对象在像素级上与背景实现分离。现有的分割技术中，主要可利用颜色、方向、纹理等信息来构建显著性模型，并利用生成的显著性图通过图切割方法进行显著对象分割。但研究结果还存在不少缺点，算法的通用性和准确性有待提高。

随着立体成像和显示技术的不断发展和普及，利用立体摄像机或者是Kinect传感器获得的深度信息可以在一定程度上提升显著性模型和显著对象分割方法的性能。Fan等人于2014年在香港举行的第19届Digital Signal Processing(DSP)会议上发表的“立体图像的显著区域检测”中提出了一个结合深度信息的显著性模型，该模型有效地利用了深度信息，大大提高了显著性性能，本发明即采用该模型生成的显著性图作为分割方法的输入图像之一。

发明内容

本发明的目的在于合理利用深度信息和显著性图，进而改善显著对象分割结果，提出一种基于深度信息和图切割的立体图像中显著对象分割方法，该方法与传统的仅利用颜色和显著性图的显著对象方法相比，引入了深度信息，提高了显著对象分割性能。

为了达到上述目的，本发明采用的方案如下：

一种基于深度信息和图切割的立体图像中显著对象分割方法，其具体步骤如下：

步骤一、输入原始图像和深度图，对原始图像及深度图进行预分割，并生成显著性图；

步骤二、对步骤一得到的显著性图取定一个阈值，得到对象/背景种子点，以完成原始图像的初始分割；

步骤三、将显著性图、深度图和原始图像作为图切割的输入，利用显著性图，结合深度图和显著性加权的直方图来构建图，并设计代价函数；

步骤四、利用最大流最小割算法一次性完成显著对象的分割。

优选地，所述步骤一结合区域级的深度、颜色和空域信息利用Fan提供的显著性模型生成区域级显著性图。

优选地，所述步骤二通过对显著性图取阈值的方法将图像分成两个部分，显著性值大于阈值的那部分像素作为对象种子点，标记为"obj"，显著性值小于阈值的那部分像素作为背景种子点，标记为"bkg"。

优选地，所述步骤三结合深度图和显著性加权的直方图以构建图并设计代价函数，其表达式如下：

E(L)＝R(L)+λ·B(L)+β·E(θ_obj,θ_bkg)

其中，L表示像素点标记的二元向量，标记包括对象标记和背景标记，记为"obj"和"bkg"；R(L)为数据项，反应每个像素被标记为对象或背景的惩罚程度；B(L)为平滑项，主要用来惩罚获得不同标记的相邻像素，本方法主要考虑相邻像素之间颜色的差异性；E(θ_obj,θ_bkg)为外观重叠项，反应对象区域和背景区域在颜色直方图上的差异性；λ和β为平衡因子。

优选地，所述步骤四所述的最大流最小割算法采用最大流最小割算法割图实际上是对上述步骤三中公式的代价函数求解最小值的过程。

本发明与现有技术相比，具有如下显而易见的实质性特点和优点：本发明提供一种基于深度信息和图切割的立体图像中显著对象分割方法，该方法首先输入原始图像和深度图，对所述原始图像和深度图进行图像分割，获得若干个区域，然后结合区域级的深度、颜色和空域信息生成原始图像的显著性图；再对显著性图取定一个阈值，得到对象/背景种子点，以完成原始图像的初始分割；之后利用深度图和所述计算得到的显著性图，以及显著性加权的直方图来构建图并设计代价函数；最后用图切割的方法对原始图像进行自动化分割。该方法合理利用深度信息，对立体图像能更加准确地自动分割出显著性对象。与现有的技术相比，本发明分割方法具有如下优点：合理利用深度信息和图像的显著性，为图切割提供了良好的种子点；在图切割的过程中，再次引入深度信息，与显著性图、显著性加权的直方图相结合来构建图并设计代价函数，利用最大流最小割算法完成分割，得到了更好的分割结果。

附图说明

图1为本发明的基于深度信息和图切割的立体图像中显著对象分割方法的流程图；

图2(a)为原始图像的示意图，图2(b)为深度图的示意图，图2(c)为显著性图的示意图，图2(d)为初始分割结果的示意图，图2(e)为最终的分割结果的示意图，图2(f)为人工分割的显著对象模板的示意图。

具体实施方式

下面结合附图对本发明的实例作进一步详细说明。

本发明进行的实验是在CPU为2.39GHz、内存为2G的PC测试平台上编程实现。

如图1所示，本发明基于深度信息和图切割的立体图像中显著对象分割方法所采用的技术方案是：首先输入原始图像和深度图，对所述原始图像和深度图进行图像分割，然后由显著性模型生成显著性图；再对显著性图取定一个阈值，得到对象/背景种子点，以完成原始图像的初始分割；之后利用深度图和生成的显著性图，以及显著性加权的直方图来构建图并设计代价函数，用图切割的方法对原始图像进行自动化分割。其具体步骤如下：

步骤一、输入原始图像和深度图，对原始图像及深度图进行预分割，获得若干个区域，并生成显著性图，即利用Fan(Fan是立体图像的显著区域检测技术)提供的显著性模型计算区域级显著性图，如图2(c)所示。步骤一结合区域级的深度、颜色和空域信息利用Fan提供的显著性模型生成区域级显著性图。

步骤二、对步骤一生成的显著性图取定一个阈值T，得到对象/背景种子点，以完成原始图像的初始分割，通过对显著性图取阈值的方法将图像分成两个部分，显著性值大于阈值的那部分像素作为对象种子点，标记为"obj"，显著性值小于阈值的那部分像素作为背景种子点，标记为"bkg"。

步骤三、将显著性图、深度图和原始图像作为图切割的输入，利用显著性图，结合深度图、显著性加权的直方图来构建图并设计代价函数，并设计代价函数。

传统的显著对象分割方法只将原始图像和显著性图作为输入，本发明引入深度信息以改善分割结果。由此本发明方法将显著性图、深度图和原始图像作为图切割的输入，并利用显著性图，结合深度图、显著性加权的直方图来构建图。与一般图切割所构建的图不同，本方法构建的图中加入了K个辅助节点A₁,A₂...A_k...A_K，K为颜色直方图的级数，并将图像中每个像素与其对应的辅助节点相连。

结合深度图和显著性加权的直方图以构建图并设计代价函数，代价函数的形式如公式(1)，包括数据项、平滑项和外观重叠项。

E(L)＝R(L)+λ·B(L)+β·E(θ_obj,θ_bkg)   (1)

其中，L表示像素点标记的二元向量，标记包括对象标记和背景标记，记为"obj"和"bkg"；R(L)为数据项，反应每个像素被标记为对象或背景的惩罚程度；B(L)为平滑项，主要用来惩罚获得不同标记的相邻像素，本方法主要考虑相邻像素之间颜色的差异性；E(θ_obj,θ_bkg)为外观重叠项，反应对象区域和背景区域在颜色直方图上的差异性；λ和β为平衡因子。

要将深度信息引入到代价函数的数据项，还需要对深度图与显著性图的关系加以分析。通过对大量深度图和显著性图的观察发现，显著性图往往比深度图更为可靠，原因有两点：首先，深度信息只是生成显著性图所用到的其中一部分信息，因此显著性图所包含的信息更为全面；其次，深度图是由深度估计算法得到，算法的可靠性直接影响深度图的质量，仅靠深度信息有时难以区分显著对象与背景。

另外从深度图中也可以看出，如图2(b)，显著对象区域的深度值的范围比背景区域要窄，因此，本发明仅不同的种子点设计不同的数据项，而仅对初始分割后获得初始标记为"obj"的像素引入深度信息。数据项R(L)的定义如表1所示。

表1数据项的定义表

其中，和分别表示初始分割和最终分割后任一像素获得的标记；S(p)和D(p)分别表示像素p在显著性图S和深度图D中的显著性值和深度值(显著性图和深度图均归一化到[0，1])；μ_S和μ_D分别表示整个显著性图的均值和整个深度图的均值。

从表中可以看到，当像素p获得的初始标记为"obj"时，如果该像素的显著性值较大、深度值较小，那么说明该像素属于显著对象的概率较大，它获得的最终标记更倾向于保持不变，即"obj"，此时应该获得较小的惩罚值。相反，如果该像素p的显著性值较小、深度值较大，则说明初始标记不可靠，标记需要改变，最终标记更倾向于变为"bkg"，此时该像素获得的惩罚值较小。而当初始标记为"bkg"时，数据项只与显著性值有关，显著性值小则最终标记更可能为"bkg"，显著性值大则最终标记更可能为"obj"。

滑项主要用来惩罚获得不同标记的相邻像素，这里主要考虑相邻像素之间颜色的差异性，其表达式为如下式(2)：

$B\left(L\right)=\underset{\{p,q\}\∈N}{\mathrm{\Σ}}d{(p,q)}^{-1}\·|L_p-L_q|\·e^{\frac{-{\left|\right|c_p-c_q\left|\right|}^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

其中，d(p,q)表示两个像素点p和q位置的欧氏距离，||c_p-c_q||为像素p和q之间颜色的欧氏距离，σ²为所有像素对的颜色距离平方的均值。从式(2)可以看到，两个像素点离得越近，并且颜色值越接近，则它们越可能获得相同的标记，而如果它们获得的标记不同，则在平滑项中会得到一个较大的惩罚值，从而迫使它们获得相同标记。其中平衡因子λ在这里设置为9，来施加适度的标记平滑作用。

为设计外观重叠项，首先定义了显著性加权的直方图，如下：

将和分别定义为初始分割后对象种子点中和背景种子点中颜色属于颜色直方图第k个级的像素数目。用c_p表示像素p的颜色，Q_k表示颜色直方图中第k个级，则显著性加权的直方图可以定义为如下式(3)：

$H\left(k\right)=\left\{\begin{array}{c}\underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{S\left(p\right)}{T}\mathrm{\δ}(c_p\∈Q_k),\mathrm{if}{\mathrm{\θ}}_{\mathrm{obj}}^i\left(k\right)>{\mathrm{\θ}}_{\mathrm{bkg}}^i\left(k\right)\\ \underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{1-S\left(p\right)}{T}\mathrm{\δ}(c_p\∈Q_k),\mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中δ(.)为指示函数，当括号内条件为真时，指示函数值为1，当条件为假时，指示函数值为0。由式3可知，当时，大多数属于第k级的像素在初始分割后获得了对象标记，它们具有较大的显著性，更可能属于对象，因此，连接辅助节点A_k和这些像素之间的边的容量可以利用显著性值将其扩大，使这些边更难被切断，这里设置为S(p)/T，从而最优的割集所切断的边的代价定义为如下式(4)：

$e\left(k\right)=\min [\underset{L_p^f=\mathrm{obj}_{\′\′}^{\′\′}}{\mathrm{\Σ}}\frac{S\left(p\right)}{T}\mathrm{\δ}(c_p\∈Q_k),\underset{L_p^f=\mathrm{bkg}_{\′\′}^{\′\′}}{\mathrm{\Σ}}\frac{S\left(p\right)}{T}\mathrm{\δ}(c_p\∈Q_k)]---\left(4\right)$

由公式4可知，由于背景中像素的显著性值较小，因而在图切割时，辅助节点与背景像素相连的边更容易被切断，从而保护了显著性较高的种子点。而当时，大多数像素更可能属于背景，因此连接辅助节点A_k和像素之间的边的容量设置为[1-S(p)]/T，从而最优的割集所切断的边的代价定义为如下式(5)：

$e\left(k\right)=\min [\underset{L_p^f=\mathrm{obj}_{\′\′}^{\′\′}}{\mathrm{\Σ}}\frac{1-S\left(p\right)}{T}\mathrm{\δ}(c_p\∈Q_k),\underset{L_p^f=\mathrm{bkg}_{\′\′}^{\′\′}}{\mathrm{\Σ}}\frac{1-S\left(p\right)}{T}\mathrm{\δ}(c_p\∈Q_k)]---\left(5\right)$

由此，结合显著性加权直方图的外观重叠项定义为如下式(6)：

$E({\mathrm{\θ}}_{\mathrm{obj}},{\mathrm{\θ}}_{\mathrm{bkg}})=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}e\left(k\right)---\left(6\right)$

用于调节上述外观重叠项权重的平衡因子β定义如下式(7)：

$\mathrm{\β}=0.8\·\frac{\underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\δ}(L_p^i=\mathrm{obj}_{\′\′}^{\′\′})}{\left|\mathrm{\Ω}\right|/2-\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\min [{\mathrm{\θ}}_{\mathrm{obj}}^i\left(k\right),{\mathrm{\θ}}_{\mathrm{bkg}}^i\left(k\right)]}---\left(7\right)$

由式7可知，如果和的重叠部分较多，表明在初始分割后，对象的颜色和背景的颜色没有很好地分离，因此需要增强结合显著性加权直方图的外观重叠项的作用，此时β将取较大的值；否则，β将取较小的值以削弱该外观重叠项的作用。

步骤四、利用最大流最小割算法完成最终的显著对象分割。步骤四所述的最大流最小割算法采用最大流最小割算法割图实际上是对上述步骤三中公式的代价函数求解最小值的过程。最后，用最大流最小割算法实现代价函数的最小值化，以完成图切割。最终的分割结果如图2(e)所示，与图2(d)中的初始分割结果相比，最终分割结果能更加完整地分割出整个显著对象，并保持了良好的对象边界。

传统的显著对象分割方法通常利用颜色和显著性图等信息，而近来兴起的深度信息可用于提高分割性能，因此本发明首先利用深度信息结合颜色、空域信息来生成质量较高的显著性图，再对显著性图取阈值以完成初始分割，最后采用图切割方法，利用显著性图、深度图和显著性加权的直方图来构建图，并完成显著对象的分割。

Claims (5)

1.一种基于深度信息和图切割的立体图像中显著对象分割方法，其特征在于，其具体步骤如下：

步骤一、输入原始图像和深度图，对原始图像及深度图进行预分割，并生成显著性图；

步骤二、对步骤一得到的显著性图取定一个阈值，得到对象/背景种子点，以完成原始图像的初始分割；

步骤三、将显著性图、深度图和原始图像作为图切割的输入，利用显著性图，结合深度图和显著性加权的直方图来构建图，并设计代价函数；

步骤四、利用最大流最小割算法一次性完成显著对象的分割。

2.根据权利要求1所述的基于深度信息和图切割的立体图像中显著对象分割方法，其特征在于，所述步骤一结合区域级的深度、颜色和空域信息利用Fan提供的显著性模型生成区域级显著性图。

3.根据权利要求1所述的基于深度信息和图切割的立体图像中显著对象分割方法，其特征在于，所述步骤二通过对显著性图取阈值的方法将图像分成两个部分，显著性值大于阈值的那部分像素作为对象种子点，标记为                                                ，显著性值小于阈值的那部分像素作为背景种子点，标记为。

4.根据权利要求1所述的基于深度信息和图切割的立体图像中显著对象分割方法，其特征在于，所述步骤三结合深度图和显著性加权的直方图以构建图并设计代价函数，其表达式如下：

           

其中，表示像素点标记的二元向量，标记包括对象标记和背景标记，记为和； 为数据项，反应每个像素被标记为对象或背景的惩罚程度；为平滑项，主要用来惩罚获得不同标记的相邻像素，本方法主要考虑相邻像素之间颜色的差异性；为外观重叠项，反应对象区域和背景区域在颜色直方图上的差异性；和为平衡因子。

5.根据权利要求4所述的基于深度信息和图切割的立体图像中显著对象分割方法，其特征在于，所述步骤四所述的最大流最小割算法采用最大流最小割算法割图实际上是对上述步骤三中公式的代价函数求解最小值的过程。