CN104504692A - 基于区域对比度的图像中显著对象的提取方法 - Google Patents

Abstract

本发明公开了一种基于区域对比度的图像中显著对象的提取方法，其具体步骤如下：(1)输入原始图像，原始图像的显著性图记为，原始图像的对象概率图记为；(2)计算显著性图和对象概率图的融合系数；(3)根据融合系数，计算区域对比度融合图，提取图像中的显著对象。该方法采用显著性图和对象概率图计算区域对比度图融合图，提取图像中显著对象，相对于单一使用显著性图或对象概率图提取显著对象的方法，能够更准确、完整地提取图像中的显著对象。

Description

基于区域对比度的图像中显著对象的提取方法

技术领域

本发明涉及计算机信息、图像处理技术领域，具体地说是涉及一种提取图像中的显著对象的方法。

背景技术

根据心理学以及人类视觉的研究，当人观察一幅图像时，对图像各区域的关注并不平均，从而产生与关注度相对应的显著性图。在大多数情况下，人观察一幅图像时，不会在整个图像上平均分配注意力，而是会将注意力集中在图像中的某个对象，这样的对象被称为显著对象。如果能够自动地将显著对象提取出来，将对图像缩放、图像识别、图像检索等应用领域提供极大的帮助。显著对象提取方法正是在这种背景下应用而生，它旨在准确地提取图像中去除了背景之后的显著对象，例如，Rother等人在2004年美国计算机协会图形学学报中发表了“Grabcut：交互式前景提取用图切割方法”一文，该文利用人工手动画矩形窗，指定候选显著对象区域，再用图切割方法提取显著对象。但因为需要人工手动指定且只能用矩形窗定义显著对象候选区域，限制了该方法的广泛应用。Cheng等人在2011年美国电气电子工程师协会计算机视觉和模式识别会议上发表了 “基于全局对比度的显著性区域检测”一文，该文利用全局颜色对比度和空间区域对比度得到显著性图，然后根据显著性图用迭代Grabcut图切割方法进行图像分割，提取图像中的显著对象，该方法的具体步骤如下：

(1）一个像素的显著性值用该像素和图像中其他像素颜色的对比度来定义，具有相同颜色的像素分配相同的显著性值。

(2）基于直方图统计丢弃出现频率较小的颜色，每个颜色的显著性值被替换为相似颜色显著性值的加权平均。

(3）用基于图的图像分割方法将图像分割成若干区域，利用两个区域重心的欧氏距离，计算空间区域对比度，得到显著性图。

(4）对显著性图取固定阈值，用Grabcut图切割方法进行图像分割。

(5）用膨胀、腐蚀操作图像分割后的结果图，得到新的待分割图，再用Grabcut图切割方法进行图像分割。

(6）重复步骤(5）直到收敛。得到最终的结果图，即提取的显著对象。

Liu等人在2014年美国电气和电子工程师协会的图像处理学报中发表了“显著性树：一个新的显著性检测框架”一文，该文用树形结构的节点表示图像中一个个小区域，通过测量全局对比度、空间稀疏性和对象优先性，合并原始小区域，生成显著性图，最后运用最大类间方差值二值化显著性图，提取图像中的显著对象。该方法提高了显著性图的精确度，但是，该方法中的最大类间方差值方法在提取显著对象时，仍不能完整提取图像中的多个显著对象。Alexe等人在2012年美国电气和电子工程师协会的模式分析与机器智能学报中发表了“测量图像窗中的对象”，该文提出了用图像窗，即矩形窗检测对象的概念和计算方法，通过计算大量矩形窗包含对象的概率，利用贝叶斯公式联合多线索求出显著对象所在区域的位置概率，得到对象概率图。该方法的具体步骤如下：

(1）用频域残差法得到多尺度显著性线索，并产生大量矩形窗。

(2）用颜色空间直方图的卡方距离，计算矩形窗间颜色对比度线索。

(3）用坎尼算子检测边界，得到边缘密度线索。

(4）用基于图的图像分割方法将图像分割成若干区域，根据矩形窗内区域和矩形窗外区域的最小区域差异，得到区域分叉线索。

(5）利用高斯分布估计矩形窗的位置和大小线索。

(6）用贝叶斯公式整合由步骤(1）-(5）得到的线索，计算显著对象所在区域的位置概率，得到对象概率图。

但是。上述方法存在的不足是，该方法只是用矩形窗表示出显著对象的位置概率，而不包含准确的显著对象的轮廓信息，不能准确地提取图像中的显著对象。

综上所述，现有的图像中显著对象的提取的方法，不能准确、完整地提取图像中的显著对象，这影响了显著对象提取的广泛应用。

发明内容                                       

本发明的目的在于针对已有技术中存在的缺陷，提出一种基于区域对比度的图像中显著对象的提取方法，该方法能够较为准确、完整地提取图像中的显著对象。

为了达到上述目的，本发明采用的技术方案如下：

一种基于区域对比度的图像中显著对象的提取方法，其具体步骤如下：

(1)、输入原始图像，原始图像的显著性图记为                                                ，原始图像的对象概率图记为；

(2)、计算显著性图和对象概率图的融合系数；

(3)、根据融合系数，计算区域对比度融合图，提取图像中的显著对象。

上述步骤(2)所述的计算显著性图和对象概率图的融合系数，其具体步骤如下：

(2-1)， 设显著性图的第一阈值图、显著性图的第二阈值图、显著性图的第三阈值图，对象概率图的阈值图为，其具体如下：

对显著性图中的像素的显著性值归一化处理，其归一化值为[0,1]，其中，设3个不同的阈值，分别是，第一阈值记为，＝0.75；设第二阈值为显著性图的最大类间方差值，记为；设第三阈值为显著性图的平均显著性值，记为；显著性图中显著性值大于等于上述阈值的像素的像素值记为1，小于上述阈值的像素的像素值记为0，得到显著性图对应的阈值图，

设与第一阈值对应的阈值图为显著性图的第一阈值图，记为， 设与第二阈值对应的阈值图为显著性图的第二阈值图，记为，设与第三阈值对应的阈值图为显著性图的第三阈值图，记为，对象概率图中对象概率值大于等于第一阈值的像素的像素值记为1，小于第一阈值的像素的像素值记为0，得到对象概率图的阈值图；

(2-2)， 将显著性图的第一阈值图与显著性图的第二阈值图之间的像素的重合比例值与显著性图的第一阈值图与显著性图的第三阈值图之间的像素的重合比例值相加之和，记为，其计算式为：

                     

其中， p表示阈值图中的像素，表示属于显著性图的第一阈值图中的像素，为显著性图的第一阈值图中的像素p对应的像素值，表示属于显著性图的第二阈值图中的像素，为显著性图的第二阈值图中的像素p对应的像素值，表示属于显著性图的第三阈值图中的像素，为显著性图的第三阈值图中的像素p对应的像素值；；

(2-3)， 计算显著性图的第一阈值图和对象概率图的阈值图的交叠面积，记为，其计算式为：

                                   （2）

其中，表示与的交集，表示与的并集，表示显著性图的第一阈值图和对象概率图的阈值图的交叠面积；

(2-4)，设原始图像的对角线长度，记为D，计算显著性图的第一阈值图的质心点和对象概率图的阈值图的质心点之间的归一化质心距离，记为，其计算式为：

                                   （3）

其中，表示显著性图的第一阈值图的质心点，表示对象检测图的阈值图的质心点，是计算到之间的欧式距离；

(2-5)， 根据所述的各阈值图之间的像素的重合比例值相加之和、所述的显著性图的第一阈值图和对象概率图的阈值图的交叠面积、所述的显著性图的第一阈值图的质心点和对象概率图的阈值图的质心点之间的质心距离值计算显著性图和对象概率图融合系数，记为，其计算式为:

                       （4）

上述步骤(3)所述的根据融合系数，计算区域对比度融合图，提取图像中的显著对象，其具体步骤如下：

(3-1)， 根据显著性图和对象概率图的融合系数，融合显著性图和对象概率图，计算区域对比度融合图，记为，其计算式为：

                        （5）

其中是显著性图，表示取与1之间的最大数，，exp表示e指数，表示对象概率图中像素概率值大于等于的像素的像素值，表示对象概率图中像素概率值小于等于的像素的像素值，表示对象概率图中像素概率值介于、之间的像素的像素值，表示区域对比度融合图；

(3-2)， 设第四阈值为0.2，区域对比度融合图大于等于第四阈值的像素的像素值记为1，小于第四阈值的像素的像素值记为0，得到区域对比度融合图对应的阈值图，再采用Grabcut图切割方法进行图像分割，提取图像中的显著对象。

本发明的基于区域对比度的图像中显著对象的提取方法与现有的技术相比，具有如下优点：该方法采用显著性图和对象概率图计算区域对比度融合图，提取图像中显著对象，相对于单一使用显著性图或对象概率图提取显著对象的方法，能够更准确、完整地提取图像中的显著对象。

附图说明

图1是本发明的基于区域对比度的图像中显著对象的提取方法的流程图；

图2(a)是输入的原始图像；

图2(b)是原始图像的显著性图；

图2(c)是原始图像的对象概率图；

图3(a)是区域对比度融合图；

图3(b)是区域对比度融合图的阈值图用Grabcut图切割后提取的显著对象。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为3.5GHz、内存为16G的PC测试平台上编程实现。

如图1所示，本发明的基于区域对比度的图像中显著对象的提取方法，其具体步骤如下：

(1)、输入原始图像、原始图像的显著性图和对象概率图，其具体步骤如下：

输入原始图像，如图2(a)，原始图像的显著性图，记为，如图2(b)，原始图像的对象概率图，记为，如图2(c)；

(2)， 计算显著性图和对象概率图的融合系数，其具体步骤如下：

(2-1)， 设显著性图的第一阈值图、显著性图的第二阈值图、显著性图的第三阈值图，对象概率图的阈值图，其具体如下：

对显著性图中的像素的显著性值归一化处理，其归一化值为[0,1]，其中，设3个不同的阈值，分别是，第一阈值记为，＝0.75；设第二阈值为显著性图的最大类间方差值，记为；设第三阈值为显著性图的平均显著性值，记为；显著性图中显著性值大于等于上述阈值的像素的像素值记为1，小于上述阈值的像素的像素值记为0，得到显著性图对应的阈值图，

设与第一阈值对应的阈值图为显著性图的第一阈值图，记为， 设与第二阈值对应的阈值图为显著性图的第二阈值图，记为，设与第三阈值对应的阈值图为显著性图的第三阈值图，记为，

对象概率图中对象概率值大于等于第一阈值的像素的像素值记为1，小于第一阈值的像素的像素值记为0，得到对象概率图的阈值图；

(2-2)， 将显著性图的第一阈值图与显著性图的第二阈值图之间的像素的重合比例值与显著性图的第一阈值图与显著性图的第三阈值图之间的像素的重合比例值相加之和，记为，其计算式为：

                     （1）

其中， p表示阈值图中的像素，表示属于显著性图的第一阈值图中的像素，为显著性图的第一阈值图中的像素p对应的像素值，表示属于显著性图的第二阈值图中的像素，为显著性图的第二阈值图中的像素p对应的像素值，表示属于显著性图的第三阈值图中的像素，为显著性图的第三阈值图中的像素p对应的像素值；；

(2-3)， 计算显著性图的第一阈值图和对象概率图的阈值图的交叠面积，记为，其计算式为：

                                    （2）

其中，表示与的交集，表示与的并集，为显著性图的第一阈值图和对象概率图的阈值图的交叠面积；

(2-4)，设原始图像的对角线长度，记为D，计算显著性图的第一阈值图的质心点和对象概率图的阈值图的质心点之间的归一化质心距离，记为，其计算式为：

                                   （3）

其中，表示显著性图的第一阈值图的质心点，表示对象检测图的阈值图的质心点，是计算到之间的欧式距离；

(2-5)， 根据所述的各阈值图之间的像素的重合比例值相加之和、所述的显著性图的第一阈值图和对象概率图的阈值图的交叠面积、所述的显著性图的第一阈值图的质心点和对象概率图的阈值图的质心点之间的质心距离值计算显著性图和对象概率图融合系数，记为，其计算式为:

                          （4）

(3)， 根据融合系数，计算区域对比度融合图，提取图像中的显著对象，其具体步骤如下：

(3-1)， 根据显著性图和对象概率图的阈值融合系数，融合显著性图和对象概率图，计算区域对比度融合图，记为，其计算式为：

 （5）

其中，是显著性图，表示取与1之间的最大数，，exp表示e指数，表示对象概率图中像素概率值大于等于的像素的像素值，表示对象概率图中像素概率值小于等于的像素的像素值， 表示对象概率图中像素概率值介于、之间的像素的像素值，表示区域对比度融合图，如图3(a）所示，图3(a)中的区域对比度融合图相对于图2(b)中的显著性图更完整地突出了整个显著对象的躯干，图3(a)中的区域对比度融合图相对于图2(c)中的对象概率图更准确地描绘了整个显著对象的轮廓；

(3-2)， 设第四阈值为0.2，区域对比度融合图大于等于第四阈值的像素的像素值记为1，小于第四阈值的像素的像素值记为0，得到区域对比度融合图对应的阈值图，再采用Grabcut图切割方法进行图像分割，提取图像中的显著对象，如图3(b）所示。

从上述仿真实验结果可以看出，本发明的方法利用显著性图和对象概率图，得到区域对比度融合图，从区域对比度融合图中提取显著对象，能够更准确、完整。

Claims (3)

1.一种基于区域对比度的图像中显著对象的提取方法， 其特征在于，其具体步骤如下：

(1)、输入原始图像，原始图像的显著性图记为                                                ，原始图像的对象概率图记为；

(2)、计算显著性图和对象概率图的融合系数；

(3)、根据融合系数，计算区域对比度融合图，提取图像中的显著对象。

2.根据权利要求1所述的基于区域对比度的图像中显著对象的提取方法，其特征在于，上述步骤(2)所述的计算显著性图和对象概率图的融合系数，其具体步骤如下：

(2-1)， 设显著性图的第一阈值图、显著性图的第二阈值图、显著性图的第三阈值图，对象概率图的阈值图为，其具体如下：

对显著性图中的像素的显著性值归一化处理，其归一化值为[0,1]，其中，设3个不同的阈值，分别是，第一阈值记为，＝0.75；设第二阈值为显著性图的最大类间方差值，记为；设第三阈值为显著性图的平均显著性值，记为；显著性图中显著性值大于等于上述阈值的像素的像素值记为1，小于上述阈值的像素的像素值记为0，得到显著性图对应的阈值图，

设与第一阈值对应的阈值图为显著性图的第一阈值图，记为， 设与第二阈值对应的阈值图为显著性图的第二阈值图，记为，设与第三阈值对应的阈值图为显著性图的第三阈值图，记为，对象概率图中对象概率值大于等于第一阈值的像素的像素值记为1，小于第一阈值的像素的像素值记为0，得到对象概率图的阈值图；

(2-2)， 将显著性图的第一阈值图与显著性图的第二阈值图之间的像素的重合比例值与显著性图的第一阈值图与显著性图的第三阈值图之间的像素的重合比例值相加之和，记为，其计算式为：

                       

其中， p表示阈值图中的像素，表示属于显著性图的第一阈值图中的像素，为显著性图的第一阈值图中的像素p对应的像素值，表示属于显著性图的第二阈值图中的像素，为显著性图的第二阈值图中的像素p对应的像素值，表示属于显著性图的第三阈值图中的像素，为显著性图的第三阈值图中的像素p对应的像素值；；

(2-3)， 计算显著性图的第一阈值图和对象概率图的阈值图的交叠面积，记为，其计算式为：

                                            (2)

其中，表示与的交集，表示与的并集，表示显著性图的第一阈值图和对象概率图的阈值图的交叠面积；

(2-4)，设原始图像的对角线长度，记为D，计算显著性图的第一阈值图的质心点和对象概率图的阈值图的质心点之间的归一化质心距离，记为，其计算式为：

                                      (3)

其中，表示显著性图的第一阈值图的质心点，表示对象检测图的阈值图的质心点，是计算到之间的欧式距离；

(2-5)， 根据所述的各阈值图之间的像素的重合比例值相加之和、所述的显著性图的第一阈值图和对象概率图的阈值图的交叠面积、所述的显著性图的第一阈值图的质心点和对象概率图的阈值图的质心点之间的质心距离值计算显著性图和对象概率图融合系数，记为，其计算式为:

                       (4)。

3. 根据权利要求1所述的基于区域对比度的图像中显著对象的提取方法，其特征在于，上述步骤(3)所述的根据融合系数，计算区域对比度融合图，提取图像中的显著对象，其具体步骤如下：

(3-1)， 根据显著性图和对象概率图的融合系数，融合显著性图和对象概率图，计算区域对比度融合图，记为，其计算式为：       (5)

其中是显著性图，表示取与1之间的最大数，，exp表示e指数，表示对象概率图中像素概率值大于等于的像素的像素值，表示对象概率图中像素概率值小于等于的像素的像素值，表示对象概率图中像素概率值介于、之间的像素的像素值，表示区域对比度融合图；

(3-2)， 设第四阈值为0.2，区域对比度融合图大于等于第四阈值的像素的像素值记为1，小于第四阈值的像素的像素值记为0，得到区域对比度融合图对应的阈值图，再采用Grabcut图切割方法进行图像分割，提取图像中的显著对象。