CN104715476B - 一种基于直方图幂函数拟合的显著目标检测方法 - Google Patents

Abstract

一种基于直方图幂函数拟合的显著目标检测方法，包括直方图幂函数拟合、超像素分类、显著区域问题和显著目标检测四步。本发明有益效果：使用FT显著图、图流形排序法、SLIC法超像素分类、直方图幂函数拟合求灰度阈值在图像多目标且场景复杂的情况下，检测效率高，性能好，精度高，解决了显著目标检测领域的一大难题，且本发明所提供的方法执行速度快、算法复杂度低，同时能保证较高的检测精度。

Description

一种基于直方图幂函数拟合的显著目标检测方法

技术领域

本发明涉及图像显著目标检测领域，具体地说是一种基于直方图幂函数拟合的显著目标检测方法。

背景技术

众所周知，计算机性能和功能的飞速发展为机器智能提供了可靠的可行条件，随着机器学习、模式识别等学科的深入，人们越来越希望计算机可以更加自主更加智能的完成任务。要实现这个目标，需要计算机能够理解周围的环境。人类感知外界信息最主要方式是通过视觉，所以计算机理解周围环境的关键是具有视觉感知处理能力。

显著目标是图像中人们最为关注的目标，一般包含更多人们感兴趣的、更有用的信息。因此，显著目标检测广泛应用于目标识别、图像分割、图像检索等领域。常用的显著目标检测技术主要有基于局部对比的显著区域检测技术，如：基于局部对比和模糊生长技术、多尺度中心-周围直方图和颜色空间分布对比技术等；以及基于全局对比的显著区域检测技术，如：Achanta 从频率域角度出发，提出一种基于全局对比的显著区域检测的方法（Frequency-tuned salient region detection，简称FT方法），该方法将经过高斯低通滤波图像中的每个像素值和整幅图像的平均像素值之间的欧几里得距离作为该点的显著值。但在以下两种情况下会失效：

（1）显著区域的颜色占图像中的大部分，通过该方法计算后，背景会具有更高的显著值；

（2）背景中含有少量突出的颜色，这样背景中的这部分颜色的显著值也会非常高。

相关文献：ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency-tunedsalient region detection[C] // IEEE Conference on Computer Vision and PatternRecognition， 2009：1597–1604.

此外，目前许多显著目标检测模型虽然在单显著目标和简单背景场景下的性能已接近测试集的标准，但在多目标和复杂背景下，尤其是在目标相融的背景下不能取得较好的表现。

图流形排序（Graph Based Manifold Ranking）是近期出现的一种聚类方法，通过计算图的邻接矩阵和度矩阵得到Laplacian正则化或非正则化矩阵，不同的变体可应用在不同的环境下。Chuan Yang等人将图流形排序应用于显著目标检测，将图像进行SLIC分割，分割后的超像素作为图结点，以图像边缘结点作为相关性查询的种子以检测背景，再求反差得到显著区域。这种方法在单目标和简单背景下的检测效果比较好，但是，当显著目标位于图像边缘、多目标场景、背景复杂或前景与背景相融的情况下，检测效果不够理想。

相关文献：Chuan Yang, Lihe Zhang, Huchuan Lu, Minghsuan Yang, SaliencyDetection via Graph-Based Manifold Ranking, CVPR2013，P3166-3173。

发明内容

本发明所要解决的技术问题是提供一种基于直方图幂函数拟合的显著目标检测方法，通过计算FT算法获得的显著图的直方图数据找到一个灰度阈值，该阈值能够提取属于显著目标区域的超像素，并将这些超像素作为图流形排序的查询种子，再通过自适应二值化法提取所有可能存在显著像素的超像素，作为查询种子的补充，实现接近测试集标准的显著图，从而实现对位于图像边缘、多目标场景、背景复杂或前景与背景相融等较难检测的显著目标的检测。

本发明为解决上述技术问题所采用的技术方案是：一种基于直方图幂函数拟合的显著目标检测方法，其特征在于：所述的目标检测方法包括以下步骤：

步骤一：直方图幂函数拟合：将原图像用FT算法生成FT显著图并计算得到该显著图的灰度直方图数据，根据灰度直方图数据用最小二乘法拟合幂函数曲线方程求得FT显著图中用于超像素分类的灰度阈值x₀；

步骤二：超像素分类：将原图像用SLIC算法分割成n个超像素，根据步骤一得到的灰度阈值将超像素分为显著超像素和背景超像素；

步骤三：显著区域定位：找出存在显著像素的超像素；

步骤四：显著目标检测：用图流形排序法计算超像素相关度矩阵和每个超像素的相关性排序值，并通过将每个超像素的相关性排序值归一化得到每个超像素的显著度，将每个超像素的显著度赋值给其包含的所有像素生成最终的显著图。

本发明所述步骤一中用最小二乘法拟合幂函数曲线方程求灰度阈值的方法为：根据FT显著图的灰度直方图数据用最小二乘法拟合幂函数曲线方程；将得到的幂函数曲线方程求导，将导数为-1的点（x₀,y₀）作为背景灰度与显著灰度的拐点；x₀作为FT显著图中分离背景和显著目标的灰度阈值；

本发明所述步骤二中将超像素分为显著超像素和背景超像素的方法为：

一、计算FT显著图中属于同一个超像素i的所有像素平均灰度mean_gray(i);

二、将所有超像素按编号生成一个指示向量Y1=[y1,y2,…yn]T,将所有超像素中平均灰度mean_gray(i)大于灰度阈值的归为显著超像素，其值yi(i=1,2,…,n)设为1，否则归为背景超像素，其值yi(i=1,2,…,n)设为0;

本发明所述步骤三中显著区域定位的方法为：

一、将 FT显著图二值化：采用自适应二值化法，把灰度高于FT显著图平均灰度2倍值的像素灰度设为255，灰度低于该灰度的像素灰度设为0；

二、将所有超像素按编号生成一个指示向量Y₂=[y₁,y₂,…y_n]^T，统计FT显著二值图中灰度为255的像素所属的超像素编号，把存在显著像素的超像素i的指示值yi设为1，其余设为0。

本发明所述步骤四中超像素相关度矩阵的计算方法为：将原图像分割后的超像素组成图G=(V,E)，其中V表示图G的所有超像素集合，E表示所有结点的全连接边集合，用图流形排序法计算超像素相关度矩阵C=(D-αW)^-1，其中，D为图G的度矩阵，W为超像素的邻接矩阵，α为相关系数。

本发明所述步骤4中每个超像素的相关性排序值的计算方法为：

一、将所有超像素按编号生成一个指示向量Y=[y₁,y₂,…y_n]^T，令Y= Y₁.| Y₂，即Y取Y₁和 Y₂按位或运算的值；

二、按照公式f*=（D-αW）^-1Y求得每个超像素的相关性排序值。

本发明所述步骤二原图像被SLIC算法分割的超像素个数n为180-230个。

本发明的有益效果是：（1）使用FT显著图通过直方图数据幂函数拟合计算目标、背景分割阈值的方法获取显著超像素，用FT显著二值图定位显著目标可能存在的所有区域，提高了显著目标检测的精度；（2）用图流形排序法进行显著目标检测，可快速实现在单目标、单纯背景的简单场景和多目标、复杂场景的显著目标检测和显著区域的二值图分割，进一步保证了目标检测的精度，弥补了FT算法可能存在的失效情况；（3）FT显著图结合图流形排序检测比大多数显著目标检测方法的执行速度快、算法复杂度低，同时能保证较高的检测精度；（4）本发明所涉及的超像素分类采用前沿性能较好的像素聚类技术——SLIC法，聚类后的超像素能够有效保存显著目标边缘，保证了最后生成的显著图能较清晰地显示目标轮廓；（5）本发明所涉及的显著区域定位采用了FT显著图用自适应二值化法得到的二值图结合超像素信息的方法，能最大限度地保证显著像素所在区域被定位出来，有效地提高了检测的精度；（6）本发明所涉及的显著目标检测采用了类似谱聚类方法的图流形排序法，非正则的laplacian矩阵能够有效地从查询种子开始在图结点中搜寻与自己相关的结点，并按照相关性大小进行排序，使得显著图生成速度快、精度高；（7）本发明所涉及的直方图幂函数拟合求灰度阈值法是一种基于最小二乘法的误差理论，属于数值分析范畴，不是简单的数字图像处理技术。（8）本发明在图像多目标且场景复杂的情况下，检测效率高，性能好，精度高，解决了显著目标检测领域的一大难题。

附图说明

图1为本发明总流程图；

图2为本发明幂函数拟合求灰度阈值流程图；

图3为本发明超像素分类流程图；

图4为本发明显著区域定位流程图；

图5为本发明基于图流形排序的显著目标检测流程图；

图6为本发明显著图二值化流程图；

图7为本发明基本流程实例图。

具体实施方式

本发明所述一种基于直方图幂函数拟合的显著目标检测方法，包括：直方图幂函数拟合、超像素分类、显著区域定位、显著目标检测等步骤。

为说明本发明基于直方图幂函数拟合的显著目标检测方法的具体实现方式，现结合实施例及附图阐述如下：

图1为本发明的总流程图，其通过以下步骤实现基于直方图幂函数拟合的显著目标检测方法的一个完整过程，包括：

步骤一：使用FT算法生成原图像的FT显著图，FT显著图数据FTimname按照公式归一化后计算其直方图数据hist(i)，其中i=0,1,2,…,255，hist(i)表示灰度为i的像素个数；

步骤二：为消除低灰度高频次给求拐点带来的不利影响，在拟合前将FT显著图直方图像素个数数据hist(i)全部除以100 （0≤i≤255），然后通过最小二乘法，用数据集{(i,hist(i))|0≤i≤255}拟合幂函数曲线y=Ax^B，得到系数A和B；

步骤三：对幂函数y=Ax^B求导，得dy/dx=A*Bx^B-1，令dy/dx=-1解得x₀，将x₀作为超像素分类的灰度阈值；

步骤四：使用SLIC算法将原图像分割成n个（n的值为180-230个）超像素，得到原图像素归属超像素的归属信息矩阵superpixels，superpixels(i,j)表示坐标为(i,j)的像素所属的超像素编号；

步骤五：定义一个长度为超像素个数n的一维向量Y₁= [y₁, y₂, . . . , y_n]^T，计算FT显著图中属于同一个超像素的所有像素灰度平均值mean_gray，并与x₀比较，平均值大于x₀的超像素i被视为显著超像素，y_i的值设为1，否则设为0；

步骤六：将FT显著图二值化，灰度大于FT显著图2倍平均灰度的像素灰度设为255，其余设为0。定义一个长度为超像素个数n的一维向量Y₂= [y₁, y₂, . . . , y_n]^T，将所有二值图中灰度为255的像素所属超像素i的指示值y_i设为1，其他设为0；

步骤七：将超像素视为结点组成图G=（V，E），其中V表示图G的结点集合即所有超像素集合，E表示所有结点的全连接边集合。先求超像素的邻接矩阵W，W的每个元素w，ci和cj表示超像素i和j在CIELAB颜色空间的颜色均值，σ为权值系数，可取0至1之间的常数，本发明取0.1，按照公式计算各结点的邻接权值，获得图G的邻接矩阵，按照公式求得图G的度矩阵D = diag{d₁₁, . . . , d_nn}，设α为相关系数，可取0至1之间的常数，本发明取α=0.99，按照公式（D-αW）^-1求得图G的相关度矩阵；

步骤八：将步骤五和步骤六中求出的显著指示向量和定位指示向量做按位或运算合并Y=Y₁.|Y₂，得到指示向量Y作为查询，按照公式求得每个超像素的显著度，按照公式归一化显著度，将归一化后的显著度赋值给超像素包含的所有像素，生成最终的显著图；

步骤九:按照公式将显著图二值化从而获得显著区域二值化分割图。

步骤二所述最小二乘法幂函数拟合的方式如下：

已知直方图数据点(i,hist(i)),其中i=1,2,…,m分布大致为一条幂函数曲线。作拟合两参的幂函数曲线，为求解方便，将两边取对数，令；

该曲线不是通过所有的数据点，而是使偏差平方和为最小，其中每组数据与拟合曲线的偏差为；

根据最小二乘原理，应取A和B使有极小值，故A和B应满足下列条件：

即得如下正规方程组

求解该方程组，解得A和B，代入即得拟合幂函数曲线。

Claims (4)

1.一种基于直方图幂函数拟合的显著目标检测方法，其特征在于：所述的目标检测方法包括以下步骤：

步骤一：直方图幂函数拟合：将原图像用FT算法生成FT显著图并计算得到该显著图的灰度直方图数据，根据灰度直方图数据用最小二乘法拟合幂函数曲线方程求得FT显著图中用于超像素分类的灰度阈值x₀；

其中用最小二乘法拟合幂函数曲线方程求灰度阈值的具体方法为：根据灰度直方图数据用最小二乘法拟合幂函数曲线方程，将得到的幂函数曲线方程求导，将导数为-1的点（x₀,y₀）作为背景灰度与显著灰度的拐点，x₀作为FT显著图中分离背景和显著目标的灰度阈值；

步骤二：超像素分类：将原图像用SLIC算法分割成n个超像素，根据步骤一得到的灰度阈值将超像素分为显著超像素和背景超像素，其具体方法为：

一、计算FT显著图中属于同一个超像素i的所有像素平均灰度mean_gray(i);

二、将所有超像素按编号生成一个指示向量Y₁=[y₁,y₂,…y_n]^T,将所有超像素中平均灰度mean_gray(i)大于灰度阈值的归为显著超像素，其值y_i(i=1,2,…,n)设为1，否则归为背景超像素，其值y_i(i=1,2,…,n)设为0；

步骤三：显著区域定位：找出存在显著像素的超像素，具体方法为：

一、将 FT显著图二值化：采用自适应二值化法把灰度高于FT显著图平均灰度2倍值的像素灰度设为255，否则设为0；

二、将所有超像素按编号生成一个指示向量Y₂=[y₁,y₂,…y_n]^T，统计FT显著二值图中灰度为255的像素所属的超像素编号，把存在显著像素的超像素i的指示值yi设为1，否则设为0；

步骤四：显著目标检测：用图流形排序法计算超像素相关度矩阵和每个超像素的相关性排序值，并通过将每个超像素的相关性排序值归一化得到每个超像素的显著度，将每个超像素的显著度赋值给其包含的所有像素生成最终的显著图。

2.根据权利要求1所述的一种基于直方图幂函数拟合的显著目标检测方法，其特征在于：所述步骤四中超像素相关度矩阵的计算方法为：将原图像分割后的超像素组成图G=(V,E)，其中V表示图G的所有超像素集合，E表示所有结点的全连接边集合，用图流形排序法计算超像素相关度矩阵C=(D-αW)^-1，其中，D为图G的度矩阵，W为超像素的邻接矩阵，α为相关系数。

3.根据权利要求1所述的一种基于直方图幂函数拟合的显著目标检测方法，其特征在于：所述步骤四中每个超像素的相关性排序值的计算方法为：

一、将所有超像素按编号生成一个指示向量Y=[y₁,y₂,…y_n]^T,令Y= Y₁.| Y₂，即Y取Y₁和Y₂按位或运算的值；

二、按照公式f*=（D-αW）^-1Y求得每个超像素的相关性排序值。

4.根据权利要求1所述的一种基于直方图幂函数拟合的显著目标检测方法，其特征在于：所述步骤二原图像被SLIC算法分割的超像素个数n为180-230个。