CN104715251B - 一种基于直方图线性拟合的显著目标检测方法 - Google Patents

Abstract

一种基于直方图线性拟合的显著目标检测方法，包括直方图线性拟合、超像素分类和显著目标检测三步。本发明有益效果：使用FT显著图、图流形排序法、SLIC法超像素分类、直方图线性拟合求灰度阈值在图像多目标且场景复杂的情况下，检测效率高，性能好，精度高，解决了显著目标检测领域的一大难题。

Description

一种基于直方图线性拟合的显著目标检测方法

技术领域

本发明涉及图像显著目标检测领域，具体地说是一种基于直方图线性拟合的显著目标检测方法。

背景技术

众所周知，计算机性能和功能的飞速发展为机器智能提供了可靠的可行条件，随着机器学习、模式识别等学科的深入，人们越来越希望计算机可以更加自主更加智能的完成任务。要实现这个目标，需要计算机能够理解周围的环境。人类感知外界信息最主要方式是通过视觉，所以计算机理解周围环境的关键是具有视觉感知处理能力。

显著目标是图像中人们最为关注的目标，一般包含更多人们感兴趣的、更有用的信息。因此，显著目标检测广泛应用于目标识别、图像分割、图像检索等领域。常用的显著目标检测技术主要有基于局部对比的显著区域检测技术，如：基于局部对比和模糊生长技术、多尺度中心-周围直方图和颜色空间分布对比技术等；以及基于全局对比的显著区域检测技术，如：Achanta 从频率域角度出发，提出一种基于全局对比的显著区域检测的方法（Frequency-tuned salient region detection，简称FT方法），该方法将经过高斯低通滤波图像中的每个像素值和整幅图像的平均像素值之间的欧几里得距离作为该点的显著值。但在以下两种情况下会失效：

（1）显著区域的颜色占图像中的大部分，通过该方法计算后，背景会具有更高的显著值；

（2）背景中含有少量突出的颜色，这样背景中的这部分颜色的显著值也会非常高。

相关文献：ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency-tunedsalient region detection[C] // IEEE Conference on Computer Vision and PatternRecognition， 2009：1597–1604.

此外，目前许多显著目标检测模型虽然在单显著目标和简单背景场景下的性能已接近测试集的标准，但在多目标和复杂背景下，尤其是在目标相融的背景下不能取得较好的表现。

图流形排序（Graph Based Manifold Ranking）是近期出现的一种聚类方法，通过计算图的邻接矩阵和度矩阵得到Laplacian正则化或非正则化矩阵，不同的变体可应用在不同的环境下。Chuan Yang等人将图流形排序应用于显著目标检测，将图像进行SLIC分割，分割后的超像素作为图结点，以图像边缘结点作为相关性查询的种子，在单目标和简单背景下的检测效果比较好，但是，当显著目标位于图像边缘、多目标场景、背景复杂或前景与背景相融的情况下，检测效果不够理想。

相关文献：Chuan Yang, Lihe Zhang, Huchuan Lu, Minghsuan Yang, SaliencyDetection via Graph-Based Manifold Ranking, CVPR2013，P3166-3173

发明内容

本发明所要解决的技术问题是提供一种基于直方图线性拟合的显著目标检测方法，通过计算FT算法获得的显著图的直方图数据找到一个灰度阈值，该阈值能够提取属于显著目标区域的超像素，并将这些超像素作为图流形排序的查询种子，实现接近测试集标准的显著图，从而实现对位于图像边缘、多目标场景、背景复杂或前景与背景相融等较难检测的显著目标的检测。。

本发明为解决上述技术问题所采用的技术方案是：一种基于直方图线性拟合的显著目标检测方法，其特征在于：所述的目标检测方法包括以下步骤：

步骤一：直方图线性拟合：将原图像用FT算法生成FT显著图并计算得到该显著图的灰度直方图数据，根据灰度直方图数据用最小二乘法进行线性拟合求得FT显著图中用于超像素分类的灰度阈值x₀；

步骤二：超像素分类：将原图像用SLIC算法分割成n个超像素，根据步骤一得到的灰度阈值将超像素分为显著超像素和背景超像素；

步骤三：显著目标检测：用图流形排序法计算超像素相关度矩阵和每个超像素的相关性排序值，并通过将每个超像素的相关性排序值归一化得到每个超像素的显著度，将每个超像素的显著度赋值给其包含的所有像素生成最终的显著图。

本发明所述步骤一中用最小二乘法进行线性拟合求灰度阈值的方法为：

一、求线性拟合的分界点：将灰度直方图数据从灰度1开始依次累加像素个数和，当前k个灰度的像素个数之和超过所有像素个数的三分之一时，取灰度k为纵向直线和横向直线拟合数据的分界点；

二、线性拟合：用最小二乘法拟合纵向和横向两条直线，纵向直线拟合背景低灰度数据集{(i,hist(i))|0≤i≤k}，横向直线拟合显著目标高灰度数据集{(i,hist(i))|k≤i≤255}，其中hist(i)表示灰度为i的像素个数，由此得到两个二元一次方程；

三、求灰度阈值：将上面得到的两个二元一次方程联立解方程组得两直线的交叉点（x₀,y₀）, 取x₀为FT显著图中超像素分类的灰度阈值。

本发明所述步骤二中将超像素分为显著超像素和背景超像素的方法为：

一、计算FT显著图中属于同一个超像素j的所有像素平均灰度mean_gray(j);

二、将所有超像素中平均灰度mean_gray(j)大于灰度阈值的归为显著超像素，否则归为背景超像素。

本发明所述步骤三中超像素相关度矩阵的计算方法为：将原图像分割后的超像素组成图G=(V,E)，其中V表示图G的所有超像素集合，E表示所有结点的全连接边集合，用图流形排序法计算超像素相关度矩阵C=(D-αW)^-1，其中，D为图G的度矩阵，W为超像素的邻接矩阵，α为相关系数。

本发明所述步骤三中每个超像素的相关性排序值的计算方法为：将所有超像素按编号生成一个指示向量Y=[y₁,y₂,…y_n]^T,若y_t是显著超像素，其中t=1,2,…,n，则将y_t值设为1，否则设为0，按照公式f*=（D-αW）^-1Y求得每个超像素的相关性排序值。

本发明所述步骤二中超像素的个数n为180-230个。

本发明的有益效果是：（1）使用FT显著图通过计算前、背景分割阈值的方法获取显著目标的大致区域，提高了显著目标检测的精度；（2）用图流形排序法进行显著目标检测，弥补了FT算法可能的失效情况，再次提高了目标检测的精度；（3）FT显著图结合图流形排序检测方法执行速度快、算法复杂度低，能保证较高的检测精度；（4）本发明所涉及的超像素分类采用前沿、性能较好的像素聚类技术——SLIC法，聚类后的超像素能够有效保存显著目标边缘，保证了最后生成的显著图能较清晰地显示目标轮廓；（5）本发明所涉及的显著目标检测采用了类似谱聚类方法的图流形排序法，非正则的laplacian矩阵能够有效地从查询种子开始在图结点中搜寻与自己相关的结点，并按照相关性大小进行排序，使显著图的生成速度快、精度高；（6）本发明所涉及的直方图线性拟合求灰度阈值法是一种基于最小二乘法的误差理论，属于数值分析范畴，不是简单的数字图像处理技术；（7）本发明在图像多目标且场景复杂的情况下，检测效率高，性能好，精度高，解决了显著目标检测领域的一大难题。

附图说明

图1为本发明总流程图；

图2为本发明线性拟合求灰度阈值流程图；

图3为本发明超像素分类流程图；

图4为本发明基于图流形排序的显著目标检测流程图；

图5为本发明显著图二值化流程图；

图6为本发明实例图。

具体实施方式

本发明所涉及一种基于直方图线性拟合的显著目标检测方法，包括：直方图线性拟合、超像素分类、显著目标检测三大步。

为说明本发明基于直方图线性拟合的显著目标检测方法的具体实现方法，结合实施例及附图阐述如下：

图1为本发明通过直方图线性拟合查询的图流形排序显著目标检测方法的总流程图。本方法通过8个基本步骤实现基于直方图线性拟合的显著目标检测流程的一个完整过程，包括：

步骤一：使用FT算法生成原图像的FT显著图，FT显著图数据FTimname按照公式归一化后计算其直方图数据hist(i)，其中i=0,1,2,…,255，hist(i)表示灰度为i的像素个数；

步骤二：根据步骤一得到的FT显著图直方图数据，选取从灰度1开始求像素个数和，当前k个灰度的像素个数和超过图像所有像素个数的三分之一时，将灰度k作为纵向直线和横向直线拟合数据的分界点，通过最小二乘法，用数据集{(i,hist(i))|0≤i≤k}拟合纵向直线y=Ax+B，用数据集{(i,hist(i))|k≤i≤255}拟合纵向直线y=Cx+D；

步骤三：联立方程y= Ax+B和y= Cx+D，求得两直线的交点（x₀,y₀），取x₀作为超像素分类的灰度阈值；

步骤四：使用SLIC算法将原图像分割成n个（n的值为180-230）超像素，得到原图像素归属超像素的归属信息矩阵superpixels，superpixels(i,j)表示坐标为(i,j)的像素所属的超像素编号；

步骤五：定义一个长度为超像素个数n的一维向量Y=[y₁,y₂,…y_n]^T，计算FT显著图中属于同一个超像素的所有像素灰度平均值mean_gray，与x₀比较，平均值大于x₀的超像素t被视为显著超像素，y_t的值设为1，否则设为0；

步骤六：将超像素视为结点组成图G=（V，E），其中V表示图G的结点集合即所有超像素集合，E表示所有结点的全连接边集合。先求超像素的邻接矩阵W，W的每个元素w，c_i和c_j表示超像素i和j在CIELAB颜色空间的颜色均值，σ为权值系数，可取0至1之间的常数，本发明取0.1，按照公式计算各结点的邻接权值，获得图G的邻接矩阵，按照公式求得图G的度矩阵D = diag{d₁₁, . . . , d_nn}，设α为相关系数，可取0至1之间的常数，本发明取α=0.99，按照公式（D-αW）^-1求得图G的相关度矩阵；

步骤七：将指示向量Y作为查询，按照公式求得每个超像素的显著度，按照公式归一化显著度，将归一化后的显著度赋值给超像素包含的所有像素，生成最终的显著图；

步骤八：按照公式将显著图二值化获得显著区域二值化分割图。

其中步骤二所述的最小二乘法线性拟合的实现方式如下：

已知直方图数据点(i,hist(i)),其中i=1,2,…,m分布大致为一条直线。作拟合直线

该直线不是通过所有的数据点，而是使偏差平方和为最小

其中每组数据与拟合曲线的偏差为 i=1,2,…,m

根据最小二乘原理，应取和使有极小值，故和应满足下列条件

即得如下正规方程组

求解该方程组，解得和，代入即得拟合直线。

Claims (5)

1.一种基于直方图线性拟合的显著目标检测方法，其特征在于：所述的目标检测方法包括以下步骤：

步骤一：直方图线性拟合：将原图像用FT算法生成FT显著图并计算得到该显著图的灰度直方图数据，根据灰度直方图数据用最小二乘法进行线性拟合求得FT显著图中用于超像素分类的灰度阈值x₀，具体的方法为：

一、求线性拟合的分界点：将灰度直方图数据从灰度1开始依次累加像素个数和，当前k个灰度的像素个数之和超过所有像素个数的三分之一时，取灰度k为纵向直线和横向直线拟合数据的分界点；

二、线性拟合：用最小二乘法拟合纵向和横向两条直线，纵向直线拟合背景低灰度数据集{(i,hist(i))|0≤i≤k}，横向直线拟合显著目标高灰度数据集{(i,hist(i))|k≤i≤255}，其中hist(i)表示灰度为i的像素个数，由此得到两个二元一次方程；

三、求灰度阈值：将上面得到的两个二元一次方程联立解方程组得两直线的交叉点（x₀,y₀）, 取x₀为FT显著图中超像素分类的灰度阈值；

步骤二：超像素分类：将原图像用SLIC算法分割成n个超像素，根据步骤一得到的灰度阈值将超像素分为显著超像素和背景超像素；

步骤三：显著目标检测：用图流形排序法计算超像素相关度矩阵和每个超像素的相关性排序值，并通过将每个超像素的相关性排序值归一化得到每个超像素的显著度，将每个超像素的显著度赋值给其包含的所有像素生成最终的显著图。

2.根据权利要求1所述的一种基于直方图线性拟合的显著目标检测方法，其特征在于：所述步骤二中将超像素分为显著超像素和背景超像素的方法为：

一、计算FT显著图中属于同一个超像素j的所有像素平均灰度mean_gray(j);

二、将所有超像素中平均灰度mean_gray(j)大于灰度阈值的归为显著超像素，否则归为背景超像素。

3.根据权利要求1所述的一种基于直方图线性拟合的显著目标检测方法，其特征在于：所述步骤三中超像素相关度矩阵的计算方法为：将原图像分割后的超像素组成图G=(V,E)，其中V表示图G的所有超像素集合，E表示所有结点的全连接边集合，用图流形排序法计算超像素相关度矩阵C=(D-αW)^-1，其中，D为图G的度矩阵，W为超像素的邻接矩阵，α为相关系数。

4.根据权利要求3所述的一种基于直方图线性拟合的显著目标检测方法，其特征在于：所述步骤三中每个超像素的相关性排序值的计算方法为：将所有超像素按编号生成一个指示向量Y=[y₁,y₂,…y_n]^T,若y_t是显著超像素，其中t=1,2,…,n，则将y_t值设为1，否则设为0，按照公式f*=（D-αW）^-1Y求得每个超像素的相关性排序值。

5.根据权利要求1所述的一种基于直方图线性拟合的显著目标检测方法，其特征在于：所述步骤二中超像素的个数n为180-230个。