CN103996040A - 融合局部-全局对比度的自底向上的视觉显著性生成方法 - Google Patents

Abstract

本发明提出一种融合局部-全局对比度的自底向上的视觉显著性生成方法。首先利用稀疏编码理论计算图像中某一个图像块和在其临域内的其他图像块之间的局部对比度以及此图像块和图像中剩余所有图像块之间的全局对比度，然后将这两种对比性的信息有机的结合起来并加入中心偏移量，最终实现对局部对比度，全局对比度的融合，建立出一种更具准确性，鲁棒性的视觉显著性计算模型。

Description

融合局部-全局对比度的自底向上的视觉显著性生成方法

技术领域

本发明属于计算机视觉算法研究领域，涉及一种融合局部-全局对比度的自底向上的视觉显著性生成方法，可以在自然图像数据库中准确、鲁棒地计算出给定图像的显著图。

背景技术

视觉显著性是视觉注意的一项重要功能，它表现为观察者从一个复杂的视觉场景中选择一个重要的内容进行集中处理，而忽略其他不太重要的内容。视觉场景中某些内容比其他内容更能获得观察者的注意，我们称它们具有更高的视觉显著性。视觉显著性的思想被大量地应用于视觉注意的计算模型中，ITTI在其经典的视觉注意计算模型中采用的显著性度量方法是基于像素与其周围邻域的局部视觉特征差异；Ma等人在2003年提出一种基于特征对比的显著性度量方法，该方法只考虑颜色特征，将输入图像从RGB颜色空间转换为LUV空间，进行颜色量化。为了处理简单，将输入图像调整到一个固定的尺寸。计算像素与其周围邻域的颜色特征对比度，得到该像素的显著性值；Hou等人在2008年提出了一种基于谱残差的显著性度量方法，该方法在频域上分析显著区域的特征，在空间域上构建显著图。FengLiu等人后来提出基于区域的显著性度量，他们首先利用一定的方法得到图像中不同的区域，然后根据每个区域的位置因素和特征对比等度量其显著性。

上述显著性计算模型虽然能够在特定的样本库中得出令人满意的结果，但是这些模型中仍然存在一个明显的缺陷：他们都只考虑了图像的全局对比度或局部对比度中的一点，而没有同时应用这两种对比性的信息构建出一个统一的显著性计算模型。实验表明，基于局部特征对比的显著区域容易集中在变化比较强烈的边缘部分或者比较复杂的背景区域；而基于全局特征对比的显著性的显著区域则不能很好凸显与周围有强烈对比度的区域。基于此，本发明提出一种融合局部-全局对比度的自底向上的视觉显著性计算方法，首先根据稀疏编码理论提取图像中的局部对比度和全局对比度特征，然后将这两种对比性的信息有机的结合起来，再根据人类视觉注意心理学研究的中心偏置理论，建立出一种更具准确性，鲁棒性的视觉显著性计算模型。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种融合局部-全局对比度的自底向上的视觉显著性生成方法。

技术方案

一种融合局部-全局对比度的自底向上的视觉显著性计算方法，其特征在于步骤如下：

步骤1提取图像中的图块及其特征：首先将图像下采样为N×N个像素，然后采用大小为size∈[5,50]，步长为的方形滑动窗口在下采样后的图像中提取图块p_i，图块p_i内的像素值构成的向量将作为该图块的特征x_i；其中i∈[1,M]，M为一幅图像中的图块数；

步骤2构建图块pi的局部字典：采用大小为size∈[5,50]，步长为的方形滑动窗口在图块p_i的临域内提取所有与p_i重叠面积小于的图块，将这些图块的特征构成的矩阵作为图块p_i的局部字典其中图块p_i的临域大小为Sru_size＝β·size,β∈[3，9]是临域范围的比例系数；

步骤3计算图块p_i的局部对比度：根据稀疏编码理论，采用图块p_i的局部字典对其特征x_i进行编码：其中是当前图块的局部稀疏编码，是稀疏编码后的局部残差，则图块p_i的局部对比度

步骤4构建图块p_i的全局字典；采用大小为size∈[5,50]，步长为的方形滑动窗口在下采样后的整幅图片范围内提取所有与图块p_i重叠面积小于的图块，将这些图块的特征构成的矩阵作为图块p_i的全局字典

步骤5计算图块p_i的全局对比度：根据稀疏编码理论，采用图块p_i的全局字典对其特征x_i进行编码：其中是当前图块的全局稀疏编码，是稀疏编码后的全局残差，则图块p_i的全局对比度

步骤6计算图块p_i的中心偏移量：计算图块p_i的中心偏移量其中：D_max为下采样后的图像中距离图像中心点最远的距离；D_i为图块p_i的中心点在下采样后的图像中距离图像中心点的距离；

步骤7计算图块p_i的显著值：对图块p_i的局部对比度和全局对比度融合得出其显著值S，其中λ∈[01]是局部对比度与全局对比度的权重系数；

步骤8生成显著图：按照步骤1-7计算下采样后的图像中所有图块的显著值，将这些显著值作为与其相对应图块的灰度值生成与下采样后图像对应的灰度图，将这个灰度图上采样到原始图片的大小即生成图像的显著图；

所述步骤3和5中计算稀疏系数和残差的方法采用文献Han B,Zhu H,Ding Y.“Bottom-up saliency based on weighted sparse coding residual”,Proceedings of the19thACM international conference on Multimedia.ACM,2011:1117-1120的方法。

有益效果

本发明提出一种融合局部-全局对比度的自底向上的视觉显著性计算方法，首先利用稀疏编码理论计算图像中某一个图像块和在其临域内的其他图像块之间的局部对比度以及此图像块和图像中剩余所有图像块之间的全局对比度，然后将这两种对比性的信息有机的结合起来并加入中心偏移量，最终实现对局部对比度，全局对比度的融合，建立出一种更具准确性，鲁棒性的视觉显著性计算模型。

附图表说明

图1：本发明方法的基本流程图

图2：实验对比结果图

图3：ROC结果图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Intel Pentium2.93GHz CPU计算机、2.0GB内存，运行的软件环境是：Matlab R2011b和Windows XP。实验选取了BRUCE库中的所有图像作为测试数据，该数据库中包含120幅自然图像，是国际公开的用于测试视觉显著性计算模型的数据库。

本发明具体实施如下：

1.提取图像中的图块及其特征：首先将图像下采样为N×N个像素，然后采用大小为size∈[5,50]，步长为的方形滑动窗口在下采样后的图像中提取图块p_i，图块p_i内的像素值构成的向量将作为该图块的特征x_i；其中i∈[1,M]，M为一幅图像中的图块数。

2.构建图块pi的局部字典：采用大小为size∈[5,50]，步长为的方形滑动窗口在图块p_i的临域内提取所有与p_i重叠面积小于的图块，将这些图块的特征构成的矩阵作为图块p_i的局部字典其中图块p_i的临域大小为Sru_size＝β·size,β∈[3，9]是临域范围的比例系数。

3.计算图块pi的局部对比度：根据稀疏编码理论和“Bottom-up saliency based onweighted sparse coding residual”中的方法，采用图块p_i的局部字典对其特征x_i进行编码：其中是当前图块的局部稀疏编码，是稀疏编码后的局部残差，则图块p_i的局部对比度

4.构建图块p_i的全局字典；采用大小为size∈[5,50]，步长为的方形滑动窗口在下采样后的整幅图片范围内提取所有与图块p_i重叠面积小于的图块，将这些图块的特征构成的矩阵作为图块p_i的全局字典

5.计算图块pi的全局对比度：根据稀疏编码理论和“Bottom-up saliency based onweighted sparse coding residual”中的方法，采用图块p_i的全局字典对其特征x_i进行编码：其中是当前图块的全局稀疏编码，是稀疏编码后的全局残差，则图块p_i的全局对比度

6.计算图块p_i的中心偏移量：计算图块p_i的中心偏移量其中：D_max为下采样后的图像中距离图像中心点最远的距离；D_i为图块p_i的中心点在下采样后的图像中距离图像中心点的距离。

7.计算图块p_i的显著值：对图块p_i的局部对比度和全局对比度融合得出其显著值S_i，其中λ∈[0,1]是局部对比度与全局对比度的权重系数。

8.生成显著图：按照步骤1-7计算下采样后的图像中所有图块的显著值，将这些显著值作为与其相对应图块的灰度值生成与下采样后图像对应的灰度图，将这个灰度图上采样到原始图片的大小即生成图像的显著图。

本发明选用ROC曲线对识别结果进行评估。该曲线定义为在分割阈值变化下，虚警率(FPR)和召回率(TPR)的变化关系。计算公式如下：

$\mathrm{FPR}=\frac{\mathrm{FP}}{N}$

$\mathrm{TPR}=\frac{\mathrm{TP}}{P}$

其中FP为检测到的虚警区域，N为ground truth中非目标的区域；TP为检测到的实警区域，P为ground truth中目标的区域。

附图2为一些对比实验结果，其中，CS指的是只利用本发明中的局部对比度所计算出的显著图，CG指的是只利用本发明中的全局对比度所计算出的显著图，而CS+CG则是按照本发明中融合局部-全局对比度的方法所计算出的显著图。可以看出本发明提出的算法可以克服单独使用局部对比度或全局对比度所带来的缺陷，能够在自然图像数据库中准确、鲁棒地计算出给定图像的显著图。附图3为本发明方法的ROC曲线,表1为本发明方法与其他已有算法的定量对比结果，表中第二列的值为相应算法在BRUCE测试库中ROC曲线下的面积(AUC)，从实验结果可以看出本发明提出的方法可以更加准确和鲁棒地对自然图像进行显著图的计算。

表1显著性检测结果对比

Methods:	AIM	Itti’s	Judd’s	Liyin’s	Hanbiao’s	OURS
							AUC:	0.7241	0.7455	0.7795	0.8006	0.8264	0.8360

Claims (2)

1.一种融合局部-全局对比度的自底向上的视觉显著性生成方法，其特征在于步骤如下：

步骤1提取图像中的图块及其特征：首先将图像下采样为N×N个像素，然后采用大小为size∈[5,50]，步长为的方形滑动窗口在下采样后的图像中提取图块p_i，图块p_i内的像素值构成的向量将作为该图块的特征x_i；其中i∈[1,M]，M为一幅图像中的图块数；

步骤2构建图块pi的局部字典：采用大小为size∈[5,50]，步长为的方形滑动窗口在图块p_i的临域内提取所有与p_i重叠面积小于的图块，将这些图块的特征构成的矩阵作为图块p_i的局部字典其中图块p_i的临域大小为Sru_size＝β·size,β∈[3，9]是临域范围的比例系数；

步骤3计算图块p_i的局部对比度：根据稀疏编码理论，采用图块p_i的局部字典对其特征x_i进行编码：其中是当前图块的局部稀疏编码，是稀疏编码后的局部残差，则图块p_i的局部对比度

步骤4构建图块p_i的全局字典；采用大小为size∈[5,50]，步长为的方形滑动窗口在下采样后的整幅图片范围内提取所有与图块p_i重叠面积小于e的图块，将这些图块的特征构成的矩阵作为图块p_i的全局字典

步骤5计算图块p_i的全局对比度：根据稀疏编码理论，采用图块p_i的全局字典对其特征x_i进行编码：其中是当前图块的全局稀疏编码，是稀疏编码后的全局残差，则图块p_i的全局对比度

步骤6计算图块p_i的中心偏移量：计算图块p_i的中心偏移量其中：D_max为下采样后的图像中距离图像中心点最远的距离；D_i为图块p_i的中心点在下采样后的图像中距离图像中心点的距离；

步骤7计算图块p_i的显著值：对图块p_i的局部对比度和全局对比度融合得)出其显著值S_i，其中λ∈[0,1]是局部对比度与全局对比度的权重系数；

步骤8生成显著图：按照步骤1-7计算下采样后的图像中所有图块的显著值，将这些显著值作为与其相对应图块的灰度值生成与下采样后图像对应的灰度图，将这个灰度图上采样到原始图片的大小即生成图像的显著图。

2.根据权利要求1所述的融合局部-全局对比度的自底向上的视觉显著性生成方法，其特征在于：所述步骤3和5中计算稀疏系数和残差的方法采用文献Han B,Zhu H,Ding Y.“Bottom-up saliency based on weighted sparse coding residual”,Proceedings ofthe19th ACM international conference on Multimedia.ACM,2011:1117-1120的方法。