CN104240256A - 一种基于层次化稀疏建模的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于层次化稀疏建模的图像显著性检测方法，主要解决在计算机视觉领域内通过模拟灵长类动物的视觉注意机制，在复杂场景中迅速定位感兴趣区域以进行快速场景分析的问题，其主要步骤包括：(1)构造基于颜色和方向信息的多尺度特征图；(2)创建基于逐层自表示建模的颜色显著图；(3)形成基于多尺度信息融合的显著图；(4)提取基于Otsu最优阈值分割的显著物体。本发明具有较高的检测率和较低的虚警率，并取得了较经典显著检测方法更优的性能，可以用于图像分割等领域。

Description

一种基于层次化稀疏建模的图像显著性检测方法

技术领域

本发明属于计算机视觉研究领域，具体是一种基于层次化稀疏建模的图像显著性检测方法，可用于模拟灵长类动物的视觉注意机制，对场景的显著区域进行提取和分析。

背景技术

灵长类动物在有限的神经元处理速度下可以对复杂场景实现实时高效的解译，归因于它们所特有的视觉注意机制。Itti等人的视觉注意理论将视觉注意模型分为两个阶段：快速的、潜意识的、自底向上的、数据驱动的显著性提取；以及慢速的、基于任务的、自顶向下的、目标驱动的显著性提取。本发明受生物视觉注意机制中层次化感知特点的启发，通过逐层稀疏建模的方式建立起视觉显著性的计算框架。在计算机视觉领域，显著图可以对感兴趣物体的提取、目标识别、自适应压缩和图像检索等应用提供支持，具有重要的意义。

目前，显著性检测可大致分为3个研究方向，即基于人眼跟踪的聚焦点预测、显著物体提取和显著物体估计。人眼聚焦模型旨在预测人在观察场景时所关注的特定点，显著物体检测旨在从场景中发现感兴趣物体并且将其从整个内容中分割出来，显著物体估计旨在用一小组边界盒来定位出显著物体的区域，以提高传统滑动窗口的在物体定位上的效率。显著物体提取的现有方法可以被大致分为基于生物启发的、基于纯计算的和两者结合的。多数的方法一般都通过比较图像区域和它们周围区域在亮度、颜色和方向上的相对差异来进行显著性的度量。

生物启发的显著性检测方法中最具代表性的是1998年Itti等人所提出的模型。Itti的显著检测方法基于Koch等人提出的用特征集成理论来解释人类视觉搜索策略的生物结构模型。视觉输入被分为亮度通道、红绿和蓝黄颜色通道、Gabor方向通道，不同的空间位置在每幅图中竞争显著性使得只有与局部相比突出的位置可以被保持。所有通道上得到的特征图依据自底向上的方式来融合成最终的显著图。这种模型用动态高斯金字塔来产生9个尺度的图像，通过线性的中心周围差异操作来模拟视觉接收场的特性，并提出了符合视觉皮层的显著图归一化方法，得到了较为理想的结果。

纯计算的显著性检测方法没有太多生物视觉原理上的支持，但大多都有坚实的理论框架支持，其中以Hou等人在2007年所提出的基于谱残差和2012年基于图像符号的谱理论最具代表性。谱残差从信息论的观点出发将图像分为Innovation和Prior Knowledge两部分，并结合自然图像在log-log尺度上所呈现出的线性特性，认为显著性部分是平滑的log-log曲线以外的部分。借助于对图像谱域的平滑结果来逼近Prior Knowledge的谱，最终的显著部分的谱是原图的谱和Prior Knowledge的谱之差，并取残差谱的傅里叶逆变换来得到最终的显著图。这种方法计算得到的为低分辨的显著图，并且倾向于突出图像中的边缘部分。给定一幅输入图像I(x)，其计算过程如下。

L(f)＝log(A(f)),

R(f)＝L(f)-h_n(f)*L(f),

S(x)＝g(x)*Γ^-1[exp(R(f)+P(f))]².

其中，Γ和Γ^-1表示傅里叶变换和逆变换，和表示取幅值和相位操作，h_n(f)和g(x)表示频域和空域的滤波算子。

图像符号的显著检测方法将一幅图像建模为前景(显著区域)和背景(非显著区域)两部分，通过严谨的数学推导得出了显著图和图像符号的DCT反变换之间存在着很强的关联性结论。其前提假设为显著区域在空域是稀疏的，而非显著区域在DCT域是稀疏的，并且前景是服从高斯分布的。这个假设在实际情况下是能够得到较好满足的，具有很强的指导意义。首先，图像符号经过DCT逆变换后的结果和其中的前景部分具有相似性下界，即经符号函数后背景部分被极大压缩，具体关系如下所示。

$E\left(\frac{<\stackrel{\&OverBar;}{f},\stackrel{\&OverBar;}{x}>}{\left|\right|\stackrel{\&OverBar;}{f}\left|\right|\left|\right|\stackrel{\&OverBar;}{x}\left|\right|}\right)\&GreaterEqual;0.5,\mathrm{for}\left|{\mathrm{\&Omega;}}_b\right|<\frac{N}{6}---1)$

其中，|Ω_b|表示背景在DCT域的非零元素个数，N为图像中像素总数。上式说明只要背景在DCT域的非零元素个数足够少，和就有很强的相似性。其次，落在f中非零位置的比例有下界，即保持了显著图的大部分信息，具体关系如下所示。

$\begin{array}{cc}E\left(\frac{\mathrm{\&alpha;}}{\sqrt{{\mathrm{\&alpha;}}^2+{\mathrm{\&beta;}}^2}}\right)\&GreaterEqual;\sqrt{\frac{2}{\mathrm{\&pi;}}}\&ap;0.7979& \mathrm{where\&alpha;}=\sqrt{\underset{i\&Element;T_f}{\mathrm{\&Sigma;}}{\left({\stackrel{\&OverBar;}{f}}_i\right)}^2}\end{array},\mathrm{\&beta;}=\sqrt{\underset{i\&NotElement;T_f}{\mathrm{\&Sigma;}}{\left({\stackrel{\&OverBar;}{f}}_i\right)}^2}$

其中，T_f是f中非零位置的索引。上式说明只要f服从正态分布，那么和f的相似度至少为0.7979。如此，结合上面两个结论便可得出图像符号理论的最终结论：以很大的可能性逼近f，用图像符号的DCT逆变换就可以代表图像的显著图。

生物模型和计算模型相结合的方法中代表性的为Harel等人于2006年提出的GBVS。此方法按照Itti的方法构建特征图，在显著图的构建和融合的过程中使用了马尔科夫随机场模型。它将图像中所有位置表示成状态节点，各个节点之间的转移概率由它们的特征不相似度和空间距离来决定。***从随机初始状态出发，经过一定次数的迭代之后达到稳定状态，用此终态来描述各个位置为显著的概率。在归一化过程中为了将显著性聚集起来形成显著区域，任意两个节点的状态转移概率依赖于两者的空间距离和到达节点的显著概率。经过马尔科夫随机场的转移过程之后便得到最终的显著图描述，具有符合实际情况和灵活的计算模式。

除以上显著性检测方法外，通过稀疏建模来寻找代表性元素的思想在机器学习领域引起了广泛的关注。一组数据可以通过其中一个很小的子集来进行线性组合得到，这个子集里面的元素即为代表性元素，它们一般都具有独特的结构。在代表元素数量的足够少的限制下，通过求解如下的优化问题便可以的到选出的代表元素和组合系数。

$\begin{array}{cc}\min {\left|\right|Y-\mathrm{YC}\left|\right|}_F^2& s.t.{\left|\right|C\left|\right|}_{\mathrm{row},0}\&le;\end{array}k$

其中，Y和C分别为原始数据集合表示系数，k为很小的正整数用以约束选出的代表元素个数足够少。对于原始数据Y没有低秩的要求，但是如果Y具有低秩特性，那么选出的代表元素为低秩集中的一小部分元素。此方法在样例维进行了数据将维，得到了更加简洁和紧凑的数据表示，并且在代表视频帧的选取中表现出了较好的性能，同时在分类和聚类方面也显示出了一定的优势。

现有显著检测方法在定位感兴趣区域时存在着较多的漏检和较大的虚警率，同时图像稀缺性和显著性之间的内在联系并没有被充分挖掘来解决显著检测的问题。通过自表示模型选取代表性元素的理论与视觉的选择注意特性之间的存在的耦合性有待深入研究。

发明内容

本发明的目的在于通过模拟生物视觉注意机制中存在的稀疏特性，提出一种基于层次化稀疏建模的多尺度显著性检测方法。借助于视觉的层次化注意模型，实现由粗到细的逐层稀疏建模，在不同的层次范围内对图像中的显著特性进行量化。同时模拟视觉的尺度化认知特性，在多个尺度上来观察图像的显著性，得到不同尺度上的显著描述结果。最后，通过适当的融合策略实现高效的显著性度量，并将显著区域从场景中分离出来以进行快速场景分析。

本发明的技术方案是：一种基于层次化稀疏建模的图像显著性检测方法，包括如下步骤：

(1)基于颜色和方向信息的多尺度特征图构造：

1a)将一幅输入图像在水平方向和垂直方向上隔行隔列采样，形成大小为原图1/2的低分辨率图像，对此低分辨率图像继续进行下采样，得到大小为原图1/4的更低分辨率的图像，将原图和这两幅降采样后的图像作为3个尺度上的输入图像；

1b)对于3个尺度上的输入图像，将红绿蓝三个彩色通道作为颜色特征图的元素，用于稀疏建模的特征，对于每一个尺度上输入图像的亮度图，使用Gabor滤波器在0,45,90和135度四个方向上对其进行方向滤波得到描述图像方向信息的四幅方向滤波图，作为后续方向显著图的基础；

(2)基于逐层自表示建模的颜色显著图创建：

2a)将3个尺度上输入图像的颜色特征图按照16*16的分块大小无重叠地分为大小相同的子块，每一个子块作为显著性描述的基本单元；

2b)按照自表示模型的数据组织形式，把每个子块的所有颜色特征组合起来并形成一个代表子块结构特性的特征向量，所有子块的特征向量依次排列成为一个大的矩阵作为自表示模型中的原始数据矩阵Y；

2c)将数据矩阵Y作为优化问题

$\begin{array}{cc}\min \mathrm{\&lambda;}{\left|\right|C\left|\right|}_{1,q}+\frac{1}{2}{\left|\right|Y_k^1-Y_k^{1}C\left|\right|}_F^2& s.t.1^{\mathrm{\&gamma;}}C=1^{\mathrm{\&gamma;}}\end{array}$

的输入，使用交替乘子方向ADMM优化算法求解此自表示模型的解，优化算法中对系数矩阵C施加行稀疏的约束，以用尽量少的元素来表示所有数据；经过多次迭代之后便会得到自表示模型的解；按照所提出的显著性和稀疏系数之间的求解公式得到每个子块在第一层次的显著描述，

$s_i=\underset{j=1}{\overset{V}{\mathrm{\&Sigma;}}}\left|C_{\mathrm{ij}}\right|,i=\mathrm{1,2},...V$

其中，s_i表示第i个子块的显著值，C_ij为系数矩阵中第i行j列的元素，V为子块的个数；

2d)对于第1个尺度上的各子块，将其显著值和所有子块显著值均值的2倍做比较，如果小于均值的2倍则认为此子块在第1个尺度上是非显著的，否则认为是显著的；在第2个层次上丢弃那些被认为是非显著的子块，对每一个显著的子块进行进一步的自表示建模；

2e)将每个显著子块进一步分割为大小为8*8的更小的子块，并将对应的颜色特征组织成自表示模型的数据矩阵，经过ADMM优化算法优化求解之后会得到进一步分割后的各子块的稀疏系数；

(3)基于多尺度信息融合的显著图形成：

3a)经过以上步骤之后，在每个尺度上形成了两幅颜色显著图和四幅方向滤波图，将两幅不同层次上得到的颜色显著图相加形成每个尺度上的颜色显著图，代表图像逐层递进的颜色显著信息；同时将四幅方向滤波图也相加形成每个尺度上的方向显著图，代表每个尺度上图像的边缘显著信息；

3b)将每个尺度上得到的颜色显著图和方向显著图进行归一化操作，使得两者具有相同的描述范围，之后对以上结果相加形成每个尺度上融合后的显著图，用以表示特定尺度上所得到的显著描述结果；

3c)最后将3个尺度上的显著图进行尺度上的统一，亦即将每一幅显著图调整到原始图像的大小，通过对所有的结果按位置求平均便可以得到最终的显著图；

(4)基于Otsu最优阈值分割的显著物体提取：

4a)将通过以上步骤所得显著图的灰度级范围调整在0到255的8位灰度级下，运用具有二值分割效果的Otsu算法对其进行分割，得到前景和背景区域，前景区域为在此规则下得到的显著区域，背景是非显著区域；

4b)根据分割后的索引图像，从原图中提取出前景部分的区域，将背景部分的区域设为黑色，自此便完成了显著检测的所有阶段，之后用受试者运行曲线、正确率召回率曲线和平均正确率、召回率及F-measure值常用数字评价指标对所得显著图的好坏进行客观评价，并和经典的显著检测算法进行比较验证其有效性。

上述步骤(2)中的2d)步骤所述的对每一个显著的子块进行进一步的自表示建模，其具体方法如下：

将显著值大于平均值Th倍的子块保留用作下一层的自表示建模，并舍弃其余子块，按照如下的准则进行子块的取舍：

$\begin{array}{cc}\mathrm{if}\frac{s_i}{1/H\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{s}_j}\&GreaterEqual;\mathrm{Th}& {\mathrm{label}}_i=1\end{array}$

else       label_i＝0

其中，Th为预设的阈值，将其设定为2，label_i表示第i个子块是否被保留，如果为1则表明保留，并进行下一层的自表示建模，为0则表示舍弃此子块。

本发明的有益效果：本发明将颜色信息和方向信息作为显著性检测的特

征，构建起不同尺度和层次上的特征组合。对于颜色显著图按照基于分块的方式来组合特征，并用自表示的方法进行层次化稀疏建模得到不同层次上的颜色显著图。而方向显著图则通过对Gabor滤波器在4个角度滤波后的结果进行融合而获得，用以描述显著图中的方向信息。最后将多个尺度上的显著图进行融合后形成最终的描述各个位置相对显著程度的显著图。本发明与现有技术相比具有以下优点：

1、本发明着眼于显著性所源于的稀缺特性，通过用自表示的稀疏建模方式建立起显著性和稀疏性之间的关联，并用稀疏表示系数刻画显著程度。用颜色和方向特征图所建立的计算模型符合生物视觉显著特性，有较为完备的理论支撑。

2、本发明采用层次化的渐进建模方式，能在不同的范围内对各个位置的显著性以区域为单位进行描述，使得算法对于显著范围的变化具有鲁棒性。同时，多尺度观测的方式可获得不同尺度下显著性的信息，对前景尺寸的变化有很好的适应性。通过尺度化、层次化的观测方式克服了传统显著检测方法对于边缘的依赖性，并在均匀显著区域的描述上获得了较为一致的效果。

附图说明

图1是本发明的流程图；

图2是本发明在两个层次上得到的显著图和提取的显著物体示例；

图3是本发明在三个尺度上得到的显著图和最终融合后的显著图示例；

图4是本发明和其它4个对比方法在Hou的测试数据集上得到的显著图示例(4个对比方法依次为IT、SR、FT和GB)；

图5是本发明和其它4个对比方法用Otsu算法对图4的显著图分割后提取的显著物体示例；

图6是本发明和其它6个对比方法在MSRA的测试数据集上得到的显著图示例(其它6个对比方法依次为FT、SR、AIM、IT、CW和GB)；

图7是本发明和其它6个对比方法用Otsu算法对图6的显著图分割后提取的显著物体示例；

图8是本发明和其它6个对比方法在MSRA的200幅测试数据集上得到的平均受试者运行曲线、平均正确率召回率曲线以及Otsu分割之下的平均正确率、平均召回率和平均F-measure柱状图。

具体实施方式

参考图1，本发明的具体实施步骤如下：

步骤1：基于颜色和方向信息的多尺度特征图构造：

1.1)将一幅M行N列的彩色图像I在水平方向和垂直方向上以两倍的速率连续下采样，依次形成l个空间尺度下的低分辨图像。

I₁＝I

I_k+1＝f*I_k,k＝1,2,…l-1

其中，f是下采样算子，I_k是第k个尺度上的图像。

1.2)对于第k个尺度上的图像I_k，将三个彩色通道作为颜色特征图的元素，后续的特征提取和组合基于此颜色特征图。

$F_k^c=\{I_k^r,I_k^g,I_k^b\}$

1.3)对于第k个尺度上的亮度图使用Gabor滤波器在{0°,45°,90°,135°}四个方向上对其进行方向滤波，得到描述图像方向特性的四幅方向图，并作为方向特征图的元素。

$F_k^d=\{O_k^0,O_k^{45},O_k^{90},O_k^{135}\}$

步骤2：基于块稀疏建模的层次化颜色显著图创建：

2.1)假设在第k个尺度的第一个层次上分块的规模为p_k1行q_k1列，那么通过对颜色特征图不重叠的分块操作之后将得到M/(p_k1×2^k-1)行N/(q_k1×2^k-1)列个块。按照从左往右、从上向下的次序给里面的每个分块编号，形成第一个层次上的分块结果。

2.2)如果从中提取出的第i个分块为那么最终形成的第一层稀疏模型中数据的第i列中的元素是分别拉成列向量后连接在一起的结果。

$Y_k^1=\left[\begin{array}{cccc}v\left(I_k^{r1}\right)& v\left(I_k^{r2}\right)& ...& v\left(I_k^{\mathrm{rH}}\right)\\ v\left(I_k^{g1}\right)& v\left(I_k^{g2}\right)& ...& v\left(I_k^{\mathrm{gH}}\right)\\ v\left(I_k^{b1}\right)& v\left(I_k^{b2}\right)& ...& v\left(I_k^{\mathrm{bH}}\right)\end{array}\right]$

其中,v(·)操作表示将括号里面的块按行依次重新排列成列向量，H＝[M/(p_k1×2^k-1)]×[N/(q_k1×2^k-1)]是的列数，的行数W＝3×p_k1×q_k1，描述每一块的特征维度。

2.3)的每一列代表了在第一个层次的观测尺度下各个区域的颜色结构特征，显著区域是颜色结构上相比层次范围内的其它区域更为突出的部分，而这种突出程度可以用稀疏建模的方式来进行衡量。通过求解如下自表示的模型来挖掘这种内在联系。

$\begin{array}{cc}\min \mathrm{\&lambda;}{\left|\right|C\left|\right|}_{1,q}+\frac{1}{2}{\left|\right|Y_k^1-Y_k^{1}C\left|\right|}_F^2& s.t.1^{\mathrm{\&gamma;}}C=1^{\mathrm{\&gamma;}}\end{array}$

其中，C为待求解的稀疏系数，约束项是为了保证在发生数据的平移之后，C仍然能保持不变，即保证优化问题对数据的伸缩平移具有不变特性。C中的每一行代表了对应位置处的图像块在线性组合其它所有块时的组合系数，组合系数绝对值的大小可以看做是块突出程度的定量描述。因此，用如下的方式来表示每一个分块的显著程度。

$s_i=\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}\left|C_{\mathrm{ij}}\right|,i=\mathrm{1,2},...H$

令row＝M/(p_k1×2^k-1)且col＝N/(q_k1×2^k-1)，分别代表分块后以所有块为单位组成的行数和列数。最终，第k个尺度、第1个层次上的显著图可以表示为如下的形式。

2.4)得到第一个尺度上的显著图之后，将每个块的显著值和图像平均显著值求比值，如果比值在预设的阈值之下那么将该显著快丢弃，否则保留该显著快进行第二层次的局部稀疏建模。用label_i来标记是保留或丢弃第i个显著快，具体如下所示。

$\begin{array}{cc}\mathrm{if}\frac{s_i}{1/H\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{s}_j}\&GreaterEqual;\mathrm{Th}& {\mathrm{label}}_i=1\end{array}$

else        label_i＝0

其中，Th为预设的阈值，一般取2左右。标记为1表示保留该块，标记为0表示丢弃该块。假设经过以上判断之后被保留的显著块为R₁,R₂,…R_w(每个块的大小已知为p_k1行q_k1列)，且第二个层次上分块的规模为p_k2行q_k2列，那么通过对保留块的颜色特征图进行不重叠的分块操作之后将得到p_k1/p_k2行q_k1/q_k2列个分块。对于每一个保留块按照从左往右、从上向下的次序给里面的每个分块编号，形成第二个层次上的分块结果。

2.5)如果从第j个保留块R_j的颜色通道中提取出的第i个分块为那么最终形成的R_j稀疏模型中数据的第i列中的元素是分别拉成列向量后连接在一起的结果。

$Y_{\mathrm{kj}}^2=\left[\begin{array}{cccc}v\left(R_j^{r1}\right)& v\left(R_j^{r2}\right)& ...& v\left(R_j^{\mathrm{rV}}\right)\\ v\left(R_j^{g1}\right)& v\left(R_j^{g2}\right)& ...& v\left(R_j^{\mathrm{gV}}\right)\\ v\left(R_j^{b1}\right)& v\left(R_j^{b2}\right)& ...& v\left(R_j^{\mathrm{bV}}\right)\end{array}\right]$

其中,v(·)操作表示将括号里面的块按行依次重新排列成列向量，V＝(p_k1/p_k2)×(q_k1/q_k2)是的列数，的行数U＝3×p_k2×q_k2，描述每一块的特征维度。

2.6)的每一列代表了在第二个层次的观测尺度下各个区域的颜色结构特征，显著区域是颜色结构上相比层次范围内的其它区域更为突出的部分，而这种突出程度同样可以用稀疏建模的方式来进行衡量。通过求解如下自表示的模型来挖掘这种内在联系。

$\begin{array}{cc}\min \mathrm{\&lambda;}{\left|\right|C\left|\right|}_{1,q}+\frac{1}{2}{\left|\right|Y_{\mathrm{kj}}^2-Y_{\mathrm{kj}}^{2}C\left|\right|}_F^2& s.t.1^{\mathrm{\&gamma;}}C=1^{\mathrm{\&gamma;}}\end{array}$

同理，用如下的方式来表示保留块中每一个分块的显著程度，同时将未被选中的块的显著度置为0。

$s_i=\underset{j=1}{\overset{V}{\mathrm{\&Sigma;}}}\left|C_{\mathrm{ij}}\right|,i=\mathrm{1,2},...V$

令row＝p_k1/p_k2且col＝q_k1/q_k2，分别代表分块后以所有块为单位组成的行数和列数。最终，第k个尺度、第2个层次上、第j个显著块的显著图可以表示为如下的形式。

将以上结果按照序号组合起来便得到了第k个尺度、第2个层次上的显著图至此第k个尺度上两个层次的显著图便得到。

2.7)第k个尺度上的颜色显著图C_k最终通过两个尺度上的显著图相加得到，对于其它尺度重复以上所有步骤便可得到所有尺度上的颜色显著图。

$C_k=S_k^1+S_k^2$

步骤3：基于Gabor方向特征图的多尺度方向显著图创建：

视觉对于场景中的边缘和方向信息有很强的捕捉能力，可以将方向信息作为显著图的组成部分。在第k个尺度上，方向显著图O_k可以通过将四个方向的Gabor滤波结果进行相加得到，如下所示。

步骤4：基于多尺度信息融合的显著图形成：

4.1)经过以上步骤之后，在每个尺度上形成了一幅颜色显著图和一幅方向显著图，将两者按照以下规则进行融合可得到各个尺度的显著图。

SM_k＝f_k*(C_k+O_K)

其中，f_k为模糊算子用以对得到的结果进行模糊和平滑，使得视觉效果更佳。

4.2)最终的显著图是各个尺度上显著图的平均结果，表示在多个尺度的观测结之下得到的综合结果，具有对显著区域尺度变化的鲁棒性。

$\mathrm{SM}=\frac{1}{s}\underset{k=1}{\overset{s}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_k$

其中，s表示观测的尺度级别。

步骤5：基于Otsu最优阈值分割的显著物体提取：

5.1)将显著图的灰度级范围调整在8位，以便于不同算法在同一数量级下进行客观公正的评价。同时，调整后的结果也有利于后续Otsu算法寻找最优分割阈值，使得分割后的前景和背景区域之间具有最大的方差。假设灰度级调整后的显著图为最优分割阈值为T，则可用索引图像来表示得到的前景和背景区域。

$\mathrm{Index}(i,j)=\left\{\begin{array}{cc}1& \widehat{\mathrm{SM}}(i,j)\&GreaterEqual;T\\ 0& \widehat{\mathrm{SM}}(i,j)<T\end{array}\right.,i\&Element;[1,M],j\&Element;[1,N]$

5.2)根据所得的Index图像，可以从原图中提取出前景部分的区域，而将背景部分的区域设为黑色。借助Protoobject图像可以通过视觉来直观分析显著检测的好坏，而客观的评价指标则是借助于Groundtruth图对ROC曲线、Precision-Recall曲线和F-measure的计算来进行的。

Proto(i,j)＝I(i,j).*Index(i,j),i∈[1,M],j∈[1,N]

本发明的效果通过以下仿真实验进一步说明：

(1)实验仿真条件：

本实验所采用的测试图像包括侯晓迪于2007年创建的数据集和Achanta等人于2009年根据MSRA图像库创建的数据集。前者由62张包含4种自然场景的图像组成，所产生的Groundtruth参考图是由多个手工标记者标记结果的综合。但是，所选取的部分测试图像中涉及多个显著区域，可能会给主观上带来歧义。同时手工标定的二值图比较粗略，和真实场景有较大的偏离，不利于进行客观的评价。后者从MSRA的数据库中选取了1000张图像，并手工标定了所有图的Groundtruth参考图。所选的图像大都包含明确的显著区域，而且标定的参考图有很高的可信度，适合后续的数值分析与比较。本实验在CPU为Intel(R)Core(TM)i5-3470、主频为3.2GHz、内存为4G的WINDOWS7操作***上采用32位的MATLAB2012a进行仿真。

(2)显著性检测性能评价标准：

(2a)受试者运行曲线(ROC Curve)和正确率召回率曲线(PR Curve)

在二值决策问题中，分类器将样例标注为正或负，其作出的决策可以用如表1所示的混淆矩阵来表示。混淆矩阵有四种类型：TP(分类器正确将正类样本标注为正类)、FP(分类器错误将负类样本标注为正类)、TN(分类器正确将负类样本标注为负类)、FN(分类器错误将正类样本标注为负类)。

表1 混淆矩阵示意图

在对显著图进行分析和评价的过程中，为了实现客观公正的比较，也为了便于对显著图分割，首先将显著图的灰度级范围调整到8位。将分割阈值依次取为从0到255之间的所有值，在每个分割阈值下得到一个分割图。分割图按照如下方式产生：将显著图和分割阈值进行比较，大于阈值的位置判定为显著，小于阈值的位置判定为不显著。最后，结合Groundtruth图就可以按照以上定义求得每一个分割图下的TP、FP、FN和TN。

受试者运行曲线反映的是被正确分类的正类样本数在总的正类样本中所占的比重随着被错误分类的负类样本数在总的负类样本中所占比重的变化情况。前者通常被称为检测率P_d，后者被称为虚警率P_f，它们和前述混淆矩阵的关系如下所示。

$P_d=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$

$P_f=\frac{\mathrm{FP}}{\mathrm{FP}+\mathrm{TN}}$

正确率召回率曲线反映的是被正确分类的正类样本在被判定为正类样本中所占的比重随着被正确分类的正类样本在真实正类样本中所占比重的变化情况。前者通常被称为正确率Precision，后者被称为召回率Recall，它们和前述混淆矩阵的关系如下所示。

$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$

$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$

将每个分割阈值下得到的分割图和Groundtruth图对照可求得曲线上的一点，依次可以形成最终的ROC曲线。曲线横纵坐标所代表的变量之间存在着相互制约的关系，通常可以通过观察曲线与横轴所围成的面积或者曲线在图中的位置来判断所得显著图的好坏。通常面积越大，曲线越靠近左上角则说明所得显著图越好。和ROC曲线类似，通过将每个分割阈值下得到的分割图和Groundtruth图对照可求得曲线上的一点，依次可以形成最终的PR曲线。通过观察曲线与横轴所围成的面积或者曲线在图中的位置也可以判断所得显著图的好坏。通常面积越大，曲线越靠近右上角则说明所得显著图越好。

为了得到具有统计意义的结果，将MSRA中的200幅图像的ROC曲线和PR曲线求平均，形成最终的ROC和PR曲线。

(2b)正确率、召回率和F-measure值

对于显著物体检测来说，最终要将显著图进行分割形成前景和背景。本发明利用经典的Otsu最优阈值分割算法来实现以上过程，使得分割结果具有较高的可信度。分割之后的结果越接近于Groundtruth图越好，而用以衡量此标准的数值指标为正确率、召回率和F-measure。正确率和召回率与之前的定义一致，此处仅将Otsu分割的结果和Groundtruth图进行对照来获得这两个值。同时，在数学上F-measure是Precision和Recall的调和平均值，可以实现综合的评价，其计算公式如下所示。

$F-\mathrm{measure}=\frac{(1+{\mathrm{\&beta;}}^2)\&times;\mathrm{Precision}\&times;\mathrm{Recall}}{{\mathrm{\&beta;}}^2\&times;\mathrm{Precision}+\mathrm{Recall}}$

β是对Precision所加的权重，表示对检测的正确率赋予更重要的地位。按照已有文献中的做法，一般将β²的值取为0.3。

以上客观的评价方式能定量和直观地评价显著检测的结果，但仅凭这些指标并不能达到理想的评价效果，除了数值结果外也需要通过视觉的主观评价。

(3)实验内容

实验一

首先，在Hou的数据集上对本发明所设计的基于图像层次化稀疏建模的多尺度显著性检测方法进行测试。图2是在不同层次下得到的显著图和提取的显著区域示例。其中：

图2(a)是在第一个层次上得到的显著图，

图2(b)是在第二个层次上得到的显著图，

图2(c)是对第一层次的显著图经Otsu分割后提取的显著区域，

图2(d)是对第二层次的显著图经Otsu分割后提取的显著区域；

从图2可以看出，在不同层次之间能互补信息，在显著图的形成中有着很重要的意义。图3是在不同尺度下得到的显著图和最终融合后的显著图示例。其中：

图3(a)是在第一个尺度上得到的显著图，

图3(b)是在第二个尺度上得到的显著图，

图3(c)是在第三个尺度上得到的显著图，

图3(d)是最终融合后的显著图；

从图3同样可以看出，多个尺度上融合后得到的显著图具有单个尺度所无法比拟的效果。为了验证本发明所用方法的有效性，将本发明得到的显著图结果和经典的Itti方法(简称IT)、谱残差方法(简称SR)、频率调制方法(简称FT)和基于图的方法(简称GB)进行了对照，实验结果如图4所示。其中：

图4(a)是原始输入图像，

图4(b)是IT方法得到的显著图，

图4(c)是SR方法得到的显著图，

图4(d)是FT方法得到的显著图，

图4(e)是GB方法得到的显著图，

图4(f)是本发明所用方法得到的显著图；

同时，将以上5中方法所得显著图进行Otsu阈值分割，将按照分割结果所提取出的显著区域图也进行了对照，实验结果如图5所示。其中：

图5(a)是原始输入图像，

图5(b)是IT方法提取的显著区域图，

图5(c)是SR方法提取的显著区域图，

图5(d)是FT方法提取的显著区域图，

图5(e)是GB方法提取的显著区域图，

图5(f)是IT本发明所用方法提取的显著区域图；

从图4和图5可以看出，本发明所采用的方法能相对准确地描述图像的显著性，同时所提取的显著区域与视觉显著特性较为吻合，在显著图生成和显著区域的提取上较其它4种对比方法有更好的效果。

实验二

本发明的方法进一步在200幅MSRA数据集上进行了测试，对应的Groundtruth图采用Achanta等人手工标定的结果。为了充分验证所提方法的有效性，将本实验所得显著图与经典的信息最大化方法(简称AIM)、情境感知方法(简称CW)、频率调制方法(简称FT)、基于图的方法(简称GB)、Itti方法(简称IT)、谱残差方法(简称SR)进行了比较，实验结果如图6所示。其中：

图6(a)是原始输入图像，

图6(b)是AIM方法得到的显著图，

图6(c)是CW方法得到的显著图，

图6(d)是FT方法得到的显著图，

图6(e)是GB方法得到的显著图，

图6(f)是IT方法得到的显著图，

图6(g)是SR方法得到的显著图，

图6(h)是本发明所用方法得到的显著图；

同时，将以上7中方法所得显著图进行Otsu阈值分割，将按照分割结果所提取出的显著区域图也进行了对照，实验结果如图7所示。其中：

图7(a)是Groundtruth图像，

图7(b)是AIM方法提取的显著区域图，

图7(c)是CW方法提取的显著区域图，

图7(d)是FT方法提取的显著区域图，

图7(e)是GB方法提取的显著区域图，

图7(f)是IT方法提取的显著区域图，

图7(g)是SR方法提取的显著区域图，

图7(h)是本发明所用方法提取的显著区域图；

从图6和图7可以看出，本方法在不同的场景中都有较好的显著检测性能，与其它6个经典的显著检测方法相比在显著区域的定位精度、均匀显著区域的描述和对边缘的依赖上都有较大的提高和改进。最后，为了定量评价各个显著检测方法的性能，将200幅图像的ROC曲线和PR曲线进行了平均并将结果绘制在一起以便比较。同时在Otsu分割后的图像上求取每幅图像的Precision、Recall和F-measure值，并在200幅图像上取平均结果后绘制为柱状图。最终的ROC曲线、PR曲线和平均Precision、Recall和F-measure值的柱状图如图8所示。其中：

图8(a)是所有方法的ROC曲线；

图8(b)是所有方法的PR曲线；

图8(c)是所有方法的平均Precision、Recall和F-measure值的柱状图；

表2列出了各显著检测方法的平均Precision、Recall和F-measure数值结果。

表2 各方法的平均Precision、Recall和F-measure值

从图8和表1可以看出，本发明所得的ROC曲线和PR曲线所包围的AUC区域面积比其它方法更大。同时平均Recall值也取得了最好的结果，而平均Precision和F-measure值仅次于FT方法。但从视觉效果上来说FT方法过度依赖于图像颜色，从大量的测试结果可知其检测性能波动较大。综合以上分析可知，本发明所采用的方法在显著检测方面有更好的效果。

综上，本发明借助于图像的颜色和方向特征图，通过多尺度和多层次的稀疏建模与融合，有效地挖掘了稀疏性与视觉显著性之间存在的关系，得到了较为满意的显著检测结果，在计算机视觉领域的相关应用中有着一定的应用前景。

本发明与现有技术相比具有以下优点：

1、本发明着眼于显著性所源于的稀缺特性，通过用自表示的稀疏建模方式建立起显著性和稀疏性之间的关联，并用稀疏表示系数刻画显著程度。用颜色和方向特征图所建立的计算模型符合生物视觉显著特性，有较为完备的理论支撑。

2、本发明采用层次化的渐进建模方式，能在不同的范围内对各个位置的显著性以区域为单位进行描述，使得算法对于显著范围的变化具有鲁棒性。同时，多尺度观测的方式可获得不同尺度下显著性的信息，对前景尺寸的变化有很好的适应性。通过尺度化、层次化的观测方式克服了传统显著检测方法对于边缘的依赖性，并在均匀显著区域的描述上获得了较为一致的效果。

本实施例没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (2)

1.一种基于层次化稀疏建模的图像显著性检测方法，其特征在于：包括如下步骤：

(1)基于颜色和方向信息的多尺度特征图构造：

1a)将一幅输入图像在水平方向和垂直方向上隔行隔列采样，形成大小为原图1/2的低分辨率图像，对此低分辨率图像继续进行下采样，得到大小为原图1/4的更低分辨率的图像，将原图和这两幅降采样后的图像作为3个尺度上的输入图像；

1b)对于3个尺度上的输入图像，将红绿蓝三个彩色通道作为颜色特征图的元素，用于稀疏建模的特征，对于每一个尺度上输入图像的亮度图，使用Gabor滤波器在0,45,90和135度四个方向上对其进行方向滤波得到描述图像方向信息的四幅方向滤波图，作为后续方向显著图的基础；

(2)基于逐层自表示建模的颜色显著图创建：

2a)将3个尺度上输入图像的颜色特征图按照16*16的分块大小无重叠地分为大小相同的子块，每一个子块作为显著性描述的基本单元；

2b)按照自表示模型的数据组织形式，把每个子块的所有颜色特征组合起来并形成一个代表子块结构特性的特征向量，所有子块的特征向量依次排列成为一个大的矩阵作为自表示模型中的原始数据矩阵Y；

2c)将数据矩阵Y作为优化问题

$\begin{array}{cc}\min \mathrm{\&lambda;}{\left|\right|C\left|\right|}_{1,q}+\frac{1}{2}{\left|\right|Y_k^1-Y_k^{1}C\left|\right|}_F^2& s.t.1^{\mathrm{\&gamma;}}C=1^{\mathrm{\&gamma;}}\end{array}$

的输入，使用交替乘子方向ADMM优化算法求解此自表示模型的解，优化算法中对系数矩阵C施加行稀疏的约束，以用尽量少的元素来表示所有数据；经过多次迭代之后便会得到自表示模型的解；按照所提出的显著性和稀疏系数之间的求解公式得到每个子块在第一层次的显著描述，

$s_i=\underset{j=1}{\overset{V}{\mathrm{\&Sigma;}}}\left|C_{\mathrm{ij}}\right|,i=\mathrm{1,2},...V$

其中，s_i表示第i个子块的显著值，C_ij为系数矩阵中第i行j列的元素，V为子块的个数；

2d)对于第1个尺度上的各子块，将其显著值和所有子块显著值均值的2倍做比较，如果小于均值的2倍则认为此子块在第1个尺度上是非显著的，否则认为是显著的；在第2个层次上丢弃那些被认为是非显著的子块，对每一个显著的子块进行进一步的自表示建模；

2e)将每个显著子块进一步分割为大小为8*8的更小的子块，并将对应的颜色特征组织成自表示模型的数据矩阵，经过ADMM优化算法优化求解之后会得到进一步分割后的各子块的稀疏系数；

(3)基于多尺度信息融合的显著图形成：

3a)经过以上步骤之后，在每个尺度上形成了两幅颜色显著图和四幅方向滤波图，将两幅不同层次上得到的颜色显著图相加形成每个尺度上的颜色显著图，代表图像逐层递进的颜色显著信息；同时将四幅方向滤波图也相加形成每个尺度上的方向显著图，代表每个尺度上图像的边缘显著信息；

3b)将每个尺度上得到的颜色显著图和方向显著图进行归一化操作，使得两者具有相同的描述范围，之后对以上结果相加形成每个尺度上融合后的显著图，用以表示特定尺度上所得到的显著描述结果；

3c)最后将3个尺度上的显著图进行尺度上的统一，亦即将每一幅显著图调整到原始图像的大小，通过对所有的结果按位置求平均便可以得到最终的显著图；

(4)基于Otsu最优阈值分割的显著物体提取：

4a)将通过以上步骤所得显著图的灰度级范围调整在0到255的8位灰度级下，运用具有二值分割效果的Otsu算法对其进行分割，得到前景和背景区域，前景区域为在此规则下得到的显著区域，背景是非显著区域；

4b)根据分割后的索引图像，从原图中提取出前景部分的区域，将背景部分的区域设为黑色，自此便完成了显著检测的所有阶段，之后用受试者运行曲线、正确率召回率曲线和平均正确率、召回率及F-measure值常用数字评价指标对所得显著图的好坏进行客观评价，并和经典的显著检测算法进行比较验证其有效性。

2.如权利要求1所述的一种基于层次化稀疏建模的图像显著性检测方法，其特征在于：步骤(2)中的2d)步骤所述的对每一个显著的子块进行进一步的自表示建模，其具体方法如下：

将显著值大于平均值Th倍的子块保留用作下一层的自表示建模，并舍弃其余子块，按照如下的准则进行子块的取舍：

$\begin{array}{cc}\mathrm{if}\frac{s_i}{1/H\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{s}_j}\&GreaterEqual;\mathrm{Th}& {\mathrm{label}}_i=1\end{array}$

else        label_i＝0

其中，Th为预设的阈值，将其设定为2，label_i表示第i个子块是否被保留，如果为1则表明保留，并进行下一层的自表示建模，为0则表示舍弃此子块。