CN104063872A - 基于改进视觉注意模型的序列图像显著区域检测方法 - Google Patents

Abstract

本发明公开了一种基于改进视觉注意模型的序列图像显著区域检测方法，主要解决现有基于视觉注意力模型显著区域检测过程复杂、实时性差的问题，其实现步骤是：(1)生成学习图像显著区域的注视图，并生成学习图像的特征显著度图和特征显著度图权值向量，记录显著点坐标；(2)生成测试图像的显著度图，利用学习图像的显著点坐标递推预测出测试图像显著度图的显著点坐标，建立抑制核心函数凸显显著点所在区域；(3)更新显著点坐标，利用显著点坐标递推关系和抑制核心函数，预测下一帧测试图像显著区域；(5)通过循环(3)-(4)，完成序列图像显著区域的检测。本发明能实时地检测序列图像中的显著区域，模型简单有效，可用于目标识别。

Description

基于改进视觉注意模型的序列图像显著区域检测方法

技术领域

本发明属于图像处理技术领域，特别涉及一种图像区域检索方法，可用于目标识别。

背景技术

视觉选择性注意机制是一个心理学和计算机学的交叉学科。“注意”是人类感知外界环境过程中的一项重要机制，正是由于“注意”机制的作用，人类才能迅速将注意力集中于少数感兴趣的信息源上，提高自身的信息处理效率。

如今随着信息科技的飞速发展，数字图像应用技术越来越受到人们的重视。数字图像所包含的数据量和信息量越来越大，而传统的图像处理算法对图像中的每个像元都赋予了同等优先级，这使得图像的时间复杂度和空间复杂度都居高不下。

心理学领域已经提出了不同的视觉注意模型，但这些模型大都仅仅适用于解释某些心理物理学实验的结果，并不能直接用于感兴趣信息源的检测。因此，如何利用计算机视觉和图像处理等理论和知识将传统图像处理算法与视觉选择性注意机制结合起来，让计算机更加主动地、有针对性地检测出视觉注意中心已经成为世界各国亟待解决的热门课题。

从所处理的信息源图像上来看，视觉注意模型可以分为空域视觉注意模型和空时视觉注意模型两大类。空域视觉注意模型是指输入图像数据是单幅图像的视觉注意模型，空时视觉注意模型是指输入图像数据是一组相同场景连续图像的视觉注意模型。

现有最著名的空域视觉注意计算模型就是视觉显著性计算模型，视觉注意是与周围环境完全与众不同的目标物会自动的从视野环境中“跳出”并且吸引注意力的关注。选择性注意力机制可以将人们的视觉关注引导到在场景中称之为“显著性区域”的那一部分。视觉的显著性计算模型提供了关于这些可能吸引观测者注意力的预测区域。这些模型在图像本身能够提供少许语义信息以及人们不需要执行特定观测任务时，能够达到良好的检测效果。Fisher在文章中“A Object-based visual attention for computer vision,Artificial Intelligence，2003，v146(1):77-123.”利用“groupings”来针对基于目标和基于位置视觉注意的通用模型。对于这种手工的预处理的图像上，他们的模型可以整个复制出人类对于人工以及自然场景的注视行为。Koch和Ullman在其文章中“Shiftsin selective visual attention:Towards the underlying neural circuitry,Hum.Neurobiol.1985,4:219–297.”根据已有的视觉生理和心理物理实验结果基础上提出了一个计算模型，用于模拟生物体“自底向上”选择性注意机制。随后Itti和Koch在文章“A model of saliency-based visual attention for rapid scene analysis,IEEE Trans.Pattern Anal.Mach.Intell.1998,20:1254–1259.”中进一步完善了这个模型，并将它用于包含自然物、交通及军事目标的检测。Koch和Itti的模型将多尺度拓扑“特征图”在亮度、色度以及方向空间上检测到的图像局部空间的不连续性来作为早期基本的视觉注意特征，最后对带有不同动态范围且来自不同视觉形态的特征进行整合，得到最后的“显著性图”。该模型不需要任何先验知识，处理结果完全由输入图像的初级视觉特征决定。现在很多的基于视觉注意力模型的目标检测中，其中视觉注意力模型都是在Itti这个模型的基础之上改进的。这些模型在对目标检测的过程中，它将所有的特征等同对待，而很多时候，图像某些区域，如边界处的物体并不能引起人脑真正的视觉关注，但是由于其具有非常显著的颜色等单一特征值，因此，在最终得到的显著性图中其显著性区域是最为明显的。这和人脑真正的视觉关注是不相吻合的，且对目标的检测造成很大的误差。进一步地，有证据显示特征越多并不一定会增强显著性区域的显著性，有时候反而会导致更多的误检。因此，有必要去确定哪些特征对最后的显著图的生成起主要作用。文献“Feature combination strategies for saliency-based visual attentionsystems.Journal of Electronic Imaging,2001,10(1):161–169,”中，Itti等已比较了四种不同的特征整合策略。在这四种策略中，简单线性加和的方法给所有特征都赋予了正权值，这种线性加和的方法并不适合人眼的视觉习惯；学习权值的线性合成方法是无监督的学习方法，它需要关于训练图像的显著区域的先验知识；而另一个迭代的非线性局部竞争策略可以用来克服全局非线性标准化方法的缺陷。

空时视觉注意模型是对空域视觉注意模型在空间上的扩展，并且相较于空域视觉注意模型，空时视觉注意模型在视频监控、物体识别、物体追踪等领域中有着更加广泛的应用。其主要思想就是将视频或者序列图像中相邻两帧的连续性信息整合到空域视觉注意模型中，实现视觉注意机制。Y.Liu等人在文章中“A Spatiotemporal Saliency Framework.Image Processing,IEEE International Conference,2006.”提出了一种基于特征探测和特征追踪的视觉注意模型。该模型首先对各幅静止图像计算出显著度图，再对视频中相邻两帧进行特征探测和特征追踪，最后生成运动特征的特征图，将其整合进显著度图中。文献“A Spatiotemporal Saliency Model for Video Surveillance.Cogn Comput,2011,3:241-263.”中，T.Yubing等人同样先对各幅静止图像计算出显著度图，将图像中的前景与背景相减，得到图像中的前景，再对前景中的运动物体建立运动向量，将运动向量的特征图整合进显著度图中。但是，这些方法都是对静态图像先做处理得到特征图，再将特征图整合到显著图中，效率不高，并未实现对序列图像的直接处理。

发明内容

本发明的目的在于克服上述方法的不足，提出一种基于改进视觉注意模型的序列图像显著区域检测方法，以实现对序列图像直接进行实时处理，提高检测效率。

实现本发明目的技术思路是：将整个技术方案分为学习和显著区域预测两部分；将序列图像按时序分为学习图像和测试图像，在学习过程对学习图像进行处理得到特征显著度图权值和显著点的坐标；在显著区域预测过程中，利用学习过程所求得的显著点递推预测出测试图像显著点的坐标，并建立抑制核心函数使显著点所在区域在测试图像显著度图中得到进一步凸显，从而得到测试图像的最终显著度图，即实现了序列图像显著区域的检测。其具体步骤如下：

A.将序列图像按时间的先后顺序分为学习图像α和测试图像β两部分，然后按照先验知识，生成学习图像显著区域的注视图M；

B.利用改进的Itti视觉注意模型，生成每一帧学***均，作为最终的特征显著度图的权值向量w；

C.读入一帧测试图像β，令其特征显著度图权值向量等于学习图像α的特征显著度图权值向量w，并利用改进的Itti视觉注意模型生成该帧测试图像的显著度图χ²；读入记录的学习图像α的显著点坐标，递推预测出显著度图χ²的显著点坐标；根据预测出的显著点坐标建立抑制核心函数，并将该函数与显著度图χ²进行点对点相乘以凸显显著点周围的区域，并抑制其余区域，得到测试图像β最终的显著度图χ；

D.将该帧测试图像显著点的实际坐标反馈到显著点坐标读入处，更新显著点坐标值，利用已建立的显著点坐标递推关系和抑制核心函数，实现对下一帧测试图像显著区域的预测；

E.重复上述步骤C-D，得到每一帧测试图像的最终显著度图，实现序列图像显著区域的检测。

本发明与现有技术相比具有如下优点：

本发明在显著点预测过程中利用相邻帧图像间显著点坐标的递推关系，并将用以预测图像显著点位置的坐标实时更新，实现对序列图像的实时处理，模型结构简单，能够达到实时检测的要求，提高了检测效率。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真实验采用的测试图像；

图3是本发明序列图像中一个视觉注意点显著区域检测的实验结果图；

图4是本发明序列图像中另一视觉注意点显著区域的实验结果图。

具体实施方式

参照图1，本发明基于改进视觉注意模型的序列图像显著区域检测方法，包括如下步骤：

步骤一，将序列图像按时间的先后顺序分为学习图像α和测试图像β两部分，按照先验知识，生成学习图像显著区域的注视图M。

1.1)用人眼确定注视点在图像中的区域，将注视点集中的区域用白色标记，背景部分用黑色标记；

1.2)将标记后的图像与二维高斯核函数进行卷积运算，得到注视图M。

步骤二，生成学习图像的特征显著度图χ¹和特征显著度图权值向量w，得到注视区域的显著点坐标。

2.1)利用Itti的视觉注意模型对学习图像提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色亮度和方向三个通道特征的显著度图I、C、O和I、C、O融合后的特征显著度图γ；

2.2)将Itti模型中各个特征通道生成的特征显著度图I、C、O以及注视图M分别进行向量化操作，得到对应的向量I_v,C_v,O_v,M_v；

2.3)根据线性方差最小准则求出特征显著度图权值向量w1：

$\underset{w}{\arg \min }{\left|\right|V\·w1-M_v\left|\right|}^2$

其中，V＝[I_v,C_v,O_v]，w1＝[W_I,W_C,W_O]^T，且w1≥0，W_I，W_C，W_O分别是颜色亮度和方向三个通道的特征显著度权值；

2.4)对于多帧学***均，作为最终的特征显著度图的权值w；

2.5)将注视图M与显著度图γ进行点对点相乘，得到排除非显著物体运动干扰的显著度图χ¹，并记录该特征显著度图χ¹中对应注视区域的显著点坐标。

步骤三，生成测试图像β显著度图χ²，递推预测出χ²的显著点坐标，建立抑制核心函数凸显显著区域，得到测试图像β最终的显著度图χ。

3.1)读入一帧测试图像β，令其特征显著度图权值向量等于学习图像α的特征显著度图权值向量w，并利用改进的Itti视觉注意模型生成该帧测试图像的显著度图χ²；

3.2)读入记录的学习图像α的显著点坐标，递推预测出显著度图χ²的显著点坐标：

假设在第n-1帧测试图像的显著度图中，显著点的坐标为L_n-1＝(x_n-1,y_n-1)，在第n帧测试图像的显著度图中，对应的显著点坐标为L_n＝(x_n,y_n)，按如下公式预测第n+1帧测试图像的显著度图中对应显著点的坐标：

对于运动轨迹单一场景中的运动物体，其显著点的坐标为：

L_n+1＝2L_n-L_n-1，

对于运动轨迹复杂场景中的运动物体，其显著点的坐标为：

L_n+1＝2L_n-3L_n-1+L_n-2，

式中L_n-2＝(x_n-2,y_n-2)，表示第n-2帧测试图像显著度图对应的显著点坐标；

3.3)根据预测出的显著点坐标建立第n+1帧图像所对应的抑制器核心函数M_n+1：

$M_{n+1}(x,y)=\left\{\begin{array}{cc}{e}^{-\frac{{(x-x_{n+1})}^2+{(y-y_{n+1})}^2}{2{\mathrm{\&sigma;}}^2},}& M_{n+1}(x,y)\&GreaterEqual;0.1\\ 0,& M_{n+1}(x,y)<0.1\end{array}\right.$

其中，(x_n+1,y_n+1)是显著点坐标转移方程预测出的第n+1帧测试图像的显著度图中显著点出现的位置，且σ＞0；

3.4)将M_n+1(x,y)与第n+1帧图像生成的显著度图χ²进行点对点相乘，以凸显显著点周围的区域，并抑制其余区域，得到最终的显著度图χ。

步骤四，将步骤三中读入的测试图像β的显著点的实际坐标反馈到显著点坐标读入处，更新显著点坐标值，利用已建立的显著点坐标递推关系和抑制核心函数，实现对下一帧测试图像显著区域的预测。

步骤五，重复上述步骤三到步骤四，得到每一帧测试图像的最终显著度图，完成对序列图像显著区域的检测。

本发明的效果通过以下仿真实验进一步说明：

1.实验条件

本实验使用美国南加州大学信号与图像处理实验室图像数据库(USC-SIPI ImageDatabase)中的一组序列图像进行序列图像显著区域检测方法的仿真。该组序列图像中的运动物体是两辆相向而行的汽车，即从左向右行驶的汽车A和从右向左行驶的汽车B，每帧图像的尺寸为512x512像素，如图2所示。

程序运行的硬件平台为Intel T4200CPU,5G RAM，软件平台为Matlab R2011b。

2.实验内容及结果

实验1，对图2中的汽车A所在区域即显著区域进行检测，结果如图3。其中：

图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)和图3(g)分别是对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)和图2(g)显著度检测结果。在每一幅结果图像中，使用一个半透明遮罩来表示显著位置，透明度越高表示显著度越高。

从图3的实验结果中可以看出，显著度高的区域始终与汽车A所在的区域相重合，即能实时检测序列图像中的显著区域。

实验2，对图2中的汽车B所在区域即显著区域进行检测，结果如图4。其中：

图4(a)、图4(b)、图4(c)、图4(d)、图4(e)、图4(f)和图4(g)是对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)和图2(g)显著度检测结果。

从图4的实验结果中可以看出，显著度高的区域始终与汽车B所在的区域相重合，即能实时检测序列图像中的显著区域。

Claims (5)

1.一种基于改进视觉注意模型的序列图像显著区域检测方法，包括如下过程：

A.将序列图像按时间的先后顺序分为学习图像α和测试图像β两部分，然后按照先验知识，生成学习图像显著区域的注视图M；

B.利用改进的Itti视觉注意模型，生成每一帧学***均，作为最终的特征显著度图的权值向量w；

C.读入一帧测试图像β，令其特征显著度图权值向量等于学习图像α的特征显著度图权值向量w，并利用改进的Itti视觉注意模型生成该帧测试图像的显著度图χ²；读入记录的学习图像α的显著点坐标，递推预测出显著度图χ²的显著点坐标；根据预测出的显著点坐标建立抑制核心函数，并将该函数与显著度图χ²进行点对点相乘以凸显显著点周围的区域，并抑制其余区域，得到测试图像β最终的显著度图χ；

D.将该帧测试图像显著点的实际坐标反馈到显著点坐标读入处，更新显著点坐标值，利用已建立的显著点坐标递推关系和抑制核心函数，实现对下一帧测试图像显著区域的预测；

E.重复上述步骤C-D，得到每一帧测试图像的最终显著度图，实现序列图像显著区域的检测。

2.根据权利要求1所述的序列图像显著区域检测方法，其中步骤A所述的按照先验知识生成学习图像显著区域的注视图M，按如下步骤进行：

A1.用人眼确定注视点在图像中的区域，将注视点集中的区域用白色标记，背景部分用黑色标记；

A2.将标记后的图像与二维高斯核函数进行卷积运算，得到注视图M。

3.根据权利要求1所述的序列图像显著区域检测方法，其中步骤B所述的利用改进的Itti视觉注意模型生成特征显著度图γ和特征显著度图权值向量w，按如下步骤进行：

B1.利用Itti的视觉注意模型对学习图像α提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色亮度和方向三个通道的特征显著度图I、C、O和I、C、O融合后的特征显著度图γ；

B2.将所述三个通道生成的特征显著度图I、C、O以及注视图M分别进行向量化操作，得到对应的向量I_v,C_v,O_v,M_v；

B3.根据线性方差最小准则求出特征显著度图权值向量w1：

$\underset{w}{\arg \min }{\left|\right|V\&CenterDot;w1-M_v\left|\right|}^2,$

其中，V＝[I_v,C_v,O_v]，w1＝[W_I,W_C,W_O]^T且w1≥0，W_I，W_C，W_O分别是颜色亮度和方向三个通道的特征显著度权值。

4.根据权利要求1所述的序列图像显著区域检测方法，其中步骤C所述的递推预测出显著度图χ²的显著点坐标，按如下步骤进行：

C1.假设在第n-1帧测试图像的显著度图中，显著点的坐标为L_n-1＝(x_n-1,y_n-1)，在第n帧测试图像的显著度图中，对应的显著点坐标为L_n＝(x_n,y_n)，按如下公式预测第n+1帧测试图像的显著度图中对应显著点的坐标：

对于运动轨迹单一场景中的运动物体，其显著点的坐标为：

L_n+1＝2L_n-L_n-1，

对于运动轨迹复杂场景中的运动物体，其显著点的坐标为：

L_n+1＝2L_n-3L_n-1+L_n-2，

式中L_n-2＝(x_n-2,y_n-2)，是第n-2帧测试图像的显著度图对应的显著点坐标。

5.根据权利要求1所述的序列图像显著区域检测方法，其中步骤C所述的根据预测出的显著点坐标建立抑制核心函数，按如下步骤进行：

C2.定义第n+1帧测试图像所对应的抑制核心函数为：

$M_{n+1}(x,y)=\left\{\begin{array}{cc}{e}^{-\frac{{(x-x_{n+1})}^2+{(y-y_{n+1})}^2}{2{\mathrm{\&sigma;}}^2},}& M_{n+1}(x,y)\&GreaterEqual;0.1\\ 0,& M_{n+1}(x,y)<0.1\end{array}\right.$

其中，(x_n+1,y_n+1)是显著点坐标转移方程预测出的第n+1帧测试图像的显著度图中显著点出现的位置，且σ＞0。