CN108256519B - 一种基于全局和局部相互作用的红外图像显著检测方法 - Google Patents

Abstract

本发明揭示了一种基于全局和局部相互作用的红外图像显著检测方法，包括计算结构性局部自适应递归核、构建仿射矩阵提升显著图性能、基于高斯混合模型建立全局约束、使用结构性滤波方法滤除噪声干扰、整合局部和全局的模型计算最终的显著图。本发明能够有效地估计视觉显著目标信息，为后期的目标跟踪和目标识别提高有效的后续区域，减少机器视觉算法的搜索消耗，提高了算法的运行效率，也可以减少硬件的运算功耗，提高图像信号的资源利用率，为后期的视觉任务提供有效的图像预处理支撑。

Description

一种基于全局和局部相互作用的红外图像显著检测方法

技术领域

本发明涉及红外图像显著检测方法，尤其涉及一种基于全局和局部相互作用的红外图像显著检测方法，属于图像理解处理的技术领域。

背景技术

显著性检测在夜视图像(包括微光、红外图像)理解分析方法发挥着重要作用，它也在机器视觉应用中起着重要的作用。

文献一(X.Hou,L.Zhang,Dynamic visual attention:searching for codinglength increments,in:D.Koller,D.Schuurmans,Y.Bengio,L.Bottou(Eds.),Advancesin Neural Information Processing Systems 21,2009.)基于特征的稀有性提出一种动态视觉模型，并应用(ICL)估计每个特征的熵的增益。文献二(T.Liu,Z.Yuan,J.Sun,J.Wang,N.Zheng,X.Tang,H.-Y.Shum,Learning to detect a salient object,IEEETPAMI 33(2),2011.)提出一种通过训练有条件的随机域的二元显著性检测方法，该域结合了一组新颖的特征，例如多级对比度、中心围绕直方图和色彩空间分布。但是，上述方法是根据自然图像提出的，在红外图像上应用的效果欠佳。文献三(C.N.XinWang,L.Xu,Saliency detection using mutual consistency-guided spatial cues combination,Infrared Physics&Technology 72,2015.)利用红外图像的亮度对比度和轮廓特征，估计红外图像的显著性。但是，该方法可能导致错误的估算结果，使显著区域包含背景噪声。

发明内容

本发明的目的是解决上述现有技术的不足，提供一种基于全局和局部相互作用的红外图像显著检测方法。

为了达到上述目的，本发明所采用的技术方案为：

一种基于全局和局部相互作用的红外图像显著检测方法，包括以下步骤：

步骤一：计算结构性局部自适应递归核，

用F表示由输入图像I提取的特征图像，公式(1)为：

F(x,y)＝Γ(I,x,y) (1)

其中，Γ()表示一种提取图像特征的多维函数，

用红外图像的位置、梯度、亮度、LBP和HOG信息作为图像的特征，在特征图像F中，每个像素可以被描述为一个7维的向量，公式(2)为：

其中，(x，y)表示像素的位置，

表示像素的边缘信息，HOG()表示HOG特征，Lu()表示亮度特征，LBP()表示LBP特征，

特征图像中F的某一区域R，可以被描述为一个多维的协方差矩阵C_R，公式(3)为：

其中，z_i，(i＝1，..，k)表示区域R中的所有特征点，μ表示z_i的平均值，

结构性局部自适应递归核的计算方法，公式(4)为：

其中，l∈[1，...，P²]，P²表示局部窗口内的像素总数，Δx表示窗口中心和周围像素的坐标关系，s＝{x₁，x₂，z(x₁，x₂)}，z(x₁，x₂)是像素(x₁，x₂)的灰度值；

步骤二：构建仿射矩阵，提升显著图性能，

用两个区域的结构性局部自适应递归核的距离表示这两个区域之间的相似性，某区域m内结构性局部自适应递归核与另一区域n内结构性局部自适应递归核的关联性w_mn，公式(5)为：

其中，sl_m，sl_n分别表示区域m、n的结构性局部自适应递归核的均值，Q(n)表示区域n的一组邻域，σ₁是控制相似程度的参数，MCS()表示余弦相似度矩阵，

然后，构造一个行标准化的仿射矩阵，公式(6)为：

A＝D^-1·W (6)

其中，仿射矩阵W＝[w_mn]_N×N被用来表示任意一对节点之间的相似性，角度矩阵D＝diag{d₁，d₂，...，d_N}，其中d_n＝∑_nw_mn表示区域n与其他所有区域的关联度总和，

基于给定的仿射矩阵，用结构性局部自适应递归核的描述子来定义局部区域的显著性，公式(7)为：

其中，a_mn表示公式(6)中计算的关联度，S_SLARK表示基于结构性局部自适应递归核的低质量的显著图，N表示结构性局部自适应递归核的数量；

步骤三：基于高斯混合模型，建立全局约束，

首先，定义一个全局条件，并最小化其代价，公式(8)为：

其中，b¹，b²分别表示红外图像中前景和背景的高斯混合模型，

每一个结构性局部自适应递归核的描述子可以看作结合了高斯混合模型的权重，其属于邻域的概率，公式(9)为：

其中，P_n表示从红外图像中提取第n个结构性局部递归核区域的一种线性运算，w_mn由公式(5)计算得到，∑_m是协方差矩阵，Φ表示高斯分布；

步骤四：使用结构性滤波方法，滤除噪声干扰，

基于结构性局部自适应递归核，设计一种滤波方法，以进一步滤除高斯模型中包含的背景噪声，公式(10)为：

其中，S_G(x₂)表示S_G中像素x₂的显著性数值，

是标准化因数，R(x₂)表示以x₁为圆心的邻域内的像素，

步骤五：整合局部和全局的模型，计算最终的显著图，

公式(11)为：

S^*＝αS₁+(1-α)S₂ (11)

其中，α是平衡因子，S₁表示局部显著图，S₂表示全局显著图。

本发明的有益效果主要体现在：

采用区域协方差能够有效地显著目标结构信息，可有效区别背景和目标的差异；考虑全局和局部信息，能够有效地挖掘显著目标信息，并通过一个有效的整合框架重新计算视觉显著性，提高了显著性检测的精确度。在计算全局显著图的同时，利用高斯混合模型，建立全局线索约束，通过结构性滤波来减少噪声的干扰。该方法能够有效地估计视觉显著目标信息，为后期的目标跟踪和目标识别提高有效的后续区域，减少机器视觉算法的搜索消耗，提高了算法的运行效率，也可以减少硬件的运算功耗，提高图像信号的资源利用率，为后期的视觉任务提供有效的图像预处理支撑。

附图说明

图1是本发明红外图像显著检测方法的原理图。

图2是本发明步骤二所获得的局部显著图。

图3是本发明步骤二中

取不同值时的局部显著图。

图4是本发明全局模型的显著图。

图5是本发明步骤四中

取不同值时的局部显著图。

图6是本发明的显著性检测结果图。

具体实施方式

本发明提供一种基于全局和局部相互作用的红外图像显著检测方法。以下结合附图对本发明技术方案进行详细描述，以使其更易于理解和掌握。

一种基于全局和局部相互作用的红外图像显著检测方法，如图1所示，包括以下步骤：

步骤一：计算结构性局部自适应递归核，

用F表示由输入图像I提取的特征图像，公式(1)为：

F(x，y)＝Γ(I，x，y) (1)

其中，Γ()表示一种提取图像特征的多维函数，

用红外图像的位置、梯度、亮度、LBP和HOG信息作为图像的特征，在特征图像F中，每个像素可以被描述为一个7维的向量，公式(2)为：

其中，(x，y)表示像素的位置，

表示像素的边缘信息，HOG()表示HOG特征，Lu()表示亮度特征，LBP()表示LBP特征，

特征图像中F的某一区域R，可以被描述为一个多维的协方差矩阵C_R，公式(3)为：

其中，z_i，(i＝1，..，k)表示区域R中的所有特征点，μ表示z_i的平均值，

结构性局部自适应递归核的计算方法，公式(4)为：

其中，l∈[1，...，P²]，P²表示局部窗口内的像素总数，Δx表示窗口中心和周围像素的坐标关系，s＝{x₁，x₂，z(x₁，x₂)}，z(x₁，x₂)是像素(x₁，x₂)的灰度值；

步骤二：构建仿射矩阵，提升显著图性能，

用两个区域的结构性局部自适应递归核的距离表示这两个区域之间的相似性，某区域m内结构性局部自适应递归核与另一区域n内结构性局部自适应递归核的关联性w_mn，公式(5)为：

其中，sl_m，sl_n分别表示区域m、n的结构性局部自适应递归核的均值，Q(n)表示区域n的一组邻域，σ₁是控制相似程度的参数，MCS()表示余弦相似度矩阵，

然后，构造一个行标准化的仿射矩阵，公式(6)为：

A＝D^-1·W (6)

其中，仿射矩阵W＝[w_mn]_N×N被用来表示任意一对节点之间的相似性，角度矩阵D＝diag{d₁，d₂，...，d_N}，其中d_n＝∑_nw_mn表示区域n与其他所有区域的关联度总和，

基于给定的仿射矩阵，用结构性局部自适应递归核的描述子来定义局部区域的显著性，公式(7)为：

其中，a_mn表示公式(6)中计算的关联度，S_SLARK表示基于结构性局部自适应递归核的低质量的显著图，N表示结构性局部自适应递归核的数量；

步骤三：基于高斯混合模型，建立全局约束，

首先，定义一个全局条件，并最小化其代价，公式(8)为：

其中，b¹，b²分别表示红外图像中前景和背景的高斯混合模型，

每一个结构性局部自适应递归核的描述子可以看作结合了高斯混合模型的权重，其属于邻域的概率，公式(9)为：

其中，P_n表示从红外图像中提取第n个结构性局部递归核区域的一种线性运算，w_mn由公式(5)计算得到，∑_m是协方差矩阵，Φ表示高斯分布；

步骤四：使用结构性滤波方法，滤除噪声干扰，

基于结构性局部自适应递归核，设计一种滤波方法，以进一步滤除高斯模型中包含的背景噪声，公式(10)为：

其中，S_G(x₂)表示S_G中像素x₂的显著性数值，

是标准化因数，R(x₂)表示以x₁为圆心的邻域内的像素，

步骤五：整合局部和全局的模型，计算最终的显著图，

公式(11)为：

S^*＝αS₁+(1-α)S₂ (11)

其中，α是平衡因子，S₁表示局部显著图，S₂表示全局显著图。

如图2所示，为本发明中步骤二所获得的局部显著图，图2中的(a)为输入图像，图2中的(b)为局部显著图，图2中的(c)为加入仿射矩阵计算的局部显著图。增加了仿射矩阵的影响，使显著图更加精确，背景噪声得到很好的抑制。

如图3所示，为步骤二中公式(5)

取不同值时的局部显著图。其中，图3中的(a)中

图3中的(b)中

图3中的(c)中

图3中的(d)中

如图4所示，全局模型的显著图。图4中的(a)为输入图像，图4中的(b)为全局显著图，图4中的(c)为加入结构性滤波计算的全局显著图。经过了结构性滤波的处理，既突出了目标，也抑制了背景噪声。

如图5所示，为步骤四中公式(10)

取不同值时的局部显著图。图5中的(a)中

图5中的(b)中

图5中的(c)中

图5中的(d)中

如图6所示，为发明的显著性检测结果图。

通过以上描述可以发现，本发明一种基于全局和局部相互作用的红外图像显著检测方法，能够有效地估计视觉显著目标信息，为后期的目标跟踪和目标识别提高有效的后续区域，减少机器视觉算法的搜索消耗，提高了算法的运行效率，也可以减少硬件的运算功耗，提高图像信号的资源利用率，为后期的视觉任务提供有效的图像预处理支撑。

以上对本发明的技术方案进行了充分描述，需要说明的是，本发明的具体实施方式并不受上述描述的限制，本领域的普通技术人员依据本发明的精神实质在结构、方法或功能等方面采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (1)

1.一种基于全局和局部相互作用的红外图像显著检测方法，包括以下步骤：

步骤一：计算结构性局部自适应递归核，

用F表示由输入图像I提取的特征图像，公式(1)为：

F(x，y)＝Γ(I，x，y) (1)

其中，Γ()表示一种提取图像特征的多维函数，

用红外图像的位置、梯度、亮度、LBP和HOG信息作为图像的特征，在特征图像F中，每个像素被描述为一个7维的向量，公式(2)为：

其中，(x，y)表示像素的位置，

表示像素的边缘信息，HOG()表示HOG特征，Lu()表示亮度特征，LBP()表示LBP特征，

特征图像中F的某一区域R，被描述为一个多维的协方差矩阵C_R，公式(3)为：

其中，z_i表示区域R中的所有特征点，其中i＝1，...，k，μ表示z_i的平均值，

结构性局部自适应递归核的计算方法，公式(4)为：

其中，l∈[1，...，P²]，P²表示局部窗口内的像素总数，Δx表示窗口中心和周围像素的坐标关系，s＝{x₁，x₂，z(x₁，x₂)}，z(x₁，x₂)是像素(x₁，x₂)的灰度值；

步骤二：构建仿射矩阵，提升显著图性能，

用两个区域的结构性局部自适应递归核的距离表示这两个区域之间的相似性，某区域m内结构性局部自适应递归核与另一区域n内结构性局部自适应递归核的关联性w_mn，公式(5)为：

其中，sl_m，sl_n分别表示区域m、n的结构性局部自适应递归核的均值，Ω(n)表示区域n的一组邻域，σ₁是控制相似程度的参数，MCS()表示余弦相似度矩阵，

然后，构造一个行标准化的仿射矩阵，公式(6)为：

A=D^-1·W (6)

其中，仿射矩阵W＝[w_mn]_N×N被用来表示任意一对节点之间的相似性，角度矩阵D＝diag{d₁，d₂，...，d_N}，其中d_n＝∑_nw_mn表示区域n与其他所有区域的关联度总和，

基于给定的仿射矩阵，用结构性局部自适应递归核的描述子来定义局部区域的显著性，公式(7)为：

其中，a_mn表示公式(6)中计算的关联度，S_SLARK表示基于结构性局部自适应递归核的低质量的显著图，N表示结构性局部自适应递归核的数量；

步骤三：基于高斯混合模型，建立全局约束，

首先，定义一个全局条件，并最小化其代价，公式(8)为：

其中，b¹，b²分别表示红外图像中前景和背景的高斯混合模型，

每一个结构性局部自适应递归核的描述子看作结合了高斯混合模型的权重，其属于邻域的概率，公式(9)为：

其中，P_n表示从红外图像中提取第n个结构性局部递归核区域的一种线性运算，w_mn由公式(5)计算得到，Cm是协方差矩阵，Φ表示高斯分布；

步骤四：使用结构性滤波方法，滤除噪声干扰，

基于结构性局部自适应递归核，设计一种滤波方法，以进一步滤除高斯模型中包含的背景噪声，公式(10)为：

其中，S_G(x₂)表示S_G中像素x₂的显著性数值，

是标准化因数，R(x₂)表示以x₁为圆心的邻域内的像素，

步骤五：整合局部和全局的模型，计算最终的显著图，

公式(11)为：

S^*＝αS₁+(1-α)S₂ (11)

其中，α是平衡因子，S₁表示局部显著图，S₂表示全局显著图。

Images