CN104599291B - 基于结构相似度和显著性分析的红外运动目标检测方法 - Google Patents

Abstract

一种图像处理领域的基于结构相似度和显著性分析的红外运动目标检测方法，利用GBVS对源图像显著性分析，得到显著性区域；再将源图像通过改进的SSIM区分为变化剧烈区域和变化平缓区域，并采用不同学习率的方式优化高斯混合模型；最后利用优化后的高斯混合模型检测出封闭区域，该封闭区域与显著性区域的重叠区域即为当前帧的最终运动目标。本发明解决了混合高斯算法边缘模糊的问题，具有较好的自适应性和检测效果。

Description

基于结构相似度和显著性分析的红外运动目标检测方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于结构相似度和显著性分析的红外运动目标检测方法。

背景技术

运动目标实时检测是后续目标跟踪，识别的前提，其效果直接影响后续工作的稳健性和准确性。运动目标检测是指在视频序列中提取与背景存在着相对运动的前景目标，为随后的目标跟踪等更高级的运动分析做准备，是计算机视觉领域的一个重要研究方向，在智能监控***、人机交互***等领域得到广泛应用。

运动目标检测通过对图像传感器拍摄到的图像序列进行分析，检测出运动目标，为更高层的行为理解打下良好基础。运动目标检测是视频序列分析的重点和难点。在运动目标检测的长期研究中，人们提出包括差分法、背景差法、光流法等许多经典算法。其中：以背景差分法应用最广泛，通过获取背景模型并比较帧间差异检测运动目标。背景模型的精度决定背景差分法的有效性，若背景建模过程发生场景变动，成像设备颤动等情况，会严重降低图像的对比度和信噪比，影响对红外目标的识别。

基于高斯混合模型的背景建模方法，依靠连续的高斯分量建模背景信息，再利用背景信息差异检测出运动目标，能较好地解决多模态背景问题，尤其适合室外光线和天气变化小而速度快的运动目标检测。但当高斯混合模型初始化，新模型建立以及学习率不匹配时都会产生虚影现象。

经过对现有技术的检索发现，中国专利文献号CN103810703A公开(公告)日2014.05.21，公开了一种基于图像处理的隧道视频运动目标检测方法，该方法包括以下步骤：建立初始背景模型；建立实时动态更新背景模型；构造局部结构相似性测度函数；构造局部灰度统计测度函数；根据局部结构相似性测度函数和局部灰度统计测度函数提取运动目标区域。但该技术单纯地判断有无运动目标，通过算法提取运动目标是离散的，不包含原始目标的特征信息，无法为后续对运动目标的进一步处理提供支撑。

发明内容

本发明针对传统高斯混合模型不能及时检测出背景的变化，通过其检测得到的红外目标包含虚假轮廓，不易准确识别的不足，提出一种基于结构相似度和显著性分析的红外运动目标检测方法及***，通过分水岭算法结合表征目标区域离散像素点的空间信息得到闭合区域，再通过基于PCNN(Pulse Coupled Neural Network，脉冲耦合神经网络)的分割算法消除虚影，最终检测出完整的红外运动目标，从而能够较好地提取前景目标，具有较好的效果以及较强的鲁棒性。

本发明是通过以下技术方案实现的：

本发明涉及一种基于结构相似度和显著性分析的红外运动目标检测方法，首先利用GBVS(Graph-Based Visual Saliency，基于图论的图像显著性分析算法)对源图像显著性分析，得到显著性区域；再将源图像通过改进的SSIM(Structural similarity，结构相似度算法)区分为变化剧烈区域和变化平缓区域，并采用不同学习率的方式优化高斯混合模型；最后利用优化后的高斯混合模型检测出封闭区域，该封闭区域与显著性区域的重叠区域即为当前帧的最终运动目标。

所述的显著性区域，利用GBVS对红外序列图像进行显著性分析得到。

所述的变化剧烈区域和变化平缓区域，通过以下方式得到：

1)利用改进的SSIM算法求取红外序列图像中相邻两帧图的局部子块的结构相似度；

2)采用滑动窗口方式计算局部子块的结构相似度统计值，并在此基础上生成基于红外序列图像的统计图；

3)利用CDF方式计算统计图中图像局部变化情况，找到平滑后分布曲线曲率最大的点对应的累加数Au_max，将统计图中大于Au_max的点构成的区域区分为变化剧烈区域，其余为变化平缓区域。

所述的优化高斯混合模型是指：针对变化剧烈区域采用较大学***缓区域采用较小学习率。

本发明涉及一种实现上述方法的***，包括：显著性区域提取模块、结构相似度分类模块、高斯模型更新模块以及封闭区域检测模块，其中：结构相似度分类模块将图像分成背景区域和目标区域，高斯模型更新模块与结构相似度分类模块相连，分别采用不同学习率更新背景区域和目标区域，传输离散运动目标信息，封闭区域检测模块与高斯模型更新模型相连传输闭合目标信息，显著性区域提取模块与封闭区域检测模块相连传输精确地运动目标信息。

技术效果

与现有技术相比，本发明在模型学习方面，为解决背景模型的更新问题，利用结构相似度算法将红外图像背景分为梯度变化明显与缓慢的区域，分别设定不同的学习率更新高斯混合模型，保证模型的准确性和稳定性，以快速获取红外运动目标区域的位置；在目标检测方面，利用基于空间信息的分水岭算法获取目标的闭合区域，再利用基于图形的视觉显著性(Graph-Based Visual Salience，GBVS)算法去除虚影，最终得到完整的运动目标。实验结果表明，本方法很好的解决了混合高斯算法边缘模糊的问题，具有较好的自适应性和检测效果。

附图说明

图1为累积分布函数图；

图2为本发明流程示意图；

图3为实施例1效果示意图；

图中：(a)，(b)分别为红外序列图像第18，19帧，(c)，(d)分别为恒定学习率和变学习率检测的目标区域，(e)-(h)分别为通过分水岭算法、邻间帧差法、背景差分法和本发明方法得到的检测结果。

图4为由图3(b)手工分割得到的准确目标区域。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图2所示，本实施例对红外序列图像为A_t(t＝1…n)进行以下处理：

第一步：利用GBVS算法对红外序列图像A_t进行显著性分析，得到显著性区域B_t，具体步骤包括：

1.1)定义序列图像A_t特征图的两个像素点m₁(i₁,j₁)和m₂(i₂,j₂)的差异性：

其中：M_f(·)为特征图中的像素点。

1.2)得到图像中任意两点的差异性后构建出全连接的图，图中每个顶点代表一个像素，每条边代表两个像素点之间的权重，即其中：σ为尺度因子，m₁(i₁,j₁)和m₂(i₂,j₂)为两个像素点；

1.3)经过对所有权重进行归一化处理后得到显著性区域。

第二步：利用改进的SSIM算法求取红外序列图像中相邻两帧图的局部子块的结构相似度，具体步骤包括：

2.1)将整幅图像通过7×7像素大小的滑动窗口按由上至下，由左至右顺序分成若干重叠子块，滑动窗口超出图像范围时则对图像进行镜像扩展获取7×7子块，若图像的尺寸为m×n时，则得到的子块数为m×n；

2.2)来自图像F和图像L中同一位置的子块Block(x,y)的结构相似度为：

其中：(x,y)表示子块中心像素，u_F、u_L、σ_F、σ_L分别表示图像F和图像L的子块Block(x,y)的均值和方差；C₁、C₂分别为趋于0的正常量。

第三步：采用滑动窗口方式计算局部子块的结构相似度统计值A_t'(x,y)，并在此基础上生成基于红外序列图像的统计图：

D_t(x,y)＝A_t'(x,y)-A_t(x,y)，

其中：Ones(x,y)为以(x,y)为中心7×7大小的全1矩阵，当局部子块的结构相似度高于0.9时，认为其变化程度不大，A_t(x,y)不变，当子块的结构相似度小于0.9时，以(x,y)为中心7×7的矩阵的统计值均加1。

所述的统计图D_t(x,y)中灰度值越大的区域表示该区域变化程度越剧烈。

第四步：利用CDF(s)(Cumulative Distribution Function，累积分布函数)方式计算统计图D_t(x,y)中图像局部变化情况，找到平滑后分布曲线曲率最大的点对应的累加数Au_max，将统计图D_t(x,y)中大于Au_max的点构成的区域区分为变化剧烈区域A_tr，其余为变化平缓区域A_tg。

所述的累积分布函数是图像的局部变化程度的函数，即求图像D_t(x,y)中像素值s出现的概率P(s)，累积分布函数CDF(s)＝P(S≤s)经过10次差值拟合获取平滑曲线函数，如图1所示；求出该曲线曲率最大的点所对应D_t(x,y)的值Au_max，将D_t(x,y)中像素值大于Au_max的点组成的区域即为变化剧烈区域。

第五步：将红外序列图像A_t(t＝1…n)通过不同区域对应学***缓区域保持原来的学习率α，具体步骤包括：

5.1)计算代表运动目标的像素点：

其中：P(S_t)为S_t(x,y)的分布函数，S_t(x,y)表示第t幅图像的像素值，ω_i,t(x,y)表示第t幅图像像素点属于第i个高斯分布的权值，u_i,t为高斯模型均值，Σ_i,t为高斯模型的协方差，σ_i,t为标准差，I为单位矩阵，n为X_t的维数，η()为高斯模型的概率密度函数。

5.2)对高斯模型进行以下更新：

其中：α为学习率，表示运动目标融入背景的速度，将像素值S_t(x,y)与K个高斯模型匹配，且当S_t(x,y)与第i个高斯模型的差小于2.5倍标准差σ_i,t时认为与当前模型匹配，即M_t＝1时表示匹配，当不匹配时M_t＝0，并相应减小权重且不对均值和方差进行更新。

5.3)由于与S_t(x,y)最为匹配的高斯模型具有最大的权值和最小的标准差，将K个高斯模型按照ω_i,t/σ_i,t的比值降序排列，处于排序顶部的高斯模型最有可能描述稳定背景，而处于排序底部的高斯模型描述运动目标，因此：

将K个高斯模型中的前Num个作为背景模型，τ表示背景高斯模型在概率分布中所占的最小比例，即背景模型的个数

当S_t(x,y)与K个高斯模型都不匹配，则把排在最后的高斯模型使用均值为x_t、标准差σ_i,t和权值ω_i,t分别设置为初始值的高斯模型代替；每次更新完成后，对权值ω_i,t进行归一化处理。

第六步：以每个像素的灰度值作为水平高度值，计算P(S_t)的空间频率SF_t得到离散目标的边缘，再采用分水岭算法连接边缘得到封闭区域E_t。

所述的空间频率是指：表征图像中灰度变化剧烈程度的指标，即灰度在平面空间上的梯度。

所述的分水岭算法通过以下迭代方式实现：

其中：X(h)为水平值为h时各个区域集合的联合，即图像中灰度值小于h的点的集合，I(p)表示图像的灰度值，h_min和h_max表示图像最低与最高灰度值；T(h_min)表示灰度值最小时对应的连通域，MIN(h+1)为灰度值在h+1时所有最小区域的联合，Z_T(h+1)(X(h))表示区域X(h)在连通域T(h+1)中的测地影响区域。

所述的封闭区域Wshed_max为图像中面积最大的闭合区域，Wshed(f)＝D-X(h_max)即在图像D_t(x,y)中X(h_max)的补集。

所述的测地影响区域是指：当是被划分为k个相连通的区域B_i,i＝1,…,k，则在A中，子集B_i的测地影响区域定义为：{p∈A|＝d_A(p,B_i)＜d_A(p,B\B_i)}，测地影响区域称为集水盆,而集水盆的边界则形成分水岭。

第七步：将第五步中更新后的高斯混合模型对第六步中的封闭区域E_t进行检测，所得区域与第一步中得到的显著性区域B_t的重叠部分区域即为当前帧的最终运动目标。

本方法得到的目标区域比其他方法得到的结果完整准确，如图3所示，经过与图4 所示的标准图像比较如下所示，其中MI表示相关系数，QAB/F表示边缘梯度信息，值越大表 示得到的运动目标与原目标越接近。

	MI	QAB/F
			本方法	0.2577	0.5922
背景差分法	0.2459	0.4003
			邻间差分法	0.0854	0.1374

Claims (7)

1.一种基于结构相似度和显著性分析的红外运动目标检测方法，其特征在于，首先利用GBVS对源图像显著性分析，得到显著性区域；再将源图像通过改进的SSIM区分为变化剧烈区域和变化平缓区域，并采用不同学习率的方式优化高斯混合模型；最后利用优化后的高斯混合模型检测出封闭区域，该封闭区域与显著性区域的重叠区域即为当前帧的最终运动目标；

所述的变化剧烈区域和变化平缓区域，通过以下方式得到：

1)利用改进的SSIM算法求取红外序列图像中相邻两帧图的局部子块的结构相似度；

2)采用滑动窗口方式计算局部子块的结构相似度统计值A_t'(x,y)，并在此基础上生成基于红外序列图像的统计图D_t(x,y)；

3)利用CDF方式计算统计图D_t(x,y)中图像局部变化情况，找到平滑后分布曲线曲率最大的点对应的累加数Au_max，将统计图D_t(x,y)中大于Au_max的点构成的区域区分为变化剧烈区域A_tr，其余为变化平缓区域A_tg；

所述的局部子块的结构相似度，通过以下方式得到：

i)将整幅图像通过7×7像素大小的滑动窗口按由上至下，由左至右顺序分成若干重叠子块，滑动窗口超出图像范围时则对图像进行镜像扩展获取7×7子块，若图像的尺寸为m×n时，则得到的子块数为m×n；

ii)来自图像F和图像L中同一位置的子块Block(x,y)的结构相似度为：

其中：(x,y)表示子块中心像素，u_F，u_L，σ_F，σ_L分别表示图像F和图像L的子块Block(x,y)的均值和方差；C₁，C₂分别为趋于0的正常量；

所述的基于红外序列图像的统计图，采用滑动窗口方式计算局部子块的结构相似度统计值A_t'(x,y)，并在此基础上生成D_t(x,y)＝A_t'(x,y)-A_t(x,y)，其中：Ones(x,y)为以(x,y)为中心7×7大小的1矩阵，当局部子块的结构相似度高于0.9时，认为其变化程度不大，A_t(x,y)不变，当子块的结构相似度小于0.9时，以(x,y)为中心7×7的矩阵的统计值均加1。

2.根据权利要求1所述的方法，其特征是，所述的显著性区域，利用GBVS算法对红外序列图像A_t进行显著性分析得到，具体步骤包括：

1.1)定义序列图像A_t特征图的两个像素点m₁(i₁,j₁)和m₂(i₂,j₂)的差异性：其中：M_f(·)为特征图中的像素点；

1.2)得到图像中任意两点的差异性后构建出全连接的图，图中每个顶点代表一个像素，每条边代表两个像素点之间的权重，即其中：σ为尺度因子，m₁(i₁,j₁)和m₂(i₂,j₂)为两个像素点；

1.3)经过对所有权重进行归一化处理后得到显著性区域。

3.根据权利要求1所述的方法，其特征是，所述的图像局部变化情况，通过计算累积分布函数，即图像的局部变化程度的函数得到：计算统计图D_t(x,y)中像素值出现的概率P(s)，累积分布函数CDF(s)＝P(S≤s)经过10次差值拟合获取平滑曲线函数，该曲线曲率最大的点所对应D_t(x,y)的值Au_max，将D_t(x,y)中像素值大于Au_max的点组成的区域即为变化剧烈区域。

4.根据权利要求2所述的方法，其特征是，所述的优化高斯混合模型是指：将红外序列图像通过不同区域对应学***缓区域保持原来的学习率α。

5.根据权利要求2或4所述的方法，其特征是，所述的优化高斯混合模型，具体包括：

i)计算代表运动目标的像素点：其中：P(S_t)为S_t(x,y)的分布函数，S_t(x,y)表示第t幅图像的像素值，ω_i,t(x,y)表示第t幅图像像素点属于第i个高斯分布的权值，u_i,t为高斯模型均值，∑_i,t为高斯模型的协方差，σ_i,t为标准差，I为单位矩阵，n为X_t的维数，η()为高斯模型的概率密度函数；

ii)对高斯模型进行以下更新：其中：α为学习率，表示运动目标融入背景的速度，将像素值S_t(x,y)与K个高斯模型匹配，且当S_t(x,y)与第i个高斯模型的差小于2.5倍标准差σ_i,t时认为与当前模型匹配，即M_t＝1时表示匹配，当不匹配时M_t＝0，并相应减小权重且不对均值和方差进行更新；

iii)由于与S_t(x,y)最为匹配的高斯模型具有最大的权值和最小的标准差，将K个高斯模型按照ω_i,t/σ_i,t的比值降序排列，处于排序顶部的高斯模型最有可能描述稳定背景，而处于排序底部的高斯模型描述运动目标，将K个高斯模型中的前Num个作为背景模型，τ表示背景高斯模型在概率分布中所占的最小比例，即背景模型的个数

iv)当S_t(x,y)与K个高斯模型都不匹配，则把排在最后的高斯模型使用均值为x_t、标准差σ_i,t和权值ω_i,t分别设置为初始值的高斯模型代替；每次更新完成后，对权值ω_i,t进行归一化处理；

iv)以每个像素的灰度值作为水平高度值，计算P(S_t)的空间频率SF_t得到离散目标的边缘，再采用分水岭算法连接边缘得到封闭区域E_t。

6.根据权利要求5所述的方法，其特征是，所述的封闭区域Wshed_max为图像中面积最大的闭合区域，即分水岭区域，Wshed(f)＝D_t(x,y)-X(h_max)，其中：图像D_t(x,y)中，X(h_max)为水平值为h_max时各个区域集合的联合，即图像中灰度值小于h_max的点的集合；

所述的分水岭由测地影响区域的边界形成，具体通过分水岭算法迭代计算获得：

其中：X(h)为水平值为h时各个区域集合的联合，即图像中灰度值小于h的点的集合，I(p)表示图像的灰度值，h_min和h_max表示图像最低与最高灰度值；T(h_min)表示灰度值最小时对应的连通域，MIN(h+1)为灰度值在h+1时所有最小区域的联合，Z_T(h+1)(X(h))表示区域X(h)在连通域T(h+1)中的测地影响区域。

7.一种实现上述任一权利要求所述方法的***，其特征在于，包括：显著性区域提取模块、结构相似度分类模块、高斯模型更新模块以及封闭区域检测模块，其中：结构相似度分类模块将图像分成背景区域和目标区域，高斯模型更新模块与结构相似度分类模块相连，分别采用不同学习率更新背景区域和目标区域，传输离散运动目标信息，封闭区域检测模块与高斯模型更新模型相连传输闭合目标信息，显著性区域提取模块与封闭区域检测模块相连传输精确地运动目标信息。