CN103335721A - 基于场景匹配的红外焦平面阵列动态盲元检测方法 - Google Patents

Abstract

本发明属于红外焦平面阵列成像技术中图像处理技术领域，具体涉及一种基于场景匹配的红外焦平面阵列动态盲元检测方法。本发明首先通过滑动窗口像元响应值的相对误差和预设的阈值比较，检测出窗口内存在的潜在盲元，最后通过对两帧场景图像的处理的结果进行匹配，排除虚假的盲元，确定真实的盲元。通过本发明解决了目前常用的定标类与场景类红外焦平面阵列动态盲元检测方法有局限性且准确性不高的问题。

Description

基于场景匹配的红外焦平面阵列动态盲元检测方法

技术领域

本发明属于红外焦平面阵列成像技术中图像处理技术领域，具体涉及一种基于场景匹配的红外焦平面阵列动态盲元检测方法。

背景技术,

随着红外成像技术的不断发展和红外焦平面阵列（IRFPA，Infrared FocalPlane Array）图像传感器的日益成熟，IRFPA被广泛应用于军事、工业和商业等领域的多种热成像***中。由于制造技术、制造工艺和原材料的原因，红外焦平面阵列各探测元之间通常存在响应的非均匀性。非均匀性的极端表现为：当入射辐射发生改变时，某些探测元的响应始终过高或过低，导致图像上出现影响视觉效果的亮点或暗点，即为盲元（也称为无效元）。盲元的存在降低了图像的质量，影响了非均匀校正、图像增强、目标检测与识别等后续处理。因此，利用先进的图像处理技术，对盲元进行检测与补偿，对于提高IRFPA的成像质量，具有重要的应用价值。

对盲元进行处理包括了两个方面的内容：首先是盲元检测，确定盲元所处的具***置；而后是盲元补偿，用近似的合理值替代盲元的响应值。其中，盲元检测是盲元补偿的前提和基础。国内外目前已出现各种各样的盲元检测算法，这些算法主要分为两大类：一类是基于黑体定标的检测方法，另一类为基于场景的检测方法。基于黑体定标类的方法目前在各类IRFPA成像***中得到了最广泛的应用，其基本原理是利用黑体获取均匀辐射图像，并在此基础上根据盲元和正常探测元在响应特性、噪声特性等方面的差异将二者进行区分。基于黑体定标的盲元检测算法原理简单，但是需要黑体的配合，并且无法处理实际应用中因环境温度变化而随机出现的新盲元，其检测效率较低。场景检测法不依赖额外的设备，能够有效地校正IRFPA本身所固有的盲元和因环境温度变化而产生的随机盲元，具有更高的检测效率和更好的环境适应性。

常用的定标类盲元检测方法有如下几种：

(1)定义鉴别法：按照国标【1】的定义，以图像中所有像元的平均响应率的10倍和1/10作为盲元检测的临界阈值，响应值低于1/10和高于10倍阈值的像元被标记为盲元。

(2)双参考辐射源法：利用红外焦平面阵列对高温和低温两个黑体辐照源成像【2】，得到探测器对高低温黑体响应的差值和像元的平均响应差值。若响应差值大于平均响应差值的10倍或小于平均响应响应值的1/10时，认定该像元为盲元。

(3)3σ检测法：该方法认为在温度为T的均匀黑体辐照下，红外焦平面阵列探测元响应及其噪声服从正态分布：

Φ(x)=(2πσ)^(-1/2)exp[-(x-μ)^2/(2σ^2)]

其中μ为探测元的响应均值，σ为响应值均方差，若某探测元的响应值超过μ±3σ，则该像元被认为是盲元。

基于场景的盲元检测方法目前主要有双线性外推法和背景预测法。双线性外推法【3】采用基于线性外推的中值滤波实现了对盲元的检测与补偿。背景预测法【4】将红外场景图像分解为盲元和背景，通过背景预测模型提取出背景后，利用盲元与正常像元的差异实现图像盲元检测。这两种方法都是基于单帧场景图像的盲元检测，前者采用的中值滤波算法会将某些有用的弱小信号滤除，而后者的检测准确率依赖于背景预测模型的准确性，背景预测模型的误差会导致部分信号也被错误地认为是盲元。

文献【1】

GB/T17444-1998。红外焦平面阵列参数测试方法。

文献【2】

周慧鑫，殷世民，刘上乾等。红外焦平面器件盲元检测及补偿算法[J]．《光子学报》，2004，33（5）：598-600。

文献【3】

李怀琼，陈钱，高文昆。红外焦平面阵列失效元动态检测与校正算[J]．《红外与激光工程》，2006，35(2)：192-196。

文献【4】

黄曦，张建奇，刘德连。红外图像盲元自适应检测及补偿算法[J]．《红外与激光工程》，2011,40(2):370-375。

发明内容

本发明提供一种基于场景匹配的红外焦平面阵列动态盲元检测方法，解决了目前常用的定标类与场景类红外焦平面阵列动态盲元检测方法有局限性且准确性不高的问题。

本发明的具体技术方案如下：

本发明提供的基于场景匹配的红外焦平面阵列动态盲元检测方法，包括以下步骤：

步骤1）采集F(F≥50)帧场景图像数据，定义场景图像内大小为(2n+1)×(2n+1)的滑动窗口，n=1或n=2；计算滑动窗口内所有像元的时域噪声，从而得出滑动窗口中心像元对应的自适应阈值，并使滑动窗口遍历整帧图像数据，从而确定场景图像内每一滑动窗口内中心像元的自适应阈值；

所述滑动窗口中心像元的自适应阈值和滑动窗口内时域噪声的均值为倍数关系；

步骤2）采集滑动窗口内的第一帧场景图像，并检测该帧场景图像的盲元坐标矩阵，具体步骤如下；

步骤2.1）通过检测步骤1）定义的滑动窗口中各像元的最大响应值MAX和最小响应值MIN，求出滑动窗口内所有像元响应值的和；

设滑动窗口内所有像元响应值的和为S，则S为：

$S=\underset{p=-n}{\overset{n}{\mathrm{\Σ}}}\underset{q=-n}{\overset{n}{\mathrm{\Σ}}}X(i+p,j+q)$

其中，X(i,j)为滑动窗口的中心像元的响应值，p和q分别代表滑动窗口内其他像元相对X(i,j)的坐标偏移量；且-n≤p≤n,-n≤q≤n；

步骤2.2）根据滑动窗口中像元的最大响应值MAX和最小响应值MIN以及自适应阈值δ(i,j)，初步确定盲元的响应值范围，并计算出滑动窗口中正常像元的响应值之和以及正常像元的数目，并求出正常像元的平均响应值；

具体计算方法如下：

设滑动窗口中像元的响应值为X(i,j)，正常像元的响应值之和为S，正常像元的数目为C，正常像元的平均值为Save，最大响应值为MAX，最小响应值为MIN，，具体计算方式如下：

$S^{\&prime;}=\left\{\begin{array}{cc}S-X(i,j)& X(i,j)\&GreaterEqual;\mathrm{MAX}-\mathrm{\&delta;}(i,j)\left(\mathrm{or}\right)X(i,j)\&le;\mathrm{MIN}+\mathrm{\&delta;}(i,j)\\ S& \mathrm{MIN}+\mathrm{\&delta;}(i,j)<X(i,j)<\mathrm{MAX}-\mathrm{\&delta;}(i,j)\end{array}\right.$

若正常像元数C=0，则求出滑动窗口中所有正常像元响应值的平均值为：

Save=S/(2n+1)²

若正常像元数C≠0，则求出滑动窗口中正常像元响应值的平均值为：

Save=S'/C

步骤2.3）计算滑动窗口内所有像元响应值与所有像元平均响应值的相对误差；

设滑动窗口内像元响应值X(i,j)的相对误差为ΔX(i,j)，则有：

ΔX(i,j)=|X(i,j)-Save|/Save

步骤2.4）将计算出来的ΔX(i,j)与设定的阈值T比较，如果ΔX(i,j)大于等于T，则表示该像素为盲元，否则为正常像元，并设定相应的标志位。滑动(2n+1)×(2n+1)的滑动窗口使其遍历整帧场景图像，最终确定第一帧场景图像的盲元坐标矩阵。

步骤3）采集第二帧图像，重复执行上述步骤2），得到第二帧场景图像的盲元坐标矩阵。

步骤4）将第一帧场景图像与第二帧场景图像的盲元坐标矩阵进行匹配，确定最终的盲元位置。

上述步骤1）的具体计算方法如下：

设滑动窗口内f帧的中心像元响应值为X_f(i,j)，像元的时域噪声定义为σ_F(i,j)，

为F帧场景图像内所有像元响应值的平均值，则σ_F(i,j)为：

${\mathrm{\&sigma;}}_F(i,j)={\&lsqb;\underset{f=1}{\overset{F}{\mathrm{\&Sigma;}}}{(X_f(i,j)-\stackrel{\&OverBar;}{X}(i,j))}^2/(F-1)\&rsqb;}^{1/2}$

其中， $\stackrel{\&OverBar;}{X}(i,j)={\mathrm{\&Sigma;}}_{f=1}^F{X}_f(i,j)/F$

滑动窗口中心像元对应的自适应阈值δ(i,j)为：

$\mathrm{\&delta;}(i,j)=3\&times;{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}_F(i,j)$

其中，

为滑动窗口内以X(i,j)为中心的所有像元时域噪声σ_F(i,j)的均值，F代表采集的帧数；

上述设定的阈值T为经验值，一般取值范围在0.4～0.6之间。

本发明的优点在于：

本发明利用了滑动窗口和自适应阈值提取出不同场景图像中潜在的盲元，而后对盲元位置进行匹配以确定最终的盲元分布，克服了目前常用的定标类与场景类盲元检测方法的局限性，对复杂红外场景具有很好的准确性与适应性。

附图说明

图1本发明方法的实施流程图；

具体实施方式

以下针对附图和实例对本发明的实施过程进行具体描述，如图1所示，包括以下步骤：（1）计算滑动窗口内所有像元的时域噪声以及滑动窗口中心像元的自适应阈值；（2）确定第一帧和第二帧场景图像内的盲元位置坐标矩阵；（3）对两个盲元位置坐标矩阵进行匹配，确定最终的盲元分布。

具体的计算方法如下：

首先，计算滑动窗口内所有像元的时域噪声，从而计算滑动窗口中心像元的自适应阈值，并遍历整帧图像数据，从而确定每一滑动窗口内中心像元的自适应阈值。以下为一个滑动窗口内时域噪声以及自适应阈值的计算方法如下：

采集F(F≥50)帧场景数据，设F帧场景图像像元(i,j)的时域噪声为σ_F(i,j)；X_f(i,j)为f帧中心像元的响应值，其中f小于等于F且大于等于1；(i,j)为F帧场景图像内所有像元响应值的平均值；F代表总的采集帧数；

(i,j)为滑动窗口内所有像元时域噪声σ_F(i,j)的均值。

${\mathrm{\&sigma;}}_F(i,j)={\&lsqb;\underset{f=1}{\overset{F}{\mathrm{\&Sigma;}}}{(X_f(i,j)-\stackrel{\&OverBar;}{X}(i,j))}^2/(F-1)\&rsqb;}^{1/2}$

$\stackrel{\&OverBar;}{X}(i,j)={\mathrm{\&Sigma;}}_{f=1}^F{X}_f(i,j)/F$

该滑动窗口内的自适应阈值δ(i,j)为：

$\mathrm{\&delta;}(i,j)=3\&times;{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}_F(i,j)$

其次，采集滑动窗口内第一帧图像S1，检测该滑动窗口中的最大响应值MAX和最小响应值MIN，并求出滑动窗口内所有像元响应值的和S。

$S=\underset{p=-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{q=-n}{\overset{n}{\mathrm{\&Sigma;}}}X(i+p,j+q)$

通常考虑到滑动窗口中可能存在多个盲元，并且其像元响应值不一定相等，因此正常像元的响应值之和S'以及正常像元数C的确定应满足以下两种条件；

$S^{\&prime;}=\left\{\begin{array}{cc}S-X(i,j)& X(i,j)\&GreaterEqual;\mathrm{MAX}-\mathrm{\&delta;}(i,j)\left(\mathrm{or}\right)X(i,j)\&le;\mathrm{MIN}+\mathrm{\&delta;}(i,j)---\left[1\right]\\ S& \mathrm{MIN}+\mathrm{\&delta;}(i,j)<X(i,j)<\mathrm{MAX}-\mathrm{\&delta;}(i,j)---\left[2\right]\end{array}\right.$

如果满足条件[1]，则说明X(i,j)为盲元，应在S中减去该像元的响应值，并相应地将滑动窗口中的正常像元数减1，如果满足条件[2]，则说明X(i,j)为正常像元。遍历滑动窗口内的所有像元后，可以最终确定滑动窗口中正常像元的平均值。

若正常像元数C=0，则求出滑动窗口中所有像元的平均值为

Save=S/(2n+1)²

若正常像元数C≠0，则求出滑动窗口中正常像元的平均值为

Save=S'/C

计算窗口中心像素X(i,j)与平均值Save的相对误差，即

ΔX(i,j)=|X(i,j)-Save|/Save

将ΔX(i,j)与设定的阈值T（T值是经验值，可在0.4～0.6之间取值）。相比较，如果ΔX(i,j)大于等于T，则表示该像素为盲元，否则为正常像元，并设定相应的标志位。滑动(2n+1)×(2n+1)的滑动窗口使其遍历整帧场景图像，最终确定第一帧场景图像S1的盲元坐标矩阵B1(i,j)。B1(i,j)中，盲元对应的坐标(i,j)标志为1，正常像元对应的坐标(i,j)标志为0。

采集第二帧场景图像S2，执行上述的盲元检测算法，得到第二帧场景图像S2的盲元坐标矩阵B2(i,j)。B2(i,j)中，盲元对应的坐标(i,j)标志为1，正常像元对应的坐标(i,j)标志为0。

对两次采集得到的场景图像的盲元坐标矩阵B1(i,j)和B2(i,j)进行匹配，使B1(i,j)和B2(i,j)同时为1的坐标(i,j)被确定为最终的盲元坐标。

然后，对最终确定的盲元进行盲元补偿，一般用(2n+1)×(2n+1)的滑动窗口内正常像元的均值替换盲元的输出。

Claims (3)

1.一种基于场景匹配的红外焦平面阵列动态盲元检测方法，其特征在于：包括以下步骤： 

1）采集F(F≥50)帧场景图像数据，定义场景图像内大小为(2n+1)×(2n+1)的滑动窗口，n=1或n=2；计算滑动窗口内所有像元的时域噪声，从而得出滑动窗口中心像元对应的自适应阈值，并使滑动窗口遍历整帧图像数据，从而确定场景图像内每一滑动窗口内中心像元的自适应阈值； 

所述滑动窗口中心像元的自适应阈值和滑动窗口内时域噪声的均值为倍数关系； 

2）采集滑动窗口内的第一帧场景图像，并检测该帧场景图像的盲元坐标矩阵，具体步骤如下； 

2.1）通过检测步骤1）定义的滑动窗口中各像元的最大响应值MAX和最小响应值MIN，求出滑动窗口内所有像元响应值的和； 

设滑动窗口内所有像元响应值的和为S，则S为： 

其中，X(i,j)为滑动窗口的中心像元的响应值，p和q分别代表滑动窗口内其他像元相对X(i,j)的坐标偏移量；且-n≤p≤n,-n≤q≤n； 

2.2）根据滑动窗口中像元的最大响应值MAX和最小响应值MIN以及自适应阈值δ(i,j)，初步确定盲元的响应值范围，并计算出滑动窗口中正常像元的响应值之和以及正常像元的数目，并求出正常像元的平均响应值； 

具体计算方法如下： 

设滑动窗口中像元的响应值为X(i,j)，正常像元的响应值之和为S，正常像元的数目为C，正常像元的平均值为Save，最大响应值为MAX，最小响应值为MIN，，具体计算方式如下： 

若正常像元数C=0，则求出滑动窗口中所有正常像元响应值的平均值 为： 

Save=S/(2n+1)²

若正常像元数C≠0，则求出滑动窗口中正常像元响应值的平均值为： 

Save=S'/C 

2.3）计算滑动窗口内所有像元响应值与所有像元平均响应值的相对误差； 

设滑动窗口内像元响应值X(i,j)的相对误差为ΔX(i,j)，则有： 

ΔX(i,j)=|X(i,j)-Save|/Save 

2.4）将计算出来的ΔX(i,j)与设定的阈值T比较，如果ΔX(i,j)大于等于T，则表示该像素为盲元，否则为正常像元，并设定相应的标志位。滑动(2n+1)×(2n+1)的滑动窗口使其遍历整帧场景图像，最终确定第一帧场景图像的盲元坐标矩阵。 

3）采集第二帧图像，重复执行上述步骤2），得到第二帧场景图像的盲元坐标矩阵。 

4）将第一帧场景图像与第二帧场景图像的盲元坐标矩阵进行匹配，确定最终的盲元位置。 

2.根据权利要求1所述的基于场景匹配的红外焦平面阵列动态盲元检测方法，其特征在于：所述步骤1）的具体计算方法如下： 

设滑动窗口内f帧的中心像元响应值为X_f(i,j)，像元的时域噪声定义为σ_F(i,j)，为F帧场景图像内所有像元响应值的平均值，则σ_F(i,j)为： 

其中，

滑动窗口中心像元对应的自适应阈值δ(i,j)为： 

其中，

为滑动窗口内以X(i,j)为中心的所有像元时域噪声σ_F(i,j)的均值，F代表采集的帧数。 

3.根据权利要求1或2所述的基于场景匹配的红外焦平面阵列动态盲元 检测方法，其特征在于：所述设定的阈值T为经验值，一般取值范围在0.4～0.6之间。 

Images