CN104599261A - 短波红外焦平面的均值直方图神经网络非均匀性校正算法 - Google Patents

Abstract

本发明涉及一种短波红外焦平面的神经网络非均匀性校正方法及装置，其中方法包括；时域直方图统计步骤：对短波红外焦平面中的每个像素点进行时域直方图统计；邻域时域直方图均值计算步骤：利用各像素点的邻域像素点的时域直方图计算所述各像素点的均值直方图；神经网络估计值的计算步骤：根据所述各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值；神经网络校正步骤：利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。本发明的短波红外焦平面的神经网络非均匀性校正方法及装置，改进了传统神经网络校正法校正需要图像场景相对运动的缺点，并且算法简单、计算复杂度低便于工程实践。

Description

短波红外焦平面的均值直方图神经网络非均匀性校正算法

技术领域

本发明涉及一种短波红外焦平面的神经网络非均匀性校正方法及装置，属于红外图像处理领域。

背景技术

目前，人们已经提出了许多关于非均匀校正(Nonuniformity Correction，NUC)的算法.但总的来说可以分为两大类：一类是基于标定的方法(如两点校正法)，这类方法具有较高的校正准确度，但需要许多辅助器件(黑体源、光学设备等)，大大增加了探测器的体积和成本，并且在标定过程中还必须使成像***暂停工作，这严重制约了该类算法的使用范围。另一类是基于场景的方法，它直接利用每帧图像的场景信息进行非均匀校正，克服了第一类方法的不足，因此是目前研究的焦点。但在这类技术中绝大部分算法都需要估计真实场景值，典型的如：Scribner等提出了基于神经网络(NeuralNetwork，NN)的非均匀校正算法，该算法将噪音图像的四邻域平均作为真实图像的估计值，并且用于训练神经网络，但前提是固定图案噪音能够被四邻域平均所消减，否则迭代将会发散；Hardie等提出了基于运动补偿时域平均(Motion-CompensatedTemporal Average，MCTA)的校正算法，该算法利用运动补偿平均后的图像来估计真实场景，但此时必须保证同一场景要有充分多的探测单元在不同时间观察过，否则校正效果也会不理想。

发明内容

本发明的目的在于，提供一种算法简单、计算复杂度低的短波红外焦平面的神经网络非均匀性校正方法及装置。

为了实现上述发明目的，本发明提供了如下技术方案：

一种短波红外焦平面的神经网络非均匀性校正方法，其特征在于，包括：

时域直方图统计步骤：对短波红外焦平面中的每个像素点进行时域直方图统计；

邻域时域直方图均值计算步骤：利用各像素点的邻域像素点的时域直方图计算所述各像素点的均值直方图；

神经网络估计值的计算步骤：根据所述各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值；

神经网络校正步骤：利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。

一种短波红外焦平面的神经网络非均匀性校正装置，其特征在于，包括：

时域直方图统计模块，用于对短波红外焦平面中的每个像素点进行时域直方图统计；

邻域时域直方图均值计算模块，用于利用各像素点的邻域像素点的时域直方图计算所述各像素点的均值直方图；

神经网络估计值的计算模块，用于根据所述各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值；

神经网络校正模块，用于利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。

本发明的短波红外焦平面的神经网络非均匀性校正方法及装置，通过像素邻域统计时域直方图的均值，然后用直方图均值均衡后的像素灰度作为神经网络算法的估计值，最后利用神经网络完成校正，改进了传统神经网络校正法校正需要图像场景相对运动的缺点，并且算法简单、计算复杂度低便于工程实践。

附图说明

图1为本发明实施例的短波红外焦平面的神经网络非均匀性校正方法的流程图示意图。

图2为本发明实施例的短波红外焦平面的神经网络非均匀性校正装置的结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

实施例一

如图1所示，其为本发明实施例的短波红外焦平面的神经网络非均匀性校正方法的流程图示意图，该方法包括：

时域直方图统计步骤101：对短波红外焦平面中的每个像素点进行时域直方图统计。

邻域时域直方图均值计算步骤102：利用各像素点的邻域像素点的时域直方图计算各像素点的均值直方图。假设短波红外焦平面成像的像素间灰度是连续的，那么红外图像中相邻像素之间的差别在一定帧数的统计意义上是很小的，这意味着两个相邻像素在时间的直方图上几乎是相等的。根据这个假设，我们把单个探测单元的响应密度函数规定化到邻域像素点响应密度函数的中间值，从而实现非均匀校正。定义焦平面像素点(i，j)均值响应密度函数ρ_ij(y)为邻域像素点响应密度函数的平均值，m、n代表3×3局部图像坐标，其公式如下：

${\mathrm{\ρ}}_{\mathrm{ij}}\left(y\right)=\frac{1}{8}\underset{m=0}{\overset{2}{\mathrm{\Σ}}}\underset{n=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\ρ}}_{\mathrm{ij}}^{\mathrm{mn}}\left(y\right)$ …………………………………式(1)

而均值响应密度函数可以对应于所有像素点响应值形成的直方图h_ij(y)。因此，进一步将对应每个像素点的均值直方图记为h_ij(y)，在该步骤中，可以具体利用如下公式计算各像素点的均值直方图：

$h_{\mathrm{ij}}\left(y\right)=\frac{1}{8}\underset{m=0}{\overset{2}{\mathrm{\Σ}}}\underset{n=0}{\overset{2}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^{\mathrm{mn}}\left(y\right)$ …………………………………式(2)

其中，(i，j)为像素点的绝对坐标，h_ij(y)为短波红外焦平面上绝对坐标为(i，j)的像素点的均值直方图，为绝对坐标为(i，j)的像素点的邻域的均值直方图，(m，n)为3×3局部图像的相对坐标，其中，的初始值为对应像素点的时域直方图。

神经网络估计值的计算步骤103：根据各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值。在该步骤中，将均值化直方图作为每个像素点(i，j)新的直方图，反变换即完成3×3局部图像时域均衡，利用该值作为神经网络的估计值T_ij(n)。具体地，在该步骤中，可以具体利用如下公式计算各像素点的灰度估计值：

$T_{\mathrm{ij}}\left(n\right)=\frac{65535\×\underset{y=0}{\overset{Y_{\mathrm{ij}}\left(n\right)}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}\left(y\right)}{\underset{y=0}{\overset{65535}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}\left(y\right)}$ …………………………………式(3)

其中，T_ij(n)为绝对坐标为(i，j)的像素点的灰度估计值，Y_ij(n)为原始红外图像中绝对坐标为(i，j)的像素点的灰度值，n为图像的帧号。

神经网络校正步骤104：利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。采用周期性神经网络结构进行单 尺度的非均匀性校正，其具体做法是让每一个神经元连接一个像素点，再设计一个隐含层，它的每一个神经元就像水平细胞元那样与邻近的几个像素点连接起来，得到它们的平均输出值并送到它的下层神经元去计算非均匀性，采用最陡下降法依据实际图像逐帧迭代，直至达到最佳校正状态。具体地，在该步骤中，可以利用如下公式计算非均匀性校正后的图像输出：

X_ij(n)＝w_ij(n)Y_ij(n)+b_ij(n)…………………………………式(4)

其中，w_ij(n)为增益校正系数，b_ij(n)为偏置校正系数，Y_ij(n)为实测灰度值，X_ij(n)为校正后的灰度值，w_ij(n)和b_ij(n)通过如下公式求解：

w_ij(n)＝w_ij(n-1)-uE_ij(n-1)Y_ij(n-1)………………………式(5)

b_ij(n)＝b_ij(n-1)-uE_ij(n-1)………………………………式(6)

E_ij(n-1)＝T_ij(n-1)-X_ij(n-1)…………………………………式(7)

其中，当n＝1时，w_ij(n-1)、b_ij(n-1)、T_ij(n-1)、X_ij(n-1)的值为指定值，u为收敛系数。

本实施例短波红外焦平面的神经网络非均匀性校正方法，通过像素邻域统计时域直方图的均值，然后用直方图均值均衡后的像素灰度作为神经网络算法的估计值，最后利用神经网络完成校正，改进了传统神经网络校正法校正需要图像场景相对运动的缺点，并且算法简单、计算复杂度低便于工程实践。

实施例二

本实施例涉及与上述实施例一对应的短波红外焦平面的神经网络非均匀性校正装置，如图2所示，该装置包括时域直方图统计模块11、邻域时域直方图均值计算模块12、神经网络估计值的计算模块13以及神经网络校正模块14，各个模块的功能如下：

时域直方图统计模块11，用于对短波红外焦平面中的每个像素点进行时域直方图统计。

邻域时域直方图均值计算模块12，用于利用各像素点的邻域像素点的时域直方图计算各像素点的均值直方图。在该模块中，可以利用上述式(2)计算各像素点的均值直方图。

神经网络估计值的计算模块13，用于根据各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值。在该模块中，可以利用式(3)计算各像素点的灰度估计值。

神经网络校正模块14，用于利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。在该模块中，可以利用上述式(4)至式(7)计算非均匀性校正后的图像输出

本实施例短波红外焦平面的神经网络非均匀性校正装置，通过像素邻域统计时域直方图的均值，然后用直方图均值均衡后的像素灰度作为神经网络算法的估计值，最后利用神经网络完成校正，改进了传统神经网络校正法校正需要图像场景相对运动的缺点，并且算法简单、计算复杂度低便于工程实践。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种短波红外焦平面的神经网络非均匀性校正方法，其特征在于，包括：

时域直方图统计步骤：对短波红外焦平面中的每个像素点进行时域直方图统计；

邻域时域直方图均值计算步骤：利用各像素点的邻域像素点的时域直方图计算所述各像素点的均值直方图；

神经网络估计值的计算步骤：根据所述各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值；

神经网络校正步骤：利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。

2.根据权利要求1所述的方法，其特征在于，在所述邻域时域直方图均值计算步骤中，利用如下公式计算所述各像素点的均值直方图：

$h_{\mathrm{ij}}\left(y\right)=\frac{1}{8}\underset{m=0}{\overset{2}{\mathrm{\Σ}}}\underset{n=0}{\overset{2}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^{\mathrm{mn}}\left(y\right),$

其中，(i，j)为像素点的绝对坐标，h_ij(y)为所述短波红外焦平面上绝对坐标为(i，j)的像素点的均值直方图，为绝对坐标为(i，j)的像素点的邻域的均值直方图，(m，n)为3×3局部图像的相对坐标，其中，的初始值为对应像素点的时域直方图。

3.根据权利要求2所述的方法，其特征在于，在所述神经网络估计值的计算步骤中，利用如下公式计算各像素点的灰度估计值：

$T_{\mathrm{ij}}\left(n\right)=\frac{\mathrm{65535\×}\underset{y=0}{\overset{Y_{\mathrm{ij}}\left(n\right)}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}\left(y\right)}{\underset{y=0}{\overset{65535}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}\left(y\right)},$

其中，T_ij(n)为绝对坐标为(i，j)的像素点的灰度估计值，Y_ij(n)为原始红外图像中绝对坐标为(i，j)的像素点的灰度值，n为图像的帧号。

4.根据权利要求3所述的方法，其特征在于，在所述神经网络校正步骤中，利用如下公式计算非均匀性校正后的图像输出：

X_ij(n)＝w_ij(n)Y_ij(n)+b_ij(n)，

其中，w_ij(n)为增益校正系数，b_ij(n)为偏置校正系数，Y_ij(n)为实测灰度值，X_ij(n)为校正后的灰度值，w_ij(n)和b_ij(n)通过如下公式求解：

w_ij(n)＝w_ij(n-1)-uE_ij(n-1)Y_ij(n-1)，

b_ij(n)＝b_ij(n-1)-uE_ij(n-1)，

E_ij(n-1)＝T_ij(n-1)-X_ij(n-1)，

其中，当n＝1时，w_ij(n-1)、b_ij(n-1)、T_ij(n-1)、X_ij(n-1)的值为指定值，u为收敛系数。

5.一种短波红外焦平面的神经网络非均匀性校正装置，其特征在于，包括：

时域直方图统计模块，用于对短波红外焦平面中的每个像素点进行时域直方图统计；

邻域时域直方图均值计算模块，用于利用各像素点的邻域像素点的时域直方图计算所述各像素点的均值直方图；

神经网络估计值的计算模块，用于根据所述各像素点的均值直方图计算用于神经网络算法的各像素点的灰度估计值；

神经网络校正模块，用于利用神经网络算法对原始红外图像进行校正，得到非均匀性校正后的图像输出。

6.根据权利要求5所述的装置，其特征在于，在所述邻域时域直方图均值计算模块中，利用如下公式计算所述各像素点的均值直方图：

$h_{\mathrm{ij}}\left(y\right)=\frac{1}{8}\underset{m=0}{\overset{2}{\mathrm{\Σ}}}\underset{n=0}{\overset{2}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^{\mathrm{mn}}\left(y\right),$

其中，(i，j)为像素点的绝对坐标，h_ij(y)为所述短波红外焦平面上绝对坐标为(i，j)的像素点的均值直方图，为绝对坐标为(i，j)的像素点的邻域的均值直方图，(m，n)为3×3局部图像的相对坐标，其中，的初始值为对应像素点的时域直方图。

7.根据权利要求6所述的装置，其特征在于，在所述神经网络估计值的计算模块中，利用如下公式计算各像素点的灰度估计值：

$T_{\mathrm{ij}}\left(n\right)=\frac{\mathrm{65535\×}\underset{y=0}{\overset{Y_{\mathrm{ij}}\left(n\right)}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}\left(y\right)}{\underset{y=0}{\overset{65535}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}\left(y\right)},$

其中，T_ij(n)为绝对坐标为(i，j)的像素点的灰度估计值，Y_ij(n)为原始红外图像中绝对坐标为(i，j)的像素点的灰度值，n为图像的帧号。

8.根据权利要求7所述的装置，其特征在于，在所述神经网络校正步骤中，利用如下公式计算非均匀性校正后的图像输出：

X_ij(n)＝w_ij(n)Y_ij(n)+b_ij(n)，

其中，w_ij(n)为增益校正系数，b_ij(n)为偏置校正系数，Y_ij(n)为实测灰度值，X_ij(n)为校正后的灰度值，w_ij(n)和b_ij(n)通过如下公式求解：

w_ij(n)＝w_ij(n-1)-uE_ij(n-1)Y_ij(n-1)，

b_ij(n)＝b_ij(n-1)-uE_ij(n-1)，

E_ij(n-1)＝T_ij(n-1)-X_ij(n-1)，

其中，当n＝1时，W_ij(n-1)、b_ij(n-1)、T_ij(n-1)、X_ij(n-1)的值为指定值，u为收敛系数。