CN104296876A - 基于fpga的场景非均匀性校正方法及其装置 - Google Patents

Abstract

本发明公开了一种基于FPGA的场景非均匀性校正方法，步骤如下：将每帧原始图像数据叠加上参数存储SRAM中的校正参数，送往监视器进行显示；将校正后的相邻两帧图像数据存入图像存储SRAM，并确定两帧图像数据各自的行列投影向量；对形成的投影向量进行滤波，并存入对应的内部RAM；根据内部RAM中存储的投影向量，确定两帧图像对应行投影向量之间的行相关矩阵、对应列投影向量之间的列相关矩阵，并得到两帧图像的相对位移；判断相邻两帧图像的重叠区，确定最小误差矩阵，并更新参数存储SRAM中的校正参数；重新对新一帧图像进行非均匀性校正。本发明方法能够快速、准确的完成非均匀性校正，能够抑制鬼影现象的产生，对图像上的高频和低频非均匀性都有显著的效果。

Description

基于FPGA的场景非均匀性校正方法及其装置

技术领域

本发明属于红外热成像技术领域，特别是一种基于FPGA的场景非均匀性校正方法及其装置。

背景技术

红外热像仪通常使用在野外低照度背景环境下，对目标进行观察以及搜索跟踪。其本身是利用场景中景物和背景之间的辐射温差进行成像，完全不需要主动光源的照射，使得其在战场中具有极高的隐蔽性。同时，随着当代科技的飞速发展，红外探测器本身的制造工艺水平不断攀升，可探测的辐射温差越来越小，探测精度越来越高，大大加强了红外热像仪***在现代军事化战场上的应用范围。然而，红外探测器本身是一种高离散率和高缺陷率的器件，受其焦平面制作工艺的影响，红外探测器焦平面即使在接收到相同能量的红外热辐射时，其焦平面上的每个像素点的读出值仍然各不相同，直接表现到图像上为频率不同、形状不同的非均匀性图案。通常情况下，非均匀性图案有两种，一种是斑块状的低频非均匀性图案，另一种是条纹状的高频非均匀性。非均匀性的存在，直接影响了使用者对获取到的红外图像的辨识，很大程度上降低人眼对图像中细节的分辨能力，继而大大限制了红外热像仪的应用。

在正常使用红外热像仪之前，通常会通过对热像仪进行两点高低温黑体定标的方式来进行一次非均匀性校正。经过标定的红外热像仪非均匀性残余较少，图像质量大大改观，但如果要实际应用，仅仅这样尚未足够，最重要的原因是对热像仪进行两点标定虽然可以一定程度上实现对非均匀性进行校正，但是这样标定的校正参数仅仅适用于当前用来标定的高低温温度段，一旦场景所处的温度范围不在标定温度段之内时，非均匀性就会再次出现。在实际应用中，一旦***开始使用，就已经无法再重新用黑体进行标定了。基于这个考虑，近年来，许多科研机构和个人都致力于开发基于场景的非均匀性校正技术，其根本思想是在场景的运动过程中，完成对非均匀性的校正，而不需要高低温黑体数据参与其中，这样就可以让红外热像仪更好的应用于现代化战争中。

目前，比较主流的基于场景非均匀性校正方法有以下几种：1.时域高通滤波法；2.神经网络法；3.恒定统计类方法；4.基于帧间配准方法。这些方法都能够在一定程度上对运动的场景进行非均匀性校正，但是，这些方法也都存在各自的技术缺点：1.时域高通滤波法是通过构建时域高通滤波器来实现对偏置响应系数的校正，相当于只累加均值的统计类方法，虽然运算简单，但是没有对增益响应系数的校正，有目标退化和伪像；2.神经网络法是采用神经网络结构，以邻域均值作为期望，利用最陡下降法对校正系数迭代更新，虽然方法简单，但是存在目标退化和轮廓伪像，而且收敛速度较慢，对空间低频噪声校正能力较差。在场景长时间静止以后，大多数由此而衍生出来的各种追加了限制条件的方法都将失效；3.恒定统计法类方法是建立在统计帧内所有像元的统计均值和偏差一致的基础之上，对于全局的亮度不均衡，低频非均匀性虽然具有较好的校正效果，但是对场景统计需要较长的时间，也有伪像问题，而且伪像的表现形式为先前场景的反像，视觉效果影响很大；4.基于帧间图像信息的2-D配准方法是通过求取相邻两帧图像之间的互相关系数，继而得到相邻两帧之间的相对位移，根据位移判断图像的运动情况并对相邻两帧之间的重叠区域进行参数更新以完成校正的一种方法，虽然收敛速度快，但是需要的工作量过大，在以单FPGA为核心的硬件***上无法实现，限制了该类方法的应用。

目前，随着开发平台的不断升级，场景非均匀性校正的研究过分的追求效果而忽略了方法的工程可实现性，许多方法虽然具有一定效果，但是无法在工程上的小型化、低功耗***中实现，不能实现工程化移植。

发明内容

本发明提出一种全新的基于FPGA的场景非均匀性智能化校正技术，其完全可以在工程应用中实现。本发明的建立思想是利用帧间配准方法速度较快的优势，利用一种新的基于全时域的投影向量来快速的完成对相邻帧图像运动位移的确定，从而在场景的运动过程中，快速的完成对非均匀性的校正。

实现本发明目的的技术解决方案为：一种基于FPGA的场景非均匀性校正方法，包括以下步骤：

步骤1，将每帧原始图像数据叠加上参数存储SRAM中的校正参数，将校正后的图像数据送往监视器进行显示；

步骤2，将校正后的相邻两帧图像数据依次存入图像存储SRAM的低地址和高地址；

步骤3，确定图像存储SRAM中两帧图像数据各自的行投影向量和列投影向量，对形成的四个投影向量分别进行滤波，并存入与各投影向量对应的内部RAM；

步骤4，根据内部RAM中存储的投影向量，确定两帧图像对应行投影向量之间的行相关矩阵、两帧图像对应列投影向量之间的列相关矩阵，并得到两帧图像的相对位移；

步骤5，判断相邻两帧图像的重叠区，确定该两帧图像的最小误差矩阵，并更新参数存储SRAM中的校正参数；

步骤6，参数存储SRAM中属于相邻两帧图像的重叠区的校正参数更新完成之后，返回步骤1，对新一帧图像进行非均匀性校正。

一种基于FPGA的场景非均匀性校正装置，包括FPGA、图像存储SRAM、参数存储SRAM和监视器，其中图像存储SRAM和参数存储SRAM均与该FPGA的处理单元相连接，监视器与FPGA的视频接口相连：图像存储SRAM分为图像存储SRAM低地址与图像存储SRAM高地址，用来存储相邻的两帧图像数据；参数存储SRAM用来存储图像校正参数；监视器用来显示校正后的图像数据。

本发明与现有技术相比，其显著特点是：（1）仅需几十帧甚至十几帧就可以完成校正，大大提高了校正的速率；（2）对非均匀性的频率性质不敏感，能够对高频和低频的非均匀性都进行很好的校正；（3）利用一种全新的投影向量参与，完全在时域范围内进行，不仅工作量小、速度快，而且可以完全硬件化实现；（4）新投影向量鲁棒性十分好，能够十分准确的确定出相邻两帧图像的位移，不会出现误配准而导致图像校正失败。

附图说明

图1是本发明基于FPGA的场景非均匀性校正方法的流程图。

图2是本发明基于FPGA的场景非均匀性校正方法中相邻两帧图像重叠区寻址示意图。

图3是本发明基于FPGA的场景非均匀性校正方法不同强弱等级下配准精度的对比图，其中（a）为未加非均匀性的相邻两帧图像位移，（b）为加轻度非均匀性的相邻两帧图像位移，（c）为加重度非均匀性的相邻两帧图像位移。

图4是本发明基于FPGA的场景非均匀性校正方法处理实时场景的连续校正效果图，其中（a）～（ab）为每隔5帧采集到的一幅校正后效果图。

具体实施方式

下面结合附图及具体实施例，对本发明做进一步详细说明。

（一）、本发明基于FPGA的场景非均匀性智能化校正技术，其原理为：基于帧间配准方法速度较快的优势，建立一种基于全时域的投影方法，快速的完成对相邻帧图像运动位移的确定，从而在场景的运动过程中，快速的完成对非均匀性的校正。

（二）、首先对本发明方法进行描述：

假设每个红外探测器的响应特性能被一个线性的irradiance–voltage模型所刻画，那么整个焦平面的第(i,j)个像元的读出信号，可以表示为：

Y_n(i,j)=g_n(i,j)·X_n(i,j)+o_n(i,j)    （1）

其中，g_n(i,j)为第n帧图像中焦平面的第(i,j)个像元的实际增益，o_n(i,j)为第n帧图像中焦平面的第(i,j)个像元的实际偏置；X_n(i,j)反应焦平面第(i,j)个像元接收到的实际红外光子流，基于场景的非均匀性方法的基本思想就是通过观测输出的原始图像数据Y_n(i,j)去估计像元实际的入射红外光子流，将式（1）改写为：

X_n(i,j)＝w_n(i,j)·Y_n(i,j)+b_n(i,j)    （2）

式中，Y_n(i,j)为输出的原始图像数据，X_n(i,j)为校正后图像数据，b_n(i,j)为第(i,j)个像元的偏置校正参数，w_n(i,j)为第(i,j)个像元的增益校正参数；

式（2）中像元线性校正模型的增益校正参数与偏置校正参数，与实际增益和实际偏置的关系为：

$w_n(i,j)=\frac{1}{g_n(i,j)}---\left(3\right)$

$b_n(i,j)=-\frac{o_n(i,j)}{g_n(i,j)}---\left(4\right)$

所以，只要能获得g_n(i,j)与o_n(i,j)或者w_n(i,j)与b_n(i,j)的理想估计值，非均匀性校正就可以通过(2)式实现。

（三）、本发明基于FPGA的场景非均匀性校正方法在硬件中的实现流程如附图1所示，本发明基于FPGA的场景非均匀性校正装置，包括FPGA、图像存储SRAM、参数存储SRAM和监视器，其中图像存储SRAM和参数存储SRAM均与该FPGA的处理单元相连接，监视器与FPGA的视频接口相连：图像存储SRAM分为图像存储SRAM低地址与图像存储SRAM高地址，用来存储相邻的两帧图像数据；参数存储SRAM用来存储图像校正参数；监视器用来显示校正后的图像数据。SRAM即静态随机存储器。

（四）、结合图1，本发明基于FPGA的场景非均匀性校正方法，包括以下步骤：

步骤1，将每帧原始图像数据叠加上参数存储SRAM中的校正参数，将校正后的图像数据送往监视器进行显示；对输出的原始图像数据Y_n(i,j)进行校正，得到校正后图像数据X_n(i,j)，校正公式如式（2）所示。参数存储SRAM中的初始增益校正参数w_n(i,j)全部设为1，偏置校正参数b_n(i,j)全部设为0。

步骤2，将校正后的相邻两帧图像数据依次存入图像存储SRAM的低地址和高地址：第n-1帧图像存入图像存储SRAM的低地址，第n帧图像存入图像存储SRAM的高地址，供投影向量使用；

步骤3，确定图像存储SRAM中两帧图像数据各自的行投影向量和列投影向量，对形成的四个投影向量分别进行滤波，并存入与各投影向量对应的内部RAM即随机存取存储器；以上三步采用多级流水线数据排布结构，具体过程为：

步骤（3.1），将滤波器用查找表的形式存放在FPGA中；

步骤（3.2），从图像存储SRAM中按照行或列的方向进行寻址，确定该行的行投影向量或该列的列投影向量公式如下：

$p_x^i\left(j\right)\stackrel{\mathrm{\Δ}}{=}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{p}_x(i,j)-\underset{i=1,j=1}{\overset{i=M,j=N}{\mathrm{\Σ}}}{p}_x(i,j)/N---\left(5\right)$

$p_x^j\left(i\right)\stackrel{\mathrm{\Δ}}{=}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{p}_x(i,j)-\underset{i=1,j=1}{\overset{i=M,j=N}{\mathrm{\Σ}}}{p}_x(i,j)/N---\left(6\right)$

式中i为行序号，j为列序号，p_x(i,j)为该幅图像坐标为(i,j)的像素值，x表示相邻两帧图像的序号且x＝1,2，下标1为低地址图像即第n-1帧图像的序号，下标2为高地址图像即第n帧图像的序号；图像的维度为M×N，即M为图像总行数，N为总列数；

步骤（3.3），每得到一行或一列的投影向量后，利用查找表中对应滤波器对该投影向量进行滤波；对于列投影向量滤波公式如下：

$p_x^i\left(j\right)=\left\{\begin{array}{c}{p}_x^i\left(j\right)\&CenterDot;\left(\frac{1+\cos (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{row}}-1-j)/{\mathrm{\&delta;}}_{\mathrm{row}})}{2}\right)j<{\mathrm{\&delta;}}_{\mathrm{row}}\\ p_x^i\left(j\right)\&CenterDot;\left(\frac{1-\sin (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{row}}-1-j)/{\mathrm{\&delta;}}_{\mathrm{row}})}{2}\right)j>N-{\mathrm{\&delta;}}_{\mathrm{row}}\end{array}\right.---\left(7\right)$

对于行投影向量滤波公式如下：

$p_x^j\left(i\right)=\left\{\begin{array}{c}{p}_x^j\left(i\right)\&CenterDot;\left(\frac{1+\cos (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{col}}-1-i)/{\mathrm{\&delta;}}_{\mathrm{col}})}{2}\right)i<{\mathrm{\&delta;}}_{\mathrm{col}}\\ p_x^j\left(i\right)\&CenterDot;\left(\frac{1-\sin (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{col}}-1-i)/{\mathrm{\&delta;}}_{\mathrm{col}})}{2}\right)i>M-{\mathrm{\&delta;}}_{\mathrm{col}}\end{array}\right.---\left(8\right)$

式中，δ_row为行方向位移最大值，δ_col为列方向位移最大值。

步骤（3.4），将滤波后的投影向量存入对应的内部RAM，循环步骤（3.2）～（3.4）直至行寻址和列寻址均遍历两帧图像；其中低地址图像的行投影向量存入第一内部RAM，低地址图像的列投影向量存入第二内部RAM，高地址图像的行投影向量存入第三内部RAM，高地址图像的列投影向量存入第四内部RAM。

步骤4，根据内部RAM中存储的投影向量，确定两帧图像对应行投影向量之间的行相关矩阵以及两帧图像对应列投影向量之间的列相关矩阵，并得到两帧图像的相对位移，具体步骤如下：

步骤（4.1），确定第一内部RAM和第三内部RAM中两帧图像对应行投影向量之间的行相关矩阵Cof_row(i)，以及第二内部RAM和第四内部RAM中两帧图像对应列投影向量之间的列相关矩阵Cof_col(j)，公式如下：

${\mathrm{Cof}}_{\mathrm{row}}\left(i\right)=\underset{i=1,j=1}{\overset{\begin{array}{c}i={2\mathrm{\&delta;}}_{\mathrm{row}}+1\\ j=M-{2\mathrm{\&delta;}}_{\mathrm{row}}+1\end{array}}{\mathrm{\&Sigma;}}}{(p_1^j(j+i-1)-p_2^j({\mathrm{\&delta;}}_{\mathrm{row}}+i))}^2---\left(9\right)$

${\mathrm{Cof}}_{\mathrm{col}}\left(j\right)=\underset{i=1,j=1}{\overset{\begin{array}{c}i={2\mathrm{\&delta;}}_{\mathrm{col}}+1\\ j=N-{2\mathrm{\&delta;}}_{\mathrm{col}}+1\end{array}}{\mathrm{\&Sigma;}}}{(p_1^i(j+i-1)-p_2^i({\mathrm{\&delta;}}_{\mathrm{col}}+i))}^2---\left(10\right)$

式中，下标1为低地址图像序号，下标2为高地址图像序号；

步骤（4.2），获取行相关矩阵Cof_row(i)的最小值以及该最小值对应的行位置信息、列相关矩阵Cof_col(j)的最小值以及该最小值对应的列位置信息，然后确定两帧图像的相对位移，如下式所示：

$d_{\mathrm{row}}\stackrel{\mathrm{\&Delta;}}{=}\arg \min \left({\mathrm{Cof}}_{\mathrm{row}}\right)---\left(11\right)$

$d_{\mathrm{col}}\stackrel{\mathrm{\&Delta;}}{=}\arg \min \left({\mathrm{Cof}}_{\mathrm{col}}\right)---\left(12\right)$

式中，d_row为行偏移向量，d_col为列偏移向量。

每确定一整行或者整列的长度后将得到的结果和当前的位置信息暂存在FPGA内部的逻辑单元寄存器中，然后进行下一行或列的，将下一行或列的结果和前一次存在寄存器中的上一行结果进行比较，如果新的结果小于旧的结果，则将寄存器中的结果和位置信息更新，如果不小于则寄存器中的值都保持不变，如此按照上述（9）～（12）遍历两帧图像的所有投影向量，最终保存在寄存器中的值就是两帧图像的相对位移。

步骤5，判断相邻两帧图像的重叠区，确定该两帧图像的最小误差矩阵，并更新参数存储SRAM中的校正参数；以上三步采用多级流水线数据排布结构，具体过程为：

步骤（5.1），根据步骤4所得两帧图像的相对位移，判断相邻两帧图像的重叠区，分别确定图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，根据相对位移都可能出现正负两种情况的考虑，包括以下4种判断：

若d_row<0且d_col<0，则：X1=(1-d_row)～N，Y1=(1-d_col)～M，X2=1～(N+d_row)，Y2=1～(M+d_col)；

若d_row<0且d_col>0，则：X1=1～(N+d_row)，Y1=(1+d_col)～M，X2=(1-d_row)～N，Y2=1～(M-d_col)；

若d_row>0且d_col<0，则：X1=(1+d_row)～N，Y1=1～(M+d_col)，X2=1～(N-d_row)，Y2=(1-d_col)～M；

若d_row>0且d_col>0，则：X1=1～(N-d_row)，Y1=1～(M-d_col)，X2=(1+d_row)～N，Y2=(1+d_col)～M；

其中，d_row为两帧图像的行偏移向量，d_col为两帧图像的列偏移向量；M为图像的行数，N为图像的列数；（X1，Y1）为图像存储SRAM中低地址区的重叠区寻址范围，（X2，Y2）为图像存储SRAM中高地址区的重叠区寻址范围，如附图2中所示；

步骤（5.2），根据图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，确定两帧图像的最小误差矩阵：

①采用校正后的第n-1帧图像去配准第n帧图像，依次从两个图像存储SRAM中读取重叠区对应位置的像素值并相减，误差矩阵e_n(i,j)如下式所示：

e_n(i,j)＝X_n-1(i-d_row,j-d_col)-X_n(i,j)    （13）

式中，X_n-1(i-d_row,j-d_col)为校正后的第n-1帧图像和第n帧图像的重叠区；

②将得到的结果求取绝对值并与阈值α进行比较，且50≤α≤200，若大于该阈值，将误差矩阵中该位置的值置零；若小于等于该阈值，将误差矩阵中该位置的值保留，得到修正后的误差矩阵；

③确定新的校正参数，公式如下：

w_n+1(i,j)＝w_n(i,j)+a·e_n(i,j)·Y_n(i,j)（14）

b_n+1(i,j)＝b_n(i,j)+a·e_n(i,j)

b_n+1(i,j)为更新后的偏置校正参数，w_n+1(i,j)为更新后的增益校正参数；a为学习速率系数且1≤a≤2；a代表了每次迭代的步长，a的大小影响着收敛速度，如果a比较大，那么收敛速度就会比较快，但是若a比较小，那么方法稳定性比较好。

步骤（5.3），将更新之后的参数存放到参数存储SRAM中相应的位置上，循环步骤（5.2）～步骤（5.3），遍历图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，更新参数存储SRAM中重叠区的校正参数。

按照该流水线的处理方式，每当完成图像存储SRAM中处在重叠区位置的一对像素点值后，在之后的3个数据时钟之内还可以完成对重叠区该位置的参数更新。因此，只需要多出3个数据时钟就可以完成对重叠区内的参数更新，比普通的分开操作的速度快很多。

步骤6，参数存储SRAM中属于相邻两帧图像的重叠区的校正参数更新完成之后，返回步骤1，对新一帧图像进行非均匀性校正。

上述步骤3中如果将投影向量、滤波以及存RAM的操作分成三个独立的操作进行则会消耗大量的数据时钟，造成数据反复读取的冗余，增加FPGA逻辑电路的竞争与冒险，本发明采用多级流水线结构将这三个部分合为一体，具体的操作为首先将余弦-正弦滤波器用查找表的形式将滤波器存放在FPGA中；然后从图像存储SRAM中按照行或列的方向进行寻址，每次得到一行或者一列的投影向量和值后立刻与当前地址区的整帧图像均值进行相减，将得到的结果与对应的查找表中的滤波器值进行乘法操作；继而将该最终结果直接存至4个内部RAM中对应的位置上。假设图像的维度是M×N，用这样的流水线方式可以将单行或者单列的数据处理过程缩短到只需要M+3或者N+3个数据时钟即可完成，比普通的分开操作的方式速度大大提高。如此在处理的过程中完成对图像存储SRAM中两帧图像的读取操作后，既可以在后续的3个时钟内完成所有投影向量确定，滤波以及存储内部RAM的操作。

实施例1

（1）结合图3，将本发明基于FPGA的场景非均匀性校正方法在不同强弱等级下的配准精度进行对比，其中图3（a）为未加非均匀性的相邻两帧具有一定偏移量的原始图像，处理得到两幅图像的偏移向量(Δx,Δy)是（8.00，-11.00）；图3（b）为两幅在图3（a）的基础上叠加了轻度非均匀性的图像，处理得到两幅图像的偏移向量(Δx,Δy)是（8.00，-11.00）；图3（c）为两幅在图3（a）的基础上叠加了轻度非均匀性的图像，处理得到两幅图像的偏移向量(Δx,Δy)是（8.00，-11.00）。

由以上结果可以说明，本发明方法提出的投影向量鲁棒性很好，能够适应各种非均匀性强度，即使图像上原始非均匀性十分重，也能够准确的确定出相邻两帧的相对位移，并最终完成非均匀性校正。

（2）结合图4本发明基于FPGA的场景非均匀性校正方法处理实时场景的连续校正效果图，每隔5帧采集一帧校正后效果图，共采集了28帧，依次记为图4（a）～图4（ab）。

刚开始校正时，图像的非均匀性较重，大大降低了图像的质量，如图4（a）所示；经过约60帧图像后，图像的非均匀性已经降低很多，如图4（l）；再经过几十帧的校正之后，图像的非均匀性基本被全部消除，图像的质量得到了很好的改善，如图4（q）～图4（ab）所示。通常情况下实际场景中会出现强弱不同的高频非均匀性和低频非均匀性，本发明方法也不会受到干扰，仍然能够准确的完成校正。

（3）表1是本发明方法与传统的2-D配准方法的图像配准的精度对比，通过将本发明方法和传统的2-D配准方法对相同非均匀性强度和形式的测试视频进行仿真对比发现，本技术在配准精度上超过了传统的2-D配准方法。

表1

综上所述，本发明公开了一种基于FPGA的场景非均匀性校正方法，相对于多帧统计类的方法，本发明的技术只需要几十帧甚至十几帧就可以完成校正，对非均匀性的频率性质不敏感，能够对高频和低频的非均匀性都进行很好的校正；另外，利用一种全新的投影向量参与，完全在时域范围内进行，不仅工作量小、速度快，可以完全硬件化实现使得工程化移植成为了现实，并且该投影向量鲁棒性十分好，即使图像上非均匀性情况很重，也能够十分准确的确定出相邻两帧的位移，不会出现误配准而导致图像校正失败的问题，具有重要的实际应用价值。

Claims (6)

1.一种基于FPGA的场景非均匀性校正方法，其特征在于，包括以下步骤：

步骤1，将每帧原始图像数据叠加上参数存储SRAM中的校正参数，将校正后的图像数据送往监视器进行显示；

步骤2，将校正后的相邻两帧图像数据依次存入图像存储SRAM的低地址和高地址；

步骤3，确定图像存储SRAM中两帧图像数据各自的行投影向量和列投影向量，对形成的四个投影向量分别进行滤波，并存入与各投影向量对应的内部RAM；

步骤4，根据内部RAM中存储的投影向量，确定两帧图像对应行投影向量之间的行相关矩阵、两帧图像对应列投影向量之间的列相关矩阵，并得到两帧图像的相对位移；

步骤5，判断相邻两帧图像的重叠区，确定该两帧图像的最小误差矩阵，并更新参数存储SRAM中的校正参数；

步骤6，参数存储SRAM中属于相邻两帧图像的重叠区的校正参数更新完成之后，返回步骤1，对新一帧图像进行非均匀性校正。

2.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤1所述将每帧原始图像数据叠加上参数存储SRAM中的校正参数，具体为：对输出的原始图像数据Y_n(i,j)进行校正，得到校正后图像数据X_n(i,j)，校正公式如下：

X_n(i,j)＝w_n(i,j)·Y_n(i,j)+b_n(i,j)    （1）

式中，b_n(i,j)为第(i,j)个像元的偏置校正参数，w_n(i,j)为第(i,j)个像元的增益校正参数。

3.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤3所述确定图像存储SRAM中两帧图像数据各自的行投影向量和列投影向量，对形成的四个投影向量分别进行滤波，并存入与各投影向量对应的内部RAM，以上三步采用多级流水线数据排布结构，具体过程为：

步骤（3.1），将滤波器用查找表的形式存放在FPGA中；

步骤（3.2），从图像存储SRAM中按照行或列的方向进行寻址，确定该行的行投影向量或该列的列投影向量公式如下：

$p_x^i\left(j\right)\stackrel{\mathrm{\&Delta;}}{=}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{p}_x(i,j)-\underset{i=1,j=1}{\overset{i=M,j=N}{\mathrm{\&Sigma;}}}{p}_x(i,j)/N---\left(2\right)$

$p_x^j\left(i\right)\stackrel{\mathrm{\&Delta;}}{=}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{p}_x(i,j)-\underset{i=1,j=1}{\overset{i=M,j=N}{\mathrm{\&Sigma;}}}{p}_x(i,j)/M$

式中i为行序号，j为列序号，p_x(i,j)为该幅图像坐标为(i,j)的像素值，x表示相邻两帧图像的序号且x＝1,2，下标1为低地址图像即第n-1帧图像的序号，下标2为高地址图像即第n帧图像的序号；M为图像总行数，N为总列数；

步骤（3.3），每得到一行或一列的投影向量后，利用查找表中对应滤波器对该投影向量进行滤波；对于列投影向量滤波公式如下：

$p_x^i\left(j\right)=\left\{\begin{array}{c}{p}_x^i\left(j\right)\&CenterDot;\left(\frac{1+\cos (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{row}}-1-j)/{\mathrm{\&delta;}}_{\mathrm{row}})}{2}\right)j<{\mathrm{\&delta;}}_{\mathrm{row}}\\ p_x^i\left(j\right)\&CenterDot;\left(\frac{1-\sin (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{row}}-1-j)/{\mathrm{\&delta;}}_{\mathrm{row}})}{2}\right)j>N-{\mathrm{\&delta;}}_{\mathrm{row}}\end{array}\right.---\left(3\right)$

对于行投影向量滤波公式如下：

$p_x^j\left(i\right)=\left\{\begin{array}{c}{p}_x^j\left(i\right)\&CenterDot;\left(\frac{1+\cos (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{col}}-1-i)/{\mathrm{\&delta;}}_{\mathrm{col}})}{2}\right)i<{\mathrm{\&delta;}}_{\mathrm{col}}\\ P_x^j\left(i\right)\&CenterDot;\left(\frac{1-\sin (\mathrm{\&pi;}\&CenterDot;({\mathrm{\&delta;}}_{\mathrm{col}}-1-i)/{\mathrm{\&delta;}}_{\mathrm{col}})}{2}\right)i>M-{\mathrm{\&delta;}}_{\mathrm{col}}\end{array}\right.---\left(4\right)$

式中，δ_row为行方向位移最大值，δ_col为列方向位移最大值；

步骤（3.4），将滤波后的投影向量存入对应的内部RAM，循环步骤（3.2）～（3.4）直至行寻址和列寻址均遍历两帧图像；其中低地址图像的行投影向量存入第一内部RAM，低地址图像的列投影向量存入第二内部RAM，高地址图像的行投影向量存入第三内部RAM，高地址图像的列投影向量存入第四内部RAM。

4.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤4中所述两帧图像的相对位移，具体确定过程如下：

步骤（4.1），确定第一内部RAM和第三内部RAM中两帧图像对应行投影向量之间的行相关矩阵Cof_row(i)，以及第二内部RAM和第四内部RAM中两帧图像对应列投影向量之间的列相关矩阵Cof_col(j)，公式如下：

${\mathrm{Cof}}_{\mathrm{row}}\left(i\right)=\underset{i=1,j=1}{\overset{\begin{array}{c}i={2\mathrm{\&delta;}}_{\mathrm{row}}+1\\ j=M-{2\mathrm{\&delta;}}_{\mathrm{row}}+1\end{array}}{\mathrm{\&Sigma;}}}{(p_1^j(j+i-1)-p_2^j({\mathrm{\&delta;}}_{\mathrm{row}}+i))}^2---\left(5\right)$ ${\mathrm{Cof}}_{\mathrm{col}}\left(j\right)=\underset{i=1,j=1}{\overset{\begin{array}{c}i={2\mathrm{\&delta;}}_{\mathrm{col}}+1\\ j=N-{2\mathrm{\&delta;}}_{\mathrm{col}}+1\end{array}}{\mathrm{\&Sigma;}}}{(p_1^i(j+i-1)-p_2^i({\mathrm{\&delta;}}_{\mathrm{col}}+i))}^2$

式中，下标1为低地址图像序号，下标2为高地址图像序号；

步骤（4.2），获取行相关矩阵Cof_row(i)的最小值以及该最小值对应的行位置信息、列相关矩阵Cof_col(j)的最小值以及该最小值对应的列位置信息，然后确定两帧图像的相对位移，如下式所示：

$d_{\mathrm{row}}\stackrel{\mathrm{\&Delta;}}{=}\arg \min \left({\mathrm{Cof}}_{\mathrm{row}}\right)---\left(6\right)$ $d_{\mathrm{col}}\stackrel{\mathrm{\&Delta;}}{=}\arg \min \left({\mathrm{Cof}}_{\mathrm{col}}\right)$

式中，d_row为行偏移向量，d_col为列偏移向量。

5.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤5中所述判断相邻两帧图像的重叠区，确定该两帧图像的最小误差矩阵，并更新参数存储SRAM中的校正参数；以上三步采用多级流水线数据排布结构，具体过程为：

步骤（5.1），根据步骤4所得两帧图像的相对位移，判断相邻两帧图像的重叠区，分别确定图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，包括以下4种判断：

若d_row<0且d_col<0，则：X1=(1-d_row)～N，Y1=(1-d_col)～M，X2=1～(N+d_row)，Y2=1～(M+d_col)；

若d_row<0且d_col>0，则：X1=1～(N+d_row)，Y1=(1+d_col)～M，X2=(1-d_row)～N，Y2=1～(M-d_col)；

若d_row>0且d_col<0，则：X1=(1+d_row)～N，Y1=1～(M+d_col)，X2=1～(N-d_row)，Y2=(1-d_col)～M；

若d_row>0且d_col>0，则：X1=1～(N-d_row)，Y1=1～(M-d_col)，X2=(1+d_row)～N，Y2=(1+d_col)～M；

其中，d_row为两帧图像的行偏移向量，d_col为两帧图像的列偏移向量；M为图像的行数，N为图像的列数；（X1，Y1）为图像存储SRAM中低地址区的重叠区寻址范围，（X2，Y2）为图像存储SRAM中高地址区的重叠区寻址范围；

步骤（5.2），根据图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，确定两帧图像的最小误差矩阵：

①采用校正后的第n-1帧图像去配准第n帧图像，依次从两个图像存储SRAM中读取重叠区对应位置的像素值并相减，误差矩阵e_n(i,j)如下式所示：

e_n(i,j)＝X_n-1(i-d_row,j-d_col)-X_n(i,j)    （7）

式中，X_n-1(i-d_row,j-d_col)为校正后的第n-1帧图像和第n帧图像的重叠区；

②将得到的结果求取绝对值并与阈值α进行比较，且50≤α≤200，若大于该阈值，将误差矩阵中该位置的值置零；若小于等于该阈值，将误差矩阵中该位置的值保留，得到修正后的误差矩阵；

③确定新的校正参数，公式如下：

w_n+1(i,j)＝w_n(i,j)+a·e_n(i,j)·Y_n(i,j)    （8）

b_n+1(i,j)＝b_n(i,j)+a·e_n(i,j)

b_n+1(i,j)为更新后的偏置校正参数，w_n+1(i,j)为更新后的增益校正参数，a为学习速率系数且1≤a≤2；

步骤（5.3），将更新之后的参数存放到参数存储SRAM中相应的位置上，循环步骤（5.2）～步骤（5.3），遍历图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，更新参数存储SRAM中重叠区的校正参数。

6.一种基于FPGA的场景非均匀性校正装置，其特征在于，包括FPGA、图像存储SRAM、参数存储SRAM和监视器，其中图像存储SRAM和参数存储SRAM均与该FPGA的处理单元相连接，监视器与FPGA的视频接口相连：

图像存储SRAM分为图像存储SRAM低地址与图像存储SRAM高地址，用来存储相邻的两帧图像数据；参数存储SRAM用来存储图像校正参数；监视器用来显示校正后的图像数据。