CN102316283A - 空间行间转移面阵ccd相机漏光现象实时消除装置 - Google Patents

Abstract

本发明涉及一种空间行间转移面阵CCD相机漏光现象实时消除装置，该装置包括：采集面阵CCD有效像素区域感应的原始图像数据的装置；提取面阵CCD暗像元区域漏光信号数码值的装置；图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。本发明利用从暗像元区域提取的漏光信号对原始图像数据相应列进行校正，计算量小，实时性好。并且由于漏光信号能够准确地代表高亮度区域产生的漏光电荷，在保证不改变CCD工作条件的情况下，很好地消除了漏光现象。

Description

空间行间转移面阵CCD相机漏光现象实时消除装置

技术领域

本发明属于空间相机技术领域，涉及一种空间相机的漏光实时消除装置。

背景技术

随着航空航天技术的飞速发展，大面阵画幅式CCD相机以其高分辨率，大视场的优势成为航空航天相机的主要发展方向。在几种面阵CCD结构中，行间转移面阵CCD具有无拖影，转移速率快，拥有电子快门功能等特点，特别适合于目标捕获与识别，资源勘查，地质测绘等工作，但是在行间转移面阵CCD工作期间，会产生漏光现象，对成像质量造成影响。

漏光是当CCD图像传感器传输信号电荷时发生的一种噪声，也是面阵CCD图像传感器特有的噪声。当拍摄对象中含有高亮度的光线或太阳光时容易出现漏光，在图像中表现为高亮度的部分上下方可看见线状或带状白色的噪声。漏光出现在高亮度拍摄对象的上下方向，其形成原因是：强光照射到摄影区域中的像素时会发生漏光电荷，漏光电荷与垂直CCD传输的信号电荷混合在一起。由于有效信号电荷转移完毕的空白的垂直CCD中，残留着持续发生的漏光电荷，这些漏光电荷与后续帧有效信号电荷混合，结果导致连续帧内漏光出现在摄影区域的上、下方，从而形成线状或带状的漏光噪声，看起来像垂直拉出的线条。行间转移面阵CCD漏光产生的主要原因包括：

1、从光电二极管开口入射的光，不仅有入射角度与表面垂直的成分。由于光具有波动的性质，通过开口的光具有扩散的能力，即使在读出栅极附近边缘或是相反侧，也会进行少量的光电转换。此处发生的电子，沿着光电二极管与垂直CCD之间的电势分布进入垂直CCD，成为漏光电荷。

2、在光电二极管的开口边缘，即Si基板表面等不同折射率的边界处进行反射、散射的光进入垂直CCD，此处产生的电荷也会导致漏光。

3、在掩埋型光电二极管的表面，P+区域发生的电子在表面扩散，漏往相邻垂直CCD的电荷也会导致漏光。

4、由于垂直CCD进行遮光的AL薄膜有缺陷，漏入的光线也会导致漏光发生。

目前常用的漏光抑制方法有：

一、调节电子快门信号时序

漏光现象的严重程度取决于CCD的曝光时间，曝光时间越长，高亮度目标区域的信号电荷越多，漏光现象越严重。通过辐射定标实验，寻找漏光现象出现时的高亮度目标对应的数码值作为参考值，调节电子快门信号，使图像输出的数码值保持在低于参考值的情况下，从而达到抑制漏光现象的目的。具体电子快门调节方法流程见图1：CCD成像器件输出的模拟信号经过视频AD芯片量化后送入图像处理模块；图像处理模块计算每帧图像灰度均值，并将其与参考值进行比较，再根据比较结果给出反馈信号；图像处理模块输出的反馈信号一路送入驱动信号控制单元，以改变空间相机电子快门数量，一路送入视频AD芯片以调整增益。

针对空间相机所处的特殊环境，图像处理模块根据每帧图像灰度均值与参考值的比较结果给出反馈信号，控制电子快门信号时序，以调整积分时间控制CCD光敏单元曝光度，当图像灰度均值接近参考值，而继续调整电子快门档位将超出参考值引起超调震荡时，通过增益调整，使灰度均值满足参考范围。通过增益控制，可以减少电子快门档位调整时可能产生的超调震荡。调节电子快门的方法可以有效缓解漏光现象，但是不能单纯依靠电子快门方法，过低降低图像灰度，会影响相机动态范围，降低信噪比。

二、后续数字图像处理方法

在图像中完全消除漏光信号的影响，只能通过后续数字图像处理的方法，目前常用的数字图像处理方法是通过主要是在目标检测之后剔除虚假目标时，采用去除目标拖尾上的虚假目标来实现。步骤1：对于输入图像F的每一列，计算每列图像的灰度平均值。步骤2：对于图像F的每一个像素，按公式1计算出消除漏光后的图像灰度矩阵g(i，j)。

$g(i,j)=\left\{\begin{array}{c}f(i,j)-\stackrel{\‾}{f\left(\mathrm{g\; j}\right)},f(i,j)>\stackrel{\‾}{f\left(\mathrm{g\; j}\right)}\\ 0,f(i,j)\≤\stackrel{\‾}{f\left(\mathrm{g\; j}\right)}\end{array}\right.---\left(1\right)$

这种方法的缺点是，对于目标区域数码值很高，拖影区域或背景区域数码值较低时，采用平均值代替漏光信号，会损失一部分有用的灰度信息。

上述两种方法虽然能够对漏光现象的抑制起到一定的作用，但是都不能从根本上消除这一CCD器件的特有噪声。而且对于航空航天面阵CCD相机而言，当相机轨道高度与相机飞行姿态固定后，我们无法随意的改变CCD像素读出时钟，也不能随意改变CCD曝光时间，况且降低曝光时间的方法会影响CCD成像质量。通过后续图像处理的方法虽然能够消除漏光现象，但是对于大面阵CCD而言，后续图像处理需要开辟大量的存储空间，计算量大，影响了成像***的实时性。

发明内容

本发明要解决的技术问题是提供一种能够在不改变CCD工作条件的情况下，很好地消除漏光现象的空间行间转移面阵CCD相机漏光现象实时消除装置。

为了解决上述技术问题，本发明的空间行间转移面阵CCD相机漏光现象实时消除装置包括：

采集面阵CCD有效像素区域感应的原始图像数据的装置；

提取面阵CCD暗像元区域漏光信号数码值的装置；

图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

本发明通过分析CCD结构组成，根据暗像元区域内包含漏光信号这一特点，利用从暗像元区域提取的漏光信号对原始图像数据相应列进行校正，计算量小，实时性好。并且由于漏光信号能够准确地代表高亮度区域产生的漏光电荷，在保证不改变CCD工作条件的情况下，很好地消除了漏光现象。

所述提取面阵CCD暗像元区域漏光信号数码值的装置包括一滤波器，所述滤波器对从面阵CCD暗像元区域提取的漏光信号进行滤波，消除噪声，然后将滤波后的结果送到图像数据校正装置，由图像数据校正装置利用滤波后的结果中包含的漏光信号数码值对原始图像相应列数据进行校正。

所述的滤波器采用中值滤波器。

由于暗像元区域存在暗电平噪声，直接将漏光信号从原始图像相应列的像素数码值(即灰度值)中去除，会产生不精确的消除结果，其表现为在图像中产生视觉的退化，诸如一些附加的线状噪声。为了消除这些噪声影响，本发明将提取出来的漏光信号进行滤波，保留有用的漏光信号，消除噪声。通常滤波器分为线性滤波器和非线性滤波器两大类。线性滤波器对高斯噪声有较好的平滑作用，但其它噪声的抑制效果较差，而且会模糊边缘。非线性滤波器中的中值滤波器在过滤噪声的同时，能很好的保护边缘轮廓信息，它对消除孤立点和线段的干扰十分有用，特别是对于二进制噪声尤为有效。这一点特别符合漏光信号的滤波要求，所以本发明中采用中值滤波器对图像进行滤波处理。

所述的中值滤波器为快速中值滤波器。

所述的快速中值滤波器包括第一存储区，第二存储区，分频器，排序器，第一寄存器组，第二寄存器组；所述第一存储区将图像像素时钟作为写入时钟，存储从面阵CCD暗像元区域提取的N行图像数据；分频器将图像像素时钟倍频后，作为第一存储区的读取时钟；排序器按相同列的原则读取第一存储区内的图像数据，按相同列像素数码值由小到大的顺序进行排序生成一个新的N行图像数据，新的N行图像数据写入第二存储区；第一寄存器组从第二存储区中读取前N列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第一寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；同时第二寄存器组从第二存储区中读取第二列至第N+1列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第二寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；排序器将中间值输出到图像数据校正装置后，第一寄存器组和第二寄存器组清零；然后，第二存储区按乒乓结构将第三列至第N+2列图像数据赋值给第一寄存器组，将第四列至第N+3列图像数据赋值第二寄存器组，由排序器继续对第一寄存器组和第二寄存器组中的像素数码值进行行排序和对角线排序取出中间值，将中间值输出到图像数据校正装置；如此类推，直至完成整个N行图像数据的中值排序及中间值输出；图像数据校正装置利用中间值中包含的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

为了满足***实时性要求，完成硬件实时处理，需要在CCD有效像元数据到来之前完成中值滤波，而传统中值滤波算法排序费时、不利于实时处理，本发明利用窗内像素灰度值排序的改进算法，即快速中值滤波算法，得到包含了漏光信号的中间值数列，并由图像数据校正装置利用中间值数列对原始图像数据进行校正，对比于传统中值滤波算法，不仅运算量大大减少，而且占用的硬件资源也更少，因此它对图像数据的处理速度比传统中值滤波算法更快。

所述图像数据校正装置包括一减法器；减法器将漏光信号数码值从与漏光信号同列的原始图像像素数码值中减去，得到去除漏光信号后的图像数据。

减法器利用式(2)得到去除漏光信号后的图像数据；

I_y(i，j)＝I_x(i，j)-y_p(j)

(2)

式(2)中I_y(i，j)为面阵CCD有效像素区域上第i行、第j列像素去除漏光信号后的数码值，I_x(i，j)为面阵CCD上第i行、第j列像素的原始图像数码值，y_p(j)为提取的第j列像素漏光信号数码值。

所述图像数据校正装置还可以包括比较器和加权平均运算单元；比较器将漏光信号数码值与饱和阈值进行比较，若漏光信号数码值小于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去，得到去除漏光信号后的图像数据；若漏光信号数码值大于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去后，再由加权平均运算单元利用发生漏光现象区域的左右区域像素数码值进行加权平均得到校正后的图像数据。

若漏光信号数码值大于饱和阈值，发生漏光现象的区域占有n列像素，

则加权平均运算单元利用式(3)得到去除漏光信号后的图像数据；

(3)

其中I_y(i，j)、I_y(i，j+1)、……、I_y(i，j+n-1)为饱和区域各列像素经校正后得到的数码值，I_y(i，j-n)、I_y(i，j-n-1)、……、I_y(i，j-1)为饱和区域左侧所取n列像素经校正后得到的数码值，I_y(i，j+n)、I_y(i，j+n+1)、……、I_y(i，j+2n-1)为饱和区域右侧所取n列像素校正后的数码值、

为饱和区域左侧和右侧所取各列像素的权值；

可以取1×(1/n)取整后得到的数值，

可以取保留1位小数的数值。

所述图像数据校正装置还可以采用下述技术方案：

图像数据校正装置包括减法器、比较器和加权平均运算单元；比较器将漏光信号数码值与饱和阈值进行比较，若漏光信号数码值小于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去，得到去除漏光信号后的图像数据；若漏光信号数码值大于饱和阈值，则由加权平均运算单元利用发生漏光现象区域的左右区域像素数码值进行加权平均得到校正后的图像数据。

若漏光信号数码值大于饱和阈值，发生漏光现象的区域占有n列像素，则加权平均运算单元利用式(4)得到去除漏光信号后的图像数据；

(4)

其中I_y(i，j)、I_y(i，j+1)、……、I_y(i，j+n-1)为饱和区域各列像素经校正后得到的数码值，I_x(i，j-n)、I_x(i，j-n-1)、……、I_x(i，j-1)为饱和区域左侧所取n列像素原始图像数码值，I_x(i，j+n)、I_x(i，j+n+1)、……、I_x(i，j+2n-1)为饱和区域右侧所取n列像素原始图像数码值、为饱和区域左侧和右侧所取各列像素的权值；

可以取保留1位小数的数值。

实际上，由于快速中值滤波器是从面阵CCD暗像元区域提取N行图像数据，只有与漏光区域对应的列像素数码值不为零，而其他列像素数码值均为零，得到的中间值序列中也只有与漏光区域对应的列中间值不为零。因而I_y(i，j-n)、I_y(i，j-n-1)、……、I_y(i，j-1)、I_y(i，j+n)、I_y(i，j+n+1)、……、I_y(i，j+2n-1)分别等于I_x(i，j-n)、I_x(i，j-n-1)、……、I_x(i，j-1)、I_x(i，j+n)、I_x(i，j+n+1)、……、I_x(i，j+2n-1)。其中N的选择没有严格的限制，可以根据CCD暗像元行数和对实时性要求进行选择。

若实际有效像素区域数码值没有饱和，发生漏光现象的区域图像灰度值是真实图像灰度值和漏光信号灰度值叠加的结果，将漏光信号灰度值从与漏光信号同列的原始图像像素灰度值中减去能够准确的还原真实图像。但是当实际有效像素区域数码值发生饱和后，将漏光信号直接从图像数据中减去，会给原始图像数据带来图像退化，简单理解就是去除漏光信号的输出图像已经不能完全保留原始图像数据细节了。从漏光信号数码值中可以判断出与漏光信号同列的实际有效像素区域数码值是否饱和。此时，通过建立饱和阈值a可以判断，有效像素图像数据中是否存在饱和信号，若有效像素图像数据饱和则不能单纯的去掉漏光信号，需要进行补偿。当高亮度区域产生的漏光电荷过大时，对大于饱和阈值的漏光区域进行加权平均补偿，使整个CCD相机可以工作在很大的动态范围内，最终消除漏光现象。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为电子快门调光方法原理框图。

图2为本发明的空间行间转移面阵CCD相机漏光现象实时消除装置的结构框图。

图3为快速中值滤波器结构框图。

图4为排序器对3行3列数据进行排序过程的示意图。

图5为中值滤波流程图。

图6为实施例2中图像数据校正装置结构框图。

图7实施例3中图像数据校正装置结构框图。

图8加权平均补偿原理示意图。

图9a漏光现象原始图片。

图9b、9c漏光处理结果图片。

具体实施方式

本发明的空间行间转移面阵CCD相机漏光现象实时消除装置利用FPGA编程实现。

如图2所示，所述FPGA内部包含下述功能模块：

采集面阵CCD有效像素区域感应的原始图像数据的装置；

提取面阵CCD暗像元区域漏光信号数码值的装置；

图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

实施例1

如图2所示，本发明的空间行间转移面阵CCD相机漏光现象实时消除装置包括：

采集面阵CCD有效像素区域感应的原始图像数据的装置；

提取面阵CCD暗像元区域漏光信号数码值的装置；

图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

所述提取面阵CCD暗像元区域漏光信号数码值的装置：由面阵CCD暗像元区域任意一行像素中提取漏光信号数码值，并将漏光信号数码值送给图像数据校正装置。

所述图像数据校正装置包含一个减法器，该减法器利用式(2)将漏光信号数码值从相应列原始图像数据中减去，得到去除漏光信号后的图像数据；

I_y(i，j)＝I_x(i，j)-y_p(j)        (2)

式(2)中I_y(i，j)为面阵CCD有效像素区域上第i行、第j列像素去除漏光信号后的数码值，I_x(i，j)为面阵CCD上第i行、第j列像素的原始图像数码值，y_p(j)为提取的第j列像素的漏光信号数码值。

实施例2

如图2所示，本发明的空间行间转移面阵CCD相机漏光现象实时消除装置包括：

采集面阵CCD有效像素区域感应的原始图像数据的装置；

提取面阵CCD暗像元区域漏光信号数码值的装置；

图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

所述提取面阵CCD暗像元区域漏光信号数码值的装置包括一滤波器，该滤波器采用快速中值滤波器。

如图3、4所示，所述的快速中值滤波器包括第一存储区，第二存储区，分频器，排序器，第一寄存器组，第二寄存器组；所述第一存储区将图像像素时钟作为写入时钟，存储从面阵CCD暗像元区域提取的3行图像数据；分频器将图像像素时钟6倍频后，作为第一存储区的读取时钟；排序器按相同列的原则读取第一存储区内的图像数据，按相同列像素数码值由小到大的顺序进行排序生成一个新的3行图像数据，新的3行图像数据写入第二存储区；第一寄存器组从第二存储区中读取前三列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第一寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；同时第二寄存器组从第二存储区中读取第二、三、四列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第二寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；排序器将中间值输出到图像数据校正装置后，第一寄存器组和第二寄存器组清零；然后，第二存储区按乒乓结构将第三、四、五列图像数据赋值给第一寄存器组，将第四、五、六列图像数据赋值第二寄存器组，由排序器继续对第一寄存器组和第二寄存器组中的像素数码值进行行排序和对角线排序取出中间值，将中间值输出到图像数据校正装置；如此类推，直至完成整个3行图像数据的中值排序及中间值输出；图像数据校正装置利用中间值中包含的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

从漏光信号数码值中可以判断出与漏光信号同列的实际有效像素区域对应列像素的数码值是否饱和，此时通过建立饱和阈值a可以判断，有效像素图像数据中是否存在饱和信号，若有效像素图像数据饱和则不能单纯的去掉漏光信号，需要进行补偿。

通过辐射定标实验可以得出当漏光区域信号幅值在200数码值以上时，实际有效像素区域对应列像素数码值就发生饱和，因此可以将阈值a设定在200数码值，当需要补偿时，采用加权平均的方法，利用饱和区域左右区域像素值进行加权平均。

如图6所示，所述图像数据校正装置包括减法器、比较器和加权平均运算单元；比较器将漏光信号数码值与饱和阈值进行比较，若漏光信号数码值小于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去，得到去除漏光信号后的图像数据；若漏光信号数码值大于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去后，由加权平均运算单元利用发生漏光现象的区域左右区域像素数码值进行加权平均得到校正后的图像数据。

减法器利用式(2)将漏光信号数码值从相应列原始图像数据中减去，得到去除漏光信号后的图像数据；

I_y(i，j)＝I_x(i，j)-y_p(j)        (2)

式(2)中I_y(i，j)为面阵CCD有效像素区域上第i行、第j列像素去除漏光信号后的数码值，I_x(i，j)为面阵CCD上第i行、第j列像素的原始图像数码值，y_p(j)为提取的第j列像素的漏光信号数码值。

若漏光信号数码值小于饱和阈值，假设发生漏光现象的区域占有3列像素，利用式(5)计算得到校正后的图像数据。

(5)

其中I_y(i，j)、I_y(i，j+1)、I_y(i，j+2)为发生漏光现象的第i行、第j、j+1、j+2列像素去除漏光信号后的数码值；

为第j-3、j-2、j-1、j+3、j+4、j+5列的权值；I_y(i，j-3)、I_y(i，j-2)、I_y(i，j-1)、I_y(i，j+3)、I_y(i，j+4)、I_y(i，j+5)分别为原始图像第j-3、j-2、j-1、j+3j+4、j+5列像素数码值。

实施例3

如图2所示，本发明的空间行间转移面阵CCD相机漏光现象实时消除装置包括：

采集面阵CCD有效像素区域感应的原始图像数据的装置；

提取面阵CCD暗像元区域漏光信号数码值的装置；

图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

所述提取面阵CCD暗像元区域漏光信号数码值的装置所述包括一滤波器，该滤波器采用快速中值滤波器。

如图3所示，所述的快速中值滤波器包括第一存储区，第二存储区，分频器，排序器，第一寄存器组，第二寄存器组；所述第一存储区将图像像素时钟作为写入时钟，存储从面阵CCD暗像元区域提取的5行图像数据；分频器将图像像素时钟12倍频后，作为第一存储区的读取时钟；排序器按相同列的原则读取第一存储区内的图像数据，按相同列像素数码值由小到大的顺序进行排序生成一个新的5行图像数据，新的5行图像数据写入第二存储区；第一寄存器组从第二存储区中读取前五列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第一寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；同时第二寄存器组从第二存储区中读取第二～六列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第二寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；排序器将中间值作为漏光信号数码值输出到图像数据校正装置后，第一寄存器组和第二寄存器组清零；然后，第二存储区按乒乓结构将第三～七列图像数据赋值给第一寄存器组，将第四～八列图像数据赋值第二寄存器组，由排序器继续对第一寄存器组和第二寄存器组中的像素数码值进行排序和对角线排序取出中间值，将中间值作为漏光信号数码值输出到图像数据校正装置；如此类推，直至完成整个5行图像数据的中值排序及中间值输出；图像数据校正装置利用中间值中包含的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

从漏光信号数码值中可以判断出与漏光信号同列的实际有效像素区域对应列像素的数码值是否饱和，此时通过建立饱和阈值a可以判断，有效像素图像数据中是否存在饱和信号，若有效像素图像数据饱和则不能单纯的去掉漏光信号，需要进行补偿。

通过辐射定标实验可以得出当漏光区域信号幅值在200数码值以上时，实际有效像素区域对应列像素数码值就发生饱和，因此可以将阈值a设定在200数码值，当需要补偿时，采用加权平均的方法，利用饱和区域左右区域像素值进行加权平均。

如图7所示，所述图像数据校正装置包括减法器、比较器和加权平均运算单元；比较器将漏光信号数码值与饱和阈值进行比较，若漏光信号数码值小于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去，得到去除漏光信号后的图像数据；若漏光信号数码值大于饱和阈值，则由加权平均运算单元利用发生漏光现象的区域左右区域像素数码值进行加权平均得到校正后的图像数据。

若漏光信号数码值小于饱和阈值，则减法器利用式(2)将漏光信号数码值从相应列原始图像数据中减去，得到去除漏光信号后的图像数据；

I_y(i，j)＝I_x(i，j)-y_p(j)        (2)

式(2)中I_y(i，j)为面阵CCD有效像素区域上第i行、第j列像素去除漏光信号后的数码值，I_x(i，j)为面阵CCD上第i行、第j列像素的原始图像数码值，y_p(j)为提取的第j列像素的漏光信号数码值。

若漏光信号数码值小于饱和阈值，假设发生漏光现象的区域占有3列像素，利用式(6)计算得到校正后的图像数据。

(6)

其中I_y(i，j)、I_y(i，j+1)、I_y(i，j+2)为发生漏光现象的第i行、第j、j+1、j+2列像素去除漏光信号后的数码值；为j-3、j-2、j-1、j+3、j+4、j+5列的权值；I_x(i，j-3)、I_x(i，Ix-2)、I_x(i，j-1)、I_x(i，j+3)、I_x(i，j+4)、I_x(i，j+5)为原始图像第j-3、j-2、j-1、j+3j+4、j+5列像素数码值。

一、漏光信号提取及滤波处理

为了满足***实时性要求，完成硬件实时处理，需要在CCD有效像元数据到来之前完成中值滤波，而传统中值滤波算法排序费时、不利于实时处理，本发明利用一种窗内像素灰度值排序的改进算法，即快速中值滤波算法。快速中值滤波算法对比于传统中值滤波算法，不仅运算量大大减少，在FPGA硬件实现上所占用的硬件资源也更少，因此它对图像数据的处理速度比传统中值滤波算法更快。图4是快速中值滤波示意图。排序步骤如下：

(1)设计一种排序器件，功能是把输入的A、B、C 3个10位无符号整数放入相应位置，由小到大排列开；

(2)把模板数据3个列向量同时排序，进行流水操作，生成一个新的矩阵模板；

(3)继续使用排序器件把新矩阵模板按照行向量进行重新排列组合，再生成第二个新矩阵模板；

(4)把最新生成的矩阵主对角线向量提取出来，再一次使用排序器件进行排序，最后取出中值，这个中值就是中值滤波所要得到的结果。

本发明中设计的基于FPGA实现中值滤波的关键点在于如何完成三数同时读取，及时钟设计上要利用高速时钟作为比较时钟，保证在CCD有效图像数据到来前得出中值结果。

在FPGA内部开辟三个片内RAM作为缓存空间A(即实施例2、3中的第一存储区)，将暗像元区域内前三行数据逐行写入三个片内RAM中。然后采用比较时钟将相同列的三数读入三数排序器进行排序，完成后按由小到大的顺序将数据写入新开辟三个片内RAM缓存空间B(即实施例2、3中的第二存储区)。因为基于VHDL语言设计的三数排序比较器，完成三数排序最多需要4个时钟周期，所以计算上述动作完成共需要6个时钟周期，比较器时钟采用像素读出时钟的6倍，保证了在一行像素时间内完成同列数据的比较，因此完成列排序，需要1行像素读出时间。

由于片内RAM数据读出是顺序读出的，无法将行方向的3个数据同时读出，此时需要开辟3*3的寄存器组作为行排序的缓冲寄存器组。将缓存空间B内的三行数据按3*3方形模板形式读入寄存器组，首先进行行排序，完成行排序后进行对角线排序，得出中值结果后，将整个寄存器组清零。上述动作完成共计需要12个时钟周期。由于比较时钟为像素读出时钟的6倍频，因此需要两个寄存器组(即实施例2、3中的第一寄存器组和第二寄存器组)进行乒乓操作，刚好可以满足在2行像素读出时间内，完成行排序和对角线排序，从而得出中值结果。至此整个滤波器设计基本完成，总结下来需要三行的像素读出时间。

漏光信号提取特征在于：

漏光信号的提取前提是暗像元区域隔离有效成像电荷，仅留漏光电荷和其他噪声电荷。漏光电荷在驱动信号作用下随垂直转移CCD向水平转移CCD转移。在有效电荷区域，漏光电荷与有效成像电荷混合。在暗像元区域，像元不接收外界光照，有效成像电荷被隔离，仅留有漏光电荷存在。对暗像元区域图像数据进行分析，最少提取3行暗像元图像数据，作为分析漏光信号的原始数据。

基于FPGA的实时中值滤波的特征在于：

若CCD行像元数为a，则在FPGA内部开辟a×3的存储空间A，将像素时钟作为写入时钟，将CCD图像数据写入存储空间A。

将像素时钟6倍频，作为存储空间A内数据的读取时钟。按相同列原则读取图像数据，并进行排序。按排序结果由小到大生成一个新的a×3像素数据矩阵，并将其写入在FPGA内部开辟的a×3的存储空间B。

设定两个3×3寄存器组a₁，a₂……a₉，b₁，b₂……b₉，将存储空间B内的图像数据顺序读出两组3×3数据，将其赋值给a₁，a₂……a₉，b₁，b₂……b₉两个寄存器组。首先对寄存器组中的行数据进行排序，并按排序结果更新寄存器组，而后对更新后的寄存器组进行对角线排序，得出中间值。

对寄存器组赋值时，仍采用像素读出时钟的6倍频时钟，对两寄存器组内数据完成排序后，即对其清零，按乒乓结构将后续图像数据赋值给两个寄存器组，直到完成整个数据的中值排序。

二、漏光信号去除

我们将滤波后的漏光信号定义为y_p(i)，按着相同列的原则将漏光信号从有效图像数据中统一减去，该过程的数学描述为：

I_y(i，j)＝I_x(i，j)-y_p(j)

(2)

式(2)中I_y(i，j)和I_x(i，j)代表去除漏光后输出图像数据和原始输入图像数据。在漏光信号去除算法中，若实际有效像素区域数码值没有饱和，发生漏光现象的区域图像是真实图像和漏光信号叠加，按公式(1)计算后输出的图像数据能够准确的还原真实图像，但是当实际有效像素区域数码值发生饱和后，将漏光信号直接从图像数据中减去，会给原始图像数据带来图像退化，简单理解就是去除漏光信号的输出图像已经不能完全保留原始图像数据细节了。从漏光信号数码值中可以判断出与漏光信号同列的实际有效像素区域数码值是否饱和，此时通过建立饱和阈值a可以判断，有效像素图像数据中是否存在饱和信号，若有效像素图像数据饱和则不能单纯的去掉漏光信号，需要进行补偿。

通过辐射定标实验得出当漏光区域信号幅值在200数码值以上时，实际有效像素区域图像数据就发生饱和，因此将阈值a设定在200数码值，当需要补偿时，采用加权平均的方法，利用饱和区域左右区域像素值进行加权平均。

I_y(i，j)＝(w_lgI_y(i，j′)+w_rgI_y(i，j″))/(w_l+w_r)            (6)

漏光消除算法中加权补偿方法特征在于：

对相机进行辐射定标实验，采用无穷远处点光源作为观察对象，采集图像数据。

调整点光源亮度，观察图像数据，记录图像数码值，当图像数据中点光源区域饱和时，记录漏光信号数码值，作为饱和阈值。

当漏光信号数码值大于饱和阈值时，对减去漏光信号的图像数据列进行加权补偿。通过辐射定标实验得出当漏光区域信号幅值在200数码值以上时，实际有效像素区域图像数据就发生饱和，因此将阈值a设定在200数码值，当需要补偿时，采用加权平均的方法，利用饱和区域左右区域像素值进行加权平均。过程如图8所示。

I_y(i，j)＝(w_lgI_y(i，j′)+w_rgI_y(i，j″))/(w_l+w_r)

本发明对漏光现象的消除方法如下：

第一、获取漏光信号。通过分析面阵CCD结构，及电荷转移方式，利用CCD已有的暗像元区域，或利用屏蔽组件人工制造若干暗像元区域，提取漏光信号，漏光的出现是在高亮度拍摄对象上下方向形成，形成造成上下方向影响的原因如图1所示。假设当强光照射在摄影区域正中央的像素会发生漏光电荷，当漏光电荷从感光区转移到垂直转移CCD时，最初的图像帧中漏光信号会形成在摄影区域上方的直线。因为信号电荷转移完毕的空白的垂直CCD中，残留着持续发生的漏光电荷，因此在下一次的读出时序内，位于摄影中央区域下方的信号电荷也要加上漏光电荷，结果导致连续帧内漏光出现在摄影区域的上、下方，从而形成线状或带状的漏光噪声。也就是说，漏光从上到下均匀地出现，这是因为垂直CCD不断地以一定的速度持续转移。从而可见，暗像元区域内的漏光信号，即为成像区域内高亮度区产生的漏光信号，从暗像元区域内提取漏光信号即可消除图像区域的漏光现象。

第二、利用FPGA为核心处理器件，对提取出的漏光信号进行中值滤波处理，由于暗像元区域存在暗电平噪声，同时当光亮度超过了可用动态范围时，直接将漏光信号从其他有效像素中去除，会产生不精确的消除结果。其表现为在图像中产生视觉的退化，诸如一些附加的线状噪声。

为了消除这些噪声影响，我们首先需要将提取出来的漏光信号进行滤波，保留有用的漏光信号，消除噪声。通常滤波器分为线性滤波器和非线性滤波器两大类。线性滤波器对高斯噪声有较好的平滑作用，但其它噪声的抑制效果较差，而且会模糊边缘。非线性滤波器中的中值滤波器在过滤噪声的同时，还能很好的保护边缘轮廓信息。它对消除孤立点和线段的干扰十分有用，特别是对于二进制噪声尤为有效。这一点特别符合漏光信号的滤波要求，所以本发明中采用了中值滤波器对图像进行滤波处理。

第三、漏光消除补偿

当目标区域亮度过高时，漏光信号接近饱和值或远远大于背景区域的数码值，从原始图像中直接减去漏光信号会在漏光信号区域内产生视觉退化，即损失了部分有用的背景图像信息。因此，需要对减去高亮度漏光信号的区域进行补偿。

本发明的积极效果：

本发明从暗像元区域提取漏光信号，经过分析CCD电荷转移的方式，相比以往漏光消除方法(取列均值表示漏光电荷)，从暗像元区域提取的漏光信号能够准确地代表高亮度区域产生的漏光电荷。利用FPGA作为核心处理器件，设计了适用于漏光信号的中值滤波算法，完成滤波的***延迟仅为3行图像数据读出时间，满足实时处理的要求，通过辐射定标实验，确定了饱和阈值，当高亮度区域产生的漏光电荷过大时，对大于饱和阈值的漏光区域进行加权平均补偿，使整个CCD相机可以工作在很大的动态范围内，最终消除漏光现象。本文设计的漏光消除方法，采用硬件实时处理方法，***实时性好，适用于大多数行间转移面阵CCD。

本发明涉及对空间CCD相机漏光信号实时消除的方法。利用暗像元区域提取漏光信号的方法，采用FPGA作为核心处理器件，硬件实时消除漏光现象。本发明与背景技术相比不需改变空间CCD相机的工作条件，利用暗像元区域提取的漏光信号，能够准确地反映高亮度区域产生的漏光电荷。利用FPGA作为核心处理器件，有较强的可操作性，利用FPGA完成硬件实时中值滤波，消除暗像元区域的暗电平噪声，极大地提高了漏光信号的准确性。通过辐射定标实验确定饱和阈值，将其作为进行加权平均补偿的参考值。本发明计算简单、可靠性高、实时性好。本发明提出的空间CCD相机的漏光信号实时消除方法对空间环境下、工作条件受到限制的CCD相机的应用具有现实意义。

Claims (8)

1.一种空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于包括：

采集面阵CCD有效像素区域感应的原始图像数据的装置；

提取面阵CCD暗像元区域漏光信号数码值的装置；

图像数据校正装置：利用从面阵CCD暗像元区域提取的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

2.根据权利要求1所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于所述提取面阵CCD暗像元区域漏光信号数码值的装置包括一滤波器，所述滤波器对从面阵CCD暗像元区域提取的漏光信号进行滤波，消除噪声，然后将滤波后的结果送到图像数据校正装置，由图像数据校正装置利用滤波后的结果中包含的漏光信号数码值对原始图像相应列数据进行校正。

3.根据权利要求2所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于所述的滤波器采用快速中值滤波器；所述的快速中值滤波器包括第一存储区，第二存储区，分频器，排序器，第一寄存器组，第二寄存器组；所述第一存储区将图像像素时钟作为写入时钟，存储从面阵CCD暗像元区域提取的N行图像数据；分频器将图像像素时钟倍频后，作为第一存储区的读取时钟；排序器按相同列的原则读取第一存储区内的图像数据，按相同列像素数码值由小到大的顺序进行排序生成一个新的N行图像数据，新的N行图像数据写入第二存储区；第一寄存器组从第二存储区中读取前N列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第一寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；同时第二寄存器组从第二存储区中读取第二列至第N+1列的图像数据，并由排序器按相同行像素数码值由小到大的顺序进行排序，按排序的结果更新第二寄存器组，而后排序器按对角线上像素数码值由小到大的顺序进行排序，取出中间值；排序器将中间值输出到图像数据校正装置后，第一寄存器组和第二寄存器组清零；然后，第二存储区按乒乓结构将第三列至第N+2列图像数据赋值给第一寄存器组，将第四列至第N+3列图像数据赋值第二寄存器组，由排序器继续对第一寄存器组和第二寄存器组中的像素数码值进行行排序和对角线排序取出中间值，将中间值输出到图像数据校正装置；如此类推，直至完成整个N行图像数据的中值排序及中间值输出；图像数据校正装置利用中间值中包含的漏光信号数码值对原始图像相应列数据进行校正，得到去除漏光信号后的图像数据。

4.根据权利要求1、2或3所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于所述图像数据校正装置包括一减法器；减法器将漏光信号数码值从与漏光信号同列的原始图像像素数码值中减去，得到去除漏光信号后的图像数据。

5.根据权利要求4所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于所述图像数据校正装置还包括比较器和加权平均运算单元；比较器将漏光信号数码值与饱和阈值进行比较，若漏光信号数码值小于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去，得到去除漏光信号后的图像数据；若漏光信号数码值大于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去后，再由加权平均运算单元利用发生漏光现象区域的左右区域像素数码值进行加权平均得到校正后的图像数据。

6.根据权利要求5所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于所述加权平均运算单元利用式(3)得到去除漏光信号后的图像数据；

(3)

其中，n为发生漏光现象的区域占有的像素列数，I_y(i，j)、I_y(i，j+1)、……、I_y(i，j+n-1)为饱和区域各列像素经校正后得到的数码值，I_y(i，j-n)、I_y(i，j-n-1)、……、I_y(i，j-1)为饱和区域左侧所取n列像素经校正后得到的数码值，I_y(i，j+n)、I_y(i，j+n+1)、……、I_y(i，j+2n-1)为饱和区域右侧所取n列像素校正后的数码值、

为饱和区域左侧和右侧所取各列像素的权值；

7.根据权利要求4所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于图像数据校正装置包括减法器、比较器和加权平均运算单元；比较器将漏光信号数码值与饱和阈值进行比较，若漏光信号数码值小于饱和阈值，则漏光信号数码值送入减法器，由减法器将漏光信号数码值从与漏光信号同列的原始图像像素灰度值中减去，得到去除漏光信号后的图像数据；若漏光信号数码值大于饱和阈值，则由加权平均运算单元利用发生漏光现象区域的左右区域像素数码值进行加权平均得到校正后的图像数据。

8.根据权利要求7所述的空间行间转移面阵CCD相机漏光现象实时消除装置，其特征在于所述加权平均运算单元利用式(4)得到去除漏光信号后的图像数据；

(4)

其中n为漏光现象的区域占有的像素的列数，则I_y(i，j)、I_y(i，j+1)、……、I_y(i，j+n-1)为饱和区域各列像素经校正后得到的数码值，I_x(i，j-n)、I_x(i，j-n-1)、……、I_x(i，j-1)为饱和区域左侧所取n列像素原始图像数码值，I_x(i，j+n)、I_x(i，j+n+1)、……、I_x(i，j+2n-1)为饱和区域右侧所取n列像素原始图像数码值、

为饱和区域左侧和右侧所取各列像素的权值；

Images