CN113473048B - 面向脉冲阵列图像传感器的非均匀性校正方法 - Google Patents

Abstract

本发明涉及光学、图像传感器成像及图像处理领域，为提出一种面向脉冲阵列图像传感器的非均匀性校正方法，该方法主要针对脉冲图像传感器在重构过程中出现的非均匀性现象进行校正，且该算法针对其他类似的图像传感器还具有通用性。为此，本发明采取的技术方案是，面向脉冲阵列图像传感器的非均匀性校正方法，建立脉冲图像传感器的特征矩阵，利用所述特征矩阵描述出图像传感器在曝光时间为M时的每个像素点的脉冲响应曲线；对采集到的图像数据进行预处理；利用所述每个像素点的脉冲响应曲线对预处理后的图像数据进行非均匀性校正。本发明主要应用于图像传感器成像及图像处理场合。

Description

面向脉冲阵列图像传感器的非均匀性校正方法

技术领域

本发明涉及光学、图像传感器成像及图像处理领域，具体涉及面向脉冲阵列图像传感器的非均匀性校正方法。

背景技术

图像传感器一直以来都是人类研究的热点。而脉冲阵列图像传感器，采用异步复位和传统行扫描同步读出相结合的方式，其帧速可达40K帧每秒，输出完整像素阵列的1bit脉冲序列，在降低数据量的同时避免了仲裁模块，并能够完整的输出图像信息，保证信息的完备性，满足了其高速成像的要求。其工作原理就是通过像素的光电二极管将光信号转化为电信号而进行积分，当积分值超过阈值时，光电二极管复位开始新的积分，同时产生一个脉冲信号保存到像素的读出电路中，等到同步读出的帧周期信号到来后传输到列总线上，通过高速缓存和高速接口输出到片外。输出的脉冲数据“0”表示帧周期内没有脉冲触发，“1”表示帧周期内有脉冲触发。

然而由于工艺尺寸的偏差，像素之间会存在失配问题，导致图像传感器成像表面粗糙以及非均匀，由于脉冲阵列图像传感器的数据输出格式比较特殊，为单比特的脉冲序列，故不能使用传统的非均匀性抑制算法进行校正，如果对基于脉冲数据重构后的图像进行非均匀性校正则又会存在还原过程中引入的误差，因此为了更好的实现图像的非均匀性校正，针对于脉冲图像传感器需要新的非均匀性校正方法。

发明内容

为克服现有技术的不足，本发明旨在提出一种面向脉冲阵列图像传感器的非均匀性校正方法，该方法主要针对脉冲图像传感器在重构过程中出现的非均匀性现象进行校正，且该算法针对其他类似的图像传感器还具有通用性。为此，本发明采取的技术方案是，面向脉冲阵列图像传感器的非均匀性校正方法，建立脉冲图像传感器的特征矩阵，利用所述特征矩阵描述出图像传感器在曝光时间为M时的每个像素点的脉冲响应曲线；对采集到的图像数据进行预处理；利用所述每个像素点的脉冲响应曲线对预处理后的图像数据进行非均匀性校正。

具体步骤如下：

(1)若图像传感器的像素阵列为m行n列，首先将图像传感器在不同光强的均匀光下曝光相同的时间M帧，即从无光开始逐渐增加光强，并采集不同光强下的每一个像素的脉冲数

直到随着光强的增大，每一个像素的脉冲数

稳定不再发生变化，此时图像传感器达到光强饱和状态，绘制出图像传感器所有像素的光响应曲线，然后将每一个像素的光响应曲线随光强变化的部分划为两段，分别是线性段和非线性段，在线性段，相同曝光时间内图像传感器所产生的脉冲数随着光强的增加而呈线性增加状态，在非线性段，则脉冲数呈抛物线增加状态,采用分段函数将其表示为：

上式中

代表一定曝光时间M内的第i行第j列像素产生的脉冲数目，a_1ij,b_1ij,a_2ij，b_2ij，c_ij，为该像素光响应曲线的最小二乘法拟合系数，E_ij为与曝光时间和光强相关的曝光量(lux·帧)，

为第i行第j列像素线性段最大脉冲数，将每个像素的拟合系数组成如下矩阵：

其中矩阵A、B、C作为脉冲图像传感器的特征矩阵，利用这三个矩阵描述出图像传感器在曝光时间为M时的每个像素点的脉冲响应曲线；

(2)其次需要对采集到的图像数据进行预处理，先将脉冲序列信息转间隔为脉冲间隔的信息，转换方法如下：以第i行第j列像素为例，首先按顺序从第1帧开始要找到该像素的脉冲序列中所有输出为“1”的时间点，假设分别在第t₁,t₂,t₃,···,t_n帧，那么把该像素在第t帧时的脉冲间隔记为

如果t≤t₁，则脉冲间隔

值记为t₁，如果t_n-1<t≤t_n，则

值为t_n-t_n-1，还需要对每一个像素转化来的脉冲间隔做误差判定和消除处理：如果该像素的第t₀帧与第t₀-1帧的脉冲间隔的绝对差值为1，且第t₀-1帧的脉冲间隔值与第

帧的脉冲间隔值相等，则认为该像素第

帧脉冲间隔值的存在时间误差，如下所示：

此时就用第t₀-1帧像素的脉冲间隔值代替第

帧的脉冲间隔值：

将此方法用于所有像素，这样就可以获得所有像素曝光时间M内第t帧时的脉冲间隔信息，如下所示：

其中P(t)表示第t帧时图像传感器所获得的脉冲间隔矩阵，之后需要采用以下方法将脉冲间隔转换成脉冲数：

其中

为式子(7)中矩阵P(t)的第i行第j列元素，M是曝光时间，

是由脉冲间隔转换成的脉冲数，将此方法用于矩阵P(t)中的所有元素，将式子(7)中脉冲间隔矩阵转化成脉冲数矩阵：

(4)然后进行图像传感器的非均匀性校正，由前面描述光响应曲线的分段函数表示为：

其中

表示式子(9)中矩阵N(t)^M中第i行第j列个元素，a_1ij和a_2ij表示式子(2)矩阵A第i行第j列个元素，b_1ij和b_2ij表示式子(3)中矩阵B第i行第j列个元素，c_ij表示式子(4)中矩阵C中第i行第j列个元素，对上述方程进行求解，得到第t帧第i行第j列像素在曝光时间M内的曝光量E_ij，将该方法用于矩阵N(t)^M中的所有元素后便可获得所有像素的曝光量E^M，如下所示：

由于理想的脉冲响应曲线是一条线性直线，那么可以将理想的脉冲响应曲线定义为一次函数，将上面得到的曝光量E^M带入理想的响应曲线中，计算出对应曝光时间M下理想的脉冲响应矩阵，如下：

式中G(t)为灰度图像矩阵，

为校正后的脉冲数，h为理想的光响应曲线的系数,K表示脉冲数与灰度的转换系数,U为适当的常数矩阵,可根据图像的实际情况设置不同的目标值，用于调整图像的整体亮度。

本发明的特点及有益效果是：

针对脉冲阵列图像传感器成像过程中出现的非均匀性，提出一种校正方法，该方法面对脉冲图像传感器图像在重构过程中出现的光响曲线的非一致性和图像非均匀性进行校正，且能达到良好的校正效果。

附图说明：

图1校正前所有像素的光响应曲线。

图2脉冲序列转换为脉冲间隔示例。

图3脉冲序列转换脉冲间隔过程中引入的误差。

图4校正后的光响应曲线。

图5校正前后图像传感器转轮成像图片和三维灰度直方图。

图6校正前后图像传感器均匀光成像图片和列级灰度标准差。

图7算法整体流程图。

具体实施方式

(1)若图像传感器的像素阵列为m行n列，首先将图像传感器在不同光强的均匀光下曝光相同的时间M帧，即从无光开始逐渐增加光强，并采集不同光强下的每一个像素的脉冲数

直到随着光强的增大，每一个像素的脉冲数

稳定不再发生变化，此时图像传感器达到光强饱和状态，绘制出图像传感器所有像素的光响应曲线，如图1所示。然后可以将每一个像素的光响应曲线随光强变化的部分划为两段，分别是线性段和非线性段，在线性段，相同曝光时间内图像传感器所产生的脉冲数随着光强的增加而呈线性增加状态，在非线性段，则脉冲数呈抛物线增加状态。采用分段函数将其表示为：

上式中

代表一定曝光时间M内的第i行第j列像素产生的脉冲数目，a_1ij,b_1ij,a_2ij，b_2ij，c_ij，为该像素光响应曲线的最小二乘法拟合系数，E_ij为与曝光时间和光强相关的曝光量(lux·帧)，

为第i行第j列像素线性段最大脉冲数。将每个像素的拟合系数组成如下矩阵：

其中矩阵A、B、C作为脉冲图像传感器的特征矩阵，利用这三个矩阵就可以描述出图像传感器在曝光时间为M时的每个像素点的脉冲响应曲线。

(2)其次需要对采集到的图像数据进行预处理，由于图像传感器每一帧输出只有代表有无脉冲产生的“0”和“1”，而高光强下积分时间较短，产生两次脉冲的时间间隔较短，低光强下积分时间较长，产生两次脉冲的时间间隔较长，故据此，相邻两次触发脉冲的时间间隔可以作为判断出光强大小的依据，可以先将脉冲序列信息转间隔为脉冲间隔的信息，转换方法如下：以第i行第j列像素为例，首先按顺序从第1帧开始要找到该像素的脉冲序列中所有输出为“1”的时间点，假设分别在第t₁,t₂,t₃,···,t_n帧，那么把该像素在第t帧时的脉冲间隔记为

如果t≤t₁，则脉冲间隔

值记为t₁，如果t_n-1<t≤t_n，则

值为t_n-t_n-1，例如图2所示。但是脉冲图像传感器采用的是异步复位同步读出机制，即光电二极管在到达阈值后会立刻复位重新开始积累电荷，而产生的脉冲数据“1”只有等到帧读出周期到来后才会被读出，故对于每一个像素而言，同样的光强也可能会导致一个不超过帧周期的误差时间，使得脉冲间隔发生波动，如图3所示。为此还需要对每一个像素转化来的脉冲间隔做误差判定和消除处理。如果该像素的第t₀帧与第t₀-1帧的脉冲间隔的绝对差值为1，且第t₀-1帧的脉冲间隔值与第

帧的脉冲间隔值相等，则认为该像素第

帧脉冲间隔值的存在时间误差，如下所示：

此时就用第t₀-1帧像素的脉冲间隔值代替第

帧的脉冲间隔值：

将此方法用于所有像素，这样就可以获得所有像素曝光时间M内第t帧时的脉冲间隔信息，如下所示：

其中P(t)表示第t帧时图像传感器所获得的脉冲间隔矩阵，之后需要采用以下方法将脉冲间隔转换成脉冲数：

其中

为式子(7)中矩阵P(t)的第i行第j列元素，M是曝光时间，

是由脉冲间隔转换成的脉冲数，将此方法用于矩阵P(t)中的所有元素，可将式子(7)中脉冲间隔矩阵转化成脉冲数矩阵：

(4)然后进行图像传感器的非均匀性校正，由前面描述光响应曲线的分段函数可以表示为：

其中

表示式子(9)中矩阵N(t)^M中第i行第j列个元素，a_1ij和a_2ij表示式子(2)矩阵A第i行第j列个元素，b_1ij和b_2ij表示式子(3)中矩阵B第i行第j列个元素，c_ij表示式子(4)中矩阵C中第i行第j列个元素，对上述方程进行求解，得到第t帧第i行第j列像素在曝光时间M内的曝光量E_ij，将该方法用于矩阵N(t)^M中的所有元素后便可获得所有像素的曝光量E^M，如下所示：

由于理想的脉冲响应曲线是一条线性直线，那么可以将理想的脉冲响应曲线定义为一次函数，将上面得到的曝光量E^M带入理想的响应曲线中，即可计算出对应曝光时间M下理想的脉冲响应矩阵，如下：

式中G(t)为灰度图像矩阵，

为校正后的脉冲数，h为理想的光响应曲线的系数,K表示脉冲数与灰度的转换系数,U为适当的常数矩阵,可根据图像的实际情况设置不同的目标值，用于调整图像的整体亮度。

曝光时间M取1500帧，一般情况下曝光时间越长，光响应曲线校正过程中引入的误差就越小，校正效果往往就越好，但同时也会加大计算量。理想的光响应曲线系数h取0.8，一般h越大，图像的整体的对比度越高。脉冲数与灰度的转换系数K一般为2，而用于调节图像整体亮度的常数矩阵一般取0。图4采用以上参数进行校正后的光响应曲线，和图1的对比可以看出，相比校正前，光响应曲线的一致性得到了改善。图5为图像传感器拍摄的校正前和校正后的转轮成像图片以及它们的灰度直方图，可以看出，相比校正前，校正后图像表面更加平滑，许多毛刺噪声被去除，非均匀性得到了有效改善。为了更加直观的看出校正效果，通过标准差来衡量图像表面的平滑度，图6为图像传感器拍摄的78lux的均匀光校正前和校正后的成像图片及它们列级标准差，通过该校正方法图片整体标准差从3.1336降低到了0.9524，从而更加说明了该校正方法对脉冲阵列图像传感器的非均匀性具有良好的校正效果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种面向脉冲阵列图像传感器的非均匀性校正方法，其特征是，建立脉冲图像传感器的特征矩阵，利用所述特征矩阵描述出图像传感器在曝光时间为M时的每个像素点的脉冲响应曲线；对采集到的图像数据进行预处理；利用所述每个像素点的脉冲响应曲线对预处理后的图像数据进行非均匀性校正，具体步骤如下：

(1)若图像传感器的像素阵列为m行n列，首先将图像传感器在不同光强的均匀光下曝光相同的时间M帧，即从无光开始逐渐增加光强，并采集不同光强下的每一个像素的脉冲数

直到随着光强的增大，每一个像素的脉冲数

稳定不再发生变化，此时图像传感器达到光强饱和状态，绘制出图像传感器所有像素的光响应曲线，然后将每一个像素的光响应曲线随光强变化的部分划为两段，分别是线性段和非线性段，在线性段，相同曝光时间内图像传感器所产生的脉冲数随着光强的增加而呈线性增加状态，在非线性段，则脉冲数呈抛物线增加状态,采用分段函数将其表示为：

上式中

代表一定曝光时间M内的第i行第j列像素产生的脉冲数目，a_1ij,b_1ij,a_2ij，b_2ij，c_ij，为该像素光响应曲线的最小二乘法拟合系数，E_ij为与曝光时间和光强相关的曝光量(lux·帧)，

为第i行第j列像素线性段最大脉冲数，将每个像素的拟合系数组成如下矩阵：

其中矩阵A、B、C作为脉冲图像传感器的特征矩阵，利用这三个矩阵描述出图像传感器在曝光时间为M时的每个像素点的脉冲响应曲线；

(2)其次需要对采集到的图像数据进行预处理，先将脉冲序列信息转间隔为脉冲间隔的信息，转换方法如下：以第i行第j列像素为例，首先按顺序从第1帧开始要找到该像素的脉冲序列中所有输出为“1”的时间点，假设分别在第t₁,t₂,t₃,…,t_n帧，那么把该像素在第t帧时的脉冲间隔记为

如果t≤t₁，则脉冲间隔

值记为t₁，如果t_n-1＜t≤t_n，则

值为t_n-t_n-1，还需要对每一个像素转化来的脉冲间隔做误差判定和消除处理：如果该像素的第t₀帧与第t₀-1帧的脉冲间隔的绝对差值为1，且第t₀-1帧的脉冲间隔值与第

帧的脉冲间隔值相等，则认为该像素第

帧脉冲间隔值的存在时间误差，如下所示：

此时就用第t₀-1帧像素的脉冲间隔值代替第

帧的脉冲间隔值：

将此方法用于所有像素，这样就可以获得所有像素曝光时间M内第t帧时的脉冲间隔信息，如下所示：

其中P(t)表示第t帧时图像传感器所获得的脉冲间隔矩阵，之后需要采用以下方法将脉冲间隔转换成脉冲数：

其中

为式子(7)中矩阵P(t)的第i行第j列元素，M是曝光时间，

是由脉冲间隔转换成的脉冲数，将此方法用于矩阵P(t)中的所有元素，将式子(7)中脉冲间隔矩阵转化成脉冲数矩阵：

(4)然后进行图像传感器的非均匀性校正，由前面描述光响应曲线的分段函数表示为：

其中

表示式子(9)中矩阵N(t)^M中第i行第j列个元素，a_1ij和a_2ij表示式子(2)矩阵A第i行第j列个元素，b_1ij和b_2ij表示式子(3)中矩阵B第i行第j列个元素，c_ij表示式子(4)中矩阵C中第i行第j列个元素，对上述方程(10)进行求解，得到第t帧第i行第j列像素在曝光时间M内的曝光量E_ij，将该方法用于矩阵N(t)^M中的所有元素后便可获得所有像素的曝光量E^M，如下所示：

由于理想的脉冲响应曲线是一条线性直线，那么可以将理想的脉冲响应曲线定义为一次函数，将上面得到的曝光量E^M带入理想的响应曲线中，计算出对应曝光时间M下理想的脉冲响应矩阵，如下：

式中G(t)为灰度图像矩阵，

为校正后的脉冲数，h为理想的光响应曲线的系数,K表示脉冲数与灰度的转换系数,U为适当的常数矩阵,可根据图像的实际情况设置不同的目标值，用于调整图像的整体亮度。

Images