背景技术
20世纪70年代,CCD(ChargedCoupledDevice,电荷耦合器件)图像传感器和CMOS(complementary metal-oxide semiconductor,互补型金属氧化物半导体)图像传感器同时开始发展。CCD图像传感器由于灵敏度高、噪声低,逐步成为图像传感器的主流。但CCD图像传感器由于工艺上的原因,敏感元件和信号处理电路不能集成在同一芯片上,还需要外加脉冲驱动电路、信号放大、AD(模数)转换等辅助电路,从而造成整个图像处理***结构复杂、成本较高。
虽然CMOS图像传感器的光照灵敏度低和图像分辨率低,图像质量还无法与CCD图像传感器相比。但是CMOS图像传感器的制造技术与CMOS工艺兼容,每个像素传感单元都有单独的缓冲放大器,可以非常方便地将AD转换器等辅助电路集成到芯片内部,具有***电路简单、体积小、功耗低、成本低和高集成的特点。CMOS图像传感器的编程也很方便,很容易实现对帧频、曝光时间、图像尺寸等的控制。
随着图像传感器芯片设计的改进,以及亚微米和深亚微米级设计增加了像素内部的新功能,CMOS图像传感器的分辨率也逐渐接近CCD传感器的水平。如果把CMOS图像传感器的光照灵敏度再进一步提高,把噪声进一步降低,CMOS图像传感器的图像质量就可以达到或略微超过CCD图像传感器的水平。CMOS图像传感器在图像传感器领域将得到越来越广泛的应用。
CMOS镜像阵列的设计主要建立在逐行传送的行场扫描读出***和带同步像素读出和复位电路的电子快门之上。而电子曝光控制算法则建立在整个图(物)像亮度基础之上。在景像光线正常时,一般曝光都比较理想。但在景像光线不适当时,则应通过自动曝光控制中的白/黑比调节来使曝光满足应用要求。
当CMOS图像传感器每行的曝光时刻发生在工频的不同相位上,即曝光时刻不是落在工频的同一周期的同一点上,有的行的曝光发生在工频能量高时,有的行的曝光发生在工频能量低时。由于工频能量的差异将导致出现光照不均的情况,使CMOS图像传感器每次得到的图像亮度不一致,最终导致CMOS图像传感器的输出图像上出现均匀的亮度带(条纹),该亮度带就是FLICKER。
比如,在图1所示的曝光时刻与工频能量的对应关系示意图中,当CMOS图像传感器工作在50HZ或60HZ的光源照射下时,由于交流电的能量是呈正弦波的变化,因此这个正弦波的能量会叠加到图像传感器的像素阵列上面,这就导致在同样的曝光时间下,每行的曝光时刻上得到的工频能量不一致,每行的亮度出现额外的变化,最终导致CMOS图像传感器的输出图像出现FLICKER。
现有技术中一种消除FLICKER的方法为:如图2所示使CMOS图像传感器每行的曝光时刻发生在工频的周期的同一点上,从而可以使每行的曝光时刻上得到的能量一致,亮度值也就一致,CMOS图像传感器的输出图像上避免出现FLICKER。
上述现有技术的方法的缺点为:CMOS图像传感器每行的曝光时刻之间的时间间隔是定值,曝光时间的最小值有最低值的限制,即该方法中的最小曝光时间就是曝光时间的最小时间间隔。因此,当图像的亮度有很大的跳动,也不能将曝光时间调到最小时间间隔之下,从而造成亮度调节不连续,也使在光线很亮时也不能将图像亮度调节到合适的亮度。
具体实施方式
本发明提供了一种对图像亮度进行调整的方法和装置。
下面结合附图来详细描述本发明,本发明所述方法的实施例的处理流程如图3所示,包括如下步骤:
步骤3-1、将图像信号分解为背景信号和景物信号。
本发明首先需要将图像信号进行分解,将每个表示图像的函数f(x,y)分解为两个分量,即:光照函数i(x,y)和反射函数r(x,y)。其关系表示为下式:
f(x,y)=i(x,y)*r(x,y)
上述i(x,y)反应光照强度,光照强度一般具有一致性,在图像的傅里叶变换下表现为低频分量。r(x,y)的性质取决于成像物体的表面性质,代表图像的高频分量。由于不同的材料或物体的反射率差异很大,常引起r(x,y)急剧变化,从而使图像的灰度值发生突变。
对上述公式1的两边取对数得到:
z(x,y)=lnf(x,y)=lni(x,y)+lnr(x,y)
通过取对数使图像f(x,y)的两个分量进行了分离,即把相乘的分量转化为相加的分量。再对上式的两边取傅里叶变换得到:
Z(u,v)=Fi(u,v)+Fr(u,v)
这里Fi(u,v)和Fr(u,v)分别是lni(x,y)和lnr(x,y)的傅里叶变换。再通过一个滤波函数H(u,v)对Z(u,v)进行处理,从而得到:
S(u,v)=H(u,v)Z(u,v)=H(u,v)Fi(u,v)+H(u,v)Fr(u,v)
上述H(u,v)Fi(u,v)表示图像信号中的光照信号,本发明称之为背景信号;上述H(u,v)Fr(u,v)表示图像信号中的反射信号,本发明称之为景物信号。
步骤3-2、对图像信号中的背景信号的亮度进行归一化处理。
在将图像信号分解成了背景信号和景物信号之后,需要对上述背景信号H(u,v)Fi(u,v)的亮度进行归一化处理,将背景信号H(u,v)Fi(u,v)归一化为背景信号的亮度的平均值或最大值。
归一化的方法可以为:首先计算出上一帧背景信号的亮度平均值,然后,对于本帧背景信号的每一个点的亮度值与该亮度平均值进行比较,得出相应的差值,对该相应的差值进行相应的补偿,使本帧背景信号的每一个点的亮度值都归一到上述亮度平均值上。
步骤3-3、将景物信号和归一化处理后的背景信号合成为图像信号。
在对背景信号进行上述归一化处理后,需要将背景信号H(u,v)Fi(u,v)和景物信号H(u,v)Fr(u,v)进行合成处理,还原成图像信号。合成处理的过程如下:
对s(x,y)转化为空间域,取傅里叶反变换得到:
s(x,y)=F-1{S(u,v)}=F-1{H(u,v)Fi(u,v)}+F-1{H(u,v)Fr(u,v)}
令i′(x,y)=F-1{H(u,v)Fi(u,v)},r′(x,y)=F-1{H(u,v)Fr(u,v)}
则s(x,y)=i′(x,y)+r′(x,y)
由于上述z(x,y)是由原始图像f(x,y)取对数得到的,因此,对上述s(x,y)进行取指数操作,就能产生重新合成的进行了亮度调整的图像信号。
g(x,y)=es(x,y)=ei′(x,y)·er′(x,y)=i0(x,y)r0(x,y)
上述g(x,y)是重新合成的输出图像信号,i0(x,y)=ei′(x,y)是输出图像信号的光照分量,r0(x,y)=er′(x,y)是输出图像的反射分量。
通过上述对图像信号进行了亮度调整后,就可以消除输出图像信号上的FLICKER,并且对传感器的最小曝光时间没有最低值的限制。
本发明所述装置的实施例1的结构如图4所示,包括系数产生单元、对数转换单元、低频滤波单元、高频滤波单元、增益校正单元和对数转换单元。各模块的功能如下:
系数产生单元:系数产生单元的实施例的结构如图5所示。用于根据接收到的同步信号和参考量,对接收到的不同帧图像信号中的低频背景信号的每一个点产生不同的增益校正系数,将该增益校正系数传递给增益校正单元。上述增益校正系数主要针对图像信号中的低频背景信号,即对于低频信号分量产生对应于50Hz或60Hz正弦波的增益查找表。
我们观察可以发现,正弦波的能量是有规律的,在室内光线照射下,CMOS图像传感器拍摄到的一幅白纸就是有规律的带状条纹(FLICKER),我们所产生的增益系数可以简单的看作与正弦函数相反的v型曲线,本算法的重点就是产生与能量关系相对应的增益曲线,从而对低频分量校正。我们将每行的图像数据的平均值存贮,并从中找出相应于正弦函数的规律,并得出增益函数的规律。从而产生了增益查找表,或者不产生增益查找表而产生一个亮度均值,每个像素点与其比较从而可以产生增益值。
对数转换单元:用于对接收到的图像信号进行对数转换处理,将图像信号分解为光照信号和反射信号,将该光照信号输出给低频滤波单元,将该反射信号输出给高频滤波单元。
低频滤波单元:用于对对数转换单元输出的光照信号进行低通滤波处理,获得低频背景信号,将该低频背景信号输出。
高频滤波单元:用于对对数转换单元输出的反射信号进行高频滤波处理,获得高频景物信号,将该高频景物信号输出给指数转换单元。
增益校正单元:用于根据系数产生单元传递过来的增益校正系数,对低频滤波单元输出的不同帧低频背景信号中的每一点产生相应的增益补偿,根据该增益补偿对不同帧低频背景信号中的每一点的亮度进行校正处理,将处理后的低频背景信号输出给指数转换单元。
指数转换单元:用于对高频滤波单元输出的高频景物信号和增益校正单元输出的低频背景信号进行指数转换处理,将低频背景信号和高频景物信号合成为完整的图像信号。
本发明所述装置的实施例2的结构如图6所示,包括:
对数转换单元:用于对接收到的图像信号进行对数转换处理,将图像信号分解为光照信号和反射信号,将该光照信号和反射信号输出给傅里叶变换单元。
傅里叶变换单元:用于对对数转换单元输出的光照信号和反射信号进行傅里叶变换处理,将变换处理后的光照信号输出给低频滤波单元,将变换处理后的反射信号输出给高频滤波单元。
低频滤波单元:用于对傅里叶变换单元输出的光照信号进行低频滤波处理,获得低频背景信号,将该低频背景信号输出给补偿处理单元。
高频滤波单元:用于对傅里叶变换单元传递过来的反射信号进行高频滤波处理,获得高频景物信号,将该高频景物信号输出给傅里叶逆变换单元。
补偿处理单元:用于计算出上一帧背景信号的亮度平均值,将本帧低频背景信号的每一个点的亮度值与该亮度平均值进行比较,得出相应的差值,对该相应的差值进行相应的补偿,使本帧低频背景信号的每一个点的亮度值都归一到上述亮度平均值上。将补偿处理后的低频背景信号输出给傅里叶逆变换单元。
傅里叶逆变换单元:用于对补偿处理单元输出的低频背景信号和高频滤波单元输出的高频景物信号叠加在一起后,进行傅里叶逆变换,将傅里叶逆变换处理后的信号输出给指数转换单元。
指数转换单元:用于对傅里叶逆变换单元输出的信号进行指数转换处理,将低频背景信号和高频景物信号合成为完整的图像信号。
上述本发明实施所述装置和方法适用于CMOS图像传感器等图像传感器。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。