CN104113743A - 低照度下彩色摄像机自动白平衡处理方法及装置 - Google Patents

Abstract

本发明公开了一种低照度下彩色摄像机自动白平衡处理方法及装置，所述方法包括：通过训练得到图像的曝光参数、环境红外光强度以及红外光图像强度估计值之间的映射关系表；获取待处理图像，并获取与该图像相对应的曝光参数，实时检测当前环境红外光强度信息，依据所述曝光参数、环境红外光强度信息以及映射关系表获取当前的红外光图像强度估计值；依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；对经去红外影响处理得到的处理图像进行白平衡校正。采用本发明，可以避免低照度条件下自动白平衡过程中由于受到红外光的影响而无法有效校正而造成的色彩失真问题，使得在低照度下仍能获取质量很好的彩色图像。

Description

低照度下彩色摄像机自动白平衡处理方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种低照度下彩色摄像机自动白平衡处理方法及装置。

背景技术

通常，数码摄像机和数码照相机等视频摄像设备一般包含：光学镜头、图像传感器、图像处理芯片、图像传输模块和图像显示模块。

众所周知，同种颜色的物体在不同光源的照射下会呈现出不同的颜色，例如，灰色的物体在白炽灯照射下会呈现黄色，在冷光源照射下会呈现青色等。由于人眼具有基于此类环境下对于颜色的自动调节功能，因此在不同的光源下，人眼可以还原物体的本质颜色。然而，在此类环境下，经过光学镜头和图像传感器处理后输出的颜色与人眼观察的结果则有差异，例如通过一具体实验表明，在日光灯照射下，灰色物体经过光学镜头和图像传感器处理后输出的图像呈现明显的绿色。因此，必须对该输出图像的颜色进行处理，使其在不同的光源下呈现与人眼观察的结果相同或相近的灰色，目前主要采用白平衡校正的实现方法。

低照度环境下，相比于红外光强度，可见光强度微弱，彩色摄像机成像时，若图像传感器同时接收红外光波段和可见光波段，得到的图像中红色光波段会比正常值大，使输出图像整体偏红；若滤除掉红外光波段，则会降低进光量，降低图像亮度，从而导致图像处理芯片中曝光参数提高，进而增大了噪声。前一种情况，常见的解决方法是丢弃图像的颜色信息，输出黑白图像；而后一种情况，因成像质量太差而不可行。

发明内容

本发明实施例的目的在于提供在低照度条件下，接收可见光和红外光波段，对输出图像进行有效地白平衡校正、以获取颜色艳丽、噪声强度较小的彩色图像的一种低照度下彩色摄像机自动白平衡处理方法及装置。

为了达到本发明实施例的目的，本发明采用以下技术方案实现：

一种低照度下彩色摄像机自动白平衡处理方法，包括：

通过训练得到图像的曝光参数、环境红外光强度以及红外光图像强度估计值之间的映射关系表；

获取待处理图像，并获取与该图像相对应的曝光参数，实时检测当前环境红外光强度信息，依据所述曝光参数、环境红外光强度信息以及映射关系表获取当前的红外光图像强度估计值；

依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；

对经去红外影响处理得到的处理图像进行白平衡校正。

优选地，通过训练以得到图像的曝光参数、环境红外光强度信息以及红外光图像强度估计值之间的映射关系表的步骤包括：

利用红外光照射素材获取图像，同时获取光学镜头附近的环境红外光强度信息、图像的曝光参数信息以及获取图像的红色通道均值信息；

据此建立图像的曝光参数、环境红外光强度信息和红外光图像强度估计值之间的映射关系表并保存。

优选地，依据当前图像红外光强度估计值对待处理图像进行去红外影响处理的步骤包括：

对待处理图像的红色通道数据减去当前红外光图像强度估计值，以剔除红外光的影响。

优选地，对经去红外影响处理得到的处理图像进行白平衡校正的步骤包括：

对处理图像进行分块；

挑选不易受红外影响的特定色彩块或亮度值较大的灰块作为候选灰块；

依据候选块计算出待处理图像的灰块的色彩值；

依据待处理图像的灰块的色彩值获得白平衡校正参数；

依据得到的白平衡校正参数对经去红外影响处理得到的处理图像进行白平衡校正。

一种低照度下彩色摄像机自动白平衡处理装置，包括：

第一数据采集单元，用于采集有且仅有红外光波段的图像；获取在拍摄该图像时当前环境的红外光强度信息以及图像处理芯片的曝光参数信息；

训练单元，用于从第一数据采集单元获取图像红色通道均值信息以及与之对应的环境红外光强度信息和图像处理芯片的曝光参数信息，并据此训练得到图像的曝光参数、环境红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

第二数据采集单元，用于实时获取监控区域的待处理图像，并获取该待处理图像的当前环境红外光强度信息，同时还从图像处理芯片获取当前曝光参数信息；去红外影响单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及当前环境红外光强度信息，并据此查询所述映射关系表获取当前的红外光图像强度估计值；以及进一步依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。

优选地，所述训练单元包括：

处理单元，用于在有且仅有红外光波段照射不同素材的环境之下，训练得到图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

保存单元，用于存储图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表。

优选地，所述去红外影响单元包括：

接收单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及用于获取当前红外光强度信息；以及进一步用于从训练单元获取图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

剔除红外影响处理单元，用于依据与所述待处理图像相对应的曝光参数以及当前红外光强度信息查询所述映射关系表获取当前的红外光图像强度估计值，以及依据红外光图像强度估计值对待处理图像进行去红外影响处理。

优选地，所述剔除红外影响处理单元依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理的步骤包括：

对待处理图像的红色通道数据减去当前红外光图像强度估计值，以剔除红外光的影响。

优选地，所述白平衡校正单元包括：

图像分块单元，用于对处理图像进行分块；

提取候选灰块单元，用于挑选出不易受红外影响的特定色彩块或亮度值较大的灰块作为候选灰块；

灰块确定单元，用于依据候选灰块计算出待处理图像的灰块的色彩值；

白平衡校正参数确定单元，用于依据待处理图像的灰块的色彩值获得白平衡校正参数；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。

采用本发明实施例提供的上述技术方案，可以避免低照度条件下自动白平衡过程中由于受到红外光的影响而无法有效校正而造成的色彩失真问题，使得在低照度下仍能获取质量很好的彩色图像。

附图说明

图1为本发明提供的一种低照度下彩色摄像机自动白平衡处理方法流程示意图；

图2为本发明一具体实施例提供的一种低照度下彩色摄像机自动白平衡处理方法流程示意图；

图3为本发明实施例提供的一种低照度下彩色摄像机自动白平衡处理装置结构示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明实施例的主要思想为：

首先通过训练得到图像的曝光参数、环境红外光强度与红外光图像强度估计值之间的映射关系；

然后获取待处理图像、曝光参数和红外光强度，依据曝光参数、环境红外光强度与红外光图像强度估计值三者之间的映射关系计算得到红外光图像强度估计值；

再依据红外光图像强度估计值，对待处理图像剔除红外光影响，生成无红外光影响的图像；

最后对无红外影响的图像进行白平衡校正。

更为具体地，如图1所示，本发明实施例提供的一种低照度下彩色摄像机自动白平衡处理方法，包括如下步骤：

S10、通过训练得到图像的曝光参数、环境红外光强度与红外光图像强度估计值之间的映射关系表；

S20、获取待处理图像，并获取该当前待处理图像的曝光参数，依据所述曝光参数、环境红外光强度以及映射关系表获取当前的红外光图像强度估计值信息；

S30、依据当前的红外光图像强度估计值信息对待处理图像进行去红外影响处理；

S40、对经去红外影响处理得到的处理图像进行白平衡校正。

具体地，在所述步骤S10中，通过训练以得到图像的曝光参数、环境红外光强度与红外光图像强度估计值之间的映射关系表的步骤包括：

S101、有且仅有红外光照射不同素材获取图像，同时获取光学镜头附近的环境红外光强度信息、图像的曝光参数信息以及获取图像的红色通道均值信息；

S102、据此建立图像的曝光参数、环境红外光强度与红外光图像强度估计值之间的映射关系表并保存。

具体地，根据本发明实施例的一个方面，在所述步骤S30中，依据当前的红外光图像强度估计值信息对待处理图像进行去红外影响处理的步骤包括：

对待处理图像的红色通道数据减去当前红外光图像强度估计值，以剔除红外光的影响。

具体地，根据本发明实施例的一个方面，在所述步骤S40中，对经去红外影响处理得到的处理图像进行白平衡校正的步骤包括：

S401、对处理图像进行分块；

S402、挑选不易受红外影响的特定色彩块或亮度值较大的灰块作为候选灰块；

S403、依据候选灰块计算出待处理图像的灰块的色彩值；

S404、依据待处理图像的灰块的色彩值获得白平衡校正参数；

S405、依据得到的白平衡校正参数对经去红外影响处理得到的处理图像进行白平衡校正。

本发明一具体实施例的实现步骤包括：

步骤1：采集有且仅有红外光照射不同素材所产生的颜色图像，获取光学镜头附近的环境红外光强度信息以及曝光参数，得到曝光参数、环境红外光强度与红外光图像强度估计值三者之间的映射关系。

在本发明实施例中，光源是红外光，光源的强度可以是连续可调的，一般要求照度从0.001lux到50000lux，具体的实施步骤如图2所示。

环境的红外光强度L_IR测量值由红外强度检测器提供，比如采用Pbs光敏电阻值来表征环境的红外光强度。

训练时，红外光图像强度估计值I_IR测量值由图像红色通道的均值来表征。

曝光参数主要包含曝光时间、光圈大小和图像处理器的增益。

假设曝光参数包括曝光时间T、光圈大小F、图像处理器的增益Gain，并且当环境红外光强度为L_IR时，则训练建立T、F、Gain、L_IR与I_IR之间的映射关系，并对这种映射关系保存成映射关系表，以便在后续的应用当中，从该映射关系表中可以快速的由T、F、Gain和L_IR而查找到相应的I_IR。

步骤2：获取无红外光影响的图像。

首先获取带红外影响的色彩图像(R₁,G₁,B₁)，同时还获取当前的曝光参数T₁,F₁,Gain₁，获取红外光强度L_IR1。在低照环境中，彩色图像受红外光影响较大，因此为了得到亮丽、噪声低的色彩图像，则需要除去红外光的影响。按照步骤1中所述的计算图像亮度的方法进行计算；根据T₁,F₁,Gain₁,L_IR1查询T、F、Gain、L_IR与I_IR之间的映射关系表得到当前的红外光图像强度估计值I_IR1；然后对红色通道数据剔除红外光的影响。依据本发明一较佳实施例，剔除红外光影响的方法为：

红外光强度和真实的红色波段组成了待处理图像的红色波段，即：

$L_{\mathrm{IR}1}+R_1^{\′}=R_1$ ；

则得到真正属于红色波段的像素值：R＇₁=R₁-L_IR1；

步骤3：确定无红外影响图像的候选灰块。

首先将无红外影响图像分成有限个大小形状相等的矩形块，然后在所有的矩形块中挑选出不易受红外影响的特定色彩块或亮度值较大灰块作为候选灰块。在实际应用当中，不易受红外影响的特定色块包括但不限于如下几种实现：

1）Blue Sky类型色彩块，该色彩块的RGB值在(97±ε_R,119±ε_G,117±ε_B)所表示的范围内；

2）Orange Yellow类型色彩块，该色彩块的RGB值在(255-ε_R,142±ε_G,0+ε_B)所表示的范围内；

3）Cyan类型色彩块，该色彩块的RGB值在(0±ε_R,148±ε_G,189±ε_B)所表示的范围内；

4）Yellow类型色彩块，该色彩块的RGB值在(255-ε_R,217±ε_G,0+ε_B)所表示的范围内。

其中ε_R,ε_G,ε_B的取值范围均为大于0且小于T，具体实施时T可以选取为2。

图像的图像亮度可以依据获取的颜色图像进行计算获得，计算的方法多种多样，例如可以采用如下的计算公式，假设待处理图像三通道的波段强度分别为R,G,B，则图像的亮度为：

$Y=(R+G+B)/3$ 。

亮度值较大的灰块，满足以下条件：

其中，Y_th为亮度阈值，T₁,T₂,T₃为大于1的阈值。

步骤4：根据候选灰块确定待处理图像灰块的色彩特征。

假设提取的候选灰块有N个，第i个灰块的RGB均值值为R_i,G_i,B_i，最后所求的灰块的RGB值分别为R,G,B。实际应用当中，计算R,G,B的方法包括但不限于如下几种方法：

方法一：采用加权平均的方式计算：，，。

方法二：对R₁,…,R_N按照从小到大的顺序进行排列得到，当N为偶数时，当N为奇数时；以相同的方法处理G₁,…,G_N，B₁,…,B_N得到G和B。

方法三：采用如下的计算公式计算：，，。

步骤205：确定白平衡校正参数并进行包平衡校正。

确定待处理图像灰块的R、G、B之后，实际上（R、G、B）表征的是光源的特性，可以依据其计算改光源对应的白平衡校正参数，分别为：RGain、GGain和BGain，并利用RGain、GGain和BGain对待处理图像进行白平衡校正。RGain、GGain和BGain根据如下的公式确定;

$\mathrm{RGain}=R/\mathrm{MinRGB},\mathrm{GGain}=G/\mathrm{MinRGB},\mathrm{BGain}=B/\mathrm{MinRGB},$

其中，MinRGB表示（R、G、B）中的最小值。RGain、GGain和BGain可以调节图像中各个像素点的色彩值，具体的调节方法是根据RGain参数调节R分量，根据GGain参数调节G分量，根据BGain参数调节B分量，获得不失真的校正图像，设校正前的某个像素点为（r1，g1，b1）则校正后该像素点为r2=r1*RGain,g2=g1*GGain,b2=b1*BGain。

至此，白平衡校正处理结束。

如图3所示，本发明实施例还提供了一种低照度彩色摄像机自动白平衡处理装置，包括：

第一数据采集单元，用于采集有且仅有红外光波段的图像；获取在拍摄该图像时当前环境的红外光强度信息以及图像处理芯片的曝光参数信息；

训练单元，用于从第一数据采集单元获取图像红色通道均值信息以及与之对应的环境红外光强度信息和图像处理芯片的曝光参数信息，并据此训练得到图像的曝光参数、环境红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

第二数据采集单元，用于实时获取监控区域的待处理图像，并获取该待处理图像的当前环境红外光强度信息，同时还从图像处理芯片获取当前曝光参数信息；去红外影响单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及当前环境红外光强度信息，并据此查询所述映射关系表获取当前的红外光图像强度估计值；以及进一步依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。

优选地，所述训练单元包括：

处理单元，用于在有且仅有红外光波段照射不同素材的环境之下，训练得到图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

保存单元，用于存储图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表。

优选地，所述去红外影响单元包括：

接收单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及用于获取当前红外光强度信息；以及进一步用于从训练单元获取图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

剔除红外影响处理单元，用于依据与所述待处理图像相对应的曝光参数以及当前红外光强度信息查询所述映射关系表获取当前的红外光图像强度估计值，以及依据红外光图像强度估计值对待处理图像进行去红外影响处理。

优选地，所述剔除红外影响处理单元依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理的步骤包括：

对待处理图像的红色通道数据减去当前红外光图像强度估计值，以剔除红外光的影响。

优选地，所述白平衡校正单元包括：

图像分块单元，用于对处理图像进行分块；

提取候选灰块单元，用于挑选出特定色彩块或亮度值较大的灰块作为候选灰块；

灰块确定单元，用于依据候选灰块计算出待处理图像的灰块的色彩值；

白平衡校正参数确定单元，用于依据待处理图像的灰块的色彩值获得白平衡校正参数；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。

相应地，继续参考图3，本发明实施例还提供了一种低照度下彩色摄像机，包括光学镜头、图像传感器、图像处理芯片、图像传输模块和图像显示模块，其还包括如上所述的低照度下彩色摄像机自动白平衡处理装置，所述装置包括：

用于采集有且仅有红外光波段的图像；获取在拍摄该图像时当前环境的红外光强度信息以及图像处理芯片的曝光参数信息；

训练单元，用于从第一数据采集单元获取图像红色通道均值信息以及与之对应的环境红外光强度信息和图像处理芯片的曝光参数信息，并据此训练得到图像的曝光参数、环境红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

第二数据采集单元，用于实时获取监控区域的待处理图像，并获取该待处理图像的当前环境红外光强度信息，同时还从图像处理芯片获取当前曝光参数信息；去红外影响单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及当前环境红外光强度信息，并据此查询所述映射关系表获取当前的红外光图像强度估计值；以及进一步依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。

对于上述的低照度下彩色摄像机自动白平衡处理装置的详细描述可以参考上文所述，这里对此不做重复细述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种低照度下彩色摄像机自动白平衡处理方法，其特征在于，包括：

通过训练得到图像的曝光参数、环境红外光强度以及红外光图像强度估计值之间的映射关系表；

获取待处理图像，并获取与该图像相对应的曝光参数，实时检测当前环境红外光强度信息，依据所述曝光参数、环境红外光强度信息以及映射关系表获取当前的红外光图像强度估计值；

依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；

对经去红外影响处理得到的处理图像进行白平衡校正。

2.如权利要求1所述的低照度下彩色摄像机自动白平衡处理方法，其特征在于，通过训练以得到图像的曝光参数、环境红外光强度信息以及红外光图像强度估计值之间的映射关系表的步骤包括：

利用红外光照射素材获取图像，同时获取光学镜头附近的环境红外光强度信息、图像的曝光参数信息以及获取图像的红色通道均值信息；

据此建立图像的曝光参数、环境红外光强度信息和红外光图像强度估计值之间的映射关系表并保存。

3.如权利要求1所述的低照度下彩色摄像机自动白平衡处理方法，其特征在于，依据当前图像红外光强度估计值对待处理图像进行去红外影响处理的步骤包括：

对待处理图像的红色通道数据减去当前红外光图像强度估计值，以剔除红外光的影响。

4.如权利要求1所述的低照度下彩色摄像机自动白平衡处理方法，其特征在于，对经去红外影响处理得到的处理图像进行白平衡校正的步骤包括：

对处理图像进行分块；

挑选不易受红外影响的特定色彩块或亮度值较大的灰块作为候选灰块；

依据候选块计算出待处理图像的灰块的色彩值；

依据待处理图像的灰块的色彩值获得白平衡校正参数；

依据得到的白平衡校正参数对经去红外影响处理得到的处理图像进行白平衡校正。

5.一种低照度下彩色摄像机自动白平衡处理装置，其特征在于，包括：

第一数据采集单元，用于采集有且仅有红外光波段的图像；获取在拍摄该图像时当前环境的红外光强度信息以及图像处理芯片的曝光参数信息；

训练单元，用于从第一数据采集单元获取图像红色通道均值信息以及与之对应的环境红外光强度信息和图像处理芯片的曝光参数信息，并据此训练得到图像的曝光参数、环境红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

第二数据采集单元，用于实时获取监控区域的待处理图像，并获取该待处理图像的当前环境红外光强度信息，同时还从图像处理芯片获取当前曝光参数信息；去红外影响单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及当前环境红外光强度信息，并据此查询所述映射关系表获取当前的红外光图像强度估计值；以及进一步依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。

6.如权利要求5所述的低照度下彩色摄像机自动白平衡处理装置，其特征在于，所述训练单元包括：

处理单元，用于在有且仅有红外光波段照射不同素材的环境之下，训练得到图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

保存单元，用于存储图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表。

7.如权利要求5所述的低照度下彩色摄像机自动白平衡处理装置，其特征在于，所述去红外影响单元包括：

接收单元，用于从第二数据采集单元获取与当前待处理图像对应的曝光参数以及用于获取当前红外光强度信息；以及进一步用于从训练单元获取图像的曝光参数、环境的红外光强度信息以及红外光图像强度估计值三者之间的映射关系表；

剔除红外影响处理单元，用于依据与所述待处理图像相对应的曝光参数以及当前红外光强度信息查询所述映射关系表获取当前的红外光图像强度估计值，以及依据红外光图像强度估计值对待处理图像进行去红外影响处理。

8.如权利要求5所述的低照度下彩色摄像机自动白平衡处理装置，其特征在于，所述剔除红外影响处理单元依据当前的红外光图像强度估计值对待处理图像进行去红外影响处理的方法包括：

对待处理图像的红色通道数据减去当前红外光图像强度估计值，以剔除红外光的影响。

9.如权利要求5所述的低照度下彩色摄像机自动白平衡处理装置，其特征在于，所述白平衡校正单元包括：

图像分块单元，用于对处理图像进行分块；

提取候选灰块单元，用于挑选出不易受红外影响的特定色彩块或亮度值较大的灰块作为候选灰块；

灰块确定单元，用于依据候选灰块计算出待处理图像的灰块的色彩值；

白平衡校正参数确定单元，用于依据待处理图像的灰块的色彩值获得白平衡校正参数；

白平衡校正单元，用于对经去红外影响处理得到的处理图像进行白平衡校正。