CN104881644A - 非均匀光照条件下的人脸图像采集方法 - Google Patents

Abstract

本发明公开了非均匀光照条件下的人脸图像采集方法，能够在非均匀光照的条件下获取高质量的人脸图像。该方法将图像中包含人脸的感兴趣区域分割为不同的照度区域，针对不同的照度区域调整曝光时间，使每一个照度区域都以中性亮度为目标曝光亮度，从而获取人脸在非均匀光照下不同照度区域的细节信息。对所得到的不同曝光的图像进行高动态范围图像合成，并利用色调映射技术将高动态范围图像转化为易于计算机处理和显示的低动态范围图像。本发明可以有效解决非均匀光照条件造成的人脸图像质量退化的问题，所得到的高质量的人脸图像有利于后续的图像处理和机器视觉分析等。

Description

非均匀光照条件下的人脸图像采集方法

技术领域

本发明涉及图像处理和图像采集中的曝光控制技术，具体是一种利用多次曝光合成高动态图像的技术进行非均匀光照下的人脸图像采集方法。

背景技术

基于人脸图像的各种生物识别***利用结合机器视觉技术，通过计算机模拟人的视觉功能和图像分析理解能力，从人脸图像中提取所需特征信息，可以完成对人的身份识别以及疲劳状态检测等方面的工作。虽然相关研究已经得到长足的发展，但大多数还只是停留在实验室验证阶段，其中一个重要的制约因素是在实际使用环境中图像质量的退化导致后续的机器视觉处理失效。在实际应用环境中光照条件不理想是造成图像质量不佳的一个重要原因，例如存在强光源，光照不均匀，光照方向及强度随时间变化等。这些因素会造成人脸图像信息的丢失。

图像采集是基于人脸图像的生物识别***工作流程的第一个步骤，是决定图像质量的关键环节，一个设计良好的人脸图像采集***应该能在各种光照条件不理想的场景下采集到包含丰富的人脸细节特征的图像，从而为后续的图像处理或机器视觉应用提供高质量的信息源。

图像采集***的设计分为硬件平台设计和参数控制方法设计，二者共同决定图像采集***的性能。目前的人脸图像采集***一般采用单次曝光进行人脸图像采集。这种方式在非均匀强光下有难以克服的缺陷。人脸在非均匀光照下会出现各区域亮暗不一致的情况，例如单侧光照射下出现“阴阳脸”的情况。若使用较短的曝光时间会使暗区的曝光不足而丢失细节信息，若使用较长的曝光时间会使亮区的曝光过度，同样丢失了细节信息。因此使用单次曝光无法获取完整的人脸信息。目前对非均匀光照下单次曝光所获得的人脸图像质量不佳的问题，一般采用预处理的方式进行光照纠正。这种方式的效果有限，仅对光照不均匀程度较弱的情况有一定效果。存在非均匀强光时，单次曝光所丢失的人脸图像信息无法得到恢复。

针对现有方法的不足，本发明提出多次曝光进行人脸图像合成的方法，该方法能较好地克服非均匀光照造成的人脸图像质量退化。

发明内容

本发明的目的是克服非均匀光照下采集的人脸图像质量退化的问题。本发明在非均匀光照的条件下通过多次曝光进行合成的方法获得高质量的人脸图像。本发明的具体技术方案如下：

(1)划定图像中的感兴趣区域；

(2)对于感兴趣区域使用基于中性亮度假设的单次曝光获取一帧参考图像。对感兴趣区域进行照度区域划分；

(3)对于划分的每一个照度区域分别进行曝光，控制曝光时间使得每个区域的目标亮度都符合中性亮度假设；

(4)对不同曝光的图像进行高动态范围图像合成，并使用色调映射算子将合成的高动态范围图像转化为低动态范围图像，以便进行后续的显示和图像处理。

所述的步骤(1)对感兴趣区域的划分可以根据不同需求进行，可以划定一个固定大小和位置的矩形区域，也可以划定位置和大小在采集过程中发生变化的区域，只要该区域包含了人脸。

所述的步骤(2)中对感兴趣区域的划分由以下方法进行：首先确定划分的区域数，若感兴趣区域中过曝光和欠曝光的像素比例都超过了5％(当像素灰度值大于等于250时，可认为该像素过曝光，当像素灰度值小于5时，可认为该像素欠曝光)，则划分为3个区域，否则划分为两个区域；其次利用最大类间方差法得到划分阈值，若划分为2个区域，则得到单个划分阈值，若划分为3个区域，则得到2个划分阈值；最后将感兴趣区域中的每个像素与阈值进行比较，落到相同像素值区间的像素划分为同一个照度区域。

所述的步骤(3)中对每个照度区域的曝光时间控制由以下方法确定：当照度区域存在大量过曝光或欠曝光的像素时，无法确定目标曝光时间。此时只能通过调整曝光时间步长逐次逼近目标曝光时间。对于过曝光的照度区域，曝光时间的调整依次为T/2，T/4，T/8等，直到该区域不再过曝光；对于欠曝光照度区域，曝光调整时间分别为2T，4T，8T等，直到该区域不再欠曝光。当照度区域中欠曝光或过曝光的比例低于5％时，使用逐步微调曝光时间的方法使该照度区域的目标亮度接近中性亮度假设。当前照度区域亮度小于目标亮度时，调整下一次曝光时间为：

T_n+1＝T_n+α(V-V_n)*T_n，

当前照度区域亮度大于目标亮度时，调整下一次曝光时间为：

T_n+1＝T_n-α(V_n-V)*T_n，

T_n为当前曝光时间，V_n为当前照度区域亮度均值，V为目标亮度，α取1/256。

所述的步骤(4)中所采用的不同曝光的高动态范围图像合成方法由Debevec方法合成，所采用的色调映射算子应能够保留图像的局部细节信息。一个较好的色调映射算子选择是Reinhard色调映射算子。

与现有技术相比，本发明具有如下优点和效果：本发明针对非均匀光照条件，对人脸图像区域进行照度区域划分，对每个照度区域进行合适的曝光从而较好地获取人脸细节信息，克服了单次曝光中过曝光或欠曝光带来的细节信息丢失，有效解决非均匀光照条件造成的人脸图像质量退化的问题，所得到的高质量的人脸图像有利于后续的图像处理和机器视觉分析等。

附图说明

图1是非均匀光照条件下的人脸图像采集方法的整体流程图。

图2是多曝光控制流程。

具体实施方式

以下结合附图对本发明的实施作进一步说明，但本发明的实施和保护不限于此。

本实施例中首先将图像中间区域划定为感兴趣区域。基于中性亮度假设对感兴趣区域获取一帧参考图像。

本实施例中对感兴趣区域的照度区域划分可划分为2个区域或3个区域。当感兴趣区域中过曝光和欠曝光像素的比例都超过5％时，将感兴趣区域划分为3个照度区域，否则划分为2个照度区域。照度区域的具体划分方式是通过像素值与分割阈值进行比较，落入同一个阈值区间的像素划分为一个照度区域。

本实施例中采用最大类间方差法进行阈值划分。设图像的像素总数为N，灰度级总数L取256，每个灰度级的像素数为n_i，则第i个灰度级的概率为：

p_i＝n_i/N，

$\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{p}_i=\mathrm{1,1}\≤i\≤L,$

整幅图像的平均灰度值为：

${\mathrm{\μ}}_T=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}i\·p_i,$

进行单阈值分割时，设分割阈值k将灰度为A，B两类，这两类像素的概率别为：

$P_A=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i,$

$P_B=\underset{i=k+1}{\overset{L}{\mathrm{\Σ}}}{p}_i,$

两类像素的均值分别为：

${\mathrm{\μ}}_A=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\·p_i/P_A,$

${\mathrm{\μ}}_B=\underset{i=k+1}{\overset{L}{\mathrm{\Σ}}}i\·p_i/P_B,$

两类像素的类间方差值为：

σ²＝P_A(μ_A-μ_T)²+P_B(μ_B-μ_T)²，

要使目标函数F取得最大值：

$F\left(K\right)=\underset{1\≤k\≤L}{\max }{\mathrm{\σ}}^2\left(k\right),$

此时，得到分割阈值K。

进行双阈值分割时，设分割阈值为k₁，k₂将像素分为A,B,C三类，P_A，P_B，P_C和μ_A，μ_B，μ_C分别为3类像素的概率和均值，三类像素的类间方差值为：

σ²＝P_A(μ_A-μ_T)²+P_B(μ_B-μ_T)²+P_C(μ_C-μ_T)²，

此时目标函数为：

$F(K_1,K_2)=\underset{1\&le;k1\&le;k2<L}{\max }{\mathrm{\&sigma;}}^2(k_1,k_2),$

得到分割阈值K₁，K₂。

本实施例中，得到分割阈值后，将感兴趣区域的中的每个像素与阈值进行比较，将落入同一个阈值区间的像素划分为同一个照度区域。

本实施例中对不同照度区域进行曝光时间控制时，以中性亮度为目标亮度进行曝光时间设置。对属于某一照度区域的所有像素求取平均值，若该平均值等于传感器输出的像素中值(对于8bit的灰度值，该像素中值为128)，说明达到了目标亮度，此时停止对该照度区域的曝光时间调整。

本实施例中对不同照度区域的曝光控制方法具体如下：当照度区域存在大量过曝光或欠曝光的像素时，无法确定目标曝光时间。此时只能通过调整曝光时间步长逐次逼近目标曝光时间。对于过曝光的照度区域，曝光时间的调整依次为T/2，T/4，T/8等，直到该区域不再过曝光。对于欠曝光的照度区域，曝光时间调整依次为2T，4T，8T等，直到该区域不再欠曝光。当照度区域中欠曝光或过曝光的比例低于5％时，使用逐步微调曝光时间的方法使该照度区域的目标亮度接近中性亮度假设。当前照度区域亮度小于目标亮度时，调整下一次曝光时间为：

T_n+1＝T_n+α(V-V_n)*T_n，

当前照度区域亮度大于目标亮度时，调整下一次曝光时间为：

T_n+1＝T_n-α(V_n-V)*T_n，

T_n为当前曝光时间，V_n为当前照度区域亮度均值，V为目标亮度，α取1/256。

本实施例中对不同曝光的图像进行高动态范围图像合成采用Debevec的相机响应曲线求取和高动态范围图像重建方法。

设Z_ij是像素值，Z_ij∈[0，255]，此处下标i代表像素点在图像中的坐标，下标为i的像素点的照度值为E_i，j代表该图像的曝光序列，即第j幅图像的曝光时间为Δt_j，图像的曝光序列总和为P。第j幅图像的第i个像素点的像素值与曝光量的关系为：

Z_ij＝f(E_iΔt_j)，

其中f即为相机的响应函数，在求解过程中将lnf^-1记为g。

求取出相机响应函数之后便可将图像的像素值转化为场景中的照度值，由于图像中对应场景的同一个像素点都得到了多次曝光，为了加强鲁棒性，在恢复场景照度时应该使用所有曝光值所对应的照度，则每个像素点对应的照度是所有值的加权平均：

$\ln E_i=\frac{\underset{j=1}{\overset{P}{\mathrm{\&Sigma;}}}w\left(Z_{\mathrm{ij}}\right)[g\left(Z_{\mathrm{ij}}\right)-\ln \mathrm{\&Delta;}{t}_j]}{\underset{j=1}{\overset{P}{\mathrm{\&Sigma;}}}w\left(Z_{\mathrm{ij}}\right)},$

其中w(Z_ij)是不同曝光序列中对应像素点的权重，表达式如下：

$w\left(z\right)=\left\{\begin{array}{ccc}z-Z_{\min }& \mathrm{for}& z\&le;\frac{1}{2}(Z_{\min }+Z_{\max })\\ Z_{\max }-z& \mathrm{for}& z>\frac{1}{2}(Z_{\min }+Z_{\max })\end{array}\right.,$

其中Z_min＝0，Z_max＝255，即一个三角形的权重函数，当像素值为0或255时对应的权重为0，像素值越靠近中间权重越大，这是因为越靠近0或255的像素值欠曝光或过曝光的可能性越高，可信度越低，对应的权重也越小。

本实施例中，通过不同曝光合成得到的高动态范围图像不适合后续的存储、处理和显示，需要对其进行进行色调映射，转化为低动态范围图像，同时保留高动态范围图像中丰富的细节信息和特征。在已有的多种全局色调映射算子和局部色调映射算子中，Reinhard色调映射算子能够较好地压缩图像的亮度动态范围同时保留图像的细节信息，本实施例采用Reinhard色调映射算子对合成的高动态范围图像进行色调映射后得到最终的输出图像。

Claims (5)

1.一种非均匀光照条件下的人脸图像采集方法，其特征在于包括以下步骤：

(1)划定图像中的感兴趣区域；

(2)对于感兴趣区域使用基于中性亮度假设的单次曝光获取一帧参考图像，对感兴趣区域进行照度区域划分；

(3)对于划分的每一个照度区域分别进行曝光，控制曝光时间使得每个区域的目标亮度都符合中性亮度假设；

(4)对不同曝光的图像进行高动态范围图像合成，并使用色调映射算子将合成的高动态范围图像转化为低动态范围图像，以便进行后续的显示和图像处理。

2.如权利要求1所述的非均匀光照条件下的人脸图像采集方法，其特征在于步骤(2)中对感兴趣区域进行照度区域划分时，使用阈值分割的方法，对于感兴趣区域中欠曝光和过曝光的像素比例都超过5％的情况采用双阈值分割，否则采用单阈值分割，得到分割阈值后将像素值与分割阈值进行对比，落入相应阈值区间的像素划分为同一个照度区域。

3.如权利要求2中所述的非均匀光照条件下的人脸图像采集方法，其特征在于所述阈值分割方法采用最大类间方差法进行分割，最大类间方差法所要得到的分割阈值的个数及分割阈值的目标函数由照度区域的划分个数决定。

4.如权利要求1中所述的非均匀光照条件下的人脸图像采集方法，其特征在于步骤(3)对于每一个照度区域进行曝光控制，最终得到的曝光参数使得每一个照度区域都符合中性亮度假设。

5.如权利要求1中所述的非均匀光照条件下的人脸图像采集方法，其特征在于步骤(3)对于每一个照度区域进行曝光控制的方法具体如下：当照度区域存在过曝光或欠曝光的像素时，无法确定目标曝光时间，此时只能通过调整曝光时间步长逐次逼近目标曝光时间；对于过曝光的照度区域，曝光时间根据调整次数k依次调整为T/2^k，直到该区域不再过曝光；对于欠曝光的照度区域，曝光时间根据调整次数k依次调整为T·2^k，直到该区域不再欠曝光；当照度区域中欠曝光或过曝光的比例低于5％时，使用逐步微调曝光时间的方法使该照度区域的目标亮度接近中性亮度假设；当前照度区域亮度小于目标亮度时，调整下一次曝光时间为：

T_n+1＝T_n+α(V-V_n)*T_n，

当前照度区域亮度大于目标亮度时，调整下一次曝光时间为：

T_n+1＝T_n-α(V_n-V)*T_n，

T_n为当前曝光时间，V_n为当前照度区域亮度均值，V为目标亮度，α取1/256。