CN104424483A

CN104424483A - 一种人脸图像的光照预处理方法、装置及终端

Info

Publication number: CN104424483A
Application number: CN201310366699.9A
Authority: CN
Inventors: 林亚平; 蒋卓轩; 周四望; 范金桥; 贺新初; 朱韧; 李炎; 姜峰; 徐舫
Original assignee: China Mobile Group Electronic Commerce Co Ltd
Current assignee: China Mobile Group Electronic Commerce Co Ltd
Priority date: 2013-08-21
Filing date: 2013-08-21
Publication date: 2015-03-18

Abstract

本发明公开了一种人脸图像的光照预处理方法，包括：采集人脸图像时，并获取终端所处环境的光照值；在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数；根据所述预处理参数对采集到的人脸图像进行光照预处理。本发明还同时公开了一种人脸图像的光照预处理装置及终端。采用本发明的技术方案，可以在光照变化的环境中，对人脸图像进行高速且高识别率的光照预处理。

Description

一种人脸图像的光照预处理方法、装置及终端

技术领域

本发明涉及人脸识别中的人脸图像处理技术以及光线传感技术，尤其涉及一种人脸图像的光照预处理方法、装置及终端。

背景技术

光照变化对人脸识别性能的影响是终端处于移动环境的关键问题之一。为了解决光照变化对人脸识别性能的影响，现有的光照预处理算法主要是基于人脸图像变换和三维（3D，3 Dimension）建模做光照自适应补偿。人脸图像变换算法在移动环境下识别率较差，3D建模算法虽然有较高的识别率，但需要耗费巨大的计算开销和时间复杂度。

终端处于移动环境时，光照变化的随意性大、计算能力有限，现有的光照预处理算法如果运行在处于移动环境下的终端上时，在处理速度和识别率上都不能达到预期的效果。

随着智能终端的广泛流行及其不断对人们每天生活的影响，智能终端上的人脸识别技术表现出了可观的市场价值和潜力。然而，处理速度和识别率的限制制约了传统人脸识别技术在智能终端上的直接应用。不仅如此，由于智能终端的移动性的特点，移动环境下的人脸识别带来了光照变化，这增加了移动环境下人脸识别应用的难度。

发明内容

有鉴于此，本发明的主要目的在于提供一种人脸图像的光照预处理方法、装置及终端，能够在光照变化的环境中，对人脸图像进行高速且高识别率的光照预处理。

为达到上述目的，本发明的技术方案是这样实现的：

一种人脸图像的光照预处理方法，所述方法包括：

采集人脸图像时，并获取终端所处环境的光照值；

在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数；

根据所述预处理参数对采集到的人脸图像进行光照预处理。

所述方法还包括：

分别采集多种光照强度时的人脸图像，而得到多幅不同光照强度的人脸图像；

通过所述光线传感器获取所述多幅不同光照强度的人脸图像的光照值，并作为参考光照值；

根据光照预处理算法分别计算所述多幅不同光照强度的人脸图像的预处理参数；

根据所述多幅不同光照强度的人脸图像、所述多幅不同光照强度的人脸图像的光照值、以及所述多幅不同光照强度的人脸图像的预处理参数，建立人脸数据库。

所述光照预处理算法为伽马强度矫正GIC算法时，所述预处理参数为伽马参数。

所述在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数，包括：

建立所述多幅不同光照强度的人脸图像的光照值与所述多幅不同光照强度的人脸图像的预处理参数之间的离散方程；

根据所述离散方程，计算与采集到的人脸图像的光照值最接近的参考光照值，并获取所述参考光照值的预处理参数。

所述方法还包括：

对光照预处理后的人脸图像进行人脸识别处理。

种人脸图像的光照预处理装置，所述装置包括：采集单元、获取单元、查找单元以及处理单元；其中，

所述采集单元，用于采集人脸图像时，触发所述获取单元；

所述获取单元，用于收到所述采集单元的触发后，获取终端所处环境的光照值；

所述查找单元，用于在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数；

所述处理单元，用于根据所述预处理参数对采集到的人脸图像进行光照预处理。

所述装置还包括预处理单元以及人脸数据库单元；

所述采集单元，还用于分别采集多种光照强度时的人脸图像，而得到多幅不同光照强度的人脸图像；

所述获取单元，还用于获取所述多幅不同光照强度的人脸图像的光照值，并作为参考光照值；

所述预处理单元，用于根据光照预处理算法分别计算所述多幅不同光照强度的人脸图像的预处理参数；

所述人脸数据库单元，用于根据所述多幅不同光照强度的人脸图像、所述多幅不同光照强度的人脸图像的光照值、以及所述多幅不同光照强度的人脸图像的预处理参数，建立人脸数据库。

所述光照预处理算法为GIC算法时，所述预处理参数为伽马参数。

所述查找单元包括：建立子单元以及计算子单元；其中，

所述建立子单元，用于建立所述多幅不同光照强度的人脸图像的光照值与所述多幅不同光照强度的人脸图像的预处理参数之间的离散方程；

所述计算子单元，用于根据所述离散方程，计算与采集到的人脸图像的光照值最接近的参考光照值，并获取所述参考光照值的预处理参数。

所述装置还包括识别单元，用于对光照预处理后的人脸图像进行人脸识别处理。

一种终端，所述终端包括上述任意人脸图像的光照预处理装置。

本发明实施例记载的人脸图像的光照预处理方法、装置及终端，采集人脸图像时，并获取终端所处环境的光照值；在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数；根据所述预处理参数对采集到的人脸图像进行光照预处理。如此，可以在光照变化的环境中，对人脸图像进行高速且高识别率的光照预处理，从而在保证高识别率的同时，提高了处理速度、降低了资源开销。

附图说明

图1为本发明实施例人脸图像的光照预处理方法的实现流程示意图；

图2为本发明实施例人脸图像的光照预处理装置的结构组成示意图；

图3为本发明实施例人脸图像的光照预处理装置中查找单元的结构组成示意图；

图4为本发明实施例终端的结构组成示意图；

图5为本发明实施例中不同光照条件下的人脸图像示意图；

图6为本发明实施例中一个样本不同光照条件下的人脸图像示意图。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

本发明实施例的基本思想是：通过嵌在手机面板上的光线传感器采集光照强度的数据作为先验参数进行人脸图像的光照预处理，以达到在处理速度和识别率有限的处于移动环境下的终端中，对人脸图像进行高速且高识别率的光照预处理。

本发明实施例记载了一种人脸图像的光照预处理方法，如图1所示，所述方法包括以下步骤：

步骤101：采集人脸图像时，并获取终端所处环境的光照值。

优选地，所述方法还包括：

优选地，所述光照预处理算法为伽马强度矫正（GIC，Gamma Intensity Correction）算法时，所述预处理参数为伽马参数。

为了能更加清楚地了解本发明实施例，现对GIC算法进行详细说明。

GIC算法通过修改人脸图像的全局亮度，使该人脸图像与预先定义的标准人脸图像相匹配。标准的人脸图像通常是标准光照情况下所采集到或修正得到的人脸图像。

例如，I是输入的人脸图像，I′是I经过GIC算法处理后的人脸图像，则I′可通过公式（1）得到。

I'_xy=G(I_xy;γ^*) （1）

其中，I_xy表示输入的人脸图像坐标为（x，y）处的灰度值；I'_xy表示经过G（）变换而得到的人脸图像坐标为（x，y）处的灰度值；G(I_xy;γ^*)表示对I_xy进行伽马变换。

公式（1）中的伽马参数γ^*可以通过公式（2）计算得到。公式（2）为在多个伽马参数γ中取最优伽马参数γ^*，公式（2）的目的是找到一个和标准人脸图像具有最小差值的伽马参数γ^*。

γ^{*} = \arg \min_{γ} \underset{x, y}{Σ} {[G (I_{xy}; γ) - I_{0} (x, y)]}^{2} - - - (2)

其中，

\arg \min_{γ} {\underset{x, y}{Σ} [G (I_{xy}; γ) - I_{0} (x, y)]}^{2}

表示

\underset{x, y}{Σ} {[G (I_{xy}; γ) - I_{0} (x, y)]}^{2}

取最小值时的 γ值；G(I_xy;γ)的表达式为公式（3）。

G (I_{xy}; γ) = c \cdot I_{xy}^{\frac{1}{γ}} - - - (3)

其中，c是灰度伸缩参数。

经过上述过程后，多幅不同光照强度的人脸图像都可以得到对应的预处理参数，即伽马参数γ^*。

上述GIC算法中对时间复杂度贡献最大的主要是以下两个步骤：1）获得伽马参数γ^*的最优化过程；2）用伽马参数γ^*生成最后的人脸图像的过程。并且，除了上述两个过程，还有两个参数对时间复杂度具有重要的贡献，即伽马参数γ的范围和搜索伽马参数γ^*的步长μ。假定伽马参数γ^*的范围为公式（4），

γ^*∈[R₀,R₁],γ^*>0 （4）

其中，γ^*∈[R₀,R₁]表示索伽马参数γ^*的取值范围为大于/等于R₀且小于等/于R₁。

假设获得伽马参数γ^*的最优化过程的时间复杂度分别是T₁，用伽马参数γ ^*生成最后的人脸图像的过程的时间复杂度是T₂。则由下述公式（5）至公式（9）可得到总的时间复杂度T，在公式（5）至公式（9）中，O（）是时间复杂度函数，并且，人脸图像数据库中包含n张人脸图像，每张人脸图像的大小一致，H是人脸图像的高度，W是人脸图像的宽度。以下对总的时间复杂度T的计算过程作详细描述。

结合公式（4），可将公式（2）的时间复杂度表示为公式（5）

T_{1} = \frac{| R_{0} - R_{1} |}{μ} \cdot H \cdot W \cdot O (Ψ) + O (\frac{| R_{0} - R_{1} |}{μ}) - - - (5)

其中，Ψ的表达式如公式（6）。

Ψ=[G(I_xy;γ)-I₀(x,y)]² （6）

T₁的简化形式可以通过公式（7）得到。

T_{1} = O (\frac{| R_{0} - R_{1} |}{μ} \cdot H \cdot W) - - - (7)

公式（1）是利用计算出的索伽马参数γ^*产生最终的人脸图像，其时间复杂度的计算方式如公式（8）所示。

T₂=O(H·W) （8）

综上所述，GIC算法的全部时间复杂度的计算方式如公式（9）。

T = T_{1} + T_{2} = O (\frac{| R_{0} - R_{1} |}{μ} \cdot H \cdot W) - - - (9)

步骤102：在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数。

优选地，所述在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数，包括：

具体地，设L是人脸图像数据库中所有人脸图像的光照值的集合，则可以创建一一对应的离散方程F，如公式（10）。

γ_i=F(l_i),i=1,...,|L| （10）

其中，l_i是L中的第i个人脸图像的光照值，γ_i是第i个人脸图像预先计算好的伽马参数γ。假设采集到的人脸图像的光照值是l，则可以通过计算伽马参数γ^*的过程来计算l^*，如公式（11）所示。

γ^{*} = F [\arg \min_{l_{i}} {(l_{i} - l)}^{2}] - - - (11)

如此，通过公式（11），伽马参数γ^*优化过程的时间复杂度变为光照值l^*优化过程的时间复杂度，如公式（12）。

T₁’=n·O((l_i-l)²)+O(n)+O(1)=O(n) （12）

综上所述，本发明实施例人脸图像的光照预处理方法的全部时间复杂度可通过公式（13）得到。

T'=T₁'+T₂=O(n)+O(H·W) （13）

由公式（13）可知，全部时间复杂度是一个固定的值，仅仅取决于人脸图像数据库的大小以及每张人脸图像的大小。相比较之前的GIC算法，本发明实施例人脸图像的光照预处理方法能大大减少时间复杂度和计算所消耗的资源。

步骤103：根据所述预处理参数对采集到的人脸图像进行光照预处理。

优选地，所述方法还包括：对光照预处理后的人脸图像进行人脸识别处理。

本发明实施例还记载了一种人脸图像的光照预处理装置，如图2所示，所述装置包括：采集单元21、获取单元22、查找单元23以及处理单元24；其中，

所述采集单元21，用于采集人脸图像时，触发所述获取单元22；

所述获取单元22，用于收到所述采集单元21的触发后，获取终端所处环境的光照值；

所述查找单元23，用于在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数；

所述处理单元24，用于根据所述预处理参数对采集到的人脸图像进行光照预处理。

优选地，在图2所示的人脸图像的光照预处理装置的基础上，本发明实施例的人脸图像的光照预处理装置还包括：预处理单元（图2中未示出）以及人脸数据库单元（图2中未示出）；其中，

所述采集单元21，还用于分别采集多种光照强度时的人脸图像，而得到多幅不同光照强度的人脸图像；

所述获取单元22，还用于获取所述多幅不同光照强度的人脸图像的光照值，并作为参考光照值；

优选地，所述光照预处理算法为GIC算法时，所述预处理参数为伽马参数。

优选地，如图3所示，所述查找单元23包括：建立子单元231以及计算子单元232；其中，

所述建立子单元231，用于建立所述多幅不同光照强度的人脸图像的光照值与所述多幅不同光照强度的人脸图像的预处理参数之间的离散方程；

所述计算子单元232，用于根据所述离散方程，计算与采集到的人脸图像的光照值最接近的参考光照值，并获取所述参考光照值的预处理参数。

优选地，在图2所示的人脸图像的光照预处理装置的基础上，本发明实施例的人脸图像的光照预处理装置还包括识别单元（图2中未示出），用于对光照预处理后的人脸图像进行人脸识别处理。

本领域技术人员应当理解，图2、图3所示的人脸图像的光照预处理装置中的各单元及其子单元的实现功能可参照前述人脸图像的光照预处理方法的相关描述而理解。图2、图3所示的人脸图像的光照预处理装置中的各单元及其子单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

在实际应用中，上述人脸图像的光照预处理装置中的采集单元21可由摄像装置实现；获取单元22可由终端内置的光线传感器实现；查找单元23以及处理单元24可由中央处理器（CPU，Central Processing Unit）、或数字信号处理器（DSP，Digital Signal Processor）、或可编程逻辑阵列（FPGA，Field-Programmable Gate Array）实现。

本发明实施例还记载了一种终端，如图4所示，所述终端包括图2所示的人脸图像的光照预处理装置，包括：采集单元21、获取单元22、查找单元23以及处理单元24；其中，

所述采集单元21，用于采集人脸图像时，触发所述获取单元；

所述获取单元22，用于收到所述采集单元的触发后，获取终端所处环境的光照值；

本领域技术人员应当理解，图4所示的终端中的人脸图像的光照预处理装置可参照图2、图3所示的人脸图像的光照预处理装置中的各单元及其子单元的功能进行理解。

在实际应用中，图4所示的终端中的人脸图像的光照预处理装置中的采集单元21可由摄像装置实现；获取单元22可由终端内置的光线传感器实现；查找单元23以及处理单元24可由中央处理器（CPU，Central Processing Unit）、或数字信号处理器（DSP，Digital Signal Processor）、或可编程逻辑阵列（FPGA，Field－Programmable Gate Array）实现。

下面结合具体实施例对本发明提供的人脸图像的光照预处理方法的效果作进一步详细描述。

本实施例中选取了HUN-MFD标准移动人脸数据库中的相关人脸图像数据，一共有349张人脸图像，12个样本，包括4名女性和8名男性。每个样本的人脸图像数量从14到55不等，包含了多个场景下的人脸图像。每一个样本的人脸图像均选取正面姿态、不同光照条件下、没有化妆和表情的情况。训练集，即为本发明实施例中的人脸图像数据库，包含了246张人脸图像，剩下的103张人脸图像作为测试集。在训练集和测试集之间没有重复的人脸图像。每一张照片都事先经过裁剪归一化至灰度人脸图像，并且统一采用128×128像素的人脸图像。图5显示了三个样本的不同光照条件下的人脸图像。

在实施例中采用了三种经典的人脸特征作为对比来评估性能：PCA[11]，LDA[12]和LBP[13]。最邻近（NN）法用于计算相似度。这里所有的人脸识别率均指Rank-1。三种人脸特征的参数分别描述如下：

PCA：采用了人脸特征长度为50的主成分，每个特征保存了原图中92%的信息量；

LDA：由于有13个样本，采用默认值，因此特征长度为12；

LBP：作为一种局部特征，LBP特征的半径设为1，每个像素周围8个像素会被用来参与计算。默认的将人脸图像分块为8×8。

在本性能测试实施例中，建立两个运行环境进行对比，分别是电脑环境和移动环境。在电脑环境上的实施例主要是为了验证移动GIC算法是否在电脑和移动两个环境下都能达到预期效果，并且比较哪个环境更适合。在两个环境中的实施例均将程序的优先级设置为最高优先级以最大程度防止其他并行运行的程序对实施例的影响。两个实施例环境的具体参数如下：

计算机运行环境：本发明实施例的应用程序运行在Windows个人电脑上，其CPU为Dual-Core E52002.50GHz，内存2G，操作***是Windows 7 Ultimate Service Pack 1。程序开发时用到的依赖库包括了Visual Studio 2010中的库函数和OpenCV 2.4.2；

移动运行环境：实施例程序运行在Android移动手机上，其型号为Samsungi9250 （Google Galaxy Nexus），CPU为OMAP4460 Dual-Core 1228 MHz，内存1G，操作***是Android 4.1.2（Jelly Bean），操作***内核版本是Linux3.0.31-g4f6d371。程序开发时用到的依赖库包括了android-ndk-r8b和OpenCV2.4.2。为了保持和计算机环境的程序之间的一致性，相同的C++代码被移植到移动环境下，而没有另外编写从C++改写成Java版本的程序。因此为了满足这样的需求，应用程序是采用了基于Java本地接口（JNI，Java Native Interface）技术而开发的。

在运行GIC算法时，通常按照经验将γ的范围设置成（0，5]。图6分别显示了针对一个样本不同光照条件下的原始人脸图像、GIC和移动GIC后的人脸图像。

表1显示了移动GIC算法（为本发明实施例中的人脸图像的光照预处理方法）和GIC算法相比，在计算机环境和移动环境下分别用不同步长时的预处理部分的加速比。

表1

表2显示了在手机上分别用PCA、LDA和LBP人脸特征和不同预处理方法下的Rank-1人脸识别率。

表2

表3显示了移动环境下，包括预处理部分的完整人脸识别过程的移动Gamma强度矫正和Gamma强度矫正之间的加速比。

表3

通过上表1至表3中统计的数据可以得出：

移动GIC算法的加速效果在移动环境下比在计算机环境下好；

与没有做补偿相比，移动GIC算法极大地提升了人脸识别率，但与GIC算法相比，在PCA和LDA的算法情况下，移动GIC算法的识别率略低，但用局部特征算法LBP时，移动GIC算法有更高的识别率；

由于在移动环境下极低的计算开销和电能消耗，移动GIC算法特别适合在移动设备上运行，尤其是在使用LDA时，既提升了识别率，又极大地降低了时间复杂度。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种人脸图像的光照预处理方法，其特征在于，所述方法包括：

采集人脸图像时，并获取终端所处环境的光照值；

根据所述预处理参数对采集到的人脸图像进行光照预处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述光照预处理算法为伽马强度矫正GIC算法时，所述预处理参数为伽马参数。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述在预存的人脸数据库中查找与所述光照值最接近的人脸图像，并获取所述光照值最接近的人脸图像对应的预处理参数，包括：

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

对光照预处理后的人脸图像进行人脸识别处理。

6.一种人脸图像的光照预处理装置，其特征在于，所述装置包括：采集单元、获取单元、查找单元以及处理单元；其中，

所述采集单元，用于采集人脸图像时，触发所述获取单元；

7.根据权利要求6所述的装置，其特征在于，所述装置还包括预处理单元以及人脸数据库单元；

8.根据权利要求6所述的装置，其特征在于，所述光照预处理算法为GIC算法时，所述预处理参数为伽马参数。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述查找单元包括：建立子单元以及计算子单元；其中，

10.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括识别单元，用于对光照预处理后的人脸图像进行人脸识别处理。

11.一种终端，其特征在于，所述终端包括权利要求6至10任一项所述的人脸图像的光照预处理装置。