CN105894050A - 一种基于多任务学习的人脸图像种族和性别识别方法 - Google Patents

Abstract

一种基于多任务学习的人脸图像种族和性别识别方法，该方法涉及数字图像处理、模式识别、计算机视觉、生理学等技术领域，用于解决多种场合下基于静态图像或视频图像的人脸图像种族和性别识别问题。多任务学习方法是一种通过相关任务学习来提高学习性能的学习方法，既可以区分任务间学习的差异性，也可以共享任务间相关特征，通过相关性来提高学习能力，缓解高维小样本过学习问题。将多任务学习方法引入人脸图像种族和性别识别中，以不同语义作为不同任务，提出基于语义的多任务特征选择，应用于种族和性别识别，能显著提高学习***的泛化能力和识别效果。

Description

一种基于多任务学习的人脸图像种族和性别识别方法

技术领域

本发明是一种基于多任务学习的人脸图像种族和性别识别方法，该方法涉及数字图像处理、模式识别、计算机视觉、生理学等技术领域。

背景技术

人脸图像蕴含着丰富的信息，从模式识别的角度，可以进行种族识别、性别识别、身份识别等。

主成分分析法(Principle Component Analysis,PCA)，其基本思想是通过K-L变换来提取样本的主要特征，通过解训练样本协方差矩阵的特征向量得到展开基，按特征值降序排序代表主成分的重要程度。Kirby(Turk,M.,Pentland,A.,Eigenface for Recognition[J].Journal of cognitive Neuroscience.Vol.3,No.1,1991,pp.1-17)等在1990年将PCA用于解决人脸识别问题，Turk(Kirby,M.,Sirovich,L.,Application of the Karhunen-Loeve procedure for the characterization of humanfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1990,Vol.12,No.1,pp.103-108)等将之发展为特征脸(Eigenfaces)，用于正面人脸识别，从此人脸子空间的方法得到研究者的重视。

支持向量机[42](Support Vector Machine，SVM)(Cortes,V.V.,Support vectornetworks[J].Machine Learning,Vol.20,1995,pp.273～297)是由Cortes和Vapnik于1995年提出用来解决手写识别问题的。它可以根据有限的样本信息在模型的复杂度和学习能力之间寻求最佳的折衷，以期得到最好的推广能力。

SVM的最终决策函数只由少数的支持向量所确定，计算的复杂度取决于支持向量的数目，而不是样本空间的维数，这不但可以帮助我们抓住关键样本、剔除大量冗余样本，而且方法简单，具有较好的鲁棒性，主要体现在：

1.增、删非支持向量样本对模型没有影响；

2.支持向量样本集具有一定的鲁棒性；

3.对核的选取相对不敏感。

SVM本质上是两类分类器。但面对多类问题，可以构造一对多，一对一和SVM决策树等方法。SVM决策树(SVM Decision Tree)将SVM和二叉决策树结合起来，构成多级分类器。

多任务学习方法是一种通过相关任务学习来提高学习性能的学习方法，既可以区分任务间学习的差异性，也可以共享任务间相关特征，通过相关性来提高学习能力，缓解高维小样本过学习问题。

发明内容

人脸图像包含的丰富语义为多任务学习的引入提供可能，我们将不同的语义作为不同的任务，提出了基于语义的多任务特征选择算法，对于给定的人脸图像训练集，提取特征后得到按任务排序的数据集，通过迭代求得最优的c个任务的稀疏系数W，W的每一列对应单个任务的稀疏系数，稀疏值绝对值越大，表明该维特征对所在任务识别的贡献率越大，按贡献值排序后即可实现对每种任务的特征进行选择。

此法主要包含训练部分和测试部分。训练部分是通过训练集和学习策略得到性别和种族的特征选择标签，在测试过程中选择不同的任务类标，经分类器后得到识别结果，经多次测量得到多任务特征选择的识别准确率。

一种基于多任务学习的人脸图像种族和性别识别方法,该方法包括如下步骤：

S1图片预处理

图片预处理是人脸识别流程中重要的一个环节，其主要目的是削弱甚至消除人脸图片中对识别无关的信息，滤除噪声干扰，增强有用信息的比重，便于后期提取更加有效的特征用于分类。本发明采用的图片预处理的方法主要包括：

(1)直方图均衡化：该方法将已知图片经过某种变换，使其灰度概率密度呈均勾分布，以此削弱光照不均匀变化的影响，从而增强图像整体对比度。直方图均衡化分三步：

a)统计原图像的直方图；

b)由原始图片的灰度直方图根据积分累计函数做变换生成新灰度直方图；

S_k＝T(r_k)＝∑P_r(r)

其中，S_k表示变换后的图像灰度；r表示原始图像灰度；k表示灰度级编号；T(r_k)表示变换函数；P_r(r)表示图像灰度级的概率密度函数。

c)用新灰度直方图代替原直方图，此时可使图片中各个像素值出现的概率相近。

(2)灰度拉伸：灰度拉伸是最基本的灰度变换方法之一，通过采用分段线性函数对原始图像灰度值的任一范围进行转换，使其变化到指定的区间，从而可以增大图像在某一区间的对比度。灰度拉伸分两步完成：

a)在原始图像上计算直方图，根据原始图像的直方图分布情况来确定灰度拉伸的拐点。

b)使用确定的分段线性函数将原像素灰度值映射成指定数值，以此代替原像素值。

通过该方法对人脸图片的像素值的指定范围进行映射，从而增强灰度值局部对比度。

(3)图像归一化：人脸图像归一化包含两个方面：

a)将人脸图片进行缩放或者旋转使其成为大小一致、人脸特征点位置大致相同的一批图片，这一步骤称为人脸图片的几何归一化。这是由于人脸图片在采集的过程中，一些物理位置的差异造成的如人脸拍摄距离不同或者人脸的拍摄角度差异。

b)消除在人脸图片采集过程中由于光照变化等带来的图片像素值差异较大的影响。对这一类差异我们可进行图像的灰度值归一化操作，以此削弱因光照或者拍摄角度不同引起的灰度值的差异。通过对图像进行归一化可以在很大程度上改善人脸识别***的性能，提高识别算法识别率，因此具有很重要的意义。

S2多任务标记

(1)从训练样本库中选择M幅人脸图片作为训练样本集，并进行预处理。

(2)对于给定的c个相关学习任务，训练集标记为：{(X₁,y₁),…,(X_c,y_c)}，其中：

表示第i个任务的训练样本；

表示第i个任务的类标；

n：表示第i个任务训练样本的个数；

d：表示训练样本的维数。

通过c个任务的共同学习，以期得到权重矩阵：W＝[w₁,…,w_c]∈R^d*c，为第i个任务的权值系数。

S3训练模型

假设J_i(w_i,X_i,y_i)＝|w_iX_i-y_i|为第i个任务的损失函数，通用的损失函数有：对数似然函数、指数似然函数和Hinge函数。

对于第i个任务，最小化经验误差的同时，使用范式得到优化问题如下：

$\underset{w_i}{min}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\left|\right|w_i|{|}_1$

对单个任务来看，上述问题通常被称为LASSO(least absolute shrinkage andselection operator)，即稀疏表示分类(sparse representation for classification，SRC)方法，LASSO是一个凸优化问题，不再具有解析解，但求解过程中会使w_i中多项趋近于0，具有稀疏性，是l₀正则化很好的近似(l₀是NP难问题)。

单独求解c个任务的最优解与求解联合任务的全局目标函数一致，表述如下：

$\underset{w}{min}\underset{i=1}{\overset{c}{\Σ}}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\underset{i=1}{\overset{c}{\Σ}}\left|\right|w_i|{|}_1$

$W=\left(\begin{array}{cccc}{w}_1^1& w_2^1& ...& w_c^1\\ w_1^2& w_2^2& ...& w_c^2\\ ...& ...& ...& ...\\ w_1^d& w_2^d& ...& w_c^d\end{array}\right)$

可见，在l₁范数的约束下，各个任务之间是相互独立的，为了对全局特征进行特征选择，做如下改变后，得到l₂范数约束下的目标函数表达形式：

$\underset{w}{\min }\underset{i=1}{\overset{c}{\Σ}}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\underset{k=1}{\overset{d}{\Σ}}\left|\right|w^k|{|}_2$

$W=\left(\begin{array}{cccc}{w}_1^1& w_2^1& ...& w_c^1\\ w_1^2& w_2^2& ...& w_c^2\\ ...& ...& ...& ...\\ w_1^d& w_2^d& ...& w_c^d\end{array}\right)$

直观可见l₂范数下共享了各个任务之间的特征。从整个W来看，先计算w^k的2范数，再求和，称为l₁/l₂范数。

通过迭代求得最优的c个任务的稀疏系数W，W的每一列对应单个任务的稀疏系数，稀疏值绝对值越大，表明该维特征对所在任务识别的贡献率越大，按贡献值排序后即可实现对每种任务的特征进行选择，最终得到最优模型。

S4模型测试

(1)从测试样本库中选择N幅人脸图片作为测试样本集，并进行预处理。

(2)将测试图片依次输入到训练好的模型中，同时对两个任务进行求解。

(3)对求解的类别得分进行排序，取最大值作为最终的预测类别。

(4)得出人脸图片的种族和性别的类别之后，可根据索引从对应的类标记文件中读取标记文本进行输出说明。

当下流行的机器学习算法理论都是在统一的模型下一次只学习一个任务，将复杂问题先分解成理论上独立的子问题，在每个子问题中，训练集中的样本只反映单个任务的信息。人脸图像蕴含着种族、性别、身份等信息，对应不同信息的识别任务间存在相关性，在学习过程中各个任务之间共享一定的相关信息。将多任务学习方法引入人脸图像种族和性别识别中，以不同语义作为不同任务，提出基于语义的多任务特征选择，应用于种族和性别识别，能显著提高学习***的泛化能力和识别效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是关于该发明方法的模型训练流程示意图；

图2是关于该发明方法的模型测试流程示意图；

图3是根据一示例性实施例示出的一组原始的训练样本图片集；

图4是根据一示例性实施例示出的一组经过预处理之后的样本图片集；

图5是根据一示例性实施例示出的一组测试结果示意图；

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。

以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

在本发明中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。

在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

在本发明中使用的术语“和”、“或”是指包含一个或多个相关联的列出项目的任何或所有可能的组合。

在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不仅限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在......时”或“当......时”或“响应于......”。

以下结合附图，对本发明的具体实施例作进一步详细说明：

一种基于多任务学习的人脸图像种族和性别识别方法,该方法包括如下步骤：

S1图片预处理

图片预处理是人脸识别流程中重要的一个环节，其主要目的是削弱甚至消除人脸图片中对识别无关的信息，滤除噪声干扰，增强有用信息的比重，便于后期提取更加有效的特征用于分类。本发明采用的图片预处理的方法主要包括：

(1)直方图均衡化：该方法将已知图片经过某种变换，使其灰度概率密度呈均勾分布，以此削弱光照不均匀变化的影响，从而增强图像整体对比度。直方图均衡化分三步：

a)统计原图像的直方图；

b)由原始图片的灰度直方图根据积分累计函数做变换生成新灰度直方图；

S_k＝T(r_k)＝∑P_r(r)

其中，S_k表示变换后的图像灰度；r表示原始图像灰度；k表示灰度级编号；T(r_k)表示变换函数；P_r(r)表示图像灰度级的概率密度函数。

c)用新灰度直方图代替原直方图，此时可使图片中各个像素值出现的概率相近。

(2)灰度拉伸：灰度拉伸是最基本的灰度变换方法之一，通过采用分段线性函数对原始图像灰度值的任一范围进行转换，使其变化到指定的区间，从而可以增大图像在某一区间的对比度。灰度拉伸分两步完成：

a)在原始图像上计算直方图，根据原始图像的直方图分布情况来确定灰度拉伸的拐点。

b)使用确定的分段线性函数将原像素灰度值映射成指定数值，以此代替原像素值。

通过该方法对人脸图片的像素值的指定范围进行映射，从而增强灰度值局部对比度。

(3)图像归一化：人脸图像归一化包含两个方面：

a)将人脸图片进行缩放或者旋转使其成为大小一致、人脸特征点位置大致相同的一批图片，这一步骤称为人脸图片的几何归一化。这是由于人脸图片在采集的过程中，一些物理位置的差异造成的如人脸拍摄距离不同或者人脸的拍摄角度差异。

b)消除在人脸图片采集过程中由于光照变化等带来的图片像素值差异较大的影响。对这一类差异我们可进行图像的灰度值归一化操作，以此削弱因光照或者拍摄角度不同引起的灰度值的差异。通过对图像进行归一化可以在很大程度上改善人脸识别***的性能，提高识别算法识别率，因此具有很重要的意义。

S2多任务标记

(1)从训练样本库中选择M幅人脸图片作为训练样本集，并进行预处理。

(2)对于给定的c个相关学习任务，训练集标记为：{(X₁,y₁),…,(X_c,y_c)}，

其中：

表示第i个任务的训练样本；

表示第i个任务的类标；

n：表示第i个任务训练样本的个数；

d：表示训练样本的维数。

通过c个任务的共同学习，以期得到权重矩阵：W＝[w₁,…,w_c]∈R^d*c，为第i个任务的权值系数。

S3训练模型

假设J_i(w_i,X_i,y_i)＝|w_iX_i-y_i|为第i个任务的损失函数，通用的损失函数有：对数似然函数、指数似然函数和Hinge函数。

对于第i个任务，最小化经验误差的同时，使用范式得到优化问题如下：

$\underset{w_i}{\min }{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\left|\right|w_i|{|}_1$

对单个任务来看，上述问题通常被称为LASSO(least absolute shrinkage andselection operator)，即稀疏表示分类(sparse representation for classification，SRC)方法，LASSO是一个凸优化问题，不再具有解析解，但求解过程中会使w_i中多项趋近于0，具有稀疏性，是l₀正则化很好的近似(l₀是NP难问题)。

单独求解c个任务的最优解与求解联合任务的全局目标函数一致，表述如下：

$\underset{w}{\min }\underset{i=1}{\overset{c}{\Σ}}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\underset{i=1}{\overset{c}{\Σ}}\left|\right|w_i|{|}_1$

$W=\left(\begin{array}{cccc}{w}_1^1& w_2^1& ...& w_c^1\\ w_1^2& w_2^2& ...& w_c^2\\ ...& ...& ...& ...\\ w_1^d& w_2^d& ...& w_c^d\end{array}\right)$

可见，在l₁范数的约束下，各个任务之间是相互独立的，为了对全局特征进行特征选择，做如下改变后，得到l₂范数约束下的目标函数表达形式：

$\underset{w}{\min }\underset{i=1}{\overset{c}{\Σ}}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\underset{k=1}{\overset{d}{\Σ}}\left|\right|w^k|{|}_2$

$W=\left(\begin{array}{cccc}{w}_1^1& w_2^1& ...& w_c^1\\ w_1^2& w_2^2& ...& w_c^2\\ ...& ...& ...& ...\\ w_1^d& w_2^d& ...& w_c^d\end{array}\right)$

直观可见l₂范数下共享了各个任务之间的特征。从整个W来看，先计算w^k的2范数，再求和，称为l₁/l₂范数。

通过迭代求得最优的c个任务的稀疏系数W，W的每一列对应单个任务的稀疏系数，稀疏值绝对值越大，表明该维特征对所在任务识别的贡献率越大，按贡献值排序后即可实现对每种任务的特征进行选择，最终得到最优模型。

S4模型测试

(1)从测试样本库中选择N幅人脸图片作为测试样本集，并进行预处理。

(2)将测试图片依次输入到训练好的模型中，同时对两个任务进行求解。

(3)对求解的类别得分进行排序，取最大值作为最终的预测类别。

(4)得出人脸图片的种族和性别的类别之后，可根据索引从对应的类标记文件中读取标记文本进行输出说明。

Claims (1)

1.一种基于多任务学习的人脸图像种族和性别识别方法，其特征在于：该方法包括如下步骤：

S1图片预处理

图片预处理是人脸识别流程中重要的一个环节，其主要目的是削弱甚至消除人脸图片中对识别无关的信息，滤除噪声干扰，增强有用信息的比重，便于后期提取更加有效的特征用于分类；本发明采用的图片预处理的方法主要包括：

(1)直方图均衡化：该方法将已知图片经过某种变换，使其灰度概率密度呈均勾分布，以此削弱光照不均匀变化的影响，从而增强图像整体对比度；直方图均衡化分三步：

a)统计原图像的直方图；

b)由原始图片的灰度直方图根据积分累计函数做变换生成新灰度直方图；

S_k＝T(r_k)＝∑P_r(r)

其中，S_k表示变换后的图像灰度；r表示原始图像灰度；k表示灰度级编号；T(r_k)表示变换函数；P_r(r)表示图像灰度级的概率密度函数；

c)用新灰度直方图代替原直方图，此时可使图片中各个像素值出现的概率相近；

(2)灰度拉伸：灰度拉伸是最基本的灰度变换方法之一，通过采用分段线性函数对原始图像灰度值的任一范围进行转换，使其变化到指定的区间，从而可以增大图像在某一区间的对比度；灰度拉伸分两步完成：

a)在原始图像上计算直方图，根据原始图像的直方图分布情况来确定灰度拉伸的拐点；

b)使用确定的分段线性函数将原像素灰度值映射成指定数值，以此代替原像素值；

通过该方法对人脸图片的像素值的指定范围进行映射，从而增强灰度值局部对比度；

(3)图像归一化：人脸图像归一化包含两个方面：

a)将人脸图片进行缩放或者旋转使其成为大小一致、人脸特征点位置大致相同的一批图片，这一步骤称为人脸图片的几何归一化；这是由于人脸图片在采集的过程中，一些物理位置的差异造成的如人脸拍摄距离不同或者人脸的拍摄角度差异；

b)消除在人脸图片采集过程中由于光照变化等带来的图片像素值差异较大的影响；对这一类差异我们可进行图像的灰度值归一化操作，以此削弱因光照或者拍摄角度不同引起的灰度值的差异；通过对图像进行归一化可以在很大程度上改善人脸识别***的性能，提高识别算法识别率，因此具有很重要的意义；

S2多任务标记

(1)从训练样本库中选择M幅人脸图片作为训练样本集，并进行预处理；

(2)对于给定的c个相关学习任务，训练集标记为：{(X₁,y₁),…,(X_c,y_c)}，

其中：

表示第i个任务的训练样本；

表示第i个任务的类标；

n：表示第i个任务训练样本的个数；

d：表示训练样本的维数；

通过c个任务的共同学习，以期得到权重矩阵：W＝[w₁,…,w_c]∈R^d*c，为第i个任务的权值系数；

S3训练模型

假设J_i(w_i,X_i,y_i)＝|w_iX_i-y_i|为第i个任务的损失函数，通用的损失函数有：对数似然函数、指数似然函数和Hinge函数；

对于第i个任务，最小化经验误差的同时，使用范式得到优化问题如下：

$\underset{w_i}{min}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\left|\right|w_i|{|}_1$

对单个任务来看，上述问题通常被称为LASSO(least absolute shrinkage andselection operator)，即稀疏表示分类(sparse representation for classification，SRC)方法，LASSO是一个凸优化问题，不再具有解析解，但求解过程中会使w_i中多项趋近于0，具有稀疏性，是l₀正则化很好的近似(l₀是NP难问题)；

单独求解c个任务的最优解与求解联合任务的全局目标函数一致，表述如下：

$\underset{W}{min}\underset{i=1}{\overset{c}{\Σ}}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\underset{i=1}{\overset{c}{\Σ}}\left|\right|w_i|{|}_1$

$W=\left(\begin{array}{cccc}{w}_1^1& w_2^1& ...& w_c^1\\ w_1^2& w_2^2& ...& w_c^2\\ ...& ...& ...& ...\\ w_1^d& w_2^d& ...& w_c^d\end{array}\right)$

可见，在l₁范数的约束下，各个任务之间是相互独立的，为了对全局特征进行特征选择，做如下改变后，得到l₂范数约束下的目标函数表达形式：

$\underset{W}{\min }\underset{i=1}{\overset{c}{\Σ}}{J}_i(w_i,X_i,y_i)+\mathrm{\λ}\underset{k=1}{\overset{d}{\Σ}}\left|\right|w^k|{|}_2$

$W=\left(\begin{array}{cccc}{w}_1^1& w_2^1& ...& w_c^1\\ w_1^2& w_2^2& ...& w_c^2\\ ...& ...& ...& ...\\ w_1^d& w_2^d& ...& w_c^d\end{array}\right)$

直观可见l₂范数下共享了各个任务之间的特征；从整个W来看，先计算w^k的2范数，再求和，称为l₁/l₂范数；

通过迭代求得最优的c个任务的稀疏系数W，W的每一列对应单个任务的稀疏系数，稀疏值绝对值越大，表明该维特征对所在任务识别的贡献率越大，按贡献值排序后即可实现对每种任务的特征进行选择，最终得到最优模型；

S4模型测试

(1)从测试样本库中选择N幅人脸图片作为测试样本集，并进行预处理；

(2)将测试图片依次输入到训练好的模型中，同时对两个任务进行求解；

(3)对求解的类别得分进行排序，取最大值作为最终的预测类别；

(4)得出人脸图片的种族和性别的类别之后，可根据索引从对应的类标记文件中读取标记文本进行输出说明。