CN109472211A - 人脸识别方法及装置 - Google Patents

Abstract

本申请公开一种对视频中或者低质量图像中的人脸进行识别，从而提高人脸识别性能的人脸识别方法和装置。该方法包括：根据训练图像创建深度神经网络模型；获取至少一幅待识别的图像；根据所述深度神经网络模型从所述至少一幅待识别的图像中获取目标图像；从所述目标图像的每一幅中提取人脸特征；为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征；基于所述经融合的人脸特征对所述至少一幅待识别的图像进行人脸识别。本申请利用图像质量信息与几何关系进行特征融合，相较于现有的特征识别更具有优势，从而有效提升了视频人脸识别的性能。

Description

人脸识别方法及装置

技术领域

本申请涉及图像识别领域，特别的，涉及一种人脸识别方法以及人脸识别装置。

背景技术

人脸识别是计算机视觉领域一个重要问题，具有极大的研究意义和广泛的应用前景。通常人脸识别的流程如下，给定一幅待识别的图像，经过人脸检测、人脸对齐、人脸特征提取，最后进行识别或比对。

目前，受益于深度学习方法和大量带有标签的人脸图像数据，这种基于静态图片的人脸识别算法的性能得到了显着提高。然而在监控、安防等诸多领域，采集对象是包含连续多帧的视频数据。受限于采集设备成本和采集环境完全无限制，采集到的视频数据中图像分辨率低，模糊，噪声多等因素易对识别造成干扰，同时单帧图像包含的信息不足，难以进行识别。这极大影响了视频人脸识别性能。因此，排除低质量图像的影响，融合多帧图像信息，如何对视频中或者低质量图像中的人脸进行识别时本领域亟待解决的问题。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本申请的主要目的在于提供一种对视频中或者低质量图像中的人脸进行识别，从而提高人脸识别性能的人脸识别方法。

为了解决上述问题，本申请涉及一种人脸识别方法，包括：根据训练图像创建深度神经网络模型；获取至少一幅待识别的图像；根据所述深度神经网络模型从所述至少一幅待识别的图像中获取目标图像；从所述目标图像的每一幅中提取人脸特征；为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征；基于所述经融合的人脸特征对所述至少一幅待识别的图像进行人脸识别。

进一步的，所述根据训练图像创建深度神经网络模型，可以包括：选取多个训练图像；利用人脸识别网络在所述训练图像中提取人脸特征；确定训练图像中的每一幅所对应的质量评价系数；根据包括有训练图像以及该训练图像所对应的质量评价系数的训练集合创建所述深度神经网络模型。

进一步的，所述确定训练图像中的每一幅所对应的质量评价系数中，可以进一步包括：根据以下公式1确定所述训练图像中的每一幅所对应的质量评价系数q_i；

公式1：其中，f_i为每一幅训练图像中的人脸特征，μ是同一人的人脸所对应的参考图片。

进一步的，所述为所述人脸特征中的每一个分配权重系数，可以包括：

根据以下公式2获取所述人脸特征中的每一个所对应的权重系数α_i；

公式2：其中，Constant是常数，T为矩阵转置；以及

根据公式：μ′＝∑_i∈{k}α_i f_i计算所述经融合的人脸特征μ′。

进一步的，所述公式2可以是通过将以下公式3和公式4联立得到的：

公式3：其中，i为自然数，α_i为权重系数，

公式4：其中，i和k为自然数

其中，通过预定的求解方式求解目标E(α)，以获得所述权重系数α_i。

进一步的，在所述公式3中，所述α_i满足约束：∑α_i＝1且α_i≥0。

进一步的，所述预定的求解方式为：采用QP求解器来求解所述目标E(α)。

进一步的，所述人脸识别网络为深度卷积网络。

进一步的，所述获取至少一幅待识别的图像，包括：从拍摄的视频中获取至少一幅待识别的图像。

进一步的，一种人脸识别装置，包括：模型创建模块，用于根据训练图像创建深度神经网络模型；图像获取模块，用于获取至少一幅待识别的图像；图像筛选模块，用于根据所述深度神经网络模型从所述至少一幅待识别的图像中获取目标图像；特征提取模块，用于从所述目标图像的每一幅中提取人脸特征；特征计算模块，用于为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征；人脸识别模块，用于基于所述经融合的人脸特征对所述至少一幅待识别的图像的进行人脸识别。

本申请的有益效果是：本发明为了解决上面所提及的排除低质量图像影响，融合多帧图像信息两个问题，设计了一种基于质量评价方法，并提出了一种利用图像质量和几何信息来进行特征融合的方法，来提升视频人脸识别的性能，利用图像质量信息与几何关系进行特征融合，相较于现有的特征识别更具有优势，从而有效提升了视频人脸识别的性能，进而增加了实施本申请的人脸识别方法的产品或者由实施本申请的人脸识别方法所直接获得的产品的适销性。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的人脸识别方法的流程图；

图2是根据本申请实施例的根据训练图像创建深度神经网络模型的流程图；

图3是利用现有的最大值赋值算法来计算人脸特征的效果图；

图4是利用现有的质量系数赋值算法来计算人脸特征的效果图；

图5是利用现有的平均值赋值算法来计算人脸特征的效果图；

图6是利用本发明的质量系数和几何信息融合算法来计算人脸特征的效果图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。其中，本申请的图1是根据本申请实施例的人脸识别方法的流程图，图2是根据本申请实施例的根据训练图像创建深度神经网络模型的流程图，图3是利用现有的最大值赋值算法来计算人脸特征的效果图，图4是利用现有的质量系数赋值算法来计算人脸特征的效果图，图5是利用现有的平均值赋值算法来计算人脸特征的效果图，以及图6是利用本发明的质量系数和几何信息融合算法来计算人脸特征的效果图。

如图1所示，本申请涉及一种人脸识别方法并且定义了一种面向识别的人脸图像质量度量方法，将其与深度神经网络方法结合，来筛选高质量并过滤低质量的人脸图像。其次，在上一步骤筛选得到的图像，经过识别网络提取人脸特征后，利用图像质量来求解每张图像的人脸特征的权重，最后进行特征融合，得到更容易识别的视频级别的人脸特征。

具体的，本申请的人脸识别方法包括步骤S1至步骤S6。

在步骤S1中，本申请根据训练图像创建深度神经网络模型，也就是说，本申请首先根据已有的训练图像创建神经网络模型，所述神经网络模型包括有人脸图像以及与该人脸图像对应的质量评价系数的训练集合。

具体的，请参见图2，所述根据训练图像创建深度神经网络模型进一步包括步骤S11至步骤S14。

在步骤S11中，本申请选取多个训练图像，具体的，可以在现有的数据集中选取多个具有人脸特征的训练图像，例如，可以以Multi-PLE数据集(多姿态、光照、表情人脸数据集)作为质量评价网络的训练图像数据。

之后在步骤S12中，本申请利用人脸识别网络在所述训练图像中提取人脸特征，具体的，可以利用现有的人脸识别网络，例如，利用DCNN(深度卷积网络)在所述训练图像中提取人脸特征，所述提取人脸特征的方法采用现有的算法来提取人脸特征数据，本申请并不做出具体的限定以及对具体的算法做出详细的描述。

在步骤S13中，本申请确定训练图像中的每一幅所对应的质量评价系数，具体的，本申请每张图像X_i利用所述识别网络提取该图像中的人脸特征f_i，然后按如下公式1计算其质量评价系数q_i

公式1：其中，f_i为每一幅训练图像中的人脸特征，μ是同一人的人脸所对应的参考图片。

最后，在步骤S14，本申请根据包括有训练图像以及该训练图像所对应的质量评价系数的训练集合创建所述深度神经网络模型，也就是说，本申请利用得到的训练集D＝{(X₁,q₂),(X₂,q₂),…,(X_n,q_n)}训练人脸图像质量评价的深度神经网络模型QAN(qualityassessment network)。

继续参见图1，在训练了图像创建深度神经网络模型之后，本申请开始执行步骤S2，获取至少一幅待识别的图像，具体的，本申请可以从拍摄的视频中获取多幅待识别的图像，也可以从图像集合中获取包括有各种图像质量的多幅图像，这些获取的多幅图像可以包括有不同清晰度或者分辨率的图像。

之后，在步骤S3，本申请根据所述深度神经网络模型从所述至少一幅待识别的图像中获取目标图像，具体的，本申请利用上面所创建的深度神经网络模型预测待识别人脸图像X_i的图像质量q_i，并根据预先确定的阈值来决定过滤低质量的图像，保留高质量的图像，以作为目标图像。

接下来，在步骤S4，本申请从每一幅目标图像的中提取人脸特征，具体的，可以利用现有的人脸识别网络，例如，利用DCNN(深度卷积网络)在所述训练图像中提取人脸特征，所述提取人脸特征的方法采用现有的算法来提取人脸特征数据，本申请在此不做出具体的限定以及对具体的算法做出详细的描述。

此外，在步骤S5，本申请为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征，具体的，针对从步骤S3中筛选出来的属于同一人的图像X＝{X₁,X₂,…,X_k}，首先利用识别网络提取每一帧图像的人脸特征f_i，并将该人脸特征进行归一化‖f_i‖₂＝1，其对应的质量评价系数q_i可近似认为满足如下等式3：其中，i为自然数，T是矩阵转置，并且α_i是待求解的系数，代表每一帧特征在融合之后的特征中所占的权重。此外，为了使得估计的权重系数α_i对于异常图片更加鲁棒，本申请令α_i满足约束：∑α_i＝1,α_i≥0。

可以通过求解如下最小均方差公式，来求解α_i，使得融合之后的特征尽可能接近μ。

联立如上最小均方差公式和α_i的约束公式，同时对系数α_i增加惩罚项可将上述最小均方差公式转化为如下带约束的二次规划公式：

该二次规划公式满足：∑α_i＝1&α_i≥0。其中，F＝(f₁,f₂,…,f_k)是由特征组成的矩阵，q＝(q₁,q₂,…,q_k)是与特征对应图片的质量评价系数，Constant是一个常数。

上述待求解目标是一个典型的带约束的二次规划问题，采用任意的优化工具来求解上述目标min E(α)，例如，可以采用通用的QP求解器来求解上述目标min E(α)，从而得到每一人脸特征的权重系数α_i，最后计算融合之后的特征μ′＝∑_i∈{k}α_i f_i。

最后在步骤S6，本申请基于所述经过融合之后的人脸特征与对所述至少一幅待识别的图像进行人脸识别，具体的，可以将融合之后的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定的比较阈值，当相似度超过这一阈值，则把匹配得到的结果输出。所述人脸识别可以是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。所述识别过程分为两类：一类是人脸比对确认，是一对一进行图像比较的过程，另一类是人脸的辨认，是一对多进行图像匹配对比的过程。

如图3至图6所示，本申请对三种现有的特征融合方法(图3中的最大值融合算法、图4中的质量分融合(也称为质量评价系数融合)算法和图5中的平均融合算法)以及本申请的以质量系数和几何信息融合算法进行识别准确率评估的实施例。在该实施例中，用IMDB-Face数据库作为识别网络的原始训练数据，用Multi-PIE数据集作为质量评价网络的训练数据，在IJB-A(IARPA Janus基准测试集A)和YTF(Youtube人脸基准测试集)两个数据集进行评测，评测指标为误识别率分别在0.1、0.01、0.001、0.0001时的正确识别率(正确识别率越高代表识别性能越好)。

其中最大值赋值算法只选取质量评价系数最高的一张图片来进行识别，而平均值赋值算法是简单对视频内所有帧的人脸特征求平均，质量系数赋值算法是将每张图像的质量作为该图像人脸特征的权重。

表1和表2分别给出了IJB-A和YTF上的对比结果

表1

表2

通过上述表1和表2所示，利用图像质量信息与几何关系进行特征融合，相比于其他三种融合方法更具有优势，有效提升了视频人脸识别的性能。

此外，本申请还涉及一种人脸识别装置，该装置包括：模型创建模块，用于根据训练图像创建深度神经网络模型，图像获取模块，用于获取至少一幅待识别的图像，图像筛选模块，用于根据所述深度神经网络模型从所述至少一幅图像中获取目标图像，特征提取模块，用于从所述目标图像的每一幅中提取人脸特征，特征计算模块，用于为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征，以及人脸识别模块，用于基于所述经融合的人脸特征对所述至少一幅待识别的图像的进行人脸识别。

另外，本申请还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上面所描述的人脸识别方法。

本申请所涉及的计算机程序可以存储于计算机可读存储介质中，所述计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体装置、虚拟装置、优盘、移动硬盘、磁碟、光盘、计算机存储器、只读计算机存储器(Read-Only Memory，ROM)、随机存取计算机存储器(Random Access Memory，RAM)、电载波信号、电信信号以及其他软件分发介质等。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本申请的保护范围之内。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

根据训练图像创建深度神经网络模型；

获取至少一幅待识别的图像；

根据所述深度神经网络模型从所述至少一幅待识别的图像中获取目标图像；

从所述目标图像的每一幅中提取人脸特征；

为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征；

基于所述经融合的人脸特征对所述至少一幅待识别的图像进行人脸识别。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述根据训练图像创建深度神经网络模型，包括：

选取多个训练图像；

利用人脸识别网络在所述训练图像中提取人脸特征；

确定训练图像中的每一幅所对应的质量评价系数；

根据包括有训练图像以及该训练图像所对应的质量评价系数的训练集合创建所述深度神经网络模型。

3.根据权利要求2所述的人脸识别方法，其特征在于，所述确定训练图像中的每一幅所对应的质量评价系数中，进一步包括：根据以下公式1确定所述训练图像中的每一幅所对应的质量评价系数q_i；

公式1：其中，f_i为每一幅训练图像中的人脸特征，μ是同一人的人脸所对应的参考图片。

4.根据权利要求1所述的人脸识别方法，其特征在于，所述为所述人脸特征中的每一个分配权重系数，包括：

根据以下公式2获取所述人脸特征中的每一个所对应的权重系数α_i；

公式2：其中，Constant是常数，T为矩阵转置；以及

根据公式：μ′＝∑_i∈{k}α_i f_i计算所述经融合的人脸特征μ′。

5.根据权利要求4所述的人脸识别方法，其特征在于，所述公式2是通过将以下公式3和公式4联立得到的：

公式3：其中，i为自然数，α_i为权重系数，

公式4：其中，i和k为自然数

其中，通过预定的求解方式求解目标E(α)，以获得所述权重系数α_i。

6.根据权利要求5所述的人脸识别方法，其特征在于，在所述公式3中，所述α_i满足约束：∑α_i＝1且α_i≥0。

7.根据权利要求5所述的人脸识别方法，其特征在于，所述预定的求解方式为：采用QP求解器来求解所述目标E(α)。

8.根据权利要求1或2所述的人脸识别方法，其特征在于，所述人脸识别网络为深度卷积网络。

9.根据权利要求1或2所述的人脸识别方法，其特征在于，所述获取至少一幅待识别的图像，包括：从拍摄的视频中获取至少一幅待识别的图像。

10.一种人脸识别装置，其特征在于，包括：

模型创建模块，用于根据训练图像创建深度神经网络模型；

图像获取模块，用于获取至少一幅待识别的图像；

图像筛选模块，用于根据所述深度神经网络模型从所述至少一幅待识别的图像中获取目标图像；

特征提取模块，用于从所述目标图像的每一幅中提取人脸特征；

特征计算模块，用于为所述人脸特征中的每一个分配权重系数，以计算所述目标图像的经融合的人脸特征；

人脸识别模块，用于基于所述经融合的人脸特征对所述至少一幅待识别的图像的进行人脸识别。