CN106709477A - 一种基于自适应得分融合与深度学习的人脸识别方法及*** - Google Patents

Abstract

本发明公开了一种基于自适应得分融合与深度学习的人脸识别方法及***，该***包括：近红外人脸和可见光人脸采集单元，用于通过两个模态的摄像头协同工作，共同采集同一个人脸的图片；人脸特征提取单元，用于通过深度卷积模型分别对获取的近红外人脸图片和可见光人脸图片进行特征提取；自适应的分融合单元，用于通过欧氏距离求出两张图片的相似度，也就是图片的得分，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；结果输出单元，用于进行最终得分结果的输出。本发明既可以解决近红外光的光照强度对人脸成像的影响，又可以利用可见光图片解决近红外图片细节消失的问题。

Description

一种基于自适应得分融合与深度学习的人脸识别方法及***

技术领域

本发明涉及人脸识别领域，具体涉及一种基于自适应得分融合与深度学习的人脸识别方法及***。

背景技术

现阶段人脸识别的研究已经取得了很多的成果，近几年，基于深度学习的人脸识别算法在特征表达能力上，要明显优于其他的人脸识别算法，因此基于深度学习的人脸识别算法被广泛的应用于工程项目中，但是在实际的应用中，基于深度学习的人脸识别算法在复杂的光照环境下，存在着很大的缺陷和不足，这个缺陷大大的限制了深度学习算法的应用范围。

为了克服环境光照变化对深度学习算法性能的影响，学术界和相关企业都做了大量的研究和技术开发，但大部分工作在于对现有可见光人脸识别***进行改进，以减轻环境光照的影响。虽然取得了一定的进步，但收效甚微。

基于热红外或远红外图像的方法，易受环境温度、人的情绪和健康状态的影响，使得获取到的人脸图像发生较大的变化，在实际的应用***中性能并不好。

所以本专利提出了基于近红外人脸识别的技术。由于近红外图像在任意环境光照下都是清晰、正面光照的，这为构建不受环境光影响且高度准确的基于深度学习的人脸识别***，提供了良好的图像数据技术，解决了困扰人脸识别领域的环境光照的问题，克服了可见光技术在光线变化后性能下降，以及黑暗情况下无法识别的弊端。

但是由于近红外摄像头成像原理的缺陷，使用深度学习算法提取到的人脸特征无法表达人脸的一些细节特征。

发明内容

为解决上述问题，本发明提供了一种基于自适应得分融合与深度学习的联合近红外和可见光人脸图像的人脸识别方法及***，同时利用可见光摄像头与近红外摄像头的互补性，利用深度学习算法同时对可见光人脸图片进行特征提取，最后使用融合算法对深度学习模型提取到的特征进行得分层次的融合，起到一个优势互补的作用。

为实现上述目的，本发明采取的技术方案为：

一种基于自适应得分融合与深度学习的人脸识别***，包括：

近红外人脸和可见光人脸采集单元，用于通过两个模态的摄像头协同工作，共同采集同一个人脸的图片；

人脸特征提取单元，用于通过深度卷积模型分别对获取的近红外人脸图片和可见光人脸图片进行特征提取；

自适应的分融合单元，用于通过欧氏距离求出两张图片的相似度，也就是图片的得分，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；由于巧妙地分别利用基于近红外人脸图像与可见光人脸图像计算出的相似度来自动确定融合的权重(两个权重值分别体现了近红外人脸图像与可见光人脸图像在进行当前人脸识别中的重要性)，因此具有完全的自适应的特点，非常适合实际应用；融合的目的是将使用深度学习算法提取到的特征能够有效的结合到一起，充分发挥多模态图片和深度学习算法的优势，最后利用融合后的得分对人脸进行分类；

结果输出单元，用于进行最终得分结果的输出。

其中，所述的近红外人脸和可见光人脸采集单元通过可见光摄像头和近红外摄像头同时去捕捉人脸并采集相应的人脸图片，近红外摄像头可以通过近红外成像设备获取到不受可见光影响的人脸图片，可见光摄像头可以通过可见光成像设备获取到包含人脸纹理细节的图片。

其中，所述近红外人脸和可见光人脸采集单元包括

图像采集单元，用于为深度学习模型采集到对光照鲁棒的人脸表示；

人脸检测单元，用于捕捉出现在摄像头当中的人脸图片，并截取适当大小的人脸图片作为深度学习算法模型的输入。

根据深度学习模型的特点，图像采集单元主要是为深度学习模型采集到对光照鲁棒的人脸表示。首先通过获得近红外图片来解决深度学习算法对光照敏感的缺陷，然后通过获取到的可见光人脸图片旨在弥补近红外图片的细节损失。即所述的图像采集单元选择合适的近红外摄像头和近红外滤光片作为近红外人脸图像的采集设备，消除可见光的入射角度和强度对人脸成像的影响。另外选择合适的可见光摄像头来捕捉人脸的纹理细节特征。

其中，所述人脸特征提取单元包括两个部分：

第一个部分是用大量可见光图片训练的原始的人脸识别模型；

第二部分是通过近红外人脸图片对第一部分的深度学习模型进行微调所得的可以提取近红外的人脸特征的深度学习模型；具体的，利用第一阶段得到的模型参数来初始化近红外人脸识别模型，然后再利用少量的近红外人脸图片对模型的参数做最后的微调，即得可以提取近红外的人脸特征的深度学习模型。

其中，微调的具体调参公式如下：

式中，θ_i表示模型的第i个参数，α表示学习率，J(θ)表示深度学习的代价函数，深度学习模型使用逻辑回归计算模型参数，表示逻辑回归的hypothesis函数，y表示测试样本类标。

本发明还提供了一种基于自适应得分融合与深度学习的人脸识别方法，包括如下步骤：

S1、首先利用近红外摄像头采集图片，得到人脸的光照不变表示，然后利用可见光摄像头采集图片，得到人脸的细节纹理特征；

S2、通过深度卷积模型分别对近红外人脸图片和可见光人脸图片进行特征提取；

S3、利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；

S4、利用融合后的得分对人脸进行分类。

其中，自适应的得分融合算法公式如下：

F_i＝αV_i+βN_i (3)

其中，V_i表示可见光的得分，N_i表示近红外图片的得分，其中，α+β＝1，α和β采用自适应的取值方案，公式如(4)和(5)所示：

本发明具有以下有益效果：

引入可见光摄像头，利用可见光摄像头弥补近红外摄像头的缺陷，利用深度学习算法同时对可见光人脸图片进行特征提取，最后使用融合算法对深度学习模型提取到的特征进行得分层次的融合，起到一个优势互补的作用，最后的获得的得分，既可以解决近红外光的光照强度对人脸成像的影响，又可以利用可见光图片解决近红外图片细节消失的问题。

附图说明

图1为本发明实施例基于自适应得分融合与深度学习的人脸识别方法的流程图

图2为本发明实施例中基于自适应得分融合与深度学习的人脸注册***框架图

图3为本发明实施例中基于自适应得分融合与深度学习的人脸识别***框架图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于自适应得分融合与深度学习的人脸识别***，包括：

近红外人脸和可见光人脸采集单元，用于通过两个模态的摄像头协同工作，共同采集同一个人脸的图片；

人脸特征提取单元，用于通过深度卷积模型分别对获取的近红外人脸图片和可见光人脸图片进行特征提取；

自适应的分融合单元，用于通过欧氏距离求出两张图片的相似度，也就是图片的得分，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；融合的目的是将使用深度学习算法提取到的特征能够有效的结合到一起，充分发挥多模态图片和深度学习算法的优势，最后利用融合后的得分对人脸进行分类；

结果输出单元，用于进行最终得分结果的输出。

所述的近红外人脸和可见光人脸采集单元通过可见光摄像头和近红外摄像头同时去捕捉人脸并采集相应的人脸图片，近红外摄像头可以通过近红外成像设备获取到不受可见光影响的人脸图片，可见光摄像头可以通过可见光成像设备获取到包含人脸纹理细节的图片。

所述近红外人脸和可见光人脸采集单元包括

图像采集单元，用于为深度学习模型采集到对光照鲁棒的人脸表示；

人脸检测单元，用于捕捉出现在摄像头当中的人脸图片，并截取适当大小的人脸图片作为深度学习算法模型的输入。

所述人脸特征提取单元包括两个部分：

第一个部分是用大量可见光图片训练的原始的人脸识别模型；具体的，首先构建训练集，由于可以用来训练深度学习模型的近红外图片比较少，所以将训练集分成两部分：第一部分由可见光图片组成，大约有1万人，100万张图片组成，主要用于训练原始的人脸识别模型，具体的数据主要通过爬虫软件从网络上收集而来，这些图片全部都是可见光图片。首先构建一个名人或公众人物的身份的列表，比如演员、运动员等，然后通过搜索引擎的图片搜索功能获得这些名人的人脸。这个身份列表可以从一些专门的网站得到，比如电影网站等。本***在训练深度学习模型时收集了10000个名人，每个人100张图片。

第二部分是通过近红外人脸图片对第一部分的深度学习模型进行微调所得的可以提取近红外的人脸特征的深度学习模型；具体的，利用第一阶段得到的模型参数来初始化近红外人脸识别模型，然后再利用少量的近红外人脸图片对模型的参数做最后的微调，即得可以提取近红外的人脸特征的深度学习模型。近红外人脸图片大约有200人，5000张图片，主要用于模型的微调，由于第一阶段训练的模型参数是使用可见光图片训练的，所以第一阶段训练的模型参数并不能直接用于提取近红外人脸图片的特征，需要利用近红外人脸图片对模型的参数进行微调，用微调后的模型提取近红外图片的人脸特征。本专利直接使用第一阶段训练好的深度学习模型的参数来初始化近红外人脸识别模型的参数，初始化后的模型可以提取可见光人脸图片特征，由于近红外人脸图片和可见光人脸图片存在差异，但是这种差异很小，所以使用近红外图片对模型的参数进行微调，就可以得到一个可以提取近红外人脸图片特征的深度学习模型。

微调的具体调参公式如下：

式中，θ_i表示模型的第i个参数，α表示学习率，J(θ)表示深度学习的代价函数，深度学习模型使用逻辑回归计算模型参数，表示逻辑回归的hypothesis函数，y表示测试样本类标。

在可见光图像中，光照强度和光源的入射方向是影响人脸识别算法性能最主要的因素。使用近红外图片有两个优势：1)在室内环境中，近红外摄像头通过滤波器可以最大限度的过滤掉可见光，减少因为不同的时间段而导致的光照强度和光源入射方向的变化，从而最大限度的降低可见光对人脸识别算法造成影响。2)使用近红外主动光源代替可见光源，达到人为控制入射光方向的目的，避免因为入射光方向的变化影响算法的性能。

但是，使用近红外摄像机会产生另外一个问题，通过近红外成像的人脸会有一定的细节损失和边缘轮廓的模糊。为了细节损失对人脸识别的影响本***根据深度学习模型的特点，利用得分融合的策略将可见光图片引入到的基于深度学习的人脸识别***中。

对于近红外摄像头，选择的是由850nm的滤光片，近红外光谱在780～1100nm之间的发光二极管作为主动光源组成的专门用于人脸识别的摄像头，这样可以让波长为850nm的近红外光透过，过滤掉350～770nm之间的可见光。发光二极管与摄像头同轴，因此，可以提供最好的正面直接照明。

为了提取到表达能力更强的特征，本人脸识别***使用基于卷积神经网络的特征提取方法，卷积神经网络主要由数据层、卷积层、下采样层、连接层和输出层组成。数据层是整个网络的输入层，在图像识别中，数据层一般为一个单通道或多通道矩阵，作为输入层，数据层的好坏直接决定了网络的识别效果；卷积层是卷积神经网络的核心部分，由一系列卷积核组成，其中每个卷积核均代表一种过滤方式，同一层中的卷积核共享权值；下采样层也被称为池化(Pooling)，用于对卷积操作之后的特征进行下采样，在卷积神经网络中增加下采样层能够有效地减少特征向量的维度，增加网络的运算效率，也能够保证平移不变性；连接层一般包含局部连接层和全连接层，其中局部连接层是指当前某个神经元与上层神经元部分相连，全连接层指的是当前的某个神经元与上层网络中所有的神经元均相连；输出层是一个回归模型，通过逻辑回归模型推广而来，通过求解模型得到模型参数。卷积神经网络的具体网络架构描述如下：

本***使用的卷积神经网络有10个卷积层和最后的一个用于分类的输出层。神经网络的输入是一个二维的图像。卷积层之间有Pooling层和Normalization层。使用相同的网络结构训练一张人脸图片的多个patch，也就说训练多个深度学习模型，用多个深度学习模型共同提取一张人脸图片的特征，最后使用融合后的特征作为人脸特征的最终表示。网络模型细节的定义如下表所示。

如图2所示，本发明还提供了一种基于自适应得分融合与深度学习的人脸识别方法，包括如下步骤：

S1、首先利用近红外摄像头采集图片，得到人脸的光照不变表示，然后利用可见光摄像头采集图片，得到人脸的细节纹理特征；

S2、通过深度卷积模型分别对近红外人脸图片和可见光人脸图片进行特征提取；

S3、利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；具体的，将近红外人脸图片和可将光图片作为神经网络的输入，最后一个全连接层作为网络的特征。使用提取出的特征向量来计算人脸图片的相似度，所计算的相似度即为得分，分别是近红外人脸图片和可见光图片的得分，最后使用基于自适应的得分融合策略将通过深度学习提取到的特征在的分层次进行融合，求出该用户最终的得分；

S4、利用融合后的得分对人脸进行分类。

其中，自适应的得分融合算法公式如下：

F_i＝αV_i+βN_i (3)

其中，V_i表示可见光的得分，N_i表示近红外图片的得分，其中，α+β＝1，α和β采用自适应的取值方案，公式如(4)和(5)所示：

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于自适应得分融合与深度学习的人脸识别***，其特征在于，包括：

近红外人脸和可见光人脸采集单元，用于通过两个模态的摄像头协同工作，共同采集同一个人脸的图片；

人脸特征提取单元，用于通过深度卷积模型分别对获取的近红外人脸图片和可见光人脸图片进行特征提取；

自适应的分融合单元，用于通过欧氏距离求出两张图片的相似度，也就是图片的得分，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；

结果输出单元，用于进行最终得分结果的输出。

2.如权利要求1所述的一种基于自适应得分融合与深度学习的人脸识别***，其特征在于，所述的近红外人脸和可见光人脸采集单元通过可见光摄像头和近红外摄像头同时去捕捉人脸并采集相应的人脸图片。

3.如权利要求1所述的一种基于自适应得分融合与深度学习的人脸识别***，其特征在于，所述近红外人脸和可见光人脸采集单元包括

图像采集单元，用于为深度学习模型采集到对光照鲁棒的人脸表示；

人脸检测单元，用于捕捉出现在摄像头当中的人脸图片，并截取适当大小的人脸图片作为深度学习算法模型的输入。

4.如权利要求1所述的一种基于自适应得分融合与深度学习的人脸识别***，其特征在于，所述人脸特征提取单元包括两个部分：

第一个部分是用大量可见光图片训练的原始的人脸识别模型；

第二部分是通过近红外人脸图片对第一部分的深度学习模型进行微调所得的可以提取近红外的人脸特征的深度学习模型；具体的，利用第一阶段得到的模型参数来初始化近红外人脸识别模型，然后再利用少量的近红外人脸图片对模型的参数做最后的微调，即得可以提取近红外的人脸特征的深度学习模型。

5.如权利要求4所述的种基于自适应得分融合与深度学习的人脸识别***，其特征在于，微调的具体调参公式如下：

${\mathrm{\θ}}_i={\mathrm{\θ}}_i-\mathrm{\α}\frac{\∂}{\∂\mathrm{\θ}}J\left(\mathrm{\θ}\right)---\left(1\right)$

$\frac{\∂}{\∂\mathrm{\θ}}J\left(\mathrm{\θ}\right)=\frac{1}{2}\frac{\∂}{\∂\mathrm{\θ}}\underset{i=1}{\overset{m}{\Σ}}{\left(h_{\mathrm{\θ}}\right(x)-y)}^2---\left(2\right)$

式中，θ_i表示模型的第i个参数，α表示学习率，J(θ)表示深度学习的代价函数，深度学习模型使用逻辑回归计算模型参数，表示逻辑回归的hypothesis函数，y表示测试样本类标。

6.一种基于自适应得分融合与深度学习的人脸识别方法，其特征在于，包括如下步骤：

S1、首先利用近红外摄像头采集图片，得到人脸的光照不变表示，然后利用可见光摄像头采集图片，得到人脸的细节纹理特征；

S2、通过深度卷积模型分别对近红外人脸图片和可见光人脸图片进行特征提取；

S3、利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；

S4、利用融合后的得分对人脸进行分类。

7.如权利要求6所述的一种基于自适应得分融合与深度学习的人脸识别方法，其特征在于，自适应的得分融合算法公式如下：

F_i＝αV_i+βN_i (3)

其中，V_i表示可见光的得分，N_i表示近红外图片的得分，其中，α+β＝1，α和β采用自适应的取值方案，公式如(4)和(5)所示：

$\mathrm{\α}=\frac{V_i}{V_i+N_i}---\left(4\right)$

$\mathrm{\β}=\frac{N_i}{V_i+N_i}---\left(5\right).$