CN110929569B - 人脸识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，公开了一种人脸识别方法，人脸识别方法是通过根据预存的深度可分离卷积模块中的输入通道和输出通道对待识别的人脸画像数据进行两次的卷积操作，然后对卷积操作后得到的人脸画像图案计算相似度，基于相似度来判断是否属于同一人脸；本发明还提供了一种人脸识别装置、设备及计算机可读存储介质，基于采用两次的卷积操作将人脸画像数据的特征简化，大幅度降低了整个人脸识别网络的时间、识别特征的复杂度和特征的空间复杂度，减低了终端在识别过程中的运算的参数量和计算量，减少了终端的消耗，提高的运行效率。

Description

人脸识别方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种人脸识别方法、装置、设备及存储介质。

背景技术

随着人脸识别技术的不断发展，尤其是在识别模型的深度学习发展中，越来越多被应用部署到生活的场景之中。人脸识别作为计算机视觉领域的一大组成部分，已经成为深度学习研究的重点，并且取得了相对较好的准确率。深度学习网络的准确率基本依靠卷积核的堆叠来实现，而越来越深的卷积层带来了参数量的巨大提升，尽管网络准确率有一定上升，但是网络的运行时间被极大的延长。

而手机作为日常生活的一个载体，也越来越多的人脸识别也通过手机来进行，但是在目前的识别技术，都是应用于大网络，这种大网络适合在服务器端部署，对设备的计算功率要求也比较高，而目前的手机类的终端，其数据处理的能力并不高，若是直接将现有的人脸识别方法应用到手机上，会大大影响手机的运行速度以及使用体验。所以研发一种可以在手机上运行的神经网络十分重要。

发明内容

本发明的主要目的在于提供一种人脸识别方法、装置、设备及存储介质，旨在解决现有的人脸识别运行消耗过大，而导致影响终端本身的运行速度降低用户体验的技术问题。

为实现上述目的，本发明提供一种人脸识别方法，所述人脸识别方法包括以下步骤：

获取待识别的人脸画像数据；

根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小；

将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到人脸画像的碎片集，其中，所述碎片集包括至少两个人脸碎片，所述人脸碎片在所述深层可分离卷积模型中以卷积核的形式显示；

将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案，其中，所述第二次卷积核操作为以单位卷积核作为卷积基础，对所述人脸碎片进行跨通道的标准卷积计算；

根据预设的联合贝叶斯算法，计算所述人脸画像图案与所述移动终端中预先存储的人脸画像的相似度，并将所述相似度与预设阈值进行比较，以识别所述人脸画像图案与所述移动终端中的人脸画像是否属于同一人。

可选的，若所述深层可分离卷积模型包括：M个输入通道、N个输出通道和逐点卷积滤波器；

所述根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小的步骤包括：

检测所述人脸画像数据的像素值Dx*Dy，并提取所述第一卷积操作中设定的每一次的步长系数；

将所述像素值减去所述步长系数，得到所述卷积核的大小；

其中，M和N分别为大于1的整数，Dx、Dy分别为所述人脸画像数据的长和宽，Dx和Dy均为大于1的正整数。

可选的，所述将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到所述人脸画像的碎片集的步骤包括：

将所述人脸画像数据分别输入至M个所述输入通道，所述输入通道按照所述卷积核的大小对所述人脸画像数据进行划分处理，得到M个第一人脸图像数据，其中，所述第一人脸图像数据为由若干个大小不同的图块组成的图块集；

根据所述第一卷积操作中预设的空洞率和共享权重，对所述图块集进行筛选处理，得到包括多张不同的人脸碎片的碎片集。

可选的，所述将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案的步骤包括：

将M个所述输入通道输出的所述人脸碎片依次输入至所述逐点卷积滤波器中，以使所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸碎片进行标准卷积计算，得到大小为Df*Dg*N的所述人脸画像图案，其中，Df为所述人脸画像图案的长度，Dg为所述人脸画像图案的宽度，Df和Dg均为大于零的正整数。

可选的，所述将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到所述人脸画像的碎片集的步骤包括：

将所述人脸画像数据输入所述输入通道中，以使所述输入通道中按照所述卷积核的大小和所述步长系数对所述人脸画像数据进行划分处理，得到M个大小不同的图块，其中，每个所述输入通道中所得到的所述图块为所述输入通道根据所述第一卷积操作中预设的空洞率和共享权重进行挑选得到；

将M个所述图块进行融合，得到大小为Di*Dj*M的人脸画像要素图；

其中，Di为所述图块的长度，Dj为所述图块的宽度，Di和Dj均为大于零的正整数。

可选的，所述将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案的步骤包括：

将所述人脸画像要素图输入至所述逐点卷积滤波器中，以使所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸画像要素图进行标准卷积计算，得到大小为Do*Dp*N的所述人脸画像图案，其中，Do为所述人脸画像图案的长度，Dp为所述人脸画像图案的宽度小，Do和Dp均为大于零的正整数。

可选的，所述预存的深层可分离卷积模型通过以下方式训练得到：

根据分离卷积算法，构建所述深层可分离卷积模型的模型训练框架，所述模型训练框架包括输入通道、输出通道、深度卷积训练单元和逐点卷积训练单元，所述深度卷积训练单元通过训练得到深度卷积滤波器，所述逐点卷积训练单元通过训练得到逐点卷积滤波器；

基于所述模型训练框架的输入通道和输出通道的数量，确定用于分割人脸图像的划分规格，其中，所述划分规格包括小图像的长度和宽度，以及卷积计算的单位卷积核的大小；

从网站上获取人脸样本数据，并根据所述划分规格对所述人脸样本数据按照五官区域进行分割，得到若干个小图像；

将所述小图像依次输入至所述深度卷积训练单元中进行特征的提取，并将提取到的特征合成特征图谱，输出M个人脸碎片样本；

将M个所述人脸碎片样本输入至所述逐点卷积训练单元，并以所述单位卷积核为卷积基础，对所述人脸碎片样本进行转换卷积计算，得到人脸画像样本；

判断所述人脸画像样本与对应的原始小图像的相似度是否到达预设相似值；

若是，则以所述划分规格作为模型参数，修改所述模型训练框架的原始参数，得到所述深层可分离卷积模型并存储；

若否，则重新调整所述划分规格对所述人脸样本数据进行处理直至得到所述深层可分离卷积模型。

此外，为实现上述目的，本发明还提供一种人脸识别装置，所述人脸识别装置包括：

采集模块，用于获取待识别的人脸画像数据；

第一卷积模块，用于根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小；将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到人脸画像的碎片集，其中，所述碎片集包括至少两个人脸碎片，所述人脸碎片在所述深层可分离卷积模型中以卷积核的形式显示；

第二卷积模块，用于将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案，其中，所述第二次卷积核操作为以单位卷积核作为卷积基础，对所述人脸碎片进行跨通道的标准卷积计算；

识别模块，用于根据预设的联合贝叶斯算法，计算所述人脸画像图案与所述移动终端中预先存储的人脸画像的相似度，并将所述相似度与预设阈值进行比较，以识别所述人脸画像图案与所述移动终端中的人脸画像是否属于同一人。

在本发明的另一实施例中，若所述深层可分离卷积模型包括：M个输入通道、N个输出通道和逐点卷积滤波器；

所述第一卷积模块包括计算单元，用于检测所述人脸画像数据的像素值Dx*Dy，并提取所述第一卷积操作中设定的每一次的步长系数；将所述像素值减去所述步长系数，得到所述卷积核的大小，其中，M和N分别为大于1的整数，Dx、Dy分别为所述人脸画像数据的长和宽，Dx和Dy均为大于1的正整数。

在本发明的另一实施例中，所述第一卷积模块还包括深度卷积滤波单元，用于将所述人脸画像数据分别输入至M个所述输入通道，所述输入通道按照所述卷积核大小对所述人脸画像数据进行划分处理，得到M个第一人脸图像数据，其中，所述第一人脸图像数据为由若干个大小不同的图块组成的图块集；根据所述第一卷积操作中预设的空洞率和共享权重，对所述图块集进行筛选处理，得到包括多张不同的人脸碎片的碎片集。

在本发明的另一实施例中，所述第二卷积模块包括逐点卷积滤波单元，用于将M个所述输入通道输出的所述人脸碎片依次输入至所述逐点卷积滤波器中，所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸碎片进行标准卷积计算，得到大小为Df*Dg*N的所述人脸画像图案，其中，Df为所述人脸画像图案的长度，Dg为所述人脸画像图案的宽度，Df和Dg均为大于零的正整数。

在本发明的另一实施例中，所述深度卷积滤波单元还用于将所述人脸画像数据输入所述输入通道中，以使所述输入通道中按照所述卷积核的大小和所述步长系数对所述人脸画像数据进行划分处理，得到M个大小不同的图块，其中，每个所述输入通道中所得到的所述图块为所述输入通道根据所述第一卷积操作中预设的空洞率和共享权重进行挑选得到；将M个所述图块进行融合，得到大小为Di*Dj*M的人脸画像要素图，其中，Di为所述图块的长度，Dj为所述图块的宽度，Di和Dj均为大于零的正整数。

在本发明的另一实施例中，所述逐点卷积滤波单元还用于将所述人脸画像要素图输入至所述逐点卷积滤波器中，以使所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸画像要素图进行标准卷积计算，得到大小为Do*Dp*N的所述人脸画像图案，其中，Do为所述人脸画像图案的长度，Dp为所述人脸画像图案的宽度小，Do和Dp均为大于零的正整数。

在本发明的另一实施例中，所述第一卷积模块还用于通过以下方式训练得到所述深层可分离卷积模型：

根据分离卷积算法，构建所述深层可分离卷积模型的模型训练框架，所述模型训练框架包括输入通道、输出通道、深度卷积训练单元和逐点卷积训练单元，所述深度卷积训练单元通过训练得到深度卷积滤波器，所述逐点卷积训练单元通过训练得到逐点卷积滤波器；

基于所述模型训练框架的输入通道和输出通道的数量，确定用于分割人脸图像的划分规格，其中，所述划分规格包括小图像的长度和宽度，以及卷积计算的单位卷积核的大小；

从网站上获取人脸样本数据，并根据所述划分规格对所述人脸样本数据按照五官区域进行分割，得到若干个小图像；

将所述小图像依次输入至所述深度卷积训练单元中进行特征的提取，并将提取到的特征合成特征图谱，输出M个人脸碎片样本；

将M个所述人脸碎片样本输入至所述逐点卷积训练单元，并以所述单位卷积核为卷积基础，对所述人脸碎片样本进行转换卷积计算，得到人脸画像样本；

判断所述人脸画像样本与对应的原始小图像的相似度是否到达预设相似值；

若是，则以所述划分规格作为模型参数，修改所述模型训练框架的原始参数，得到所述深层可分离卷积模型并存储；

若否，则重新调整所述划分规格对所述人脸样本数据进行处理直至得到所述深层可分离卷积模型。

此外，为实现上述目的，本发明还一种人脸识别设备，所述人脸识别设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的人脸识别程序，所述人脸识别程序被所述处理器执行时实现如上述任一项所述的人脸识别方法的步骤。

此外，为实现上述目的，本发明还一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序被处理器执行时实现如上述任一项所述的人脸识别方法的步骤。

本发明提供的人脸识别方法是通过根据预存的深度可分离卷积模块中的输入通道和输出通道对待识别的人脸画像数据进行两次的卷积操作，然后对卷积操作后得到的人脸画像图案计算相似度，基于相似度来判断是否属于同一人脸，而两次的卷积操作将人脸画像数据的特征简化，大幅度降低了整个人脸识别网络的时间、识别特征的复杂度和特征的空间复杂度，减低了终端在识别过程中的运算的参数量和计算量，减少了终端的消耗，提高的运行效率。

附图说明

图1为本发明实施例方案涉及的移动终端的运行环境的结构示意图；

图2为本发明提供的人脸识别方法第一实施例的流程示意图；

图3为本发明提供的人脸表情修改模型的结构示意图；

图4为本发明提供相片中人脸图像的表情转换后的示意图；

图5为本发明提供的人脸表情修改模型训练的流程示意图；

图6为本发明提供人脸识别装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种人脸识别装置，该装置可以是移动终端中的一个插件，用于执行本发明实施例提供的人脸识别方法，如图1所示，图1为本发明实施例方案涉及的移动终端运行环境的结构示意图。

如图1所示，该移动终端包括：处理器101，例如CPU，通信总线102、用户接口103，网络接口104，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口103可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口104可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器105可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器105可选的还可以是独立于前述处理器101的存储***。

本领域技术人员可以理解，图1中示出的移动终端的硬件结构并不构成对人脸识别装置或者设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器105中可以包括操作***、网络通信模块、用户接口模块以及用于实现表情生成的人脸识别程序。其中，操作***是管理和控制人脸识别装置、存储器中的软件资源调用的程序，支持人脸识别程序以及其它软件和/或程序的运行。

在图1所示的移动终端的硬件结构中，网络接口104主要用于接入网络；用户接口103主要用于待识别的人脸画像数据，并在识别人脸时的一些要求等等参数，而处理器101可以用于调用存储器105中存储的人脸识别程序，并执行以下人脸识别方法的各实施例的操作。

基于上述移动终端的硬件结构，本发明提出了一种人脸识别方法，该方法主要是应用于小型的终端设备，例如手机、IPAD、相机等等设备，参照图2，图2为本发明实施例提供的人脸识别方法的流程图。在本实施例中，所述人脸识别方法具体包括以下步骤：

步骤S210，获取待识别的人脸画像数据；

在该步骤中，所述获取人脸画像数据具体是通过智能手机上的摄像头进行拍摄采集，在拍摄到照片后，根据人像提取技术从所述照片中提取出人脸图像，从而将该提取到的人脸图像作为待识别的人脸画像数据。在实际应用中，具体可以通过图片提取技术对照片中的前景图像和后景图像进行区分来实现图像的提取。

在本实施例中，在对人脸画像数据进行卷积计算的识别处理时，通常是使用卷积核的方式进行计算，也即是说，还需要将人脸画像数据转换为卷积核来进行特征图谱的提取进行卷积计算。

步骤S220，根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小；

在该步骤中，所述深层可分离卷积模型指的是具有至少两层结构的模型，具体是通过模型训练得到，其在训练过程中，可理解为是分两层训练，分别是深度卷积训练和逐点卷积训练，而这两层具体的实现过程如下：

根据分离卷积算法，构建所述深层可分离卷积模型的模型训练框架，所述模型训练框架包括输入通道、输出通道、深度卷积训练单元和逐点卷积训练单元，所述深度卷积训练单元通过训练得到深度卷积滤波器，所述逐点卷积训练单元通过训练得到逐点卷积滤波器；

基于所述模型训练框架的输入通道和输出通道的数量，确定用于分割人脸图像的划分规格，其中，所述划分规格包括小图像的长度和宽度，以及卷积计算的单位卷积核的大小；

从网站上获取人脸样本数据，并根据所述划分规格对所述人脸样本数据按照五官区域进行分割，得到若干个小图像；

将所述小图像依次输入至所述深度卷积训练单元中进行特征的提取，并将提取到的特征合成特征图谱，输出M个人脸碎片样本；

将M个所述人脸碎片样本输入至所述逐点卷积训练单元，并以所述单位卷积核为卷积基础，对所述人脸碎片样本进行转换卷积计算，得到人脸画像样本；

判断所述人脸画像样本与对应的原始小图像的相似度是否到达预设相似值；

若是，则以所述划分规格作为模型参数，修改所述模型训练框架的原始参数，得到所述深层可分离卷积模型并存储；

若否，则重新调整所述划分规格对所述人脸样本数据进行处理直至得到所述深层可分离卷积模型。

在实际应用中，首先，获取预先设置的人脸图像的划分规格；其中，所述划分规格为小图像的长度和宽度，以及卷积计算的单位卷积核的大小；移动终端通过互联网从网站上获取人脸样本数据，并所述划分规格对所述人脸图像按照五官区域进行分割，得到若干个小图像；

然后，将所述小图像依次输入至所述深度卷积滤波器中进行特征的提取，并将提取到的特征合成特征图谱，输出M个大小为Di*Dj的人脸画像小块；

进一步的，通过将所述深层可分离卷积模型中的逐点卷积滤波器的训练单元，以及所述单位卷积核对所述人脸画像小块进行转换卷积计算，得到人脸画像样本；

最后，将所述人脸画像图案与对应的小图像进行对比；

若对比一致，则根据所述划分规格生成新的深层可分离卷积模型；

若比对不一致，则重新调整划分规格并进行模型训练。

步骤S230，将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到人脸画像的碎片集，其中，所述碎片集包括至少两个人脸碎片，所述人脸碎片在所述预存的深层可分离卷积模型中以卷积核的形式显示；

在本实施例中，这里的第一卷积操作可以理解为是一个图像的分割操作，具体是对人脸画像数据进行特征的提取，提取出人脸画像中不同的人脸特征，而每个人脸特征对应一个人脸碎片。

该步骤实质上是将所述人脸画像数据划分为多个区域小块，并对每个区域小块不同感受野角度获取至少三张特征图谱，将三张所述特征图谱进行相互融合处理，得到与每个所述区域小块对应的特征图，将与每个所述区域小块对应的特征图进行拼接，以将所述人脸画像数据转换为卷积核。

在该步骤中，该过程可以直接是在移动终端在通过采集用户的人脸照片的过程中同步进行转换得到，也即是说，移动终端的摄像头不一定是现有的摄像头，而是拍摄时，是以图像卷积的方式进行拍摄，具体是以像素格的方式体现，而在采用空洞卷积对人脸画像数据进行分割时，可以根据像素格的层次来进行提取特征图谱，然后再进行拼接合成得到完整的特征图，当然，在获取特征图谱是比一定按照相同的尺寸进行获取，可以以第一次获取的尺寸大小上进行扩大或者缩小进行获取。

步骤S240，将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案，其中，所述第二次卷积核操作为以单位卷积核作为卷积基础，对所述人脸碎片进行跨通道的标准卷积计算；

在本实施例中，所述预存的深层可分离卷积模型包括M个输入通道、N个输出通道、深度卷积滤波器和逐点卷积滤波器，其中，第一次卷积操作是通过深度卷积滤波器来实现，具体是基于M个输入通道和N个输出通道的输出要求构建卷积核的大小，并采用空洞卷积对所述人脸画像数据按照构建好的卷积核大小进行分割，得到M个人脸画像小块后，将这M个人脸画像小块分别输入到M个输入通道中，然后再由逐点卷积滤波器进行跨通道的标准卷积计算，从而得到人脸画像图案。

在该步骤中，对于所述逐点卷积滤波器进行跨通道的标准卷积计算时，具体还需要结合到单位卷积核进行计算，而该单位卷积核优选采用长和宽分别为1的卷积核。而该步骤中，每输入一个人脸画像小块则经过标准卷积计算后会输出N个人脸画像图案。

步骤S250，根据预设的联合贝叶斯算法计算所述人脸画像图案与所述移动终端中预先存储的人脸画像的相似度，并与预设的阈值比较，判定是否处于同一张人脸。

在本实施例中，通过对计算出来的人脸画像图案采用概率计算，可以实现了对人脸画像图案的进一步筛选，使得人脸画像图案更加接近于人脸画像数据，从而提高识别的精度。在实际应用中，若判断计算得到的联合贝叶斯概率值不大于预定阈值，则认为识别到的人脸画像数据属于同一张人脸，反之，则不属于同一人脸。

在实际应用中，对于在移动终端采用上述步骤S210-250的步骤识别出来的人脸画像数据在与判断是否属于同一人脸时，其预定阈值指的是用户预先存储在移动终端上，用于比对人脸画像的用户人脸图像的偏差值，当然了也可以直接与该用户人脸图像进行比对来确定偏差值，只要偏差值时大于预定阈值，则认为不属于同一张人脸。

在本实施例中，若所述深层可分离卷积模型包括：M个输入通道、N个输出通道、深度卷积滤波器和逐点卷积滤波器时，所述第一卷积操作是通过模型中的深度卷积滤波器来实现的，深度卷积滤波器通过将输入的人脸画像(即是图片)进行特征的简单化处理，即是可以理解为是将像素大的图片，基于切分处理，切成由多个像素的碎片融合而成的图片，而在深度卷积滤波器中设置有多个输入通道，每个通过到会对图片进行同样的处理，最终多个输入通道输出的结果可以是单独输出，也可以是合成一个后再输出。

在本实施例中，对于步骤S220根据所述深层可分离卷积模型中的输入通道和输出通道的数量确定第一次卷积操作的卷积核大小的步骤包括：

检测所述人脸画像数据的像素值Dx*Dy，并提取所述第一卷积操作中设定的每一次的步长系数；

将所述像素值减去所述步长系数，得到所述卷积核的大小；

其中，M和N分别为大于1的整数，Dx、Dy分别为所述人脸画像数据的长和宽，Dx和Dy均为大于1的正整数。优选的，Dx和Dy相等，即是输入的图片的长和宽是相同的

这时，在进行第一次卷积操作时，具体是：将所述人脸画像数据分别输入至M个所述输入通道，所述输入通道按照所述卷积核的大小对所述人脸画像数据进行划分处理，得到M个第一人脸图像数据，其中，所述第一人脸图像数据为由若干个大小不同的图块组成的图块集；

根据所述第一卷积操作中预设的空洞率和共享权重，对所述图块集进行筛选处理，得到包括多张不同的人脸碎片的碎片集。

然后基于第一次卷积操作的结果，在进行第二次卷积核操作，具体是将M个所述输入通道输出的所述人脸碎片依次输入至所述逐点卷积滤波器中，所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸碎片进行标准卷积计算，得到大小为Df*Dg*N的所述人脸画像图案，其中，Df为所述人脸画像图案的长度，Dg为所述人脸画像图案的宽度，Df和Dg均为大于零的正整数。

优选的，以所述深层可分离卷积模型中的输入通道的数据作为第一次卷积操作的卷积核的长度和宽度，基于该长度和宽度对所述人脸画像数据输入到每个输入通道中，每个输入通道对所述人脸画像数据按照确定的卷积核的长度和宽度进行分割，最终输出多个卷积核大小的人脸画像小块。

在实际应用中，所述深层可分离卷积模型是具有多层的结构模型，该模型通过空洞卷积操作对画像数据进行第一次卷积操作的分割时，具体可以通过在深层可分离卷积模型的同一个空洞卷积共享层中，同一个卷积核用不同的空洞率获得多路featuremap，最终多路featuremaps拼接起来，作为下一层的输入featuremaps。具体的，空洞卷积共享层类比于Inception结构，参数共享的多路空洞卷积层，在同一层中，获得了不同感受野的特征图，但不同于Inception，但是这里的具体方法是适用了空洞卷积，从而使用了更少的权重参数量，减小了模型参数，加快了计算速度，同时还保证了同等的精度，其中，所述空洞卷积操作为对所述人脸画像数据按照像素色彩层次进行特征图谱提取操作。

进一步的，上述举例中的方式在多路卷积层中，使用了同一个3*3卷积核，即共享了卷积核的权值。该方法，使得同一层内的多路卷积捕获相同的但不同尺度的特征；该方法可以理解为一种正则化，通过共享权重，限制了层内卷积所捕获多路多尺度的特征，w为同一种类型的特征在同一个feature map不同采样率下所捕获。

在实际应用中，该步骤实际上是通过深层可分离卷积模型中的深度卷积滤波器来实现的，但是该滤波器采用的图像分割方式是采用了空洞卷积的方式来实现，具体是所述深度卷积滤波器通过对人脸画像数据的不同区域都利用不同的空洞率获取一张特征图谱，优选的选择获取三账不同空洞率的特征图谱，然后将从同一区域中获取到的所有特征图谱进行拼接融合，从而得到一张与画像中的区域对应的卷积核(即是上述的人脸画像小块)。

在该步骤中，通过空洞卷积的方式分割人脸画像数据，可以对画像数据获得多尺度识别的能力。同时共享权重的方式也大大降低了过拟合的可能。将多路共享权重的卷积使用deepwise卷积的形式实现，从而在同样量级的参数量中达到了对多尺度识别的效果，且提升了精度。

在本实施例中，还可以是在第一次卷积操作输出时，以合成的图片的形式输出，具体是：

将所述人脸画像数据输入所述输入通道中，所述输入通道按照所述卷积核大小和所述步长系数对所述人脸画像数据进行划分处理，得到M个大小不同的图块，其中，每个所述输入通道中所得到的所述图块为根据所述第一卷积操作中预设的空洞率和共享权重进行挑选得到；

将M个所述图块进行融合，得到大小为Di*Dj*M的人脸画像要素图；

其中，Di为所述图块的长度，Dj为所述图块的宽度，Di和Dj均为大于零的正整数。

在对所述人脸画像要素图作进一步的卷积核计算，即是将所述人脸画像要素图输入至所述逐点卷积滤波器中，所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸画像要素图进行标准卷积计算，得到大小为Do*Dp*N的所述人脸画像图案，其中，Do为所述人脸画像图案的长度，Dp为所述人脸画像图案的宽度小，Do和Dp均为大于零的正整数。

在面以具体的例子为例进行说明，对于第一次卷积操作的卷积过程具体是通过深层可分离卷积模型中的深度卷积滤波器实现，而在每个输入通道中都设置有一个深度卷积滤波器，且每个深度卷积滤波器是只负责一个通道，输入通道于输入通道之间相互不影响，一个通道只被一个卷积核卷积，下面以一张5×5像素的图像数据为例说明：

对于一张5×5像素、三通道彩色输入图片(shape为5×5×3)，深度卷积滤波器首先经过第一次卷积运算，一个三通道的图像经过运算后生成了3个特征图谱，如图3所示。

而对于第二次卷积操作具体是通过在深度卷积滤波器完成后的特征图谱提取后，将相同的特征图谱进行合并，形成特征图(即是人脸画像小块)，并且该特征图的数量与输入通道数相同，进一步的将这些这些特征图进行组合生成新的特行图，具体是通过该逐点卷积滤波器来实现。逐点卷积滤波器在接收到深度卷积滤波器输出的特征图后，通过标准卷积计算方式进行卷积的计算，而在标准卷积计算时使用的卷积核的尺寸为1×1，M为输入通道数。所以这里的卷积运算会将上一步的特征图在深度方向上进行加权组合，生成新的特征图卷积核。有几个卷积核就有几个输出Featuremap。如图4所示。

在实际应用中，在进行图像分割时，具体是对每张人脸图提取5个landmark(两个眼睛的中心，嘴角的两个角点，鼻尖)。将这些图片块放进mobilenet中进行特征提取，mobilenet网络结构参考上面描述。接着训练5个CNN，每个CNN输出特征长度为128，输出5*128特征，将每一个人脸的128*5维特征用PCA降维到256维长度，长度为256维的特征计算其联合贝叶斯概率值，并与预定阈值比较判定是否是同一张人脸。

通过空洞卷积对待识别的人脸画像数据进行特征图谱的提取，然后通过深层可分离卷积模型进行标准卷积计算，得到人脸画像图案，进一步的对人脸画像图案计算联合贝叶斯概率值，基于该概率值判断是否属于同一个人脸，从而实现人脸识识别；通过本方式实现人脸的识别，将人脸画像数据的特征简化，大幅度降低了整个网络的时间复杂度和空间复杂度，减低了运算的参数量和计算量。

基于上述提供的通过空洞卷积对待识别的人脸画像数据进行特征图谱的提取，然后通过深层可分离卷积模型进行标准卷积计算，得到人脸画像图案，进一步的对人脸画像图案计算联合贝叶斯概率值，基于该概率值判断是否属于同一个人脸，从而实现人脸识识别；通过本方式实现人脸的识别，将人脸画像数据的特征简化，大幅度降低了整个网络的时间复杂度和空间复杂度，减低了运算的参数量和计算量，提升了设备对人脸识别的执行率，提高了用户的使用体验。

如图5所示，为基于本发明实施例提供的人脸识别方法识别图片时的识别过程。

步骤S510，获取到输入的待辨别的图片，并确定卷积的卷积核大小D_k*D_k*1。

步骤S520，将图片输入到深层可分离卷积模型中的每个输入通道上，进行特征的简化。

在该步骤中，其特征简化具体是对输入的每一个通道分别用1个D_k*D_k*1的卷积核进行卷积，共使用了M个卷积核，操作M次，得到M个D_f*D_f*1的特征图。这些特征图分别是从输入的不同通道学习而来，彼此独立。

由于卷积核模型中的存在M个输入通道，所以需要计算出D_f*D_f个值，每次的计算量为D_k*D_k,循环M次。

步骤S530，对得到的M个特征图作为M个通道的输入，用N个1*1*M的卷积核进行标准卷积，得到D_f*D_f*N的输出。

在该步骤中，对M个特征图进行逐点卷积的计算量为按标准卷积的公式，其中D_k＝1,计算量为1*1*M*N*D_f*D_f。

步骤S540，基于标准卷积得到的图片，计算联合贝叶斯概率值，根据该概率值判断是否属于设备中的相同人脸。

基于此，若采用标准的传统卷积的话，其计算总量会多更多，如果采用3x3卷积核的话，depthwiseseparableconvolution相较标准卷积可以降低大约9倍的计算量。

为了解决上述的问题，本发明实施例还提供了一种人脸识别装置，参照图6，图6为本发明实施例提供的人脸识别装置的功能模块的示意图。在本实施例中，该装置包括：采集模块61、第一卷积模块62、第二卷积模块63、识别块64；

采集模块61，用于获取待识别的人脸画像数据；

第一卷积模块62，用于根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小；将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到人脸画像的碎片集，所述碎片集包括至少两个人脸碎片，其中，所述人脸碎片在所述深层可分离卷积模型中以卷积核的形式显示；

第二卷积模块63，用于将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案，其中，所述第二次卷积核操作为以单位卷积核作为卷积基础，对所述人脸碎片进行跨通道的标准卷积计算；

识别模块64，用于根据预设的联合贝叶斯算法计算所述人脸画像图案与所述移动终端中预先存储的人脸画像的相似度，并与预设的阈值比较，判定是否处于同一张人脸。

基于与上述本发明实施例的人脸识别方法相同的实施例说明内容，因此本实施例对人脸识别装置的实施例内容不做过多赘述。

本发明还提供一种计算机可读存储介质。

本实施例中，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序被处理器执行时实现如上述任一项实施例中所述的人脸识别方法的步骤。其中，人脸识别程序被处理器执行时所实现的方法可参照本发明人脸识别方法的各个实施例，因此不再过多赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (10)

1.一种人脸识别方法，应用于移动终端，其特征在于，所述人脸识别方法包括以下步骤：

获取待识别的人脸画像数据；

根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小，所述深层可分离卷积模型包括：M个输入通道、N个输出通道和逐点卷积滤波器；

将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到人脸画像的碎片集，其中，所述碎片集包括至少两个人脸碎片，所述人脸碎片在所述深层可分离卷积模型中以卷积核的形式显示；

将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案，其中，所述第二次卷积操作为以单位卷积核作为卷积基础，对所述人脸碎片进行跨通道的标准卷积计算；

根据预设的联合贝叶斯算法，计算所述人脸画像图案与所述移动终端中预先存储的人脸画像的相似度，并将所述相似度与预设阈值进行比较，以识别所述人脸画像图案与所述移动终端中的人脸画像是否属于同一人；

所述根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小的步骤包括：

检测所述人脸画像数据的像素值Dx*Dy，并提取所述第一卷积操作中设定的每一次的步长系数；

将所述像素值减去所述步长系数，得到所述卷积核大小；

其中，M和N分别为大于1的整数，Dx、Dy分别为所述人脸画像数据的长和宽，Dx和Dy均为大于1的正整数；

所述将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案的步骤包括：

将M个所述输入通道输出的所述人脸碎片依次输入至所述逐点卷积滤波器中，所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸碎片进行标准卷积计算，得到大小为Df*Dg *N的所述人脸画像图案，其中，Df为所述人脸画像图案的长度，Dg为所述人脸画像图案的宽度，Df和Dg均为大于零的正整数。

2.如权利要求1所述的人脸识别方法，其特征在于，所述将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到所述人脸画像的碎片集的步骤包括：

将所述人脸画像数据分别输入至M个所述输入通道，所述输入通道按照所述卷积核大小对所述人脸画像数据进行划分处理，得到M个第一人脸图像数据，其中，所述第一人脸图像数据为由若干个大小不同的图块组成的图块集；

根据所述第一卷积操作中预设的空洞率和共享权重，对所述图块集进行筛选处理，得到包括多张不同的人脸碎片的碎片集。

3.如权利要求1所述的人脸识别方法，其特征在于，所述将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到所述人脸画像的碎片集的步骤包括：

将所述人脸画像数据输入所述输入通道中，以使所述输入通道按照所述卷积核大小和所述步长系数对所述人脸画像数据进行划分处理，得到M个大小不同的图块，其中，每个所述输入通道中所得到的所述图块为所述输入通道根据所述第一卷积操作中预设的空洞率和共享权重进行挑选得到；

将M个所述图块进行融合，得到大小为Di*Dj*M的人脸画像要素图；

其中，Di为所述图块的长度，Dj为所述图块的宽度，Di和Dj均为大于零的正整数。

4.如权利要求3所述的人脸识别方法，其特征在于，所述将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案的步骤包括：

将所述人脸画像要素图输入至所述逐点卷积滤波器中，以使所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸画像要素图进行标准卷积计算，得到大小为Do*Dp *N的所述人脸画像图案，其中，Do为所述人脸画像图案的长度，Dp为所述人脸画像图案的宽度小，Do和Dp 均为大于零的正整数。

5.如权利要求1-4任一项所述的人脸识别方法，其特征在于，所述预存的深层可分离卷积模型通过以下方式训练得到：

根据分离卷积算法，构建所述深层可分离卷积模型的模型训练框架，所述模型训练框架包括输入通道、输出通道、深度卷积训练单元和逐点卷积训练单元，所述深度卷积训练单元通过训练得到深度卷积滤波器，所述逐点卷积训练单元通过训练得到逐点卷积滤波器；

基于所述模型训练框架的输入通道和输出通道的数量，确定用于分割人脸图像的划分规格，其中，所述划分规格包括小图像的长度和宽度，以及卷积计算的单位卷积核的大小；

从网站上获取人脸样本数据，并根据所述划分规格对所述人脸样本数据按照五官区域进行分割，得到若干个小图像；

将所述小图像依次输入至所述深度卷积训练单元中进行特征的提取，并将提取到的特征合成特征图谱，输出M个人脸碎片样本；

将M个所述人脸碎片样本输入至所述逐点卷积训练单元，并以所述单位卷积核为卷积基础，对所述人脸碎片样本进行转换卷积计算，得到人脸画像样本；

判断所述人脸画像样本与对应的原始小图像的相似度是否到达预设相似值；

若是，则以所述划分规格作为模型参数，修改所述模型训练框架的原始参数，得到所述深层可分离卷积模型并存储；

若否，则调整所述划分规格对所述人脸样本数据进行处理直至得到所述深层可分离卷积模型。

6.一种人脸识别装置，其特征在于，所述人脸识别装置包括：

采集模块，用于获取待识别的人脸画像数据；

第一卷积模块，用于根据预存的深层可分离卷积模型中的输入通道和输出通道的数量，确定第一次卷积操作的卷积核大小，所述深层可分离卷积模型包括：M个输入通道、N个输出通道和逐点卷积滤波器；将所述人脸画像数据输入至所述输入通道，并按照所述卷积核大小对所述人脸画像数据进行第一卷积操作，得到人脸画像的碎片集，其中，所述碎片集包括至少两个人脸碎片，所述人脸碎片在所述深层可分离卷积模型中以卷积核的形式显示；

第二卷积模块，用于将通过所述第一卷积操作得到的所述人脸碎片进行第二次卷积操作，得到人脸画像图案，其中，所述第二次卷积操作为以单位卷积核作为卷积基础，对所述人脸碎片进行跨通道的标准卷积计算；

识别模块，用于根据预设的联合贝叶斯算法，计算所述人脸画像图案与移动终端中预先存储的人脸画像的相似度，并将所述相似度与预设阈值进行比较，以识别所述人脸画像图案与所述移动终端中的人脸画像是否属于同一人；

所述第一卷积模块包括计算单元，用于检测所述人脸画像数据的像素值Dx*Dy，并提取所述第一卷积操作中设定的每一次的步长系数；将所述像素值减去所述步长系数，得到所述卷积核的大小，其中，M和N分别为大于1的整数，Dx、Dy分别为所述人脸画像数据的长和宽，Dx和Dy均为大于1的正整数；

所述第二卷积模块包括逐点卷积滤波单元，用于将M个所述输入通道输出的所述人脸碎片依次输入至所述逐点卷积滤波器中，所述逐点卷积滤波器根据预设的N个大小为1*1的单位卷积核对所述人脸碎片进行标准卷积计算，得到大小为Df*Dg *N的所述人脸画像图案，其中，Df为所述人脸画像图案的长度，Dg为所述人脸画像图案的宽度，Df和Dg均为大于零的正整数。

7.如权利要求6所述的人脸识别装置，其特征在于，所述第一卷积模块还包括：

深度卷积滤波单元，用于将所述人脸画像数据分别输入至M个所述输入通道，所述输入通道按照所述卷积核大小对所述人脸画像数据进行划分处理，得到M个第一人脸图像数据，其中，所述第一人脸图像数据为由若干个大小不同的图块组成的图块集；

根据所述第一卷积操作中预设的空洞率和共享权重，对所述图块集进行筛选处理，得到包括多张不同的人脸碎片的碎片集。

8.如权利要求7所述的人脸识别装置，其特征在于，所述深度卷积滤波单元还用于：

将所述人脸画像数据输入所述输入通道中，以使所述输入通道按照所述卷积核大小和所述步长系数对所述人脸画像数据进行划分处理，得到M个大小不同的图块，其中，每个所述输入通道中所得到的所述图块为所述输入通道根据所述第一卷积操作中预设的空洞率和共享权重进行挑选得到；

将M个所述图块进行融合，得到大小为Di*Dj*M的人脸画像要素图；

其中，Di为所述图块的长度，Dj为所述图块的宽度，Di和Dj均为大于零的正整数。

9.一种电子设备，其特证在于，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的人脸识别程序，所述人脸识别程序被所述处理器执行时实现如权利要求1-5中任一项所述的人脸识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序被处理器执行时实现如权利要求1-5中任一项所述的人脸识别方法的步骤。