CN109934047A - 基于深度学习的人脸识别***及其人脸识别方法 - Google Patents

Abstract

本发明公开了一基于深度学习的人脸识别***及其人脸识别方法，其中所述人脸识别***包括：采集模块，采集需要待分类的人脸照片；处理模块，电通信连接于所述采集模块，将采集模块中待分类的人脸照片进行处理和特征提取；存储模块，电通信连接于处理模块，用于将处理模块得到的人脸照片保存并分类识别模块，电通信连接于所述处理模块，将处理模块中的人脸照片通过概率检测函数，得到相应属于每个类别的概率。整个过程速度快，精度高能够实时监测识别人脸。

Description

基于深度学习的人脸识别***及其人脸识别方法

技术领域

本发明涉及一人脸识别***，更进一步地涉及一基于深度学习的人脸识别***及其人脸识别方法。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。采用摄像机或摄像头采集含有人脸的图像或视频帧，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。目前，传统的人脸识别技术主要是基于可见光图像的人脸识别，即，二维图像识别，这也是人们熟悉的识别方式，二维人脸识别是基于人脸平面图像的，但实际上人脸本身是三维的，人脸平面图像只是三维人脸在一个平面上的投影，在这个过程中，必然会丢失一部分信息。此外，二维人脸识别性能的进一步提升，一直受到环境光线、姿态、表情等因素的不利影响，有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际***的需要。目前解决光照问题的方案有三维图像人脸识别，和热成像人脸识别。但这两种技术还远不成熟，识别效果不尽人意。

对于三维图像人脸识别是基于三维人脸图像的，从理论上讲具备一些三维图像信息的技术优势，但一直存在采集设备昂贵，采集***复杂，存储度高，人脸重建算法很复杂，识别速度较慢等缺点。具体来说，三维人脸识别存在以下的困难：一是信息来源方面的困难：用于三维人脸识别的完整信息难于获取，或者用于三维人脸识别的信息往往是不完整的，这造成了识别算法本身不可纠正的错误。同时，由于图像采集设备的差异，成像原理的不同，也造成数据上的差异。二是海量存储和计算的困难：由于三维人脸识别的数据容量和计算量十分巨大，给存储和运算带来困难，也对计算机的硬件提出了更高要求，造成无法实时人脸检测。三是对人的生理认识的不足：对于生物生理学和生物心理学等相关学科的有限的认知水平制约了计算机的算法实现，比如：对于肌肉的运动理论和表情的形成等问题，不能提供给计算机足够的专家支持。计算机只具备计算功能而没有人的经验和知识。四是受到环境和条件的约束：影响二维识别的不利因素在三维识别上同样存在。比如：光线的强弱，方向，遮盖，阴影，背景等。五是实现方式和手段的不足：传统的识别方法不能满足三维识别的要求，必须改进或采用新的方法。比如：由于动态图像的计算量太大，适用于静态图像处理的神经网络就变得很不适合。六是对图像需要进行较多的预处理，比如3D对齐，才能作为提取模型输入，会降低三维识别的速率。

而对于热成像人脸识别技术，也具有难点和缺陷。首先，由于热成像本身特性导致热成像人脸识别有其固有缺陷，比如与可见光人脸识别相比，热成像图像是由人脸的温度分布决定，而人脸不同的器官温度差别不会太大，因此在器官和局部的边缘上比可见光要弱化，边缘会比较模糊不清。其次，人的某些生理变化比如紧张或者是害羞和外部环境变化比如环境温度变化会改变人脸的热辐射模式，会影响热成像人脸识别的准确度和精度，影响其性能。再次，热辐射无法或者很难穿透玻璃，因此对于戴眼镜可能会影响识别效果。最后，不同时间段拍摄的热图像的区别会比较大。以上都会造成热成像人脸识别的准确率。

因此，人脸识别技术仍存在着两大问题，首先是相似性，不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的；其次是易变性，人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，研究中需要考虑到人的面部表情，姿态，年龄，位置，以及遮盖物等因素引起的类内变化(intra-class difference)，以及来自外界光照(例如白天和夜晚，室内和室外等)，背景等身份不同引起的类间变化(inter-class difference)，这两种变化的分布是高度复杂且非线性的，传统的基于浅层学习的人脸识别方法，对于类内和类间这两种变化的复杂分布和非线性的人脸数据进行识别，往往达不到预期效果。

本发明采用深度学习是模拟人类视觉感知神经***的认知学习，能够获得更具有表现力的高层特征，可用来解决人脸识别中的类内变化和类间变化分布这一难题。

发明内容

本发明的一个发明目的在于提供一基于深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***可以实现实时人脸检测，提高正确识别率。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***可以对自然环境中光线，角度和人脸表情变化更具有鲁棒性，人脸检测效果好。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***只需要对图片进行很少量处理，即可作为提取模型输入，具有更快的检测速率。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***在图片预处理时，仅仅需要消耗内存较小，以便于减少人脸识别***的负担，以便提升人脸检测速率。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***只需要对图片进行很少量处理，并且在图片预处理时，仅仅需要消耗内存较小，从而能够减少对硬件设备的要求，以有利于降低成本。

本发明的一个发明目的在于提供一基于深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***整个识别过程速度快，精度高，可应用在安防等多个领域。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***随着存储模块列的训练数据量的增加，将会不断提高人脸识别的准确率。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，深度学习的人脸识别***采用支持向量机分类模块进行分类识别，具有分类效果好，可以通过概率阈值选取拒绝***外人员。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，所述深度学习的人脸识别***具有识别速度快，精度高，能够精确实时监测识别人脸，从而缩短整个识别人脸过程时间。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，所述深度学习的人脸识别***的图片预处理采用所述多任务卷积神经网络人脸检测方法，具有只截取脸部区域，无需额外预处理，提高处理速率和减少处理过程。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，所述深度学习的人脸识别***利用CNN深度学习网络提取图片信息，具有更高的准确率和提取更为全面的图片信息。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，所述深度学习的人脸识别***采用多任务卷积神经网络深度学习网路，能够获得更具有表现力的高层特征用以克服人脸识别的类内变化，例如表情等，提高正确识别率。

本发明的另一个发明目的在于提供一深度学习的人脸识别***及其人脸识别方法，其中，所述深度学习的人脸识别***采用多任务卷积神经网络深度学习网路，能够获得更具有表现力的高层特征用以克服人脸识别的类间变化，例如自然界光照，背景等，从而抑制误检率，提高识别准确率。

为实现上述发明目的，本发明提供了一深度学习的人脸识别***，其特征在于，包括：

采集模块，采集需要待分类的人脸照片；

处理模块，电通信连接于所述采集模块，将所述采集模块中待分类的人脸照片进行处理和特征提取；

存储模块，电通信连接于处理模块，用于将所述处理模块得到的人脸照片保存并分类；

识别模块，电通信连接于所述处理模块，将所述处理模块中的人脸照片通过概率检测函数，得到相应属于每个类别的概率。

根据本发明的一个实施例，所述处理模块进一步包括一预处理模块，电通信连接于所述采集模块，用于将采集模块采集的照片预处理成具有人脸框和特征点位置的人脸照片。

根据本发明的一个实施例，所述处理模块进一步包括一特征提取模块，其中，所述特征提取模块电通信连接于预处理模块，用于提取每张人脸照片的128维向量。

根据本发明的一个实施例，预处理模块采用多任务卷积神经网络人脸检测方法，将待处理照片处理成160*160像素具有5个地标的人脸照片。

根据本发明的一个实施例，所述多任务卷积神经网络人脸检测方法，经过级联的三个网络，分别为生成网络，改进网络和输出网络。

根据本发明的一个实施例，所述特征提取模块采用CNN深度学习网络提取每张人脸的128维向量。

根据本发明的一个实施例，所述特征提取模块采用CNN深度学习网络提取每张人脸的128维向量。

根据本发明的一个实施例，所述分类识别模块采用支持向量机分类器，其中所述支持向量机电通信连接于所述特征提取模块，用于将待识别照片分类识别。

根据本发明的一个实施例，所述分类识别模块采用支持向量机分类器，其中所述支持向量机电通信连接于所述特征提取模块，用于将待识别照片分类识别。

根据本发明的一个实施例，所述人脸识别***进一步包括一显示模块，其中，所述显示模块电通信连接于分类识别模块，用于将分类识别模块所识别的人脸信息显示出来。

根据本发明的一个实施例，所述人脸识别***进一步包括一显示模块，其中，所述显示模块电通信连接于分类识别模块，用于将分类识别模块所识别的人脸信息显示出来。

依本发明的另一个方面，本发明进一步提供一基于深度学习的人脸识别方法，其包括以下步骤：

i).通过一采集模块采集待分类人脸照片；

ii).通过一预处理模块将采集模块中采集的待分类人脸照片预处理；

iii).通过特征提取模块提取待分类人脸照片特征的特征向量；

iv).通过分类识别模块分类识别待分类人脸图像。

根据本发明的一个实施例，在步骤i)中，所述采集模块通过摄像头实时获取视频帧或者人脸图片。

根据本发明的一个实施例，在步骤ii)中，所述预处理模块通过多任务卷积神经网络人脸检测方法获得人脸框和特征点位置。

根据本发明的一个实施例，其中，在步骤ii)中，所述预处理模块通过多任务卷积神经网络人脸检测方法采用级联的三个网络，分别为生成网络，改进网络和输出网络。

根据本发明的一个实施例，通过多任务卷积神经网络人脸检测方法将待处理照片图片截取为160*160像素的人脸照片。

根据本发明的一个实施例，在步骤iii)中，所述特征提取模块通过CNN深度学习网络提取每张待分类人脸照片的特征向量。

根据本发明的一个实施例，在步骤iii)中，所述特征提取模块通过CNN深度学习网络提取每张待分类人脸照片的特征向量。

根据本发明的一个实施例，在步骤iii)中，通过CNN深度学习网络提取每张待人脸人脸照片特征向量为128维向量。

根据本发明的一个实施例，在步骤iii)中，通过CNN深度学习网络提取每张待人脸人脸照片特征向量为128维向量。

根据本发明的一个实施例，在步骤iv)中，所述分类识别模块通过支持向量机分类器中的概率检测函数，识别待分类人脸照片属于每个类别的概率。

根据本发明的一个实施例，在步骤iv)中，所述分类识别模块通过支持向量机分类器中的概率检测函数，识别待分类人脸照片属于每个类别的概率。

根据本发明的一个实施例，在步骤iv)之前，还包括一步骤，将支持向量机分类器利用libsvm库进行训练，以获得相应的支持向量机分类器模型，用于识别待分类人脸照片。

根据本发明的一个实施例，在步骤iv)之前，还包括一步骤，将支持向量机分类器利用libsvm库进行训练，以获得相应的支持向量机分类器模型，用于识别待分类人脸照片。

根据本发明的一个实施例，所述人脸识别方法进一步包括一步骤v)，通过所述显示模块显示待分类人脸照片所属类别及概率。

根据本发明的一个实施例，所述人脸识别方法进一步包括一步骤v)，通过所述显示模块显示待分类人脸照片所属类别及概率。

附图说明

图1是本发明的一个实施例的基于深度学习人脸识别***的***结构示意图。

图2是依据上述发明的一个实施例的基于深度学习人脸识别***的***流程图。

图3是依据上述发明的一个实施例的基于深度学习人脸识别***的关于多任务卷积神经网络人脸识别检测方法的流程图。

图4是依据上述发明的一个实施例的基于深度学习人脸识别方法的流程图。

图5是依据上述发明的一个实施例的基于深度学习人脸识别***的多任务卷积神经网络人脸识别检测方法检测单张图片的人脸检测图。

图6是依据上述发明的一个实施例的基于深度学习人脸识别***的显示模块的方框图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。除非另有说明，“多个”的含义是两个或者两个以上。

在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1和图2所示，阐述了本发明的提供一深度学习的人脸识别***的结构和流程图，其中，所述人脸识别***包括一采集模块10，一存储模块20，一处理模块30以及一分类识别模块40，其中，所述采集模块10通过拍摄视频以便读取视频帧，或者通过拍摄照片来采集待识别人脸照片100，以供所述采集模块10采集所要被分类或者识别的人脸的照片，照片包括姿态变化，光线变化，背景变化，戴眼镜，口罩与否等多种类内和类间变化。所述采集模块10电通信连接于所述存储模块20用以读取的所述待分类人脸照片100，并将所述待分类人脸照片100作为训练数据并存储在所述存储模块20中。

值得一说的是，所述存储模块20用于存储训练数据以及并作为所述人脸识别***的数据库用以存储和保存数据，并将每次所述采集模块10中所采集的所述待识别人脸照片存储在数据库中，以便随着数据库中训练数据的增多从而提高人脸识别***的准确性，其中，所述存储模块20电通信连接于所述采集模块10，将采集模块10中所采集的照片储存在所述存储模块20中。

所述处理模块30用以处理所述采集模块10中所采集的待识别人脸照片，并提取出所述待分类人脸照片100的特征值。所述处理模块30包括一预处理模块31和一特征提取模块32，所述预处理模块31电通信连接于所述特征提取模块32，其中，所述预处理模块31将待分类人脸照片100截成预设像素的人脸照片，并将人脸特征的特征点位置标注；所述特征提取模块32将经过预处理模块31预处理的人脸照片提取出128维特征向量。

所述分类识别模块40用于将所述处理模块30中的所述特征提取模块32提取的人脸特征向量载入到相应的分类器模型中，通过概率检测函数，得到相应的属于每个类别的概率。

此外，所述基于深度学习的人脸识别***还包括一显示模块50，其中，所述显示模块50电通信连接于所述分类识别模块40，用于将所述分类识别模块40中识别的概率阈值以及分类信息显示。在所述显示模块50中主要分为四个显示区域，如图6所示，下面以所述待分类人脸照片100为例，第一显示区域为类别序号显示区域，主要显示出所述分类识别模块40中所述待分类人脸照片100在分类器模型中所述的类别序号，例如可以分为类别1，类别2，类别3等，第二显示区域为类别名称或者代码显示区域，用以将各个类别做区分，例如第一类信息的类别1的名称代码为1009035，类别2的代码或者名称为1007427，用以将类别区分。第三显示区域为概率显示区域，用以显示每一种类别的概率，例如该所述待分类人脸照片100为识别类别为代码或者名称为1009035的概率为0.786185，该所述待分类人脸照片100为识别类别为代码或者名称为1007427的概率为0.178939，第四显示区域为判定显示区域，用来显示所述待分类人脸照片100所述的类别根据每种类别概率的大小。例如所述待分类人脸照片100为识别类别1009035的概率为0.786185，而该所述待分类人脸照片100为类别1007427的概率为0.178939，小于类别1009035，并且所述类别1009035为所有识别类别中概率最大，因此在判定显示区域中显示类别为1009035.此外，所述显示模块50还可以包括概率排名显示区域，将每种类别按照概率大小进行排序并标记概率最大的类别。本领域技术人员应当理解，显示模块50还可以划分为其他显示区域，以及每种显示区域的排布可以根据需要来设定，不是本发明的限制。

如图2至图4所示，显示了本发明的一个实施例的人脸识别***流程图，首先，需输入图像，通过所述采集模块10来获取到所述待分类人脸照片100，其中，所述采集模块10可以通过一摄像头11来采集所述待分类人脸照片100，其中，所述摄像头11可以以视频帧的方式来采集每一帧的所述待分类人脸照片100，也可以通过单张照片采集所述待分类人脸照片100。值得一说的是，采集所述待分类人脸照片100的方式不仅限于所述摄像头11，可以为其他拍照或者录像电子等其他设备。

其次需要对通过所述采集模块10采集的所述待分类人脸照片100进行预处理，以便获得可以每张所述待分类人脸照片100的特征，从而可以按不同人脸照片进行区分。在本发明的实施例中采用多任务卷积神经网络(multi-task convolutional neuralnetworks，简称mtcnn)人脸识别检测方法对待分类人脸照片100进行预处理，该方法对自然环境中光线，角度和人脸表情变化更具有鲁棒性，人脸检测效果好，所谓鲁棒性是指在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。值得一说的是，所述多任务卷积神经网络人脸识别检测方法，在所述处理模块30中占用内存小，因此可以实现实时对所述待分类人脸照片100检测，从而提高人脸识别***的速率。

如图3所示，显示了本发明的实施例中多任务卷积神经网络人脸识别检测方法，其中，所述多任务卷积神经网络人脸检测方法，是将采集的所述待分类人脸照片100预处理以便将所述待分类人脸照片100进行切割以获得预设的人脸图片，具体来说，所述多任务卷积神经网络人脸检测方法主要是经过级联的3个网络，其中，第一级为生成网络(proposalnetwork，简称P-Net网络)，所述生成网络结构主要获得了人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(Non-Maximum-Suppression，简称NMS)来合并合度重叠的候选框，该级网络主要是来对人脸图片进行检测，以从待识别图片中检测出人脸图片；第二级为改进网络(refine network简称R-Net网络)，所述改进网络结构还是通过边界框回归和非极大值抑制来去掉那些误检率(false-positive)区域。只是由于该改进网络结构和生成网络结构有差异，多了一个全连接层，所以会取得更好的抑制误检率(false-positive)的作用。所述改进网络主要是为了提高人脸检测过程的准确率，降低误检率。值得一说的是，所谓误检率(false-positive)相对于虚假目标的总量里有多少被误识为真实目标。因此，抑制误检率(false-positive)将提高人脸识别***的准确率；第三级为输出网络(output network，简称O-Net)输出最终的人脸框和特征点位置，所述输出网络比改进网络层又多了一层卷积层，所以处理的结果会更加精细，其中，所述输出网络和所述改进网络层作用相同，只是所述对人脸区域进行了更多的监督，同时还会输出5个地标(landmark)。所述输出网络主要是人脸特征点定位，为了从改进网络中检测的人脸照片中提取出人脸特征点，并将人脸照片截切成预设尺寸。在本发明的实施例中，优选地所述待分类人脸照片100截取成160*160像素的人脸图片，如图5所示。换句话说，通过所述多任务卷积神经网络人脸检测方法仅仅需要更小的运行内存就可以实现实时人脸检测，从而提升人脸检测速率。但本领域人员应该明白，通过所述多任务卷积神经网络人脸检测方法可以将待处理照片照片预处理为其他像素密度的人脸照片为了满足不同情况下的需要。

换句话说，所述多任务卷积神经网络人脸检测方法通过所述预处理模块31，将对照片进行预处理，提取出照片中人脸的特征点，从而获得具有5个地标的人脸图片，具体来说，在本发明的实施例中从人脸照片提取出的5个地标分别为两只眼睛，一个鼻尖和两个嘴角位置，进而将人脸的基本特征提取出来。最后，形成具有5个地标的所述待分类人脸照片100被截切成160*160像素的人脸照片。值得一说的是，本发明的多任务卷积神经网络人脸检测方法可以输出多个地标的人脸照片，输出地标越多，处理起来就会增加运算负荷，降低处理速率。因此，本领域相关人员应当理解，通过多任务卷积神经网络人脸检测方法可以输出地标的个数不是本发明的限制。

再次是对待识别人脸照片进行特征提取，在特征提取模块32通过CNN深度学***衡上述问题，优选为提取128维特征向量，本领域相关技术人员应当理解，在本发明中，利用所述CNN深度学习网络，也可以提取其他维特征向量。

所述CNN深度学习网络需要训练自己的CNN模型，在本发明中，可以根据自己的数据，训练自己的CNN模型，最终得到每张照片的128维特征向量，加上已知的标签，作为训练支持向量机分类器的依据。也可以利用户外脸部检测数据库(labeled faces in the wild简称LFW)训练CNN模型，其准确率为0.99以上.

最后是对支持向量机(support vector machine，简称SVM)分类器进行训练，本发明的实施例中用来训练支持向量机分类器是采用libSVM库，其中，所述libSVM库首先需要把待训练人脸照片的128维向量和相应标签转化为lib支SVM数据格式文件进入分类器模型的训练，对数据进行尺度操作，所谓尺寸操作是指对数据的归一化，利用径向基核函数，交叉验证来获得相对较好的参数，例如C和r，然后利用上述获得较好的参数来对所述待训练人脸照片进行训练，最后测试保存得到相应的分类器模型。

值得一说的是，在本发明的libSVM库中，优选首选径向基核函数，是由于该核可以将数据非线性地映射到高维空间，而且，它还能处理那种特征(数据)及其属性之间呈现非线性关系的情况，而线性核函数只是径向基核函数的一个特例。另外，相比而言，多项式核函数在高维空间有着更多的参数，从而使得模型更加复杂。同时，需要提醒的是，径向基核函数并非万能的，尤其当特征数据的数值本身比较大的时候，线性核函数要更实用一些。本领域相关人员应当理解，在本发明中，除了选择径向基核函数外，也可以选择多项式核函数或者线性核函数，不作为本发明的限制。

将训练后的支持向量机分类器完备后，进入人脸识别过程，人脸识别***可以从所述采集模块10的所述摄像头11实时获取视频帧，每一帧图像均经过预处理模块31的多任务卷积神经网络人脸检测方法预处理得到具有五个地标的，像素为160*160的待识别人脸照片，再经过所述特征提取模块32的所述CNN深度学习网络说提取的具有128维向量的所述待分类人脸照片100，然后将所述待分类人脸照片100的128维特征向量接着载入到之前训练好的所述支持向量机分类器模型中，根据所述支持向量机分类器模型，通过概率检测函数，可以得到相应的属于每个类别的概率。

值得一说的是，如果所述待分类人脸照片100不属于支持向量机分类器模型中的某个类别，那么通过概率特征检测函数，会得到所述待识别人脸照片属于非类内。

另外，本领域技术人员应该理解，所述支持向量机分类器在人脸识别***中，可以被设定为每次检测均对分类器模型进行一次训练，也可以选择定时或者自定义为支持向量机分类器模型进行训练，以便可以及时更新所述支持向量机分类器模型，不断扩大libSVM的数据，以便提高支持向量机分类器模型在识别过程中的准确性。

为了将分类识别模块40中所识别的人脸照片信息是否属于类内并判定属于类内的那个类别，所述分类识别模块40电通信连接于所述显示模块50，用于将分类识别信息按照预设方式显示。

此外，本发明的实施例中的人脸识别***中的支持向量机分类器通过对大量数据的训练和测试，可以设计不同分类判断的概率阈值，用于判断被识别人脸是否属于类内及属于哪一类。

因此，本发明优选实施例的人脸识别方法，其步骤主要包括：

1).通过一采集模块10采集所述待分类人脸照片100；

2).通过一预处理模块31将采集模块10中采集的带分类人脸照片截取以获得160*160像素的人脸照片；

3).通过特征提取模块32提取所述待分类人脸照片100特征的128维向量；

4).通过分类识别模块40分类识别待分类人脸图像。

在步骤1中，利用摄像模块的摄像头11以视频帧的方式采集需要被分类的人脸照片，被采集的人脸照片被保存在存储模块20中，其中，所述摄像模块电通信连接于所述存储模块20。值得一说的是，通过所述摄像模块所采集的人脸照片可以被作为训练照片也可以被作为待识别人脸照片。待识别人脸照片识别后将自动被保存在所述存储模块20中，作为训练照片。在步骤1中，采集人脸图像之前，还包括读取人脸图像，通过采集模块的摄像头11实时以视频帧的形式读取所述待分类人脸照片100，也可以通过摄像模块读取单张照片图像。被读取的人脸照片通过采集模块10采集并保存在存储模块20中，其中，所述采集模块10电通信连接所述存储模块20。

在步骤2中，对采集模块10采集的训练照片需要进行预处理，步骤2中另一部包括一步骤2i，从训练照片中检测出人脸照片，克服类内和类间变化所带来的影响，检测出人脸。具体来说，本发明的实施例中采用多任务卷积神经网络人脸检测方法方法对人脸进行检测识别，以将人脸照片截切成预设尺寸。

在步骤3中，利用处理模块30中的特征提取模块32对通过预处理模块31载入的人脸照片进行特征提取，其中，预处理模块31电通信与所述特征提取模块32，所述预处理模块31将检测的每张人脸照片传输给特征提取模块32，并通过特征提取模块32得到每张图片的多维维特征向量。具体来说，本发明采用CNN深度学习网络来提取每种人脸照片的128维特征向量。

在步骤4中，利用分类识别模块40对步骤3中特征提取模块32提取的待识别人脸照片进行识别。在步骤4中，还包括步骤4i，训练分类识别模块40，对分类识别模块40进行数据训练，以获得分类器模型。在本发明中采用lib支持向量机库对分类器进行训练，将待训练照片人脸图片的128维向量和相应标签转化为lib支持向量机数据格式文件进入分类器模型的训练，设置相应地相应的训练参数，训练保存得到了相应的分类器模型。相应地，在本发明的实施例中，所述分类识别模块40为支持向量机分类器，对支持向量机分类器训练以获得支持向量机分类器模型。在步骤4中，将待识别人脸照片的128维特征向量接着载入到之前训练好的支持向量机分类器模型中，根据支持向量机分类器模型，通过概率检测函数，可以得到相应的属于每个类别的概率。

此外，人脸识别方法还包括一步骤5，显示识别类型。在人脸识别***中，还包括一显示模块50，电通信连接于所述分类识别模块40，用于将所述分类识别模块40中对于每一张所述待分类人脸照片100的概率阈值显示在所述显示模块50上。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (26)

1.一基于深度学习的人脸识别***，其特征在于，包括：

采集模块，采集需要待分类的人脸照片；

处理模块，电通信连接于所述采集模块，将所述采集模块中待分类的人脸照片进行处理和特征提取；

存储模块，电通信连接于处理模块，用于将所述处理模块得到的人脸照片保存并分类；

识别模块，电通信连接于所述处理模块，将所述处理模块中的人脸照片通过概率检测函数，得到相应属于每个类别的概率。

2.根据权利要求1所述的基于深度学习的人脸识别***，其中，所述处理模块进一步包括一预处理模块，电通信连接于所述采集模块，用于将采集模块采集的照片预处理成具有人脸框和特征点位置的人脸照片。

3.根据权利要求2所述的基于深度学习的人脸识别***，其中，所述处理模块进一步包括一特征提取模块，其中，所述特征提取模块电通信连接于预处理模块，用于提取每张人脸照片的128维向量。

4.根据权利要求2所述的基于深度学习的人脸识别***，其中，预处理模块采用多任务卷积神经网络人脸检测方法，将待处理照片处理成160*160像素具有5个地标的人脸照片。

5.根据权利要求4所述的基于深度学习的人脸识别***，其中，所述多任务卷积神经网络人脸检测方法，经过级联的三个网络，分别为生成网络，改进网络和输出网络。

6.根据权利要求3所述的基于深度学习的人脸识别***，其中，所述特征提取模块采用CNN深度学习网络提取每张人脸的128维向量。

7.根据权利要求5所述的基于深度学习的人脸识别***，其中，所述特征提取模块采用CNN深度学习网络提取每张人脸的128维向量。

8.根据权利要求1所述的基于深度学习的人脸识别***，其中，所述分类识别模块采用支持向量机分类器，其中所述支持向量机电通信连接于所述特征提取模块，用于将待识别照片分类识别。

9.根据权利要求5所述的基于深度学习的人脸识别***，其中，所述分类识别模块采用支持向量机分类器，其中所述支持向量机电通信连接于所述特征提取模块，用于将待识别照片分类识别。

10.根据权利要求1所述的基于深度学习的人脸识别***，进一步包括一显示模块，其中，所述显示模块电通信连接于分类识别模块，用于将分类识别模块所识别的人脸信息显示出来。

11.根据权利要求9所述的基于深度学习的人脸识别***，进一步包括一显示模块，其中，所述显示模块电通信连接于分类识别模块，用于将分类识别模块所识别的人脸信息显示出来。

12.一基于深度学习的人脸识别方法，其特征在于，包括以下步骤：

i).通过一采集模块采集待分类人脸照片；

ii).通过一预处理模块将采集模块中采集的待分类人脸照片预处理；

iii).通过特征提取模块提取待分类人脸照片特征的特征向量；

iv).通过分类识别模块分类识别待分类人脸图像。

13.根据权利要求12所述的基于深度学习的人脸识别方法，其中在步骤i)中，所述采集模块通过摄像头实时获取视频帧或者人脸图片。

14.根据权利要求12所述的基于深度学习的人脸识别方法，其中，在步骤ii)中，所述预处理模块通过多任务卷积神经网络人脸检测方法获得人脸框和特征点位置。

15.根据权利要求14所述的基于深度学习的人脸识别方法，其中，在步骤ii)中，所述预处理模块通过多任务卷积神经网络人脸检测方法采用级联的三个网络，分别为生成网络，改进网络和输出网络。

16.根据权利要求14所述的基于深度学习的人脸识别方法，其中，通过多任务卷积神经网络人脸检测方法将待处理照片图片截取为160*160像素的人脸照片。

17.根据权利要求12所述的基于深度学习的人脸识别方法，其中，在步骤iii)中，所述特征提取模块通过CNN深度学习网络提取每张待分类人脸照片的特征向量。

18.根据权利要求16所述的基于深度学习的人脸识别方法，其中，在步骤iii)中，所述特征提取模块通过CNN深度学习网络提取每张待分类人脸照片的特征向量。

19.根据权利要求17所述的基于深度学习的人脸识别方法，其中，在步骤iii)中，通过CNN深度学习网络提取每张待人脸人脸照片特征向量为128维向量。

20.根据权利要求18所述的基于深度学习的人脸识别方法，其中，在步骤iii)中，通过CNN深度学习网络提取每张待人脸人脸照片特征向量为128维向量。

21.根据权利要求12所述的基于深度学习的人脸识别方法，其中，在步骤iv)中，所述分类识别模块通过支持向量机分类器中的概率检测函数，识别待分类人脸照片属于每个类别的概率。

22.根据权利要求20所述的基于深度学习的人脸识别方法，其中，在步骤iv)中，所述分类识别模块通过支持向量机分类器中的概率检测函数，识别待分类人脸照片属于每个类别的概率。

23.根据权利要求12所述的基于深度学习的人脸识别方法，其中，在步骤iv)之前，还包括一步骤，将支持向量机分类器利用libsvm库进行训练，以获得相应的支持向量机分类器模型，用于识别待分类人脸照片。

24.根据权利要求22所述的基于深度学习的人脸识别方法，其中，在步骤iv)之前，还包括一步骤，将支持向量机分类器利用libsvm库进行训练，以获得相应的支持向量机分类器模型，用于识别待分类人脸照片。

25.根据权利要求12所述的基于深度学习的人脸识别方法，进一步包括一步骤v)，通过所述显示模块显示待分类人脸照片所属类别及概率。

26.根据权利要求24所述的基于深度学习的人脸识别方法，进一步包括一步骤v)，通过所述显示模块显示待分类人脸照片所属类别及概率。