CN108446666A - 双通道神经网络模型训练及人脸比对方法、终端及介质 - Google Patents
双通道神经网络模型训练及人脸比对方法、终端及介质 Download PDFInfo
- Publication number
- CN108446666A CN108446666A CN201810299180.6A CN201810299180A CN108446666A CN 108446666 A CN108446666 A CN 108446666A CN 201810299180 A CN201810299180 A CN 201810299180A CN 108446666 A CN108446666 A CN 108446666A
- Authority
- CN
- China
- Prior art keywords
- face
- neural network
- picture
- face picture
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003062 neural network model Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 40
- 239000000284 extract Substances 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 74
- 238000010606 normalization Methods 0.000 claims description 74
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 210000004218 nerve net Anatomy 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 6
- 238000013480 data collection Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
一种双通道神经网络模型训练方法，包括：将每张人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的经过直方图均衡化处理后的人脸图片输入第二深度神经网络中提取出第二人脸特征；对第一人脸特征和第二人脸特征进行归一化后连接作为最终人脸特征表示；将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。本发明还提供一种人脸比对方法、终端及介质。本发明可以训练出适合人脸比对的双通道神经网络模型，获得较佳的人脸比对效果。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种双通道神经网络模型训练及人脸比对方法、终端及介质。
背景技术
最近几年，随着机器学习和深度学习的发展，生物特征凭借便于携带、不会丢失、不会遗忘、不会借用和不会盗用等特点，被广泛应用在身份认证中。人脸识别技术作为生物特征识别技术之一，它具有最直接、友好和方便的特点，是我们的理想选择。人脸比对是人脸识别的子领域，人脸比对是判断两张人脸图片是不是同一个人，最常用的场景是判断证件是不是本人，人脸识别则是给定一张人脸图片，然后判断这个人是谁，其实质相当于多次的人脸比对。
由于动态环境下的人脸图片存在光照不足、遮挡、分辨率不够、姿态不正确等多种影响，使得动态环境下的人脸比对难度非常大，造成人脸比对准确度下降。
发明内容
鉴于以上内容，有必要提出一种双通道神经网络模型训练方法及人脸比对方法、终端及介质，其可以训练出适合人脸比对的分类模型，训练出的特征的区分能力较强，获得较佳的人脸比对效果。
本发明的第一方面提供一种双通道神经网络模型训练方法，所述方法包括：
a.获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182；
b.将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集；
c.分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；
d.将人脸样本数据中的每张所述人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征；
e.对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征；
f.根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示；及
g.将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。
本发明的第二方面提供一种利用所述的双通道神经网络模型进行人脸比对的方法，所述方法包括：
在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片；
将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示；
计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度；及
根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
本发明的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述双通道神经网络模型训练方法或者实现所述人脸比对方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述双通道神经网络模型训练方法或者实现所述人脸比对方法。
本发明所述的双通道神经网络模型训练方法及人脸比对方法、终端及介质，将训练出的双通道神经网络模型应用在人脸比对上，能够解决动态环境下的人脸图片存在光照不足、遮挡、分辨率不够、姿态不正确等多种影响；在双通道神经网络模型训练阶段只需要少量样本即可，从而解决了算法对数据量的需求问题，增加了算法的实用性，提高了人证验证的准确率及效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的双通道神经网络模型训练方法的流程图。
图2是本发明实施例二提供的双通道神经网络模型训练方法的流程图。
图3是本发明实施例三提供的人脸比对方法的流程图。
图4是本发明实施例四提供的人脸比对方法的流程图。
图5是本发明实施例五提供的双通道神经网络模型训练装置的结构图。
图6是本发明实施例六提供的人脸比对装置的结构图。
图7是本发明实施例七提供的终端的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明的人脸比对方法应用在一个或者多个终端中。所述双通道神经网络模型训练方法及人脸比对方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的双通道神经网络模型训练方法及人脸比对方法可以同时由服务器来执行，也可以同时由终端来执行；还可以是由服务器和终端共同执行，比如，所述双通道神经网络模型训练方法由服务器来执行，所述人脸比对方法由终端来执行，或者，所述人脸比对方法由服务器来执行，所述双通道神经网络模型训练方法由终端来执行。本申请在此不加以限制。
对于需要进行双通道神经网络模型训练方法及人脸比对方法的终端，可以直接在终端上集成本申请的方法所提供的双通道神经网络模型训练功能及人脸比对功能，或者安装用于实现本申请的方法的客户端。再如，本申请所提供的方法还可以软件开发工具包(Software Development Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供双通道神经网络模型训练功能及人脸比对功能的接口，终端或其他设备通过提供的接口即可实现人脸的验证。
实施例一
图1是本发明实施例一提供的双通道神经网络模型训练方法的流程图。根据不同的需求，图1所示流程图中的执行顺序可以改变，某些步骤可以省略。
101：获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182。
本较佳实施例中，所述原始人脸图片的获取可包括以下两种方法：
(1)事先设置拍照设备(例如，摄像机、照相机等)的分辨率为182*182，则在动态环境下对不同人的人脸进行拍摄即可得到尺寸为182*182的原始人脸图片；
(2)从人脸数据集中获取不同人的原始人脸图片，将原始人脸图片设置为182*182的尺寸。
所述LFW数据集是为了研究非限制环境下的人脸识别问题而建立，其中包含了超过13000张人脸图像，人脸图像全部来自于Internet，而不是实验室环境。
将原始人脸图片分辨率设置为182*182，不仅能获得较多的人脸面部细节信息，且能适配现有通用的传输、存储和管理***及设备。
102：将每张原始人脸图片进行随机裁剪成预设数量的第一人脸图片，得到人脸样本数据集。
所述预设数量可以根据实际需要自行调整或修改，本较佳实施例中，将每张原始人脸图片进行随机裁剪成大小相同的5张第一人脸图片，每张第一人脸图片均包含人脸区域。
将每张原始人脸图片进行随机裁剪，可得到任意角度、任意光照等条件下的第一人脸图片，随机的过程即是模拟动态环境下采集原始人脸图片的过程；其次，通过裁剪的方式可得到多张第一人脸图片，从而增加了人脸样本数据集的数量，较多的人脸样本数据集能够提高双通道神经网络模型的鲁棒性。
103：分别对所述人脸样本数据集中的每张第一人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
本实施例中，对所述人脸样本数据集中的第一人脸图片进行直方图均衡化处理的具体步骤包括：
1)对所述第一人脸图片进行像素灰度统计；
统计所述第一人脸图片中每个像素灰度级出现的次数，将相同的灰度级像素点数量进行累加。
2)计算像素灰度分布密度；
根据公式(1-1)计算第k灰度级在整张所述第一人脸图片中出现的概率Pr(rk)，
其中，n是所述第一人脸图片中像素个数的总和，nk是灰度级rk的像素个数，L是所述第一人脸图片中灰度级的总数。
3)根据累积分布函数对所计算的像素灰度分布密度进行变换；
根据公式(1-2)对所计算的像素灰度分布密度进行变换。
4)计算变换后的新像素灰度；
对灰度值进行映射得到新像素灰度，并对所述新像素灰度进行取整，得到变换后的新像素灰度。
对所述人脸样本数据集中的每张所述第一人脸图片进行直方图均衡化处理，能够进一步增强所述人脸样本数据集中的所述第一人脸图片的对比度，尤其是对于曝光过度或者曝光不足的所述第一人脸图片，经过所述直方图均衡化处理后能够更好的保持所述第一人脸图片中的人脸区域的细节信息。
优选地，若人脸样本数据集中的所述第一人脸图片为彩色图片，由于无法直接对彩色图片中的R、G、B三个分量进行直方图均衡化处理，因而需要将彩色图片的颜色空间由RGB色彩空间转换成HSV(Hue色度，Saturation饱和度，Value纯度)色彩空间，然后对V分量进行所述直方图均衡化处理。
104：将人脸样本数据中的每张所述第一人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
本较佳实施例中，所述第一深度神经网络与所述第二深度神经网路为具有相同层数(例如，200多层)的神经网络。可选地，所述第一深度神经网络与所述第二深度神经网路采用基于感知机的Inception-Resnet-V2(Inception-V2和Resnet相结合的神经网络)神经网络。所述基于感知机的Inception-Resnet-V2神经网络为现有技术，本发明在此不再赘述。
优选地，所述步骤104还可以包括：所述第一深度神经网络提取出的所述第一人脸特征的维数为64维，所述第二深度神经网络提取出的所述第二人脸特征的维数为64维。
105：对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征。
本较佳实施例中，可以采用归一化函数对所述第一人脸特征及所述第二人脸特征进行归一化，所述归一化函数可以是欧式距离函数，也可以是曼哈顿距离函数、最小绝对误差。可选地，采用欧式距离函数对所述第一人脸特征得到第一归一化人脸特征，及对所述第二人脸特征进行归一化得到第二归一化人脸特征。
归一化能够对光照、阴影和边缘进行压缩，使得第一归一化人脸特征和第二归一化人脸特征对光照、阴影和边缘变化具有鲁棒性，从而进一步提高双通道神经网络模型的鲁棒性。另外，采用欧式距离函数进行归一化，能避免双通道神经网络模型过拟合，进而提升了双通道神经网络模型的泛化能力，对后续双通道神经网络模型的权重和偏置的优化求解变得更稳定和快速。
106：根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示。
本较佳实施例中，所述预设连接规则可以是交叉连接。例如，第一归一化人脸特征为(x1,x2,x3,…,xm)，第二归一化人脸特征为(y1,y2,y3,…,ym)，则采用交叉连接方式连接得到的最终人脸特征表示为(x1,y1,x2,y2,x3,y3,…,xm,ym)。
可替换地，所述预设连接规则可以是顺序连接。例如，第一归一化人脸特征为(x1,x2,x3,…,xm)，第二归一化人脸特征为(y1,y2,y3,…,ym)，则采用顺序连接方式连接得到的最终人脸特征表示为(x1,x2,x3,…,xm,y1,y2,y3,…,ym)。
107：将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置；当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤101-107。
本较佳实施例中，所述预先设置的损失函数L为下式(1-3)所示：
其中，m表示mini-batch的大小。LS表示的是交叉熵损失函数(softmax loss)的结果，代表的是第yi个人的实际输出，LC表示的是中心损失函数(center loss)的结果，cyi表示第yi个人的特征中心，xi表示全连接层之前的特征。预先设置的损失函数L越小，代表模型越好。
对所述最终人脸特征表示再次进行归一化，是为了使得归一化后的最终人脸特征表示分布在0-1之间，具有统一的批判标准，不仅可以方便后续的数据处理，还能使得损失函数的收敛加快；其次，所述预先设置的损失函数能够使得不同人脸图片间的距离变大，同一个人的不同人脸图片间的距离减少，从而提高所述双通道神经网络模型的分类能力，进而提高人脸识别的准确度。
综上所述，本发明所训练出的双通道神经网络模型，能够显著增强对输入的人脸样本数据集中的人脸图片及经过直方图均衡化处理的所述人脸图片的特征提取能力，减轻网络层次加深时而性能降低的风险，提高了双通道神经网络模型的鲁棒性，便于后续提高人脸识别或人脸比对的识别率。
实施例二
图2是本发明实施例二提供的双通道神经网络模型训练方法的流程图。根据不同的需求，该流程图中的执行顺序可以改变，某些步骤可以省略。
201：获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182。
本实施例中的所述步骤201同实施例一中的所述步骤101，本发明在此不再详细赘述。
202：将每张原始人脸图片进行随机裁剪成预设数量的第二人脸图片，得到人脸样本数据集，其中，所述人脸样本数据集中的每张第二人脸图片的尺寸为171*160。
本较佳实施例中，设置随机裁剪后得到的第二人脸图片尺寸为171*160，不仅能最大程度的保持原始人脸图片中的面部细节信息，相较于利用所述原始人脸图片作为人脸样本数据集参与训练时，能缩短双通道神经网络模型的训练时间，提高双通道神经网络模型的训练速度。
203：利用预先存储的人脸检测算法分别对裁剪出的每张第二人脸图片进行检测，判断裁剪出的所有第二人脸图片中的每张第二人脸图片中是否包含人脸区域。
所述预先存储的人脸检测算法可以为以下算法中的一种：基于模板的人脸检测方法、基于人工神经网络的人脸检测方法、基于模型的人脸检测方法、基于肤色的人脸检测方法或者基于特征子脸的人脸检测方法等。
本实施例中，所述预先存储的人脸检测算法不限于上述列举的，任何能够检测裁剪出的人脸图片中是否包含人脸区域的算法均可引用与此。另外，本实施例中预先存储的人脸检测算法为现有技术，本文在此不再详细介绍。
当确定裁剪出的所有第二人脸图片中的每张第二人脸图片中包含人脸区域时，则执行下述步骤204；当确定裁剪出的所有第二人脸图片中的每张或部分人脸图片中不包含人脸区域时，则执行下述步骤205。
所述裁剪出的第二人脸图片中不包含人脸区域包括以下两种情形：完全不存在人脸区域；仅存在部分人脸区域。
204：分别对所述人脸样本数据集中的每张第二人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
本实施例中的所述步骤204同实施例一中的所述步骤103，本发明在此不再详细赘述。
205：继续对不包含人脸区域的第二人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的第二人脸图片。
206：将人脸样本数据中的每张所述第二人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
本实施例中的所述步骤206同实施例一中的所述步骤104，本发明在此不再详细赘述。
207：对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征。
本实施例中的所述步骤207同实施例一中的所述步骤105，本发明在此不再详细赘述。
208：根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示。
本实施例中的所述步骤208同实施例一中的所述步骤106，本发明在此不再详细赘述。
209：将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置；当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤201-209。
本实施例中的所述步骤209同实施例一中的所述步骤107，本发明在此不再详细赘述。
综上所述，本发明所训练出的双通道神经网络模型，通过预先存储的人脸检测算法对裁剪出的每张第二人脸图片进行检测，以确保每张第二人脸图片中包含了全部的人脸区域，如此可以保障提取的人脸特征的有效性，能够进一步提高双通道神经网络模型的鲁棒性，便于后续提高人脸识别或人脸比对的识别率。
实施例三
图3是本发明实施例三提供的人脸比对方法的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
301：在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
302：将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征。
303：对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征。
304：根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示。
305：计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
根据式(2-1)和(2-2)计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
SIM＝0.5+0.5*COSθ (2-2)
其中，特征向量A代表目标用户的最终特征表示，特征向量B代表注册用户的最终特征表示。根据式(2-1)计算特征向量A和数据库中的每一个特征向量B之间的余弦值，计算出的余弦值的范围为[-1，1]。根据式(2-2)计算出的SIM即为相似度，此时相似度的值归一化到[0，1]。
306：根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当计算得到的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当计算得到的相似度小于预先设置的置信度阈值时，则确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
优选地，所述预先设置的置信度阈值为0.5。
综上所述，将所述双通道神经网络模型用于人脸比对，能够提高人脸比对的准确度，缩短人脸比对的时间，提高人脸比对的效率。
实施例四
图4是本发明实施例四提供的人脸比对方法的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
401：在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理。
本较佳实施例中，所述预处理可以包括，但不限于：图像去噪，光照归一化，姿态校准，灰度归一化等。
在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理，是为了进一步提高目标用户的人脸图片，便于提取出更具辨别力的人脸特征。
402：对经过预处理后目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
403：将经过预处理后的目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征。
404：对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征。
405：根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示。
406：计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
407：根据预先设置的排序方法对计算得到的相似度进行排序。
本较佳实施例中，所述预先设置的排序方法包括，但不限于：由大到小排序，由小到大排序。
408：比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当最大的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当最大的相似度小于预先设置的置信度阈值时，则确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
优选地，所述预先设置的置信度阈值为0.5。
通过对计算得到的相似度进行排序，并直接比较最大的相似度与预先设置的置信度阈值之间的关系，当最大的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过。当最大的相似度小于预先设置的置信度阈值时，则确定用户比对失败。如此可以缩短比对时间，仅需比对一次即可确定目标用户是否为已注册用户。
综上所述，本发明所述的人脸比对方法，使用双通道神经网络模型能够提取出较佳的人脸特征表示，花费较短的人脸比对时间即可获得较佳的人脸比对效果。
以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
下面结合第5至7图，分别对实现上述双通道神经网络模型训练方法及人脸比对方法的终端的功能模块及硬件结构进行介绍。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
实施例五
图5为本发明双通道神经网络模型训练装置较佳实施例中的功能模块图。
在一些实施例中，所述双通道神经网络模型训练装置50运行于所述终端7中。所述双通道神经网络模型训练装置50可以包括多个由程序代码段所组成的功能模块。所述双通道神经网络模型训练装置50中的各个程序段的程序代码可以存储于所述存储器71中，并由所述至少一个处理器72所执行，以执行(详见图1和图2描述)对双通道神经网络模型的训练。
本实施例中，所述终端7的双通道神经网络模型训练装置50根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块501、裁剪模块502、第一直方图处理模块503、第一特征提取模块504、第一归一化模块505、第一特征连接模块506、模型更新模块507及人脸检测模块508。本发明所称的模块是指一种能够被至少一个处理器72所执行并且能够完成固定功能的一系列计算机程序段，其存储在所述存储器71中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
获取模块501，用于获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182。
本较佳实施例中，所述原始人脸图片的获取可包括以下两种方法：
(1)事先设置拍照设备(例如，摄像机、照相机等)的分辨率为182*182，则在动态环境下对不同人的人脸进行拍摄即可得到尺寸为182*182的原始人脸图片；
(2)从人脸数据集中获取不同人的原始人脸图片，将原始人脸图片设置为182*182的尺寸。
所述LFW数据集是为了研究非限制环境下的人脸识别问题而建立，其中包含了超过13000张人脸图像，人脸图像全部来自于Internet，而不是实验室环境。
将原始人脸图片分辨率设置为182*182，不仅能获得较多的人脸面部细节信息，且能适配现有通用的传输、存储和管理***及设备。
裁剪模块502，用于将每张原始人脸图片进行随机裁剪成预设数量的第一人脸图片，得到人脸样本数据集。
所述预设数量可以根据实际需要自行调整或修改，本较佳实施例中，所述裁剪模块502将每张原始人脸图片进行随机裁剪成大小相同的5张第一人脸图片，每张第一人脸图片均包含人脸区域。
将每张原始人脸图片进行随机裁剪，可得到任意角度、任意光照等条件下的第一人脸图片，随机的过程即是模拟动态环境下采集原始人脸图片的过程；其次，通过裁剪的方式可得到多张第一人脸图片，从而增加了人脸样本数据集的数量，较多的人脸样本数据集能够提高双通道神经网络模型的鲁棒性。
第一直方图处理模块503，用于分别对所述人脸样本数据集中的每张第一人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
本实施例中，所述第一直方图处理模块503对所述人脸样本数据集中的第一人脸图片进行直方图均衡化处理的具体步骤包括：
1)对所述第一人脸图片进行像素灰度统计；
统计所述第一人脸图片中每个像素灰度级出现的次数，将相同的灰度级像素点数量进行累加。
2)计算像素灰度分布密度；
根据公式(1-1)计算第k灰度级在整张所述第一人脸图片中出现的概率Pr(rk)，
其中，n是所述第一人脸图片中像素个数的总和，nk是灰度级rk的像素个数，L是所述第一人脸图片中灰度级的总数。
3)根据累积分布函数对所计算的像素灰度分布密度进行变换；
根据公式(1-2)对所计算的像素灰度分布密度进行变换。
4)计算变换后的新像素灰度；
对灰度值进行映射得到新像素灰度，并对所述新像素灰度进行取整，得到变换后的新像素灰度。
对所述人脸样本数据集中的每张所述第一人脸图片进行直方图均衡化处理，能够进一步增强所述人脸样本数据集中的所述第一人脸图片的对比度，尤其是对于曝光过度或者曝光不足的所述第一人脸图片，经过所述直方图均衡化处理后能够更好的保持所述第一人脸图片中的人脸区域的细节信息。
优选地，若人脸样本数据集中的所述第一人脸图片为彩色图片，由于无法直接对彩色图片中的R、G、B三个分量进行直方图均衡化处理，因而需要将彩色图片的颜色空间由RGB色彩空间转换成HSV(Hue色度，Saturation饱和度，Value纯度)色彩空间，然后对V分量进行所述直方图均衡化处理。
第一特征提取模块504，用于将人脸样本数据中的每张所述第一人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
本较佳实施例中，所述第一深度神经网络与所述第二深度神经网路为具有相同层数(例如，200多层)的神经网络。可选地，所述第一深度神经网络与所述第二深度神经网路采用基于感知机的Inception-Resnet-V2(Inception-V2和Resnet相结合的神经网络)神经网络。所述基于感知机的Inception-Resnet-V2神经网络为现有技术，本发明在此不再赘述。
优选地，所述第一特征提取模块504，还用于所述第一深度神经网络提取出的所述第一人脸特征的维数为64维，所述第二深度神经网络提取出的所述第二人脸特征的维数为64维。
第一归一化模块505，用于对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征。
本较佳实施例中，可以采用归一化函数对所述第一人脸特征及所述第二人脸特征进行归一化，所述归一化函数可以是欧式距离函数，也可以是曼哈顿距离函数、最小绝对误差。可选地，采用欧式距离函数对所述第一人脸特征得到第一归一化人脸特征，及对所述第二人脸特征进行归一化得到第二归一化人脸特征。
归一化能够对光照、阴影和边缘进行压缩，使得第一归一化人脸特征和第二归一化人脸特征对光照、阴影和边缘变化具有鲁棒性，从而进一步提高双通道神经网络模型的鲁棒性。另外，采用欧式距离函数进行归一化，能避免双通道神经网络模型过拟合，进而提升了双通道神经网络模型的泛化能力，对后续双通道神经网络模型的权重和偏置的优化求解变得更稳定和快速。
第一特征连接模块506，用于根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示。
本较佳实施例中，所述预设连接规则可以是交叉连接。例如，第一归一化人脸特征为(x1,x2,x3,…,xm)，第二归一化人脸特征为(y1,y2,y3,…,ym)，则采用交叉连接方式连接得到的最终人脸特征表示为(x1,y1,x2,y2,x3,y3,…,xm,ym)。
可替换地，所述预设连接规则可以是顺序连接。例如，第一归一化人脸特征为(x1,x2,x3,…,xm)，第二归一化人脸特征为(y1,y2,y3,…,ym)，则采用顺序连接方式连接得到的最终人脸特征表示为(x1,x2,x3,…,xm,y1,y2,y3,…,ym)。
模型更新模块507，用于将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置；当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述模块501-507。
本较佳实施例中，所述预先设置的损失函数L为下式(1-3)所示：
其中，m表示mini-batch的大小。LS表示的是交叉熵损失函数(softmax loss)的结果，代表的是第yi个人的实际输出，LC表示的是中心损失函数(center loss)的结果，cyi表示第yi个人的特征中心，xi表示全连接层之前的特征。预先设置的损失函数L越小，代表模型越好。
对所述最终人脸特征表示再次进行归一化，是为了使得归一化后的最终人脸特征表示分布在0-1之间，具有统一的批判标准，不仅可以方便后续的数据处理，还能使得损失函数的收敛加快；其次，所述预先设置的损失函数能够使得不同人脸图片间的距离变大，同一个人的不同人脸图片间的距离减少，从而提高所述双通道神经网络模型的分类能力，进而提高人脸识别的准确度。
进一步地，所述裁剪模块502还用于将每张原始人脸图片进行随机裁剪成预设数量的第二人脸图片，得到人脸样本数据集，其中，所述人脸样本数据集中的每张第二人脸图片的尺寸为171*160。
本较佳实施例中，设置随机裁剪后得到的第二人脸图片尺寸为171*160，不仅能最大程度的保持原始人脸图片中的面部细节信息，相较于利用所述原始人脸图片作为人脸样本数据集参与训练时，能缩短双通道神经网络模型的训练时间，提高双通道神经网络模型的训练速度。
进一步地，所述双通道神经网路模型训练装置50还包括：人脸检测模块508，用于利用预先存储的人脸检测算法分别对裁剪出的每张第二人脸图片进行检测，判断裁剪出的所有第二人脸图片中的每张第二人脸图片中是否包含人脸区域。
所述预先存储的人脸检测算法可以为以下算法中的一种：基于模板的人脸检测方法、基于人工神经网络的人脸检测方法、基于模型的人脸检测方法、基于肤色的人脸检测方法或者基于特征子脸的人脸检测方法等。
本实施例中，所述预先存储的人脸检测算法不限于上述列举的，任何能够检测裁剪出的人脸图片中是否包含人脸区域的算法均可引用与此。另外，本实施例中预先存储的人脸检测算法为现有技术，本文在此不再详细介绍。
进一步地，所述第一直方图处理模块503还用于当所述人脸检测模块508确定裁剪出的所有第二人脸图片中的每张第二人脸图片中包含人脸区域时，分别对所述人脸样本数据集中的每张第二人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
进一步地，所述裁剪模块502还用于当所述人脸检测模块508确定裁剪出的所有第二人脸图片中的每张或部分人脸图片中不包含人脸区域时，继续对不包含人脸区域的第二人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的第二人脸图片。
所述裁剪出的第二人脸图片中不包含人脸区域包括以下两种情形：完全不存在人脸区域；仅存在部分人脸区域。
进一步地，所述第一归一化模块505还用于将人脸样本数据中的每张所述第二人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
综上所述，本发明所训练出的双通道神经网络模型，能够显著增强对输入的人脸样本数据集中的人脸图片及经过直方图均衡化处理的所述人脸图片的特征提取能力，减轻网络层次加深时而性能降低的风险，提高了双通道神经网络模型的鲁棒性；其次，通过预先存储的人脸检测算法对裁剪出的每张第二人脸图片进行检测，以确保每张第二人脸图片中包含了全部的人脸区域，如此可以保障提取的人脸特征的有效性，能够进一步提高双通道神经网络模型的鲁棒性，便于后续提高人脸识别或人脸比对的识别率。
实施例六
图6为本发明人脸比对装置的较佳实施例中的功能模块图。
在一些实施例中，所述人脸比对装置60运行于所述终端7中。所述人脸比对装置60可以包括多个由程序代码段所组成的功能模块。所述人脸比对装置60中的各个程序段的程序代码可以存储于所述存储器71中，并由所述至少一个处理器72所执行，以执行(详见图3和图4描述)对人脸的比对。
本实施例中，所述终端7的人脸比对装置60根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：第二直方图处理模块601、第二特征提取模块602、第二归一化模块603、第二特征连接模块604、计算模块605、结果确定模块606、预处理模块607及排序模块608。本发明所称的模块是指一种能够被至少一个处理器72所执行并且能够完成固定功能的一系列计算机程序段，其存储在所述存储器71中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
第二直方图处理模块601，用于在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
第二特征提取模块602，用于将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
第二归一化模块603，用于对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
第二特征连接模块604，用于根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示。
计算模块605，用于计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
根据式(2-1)和(2-2)计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
SIM＝0.5+0.5*COSθ (2-2)
其中，特征向量A代表目标用户的最终特征表示，特征向量B代表注册用户的最终特征表示。根据式(2-1)计算特征向量A和数据库中的每一个特征向量B之间的余弦值，计算出的余弦值的范围为[-1，1]。根据式(2-2)计算出的SIM即为相似度，此时相似度的值归一化到[0，1]。
结果确定模块606，用于根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当计算得到的相似度大于或等于预先设置的置信度阈值时，则所述结果确定模块606确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当计算得到的相似度小于预先设置的置信度阈值时，则所述结果确定模块606确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
优选地，所述预先设置的置信度阈值为0.5。
优选地，所述人脸比对装置60还包括：预处理模块607，用于在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理。
本较佳实施例中，所述预处理可以包括，但不限于：图像去噪，光照归一化，姿态校准，灰度归一化等。
在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理，是为了进一步提高目标用户的人脸图片，便于提取出更具辨别力的人脸特征。
进一步的，所述第二直方图处理模块601还用于对经过预处理后目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
进一步的，所述第二特征提取模块602还用于将经过预处理后的目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
优选地，所述人脸比对装置60还包括：排序模块608，用于根据预先设置的排序方法对计算得到的相似度进行排序。
本较佳实施例中，所述预先设置的排序方法包括，但不限于：由大到小排序，由小到大排序。
进一步的，所述结果确定模块606还用于比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当最大的相似度大于或等于预先设置的置信度阈值时，则所述结果确定模块606确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当最大的相似度小于预先设置的置信度阈值时，则所述结果确定模块606确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
通过对计算得到的相似度进行排序，并直接比较最大的相似度与预先设置的置信度阈值之间的关系，当最大的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过。当最大的相似度小于预先设置的置信度阈值时，则确定用户比对失败。如此可以缩短比对时间，仅需比对一次即可确定目标用户是否为已注册用户。
综上所述，本发明所述的人脸比对方法，使用双通道神经网络模型能够提取出较佳的人脸特征表示，花费较短的人脸比对时间即可获得较佳的人脸比对效果。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，双屏设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
实施例七
如图7所示，是实现本发明所述双通道神经网络模型训练方法及/或所述人脸比对方法的终端的硬件结构示意图。
在本发明较佳实施例中，所述终端7包括存储器71、至少一个处理器72、至少一条通信总线73。
本领域技术人员应该了解，图7示出的终端7的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端7还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述存储器71用于存储程序代码和各种数据，例如安装在所述终端7中的双通道神经网络模型训练装置50及人脸比对装置60，并在终端7的运行过程中实现高速、自动地完成程序或数据的存取。
在一些实施例中，所述至少一个处理器72可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器72是所述终端7的控制核心(Control Unit)，利用各种接口和线路连接整个终端7的各个部件，通过运行或执行存储在所述存储器71内的程序或者模块，以及调用存储在所述存储器71内的数据，以执行终端7的各种功能和处理数据，例如执行双通道神经网络模型训练装置50及/或人脸比对装置60。
在一些实施例中，所述至少一条通信总线73被设置为实现所述存储器71、所述至少一个处理器72等之间的连接通信。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
具体地，所述至少一个处理器72对上述指令的具体实现方法可参考图1至图4对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种双通道神经网络模型训练方法，其特征在于，所述方法包括：
a.获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182；
b.将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集；
c.分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；
d.将人脸样本数据中的每张所述人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征；
e.对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征；
f.根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示；及
g.将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤a-g。
3.如权利要求1所述的方法，其特征在于，所述将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集还包括：
所述人脸样本数据集中的每张人脸图片的尺寸为171*160。
4.如权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：
利用预先存储的人脸检测算法分别对裁剪出的每张人脸图片进行检测，判断裁剪出的所有人脸图片中的每张人脸图片中是否包含人脸区域；及
当确定裁剪出的所有人脸图片中的每张人脸图片中包含人脸区域时，分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；或
当确定裁剪出的所有人脸图片中的每张或部分人脸图片中不包含人脸区域时，继续对不包含人脸区域的人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的人脸图片。
5.一种利用如权利要求1至4任意一项所述的双通道神经网络模型进行人脸比对的方法，其特征在于，所述方法包括：
在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片；
将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示；
计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度；及
根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
6.如权利要求5所述的方法，其特征在于，所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度为SIM＝0.5+0.5*COSθ，而其中，COSθ为特征向量A与特征向量B之间的余弦值，所述特征向量A为上述目标用户的最终特征表示，所述特征向量B为所述注册用户的最终特征表示。
7.如权利要求6所述的方法，其特征在于，在所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度之后，所述方法还包括：
根据预先设置的排序方法对计算得到的相似度进行排序；
比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
8.如权利要求7所述的方法，其特征在于，所述确定人脸比对结果包括：
当所述最大的相似度大于或等于所述预先设置的置信度阈值时，则确定用户比对通过；
当所述最大的相似度小于所述预先设置的置信度阈值时，则确定用户比对失败。
9.一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4中任意一项所述双通道神经网络模型训练方法或者实现如权利要求5至8中任意一项所述人脸比对方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述双通道神经网络模型训练方法或者实现如权利要求5至8中任意一项所述人脸比对方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810299180.6A CN108446666A (zh) | 2018-04-04 | 2018-04-04 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
| PCT/CN2018/100152 WO2019192121A1 (zh) | 2018-04-04 | 2018-08-13 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810299180.6A CN108446666A (zh) | 2018-04-04 | 2018-04-04 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108446666A true CN108446666A (zh) | 2018-08-24 |
Family
ID=63199349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810299180.6A Pending CN108446666A (zh) | 2018-04-04 | 2018-04-04 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108446666A (zh) |
| WO (1) | WO2019192121A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271891A (zh) * | 2018-08-30 | 2019-01-25 | 成都考拉悠然科技有限公司 | 一种动态的人脸布控方法和*** |
| CN109284700A (zh) * | 2018-09-05 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 图像中多个人脸检测的方法、存储介质、设备及*** |
| CN109497986A (zh) * | 2018-11-22 | 2019-03-22 | 杭州脉流科技有限公司 | 基于深度神经网络的心电图智能分析方法、装置、计算机设备和*** |
| CN110163169A (zh) * | 2019-05-27 | 2019-08-23 | 北京达佳互联信息技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN110717377A (zh) * | 2019-08-26 | 2020-01-21 | 平安科技（深圳）有限公司 | 人脸驾驶风险预测模型训练及其预测方法及相关设备 |
| CN111027421A (zh) * | 2019-11-26 | 2020-04-17 | 西安宏规电子科技有限公司 | 一种基于图的直推式半监督行人再识别方法 |
| CN111401430A (zh) * | 2020-03-12 | 2020-07-10 | 四川大学 | 一种基于双通道深度神经网络的图像在线分类方法 |
| CN112529040A (zh) * | 2020-11-16 | 2021-03-19 | 深圳壹账通智能科技有限公司 | 模型生成的方法、装置、电子设备及介质 |
| CN113487698A (zh) * | 2021-07-27 | 2021-10-08 | 平安国际智慧城市科技股份有限公司 | 基于双通道神经网络模型的表单生成方法及装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992329B (zh) * | 2019-11-28 | 2023-06-30 | 上海微创卜算子医疗科技有限公司 | 一种产品表面缺陷检测方法、电子设备及可读存储介质 |
| CN112883213B (zh) * | 2019-11-29 | 2023-11-17 | 深圳云天励飞技术有限公司 | 一种图片归档方法、装置及电子设备 |
| CN111198963A (zh) * | 2019-12-11 | 2020-05-26 | 智慧眼科技股份有限公司 | 基于平均特征的目标检索方法、装置及其相关设备 |
| CN111144332A (zh) * | 2019-12-30 | 2020-05-12 | 深圳云天励飞技术有限公司 | 一种图片聚档方法、装置和电子设备 |
| CN111144566B (zh) * | 2019-12-30 | 2024-03-22 | 深圳云天励飞技术有限公司 | 神经网络权重参数的训练方法、特征分类方法及对应装置 |
| CN111209839B (zh) * | 2019-12-31 | 2023-05-23 | 上海涛润医疗科技有限公司 | 人脸识别方法 |
| CN111324589B (zh) * | 2020-02-14 | 2024-07-19 | 中国平安人寿保险股份有限公司 | 基于相似程度值的日志发送方法、装置和计算机设备 |
| CN111582358B (zh) * | 2020-04-30 | 2024-05-10 | 上海添玑网络服务有限公司 | 户型识别模型的训练方法及装置、户型判重的方法及装置 |
| CN111612785B (zh) * | 2020-06-03 | 2024-02-02 | 浙江大华技术股份有限公司 | 人脸图片质量评估方法、装置及存储介质 |
| CN111709890B (zh) * | 2020-06-12 | 2023-11-24 | 北京小米松果电子有限公司 | 一种图像增强模型的训练方法、装置及存储介质 |
| CN114004779A (zh) * | 2020-07-27 | 2022-02-01 | 中移物联网有限公司 | 一种基于深度学习的人脸质量评价方法及装置 |
| CN113657289B (zh) * | 2021-08-19 | 2023-08-08 | 北京百度网讯科技有限公司 | 阈值估计模型的训练方法、装置和电子设备 |
| CN114187309A (zh) * | 2022-01-11 | 2022-03-15 | 盛视科技股份有限公司 | 一种基于卷积神经网络的头发分割方法及*** |
| CN114663313A (zh) * | 2022-03-25 | 2022-06-24 | 清华大学 | 用于增强人脸斑纹特征的视觉方法、装置、设备及介质 |
| CN115545172B (zh) * | 2022-11-29 | 2023-02-07 | 支付宝(杭州)信息技术有限公司 | 兼顾隐私保护和公平性的图神经网络的训练方法及装置 |
| CN117173854B (zh) * | 2023-09-13 | 2024-04-05 | 西安博深安全科技股份有限公司 | 一种基于深度学习的煤矿明火预警方法及*** |
| CN117054396B (zh) * | 2023-10-11 | 2024-01-05 | 天津大学 | 基于双路径无乘法神经网络的拉曼光谱检测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150363634A1 (en) * | 2014-06-17 | 2015-12-17 | Beijing Kuangshi Technology Co.,Ltd. | Face Hallucination Using Convolutional Neural Networks |
| CN105426860A (zh) * | 2015-12-01 | 2016-03-23 | 北京天诚盛业科技有限公司 | 人脸识别的方法和装置 |
| CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN106778684A (zh) * | 2017-01-12 | 2017-05-31 | 易视腾科技股份有限公司 | 深度神经网络训练方法及人脸识别方法 |
| WO2017214968A1 (en) * | 2016-06-17 | 2017-12-21 | Nokia Technologies Oy | Method and apparatus for convolutional neural networks |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426963B (zh) * | 2015-12-01 | 2017-12-26 | 北京天诚盛业科技有限公司 | 用于人脸识别的卷积神经网络的训练方法、装置及应用 |
| CN107871105B (zh) * | 2016-09-26 | 2021-10-19 | 北京眼神科技有限公司 | 一种人脸认证方法和装置 |
| CN107577987A (zh) * | 2017-08-01 | 2018-01-12 | 广州广电卓识智能科技有限公司 | 身份认证的方法、***和装置 |
-
2018
- 2018-04-04 CN CN201810299180.6A patent/CN108446666A/zh active Pending
- 2018-08-13 WO PCT/CN2018/100152 patent/WO2019192121A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150363634A1 (en) * | 2014-06-17 | 2015-12-17 | Beijing Kuangshi Technology Co.,Ltd. | Face Hallucination Using Convolutional Neural Networks |
| CN105426860A (zh) * | 2015-12-01 | 2016-03-23 | 北京天诚盛业科技有限公司 | 人脸识别的方法和装置 |
| WO2017214968A1 (en) * | 2016-06-17 | 2017-12-21 | Nokia Technologies Oy | Method and apparatus for convolutional neural networks |
| CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN106778684A (zh) * | 2017-01-12 | 2017-05-31 | 易视腾科技股份有限公司 | 深度神经网络训练方法及人脸识别方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271891A (zh) * | 2018-08-30 | 2019-01-25 | 成都考拉悠然科技有限公司 | 一种动态的人脸布控方法和*** |
| CN109284700B (zh) * | 2018-09-05 | 2021-03-16 | 武汉斗鱼网络科技有限公司 | 图像中多个人脸检测的方法、存储介质、设备及*** |
| CN109284700A (zh) * | 2018-09-05 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 图像中多个人脸检测的方法、存储介质、设备及*** |
| CN109497986A (zh) * | 2018-11-22 | 2019-03-22 | 杭州脉流科技有限公司 | 基于深度神经网络的心电图智能分析方法、装置、计算机设备和*** |
| CN110163169A (zh) * | 2019-05-27 | 2019-08-23 | 北京达佳互联信息技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN110717377A (zh) * | 2019-08-26 | 2020-01-21 | 平安科技（深圳）有限公司 | 人脸驾驶风险预测模型训练及其预测方法及相关设备 |
| CN111027421A (zh) * | 2019-11-26 | 2020-04-17 | 西安宏规电子科技有限公司 | 一种基于图的直推式半监督行人再识别方法 |
| CN111401430A (zh) * | 2020-03-12 | 2020-07-10 | 四川大学 | 一种基于双通道深度神经网络的图像在线分类方法 |
| CN111401430B (zh) * | 2020-03-12 | 2022-04-01 | 四川大学 | 一种基于双通道深度神经网络的图像在线分类方法 |
| CN112529040A (zh) * | 2020-11-16 | 2021-03-19 | 深圳壹账通智能科技有限公司 | 模型生成的方法、装置、电子设备及介质 |
| WO2022100387A1 (zh) * | 2020-11-16 | 2022-05-19 | 深圳壹账通智能科技有限公司 | 模型生成的方法、装置、电子设备及介质 |
| CN113487698A (zh) * | 2021-07-27 | 2021-10-08 | 平安国际智慧城市科技股份有限公司 | 基于双通道神经网络模型的表单生成方法及装置 |
| CN113487698B (zh) * | 2021-07-27 | 2023-12-12 | 深圳赛安特技术服务有限公司 | 基于双通道神经网络模型的表单生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019192121A1 (zh) | 2019-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446666A (zh) | 双通道神经网络模型训练及人脸比对方法、终端及介质 | |
| CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
| Oh et al. | Approaching the computational color constancy as a classification problem through deep learning | |
| CN108288075A (zh) | 一种改进ssd的轻量化小目标检测方法 | |
| CN109871845B (zh) | 证件图像提取方法及终端设备 | |
| CN109214273A (zh) | 人脸图像比对方法、装置、计算机设备及存储介质 | |
| CN108985232A (zh) | 人脸图像比对方法、装置、计算机设备及存储介质 | |
| CN109376611A (zh) | 一种基于3d卷积神经网络的视频显著性检测方法 | |
| CN108806792A (zh) | 深度学习面诊*** | |
| CN110059741A (zh) | 基于语义胶囊融合网络的图像识别方法 | |
| CN110516616A (zh) | 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法 | |
| CN108573243A (zh) | 一种基于深度卷积神经网络的低质量人脸的比对方法 | |
| CN105069774B (zh) | 基于多示例学习与图割优化的目标分割方法 | |
| CN108108760A (zh) | 一种快速人脸识别方法 | |
| CN106778785A (zh) | 构建图像特征提取模型的方法及图像识别的方法、装置 | |
| CN107909034A (zh) | 一种人脸检测方法、装置和计算机可读存储介质 | |
| CN110415212A (zh) | 异常细胞检测方法、装置及计算机可读存储介质 | |
| CN107633229A (zh) | 基于卷积神经网络的人脸检测方法及装置 | |
| CN108268865A (zh) | 一种基于级联卷积网络的自然场景下车牌识别方法及*** | |
| CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
| CN109977887A (zh) | 一种抗年龄干扰的人脸识别方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN107368803A (zh) | 一种基于类别稀疏表示的人脸识别方法及*** | |
| CN107220598A (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
| CN111881789B (zh) | 肤色识别方法、装置、计算设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180824 |
|
| RJ01 | Rejection of invention patent application after publication |