CN111178249A - 人脸比对的方法、装置、计算机设备及存储介质 - Google Patents

人脸比对的方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111178249A
CN111178249A CN201911380606.1A CN201911380606A CN111178249A CN 111178249 A CN111178249 A CN 111178249A CN 201911380606 A CN201911380606 A CN 201911380606A CN 111178249 A CN111178249 A CN 111178249A
Authority
CN
China
Prior art keywords
color image
user
sample
image
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911380606.1A
Other languages
English (en)
Inventor
方利红
戴兆辉
侯方超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Aixin Intelligent Technology Co ltd
Original Assignee
Hangzhou Aixin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Aixin Intelligent Technology Co ltd filed Critical Hangzhou Aixin Intelligent Technology Co ltd
Priority to CN201911380606.1A priority Critical patent/CN111178249A/zh
Publication of CN111178249A publication Critical patent/CN111178249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸比对的方法、装置、计算机设备及存储介质，其中，方法包括：利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据第一比对模型搭建孪生网络；将正样本和负样本分别输入到孪生网络中，得到同一样本中用户彩色图像和用户红外图像的特征向量；计算该两个图像的特征向量之间的余弦相似距离和KL散度，将该余弦相似距离代入预设对比损失函数得到对比损失值，并根据对比损失值和KL散度训练孪生网络，待样本数据迭代后得到第二比对模型；将目标彩色图像和目标红外图像输入第二比对模型，根据相似度计算输出人脸比对结果，从而解决了人脸比对中彩色图像和红外图像之间存在识别差异的问题。

Description

人脸比对的方法、装置、计算机设备及存储介质
技术领域
本申请涉及人脸识别技术领域，特别是涉及一种人脸比对的方法、装置、计算机设备及存储介质。
背景技术
随着信息技术和计算机技术的发展，人脸识别已成为现今的热门研究方向，广泛应用于门禁和拍照等场景中。人脸比对为人脸识别的一个分支领域，其主要思想是将获取到的用户图像与已注册的底图进行对比，如果用户图像与底图较为相似，则将该底图作为比对的结果。
在相关技术中，一般使用彩色图像或者红外图像去进行人脸比对，但是这是这两种比对图像方式是在图像在同一类型的基础上的结果。而当现实场景变成了彩色图像和红外图像进行比对的时候，会出现识别效果变差的问题，这在一定程度上限制了人脸比对的使用场景。
针对相关技术中，人脸比对中彩色图像和红外图像之间存在识别差异的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中，人脸比对中彩色图像和红外图像之间存在识别差异的问题，本发明提供了一种人脸比对的方法、装置、计算机设备及存储介质，以至少解决上述问题。
根据本发明的一个方面，提供了一种人脸比对的方法，所述方法包括：
利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据所述第一比对模型搭建孪生网络；
根据用户彩色图像、用户红外图像生成正样本和负样本；将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；
计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和Kullback-Leibler散度(简称为KL散度)，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；
将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；根据所述相似度计算输出人脸比对的结果。
在其中一个实施例中，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：
根据同一人之间的一对所述用户彩色图像和所述用户红外图像生成所述正样本，并根据不同人之间的一对所述用户彩色图像和所述用户红外图像生成所述负样本。
在其中一个实施例中，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：
对所述用户彩色图像进行第一关键点提取，根据所述第一关键点得到第一仿射矩阵，根据所述第一仿射矩阵得到对齐彩色图像，并将所述对齐彩色图像裁减为预设图像尺寸的裁减彩色图像；
对所述用户红外图像进行第二关键点提取，根据所述第二关键点得到第二仿射矩阵，根据所述第二仿射矩阵得到对齐红外图像，并将所述对齐红外图像裁减为所述预设图像尺寸的裁减红外图像；
根据同一人之间的所述裁减彩色图像和所述裁减红外图像生成所述正样本，并根据不同人之间的所述裁减彩色图像和所述裁减红外图像生成所述负样本。
在其中一个实施例中，所述将所述正样本和所述负样本分别输入到所述孪生网络中包括：
对所述正样本进行归一化处理，得到归一化正样本；并将所述负样本进行归一化处理，得到归一化负样本；
将所述归一化正样本和所述归一化负样本分别输入到所述孪生网络中。
在其中一个实施例中，所述根据所述第一比对模型搭建孪生网络包括：
将所述第一比对模型作为基干网络，固定所述基干网络中卷积单元的参数，并放开所述基干网络中全连接层的参数；根据所述基干网络搭建所述孪生网络。
在其中一个实施例中，所述根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型包括：
根据所述对比损失值和所述KL散度调整更新所述孪生网络中全连接层的参数；
设置学习率和衰减方式，待输入所述孪生网络中的样本数据迭代后得到第二比对模型。
根据本发明的另一个方面，提供了一种人脸比对的装置，所述装置包括：
搭建模块，用于利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据所述第一比对模型搭建孪生网络；
特征模块，用于根据用户彩色图像、用户红外图像生成正样本和负样本；所述特征模块将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；
获取模块，用于计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和KL散度，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；；
比对模块，用于将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；所述比对模块根据所述相似度计算输出人脸比对的结果。
在其中一个实施例中，所述搭建模块还用于将所述第一比对模型作为基干网络，固定所述基干网络中卷积单元的参数，并放开所述基干网络中全连接层的参数；所述搭建模块根据所述基干网络搭建所述孪生网络。
根据本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。
根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。
通过本发明，采用一种人脸比对的方法、装置、计算机设备及存储介质，利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据该第一比对模型搭建孪生网络；根据用户彩色图像、用户红外图像生成正样本和负样本；将该正样本和该负样本分别输入到所述孪生网络中，得到该用户彩色图像的第一特征向量，并得到同一样本中的该用户红外图像的第二特征向量；计算该第一特征向量和该第二特征向量之间的余弦相似距离和KL散度，将该余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；将目标彩色图像和目标红外图像输入该第二比对模型，根据该相似度计算输出人脸比对的结果，从而解决了人脸比对中彩色图像和红外图像之间存在识别差异的问题。
附图说明
图1为根据本发明实施例中一种人脸比对应用场景的示意图；
图2为根据本发明实施例的一种人脸比对的方法的流程图一；
图3为根据本发明实施例的一种人脸比对的方法的流程图二；
图4为根据本发明实施例的一种人脸比对的方法的流程图三；
图5为根据本发明实施例的一种人脸比对的方法的流程图四；
图6为根据本发明实施例的一种人脸比对的方法的流程图五；
图7为根据本发明实施例的一种人脸比对的方法的流程图六；
图8为根据本发明实施例的一种人脸比对的装置的结构框图一；
图9为根据本发明实施例的一种人脸比对的装置的结构框图二；
图10为根据本发明实施例的一种计算机设备内部的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本实施例中，提供了一种人脸比对的方法，图1为根据本发明实施例中一种人脸比对应用场景的示意图，如图1所示，在该应用环境中，终端12通过网络与服务器14通过网络进行通信。服务器14搭建孪生网络，并将存储的预设彩色图像和预设红外图像分别输入到该孪生网络中；服务器14计算预设彩色图像和预设红外图像的KL散度并训练出第二比对模型；终端12向该服务器14发送目标彩色图像和目标红外图像，并接收该服务器14发送的比对结果；该比对结果通过该服务器14将该目标彩色图像和该目标红外图像输入该第二比对模型得出。其中，终端12可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和摄像设备，服务器14可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本实施例中，提供了一种人脸比对的方法，图2为根据本发明实施例的一种人脸比对的方法的流程图一，如图2所示，该方法包括如下步骤：
步骤S202，利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据该第一比对模型搭建孪生网络；其中，深度神经网络(Deep Neural Network，DNN)是由多层互相连接而形成的复杂网络模型；根据该预设彩色图像建立数据集，或者使用目前开源的彩色图片数据集，利用轻量的深度神经网络可以训练出该第一比对模型，并采用一对结构相同的、权值共享的该第一比对模型组成孪生网络。
步骤S204，根据用户彩色图像、用户红外图像生成正样本和负样本；将该正样本和该负样本分别输入到该孪生网络中，得到该用户彩色图像的第一特征向量，并得到同一样本中的该用户红外图像的第二特征向量；其中，将该孪生网络的全连接层的输出作为特征向量。
步骤S206，根据孪生网络全连接层的输出结果，计算该第一特征向量和该第二特征向量之间的余弦相似距离，将该余弦相似距离代入预设对比损失函数得到对比损失值，该对比损失值的计算入公式1所示：
Figure BDA0002342124820000051
其中，LContrastive_loss是对比损失值，d＝1-cos(x1,x2)是余弦相似距离，x1是该用户彩色图像的第一特征向量，x2是该用户红外图像的第二特征向量，y是二值函数，该二值函数的具体表达式如公式2所示：
Figure BDA0002342124820000052
N是一次训练所选取的样本数；再计算该第一特征向量和该第二特征向量之间的KL散度，结合KL散度，整个损失函数如公式3所示：
Figure BDA0002342124820000061
其中，α是控制KL散度的权重参数；最后结合对比损失值和散度值去调整整个网络参数更新，并通过α值去控制散度值对整体网络的训练的影响，从而在若干样本数据迭代后训练出第二比对模型。
步骤S208，在实际人脸比对的过程中，将目标彩色图像和目标红外图像输入该第二比对模型，并得到这两种图像的特征向量，对该特征向量进行相似度计算，该计算公式如公式4所示：
similar＝cos(x1,x2) 公式4
根据该相似度计算即可得到两者之间的相似度，将该相似度与预设阈值进行比较，以此来判断该目标彩色图像和该目标红外图像上是否是同一个人，并输出人脸比对的结果。
在相关技术中人脸比对需要比对图像为同一类型，而本发明实施例通过上述步骤S202至S208，正样本和负样本分别经过相同结构的特征提取网络，对输出的特征向量进行余弦相似距离计算，并应用到对比损失函数中，同时根据KL散度去量化这两者分布的差异。最后结合对比损失值和KL散度的均值去引导整个孪生网络的参数更新，直到第二比对模型收敛，从而对人脸识别模型进行了优化，使得可在实际环境中应用红外设备，得到红外的人脸图像，再用已有的清晰的彩色图像做为基准图像进行人脸比对，避免了环境中可见光对彩色图像的干扰，解决了人脸比对中彩色图像和红外图像之间存在识别差异的问题，扩充了人脸识别的应用场景。
在一个实施例中，提供了一种人脸比对的方法，图3为根据本发明实施例的一种人脸比对的方法的流程图二，如图3所示，该方法包括如下步骤：
步骤S302，将该第一比对模型作为基干网络，固定该基干网络中卷积单元的参数，并放开全连接层的参数；根据该基干网络，搭建共享该基干网络的参数的孪生网络；其中，在搭建该孪生网络的过程中，由于基干网络输出结果是整个图像的特征表达，因此只固定基干网络中所有的卷积单元的参数，从而更好的去学习全连接层的特征信息，孪生网络初始化过程中也主要针对的是全连接层的参数，以此达到好的识别效果，进一步优化了人脸比对模型。
在一个实施例中，提供了一种人脸比对的方法，图4为根据本发明实施例的一种人脸比对的方法的流程图三，如图4所示，该方法包括如下步骤：
步骤S402，根据同一人之间的一对用户彩色图像和用户红外图像生成所述正样本，并根据不同人之间的一对用户彩色图像和用户红外图像随机生成负样本。其中，用户彩色图像和用户红外图像的采集包括：终端12将通过各种方式采集好的彩色图像和红外图像导入至服务器14，服务器14自动完成逐个人脸图像的采集工作；或者终端12调用摄像机或摄像头，在可见光或红外设备的可拍摄范围内自动实时抓取人脸图像。
通过上述步骤S402，根据两类彩色图像和红外图像制作具有正、负样本的人脸数据集，便于在两类图像之间进行人脸比对，解决了开源数据集信息和图像类型较为单一的问题。
在一个实施例中，提供了一种人脸比对的方法，图5为根据本发明实施例的一种人脸比对的方法的流程图四，如图5所示，该方法包括如下步骤：
步骤S502，对该用户彩色图像进行第一关键点提取，根据该第一关键点得到第一仿射矩阵，根据该第一仿射矩阵对该用户彩色图像进行仿射变换得到对齐彩色图像，并将该对齐彩色图像裁减为预设图像尺寸的裁减彩色图像；其中，根据人脸检测模型，可以得到五个人脸关键点，分别是左眼中心处，右眼中心处，鼻尖及嘴角两个点；根据这五个人脸关键点对该用户彩色图像进行人脸对齐得到第一关键点；该预设图像尺寸可以为高度和宽度均设置为112像素。
步骤S504，对该用户红外图像进行第二关键点提取，根据该第二关键点得到第二仿射矩阵，根据该第二仿射矩阵对该用户红外图像进行仿射变换得到对齐红外图像，并将该对齐红外图像裁减为该预设图像尺寸的裁减红外图像；该第二关键点的提取与第一关键点提取相同，可以通过训练关键点网络来进行关键点提取，得到图像中识别出的关键点所在的图像坐标；通过根据该关键点得到的仿射矩阵可以将该用户彩色图像和该用户红外图像进行图像对齐。
步骤S506，根据同一人之间的裁减彩色图像和所述裁减红外图像生成正样本，并根据不同人之间的裁减彩色图像和裁减红外图像生成负样本；其中，裁剪后的红外图像和彩色图像随机组合，拼接生成正样本和负样本，因此，在本实施例中，正样本和负样本为112×224的图像。
步骤S508，将该正样本和该负样本分别输入到该孪生网络中，从而得到该裁减彩色图像的第一特征向量，并得到同一样本中的该裁减红外图像的第二特征向量；其中，将该孪生网络的全连接层的输出作为特征向量。
通过上述步骤S502至S508，对两类图像进行关键点提取，并得到仿射矩阵，根据该仿射矩阵将这两类图像进行对齐操作，实现了图像矫正，同时将对齐后的图像裁减成分辨率为112×112像素的固定图像尺寸，并生成具有固定图像尺寸(112×224)的正样本和负样本，从而提高了特征向量提取的准确性。
在一个实施例中，提供了一种人脸比对的方法，图6为根据本发明实施例的一种人脸比对的方法的流程图五，如图6所示，该方法包括如下步骤：
步骤S602，对该正样本进行归一化处理，得到归一化正样本；并将该负样本进行归一化处理，得到归一化负样本；其中，该归一化处理主要是将样本中的两类图片的像素值都除以255，使得这两类图片的像素值在(0，1)的范围之内。
步骤S604，将该归一化正样本和该归一化负样本分别输入到该孪生网络中；其中，该过程理论上是同步进行的，在此过程中不进行损失值反向传播；通过该孪生网络得到该归一化后彩色图像的第一特征向量，并得到同一样本中该归一化后红外图像的第二特征向量。
通过上述步骤S602至S604，对两类图像的像素均进行归一化处理，使得像素在(0，1)的范围之内，使得神经元输入值适当，从而加快了训练模型的收敛性，避免了当训练数据的值是较大整数值时，会减慢模型训练的过程。
在一个实施例中，提供了一种人脸比对的方法，图7为根据本发明实施例的一种人脸比对的方法的流程图六，如图7所示，该方法包括如下步骤：
步骤S702，根据该对比损失值和该KL散度调整更新该孪生网络中全连接层的参数；设置该学习率和衰减方式，待输入该孪生网络中的样本数据迭代后得到第二比对模型；其中，该衰减方式包括指数衰减、自然指数衰减、分段常数衰减或其他衰减方式，经过多次数据迭代后得到最终的人脸识别模型，即第二比对模型。在本实施例中，采用指数形式的衰减方式。
通过上述步骤S702，通过设置学习率的初始值和衰减方式实现了学习率衰减，在训练到达一定程度后，使用小的学习率来提高精度，有利于训练模型更快收敛，进一步优化了人脸比对模型训练的算法。
应该理解的是，虽然图2至图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在本实施例中，提供了一种人脸比对的装置，图8为根据本发明实施例的一种人脸比对的装置的结构框图一，如图8所示，该装置包括：
搭建模块82，用于利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据该第一比对模型搭建孪生网络；
特征模块84，用于根据用户彩色图像、用户红外图像生成正样本和负样本；该特征模块84将该正样本和该负样本分别输入到该孪生网络中，得到该用户彩色图像的第一特征向量，并得到该用户红外图像的第二特征向量；
获取模块86，用于计算第一特征向量和第二特征向量之间的余弦相似距离和KL散度，将余弦相似距离代入预设对比损失函数得到对比损失值，并根据对比损失值和KL散度训练孪生网络，待样本数据迭代后得到第二比对模型；
比对模块88，用于将目标彩色图像和目标红外图像输入该第二比对模型，并进行相似度计算；该比对模块88根据该相似度计算输出人脸比对的结果。
通过上述人脸识别的装置，该特征模块84将该正样本和该负样本分别经过相同结构的该搭建模块82搭建的孪生网络，获取模块86对输出的特征向量进行余弦相似距离计算，并应用到对比损失函数中，同时根据KL散度去量化这两者分布的差异，并根据该KL散度和该对比损失值去训练孪生网络，样本数据迭代后得到第二比对模型，从而对人脸识别模型进行了优化，使得可在实际环境中应用红外设备，得到红外的人脸图像，再用已有的清晰的彩色图像做为基准图像进行人脸比对，避免了环境中可见光对彩色图像的干扰，解决了人脸比对中彩色图像和红外图像之间存在识别差异的问题，扩充了人脸识别的应用场景。
在一个实施例中，该搭建模块82还用于将该第一比对模型作为基干网络，同时固定该基干网络中所有的卷积单元的参数，并放开该基干网络中全连接层的参数；该搭建模块82根据该基干网络搭建共享参数的该孪生网络。
在一个实施例中，特征模块84还用于根据同一人之间的一对用户彩色图像和用户红外图像生成正样本，并根据不同人之间的一对用户彩色图像和用户红外图像生成负样本。
在一个实施例中，提供了一种人脸比对的装置，图9为根据本发明实施例的一种人脸比对的装置的结构框图二，如图9所示，该装置还包括裁减模块：
该裁剪模块92用于对该用户彩色图像进行第一关键点提取，根据该第一关键点得到第一仿射矩阵，根据该第一仿射矩阵得到对齐彩色图像，并将该对齐彩色图像裁减为预设图像尺寸的裁减彩色图像；
该裁剪模块92对该用户红外图像进行第二关键点提取，根据该第二关键点得到第二仿射矩阵，根据该第二仿射矩阵得到对齐红外图像，并将该对齐红外图像裁减为该预设图像尺寸的裁减红外图像；
该特征模块84根据同一人之间的一对裁减彩色图像和裁减红外图像生成正样本，并根据不同人之间的一对裁减彩色图像和裁减红外图像生成负样本。
在一个实施例中，该特征模块84还用于对该正样本进行归一化处理，得到归一化正样本；该特征模块84将该负样本进行归一化处理，得到归一化负样本；
该特征模块82将该归一化正样本和该归一化负样本分别输入到该孪生网络中。
在一个实施例中，该获取模块86还用于根据对比损失值和KL散度调整更新孪生网络中全连接层的参数；
该获取模块86还用于设置学习率和衰减方式，待输入孪生网络中的样本数据迭代后得到第二比对模型。
关于人脸比对装置的具体限定可以参见上文中对于人脸比对方法的限定，在此不再赘述。上述人脸比对装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，图10为根据本发明实施例的一种计算机设备内部的结构图，如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储第二比对模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸比对方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的人脸比对方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例提供的人脸比对方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸比对的方法，其特征在于，所述方法包括：
利用深度神经网络训练出基于预设彩色图像的第一比对模型；并根据所述第一比对模型搭建孪生网络；
根据用户彩色图像、用户红外图像生成正样本和负样本；将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；
计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和KL散度，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；
将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；根据所述相似度计算输出人脸比对的结果。
2.根据权利要求1所述的方法，其特征在于，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：
根据同一人之间的一对所述用户彩色图像和所述用户红外图像生成所述正样本，并根据不同人之间的一对所述用户彩色图像和所述用户红外图像生成所述负样本。
3.根据权利要求1或2所述的方法，其特征在于，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：
对所述用户彩色图像进行第一关键点提取，根据所述第一关键点得到第一仿射矩阵，根据所述第一仿射矩阵得到对齐彩色图像，并将所述对齐彩色图像裁减为预设图像尺寸的裁减彩色图像；
对所述用户红外图像进行第二关键点提取，根据所述第二关键点得到第二仿射矩阵，根据所述第二仿射矩阵得到对齐红外图像，并将所述对齐红外图像裁减为所述预设图像尺寸的裁减红外图像；
根据同一人之间的所述裁减彩色图像和所述裁减红外图像生成所述正样本，并根据不同人之间的所述裁减彩色图像和所述裁减红外图像生成所述负样本。
4.根据权利要求1所述的方法，其特征在于，所述将所述正样本和所述负样本分别输入到所述孪生网络中包括：
对所述正样本进行归一化处理，得到归一化正样本；并将所述负样本进行归一化处理，得到归一化负样本；
将所述归一化正样本和所述归一化负样本分别输入到所述孪生网络中。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一比对模型搭建孪生网络包括：
将所述第一比对模型作为基干网络，固定所述基干网络中卷积单元的参数，并放开所述基干网络中全连接层的参数；根据所述基干网络搭建所述孪生网络。
6.根据权利要求1所述的方法，其特征在于，所述根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型包括：
根据所述对比损失值和所述KL散度调整更新所述孪生网络中全连接层的参数；
设置学习率和衰减方式，待输入所述孪生网络中的样本数据迭代后得到第二比对模型。
7.一种人脸比对的装置，其特征在于，所述装置包括：
搭建模块，用于利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据所述第一比对模型搭建孪生网络；
特征模块，用于根据用户彩色图像和用户红外图像生成正样本和负样本；所述特征模块将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；
获取模块，用于计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和KL散度，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；
比对模块，用于将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；所述比对模块根据所述相似度计算输出人脸比对的结果。
8.根据权利要求7所述的装置，其特征在于，所述搭建模块还用于将所述第一比对模型作为基干网络，固定所述基干网络中卷积单元的参数，并放开所述基干网络中全连接层的参数；所述搭建模块根据所述基干网络搭建所述孪生网络。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201911380606.1A 2019-12-27 2019-12-27 人脸比对的方法、装置、计算机设备及存储介质 Pending CN111178249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911380606.1A CN111178249A (zh) 2019-12-27 2019-12-27 人脸比对的方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911380606.1A CN111178249A (zh) 2019-12-27 2019-12-27 人脸比对的方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111178249A true CN111178249A (zh) 2020-05-19

Family

ID=70652204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911380606.1A Pending CN111178249A (zh) 2019-12-27 2019-12-27 人脸比对的方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111178249A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522988A (zh) * 2020-05-29 2020-08-11 深圳市商汤科技有限公司 图像定位模型获取方法及相关装置
CN111814717A (zh) * 2020-07-17 2020-10-23 腾讯科技（深圳）有限公司 人脸识别方法、装置及电子设备
CN112036331A (zh) * 2020-09-03 2020-12-04 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、设备及存储介质
CN112200110A (zh) * 2020-10-19 2021-01-08 厦门大学 一种基于深度干扰分离学习的人脸表情识别方法
CN112257689A (zh) * 2020-12-18 2021-01-22 北京京东尚科信息技术有限公司 人脸识别模型的训练和识别方法、存储介质及相关设备
CN112561060A (zh) * 2020-12-15 2021-03-26 北京百度网讯科技有限公司 神经网络训练方法及装置、图像识别方法及装置和设备
CN113326494A (zh) * 2021-05-31 2021-08-31 湖北微特传感物联研究院有限公司 身份信息认证方法、***、计算机设备和可读存储介质
CN113627609A (zh) * 2021-06-30 2021-11-09 国网福建省电力有限公司信息通信分公司 一种基于仿射变换的网络度量方法和存储设备
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN114092743A (zh) * 2021-11-24 2022-02-25 开普云信息科技股份有限公司 敏感图片的合规性检测方法、装置、存储介质及设备
CN115424027A (zh) * 2022-08-24 2022-12-02 厦门国际银行股份有限公司 针对画面前景人物的图像相似度比对方法、装置以及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622282A (zh) * 2017-09-21 2018-01-23 百度在线网络技术（北京）有限公司 图像校验方法和装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108229362A (zh) * 2017-12-27 2018-06-29 杭州悉尔科技有限公司 一种基于门禁***的双目人脸识别活体检测方法
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622282A (zh) * 2017-09-21 2018-01-23 百度在线网络技术（北京）有限公司 图像校验方法和装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108229362A (zh) * 2017-12-27 2018-06-29 杭州悉尔科技有限公司 一种基于门禁***的双目人脸识别活体检测方法
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522988A (zh) * 2020-05-29 2020-08-11 深圳市商汤科技有限公司 图像定位模型获取方法及相关装置
CN111522988B (zh) * 2020-05-29 2022-07-15 深圳市商汤科技有限公司 图像定位模型获取方法及相关装置
CN111814717A (zh) * 2020-07-17 2020-10-23 腾讯科技（深圳）有限公司 人脸识别方法、装置及电子设备
CN111814717B (zh) * 2020-07-17 2022-09-27 腾讯科技（深圳）有限公司 人脸识别方法、装置及电子设备
CN112036331A (zh) * 2020-09-03 2020-12-04 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、设备及存储介质
CN112036331B (zh) * 2020-09-03 2024-04-09 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、设备及存储介质
CN112200110A (zh) * 2020-10-19 2021-01-08 厦门大学 一种基于深度干扰分离学习的人脸表情识别方法
CN112561060B (zh) * 2020-12-15 2022-03-22 北京百度网讯科技有限公司 神经网络训练方法及装置、图像识别方法及装置和设备
CN112561060A (zh) * 2020-12-15 2021-03-26 北京百度网讯科技有限公司 神经网络训练方法及装置、图像识别方法及装置和设备
CN112257689A (zh) * 2020-12-18 2021-01-22 北京京东尚科信息技术有限公司 人脸识别模型的训练和识别方法、存储介质及相关设备
CN113326494B (zh) * 2021-05-31 2023-08-18 湖北微特传感物联研究院有限公司 身份信息认证方法、***、计算机设备和可读存储介质
CN113326494A (zh) * 2021-05-31 2021-08-31 湖北微特传感物联研究院有限公司 身份信息认证方法、***、计算机设备和可读存储介质
CN113627609A (zh) * 2021-06-30 2021-11-09 国网福建省电力有限公司信息通信分公司 一种基于仿射变换的网络度量方法和存储设备
CN113627609B (zh) * 2021-06-30 2023-06-09 国网福建省电力有限公司信息通信分公司 一种基于仿射变换的网络度量方法和存储设备
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113674230B (zh) * 2021-08-10 2023-12-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN114092743A (zh) * 2021-11-24 2022-02-25 开普云信息科技股份有限公司 敏感图片的合规性检测方法、装置、存储介质及设备
CN115424027A (zh) * 2022-08-24 2022-12-02 厦门国际银行股份有限公司 针对画面前景人物的图像相似度比对方法、装置以及设备

Similar Documents

Publication Publication Date Title
CN111178249A (zh) 人脸比对的方法、装置、计算机设备及存储介质
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
CN111340008B (zh) 对抗补丁生成、检测模型训练、对抗补丁防御方法及***
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
WO2021068487A1 (zh) 人脸识别模型构建方法、装置、计算机设备和存储介质
CN112258528B (zh) 图像处理方法和装置、电子设备
CN111860147B (zh) 行人重识别模型优化处理方法、装置和计算机设备
US8675926B2 (en) Distinguishing live faces from flat surfaces
CN111476709B (zh) 人脸图像处理方法、装置及电子设备
CN110765923A (zh) 一种人脸活体检测方法、装置、设备及存储介质
KR102374747B1 (ko) 객체를 인식하는 장치 및 방법
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
CN108549867A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US10853631B2 (en) Face verification method and apparatus, server and readable storage medium
CN111680672A (zh) 人脸活体检测方法、***、装置、计算机设备和存储介质
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
US10922533B2 (en) Method for face-to-unlock, authentication device, and non-volatile storage medium
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN112052832A (zh) 人脸检测的方法、装置和计算机存储介质
Sun et al. Deep Evolutionary 3D Diffusion Heat Maps for Large-pose Face Alignment.
WO2024131291A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN112308035A (zh) 图像检测方法、装置、计算机设备和存储介质
CN112598576B (zh) 基于人脸识别的安全验证方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240507

AD01 Patent right deemed abandoned