CN107423700A - 人证核实的方法及装置 - Google Patents

人证核实的方法及装置 Download PDF

Info

Publication number
CN107423700A
CN107423700A CN201710581244.7A CN201710581244A CN107423700A CN 107423700 A CN107423700 A CN 107423700A CN 201710581244 A CN201710581244 A CN 201710581244A CN 107423700 A CN107423700 A CN 107423700A
Authority
CN
China
Prior art keywords
network
facial image
certificate
msub
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710581244.7A
Other languages
English (en)
Other versions
CN107423700B (zh
Inventor
梁添才
黎蕴玉
徐俊
章烈剽
陈�光
许丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grg Tally Vision IT Co ltd
Guangdian Yuntong Group Co ltd
Original Assignee
Guangzhou Radio Vision Technology Co Ltd
Guangdian Yuntong Financial Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Radio Vision Technology Co Ltd, Guangdian Yuntong Financial Electronic Co Ltd filed Critical Guangzhou Radio Vision Technology Co Ltd
Priority to CN201710581244.7A priority Critical patent/CN107423700B/zh
Publication of CN107423700A publication Critical patent/CN107423700A/zh
Priority to PCT/CN2018/093784 priority patent/WO2019015466A1/zh
Application granted granted Critical
Publication of CN107423700B publication Critical patent/CN107423700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人证核实的方法及装置。所述方法包括：获取证件照中的证件人脸图像，采集用户的自然光人脸图像；将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率；比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。本发明能够有效提高认证核实的准确度。

Description

人证核实的方法及装置
技术领域
本发明涉及人脸识别技术领域，特别是涉及人证核实的方法、装置及其他。
背景技术
随着人脸识别技术的快速发展，人证核实***也得到广泛关注，在安防、银行等实际应用场景的需求剧增。在异构人脸识别技术中，模态的不同使人脸图像差异巨大，是造成难以精确判别的主要原因。人证核实问题属于异构人脸识别，是指判断较低分辨率的证件照人脸图像与较高分辨率的自然光照人脸图像是否匹配。
人证核实***的最大问题在于核实的准确度较低，而基于传统的异构人脸识别方法，仅能从特征提取和相似度度量两个方面消除模态的差异性进行核实，无法较好的适用于人证核实。
发明内容
基于此，本发明实施例提供人证核实的方法及装置，能够有效解决模态异构导致的人证核实准确性低的问题。
本发明一方面提供人证核实的方法，包括：
获取证件照中的证件人脸图像，采集用户的自然光人脸图像；
将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率；
比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。
本发明一方面提供一种人证核实的装置，包括：
人脸图像采集模块，用于获取证件照中的证件人脸图像，采集用户的自然光人脸图像；
人脸图像重建模块，用于将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率；
人证核实模块，用于比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。
本发明一方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法的步骤。
上述技术方案，获取证件照中的证件人脸图像，采集用户的自然光人脸图像；通过将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率；最后通过比对所述重建人脸图像和所述自然光人脸图像进行人证核实。由此可在保留原始证件照图像信息的前提下，实现证件照人脸图像的超分辨率重建(将低分辨率图像转化为高分辨率图像)，将证件照转换为自然光照的模态，进而将异构人证核实问题转化为一般的人脸识别问题，有效提高了人证核实的准确度。
附图说明
图1为一实施例的人证核实的方法的示意性流程图；
图2为一实施例的生成器网络的结构示意图；
图3为一实施例的生成对抗网络再训练的示意性流程图；
图4为一实施例的人证核实的装置的示意性结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一实施例的人证核实的方法的示意性流程图；如图1所示，本实施例中的人证核实的方法包括步骤：
S11，获取证件照中的证件人脸图像，采集用户的自然光人脸图像；
可以理解的，本发明实施例中涉及的证件可为任何附带有人脸图像的证件，例如：身份证、护照、驾驶证、通行证或者企业工卡等。所述证件照可以是粘贴在证件中的照片，也可以是印刷在证件上的照片，例如二代身份证。此外，所述证件照既可以是黑白的，也可以是彩色。
需要说明的，所述自然光人脸图像，指的是在当前环境中实时采集的图像，既包括室外自然光环境下实时采集的图像，也包括室内光环境下实时采集的图像。
S12，将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；
生成对抗网络(Generative Adversarial Networks，简称GANs)，是一种生成模型，其基本思想是从训练库里获取很多训练样本，从而学习这些训练案例生成的概率分布。它的实现方法是让两个网络模型相互竞争，进行一场博弈游戏。其中一个叫做生成器网络(或者生成器、生成网络)，用于生成看起来‘自然’的图像，要求与原始数据分布尽可能一致；另一个叫做判别器网络(或者判别器、判别网络)，用于判断给定图像是否看起来‘自然’，换句话说，是否像是人为(机器)生成的。生成器网络的目标为‘骗’过判别器网络，判别器网络的目标为不上生成器网络的当。当两组网络模型不断训练，生成器网络不断生成新的结果进行尝试，两者的能力互相提高，直到生成器网络生成的人造样本看起来与原始样本没有区别。
通常从证件中采集到的证件人脸图像的分辨率比较低，通过本步骤的生成对抗网络可对低分比率的证件人脸图像进行高分辨率重建，添加预设的自然光属性信息，还可补齐原图像中缺失的像素部分。
在本发明实施例中，所述生成对抗网络输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率。理想情况下，所述生成对抗网络得到的重建人脸图像的模态与对应的自然光人脸图像的模态相一致。
S13，比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。
基于上述步骤，已经将证件人脸图像进行了重建(即模态转换)，因此步骤S13即为普通的人脸图像识别，而非异构人脸图像识别，一方面降低了识别的复杂度，另一方面，也有利于提高识别的准确度。
通过上述实施例的人证核实的方法，可在保留原始证件照图像信息的前提下，将证件照转换为自然光照的模态，进而将异构人证核实问题转化为一般的人脸图像识别问题，有效提高了人证核实的准确度。
在一可选实施例中，在上述步骤S11中包括：采集证据中的证件照之后进行人脸检测、对齐，裁剪出人脸五官区域的人脸区域，得到证件人脸图像。所述自然光人脸图像优选为正面高清的图像。
在一可选实施例中，上述步骤S12中采用的生成对抗网络包括生成器网络和判别器网络。其中，所述生成器网络包括6层残差卷积网络结构，如图2所示，其中前3层为卷积层，后3层为反向卷积层，最后一个反向卷积层输出重建人脸图像。具体网络构成例如：在所述6层残差卷积网络结构中，每个3×3卷积层后都连接上batch normalization层(简称BN层)和ReLU激活函数层，使得每个卷积层的输入保持相同分布，并且网络整体训练速度快。从前五层每层提取64个feature maps，stride设为1，pad设为0，最后一个反向卷积层用于重建图像。此网络结构不仅能使网络更容易训练，同时保留和利用输入的证件人脸图像的图像信息重建高分辨率图像。优选地，该生成器网络输出的重建图像的像素大小和步骤S11中采集的自然光人脸图像的像素大小一致。所述判别器网络包括Light CNN残差网络结构，该网络结构有利于增强特征鲁棒性和减少网络参数。优选地，使用Light CNN中的Networkin Network网络结构，利用Max Feature Map操作作为激活函数。采用Network in Network网络结构的优点包括：更好的局部抽象、更小的全局Overfitting以及更少的网络参数。
在一可选实施例中，还包括预先训练生成对抗网络的步骤，包括对生成器网络的训练和对判别器网络的训练。训练的方式可为：首先基于ImageNet数据库对生成对抗网络进行预训练；然后再基于预设的人证样本库对经过预训练的生成对抗网络进行再训练，直到得到满足预设条件的生成对抗网络。其中，ImageNet数据库是目前世界上图像识别最大的数据库；所述人证样本库中包括多个证件照样本以及各证件照样本对应的自然光人脸图像样本。通过两个阶段不同数据库的训练，能够得到符合人证核实需求的生成对抗网络，以将低分辨率的证件人脸图像转换为高分辨率的重建人脸图像。
在一可选实施例中，基于预设的人证样本库对经过预训练的生成对抗网络进行再训练包括：对生成对抗网络中的生成器网络训练和对生成对抗网络中的判别器网络训练，两个训练过程相互影响，使得两个网络逐渐完善至符合人证核实需求的网络模型。
其中，对生成对抗网络中的生成器网络训练的过程包括：从人证样本库中获取证件照样本及其对应的自然光人脸图像样本，从所述证件照样本中得到证件人脸图像样本，将证件人脸图像样本作为生成器网络的输入，基于平方损失函数训练所述生成器网络的网络参数，直到所述平方损失函数最小化；所述平方损失函数为自然光人脸图像样本与生成器网络输出的重建人脸图像的基于像素的平方差的函数。
其中，对生成对抗网络中的判别器网络训练的过程包括：将所述自然光人脸图像样本以及生成器网络输出的重建人脸图像作为判别器网络的输入，基于感知损失函数训练所述判别器网络的网络参数和所述生成器网络的网络参数；所述感知损失函数为将生成器网络输出的重建人脸图像判别为真实自然光人脸图像的概率的函数。
在一优选实施例中，生成对抗网络的训练过程可参考图3所示。假设Iy为高分辨率的自然光人脸图像样本，Ix为低分辨率的证件人脸图像样本，Is为重建人脸图像；其中重建人脸图像与自然光人脸图像样本的像素大小相同。生成对抗网络由生成器网络和判别器网络组成，θ表示生成对抗网络中待训练的网络参数。
向生成器网络输入较低分辨率的证件人脸图像样本Ix，生成器网络输出的重建人脸图像Is对生成器网络。生成器网络对应的函数模型为在一可选实施例中，训练所述生成器网络的网络参数的目标函数为：
θG表示生成器网络的网络参数，ls为平方损失函数，N为参与训练证件照样本的总数，Iy表示自然光人脸图像样本，Ix表示证件人脸图像样本，Is表示证件人脸图像样本对应的重建人脸图像。
优选地，所述生成器网络训练中使用的是基于像素的平方损失(MSE)的损失函数，即：
其中，r表示自然光人脸图像与证件人脸图像的大小比值；W表示证件人脸图像在宽度方向的像素，H表示证件人脸图像在长度方向的像素。
将生成器网络输出重建人脸图像Is和高分辨率的自然光人脸图像样本Iy输入判别器网络，对判别器网络进行训练。所述判别器网络对应的函数模型表示为θD表示判别器网络的网络参数，其任务是判断生成器网络产生的重建图像(即Is)是否为真，解决“极小极大博弈”问题，目标函数可表示为：
其中，Ε表示数学期望，Iy～pdata(Iy)表示自然光人脸图像样本Iy满足高分辨率图像的概率分布为pdata(Iy)；Ix～pG(Ix)表示证件人脸图像样本Ix满足生成器的概率分布为pG(Iy)；log表示对数运算；是将自然光人脸图像样本Iy判别为真实自然光人脸图像的概率；表示判别器网络将生成器网络输出的重建图像判别为真实自然光人脸图像的概率。
训练判别器最大化输入实例和生成样本的正确标签的概率，同时训练生成器最小化当全局最优时，有pdata＝pG，即生成器网络能完全拟合高分辨率图像的概率分布。
优选地，若判别器网络将生成器网络输出的重建图像判别为真实自然光人脸图像的概率，则判别器网络输出1，否则，输出-1。根据判别器网络的判别结果优化判别器网络。即优化判别器网络的目标函数为判别器网络的判别结果相关的函数。
由于生成器网络训练采用的MSE损失函数会一定程度丢失输入图像的高频信息，造成模糊现象，因此在判别网络中加入感知损失函数，从感知的角度优化判别器网络。即采用感知损失函数优化判别器网络的目标函数：
其中，表示判别器网络将生成器网络输出的重建图像判别为真实自然光人脸图像的概率。
当生成器网络和判别器网络均训练完成时，所述生成对抗网络的训练结束。在进行人证核实时，可基于训练好的生成对抗网络将采集的原始证件人脸图像进行重建，进而基于重建人脸图像和实时采集的自然光人脸图像进行认证核实，提高核实的准确度。
可见，整个生成对抗网络的任务就像一场博弈游戏，生成器网络要令判别器网络混淆重建图像的真伪性，而判别器网络的目标又是尽可能分辨图像的真实性。因此对生成对抗网络的训练方式不同于常规最小化像素误差的方式，由此得到的生成对抗网络不仅能有效保留输入的原始图像的高频信息，同时还能通过感知优化的方式产生高相似度的重建图像。
上述实施例的人证核实的方法可有效解决人证核实中的图像异构问题，以二代身份证的人证核实为例，通过深度训练可得到针对二代身份证超分辨率重建的生成对抗网络，在保留原始身份证件照信息的情况下补偿自然光属性信息(例如人脸各区域的明暗度、光照和色彩等)，输出高分辨率的二代身份证人脸重建图像。随后与采集的自然光照人脸图像进行比对，利用现有人脸识别技术，可有效进行二代身份证的人证核实。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的人证核实的方法相同的思想，本发明还提供人证核实的装置，该装置可用于执行上述人证核实的方法。为了便于说明，人证核实的装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
图4为本发明一实施例的人证核实的装置的示意性结构图，如图4所示，本实施例的人证核实的装置包括：人脸图像采集模块410、人脸图像重建模块420以及人证核实模块430，各模块详述如下：
所述人脸图像采集模块410，用于获取证件照中的证件人脸图像，采集用户的自然光人脸图像.
所述人脸图像重建模块420，用于将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率。
所述人证核实模块430，用于比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。
在一可选实施例中，还包括网络训练模块，用于训练生成对抗网络。该网络训练模块具体用于，基于ImageNet数据库对生成对抗网络进行预训练；基于预设的人证样本库对经过预训练的生成对抗网络进行再训练，直到得到满足预设条件的生成对抗网络。
优选地，所述生成对抗网络包括生成器网络和判别器网络；所述生成器网络包括6层残差卷积网络结构，其中前3层为卷积层，后3层为反向卷积层，最后一个反向卷积层输出重建人脸图像。所述判别器网络包括Light CNN残差网络结构。该网络结构能有效加快生成对抗网络的训练过程，缩短训练时间。
在一可选实施例中，所述网络训练模块包括：第一训练单元和第二训练单元。
所述第一训练单元，用于对生成对抗网络中的生成器网络训练，具体训练方式包括：从人证样本库中获取证件照样本及其对应的自然光人脸图像样本，将证件照样本作为生成器网络的输入，基于平方损失函数训练所述生成器网络的网络参数；所述平方损失函数为自然光人脸图像样本与生成器网络输出的重建人脸图像的基于像素的平方差的函数。
所述第二训练单元，用于对生成对抗网络中的判别器网络训练，具体训练方式包括：将所述自然光人脸图像样本以及生成器网络输出的重建人脸图像作为判别器网络的输入，基于感知损失函数训练所述判别器网络的网络参数和所述生成器网络的网络参数；所述感知损失函数为将生成器网络输出的重建人脸图像判别为真实高分辨率图像的概率的函数。
优选地，生成对抗网络的训练过程可参考图3所示具体过程可参照上述方法实施例所述。
需要说明的是，上述示例的人证核实的装置的实施方式中，各模块/单元之间的信息交互、执行过程等内容，由于与本发明前述方法实施例基于同一构思，其带来的技术效果与本发明前述方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
此外，上述示例的人证核实的装置的实施方式中，各功能模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的功能模块完成，即将所述人证核实的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。其中各功能模既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。所述程序在执行时，可执行如上述各方法的实施例的全部或部分步骤。此外，所述存储介质还可设置与一种计算机设备中，所述计算机设备中还包括处理器，所述处理器执行所述存储介质中的程序时，能够实现上述各方法的实施例的全部或部分步骤。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种人证核实的方法，其特征在于，包括：
获取证件照中的证件人脸图像，采集用户的自然光人脸图像；
将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率；
比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。
2.根据权利要求1所述的人证核实的方法，其特征在于，还包括：训练生成对抗网络的步骤，该步骤包括：
基于ImageNet数据库对生成对抗网络进行预训练；
基于预设的人证样本库对经过预训练的生成对抗网络进行再训练；其中，所述人证样本库中包括多个证件照样本以及各证件照样本对应的自然光人脸图像样本。
3.根据权利要求2所述的人证核实的方法，其特征在于，所述生成对抗网络包括生成器网络和判别器网络；
所述生成器网络包括6层残差卷积网络结构，其中前3层为卷积层，后3层为反向卷积层，最后一个反向卷积层输出重建人脸图像；
所述判别器网络包括Light CNN残差网络结构。
4.根据权利要求2所述的人证核实的方法，其特征在于，所述基于预设的人证样本库对经过预训练的生成对抗网络进行再训练，包括：
基于预设的人证样本库对生成对抗网络中的生成器网络训练，具体包括：
从人证样本库中获取证件照样本及其对应的自然光人脸图像样本，从所述证件照样本中得到证件人脸图像样本，将证件人脸图像样本作为生成器网络的输入，基于平方损失函数训练所述生成器网络的网络参数；所述平方损失函数为自然光人脸图像样本与生成器网络输出的重建人脸图像的基于像素的平方差的函数；
基于预设的人证样本库对生成对抗网络中的判别器网络训练，具体包括：
将所述自然光人脸图像样本以及生成器网络输出的重建人脸图像作为判别器网络的输入，基于感知损失函数训练所述判别器网络的网络参数和所述生成器网络的网络参数；所述感知损失函数为判别器网络将生成器网络输出的重建人脸图像判别为真实自然光人脸图像的概率的函数。
5.根据权利要求4所述的人证核实的方法，其特征在于，所述生成器网络对应的函数模型为训练所述生成器网络的网络参数的目标函数为：
<mrow> <msub> <mover> <mi>&amp;theta;</mi> <mo>^</mo> </mover> <mi>G</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </munder> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mi>l</mi> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>G</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <mo>(</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>x</mi> </msubsup> <mo>)</mo> <mo>,</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>y</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
θ表示生成对抗网络的网络参数，θG表示生成器网络的网络参数，ls为平方损失函数，N为参与训练证件照样本的总数，Iy表示自然光人脸图像样本，Ix表示证件人脸图像样本，Is表示证件人脸图像样本Ix对应的重建人脸图像；
和/或，
所述判别器网络对应的函数模型训练所述判别器网络的目标函数为：
<mrow> <munder> <mi>min</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </munder> <munder> <mi>max</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </munder> <msub> <mi>E</mi> <mrow> <msup> <mi>I</mi> <mi>y</mi> </msup> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>y</mi> </msup> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <msub> <mi>D</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>y</mi> </msup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <msup> <mi>I</mi> <mi>x</mi> </msup> <mo>~</mo> <msub> <mi>p</mi> <mi>G</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>x</mi> </msup> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>D</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <mo>(</mo> <mrow> <msub> <mi>G</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>x</mi> </msup> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>&amp;rsqb;</mo> </mrow>
其中，θD表示判别器网络的网络参数，Ε为数学期望，Iy～pdata(Iy)表示自然光人脸图像样本Iy满足高分辨率图像的概率分布为pdata(Iy)；Ix～pG(Ix)表示证件人脸图像样本Ix满足生成器的概率分布为pG(Iy)；log表示对数运算；是将自然光人脸图像样本Iy判别为真实自然光人脸图像的概率，表示判别器网络将生成器网络输出的重建图像判别为真实自然光人脸图像的概率。
6.根据权利要求1至5任一所述的人证核实的方法，其特征在于，所述比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实，包括：
若所述重建人脸图像和所述自然光人脸图像的匹配度大于设定阈值，判断为人证核实通过；否则，判断为人证核实失败。
7.根据权利要求6所述的人证核实的方法，其特征在于，所述自然光照属性包括明暗度、光照和/或色彩。
8.一种人证核实的装置，其特征在于，包括：
人脸图像采集模块，用于获取证件照中的证件人脸图像，采集用户的自然光人脸图像；
人脸图像重建模块，用于将所述证件人脸图像输入预先训练好的生成对抗网络，根据所述生成对抗网络的输出得到所述证件人脸图像对应的重建人脸图像；其中，所述生成对抗网络用于对输入的证件人脸图像添加预设的自然光属性信息，并且其输出的重建人脸图像的分辨率高于所述证件人脸图像的分辨率；
人证核实模块，用于比对所述重建人脸图像和所述自然光人脸图像，根据比对结果进行人证核实。
9.根据权利要求8所述的人证核实的装置，其特征在于，还包括网络训练模块，用于基于ImageNet数据库对生成对抗网络进行预训练；基于预设的人证样本库对经过预训练的生成对抗网络进行再训练，直到得到满足预设条件的生成对抗网络；其中，所述人证样本库中包括多个证件照样本以及各证件照样本对应的自然光人脸图像样本。
10.根据权利要求9所述的人证核实的装置，其特征在于，所述网络训练模块包括：
所述第一训练单元，用于对生成对抗网络中的生成器网络训练，具体包括从人证样本库中获取证件照样本及其对应的自然光人脸图像样本，从所述证件照样本中得到证件人脸图像样本，将证件人脸图像样本作为生成器网络的输入，基于平方损失函数训练所述生成器网络的网络参数；所述平方损失函数为自然光人脸图像样本与生成器网络输出的重建人脸图像的基于像素的平方差的函数；
所述第二训练单元，用于对生成对抗网络中的判别器网络训练，具体包括：将所述自然光人脸图像样本以及生成器网络输出的重建人脸图像作为判别器网络的输入，基于感知损失函数训练所述判别器网络的网络参数和所述生成器网络的网络参数；所述感知损失函数为判别器网络将生成器网络输出的重建人脸图像判别为真实自然光人脸图像的概率的函数。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一所述方法的步骤。
CN201710581244.7A 2017-07-17 2017-07-17 人证核实的方法及装置 Active CN107423700B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710581244.7A CN107423700B (zh) 2017-07-17 2017-07-17 人证核实的方法及装置
PCT/CN2018/093784 WO2019015466A1 (zh) 2017-07-17 2018-06-29 人证核实的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710581244.7A CN107423700B (zh) 2017-07-17 2017-07-17 人证核实的方法及装置

Publications (2)

Publication Number Publication Date
CN107423700A true CN107423700A (zh) 2017-12-01
CN107423700B CN107423700B (zh) 2020-10-20

Family

ID=60429889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710581244.7A Active CN107423700B (zh) 2017-07-17 2017-07-17 人证核实的方法及装置

Country Status (2)

Country Link
CN (1) CN107423700B (zh)
WO (1) WO2019015466A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090905A (zh) * 2018-01-05 2018-05-29 清华大学 产线异常的判断方法及***
CN108280413A (zh) * 2018-01-17 2018-07-13 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108416326A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 人脸识别方法和装置
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN110163114A (zh) * 2019-04-25 2019-08-23 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、***和计算机设备
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN110580682A (zh) * 2019-09-16 2019-12-17 电子科技大学 一种基于优化生成对抗网络地震数据超分辨率重建方法
CN111553208A (zh) * 2020-04-15 2020-08-18 上海携程国际旅行社有限公司 基于人证合一的图像的身份识别方法、***、设备和介质
WO2020199577A1 (zh) * 2019-03-29 2020-10-08 北京市商汤科技开发有限公司 活体检测方法和装置、设备和存储介质
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
US11250329B2 (en) 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN111583096A (zh) * 2019-02-15 2020-08-25 北京京东乾石科技有限公司 图片处理方法及装置、电子设备和计算机可读介质
CN110097609B (zh) * 2019-04-04 2022-11-29 浙江凌迪数字科技有限公司 一种基于样本域的精细化绣花纹理迁移方法
CN110097543B (zh) * 2019-04-25 2023-01-13 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN113936298A (zh) * 2019-05-08 2022-01-14 北京市商汤科技开发有限公司 一种特征识别方法及装置、计算机可读存储介质
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110457994B (zh) * 2019-06-26 2024-05-10 平安科技（深圳）有限公司 人脸图像生成方法及装置、存储介质、计算机设备
CN110443746B (zh) * 2019-07-25 2023-07-14 创新先进技术有限公司 基于生成对抗网络的图片处理方法、装置及电子设备
CN110517195B (zh) * 2019-07-26 2022-12-06 西安电子科技大学 无监督sar图像去噪方法
CN112330526B (zh) * 2019-08-05 2024-02-09 深圳Tcl新技术有限公司 一种人脸转换模型的训练方法、存储介质及终端设备
CN111062290B (zh) * 2019-12-10 2023-04-07 西北大学 基于生成对抗网络中国书法风格转换模型构建方法及装置
CN111161200A (zh) * 2019-12-22 2020-05-15 天津大学 基于注意力机制的人体姿态迁移方法
CN111476749B (zh) * 2020-04-03 2023-02-28 陕西师范大学 基于人脸关键点引导式生成对抗网络的人脸修复方法
CN111476717B (zh) * 2020-04-07 2023-03-24 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111597978B (zh) * 2020-05-14 2023-04-07 公安部第三研究所 基于StarGAN网络模型实现行人重识别图片自动生成的方法
CN111754478A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的无监督域适应***及方法
CN113761997B (zh) * 2020-08-27 2024-04-09 北京沃东天骏信息技术有限公司 生成半遮挡人脸识别器的方法和装置
CN112070145B (zh) * 2020-09-04 2024-05-28 世纪易联(北京)科技有限公司 基于对抗网络的水果图像的新鲜度属性迁移方法
CN112102186B (zh) * 2020-09-07 2024-04-05 河海大学 一种水下视频图像实时增强方法
CN112053303B (zh) * 2020-09-08 2024-04-05 河海大学 一种用于水下auv的视频图像实时增强方法
CN112233017B (zh) * 2020-10-28 2023-09-26 中国科学院合肥物质科学研究院 一种基于生成对抗网络的病态人脸数据增强方法
CN112598125B (zh) * 2020-11-25 2024-04-30 西安科技大学 一种基于双判别器加权生成对抗网络的手写数字生成方法
CN114596236A (zh) * 2020-12-04 2022-06-07 国网智能科技股份有限公司 一种密闭腔体低照度图像增强方法及***
CN112668623B (zh) * 2020-12-22 2024-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置
CN112818764B (zh) * 2021-01-15 2023-05-02 西安交通大学 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN113034393A (zh) * 2021-03-25 2021-06-25 北京百度网讯科技有限公司 照片修复方法、装置、设备以及存储介质
CN113378721B (zh) * 2021-06-11 2023-08-18 西安电子科技大学 一种基于对称和局部判别的生成对抗人脸校正方法及***
CN113705400B (zh) * 2021-08-18 2023-08-15 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113762180B (zh) * 2021-09-13 2023-09-01 中国科学技术大学 基于毫米波雷达信号的人体活动成像的训练方法及***
CN113780534B (zh) * 2021-09-24 2023-08-22 北京字跳网络技术有限公司 网络模型的压缩方法、图像生成方法、装置、设备及介质
CN114067399B (zh) * 2021-11-16 2024-03-15 桂林电子科技大学 面向非配合场景的人脸重建与识别方法
CN114913086B (zh) * 2022-05-05 2023-05-02 上海云思智慧信息技术有限公司 基于生成对抗网络的人脸图像质量增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
WO2016112630A1 (zh) * 2015-01-12 2016-07-21 芋头科技（杭州）有限公司 一种影像识别***及方法
CN106683048A (zh) * 2016-11-30 2017-05-17 浙江宇视科技有限公司 一种图像超分辨率方法及设备
CN106845449A (zh) * 2017-02-22 2017-06-13 浙江维尔科技有限公司 一种图像处理装置、方法以及人脸识别***
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、***及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法
CN106952229A (zh) * 2017-03-15 2017-07-14 桂林电子科技大学 基于数据增强的改进型卷积网络的图像超分辨率重建方法
CN107423700B (zh) * 2017-07-17 2020-10-20 广州广电卓识智能科技有限公司 人证核实的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
WO2016112630A1 (zh) * 2015-01-12 2016-07-21 芋头科技（杭州）有限公司 一种影像识别***及方法
CN106683048A (zh) * 2016-11-30 2017-05-17 浙江宇视科技有限公司 一种图像超分辨率方法及设备
CN106845449A (zh) * 2017-02-22 2017-06-13 浙江维尔科技有限公司 一种图像处理装置、方法以及人脸识别***
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、***及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI YI JUN等: "Generative Face Completion", 《COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置
US11763168B2 (en) 2017-10-26 2023-09-19 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US11250329B2 (en) 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
CN108090905A (zh) * 2018-01-05 2018-05-29 清华大学 产线异常的判断方法及***
CN108280413A (zh) * 2018-01-17 2018-07-13 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108280413B (zh) * 2018-01-17 2022-04-19 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108416326B (zh) * 2018-03-27 2021-07-16 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108416326A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN111753595A (zh) * 2019-03-29 2020-10-09 北京市商汤科技开发有限公司 活体检测方法和装置、设备和存储介质
WO2020199577A1 (zh) * 2019-03-29 2020-10-08 北京市商汤科技开发有限公司 活体检测方法和装置、设备和存储介质
CN110163114B (zh) * 2019-04-25 2022-02-15 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、***和计算机设备
CN110163114A (zh) * 2019-04-25 2019-08-23 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、***和计算机设备
CN110580682A (zh) * 2019-09-16 2019-12-17 电子科技大学 一种基于优化生成对抗网络地震数据超分辨率重建方法
CN111553208A (zh) * 2020-04-15 2020-08-18 上海携程国际旅行社有限公司 基于人证合一的图像的身份识别方法、***、设备和介质
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN112508782B (zh) * 2020-09-10 2024-04-26 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备

Also Published As

Publication number Publication date
WO2019015466A1 (zh) 2019-01-24
CN107423700B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN107423700A (zh) 人证核实的方法及装置
Xu et al. Locate globally, segment locally: A progressive architecture with knowledge review network for salient object detection
CN107451607B (zh) 一种基于深度学习的典型人物的身份识别方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN107368787A (zh) 一种面向深度智驾应用的交通标志识别算法
CN108520503A (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN107609493A (zh) 优化人脸图片质量评价模型的方法及装置
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN107392019A (zh) 一种恶意代码家族的训练和检测方法及装置
CN106951840A (zh) 一种人脸特征点检测方法
CN107408211A (zh) 用于物体的再识别的方法
Cao et al. Ancient mural restoration based on a modified generative adversarial network
CN110490158A (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN110689000B (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN109614856A (zh) 基于卷积神经网络的真菌图像分类方法
CN105096311A (zh) 基于gpu的深度图修复和虚实场景结合技术
CN109063649A (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN112069993B (zh) 基于五官掩膜约束的密集人脸检测方法及***和存储介质
CN113724354B (zh) 基于参考图颜色风格的灰度图像着色方法
CN109801225A (zh) 基于多任务全卷积神经网络的人脸网纹污迹去除方法
CN108961358A (zh) 一种获得样本图片的方法、装置及电子设备
CN113537027A (zh) 基于面部划分的人脸深度伪造检测方法及***
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法
CN103295019B (zh) 一种基于概率统计的中文碎片自适应恢复方法
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee after: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region after: China

Patentee after: Guangdian Yuntong Group Co.,Ltd.

Address before: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee before: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region before: China

Patentee before: GRG BANKING EQUIPMENT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240201

Address after: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee after: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region after: China

Address before: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee before: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region before: China

Patentee before: Guangdian Yuntong Group Co.,Ltd.