CN112199975A - 基于人脸特征的身份验证方法及装置 - Google Patents

基于人脸特征的身份验证方法及装置 Download PDF

Info

Publication number
CN112199975A
CN112199975A CN201910611701.1A CN201910611701A CN112199975A CN 112199975 A CN112199975 A CN 112199975A CN 201910611701 A CN201910611701 A CN 201910611701A CN 112199975 A CN112199975 A CN 112199975A
Authority
CN
China
Prior art keywords
face
image
certificate
sample
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910611701.1A
Other languages
English (en)
Inventor
汤人杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910611701.1A priority Critical patent/CN112199975A/zh
Publication of CN112199975A publication Critical patent/CN112199975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸特征的身份验证方法及装置。其中，方法包括：获取人持证件样本图像，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，人脸检测模型输出人脸图片；利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；获取待识别的人持证件图像，其中，待识别的人持证件图像包含持证人人脸及证件人脸；将待识别的人持证件图像输入至人脸检测模型，得到待识别的人持证件图像中的人脸图片；将待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度；根据人脸差异度确定身份验证结果，提升了身份验证的准确性。

Description

基于人脸特征的身份验证方法及装置
技术领域
本发明涉及身份验证技术领域，具体涉及一种基于人脸特征的身份验证方法及装置。
背景技术
人脸作为重要的人体特征，是辨别不同人的重要依据，相对于通过比对指纹、虹膜等复杂特征来识别不同人的身份，人脸则更自然、更直接、更便利。
现有技术中，人脸检测与识别技术的应用十分广泛，例如火车站刷脸查票***、网上贷款、身份验证等等。由于时代日新月异的变化，人工的工作效率已不满足于日渐加快的生活节奏，智能机器的需求日益增长。许多需要验证身份才能出入的地点，由于工作人员无法长时间保持精力和体力的充沛，难免会出现疏忽，从而引发一些安全隐患。所以需要人脸检测与识别技术，能够使机器通过检测并对比人脸对人们的身份进行智能化识别。这种智能化的方法相比人工验证可以极大提高验证效率，极大方便人们的日常生活和工作。
很多场景都需要识别证件是否属于持证人，而实现人证识别通常需要借助人脸检测和人脸识别技术，传统的人脸检测和人脸识别技术有基于传统机器学习实现的OpenCV和dlib，这些技术都是根据预先设定的特征训练检测模型和识别模型，进而实现身份验证。
上述基于传统机器学习实现的人脸检测与人脸识别技术存在以下问题：
1)根据人为预先设定好的特征进行模型训练，可能使得最终检测和识别效果不佳：
人脸具有许多特征，传统机器学习只能通过人为选择的部分特征进行模型训练，但人为预先设定的特征带有主观成分，并不能很好地反映人脸的特点，具备这些特征的图像未必就是人脸，从而导致检测和识别的结果不准确。
2)能获取的证件照数量不多，数据集数量不足，可能导致训练模型的效果不够好：
由于证件照涉及个人隐私，所以能得到的样本并不多，传统技术没有足够的数据集，导致训练模型的效果不够好。
由于上述缺陷，导致仍然存在身份验证结果不准确的问题，使得部分用户还是能够持有其他用户的证件达到相应的目的。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于人脸特征的身份验证方法及装置。
根据本发明的一个方面，提供了一种基于人脸特征的身份验证方法，方法基于经过训练的人脸检测模型及人脸识别模型而执行，方法包括：
获取人持证件样本图像，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，人脸检测模型输出人脸图片；
利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；
获取待识别的人持证件图像，其中，待识别的人持证件图像包含持证人人脸及证件人脸；
将待识别的人持证件图像输入至人脸检测模型，得到待识别的人持证件图像中的人脸图片；
将待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度；
根据人脸差异度确定身份验证结果。
根据本发明的另一方面，提供了一种基于人脸特征的身份验证装置，装置基于经过训练的人脸检测模型及人脸识别模型而执行，装置包括：
人脸检测模型训练模块，适于获取人持证件样本图像，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，人脸检测模型输出人脸图片；
人脸识别模型训练模块，适于利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；
获取模块，适于获取待识别的人持证件图像，其中，待识别的人持证件图像包含持证人人脸及证件人脸；
检测模块，适于将待识别的人持证件图像输入至人脸检测模型，得到待识别的人持证件图像中的人脸图片；
识别模块，适于将待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度；
验证模块，适于根据人脸差异度确定身份验证结果。
根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于人脸特征的身份验证方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于人脸特征的身份验证方法对应的操作。
根据本发明提供的方案，获取人持证件样本图像，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，人脸检测模型输出人脸图片；利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；获取待识别的人持证件图像，其中，待识别的人持证件图像包含持证人人脸及证件人脸；将待识别的人持证件图像输入至人脸检测模型，得到待识别的人持证件图像中的人脸图片；将待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度；根据人脸差异度确定身份验证结果。本发明提供的方案，基于卷积神经网络来训练得到人脸检测模型及人脸识别模型，实现了自动提取训练数据特征，从而避免因预先设定的特征因主观因素或不够全面造成检测和识别的不准确；另外，训练样本易于获得，从而扩充了训练数据，避免了因训练数据不足导致所训练的模型不够精准，导致验证结果不准确的问题；通过提升人脸检测模型及人脸识别模型的精确度，从而提升了身份验证结果的准确性，保证能够准确地识别出证件是否属于持证人，克服了现有技术中存在的部分用户通过持有其他用户的证件达到相应目的的缺陷。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于人脸特征的身份验证方法的流程示意图；
图2示出了根据本发明一个实施例的人脸检测模型训练的流程示意图；
图3示出了根据本发明一个实施例的人脸识别模型训练的流程示意图；
图4示出了根据本发明一个实施例的基于人脸特征的身份验证装置的结构示意图；
图5示出了根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于人脸特征的身份验证方法的流程示意图。该方法基于经过训练的人脸检测模型及人脸识别模型而执行，如图1所示，该方法包括以下步骤：
步骤S101，获取人持证件样本图像，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，人脸检测模型输出人脸图片。
在实际生活中，会存在很多需要用户持证件的场景，例如，火车站刷脸查票***需要用户持证件查票、网上贷款需要用户持***理等都需要用户持证件才能实现，本实施例需要收集人持证件图像，并将收集到的人持证件图像作为人脸检测模型训练时需要的人持证件样本图像。在获取到人持证件样本图像后，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型。训练得到的人脸检测模型可以将输入的人持证件图像中的人脸检测出来，最后输出人持证件图像中所有人脸的人脸图片。
由于人持证件图像易于获得，从而扩充了人脸检测模型训练所使用的样本图像的规模，提高了训练的准确性，克服了传统技术中没有足够的图像集导致模型训练的不够精准的缺陷。
步骤S102，利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型。
在本实施例中，人脸识别模型的训练的样本为人脸检测模型输出的人脸图片，而人脸检测模型能够准确地识别出人持证件样本图像中的人脸，因此，能够提供更精准地训练样本来训练人脸识别模型，从而能够提升训练后的人脸识别模型的准确度。
具体地，在利用步骤S101中的人脸检测模型输出人脸图像后，利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型。训练得到的人脸识别模型可以识别出输入的两张人脸图像之间的差异度。
步骤S103，获取待识别的人持证件图像。
待识别的人持证件图像指对持证人进行身份认证时，所采集到的持证人手持证件的图像，其中，待识别的人持证件图像包含持证人人脸及证件人脸。例如，用户A进入火车站刷脸查票***进行查票时，需要持相应的证件，本步骤就是获取包含用户A的人脸以及用户A持有证件的证件人脸的人持证件图像。在实际生活中，为了保证身份验证的准确性，要求一个人员在进行身份验证时，其他人员不得靠近，因此，所获取到待识别的人持证件图像中通常仅包含持证人人脸以及证件人脸。
步骤S104，将待识别的人持证件图像输入至人脸检测模型，得到待识别的人持证件图像中的人脸图片。
人脸检测模型用于准确检测出待识别的人持证件图像中的人脸图片，具体地，在获取到待识别的人持证件图像后，将待识别的人持证件图像输入到步骤S101中训练得到的人脸检测模型中，人脸检测模型检测待识别的人持证件图像中的人脸，并输出待识别的人持证件图像中的人脸图片。
通常情况下，人脸检测模型输出的两张人脸图片，若检测到的人脸图片大于两张，则不再进行人脸识别，而是直接提出警告。
步骤S105，将待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度。
在利用步骤S104检测得到待识别的人持证件图像中的人脸图片后，将待识别的人持证件图像中的人脸图片输入到步骤S102中训练得到的人脸识别模型中，人脸识别模型计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度，并输出人脸差异度。其中，人脸差异度体现了两个人脸之间的差异，例如，可以利用欧式距离来表示人脸差异度。
在本实施例中，人脸检测模型可能是针对多个待识别的人持证件图像进行检测，那么就会输出多组人脸图像，这里可以将针对一张待识别的人持证件图像检测出的人脸图片存入一个文件夹中，以方便利用人脸识别模型进行识别。
步骤S106，根据人脸差异度确定身份验证结果。
在根据步骤S105计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度之后，可以根据人脸差异度来对持证人进行身份验证。具体地，将人脸差异度与预设人脸差异度阈值进行比较，通过判断人脸差异度是否小于或等于预设人脸差异度阈值来确定证件是否属于持证人，若人脸差异度小于或等于预设人脸差异度阈值，则表明持证人人脸与证件人脸是同一人的人脸，证件属于持证人，可以确定身份验证成功；若人脸差异度大于预设人脸差异度阈值，则表明持证人人脸与证件人脸不是同一人的人脸，证件不属于持证人，可以确定身份验证失败。以预设人脸差异度阈值为0.8为例，人脸差异度大于0.8，则确定身份验证失败；人脸差异度小于或等于0.8，则确定身份验证成功。
本发明提供的方案，基于卷积神经网络来训练得到人脸检测模型及人脸识别模型，实现了自动提取训练数据特征，从而避免因预先设定的特征因主观因素或不够全面造成检测和识别的不准确；另外，训练样本易于获得，从而扩充了训练数据，避免了因训练数据不足导致所训练的模型不够精准，导致验证结果不准确的问题；通过提升人脸检测模型及人脸识别模型的精确度，从而提升了身份验证结果的准确性，保证能够准确地识别出证件是否属于持证人，克服了现有技术中存在的部分用户通过持有其他用户的证件达到相应目的的缺陷。
图2示出了根据本发明一个实施例的人脸检测模型训练的流程示意图。如图2所示，该方法包括以下步骤：
步骤S201，从样本库中提取多个人持证件样本图像以及与人持证件样本图像对应的分类标注结果、边界框标注结果，其中，人持证件样本图像包含持证人人脸及持证人对应的证件人脸。
在实际生活中，会存在很多需要用户持证件的场景，例如，火车站刷脸查票***需要用户持证件查票、网上贷款需要用户持***理等都需要用户持证件才能实现，本实施例需要收集人持证件图像，并将收集到的人持证件图像存入样本库中，作为人脸检测模型训练时需要的人持证件样本图像。
本实施例收集的是各种场景下人持证件的图像，这种图像易于获得，而不像证件图像由于私密性而不易获得，因此，扩充了训练所使用的样本图像的数量，从而提升了模型训练的精准度。
在收集到人持证件图像后，还需要对人持证件图像中的人脸进行边界框标注，也就是说，会涉及到分类标注比如人脸或非人脸的标注，以及边界框标注。
例如，可以使用labelImg标注工具对收集到的人持证件图像当中的人脸进行标注，给人持证件图像中的人脸标注上边界框，边界框包含人脸在人持证件图像中的具***置，用xmin，ymin，xmax，ymax表示人脸框左上角和右下角坐标，边界框标注用于后续人脸检测模型训练。在标注完成之后，会将分类标注结果、边界框标注结果存入至样本库中，当需要进行人脸检测模型训练时，从样本库中提取多个人持证件样本图像以及与人持证件样本图像对应的分类标注结果、边界框标注结果。
在从样本库中提取多个人持证件样本图像以及与人持证件样本图像对应的分类标注结果、边界框标注结果之后，就可以利用人持证件样本图像进行训练，通过将人持证件样本图像输入至区域卷积神经网络进行训练，得到与人持证件样本图像对应的样本分类结果、样本边界框结果，具体地，可以采用步骤S202-步骤S205中的方法得到人持证件样本图像对应的样本分类结果、样本边界框结果：
步骤S202，利用区域卷积神经网络对人持证件样本图像进行特征提取，得到人持证件样本图像对应的特征图。
将人持证件样本图像表示为h×w×d的张量，其中，h,w表示人持证件样本图像的长宽，单位为像素，d表示人持证件样本图像的通道数，例如，h为800，w为300，d为3，采用区域卷积神经网络来对人持证件样本图像进行特征提取，得到对应的特征图。
步骤S203，对所述特征图进行区域处理，得到人持证件样本图像中的目标区域。
对得到人持证件样本图像对应的特征图的每个点创建锚点。选定不同的比例形成锚点集合，共获得N×M×k个锚点，其中N，M表示特征图的尺寸，k为特征图上的每个点选取的锚点的个数，例如，共获得70×40×20＝56000个锚点。
对超出人持证件样本图像边界的锚点进行调整，若某个锚点越界，则将越界的部分数值改为人持证件样本图像边界的数值。
利用区域卷积神经网络对特征图进行处理，每个锚点输出两个预测值：背景的分数和人脸的分数，以此来确定锚点是人脸还是背景，根据分数进行排序，保留前N个锚点作为提议区域，即人持证件样本图像中的目标区域。其中，区域卷积神经网络是一个全卷积网络。该区域卷积神经网络的输入是特征图，输出是一组目标区域。
步骤S204，针对人持证件样本图像中的目标区域进行池化处理，得到所述人持证件样本图像中的目标区域对应的特征向量。
在根据步骤S203得到人持证件样本图像中的目标区域之后，对人持证件样本图像中的目标区域采用RoI池化处理，获得每个人持证件样本图像中的目标区域对应的固定尺寸的特征图，并转换为特征向量。
步骤S205，对人持证件样本图像中的目标区域对应的特征向量进行两种不同的全连接层处理，得到人持证件样本图像对应的样本分类结果、样本边界框结果。
在利用步骤S204得到人持证件样本图像中的目标区域对应的特征向量之后，对每个人持证件样本图像中的目标区域对应的特征向量采用两个不同的全连接层处理。一个全连接层有2(包括背景和人脸)个神经单元，形成区域卷积神经网络的分类层，使用softmax函数对每个目标区域内的内容进行分类，得到人持证件样本图像对应的样本分类结果。另一个全连接层有4个神经单元，构成回归层，对得到的目标区域分别预测Δxcenter、Δycenter、Δwidth、Δheight，再次对目标区域进行边界框回归，获取更高精度的边界框，得到人持证件样本图像对应的样本边界框结果。
步骤S206，根据样本分类结果与分类标注结果之间的分类损失以及样本边界框结果与边界框标注结果之间的回归损失，得到区域卷积神经网络损失函数，根据区域卷积神经网络损失函数更新区域卷积神经网络的权重参数。
在根据步骤S205得到人持证件样本图像对应的样本分类结果、样本边界框结果之后，可以根据样本分类结果与分类标注结果之间的分类损失以及样本边界框结果与边界框标注结果之间的回归损失，得到区域卷积神经网络损失函数，其中，区域卷积神经网络损失函数为分类损失函数和回归损失函数的之和，然后，根据区域卷积神经网络损失函数更新区域卷积神经网络的权重参数以不断调整模型。
其中，区域卷积神经网络损失函数为：
Figure BDA0002122584300000101
其中，i是一个小批量数据中锚点的索引，pi是锚点作为人脸的预测概率，如果锚点为正样本，真实标签pi*为1，如果为负样本，则pi*为0。ti表示预测边界框的4个参数化坐标向量，而ti*是与正样本锚点相关的边界框的向量。区域卷积神经网络损失函数分为2部分：分类损失Lcls是两个类别(人脸和背景)的对数损失；对于回归损失Lreg，使用平滑L1损失，仅对正样本激活，计算公式如下：
Figure BDA0002122584300000102
Figure BDA0002122584300000103
步骤S207，迭代执行步骤S201-步骤S206，直至满足预定收敛条件，得到人脸检测模型。
迭代执行步骤S201-步骤S206，直至满足预定收敛条件，得到人脸检测模型。其中，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，区域卷积神经网络损失函数的输出值小于预设阈值。例如，将预设迭代次数设置为1000，本领域技术人员可以根据实际经验设置预设迭代次数及预设阈值，这里不做具体说明。
图3示出了根据本发明一个实施例的人脸识别模型训练的流程示意图。如图3所示，该方法包括以下步骤：
步骤S301，利用深度卷积神经网络对人脸检测模型输出的人脸图片进行特征处理，得到对应的人脸特征向量。
在进行人脸识别模型训练时，需要确定模型训练所需要的样本，在本实施例中，将人脸检测模型检测出人持证件图像中的人脸图片作为训练人脸识别模型的样本。在本实施例中，对于每张人持证件图像，将人脸检测模型输出的人脸图片存入一个文件夹中，一个文件夹代表一个人，不同文件夹代表不同的人。
利用深度卷积神经网络对人脸图片进行特征提取，得到特征图。将提取的特征图输入embedding层，此层的功能就是把特征图转化为128维的特征向量。
步骤S302，随机选取一个人脸特征向量以及随机选取人脸特征向量的同类人脸特征向量及异类人脸特征向量。
随机选择一个人脸特征向量，该人脸特征向量称为anchor，然后再随机选取一个和Anchor属于同一类的人脸特征向量(称为Positive)和不同类的人脸特征向量(称为Negative，异类人脸特征向量)。
步骤S303，将选取的人脸特征向量、选取的人脸特征向量的同类人脸特征向量及异类人脸特征向量输入至深度卷积神经网络进行训练，得到三元组损失函数，根据三元组损失函数更新深度卷积神经网络的权重参数。
通过不断学习使得anchor与positive的距离近一些，与negative的距离远一些，得到三元组损失函数，该三元组损失函数表示如下：
Figure BDA0002122584300000111
其中，i是一个小批量数据中三元组的索引，N是三元组的总数，xi a是随机一个人的人脸特征向量，xi p是与xi a属于同一人的人脸特征向量，xi n是其他人的人脸特征向量。
本步骤中所指的距离是欧氏距离，可以理解为差异度。
在得到三元组损失函数后，根据三元组损失函数更新深度卷积神经网络的权重参数。
步骤S304，迭代执行步骤S301-步骤S303，直至满足预定收敛条件，得到人脸识别模型。
迭代执行步骤S301-步骤S303，直至满足预定收敛条件，得到人脸识别模型。其中，预定收敛条件包括：迭代次数达到预设迭代次数。例如，将预设迭代次数设置为2000，本领域技术人员可以根据实际经验设置预设迭代次数，这里不做具体说明。
图4示出了根据本发明一个实施例的基于人脸特征的身份验证装置的结构示意图。该装置基于经过训练的人脸检测模型及人脸识别模型而执行，如图4所示，该装置包括：人脸检测模型训练模块401、人脸识别模型训练模块402、获取模块403、检测模块404、识别模块405、验证模块406。
人脸检测模型训练模块401，适于获取人持证件样本图像，利用人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，人脸检测模型输出人脸图片；
人脸识别模型训练模块402，适于利用人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；
获取模块403，适于获取待识别的人持证件图像，其中，待识别的人持证件图像包含持证人人脸及证件人脸；
检测模块404，适于将待识别的人持证件图像输入至人脸检测模型，得到待识别的人持证件图像中的人脸图片；
识别模块405，适于将待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到待识别的人持证件图像中的人脸图片之间的人脸差异度；
验证模块406，适于根据人脸差异度确定身份验证结果。
可选地，人脸检测模型训练模块进一步适于：从样本库中提取多个人持证件样本图像以及与人持证件样本图像对应的分类标注结果、边界框标注结果，其中，人持证件样本图像包含持证人人脸及持证人对应的证件人脸；
将人持证件样本图像输入至区域卷积神经网络进行训练，得到与人持证件样本图像对应的样本分类结果、样本边界框结果；
根据样本分类结果与分类标注结果之间的分类损失以及样本边界框结果与边界框标注结果之间的回归损失，得到区域卷积神经网络损失函数，根据区域卷积神经网络损失函数更新区域卷积神经网络的权重参数；
人脸检测模型训练模块迭代执行，直至满足预定收敛条件，得到人脸检测模型。
可选地，人脸检测模型训练模块进一步适于：利用区域卷积神经网络对人持证件样本图像进行特征提取，得到人持证件样本图像对应的特征图；
对所述特征图进行区域处理，得到人持证件样本图像中的目标区域；
针对人持证件样本图像中的目标区域进行池化处理，得到所述人持证件样本图像中的目标区域对应的特征向量；
对人持证件样本图像中的目标区域对应的特征向量进行两种不同的全连接层处理，得到人持证件样本图像对应的样本分类结果、样本边界框结果。
可选地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，区域卷积神经网络损失函数的输出值小于预设阈值。
可选地，人脸识别模型训练模块进一步适于：利用深度卷积神经网络对人脸检测模型输出的人脸图片进行特征处理，得到对应的人脸特征向量；
随机选取一个人脸特征向量以及随机选取人脸特征向量的同类人脸特征向量及异类人脸特征向量；
将选取的人脸特征向量、选取的人脸特征向量的同类人脸特征向量及异类人脸特征向量输入至深度卷积神经网络进行训练，得到三元组损失函数，根据三元组损失函数更新深度卷积神经网络的权重参数；
人脸识别模型训练模块迭代执行，直至满足预定收敛条件，得到人脸识别模型。
可选地，预定收敛条件包括：迭代次数达到预设迭代次数。
可选地，验证模块进一步适于：判断人脸差异度是否小于或等于预设人脸差异度阈值；
若是，则确定身份验证成功；若否，则确定身份验证失败。
本发明提供的方案，基于卷积神经网络来训练得到人脸检测模型及人脸识别模型，实现了自动提取训练数据特征，从而避免因预先设定的特征因主观因素或不够全面造成检测和识别的不准确；另外，训练样本易于获得，从而扩充了训练数据，避免了因训练数据不足导致所训练的模型不够精准，导致验证结果不准确的问题；通过提升人脸检测模型及人脸识别模型的精确度，从而提升了身份验证结果的准确性，保证能够准确地识别出证件是否属于持证人，克服了现有技术中存在的部分用户通过持有其他用户的证件达到相应目的的缺陷。
本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于人脸特征的身份验证方法。
图5示出了根据本发明一个实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示，该电子设备可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。
其中：
处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器，用于执行程序，具体可以执行上述基于人脸特征的身份验证方法实施例中的相关步骤。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行上述任意方法实施例中的基于人脸特征的身份验证方法。程序中各步骤的具体实现可以参见上述基于人脸特征的身份验证实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于人脸特征的身份验证设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于人脸特征的身份验证方法，包括：
获取人持证件样本图像，利用所述人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，所述人脸检测模型输出人脸图片；
利用所述人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；
获取待识别的人持证件图像，其中，所述待识别的人持证件图像包含持证人人脸及证件人脸；
将所述待识别的人持证件图像输入至人脸检测模型，得到所述待识别的人持证件图像中的人脸图片；
将所述待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到所述待识别的人持证件图像中的人脸图片之间的人脸差异度；
根据所述人脸差异度确定身份验证结果。
2.根据权利要求1所述的方法，其中，所述获取人持证件样本图像，利用所述人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型进一步包括：
S1，从样本库中提取多个人持证件样本图像以及与人持证件样本图像对应的分类标注结果、边界框标注结果，其中，人持证件样本图像包含持证人人脸及持证人对应的证件人脸；
S2，将人持证件样本图像输入至区域卷积神经网络进行训练，得到与人持证件样本图像对应的样本分类结果、样本边界框结果；
S3，根据所述样本分类结果与分类标注结果之间的分类损失以及样本边界框结果与所述边界框标注结果之间的回归损失，得到区域卷积神经网络损失函数，根据所述区域卷积神经网络损失函数更新所述区域卷积神经网络的权重参数；
迭代执行步骤S1-步骤S3，直至满足预定收敛条件，得到人脸检测模型。
3.根据权利要求2所述的方法，其中，所述将人持证件样本图像输入至区域卷积神经网络进行训练，得到与人持证件样本图像对应的样本分类结果、样本边界框结果进一步包括：
利用区域卷积神经网络对人持证件样本图像进行特征提取，得到人持证件样本图像对应的特征图；
对所述特征图进行区域处理，得到人持证件样本图像中的目标区域；
针对人持证件样本图像中的目标区域进行池化处理，得到所述人持证件样本图像中的目标区域对应的特征向量；
对人持证件样本图像中的目标区域对应的特征向量进行两种不同的全连接层处理，得到人持证件样本图像对应的样本分类结果、样本边界框结果。
4.根据权利要求2或3所述的方法，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述区域卷积神经网络损失函数的输出值小于预设阈值。
5.根据权利要求2或3所述的方法，其中，所述利用所述人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型进一步包括：
S4，利用深度卷积神经网络对所述人脸检测模型输出的人脸图片进行特征处理，得到对应的人脸特征向量；
S5，随机选取一个人脸特征向量以及随机选取所述人脸特征向量的同类人脸特征向量及异类人脸特征向量；
S6，将选取的人脸特征向量、选取的所述人脸特征向量的同类人脸特征向量及异类人脸特征向量输入至深度卷积神经网络进行训练，得到三元组损失函数，根据所述三元组损失函数更新所述深度卷积神经网络的权重参数；
迭代执行步骤S4-步骤S6，直至满足预定收敛条件，得到人脸识别模型。
6.根据权利要求5所述的方法，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数。
7.根据权利要求1-3中任一项所述的方法，其中，所述根据人脸差异度确定身份验证结果进一步包括：
判断人脸差异度是否小于或等于预设人脸差异度阈值；
若是，则确定身份验证成功；若否，则确定身份验证失败。
8.一种基于人脸特征的身份验证装置，包括：
人脸检测模型训练模块，适于获取人持证件样本图像，利用所述人持证件样本图像对区域卷积神经网络进行训练，得到人脸检测模型，其中，所述人脸检测模型输出人脸图片；
人脸识别模型训练模块，适于利用所述人脸检测模型输出的人脸图片对深度卷积神经网络进行训练，得到人脸识别模型；
获取模块，适于获取待识别的人持证件图像，其中，所述待识别的人持证件图像包含持证人人脸及证件人脸；
检测模块，适于将所述待识别的人持证件图像输入至人脸检测模型，得到所述待识别的人持证件图像中的人脸图片；
识别模块，适于将所述待识别的人持证件图像中的人脸图片输入至人脸识别模型，计算得到所述待识别的人持证件图像中的人脸图片之间的人脸差异度；
验证模块，适于根据所述人脸差异度确定身份验证结果。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于人脸特征的身份验证方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于人脸特征的身份验证方法对应的操作。
CN201910611701.1A 2019-07-08 2019-07-08 基于人脸特征的身份验证方法及装置 Pending CN112199975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910611701.1A CN112199975A (zh) 2019-07-08 2019-07-08 基于人脸特征的身份验证方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910611701.1A CN112199975A (zh) 2019-07-08 2019-07-08 基于人脸特征的身份验证方法及装置

Publications (1)

Publication Number Publication Date
CN112199975A true CN112199975A (zh) 2021-01-08

Family

ID=74004468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910611701.1A Pending CN112199975A (zh) 2019-07-08 2019-07-08 基于人脸特征的身份验证方法及装置

Country Status (1)

Country Link
CN (1) CN112199975A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283359A (zh) * 2021-06-02 2021-08-20 万达信息股份有限公司 一种手持证件照的认证方法、***和电子设备
CN114565967A (zh) * 2022-04-28 2022-05-31 广州丰石科技有限公司 工牌人脸检测方法、终端以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780906A (zh) * 2016-12-28 2017-05-31 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及***
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、***和装置
CN109543507A (zh) * 2018-09-29 2019-03-29 深圳壹账通智能科技有限公司 身份认证方法、装置、终端设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780906A (zh) * 2016-12-28 2017-05-31 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及***
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、***和装置
CN109543507A (zh) * 2018-09-29 2019-03-29 深圳壹账通智能科技有限公司 身份认证方法、装置、终端设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283359A (zh) * 2021-06-02 2021-08-20 万达信息股份有限公司 一种手持证件照的认证方法、***和电子设备
CN114565967A (zh) * 2022-04-28 2022-05-31 广州丰石科技有限公司 工牌人脸检测方法、终端以及存储介质

Similar Documents

Publication Publication Date Title
CN109657631B (zh) 人体姿态识别方法及装置
CN106780906B (zh) 一种基于深度卷积神经网络的人证合一识别方法及***
CN106326886B (zh) 基于卷积神经网络的手指静脉图像质量评估方法
US10262190B2 (en) Method, system, and computer program product for recognizing face
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
CN105740780B (zh) 人脸活体检测的方法和装置
CN112232117A (zh) 一种人脸识别方法、装置及存储介质
CN109685013B (zh) 人体姿态识别中头部关键点的检测方法及装置
CN106446754A (zh) 图像识别方法、度量学习方法、图像来源识别方法及装置
CN107958230B (zh) 人脸表情识别方法及装置
CN108124486A (zh) 基于云端的人脸活体检测方法、电子设备和程序产品
CN109858375B (zh) 活体人脸检测方法、终端及计算机可读存储介质
CN109376604B (zh) 一种基于人体姿态的年龄识别方法和装置
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
CN110852257B (zh) 一种人脸关键点的检测方法、装置及存储介质
CN105654035B (zh) 三维人脸识别方法及应用其的数据处理装置
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
CN112199975A (zh) 基于人脸特征的身份验证方法及装置
CN106778491A (zh) 人脸3d特征信息的获取方法及设备
CN108875488A (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质
CN109858355B (zh) 图像处理方法及相关产品
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
WO2023124869A1 (zh) 用于活体检测的方法、装置、设备及存储介质
CN110688875B (zh) 人脸质量评估网络训练方法、人脸质量评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination