CN113221830B - 一种超分活体识别方法、***、终端及存储介质 - Google Patents

一种超分活体识别方法、***、终端及存储介质 Download PDF

Info

Publication number
CN113221830B
CN113221830B CN202110605475.3A CN202110605475A CN113221830B CN 113221830 B CN113221830 B CN 113221830B CN 202110605475 A CN202110605475 A CN 202110605475A CN 113221830 B CN113221830 B CN 113221830B
Authority
CN
China
Prior art keywords
image data
super
rgb
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110605475.3A
Other languages
English (en)
Other versions
CN113221830A (zh
Inventor
徐玲玲
戴磊
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110605475.3A priority Critical patent/CN113221830B/zh
Publication of CN113221830A publication Critical patent/CN113221830A/zh
Application granted granted Critical
Publication of CN113221830B publication Critical patent/CN113221830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种超分活体识别方法、***、终端及存储介质。所述方法包括：分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；将第一图像数据输入卷积网络进行训练，得到训练好的卷积网络，卷积网络的输出为第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；将第三图像数据输入卷积网络进行训练，得到训练好的RGB超分识别网络，RGB超分识别网络的输出为第三图像数据中活体照片和非活体照片的分类分数；分别将第二图像数据和第四图像数据输入RGB超分识别网络，再次对RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络。本发明具有抗非活体图像攻击能力，能够提升人脸识别效果。

Description

一种超分活体识别方法、***、终端及存储介质
技术领域
本发明涉及人脸识别技术领域，特别是涉及一种超分活体识别方法、***、终端及存储介质。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。现有技术中，人脸识别技术通常通过摄像头采集人脸图像，将人脸图像输入人脸识别网络，通过人脸识别网络对该人脸图像进行特征提取，判断该人脸图像与档案库中存储的人脸图像是否属于同一个人。然而，无论是通过摄像头拍摄活体图像(即真人图像)还是非活体图像(即用照片伪造的图像)，最终得到的都是一张二维图片，目前的人脸识别网络对非活体图像攻击没有抵抗能力，无法准确辨别所输入人脸图像的真伪。同时，人脸图像通常包括RGB图像和IR(Infrared Radiation，红外线)图像两种格式，由于RGB图像受光照影响比较大，因此人脸识别效果较差。而IR图像虽然受光线影响小，在大背光或暗光条件下能获取更多图像信息，但IR图像本身细节信息不够，在远距离、低分辨率或模糊场景下，存在损失较大、识别效果差等不足。基于上述不足，有必要提供一种可以同时适用于RGB图像和IR图像的人脸识别网络，以提升人脸识别效果。
发明内容
本发明提供了一种超分活体识别方法、***、终端及存储介质，旨在解决现有人脸识别技术对非活体图像攻击没有抵抗能力，无法准确辨别所输入人脸图像的真伪，以及利用RGB图像和IR图像存在的损失较大、识别效果差等技术问题。
为解决上述技术问题，本发明采用的技术方案为：
一种超分活体识别方法，包括：
分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；所述第一图像数据为RGB格式的原始人脸图像，所述第二图像数据为一一对应的RGB格式和IR格式的原始人脸图像，所述第三图像数据为RGB格式的活体照片和非活体照片，所述第四图像数据为一一对应的RGB格式和IR格式的活体照片和非活体照片；
将所述第一图像数据输入卷积网络进行训练，得到训练好的卷积网络；所述卷积网络的输出为所述第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；
锁定由所述第一图像数据训练的卷积网络的网络参数，将所述第三图像数据输入所述卷积网络进行训练，得到训练好的RGB超分识别网络；所述RGB超分识别网络的输出为所述第三图像数据中活体和非活体照片的分类分数；
分别将所述第二图像数据和第四图像数据输入所述RGB超分识别网络，再次对所述RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络；
通过所述RGB+IR超分活体识别网络对待识别图像进行人脸识别。
本发明实施例采取的技术方案还包括：所述分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据之后还包括：
分别对所述第一图像数据和第二图像数据中RGB格式的原始人脸图像进行增广操作，并对所述第三图像数据和第四图像数据中的活体照片和非活体照片进行label标记。
本发明实施例采取的技术方案还包括：所述分别对所述第一图像数据和第二图像数据中RGB格式的原始人脸图像进行增广操作具体为：
分别从所述光照、模糊、噪声或压缩处理中选择至少两组操作对所述第一图像数据和第二图像数据进行组合增广。
本发明实施例采取的技术方案还包括：所述将所述第一图像数据输入卷积网络进行训练的训练过程具体为：
将所述增广操作后的第一图像数据输入卷积网络进行特征图提取，并通过卷积层和全连接层对所提取的特征图进行卷积操作，将所述特征图变为特征向量，根据输入图像对所述特征向量进行人脸分类，得到每个检测目标的人脸分类结果以及每个分类的分数，根据所述人脸分类结果以及每个分类的分数求交叉熵，获取交叉熵损失值ce_loss；
对所述特征图进行上采样操作，获取与所述第一图像数据中原始人脸图像相同尺寸的上采样图像，并计算所述上采样图像与原始人脸图像之间的欧式距离，根据所述欧式距离计算损失值pix_loss；
将所述交叉熵损失值ce_loss与损失值pix_loss相加，得到所述卷积网络的损失函数loss，根据损失函数loss对所述卷积网络进行反向更新，得到训练好的卷积网络。
本发明实施例采取的技术方案还包括：所述交叉熵损失值ce_loss的计算方式为：
上式中，n为所述第一图像数据的分类个数，labeli为所述第一图像数据的第i个分类的label，vi为所述第一图像数据的i个分类的图像产生的特征向量所获取的分数。
本发明实施例采取的技术方案还包括：所述损失值pix_loss的计算方式为：
上式中，gp为上采样图像，rp为对应的原始人脸图像，m＝h*w*c,h、w、c分别为图像的高、宽、通道数。
本发明实施例采取的技术方案还包括：所述将所述第三图像数据输入所述卷积网络进行训练的训练过程具体为：
将所述label标记后的第三图像数据输入锁定网络参数的卷积网络进行特征图提取、卷积以及分类操作，获取所述第三图像数据中活体照片和非活体照片的分类分数，根据所述活体照片和非活体照片的分类分数以及label标记计算活体损失值live_loss，得到训练好的RGB超分识别网络；
所述活体损失值live_loss的计算方式为:
上式中，l1为活体分数，l2为非活体的分数。
本发明实施例采取的技术方案还包括：所述分别将所述第二图像数据和第四图像数据输入所述RGB超分识别网络，再次对所述RGB超分识别网络进行训练包括：
将所述第二图像数据中增广操作后的RGB人脸图像与对应的IR人脸图像进行求和，生成新的第二图像数据；
将所述新的第二图像数据输入训练好的RGB超分识别网络中，对所述RGB超分识别网络进行训练，得到微调后的超分识别网络；
对所述label标记后的第四图像数据中RGB活体照片和非活体照片与对应的IR活体照片和非活体照片进行求和，生成新的第四图像数据；
将所述新的第四图像数据输入所述微调后的超分识别网络中，再次对所述超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络。
本发明实施例采取的另一技术方案为：一种超分活体识别***，包括：
数据获取模块：用于分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；所述第一图像数据为RGB格式的原始人脸图像，所述第二图像数据为一一对应的RGB格式和IR格式的原始人脸图像，所述第三图像数据为RGB格式的活体照片和非活体照片，所述第四图像数据为一一对应的RGB格式和IR格式的活体照片和非活体照片；
第一模型训练模块：用于将所述第一图像数据输入卷积网络进行训练，得到训练好的卷积网络，所述卷积网络的输出为所述第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；
第二模型训练模块：用于锁定由所述第一图像数据训练的卷积网络的网络参数，将所述第三图像数据输入所述卷积网络进行训练，得到训练好的RGB超分识别网络；所述RGB超分识别网络的输出为所述第三图像数据中活体和非活体照片的分类分数；
模型微调模块：用于分别将所述第二图像数据和第四图像数据输入所述RGB超分识别网络，再次对所述RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络，通过所述RGB+IR超分活体识别网络对待识别图像进行人脸识别。
本发明实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现上述的超分活体识别方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以执行所述超分活体识别操作。
本发明实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行上述的超分活体识别方法。
本发明实施例的超分活体识别方法、***、终端及存储介质通过RGB格式的人脸图像以及RGB格式的活体照片和非活体照片训练得到RGB超分识别网络，并通过一一对应的RGB格式和IR格式的原始人脸图像以及一一对应的RGB格式和IR格式的活体照片和非活体照片对RGB超分识别网络进行再训练，得到RGB+IR超分活体识别网络，使得人脸识别网络具有抗非活体图像攻击能力，能够在不增加***消耗的前提下，提升图像质量，进而提升人脸识别效果，并免去了训练、集成单独活体模型的工作量，使***结构更简洁，运行速度更快。本发明实施例既可以应用于单独的RGB场景，又可以应用于RGB+IR的双目摄像头场景，使用场景更加广泛。
附图说明
图1是本发明第一实施例的超分活体识别方法的流程示意图；
图2是本发明第二实施例的超分活体识别方法的流程示意图；
图3为本发明实施例的网络训练过程示意图；
图4是本发明实施例超分活体识别***的结构示意图；
图5是本发明实施例的终端结构示意图；
图6是本发明实施例的存储介质结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，是本发明第一实施例的超分活体识别方法的流程示意图。本发明第一实施例的超分活体识别方法包括以下步骤：
S10：分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；
本步骤中，场景包括但不限于考勤场景、人证场景以及监控场景等。第一图像数据中包含多个检测目标的RGB格式的原始人脸图像，第二图像数据中包含多个检测目标的一一对应的RGB格式和IR格式的原始人脸图像，第一图像数据中的人脸图像多于第二图像数据。第三图像数据中包含多个检测目标的RGB格式的活体照片和非活体照片，第四图像数据中包含多个检测目标的一一对应的RGB格式和IR格式的活体照片和非活体照片。
S11：将第一图像数据输入卷积网络进行训练，得到训练好的卷积网络；卷积网络的输出为第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；
S12：锁定由第一图像数据训练的卷积网络的网络参数，将第三图像数据输入卷积网络进行训练，得到训练好的RGB超分(即超分辨率)识别网络；RGB超分识别网络的输出为第三图像数据中活体照片和非活体照片的分类分数；
S13：分别将第二图像数据和第四图像数据输入RGB超分识别网络，再次对RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络；
S14：通过RGB+IR超分活体识别网络对待识别图像进行人脸识别。
请参阅图2，是本发明第二实施例的超分活体识别方法的流程示意图。本发明第二实施例的超分活体识别方法包括以下步骤：
S20：分别获取不同场景下包含多个检测目标的不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；
本步骤中，场景包括但不限于考勤场景、人证场景以及监控场景等。第一图像数据中包含多个检测目标的RGB格式的原始人脸图像，第二图像数据中包含多个检测目标的一一对应的RGB格式和IR格式的原始人脸图像，第一图像数据中的人脸图像多于第二图像数据。第三图像数据中包含多个检测目标的RGB格式的活体照片和非活体照片，第四图像数据中包含多个检测目标的一一对应的RGB格式和IR格式的活体照片和非活体照片。
S21：分别对第一图像数据和第二图像数据中RGB格式的原始人脸图像进行增广操作，并对第三图像数据和第四图像数据中的活体照片和非活体照片进行label标记；
本步骤中，增广操作包括光照、模糊、噪声或/和压缩处理等操作；其中，光照处理算法包括强光、暗光、侧光或点光源等，模糊处理算法包括运动模糊、高斯模糊或中值模糊等，噪声处理算法包括高斯噪声或椒盐噪声等，增强处理算法包括对比度变换、饱和度变换、伽马变换或log变换等，压缩处理算法包括图片压缩或图片插值缩放等。在对第一图像数据和第二图像数据进行增广操作时，分别从光照、模糊、噪声或压缩处理中选择至少两组操作，并依次选择至少两组操作中的任意一种增广算法对图像进行组合增广。优选地，本发明实施例选择光照、模糊以及压缩处理三组操作，分别从三组操作算法中选择强光、中值模糊以及图片压缩算法，然后分别对第一图像数据和第二图像数据依次执行强光、中值模糊以及图片压缩处理，得到增广操作后的第一图像数据和第二图像数据。
本发明实施例中，对第三图像数据和第四图像数据进行标记具体为：活体照片的label标记为1，非活体照片的label标记为0，具体也可采用其他参数进行标记。
S22：将增广操作后的第一图像数据输入卷积网络进行特征图提取，并通过CONV层(卷积层)和FC层(全连接层)对提取的特征图进行卷积操作，将特征图变为特征向量，根据输入的图像数据对特征向量进行softmax人脸分类，得到每个检测目标的人脸分类结果以及每个分类的分数，人脸分类结果以及每个分类的分数求交叉熵，获取交叉熵损失值ce_loss；
本步骤中，卷积网络包括但不限于resnet、desnet、shufflenet等，交叉熵损失值ce_loss具体为：
式(1)中，n为第一图像数据的分类个数，labeli为第一图像数据的第i个分类的label(标签)，vi为第一图像数据的i个分类的图像产生的特征向量所获取的分数。
S23：对提取的特征图进行上采样操作，获取与第一图像数据中原始人脸图像相同尺寸的上采样图像，并计算上采样图像与原始人脸图像之间的欧式距离(在m维空间中两个点之间的真实距离)，根据欧式距离计算损失值pix_loss：
式(2)中，gp为上采样图像，rp为第一图像数据中对应的原始人脸图像，m＝h*w*c,h、w、c分别为图像的高、宽、通道数。
S24：利用损失函数loss＝ce_loss+pix_loss对卷积网络进行反向更新，得到训练好的卷积网络；
S25:锁定训练好的卷积网络的特征图提取层、卷积层、全连接层和特征向量等网络参数，并将label标记后的第三图像数据输入卷积网络进行特征图提取、卷积以及分类操作，获取活体照片和非活体照片的分类分数，根据活体照片和非活体照片的分类分数以及标记的label计算活体损失值live_loss，得到训练好的RGB超分识别网络；
本步骤中，请一并参阅图3，为网络训练过程示意图。其中，黑色框线部分即为锁定的网络参数部分。活体损失值live_loss的计算方式具体为:
式(3)中，l1为活体分数，l2为非活体的分数。
基于以上步骤，完成RGB超分识别网络的训练，该RGB超分识别网络自带活体输出，其中的特征向量和活体分类可直接应用于人脸识别工程。
S26：将第二图像数据中增广操作后的RGB人脸图像与对应的IR人脸图像进行求和，生成新的第二图像数据；
S27：将新的第二图像数据输入训练好的RGB超分识别网络中，对RGB超分识别网络进行训练，得到微调后的超分识别网络；
本步骤中，RGB超分识别网络的微调训练过程与S22至S24所述的卷积网络训练过程相同，本步骤不再赘述。可以理解的是，RGB超分识别网络的微调训练过程中，在计算损失函数pix_loss时，仅需计算上采样图像与第二图像数据中RGB格式的原始人脸图像之间的欧式距离。
S28：对标注后的第四图像数据中RGB活体照片和非活体照片与对应的IR活体照片和非活体照片进行求和，生成新的第四图像数据；
S29：将新的第四图像数据输入微调后的RGB超分识别网络中，再次对超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络，通过RGB+IR超分活体识别网络对待识别图像进行人脸识别；
本步骤中，超分识别网络的微调训练过程与S25中RGB超分识别网络的训练过程相同，本步骤不再赘述。训练完成后的RGB+IR超分活体识别网络可应用于RGB、IR双目摄像头场景，相较于单独的RGB识别，对光照、模糊的适应性更好，活体判断也更准确。
基于上述，本发明实施例的超分活体识别方法通过RGB格式的人脸图像以及RGB格式的活体照片和非活体照片训练得到RGB超分识别网络，并通过一一对应的RGB格式和IR格式的原始人脸图像以及一一对应的RGB格式和IR格式的活体照片和非活体照片对RGB超分识别网络进行再训练，得到RGB+IR超分活体识别网络，使得人脸识别网络具有抗非活体图像攻击能力，能够在不增加***消耗的前提下，提升图像质量，进而提升人脸识别效果，并免去了训练、集成单独活体模型的工作量，使***结构更简洁，运行速度更快。本发明实施例既可以应用于单独的RGB场景，又可以应用于RGB+IR的双目摄像头场景，使用场景更加广泛。
在一个可选的实施方式中，还可以：将所述的超分活体识别方法的结果上传至区块链中。
具体地，基于所述的超分活体识别方法的结果得到对应的摘要信息，具体来说，摘要信息由所述的超分活体识别方法的结果进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户可以从区块链中下载得该摘要信息，以便查证所述的超分活体识别方法的结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
请参阅图4，是本发明实施例超分活体识别***的结构示意图。本发明实施例超分活体识别***40包括：
数据获取模块41：用于分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；其中，第一图像数据为RGB格式的原始人脸图像，第二图像数据为一一对应的RGB格式和IR格式的原始人脸图像，第三图像数据为RGB格式的活体照片和非活体照片，第四图像数据为一一对应的RGB格式和IR格式的活体照片和非活体照片；
第一模型训练模块42：用于将第一图像数据输入卷积网络进行训练，得到训练好的卷积网络；卷积网络的输出为第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；
第二模型训练模块43：用于锁定由第一图像数据训练的卷积网络的网络参数，将第三图像数据输入卷积网络进行训练，得到训练好的RGB超分识别网络；RGB超分识别网络的输出为第三图像数据中活体照片和非活体照片的分类分数；
模型微调模块44：用于分别将第二图像数据和第四图像数据输入RGB超分识别网络，再次对RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络，通过RGB+IR超分活体识别网络对待识别图像进行人脸识别。
请参阅图5，为本发明实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述超分活体识别方法的程序指令。
处理器51用于执行存储器52存储的程序指令以执行超分活体识别操作。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图6，图6为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种超分活体识别方法，其特征在于，包括：
分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；所述第一图像数据为RGB格式的原始人脸图像，所述第二图像数据为一一对应的RGB格式和IR格式的原始人脸图像，所述第三图像数据为RGB格式的活体照片和非活体照片，所述第四图像数据为一一对应的RGB格式和IR格式的活体照片和非活体照片；
将所述第一图像数据输入卷积网络进行训练，得到训练好的卷积网络；所述卷积网络的输出为所述第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；
锁定由所述第一图像数据训练的卷积网络的网络参数，将所述第三图像数据输入所述卷积网络进行训练，得到训练好的RGB超分识别网络；所述RGB超分识别网络的输出为所述第三图像数据中活体照片和非活体照片的分类分数；
分别将所述第二图像数据和第四图像数据输入所述RGB超分识别网络，再次对所述RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络；
通过所述RGB+IR超分活体识别网络对待识别图像进行人脸识别。
2.根据权利要求1所述的超分活体识别方法，其特征在于，所述分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据之后还包括：
分别对所述第一图像数据和第二图像数据中RGB格式的原始人脸图像进行增广操作，并对所述第三图像数据和第四图像数据中的活体照片和非活体照片进行label标记。
3.根据权利要求2所述的超分活体识别方法，其特征在于，所述分别对所述第一图像数据和第二图像数据中RGB格式的原始人脸图像进行增广操作具体为：
分别从光照、模糊、噪声或压缩处理中选择至少两组操作对所述第一图像数据和第二图像数据进行组合增广。
4.根据权利要求2或3所述的超分活体识别方法，其特征在于，所述将所述第一图像数据输入卷积网络进行训练的训练过程具体为：
将所述增广操作后的第一图像数据输入卷积网络进行特征图提取，并通过卷积层和全连接层对所提取的特征图进行卷积操作，将所述特征图变为特征向量，根据输入图像对所述特征向量进行人脸分类，得到每个检测目标的人脸分类结果以及每个分类的分数，根据所述人脸分类结果以及每个分类的分数求交叉熵，获取交叉熵损失值ce_loss；
对所述特征图进行上采样操作，获取与所述第一图像数据中原始人脸图像相同尺寸的上采样图像，并计算所述上采样图像与原始人脸图像之间的欧式距离，根据所述欧式距离计算损失值pix_loss；
将所述交叉熵损失值ce_loss与损失值pix_loss相加，得到所述卷积网络的损失函数loss，根据损失函数loss对所述卷积网络进行反向更新，得到训练好的卷积网络。
5.根据权利要求4所述的超分活体识别方法，其特征在于，所述交叉熵损失值ce_loss的计算方式为：
上式中，n为所述第一图像数据的分类个数，labeli为所述第一图像数据的第i个分类的label，vi为所述第一图像数据的i个分类的图像产生的特征向量所获取的分数。
6.根据权利要求4所述的超分活体识别方法，其特征在于，所述损失值pix_loss的计算方式为：
上式中，gp为上采样图像，rp为对应的原始人脸图像，m＝h*w*c,h、w、c分别为图像的高、宽、通道数。
7.根据权利要求4所述的超分活体识别方法，其特征在于，所述将所述第三图像数据输入所述卷积网络进行训练的训练过程具体为：
将所述label标记后的第三图像数据输入锁定网络参数的卷积网络进行特征图提取、卷积以及分类操作，获取所述第三图像数据中活体照片和非活体照片的分类分数，根据所述活体照片和非活体照片的分类分数以及label标记计算活体损失值live_loss，得到训练好的RGB超分识别网络；
所述活体损失值live_loss的计算方式为:
上式中，l1为活体分数，l2为非活体的分数。
8.根据权利要求7所述的超分活体识别方法，其特征在于，所述分别将所述第二图像数据和第四图像数据输入所述RGB超分识别网络，再次对所述RGB超分识别网络进行训练包括：
将所述第二图像数据中增广操作后的RGB人脸图像与对应的IR人脸图像进行求和，生成新的第二图像数据；
将所述新的第二图像数据输入训练好的RGB超分识别网络中，对所述RGB超分识别网络进行训练，得到微调后的超分识别网络；
对所述label标记后的第四图像数据中RGB活体照片和非活体照片与对应的IR活体照片和非活体照片进行求和，生成新的第四图像数据；
将所述新的第四图像数据输入所述微调后的超分识别网络中，再次对所述超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络。
9.一种超分活体识别***，其特征在于，包括：
数据获取模块：用于分别获取不同场景下包含不同格式的第一图像数据、第二图像数据、第三图像数据和第四图像数据；所述第一图像数据为RGB格式的原始人脸图像，所述第二图像数据为一一对应的RGB格式和IR格式的原始人脸图像，所述第三图像数据为RGB格式的活体照片和非活体照片，所述第四图像数据为一一对应的RGB格式和IR格式的活体照片和非活体照片；
第一模型训练模块：用于将所述第一图像数据输入卷积网络进行训练，得到训练好的卷积网络；所述卷积网络的输出为所述第一图像数据中每个检测目标的人脸分类结果以及每个分类的分数；
第二模型训练模块：用于锁定由所述第一图像数据训练的卷积网络的网络参数，将所述第三图像数据输入所述卷积网络进行训练，得到训练好的RGB超分识别网络；所述RGB超分识别网络的输出为所述第三图像数据中活体和非活体照片的分类分数；
模型微调模块：用于分别将所述第二图像数据和第四图像数据输入所述RGB超分识别网络，再次对所述RGB超分识别网络进行训练，得到训练好的RGB+IR超分活体识别网络，通过所述RGB+IR超分活体识别网络对待识别图像进行人脸识别。
10.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1至8任一项所述的超分活体识别方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以执行所述超分活体识别方法。
11.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至8任一项所述的超分活体识别方法。
CN202110605475.3A 2021-05-31 2021-05-31 一种超分活体识别方法、***、终端及存储介质 Active CN113221830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110605475.3A CN113221830B (zh) 2021-05-31 2021-05-31 一种超分活体识别方法、***、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110605475.3A CN113221830B (zh) 2021-05-31 2021-05-31 一种超分活体识别方法、***、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113221830A CN113221830A (zh) 2021-08-06
CN113221830B true CN113221830B (zh) 2023-09-01

Family

ID=77081930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110605475.3A Active CN113221830B (zh) 2021-05-31 2021-05-31 一种超分活体识别方法、***、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113221830B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508694A (zh) * 2018-12-10 2019-03-22 上海众源网络有限公司 一种人脸识别方法及识别装置
CN110245645A (zh) * 2019-06-21 2019-09-17 北京字节跳动网络技术有限公司 人脸活体识别方法、装置、设备及存储介质
CN111539311A (zh) * 2020-04-21 2020-08-14 上海锘科智能科技有限公司 基于ir和rgb双摄的活体判别方法、装置及***
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508694A (zh) * 2018-12-10 2019-03-22 上海众源网络有限公司 一种人脸识别方法及识别装置
CN110245645A (zh) * 2019-06-21 2019-09-17 北京字节跳动网络技术有限公司 人脸活体识别方法、装置、设备及存储介质
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN111539311A (zh) * 2020-04-21 2020-08-14 上海锘科智能科技有限公司 基于ir和rgb双摄的活体判别方法、装置及***

Also Published As

Publication number Publication date
CN113221830A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Anwar et al. Image colorization: A survey and dataset
US8761446B1 (en) Object detection with false positive filtering
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
Raghavendra et al. Exploring the usefulness of light field cameras for biometrics: An empirical study on face and iris recognition
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
US11676390B2 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
CN112733802B (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
CN109271930B (zh) 微表情识别方法、装置与存储介质
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
CN112052831A (zh) 人脸检测的方法、装置和计算机存储介质
WO2022222575A1 (zh) 用于目标识别的方法和***
CN111783629A (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN112651333A (zh) 静默活体检测方法、装置、终端设备和存储介质
CN115862055A (zh) 基于对比学习和对抗训练的行人重识别方法及装置
Paschalakis et al. Real-time face detection and tracking for mobile videoconferencing
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及***
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113221830B (zh) 一种超分活体识别方法、***、终端及存储介质
CN113723310B (zh) 基于神经网络的图像识别方法及相关装置
Edmunds Protection of 2D face identification systems against spoofing attacks
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant