CN114913404A - 模型训练、人脸图像活体检测方法、电子设备及存储介质 - Google Patents

模型训练、人脸图像活体检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114913404A
CN114913404A CN202210438276.2A CN202210438276A CN114913404A CN 114913404 A CN114913404 A CN 114913404A CN 202210438276 A CN202210438276 A CN 202210438276A CN 114913404 A CN114913404 A CN 114913404A
Authority
CN
China
Prior art keywords
face image
body face
living body
feature vector
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210438276.2A
Other languages
English (en)
Inventor
刘冲冲
付贤强
何武
朱海涛
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202210438276.2A priority Critical patent/CN114913404A/zh
Publication of CN114913404A publication Critical patent/CN114913404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及图像识别领域，公开了一种模型训练、人脸图像活体检测方法、电子设备及存储介质，通过构建特征提取模型，以及不包含输入的特征生成模型；提取训练集中相同数量的第一活体人脸图像和第一假体人脸图像；在第一活体人脸图像上叠加偏差张量，得到第二假体人脸图像；以第一活体人脸图像、第一假体人脸图像和第二假体人脸图像作为训练样本，输入到特征提取模型中，对特征提取模型和特征生成模型进行第一联合训练；损失约束为第一活体人脸图像对应的第一特征向量与所述第二特征向量的方向相互靠近，第一假体人脸图像、第二假体人脸图像对应的第一特征向量与第二特征向量的方向相互远离，从而有效提高对假体人脸图像的检测准确性。

Description

模型训练、人脸图像活体检测方法、电子设备及存储介质
技术领域
本发明涉及图像识别领域，特别涉及一种模型训练、人脸图像活体检测方法、电子设备及存储介质。
背景技术
人脸图像识别技术日益成熟，越来越多的行业使用它作为认证授权手段。人脸图像活体检测技术通常与人脸图像识别技术搭配使用，用于拒绝被授权人的照片、视频、头套、头模等假体道具的图像的认证。
目前很多人脸图像活体检测功能采用深度学习技术实现。具体来说，这类技术一般搜集大量的活体人脸图像和假体人脸图像数据，基于深度学习图像分类技术，训练出图像二分类模型，对输入的人脸图像执行二分类，判断输入图像是活体还是假体。然而，假体人脸图像***，基于图像二分类技术的活体检测模型鲁棒性不高，在处理模型未见过的假体人脸图像时，容易将之误判为活体。为了提高该技术的鲁棒性，通常需要搜集尽可能多类型的假体人脸图像数据用于训练模型。但是，假体类型无穷无尽，不可能搜集到全部类型的假体人脸图像数据，因此常规的深度学习图像分类技术不能很好的完成活体检测任务。
发明内容
本发明实施方式的目的在于提供一种模型训练、人脸图像活体检测方法、电子设备及存储介质，通过有限类型假体人脸图像数据集和活体人脸图像数据集，就可以训练出鲁棒性较高的特征提取模型，从而有效提高对假体人脸图像的检测准确性。
为解决上述技术问题，本发明的实施方式提供了一种模型训练方法，包括：
构建用于提取人脸图像的第一特征向量的特征提取模型，以及不包含输入且输出为第二特征向量的特征生成模型；所述第一特征向量和所述第二特征向量为维度相同的一维向量；
提取训练集中相同数量的第一活体人脸图像和第一假体人脸图像；
在所述第一活体人脸图像上叠加与所述第一活体人脸图像对应的且形状相同的偏差张量，得到所述相同数量的第二假体人脸图像；
以所述第一活体人脸图像、所述第一假体人脸图像和所述第二假体人脸图像作为同一批次的第一训练样本，输入到所述特征提取模型中，对所述特征提取模型和所述特征生成模型进行第一联合训练；
其中，所述第一联合训练采用的损失函数对应的损失约束为所述第一活体人脸图像对应的所述第一特征向量与所述第二特征向量的方向相互靠近，所述第一假体人脸图像、所述第二假体人脸图像对应的所述第一特征向量与所述第二特征向量的方向相互远离。
本发明的实施方式还提供了一种人脸图像活体检测方法，包括：
将待检测人脸图像输入到特征提取模型，得到所述待检测人脸图像对应的第一特征向量；
获取特征生成模型输出的第二特征向量；
根据所述待检测人脸图像对应的第一特征向量与所述特征生成模型输出的第二特征向量的方向差量，确定所述待检测人脸图像是否为活体人脸图像；
其中，所述特征提取模型和所述特征生成模型为采用如上所述的模型训练方法训练获得。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信本发明的实施方式还提供了一种计算机可读存储介质至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的模型训练方法，以及如上所述的人脸图像活体检测方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型训练方法，以及如上所述的人脸图像活体检测方法。
本发明实施方式相对于现有技术而言，通过构建用于提取人脸图像的第一特征向量的特征提取模型，以及不包含输入且输出为第二特征向量的特征生成模型；第一特征向量和第二特征向量为维度相同的一维向量；提取训练集中相同数量的第一活体人脸图像和第一假体人脸图像；在第一活体人脸图像上叠加与第一活体人脸图像对应的且形状相同的偏差张量，得到上述相同数量的第二假体人脸图像；以第一活体人脸图像、第一假体人脸图像和第二假体人脸图像作为同一批次的第一训练样本，输入到特征提取模型中，对特征提取模型和特征生成模型进行第一联合训练；其中，第一联合训练采用的损失函数对应的损失约束为第一活体人脸图像对应的第一特征向量与第二特征向量的方向相互靠近，第一假体人脸图像、第二假体人脸图像对应的第一特征向量与第二特征向量的方向相互远离。本方案中，利用活体人脸图像变化单一，假体人脸图像变化万千的特点，使用易于搜集的有限类型的假体人脸图像和活体人脸图像，即可训练得到鲁棒性很高的特征提取模型。在训练过程中，通过在活体人脸图像上叠加偏差张量后形成的假体人脸图像来补充用于模型训练的有限类型假体人脸图像数据，并通过损失约束使活体人脸图像对应的第一特征向量的方向与指定方向相互靠近，假体人脸图像对应的第一特征向的方向与指定方向相互远离，以提高特征提取模型的鲁棒性，使模型能够正确处理模型未见过的类型假体人脸图像，从而有效提高对假体人脸图像的检测准确性。
附图说明
图1是根据本发明实施方式的模型训练方法的具体流程图；
图2是根据本发明实施方式的偏差张量的获取方法的具体流程图；
图3是根据本发明实施方式的人脸图像活体检测方法的具体流程图；
图4是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种模型训练方法，如图1所示，本实施例提供的模型训练方法，包括如下步骤。
步骤101：构建用于提取人脸图像的第一特征向量的特征提取模型，以及不包含输入且输出为第二特征向量的特征生成模型；第一特征向量和第二特征向量为维度相同的一维向量。
具体的，构建常规的卷积深度学习网络net作为特征提取模型，net的输入为人脸图像，输出为Nx1维的特征向量，本实施例中将该特征向量记为第一特征向量。其中N为依据经验设置的正整数超参数，例如可以取N=128。
同时，构建常规的深度学习网络netd作为特征生成模型，netd无输入，输出为Nx1维的特征向量，本实施例中将该特征向量记为第二特征向量。
可见，第一特征向量和第二特征向量均为Nx1维的特征向量，即维度相同的一维向量。
步骤102：提取训练集中相同数量的第一活体人脸图像和第一假体人脸图像。
其中，训练集包含常规预处理后的活体人脸图像数据和假体人脸图像数据，所述常规预处理包含但不限于将人脸图像数据归一化。
具体地，随机从训练集中采样B1张活体人脸图像作为第一活体人脸图像，记为x(b) live；和B1张假体人脸图像作为第一假体人脸图像，记为x(b) fake；其中，B1为正整数超参数，依据经验，可取B1=32，b=1,2,3…, B1。
需要说明的是，B1张活体人脸图像和B1张假体人脸图像，可以是针对不同人的人脸生成的活体人脸图像或是假体人脸图像，两类人脸图像之间就是否针对同一人，并无严格的一一对应关系。
步骤103：在第一活体人脸图像上叠加与第一活体人脸图像对应的且形状相同的偏差张量，得到相同数量的第二假体人脸图像。
具体地，为了扩充训练样本中假体人脸图像的类型和数量，本实施例预先针对每个第一活体人脸图像生成其对应的且形状相同的偏差张量；将该偏差张量与对应的第一活体人脸图像进行叠加并且归一化后，得到新的人脸图像。由于该新的人脸图像是通过合成得到而非活体人脸图像，因此将得到的新的人脸图像记为第二假体人脸图像。通过对每个第一活体人脸图像进行偏差张量的叠加，可得到与第一活体人脸图像的数量相同的多张第二假体人脸图像。
其中，上述偏差张量可以根据实际需求或应用场景采用多种方法灵活生成。例如，可以通过构建偏差模型，通过偏差模型对第一活体人脸图像进行处理，以个性化的生成每个第一活体人脸图像对应的偏差张量；也可以采用固定的偏差张量；也可以采用其他映射关系设置每个第一活体人脸图像对应的偏差张量。本实施例中对偏差张量的生成方法不做限定。
步骤104：以第一活体人脸图像、第一假体人脸图像和第二假体人脸图像作为同一批次的第一训练样本，输入到特征提取模型中，对特征提取模型和特征生成模型进行第一联合训练；
其中，第一联合训练采用的损失函数对应的损失约束为第一活体人脸图像对应的第一特征向量与第二特征向量的方向相互靠近，第一假体人脸图像、第二假体人脸图像对应的第一特征向量与第二特征向量的方向相互远离。
本实施例中，特征提取模型net和特征生成模型netd可视为本方案中实现活体检测的主体网络。其基本思想为：net将输入的人脸图像降维到Nx1维的特征向量。由于活体人脸图像只来源于活体，所以认为活体人脸图像的Nx1维特征向量是一致的，也就是说所有的活体人脸图像对应的Nx1维特征向量都在一个方向上，而这个方向同时也是需要由netd学习得到的方向，即netd输出的Nx1维特征向量。并且，假体人脸图像对应的Nx1维的特征向量则不在该方向上。这样，通过约束所有的活体人脸图像对应的Nx1维特征向量与netd输出的Nx1维特征向量相互靠近，所有的假体人脸图像对应的Nx1维特征向量与netd输出的Nx1维特征向量相互远离（远离情况的多样化对应了假体人脸图像变化万千的特点），以达到提高对假体人脸图像的检测准确性的效果。
具体地，在训练net、netd时，可采用联合训练的方式同时对net、netd进行训练；可以上述第一活体人脸图像、第一假体人脸图像和第二假体人脸图像作为同一批次的第一训练样本，即第一训练样本的批大小为3B1；将同一批次的第一训练样本依次输入到特征提取模型中，得到上述各人脸图像对应的第一特征向量；然后基于各第一特征向量与netd输出的第二特征向量在方向上的损失进行损失函数的构建。该损失函数对应的损失约束为在不断迭代训练的过程中，使得第一活体人脸图像对应的第一特征向量与第二特征向量的方向相互靠近，第一假体人脸图像、第二假体人脸图像对应的第一特征向量与第二特征向量的方向相互远离。
这样，当联合训练达到模型收敛条件停止后，训练好的net可以有效对活体人脸图像和假体人脸图像进行高鲁棒性的特征提取，即提取的活体人脸图像的第一特征向量与netd输出的第二特征向量在方向上比较近，而提取的假体人脸图像的第一特征向量与netd输出的第二特征向量在方向上比较远。因此，基于从待检测人脸图像提取的第一特征向量与netd输出的第二特征向量在方向上的远近，就可以针对待检测的人脸图像是否为活体进行检测了。
在一个例子中，构建第一联合训练采用的损失函数，包括如下步骤：
步骤一：分别计算第一训练样本中第一活体人脸图像、第一假体人脸图像和第二假体人脸图像对应的第一特征向量与第二特征向量的方向夹角的平均余弦值。
具体地，可通过如下公式计算平均余弦值：
Figure 596427DEST_PATH_IMAGE001
………………………（1）
Figure 196036DEST_PATH_IMAGE002
………………………（2）
Figure DEST_PATH_IMAGE003
………………………（3）
其中，
Figure 803735DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
、
Figure 370851DEST_PATH_IMAGE006
依次为第b个第一活体人脸图像、第一假体人脸图像和第二假体人脸图像对应的第一特征向量，
Figure DEST_PATH_IMAGE007
为第b个第二特征向量，n为特征向量维度，
Figure 354988DEST_PATH_IMAGE008
为沿着n维度求*的L2范数，B2为同一批次的第一训练样本的1/3样本数。
步骤二：采用如下公式构建第三损失函数作为第二联合训练采用的损失函数：
Figure DEST_PATH_IMAGE009
………………………（4）
其中，loss 3 为所述第三损失函数的损失值，cos live 、cos fake 、cos fx 依次为第一活体人脸图像、第一假体人脸图像和第二假体人脸图像对应的平均余弦值，
Figure 809103DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
为超参数，
Figure 853282DEST_PATH_IMAGE012
为偶数，eps是正小数。
基于深度学习常规梯度下降法更新net和netd的可学习参数wnet和wnetd：
Figure DEST_PATH_IMAGE013
按照常规方法判断net和netd是否已经训练收敛，例如判断是否达到指定训练次数，或者判断loss 3 不再有明显变化，如果是，则输出训练后的net和netd；如果否，则选择下一批次的第一训练样本继续执行训练。
与相关技术相比，本实施例通过构建用于提取人脸图像的第一特征向量的特征提取模型，以及不包含输入且输出为第二特征向量的特征生成模型；第一特征向量和第二特征向量为维度相同的一维向量；提取训练集中相同数量的第一活体人脸图像和第一假体人脸图像；在第一活体人脸图像上叠加与第一活体人脸图像对应的且形状相同的偏差张量，得到上述相同数量的第二假体人脸图像；以第一活体人脸图像、第一假体人脸图像和第二假体人脸图像作为同一批次的第一训练样本，输入到特征提取模型中，对特征提取模型和特征生成模型进行第一联合训练；其中，第一联合训练采用的损失函数对应的损失约束为第一活体人脸图像对应的第一特征向量与第二特征向量的方向相互靠近，第一假体人脸图像、第二假体人脸图像对应的第一特征向量与第二特征向量的方向相互远离。本方案中，利用活体人脸图像变化单一，假体人脸图像变化万千的特点，使用易于搜集的有限类型的假体人脸图像和活体人脸图像，即可训练得到鲁棒性很高的特征提取模型。在训练过程中，通过在活体人脸图像上叠加偏差张量后形成的假体人脸图像来补充用于模型训练的有限类型假体人脸图像数据，并通过损失约束使活体人脸图像对应的第一特征向量的方向与指定方向相互靠近，假体人脸图像对应的第一特征向的方向与指定方向相互远离，以提高特征提取模型的鲁棒性，使模型能够正确处理模型未见过的类型假体人脸图像，从而有效提高对假体人脸图像的检测准确性。
本发明的另一实施方式涉及一种偏差张量的获取方法，该方法可用于在上述实施例中，获取与第一活体人脸图像对应的且形状相同的偏差张量。如图2所示，该偏差张量的获取方法包括如下步骤。
步骤201：构建用于生成与活体人脸图像对应且形状相同的偏差张量的偏差模型，以及用于识别人脸图像为活体或假体的二分类模型。
具体的，构建常规的卷积深度学习网络netf作为偏差模型，netf的输入为人脸图像，输出为与输入的人脸图像形状一样的张量，本实施例中将该张量记为偏差张量。
同时，构建常规的深度学习网络netj作为二分类模型，netj的输入为人脸图像，输出为1维标量。
步骤202：提取训练集中相同数量的第二活体人脸图像和第三假体人脸图像。
其中，训练集包含常规预处理后的活体人脸图像数据和假体人脸图像数据，所述常规预处理包含但不限于将人脸图像数据归一化。
具体地，随机从训练集中采样B2张活体人脸图像作为第二活体人脸图像，记为x(b) live；和 B2张假体人脸图像作为第三假体人脸图像，记为x(b) fake；其中，B2为正整数超参数，依据经验，可取B2=32，b=1,2,3…, B2。
需要说明的是，B2张活体人脸图像和B2张假体人脸图像，可以是针对不同人的人脸生成的活体人脸图像或是假体人脸图像，两类人脸图像之间就是否针对同一人，并无严格的一一对应关系。
另外，本方案为方便统一对活体人脸图像和假体人脸图像进行标识，均统一将活体人脸图像记为x(b) live、将训练集中的假体人脸图像记为x(b) fake、将通过对活体人脸图像叠加偏差张量后得到的假体人脸图像记为fx(b)。但本领域技术人员需知道的是，其中b仅是泛指人脸图像在某一人脸图像集合中的序数，其取值范围和对应的具体图像内容仅在相应的人脸图像集合范围内有效，并不作为对不同人脸图像集合之间的人脸图像的限定。例如，在上述B1张的人脸图像集合内，b的取值范围为1~B1，而在上述B2张的人脸图像集合内，b的取值范围为1~B2；在B1张人脸图像集合、B2张人脸图像集合内相同序数b的同类型人脸图像可以为同一人脸图像，也可以为不同的人脸图像，且B1和B2的大小可以相同，也可以不同。
步骤203：以第二活体人脸图像、第三假体人脸图像作为同一批次的第二训练样本，将第二活体人脸图像输入到偏差模型得到预测偏差张量，将第二活体人脸图像、第三假体人脸图像以及在第二活体人脸图像上叠加对应的预测偏差张量后的预测第二假体人脸图像输入到二分类模型，对偏差模型和二分类模型进行第二联合训练；
其中，第二联合训练采用的损失函数，是基于各第二训练样本对应的分类损失、以及偏差张量的最小化损失构建。
本实施例中，netf的作用是接收输入的活体人脸图像，并负责输出一个偏差张量，这个偏差张量叠加到原活体人脸图像上，能够得到“伪假体人脸图像”，伪假体人脸图像在本申请接下来的模型训练中作为假体人脸图像使用，以丰富不易搜集的假体人脸图像数据类型。netj用于辅助训练netf，基本方法为正常训练netf形成的“伪假体人脸图像”为活体/假体人脸图像的二分类器，然后指导netf生成能够将活体人脸图像变为“伪假体人脸图像”的偏差张量。
具体地，在训练netf、netj时，可采用联合训练的方式同时对netf、netj进行训练；可以上述第二活体人脸图像、第三假体人脸图像作为同一批次的第二训练样本，即第二训练样本的批大小为2B2；对同一批次的第二训练样本，将其中所有第二活体人脸图像依次输入到偏差模型netf得到预测偏差张量，然后，将第二活体人脸图像、第三假体人脸图像以及在第二活体人脸图像上叠加对应的预测偏差张量后的预测第二假体人脸图像依次输入到二分类模型netj，对偏差模型和二分类模型进行联合训练，即第二联合训练。
第二联合训练采用的损失函数，是基于各第二训练样本对应的分类损失、以及偏差张量的最小化损失构建。其中，第二训练样本对应的分类损失越小，表征对训练样本的活体人脸图像和假体人脸图像的判别上越准确，而偏差张量最小化则体现预测第二假体人脸图像与原第二活体人脸图像之间的特征差距较小，可以提高所训练模型的鲁棒性。
本实施例中，对损失函数的具体形式不做限定，只需要满足损失函数所要达到的模型训练目标即可。
在一个例子中，构建上述第二联合训练采用的损失函数，包括：
采用如下公式构建第一损失函数（5）和第二损失函数（6）：
Figure 392848DEST_PATH_IMAGE014
………………………（5）
Figure DEST_PATH_IMAGE015
………………………（6）
其中，loss 1为第一损失函数的损失值，
Figure 180675DEST_PATH_IMAGE016
为第b个第二活体人脸图像对应的预测第二假体人脸图像的分类值，dx (b) 为第b个第二活体人脸图像对应的预测偏差张量，loss 2为第二损失函数的损失值，
Figure DEST_PATH_IMAGE017
为第b个第二活体人脸图像的分类值，
Figure 738564DEST_PATH_IMAGE018
为第b个第三假体人脸图像的分类值，B1为同一批次的第二训练样本的1/2样本数，
Figure DEST_PATH_IMAGE019
、
Figure 688066DEST_PATH_IMAGE020
、
Figure DEST_PATH_IMAGE021
、为超参数。
基于深度学习常规梯度下降法更新netf和netj的可学习参数wnetf和wnetj：
Figure 714928DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
按照常规方法判断netf和netj是否已经训练收敛，例如判断是否达到指定训练次数，或者判断loss 1和loss 2不再有明显变化，如果是，则输出训练后的netf和netj；如果否，则选择下一批次的第二训练样本继续执行训练。
步骤204：将第一活体人脸图像输入到训练好的偏差模型中，得到与第一活体人脸图像对应的且形状相同的偏差张量。
具体地，在得到训练好的偏差模型netf后，可将步骤102中从训练集中提取的第一活体人脸图像输入到该偏差模型中，即可得到与第一活体人脸图像对应的且形状相同的偏差张量。
与相关技术相比，本实施例通过构建用于生成与活体人脸图像对应且形状相同的偏差张量的偏差模型，以及用于识别人脸图像为活体或假体的二分类模型；提取训练集中相同数量的第二活体人脸图像和第三假体人脸图像；以第二活体人脸图像、第三假体人脸图像作为同一批次的第二训练样本，将第二活体人脸图像输入到偏差模型得到预测偏差张量，将第二活体人脸图像、第三假体人脸图像以及在第二活体人脸图像上叠加对应的预测偏差张量后的预测第二假体人脸图像输入到二分类模型，对偏差模型和二分类模型进行第二联合训练，通过基于各第二训练样本对应的分类损失、以及偏差张量的最小化损失实现对偏差模型的训练；最后，将第一活体人脸图像输入到训练好的偏差模型中，即可得到与第一活体人脸图像对应的且形状相同的偏差张量。
本发明的另一实施方式涉及一种人脸图像活体检测方法，该人脸图像活体检测方法基于上述的模型训练方法实现。如图3所示，该人脸图像活体检测方法包括如下步骤。
步骤301：将待检测人脸图像输入到特征提取模型，得到待检测人脸图像对应的第一特征向量。
具体地，使用上述模型训练方法训练得到的特征提取模型net，对待检测的人脸图像进行特征提取，得到待检测人脸图像对应的第一特征向量。
步骤302：获取特征生成模型输出的第二特征向量。
具体地，使用上述模型训练方法训练得到的特征生成模型netd，生成第二特征向量。第一特征向量和第二特征向量为相同维度的一维向量。
步骤303：根据待检测人脸图像对应的第一特征向量与特征生成模型输出的第二特征向量的方向差量，确定待检测人脸图像是否为活体人脸图像。
具体地，第二特征向量的方向是用于衡量所有活体人脸图像的第一特征向量所对应方向的标杆方向。通过比较待检测人脸图像对应的第一特征向量与特征生成模型输出的第二特征向量的方向差量的大小，可以快速判断出待检测人脸图像是否为活体人脸图像。即：如果方向差量小于某设定阈值，则认为待检测人脸图像是活体人脸图像；如果方向差量不小于某设定阈值，则认为待检测人脸图像是假体人脸图像。
在一个例子中，步骤303可通过如下步骤执行完成。
步骤一：计算待检测人脸图像对应的第一特征向量与特征生成模型输出的第二特征向量的方向夹角的第一余弦值。
具体地，可通过如下公式计算第一余弦值：
Figure 40867DEST_PATH_IMAGE024
………………………（7）
其中，cos为第一余弦值，
Figure DEST_PATH_IMAGE025
为待检测人脸图像对应的第一特征向量、
Figure 469574DEST_PATH_IMAGE026
为特征生成模型输出的第二特征向量，n为特征向量维度，
Figure 107753DEST_PATH_IMAGE008
为沿着n维度求*的L2范数。
步骤二：在第一余弦值大于预设阈值时，确定待检测人脸图像为活体人脸图像。
步骤三：在第一余弦值不大于预设阈值时，确定待检测人脸图像为假体人脸图像。
其中，预设阈值根据经验可取接近于1的正值，如0.7。
本发明实施方式相对于现有技术而言，通过上述模型训练方法联合训练得到的特征提取模型，对待检测的人脸图像进行处理，得到待检测人脸图像对应的第一特征向量；获取特征生成模型输出的第二特征向量；根据待检测人脸图像对应的第一特征向量与特征生成模型输出的第二特征向量的方向差量，确定待检测人脸图像是否为活体人脸图像，从而对待检测人脸图像是否为活体人脸图像进行检测。
本发明的另一实施方式涉及一种电子设备，如图4所示，包括至少一个处理器402；以及，与至少一个处理器402通信连接的存储器401；其中，存储器401存储有可被至少一个处理器402执行的指令，指令被至少一个处理器402执行，以使至少一个处理器402能够执行上述任一方法实施例。
其中，存储器401和处理器402采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器402和存储器401的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器402处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器402。
处理器402负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器401可以被用于存储处理器402在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种模型训练方法，其特征在于，包括：
构建用于提取人脸图像的第一特征向量的特征提取模型，以及不包含输入且输出为第二特征向量的特征生成模型；所述第一特征向量和所述第二特征向量为维度相同的一维向量；
提取训练集中相同数量的第一活体人脸图像和第一假体人脸图像；
在所述第一活体人脸图像上叠加与所述第一活体人脸图像对应的且形状相同的偏差张量，得到所述相同数量的第二假体人脸图像；
以所述第一活体人脸图像、所述第一假体人脸图像和所述第二假体人脸图像作为同一批次的第一训练样本，输入到所述特征提取模型中，对所述特征提取模型和所述特征生成模型进行第一联合训练；
其中，所述第一联合训练采用的损失函数对应的损失约束为所述第一活体人脸图像对应的所述第一特征向量与所述第二特征向量的方向相互靠近，所述第一假体人脸图像、所述第二假体人脸图像对应的所述第一特征向量与所述第二特征向量的方向相互远离。
2.根据权利要求1所述的方法，其特征在于，获取与所述第一活体人脸图像对应的且形状相同的偏差张量，包括：
构建用于生成与活体人脸图像对应且形状相同的偏差张量的偏差模型，以及用于识别人脸图像为活体或假体的二分类模型；
提取训练集中相同数量的第二活体人脸图像和第三假体人脸图像；
以所述第二活体人脸图像、所述第三假体人脸图像作为同一批次的第二训练样本，将所述第二活体人脸图像输入到所述偏差模型得到预测偏差张量，将所述第二活体人脸图像、所述第三假体人脸图像以及在所述第二活体人脸图像上叠加对应的预测偏差张量后的预测第二假体人脸图像输入到所述二分类模型，对所述偏差模型和所述二分类模型进行第二联合训练；
其中，所述第二联合训练采用的损失函数，是基于各所述第二训练样本对应的分类损失、以及所述偏差张量的最小化损失构建；
将所述第一活体人脸图像输入到训练好的所述偏差模型中，得到与所述第一活体人脸图像对应的且形状相同的偏差张量。
3.根据权利要求2所述的方法，其特征在于，构建所述第二联合训练采用的损失函数，包括：
采用如下公式构建第一损失函数和第二损失函数：
Figure 366998DEST_PATH_IMAGE001
Figure 573989DEST_PATH_IMAGE002
其中，loss 1为所述第一损失函数的损失值，
Figure 421859DEST_PATH_IMAGE003
为第b个所述第二活体人脸图像对应的所述预测第二假体人脸图像的分类值，dx (b) 为第b个所述第二活体人脸图像对应的预测偏差张量，loss 2为所述第二损失函数的损失值，
Figure 81511DEST_PATH_IMAGE004
为第b个所述第二活体人脸图像的分类值，
Figure 305819DEST_PATH_IMAGE005
为第b个所述第三假体人脸图像的分类值，B1为同一批次的所述第二训练样本的1/2样本数，
Figure 101736DEST_PATH_IMAGE006
、
Figure 120508DEST_PATH_IMAGE007
、
Figure 516723DEST_PATH_IMAGE008
、为超参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，构建所述第一联合训练采用的损失函数，包括：
分别计算所述第一训练样本中所述第一活体人脸图像、所述第一假体人脸图像和所述第二假体人脸图像对应的所述第一特征向量与所述第二特征向量的方向夹角的平均余弦值：
采用如下公式构建第三损失函数作为所述第二联合训练采用的损失函数：
Figure 544722DEST_PATH_IMAGE009
其中，loss 3 为所述第三损失函数的损失值，cos live 、cos fake 、cos fx 依次为所述第一活体人脸图像、所述第一假体人脸图像和所述第二假体人脸图像对应的所述平均余弦值，
Figure 460725DEST_PATH_IMAGE010
、
Figure 650398DEST_PATH_IMAGE011
为超参数，
Figure 284642DEST_PATH_IMAGE012
为偶数，eps是正小数。
5.根据权利要求4所述的方法，其特征在于，分别计算所述第一训练样本中所述第一活体人脸图像、所述第一假体人脸图像和所述第二假体人脸图像对应的所述第一特征向量与所述第二特征向量的方向夹角的平均余弦值，包括：
通过如下公式计算所述平均余弦值：
Figure 585173DEST_PATH_IMAGE013
Figure 886841DEST_PATH_IMAGE014
Figure 981836DEST_PATH_IMAGE015
其中，
Figure 103376DEST_PATH_IMAGE016
、
Figure 473178DEST_PATH_IMAGE017
、
Figure 98194DEST_PATH_IMAGE018
依次为第b个所述第一活体人脸图像、所述第一假体人脸图像和所述第二假体人脸图像对应的所述第一特征向量，
Figure 629670DEST_PATH_IMAGE019
为第b个所述第二特征向量，n为特征向量维度，
Figure 238505DEST_PATH_IMAGE020
为沿着n维度求*的L2范数，B2为同一批次的所述第一训练样本的1/3样本数。
6.一种人脸图像活体检测方法，其特征在于，包括：
将待检测人脸图像输入到特征提取模型，得到所述待检测人脸图像对应的第一特征向量；
获取特征生成模型输出的第二特征向量；
根据所述待检测人脸图像对应的第一特征向量与所述特征生成模型输出的第二特征向量的方向差量，确定所述待检测人脸图像是否为活体人脸图像；
其中，所述特征提取模型和所述特征生成模型为采用权利要求1-5中任一项所述的模型训练方法训练获得。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待检测人脸图像对应的第一特征向量与所述特征生成模型输出的第二特征向量的方向差量，确定所述待检测人脸图像是否为活体人脸图像，包括：
计算所述待检测人脸图像对应的第一特征向量与所述特征生成模型输出的第二特征向量的方向夹角的第一余弦值：
在所述第一余弦值大于预设阈值时，确定所述待检测人脸图像为活体人脸图像；
在所述第一余弦值不大于所述预设阈值时，确定所述待检测人脸图像为假体人脸图像。
8.根据权利要求7所述的方法，其特征在于，所述计算所述待检测人脸图像对应的第一特征向量与所述特征生成模型输出的第二特征向量的方向夹角的第一余弦值，包括：
通过如下公式计算所述第一余弦值：
Figure 398616DEST_PATH_IMAGE021
其中，cos为所述第一余弦值，
Figure 143718DEST_PATH_IMAGE022
为所述待检测人脸图像对应的第一特征向量、
Figure 111674DEST_PATH_IMAGE023
为所述特征生成模型输出的第二特征向量，n为特征向量维度，
Figure 942227DEST_PATH_IMAGE020
为沿着n维度求*的L2范数。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5中任一项所述的模型训练方法，以及如权利要求6-8中任一项所述的人脸图像活体检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的模型训练方法，以及如权利要求6-8中任一项所述的人脸图像活体检测方法。
CN202210438276.2A 2022-04-25 2022-04-25 模型训练、人脸图像活体检测方法、电子设备及存储介质 Pending CN114913404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210438276.2A CN114913404A (zh) 2022-04-25 2022-04-25 模型训练、人脸图像活体检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210438276.2A CN114913404A (zh) 2022-04-25 2022-04-25 模型训练、人脸图像活体检测方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114913404A true CN114913404A (zh) 2022-08-16

Family

ID=82764276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210438276.2A Pending CN114913404A (zh) 2022-04-25 2022-04-25 模型训练、人脸图像活体检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114913404A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761411A (zh) * 2022-11-24 2023-03-07 北京的卢铭视科技有限公司 模型训练方法、活体检测方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761411A (zh) * 2022-11-24 2023-03-07 北京的卢铭视科技有限公司 模型训练方法、活体检测方法、电子设备及存储介质
CN115761411B (zh) * 2022-11-24 2023-09-01 北京的卢铭视科技有限公司 模型训练方法、活体检测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10691909B2 (en) User authentication method using fingerprint image and method of generating coded model for user authentication
JP6754619B2 (ja) 顔認識方法及び装置
CN106372581B (zh) 构建及训练人脸识别特征提取网络的方法
JP4606779B2 (ja) 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
US6430307B1 (en) Feature extraction system and face image recognition system
US8064685B2 (en) 3D object recognition
CN109190470B (zh) 行人重识别方法及装置
US20180157892A1 (en) Eye detection method and apparatus
US11281756B2 (en) Method of classification of an input image representative of a biometric trait by means of a convolutional neural network
US11403878B2 (en) Apparatus and method with user verification
CN112668519A (zh) 基于MCCAE网络和Deep SVDD网络的异常人脸识别活体检测方法及***
CN110570443B (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
Khan et al. Human Gait Analysis: A Sequential Framework of Lightweight Deep Learning and Improved Moth‐Flame Optimization Algorithm
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和***
WO2013181695A1 (en) Biometric verification
JP2007122097A (ja) 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN114299567B (zh) 模型训练、活体检测方法、电子设备及存储介质
CN114913404A (zh) 模型训练、人脸图像活体检测方法、电子设备及存储介质
Choras Multimodal biometrics for person authentication
CN114627424A (zh) 一种基于视角转化的步态识别方法和***
Sadasivan et al. Tongue print identification using deep CNN for forensic analysis
JP2009134466A (ja) 認識処理装置、方法及びコンピュータプログラム
KR20210071410A (ko) 센서 특화 이미지 인식 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination