CN115424293A - 活体检测方法、活体检测模型的训练方法及装置 - Google Patents

活体检测方法、活体检测模型的训练方法及装置 Download PDF

Info

Publication number
CN115424293A
CN115424293A CN202210923071.3A CN202210923071A CN115424293A CN 115424293 A CN115424293 A CN 115424293A CN 202210923071 A CN202210923071 A CN 202210923071A CN 115424293 A CN115424293 A CN 115424293A
Authority
CN
China
Prior art keywords
living body
image
segmentation
loss
body detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210923071.3A
Other languages
English (en)
Inventor
徐佳文
殷俊
朱树磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210923071.3A priority Critical patent/CN115424293A/zh
Publication of CN115424293A publication Critical patent/CN115424293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种活体检测方法、活体检测模型的训练方法及装置。其中，活体检测模型包括第一模块和第二模块，该活体检测模型的训练方法包括：通过第一模块对训练样本图像进行图像分割而得到分割特征图，基于分割特征图计算图像分割损失；通过第二模块对分割特征图进行活体检测而得到活体检测结果，基于活体检测结果计算分类损失；基于图像分割损失和分类损失计算总损失；以总损失对活体检测模型的参数进行优化，以得到训练后的活体检测模型。本申请可以提高基于摄像头获取的图片数据来进行静默活体检测的准确性。

Description

活体检测方法、活体检测模型的训练方法及装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种活体检测方法、活体检测模型的训练方法及装置。
背景技术
活体检测技术广泛应用于目标识别等场景中，以进行反欺诈行为检测，保护用户权益。而活体检测技术从实现方法上可以分为静默活体检测与配合式活体检测。但是在静默活体检测任务中，针对摄像头获取的图片数据来进行静默活体检测是一个难点。
发明内容
本申请提供一种活体检测方法、活体检测模型的训练方法及装置，可以提高基于摄像头获取的图片数据来进行静默活体检测的准确性。
为达到上述目的，本申请提供一种活体检测模型的训练方法，该活体检测模型包括第一模块和第二模块，方法包括：
通过第一模块对训练样本图像进行图像分割而得到分割特征图，基于分割特征图计算图像分割损失；
通过第二模块对分割特征图进行活体检测而得到活体检测结果，基于活体检测结果计算分类损失；
基于图像分割损失和分类损失计算总损失；
以总损失对活体检测模型的参数进行优化，以得到训练后的活体检测模型。
其中，通过第一模块对训练样本图像进行图像分割而得到分割特征图，基于分割特征图计算图像分割损失，包括：
对训练样本图像中的像素进行预分类，以将训练样本图像分割成至少一个区域；
利用第一模块对训练样本图像进行处理而得到分割特征图；
基于分割特征图中对应于每一区域的特征确定每一区域的标签，以确定出训练样本图像中所有像素的标签；
基于训练样本图像中每一像素的标签及分割特征图中与标签对应的特征值，计算出图像分割损失。
其中，基于分割特征图中对应于每一区域的特征确定每一区域的标签，包括：
将分割特征图中对应于训练样本图像中每一像素的所有特征值中的最大特征值所属类别，作为每一像素的类别；
将每一区域中出现次数最多的类别作为每一区域中所有像素的标签。
其中，通过第二模块对分割特征图进行活体检测而得到活体检测结果，基于活体检测结果计算分类损失，之前包括：
基于训练样本图像构造正样本对和负样本对，正样本对中训练样本图像的活体属性相同，负样本对中训练样本图像的活体属性不相同；
通过第二模块对分割特征图进行活体检测而得到活体检测结果，基于活体检测结果计算分类损失，包括：
确定正样本对在活体检测模型下的相似度，以及确定负样本对在活体检测模型下的相似度；
基于正样本对的相似度和负样本对的相似度计算对比损失；
基于图像分割损失和分类损失计算总损失，包括：
基于图像分割损失、对比损失和分类损失计算总损失。
其中，
至少部分正样本对中训练样本图像对应的对象身份不相同，负样本对中训练样本图像对应的对象身份相同；和/或，
至少部分正样本对中训练样本图像对应的预设环境信息不相同，负样本对中训练样本图像对应的预设环境信息相同。
其中，第二模块包括特征转换单元，特征转换单元包括对称且参数共享的两个分支；确定正样本对在活体检测模型下的相似度，以及确定负样本对在活体检测模型下的相似度；包括：
将正样本对中的两个样本分别输入到对应的分支，计算两个分支的输出的相似度而得到正样本对在活体检测模型下的相似度；
将负样本对中的两个样本分别输入到对应的分支，计算两个分支的输出的相似度而得到负样本对在活体检测模型下的相似度。
其中，活体检测模型包括分类单元，通过第二模块对分割特征图进行活体检测而得到活体检测结果，基于活体检测结果计算分类损失，包括：
利用分类单元对特征转换单元的每一分支的输出进行处理，得到每一分支的输出对应的训练样本图像的活体属性；
基于训练样本图像的活体属性计算分类损失。
其中，训练样本图像为对象区域向外扩展后所得到的区域图像。
为达到上述目的，本申请还提供一种利用活体检测模型进行活体检测的方法，该活体检测模型包括第一模块和第二模块，方法包括：
获取待检测对象图像；
通过第一模块对待检测对象图像分割，得到分割特征图；
通过第二模块对分割特征图进行活体检测，得到待检测对象图像的活体检测结果；
活体检测模型是根据图像分割损失和分类损失进行优化的，图像分割损失是基于训练样本图像的分割特征图计算得到的，分类损失是基于训练样本图像的活体检测结果计算得到的。
为达到上述目的，本申请还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。
为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
本申请利用第一模块对训练样本图像进行图像分割而得到分割特征图，进而计算出图像分割损失；接着利用第二模块对分割特征图进行活体检测而得到活体检测结果，进而基于活体检测结果计算出分类损失；接着基于图像分割损失和分类损失计算出总损失，然后利用总损失对包括第一模块和第二模块的活体检测模型的参数进行优化，如此可以通过分类损失让训练后的活体检测模型具有检测图像中的对象是否是活体的能力，并可以通过图像分割损失使得活体检测模型对于带有对象的纸张和图片等这一类具有明显边缘的样本具有较高的敏感性，即使得活体检测模型更加关注伪造人脸显著性破绽，从而可以提高基于摄像头获取的图片数据来进行静默活体检测的准确性，即本申请将活体检测与图像分割做一个多任务的训练，以此来提高活体检测框架对伪造人脸破绽的敏感性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请活体检测模型的训练方法一实施方式的流程示意图；
图2是本申请活体检测模型一实施方式的结构示意图；
图3是本申请活体检测模型中特征转换单元一实施方式的结构示意图；
图4是本申请活体检测方法一实施方式的示意图；
图5是本申请电子设备一实施方式的结构示意图；
图6是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
具体如图1所示，本实施方式的活体检测模型的训练方法包括以下步骤。如图2所示，活体检测模块可包括第一模块和第二模块。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。
S101：通过第一模块对训练样本图像进行图像分割而得到分割特征图，基于分割特征图计算图像分割损失。
可以通过第一模块对训练样本图像进行图像分割而得到分割特征图，如此后续可基于由分割特征图计算得到的图像分割损失对活体检测模型进行训练，从而得到训练后的活体检测模型，如此通过训练使得第一模块能够基于各个区域的边缘特征将不同区域区分开来并在分割特征图中呈现各个像素点的分割属性，如此通过第一模块可以让活体检测模型对于带有目标脸部图像的纸张和图片等这一类具有明显边缘的样本具有较高的敏感性，从而引导活体检测模型关注非活体显著性破绽，从而可以提高基于摄像头获取的图片数据来进行静默活体检测的准确性。
其中，可以通过第一模块对训练样本图像进行语义分割，即可基于第一模块确定训练样本图像中每个像素点的分类标签。
而第一模块的结构不受限制，例如可为snake模型或SegNet结构等。
为降低标注难度，可以采用无监督的图像分割训练方法来进行训练，从而避免图像分割任务的标注耗费大量的人力与时间成本，且使本申请训练方法能够适用于多种场景与应用设备。
具体地，可以先对训练样本图像中的像素进行预分类，以将每个训练样本图像分割成至少一个区域；然后利用第一模块对训练样本图像进行处理而得到分割特征图；基于分割特征图中对应于每一区域的特征确定每一区域的标签，以确定出训练样本图像所有像素的标签；然后可以基于训练样本图像中每一像素的标签及分割特征图中与标签对应的特征值，计算出图像分割损失，如此通过该图像分割损失对包括第一模块和第二模块的活体检测模型训练后可以使得基于分割特征图确定的语义分割结果与预分类结果接近，从而使得第一模块输出的分割特征图更加能够体现各个像素点实际的分割属性。
其中，预分类时使用的预分类算法不受限制，例如可为felzenszwalb分割算法等经典的机器学习算法或其他算法。即可通过felzenszwalb分割算法对训练样本图像中的像素点进行初步的聚类，得到聚类结果Sk，其中：
Figure BDA0003778452490000061
其中，在通过本申请的训练方法对活体检测模型进行优化时，也可对预分类方法中的参数进行调整，以使得预分类时可将具有相同语义的像素归类到一个区域中，即为这一类具有相同语义的像素分配相同的语义标签。具体地，在通过由图像分割损失计算得到的总损失对活体检测模型的参数进行优化时，也可通过总损失对预分类时使用的算法的参数进行优化。在其他实现方式中，预分类时使用的预分类算法可以是已经训练好的预分类算法。
其中，第一模块的结构不受限制，例如可为三层卷积网络结构或者深度学习模型结合自动编码器的结构等。
基于第一模块得到训练样本图像的分割特征图后，可以基于分割特征图中对应于每一区域的特征确定每一区域的标签。
而基于分割特征图fn中对应于每一区域的特征确定每一区域的标签的步骤可以包括：
将每一像素点在分割特征图fn中的所有特征值的最大值所属类别，作为每一像素点的类别cn，其中：
fn＝Net(x)；
cn＝argmax fn；
将每一区域中出现次数最多的类别
Figure BDA0003778452490000062
作为每一区域中所有像素点的标签tn，具体过程如下所示，
Figure BDA0003778452490000063
Figure BDA0003778452490000064
从而通过上述步骤就可确定训练样本图像中所有像素的标签。
确定出训练样本图像中所有像素的标签后，可以基于训练样本图像中每一像素的标签及分割特征图中与标签对应的特征值，计算出图像分割损失。
其中，图像分割损失Ls的计算公式可为：
Figure BDA0003778452490000071
为了能够尽量提高活体检测模型的活体检测准确率，本申请的训练样本图像可以是对象图像外扩后的数据，例如可为人脸图像外扩后的数据。如此训练样本图像可以具有对象之外的其他信息(例如纸张/移动设备的边缘破绽信息等)，以便于进行活体属性判断。例如，可以让图像分割模块针对非活体图像中的纸张/移动设备的边缘破绽等信息，将非活体图像中的移动设备屏幕/纸张以及移动设备屏幕/纸张上的对象划分为同一个区域，从而以便第二模块基于纸张/移动设备的特征将非活体图像归类为非活体类别，从而可以基于外扩得到的训练样本图像提高活体检测模型的活体检测准确率，从而可以提升活体检测算法的泛化性与鲁棒性。
另外，在步骤S101之前，需要获取训练样本图像。而，训练样本图像的获取方法可以包括：通过对象检测算子获取视频单帧对象坐标后，将对象区域分别在XY两个维度正负两个方向外扩m个对象宽度的大小(m为外扩比例)，即可得到对象外扩后的数据。其中，对象可为人脸或宠物脸等，在此不做限制。
S102：通过第二模块对分割特征图进行活体检测而得到活体检测结果，基于活体检测结果计算分类损失。
基于步骤S101得到训练样本图像的分割特征图后，可以通过第二模块对分割特征图进行活体检测而得到训练样本图像的活体检测结果，即基于训练样本图像确定训练样本图像中的对象是活体还是非活体，接着可以基于活体检测结果计算出分类损失，以便后续基于分类损失对活体检测模型进行优化，从而使得训练后的活体检测模型具有检测图像中的对象是否是活体的能力。
其中，分类损失计算时所使用的损失函数不受限制，例如可为交叉熵损失函数或绝对值损失函数等。
例如，可以下述的损失函数计算公式并基于训练样本图像的活体检测结果计算分类损失Lce：
Figure BDA0003778452490000081
其中，yi表示训练样本图像的类别，pi表示预测为正类的概率，N为训练样本图像总数。
另外，可以通过下述实现方式通过第二模块对分割特征图进行活体检测而得到活体检测结果。
在一可实现的方式中，第二模块可为分类单元，即可通过分类单元对分割特征图进行处理而得到活体检测结果。
在另一可实现的方式中，第二模块可包括特征转换单元和分类单元，具体可通过特征转换单元将分割特征图进行特征转换而得到训练样本图像的转换特征，然后通过分类单元对转换特征进行分类处理而得到活体检测结果。
其中，如图3所示，特征转换单元可包括特征编码器和非线性映射器，其中可以通过特征编码器对分割特征图进行处理而得到训练样本图像的特征表示h，接着可通过非线性映射器对特征表示进行非线性变换，将特征表示h映射为转换特征z，如此通过特征编码器和非线性映射器可将分割特征图投影到表示空间，并且通过非线性映射器可以将特征编码器输出的特征表示中的较多的通用性较强但与任务无关的低层细节特征过滤掉，保留并处理与活体检测任务相关的高阶信息，从而通过特征编码器和非线性映射器两层映射能够在一定程度上保证无关信息的过滤而获取具有判别性的有效信息，从而可以提高活体检测模型的性能。
其中，在步骤S102之前，还可基于训练样本图像构造正样本对和负样本对。其中正样本对中的训练样本图像的活体属性相同，即正样本对中的样本中的对象均为活体、或者均为非活体。而负样本对中的训练样本图像的活体属性不相同；即负样本对中的一个训练样本图像中的对象为活体，另外一个训练样本图像中的对象为非活体；例如负样本对中两个训练样本图像，一个是活体人脸，而另一个是屏幕人脸。
在步骤S102中，可以确定正样本对在第二模块下的特征相似度，还可以确定负样本对在第二模块下的特征相似度；然后基于正样本对的相似度和负样本对的相似度计算对比损失，如此可以通过构造相似的实例(即正样本对)和不相似的实例(即负样本对)，学习一个能够让相似实例在表示空间接近，不相似实例在表示空间较远的模型，以便后续利用对比损失对活体检测模型进行训练，使得特征转换单元输出的正样本对的相似性较高，且特征转换单元输出的正样本对的相似性较低，进一步强化对于判别伪造人脸关键特征的提取，即特征转换单元输出图像的转换特征能够较为明显地呈现图像的活体属性，以便提高分类单元基于转换特征确定的图像的活体检测结果的准确性，提升模型的泛化性与鲁棒性。
对比损失的计算公式可为Softmax Loss或InfoNCELoss等，具体可如下所示：
Figure BDA0003778452490000091
其中，τ是可调温度参数，S(zi,zj)为样本对的特征相似度，从对比损失函数的设计结构来看，分子部分鼓励正样本对相似性越高越好，而分母则鼓励负样本对相似性越低越好。其中样本对的特征相似度S(zi,zj)的计算公式可如下所示：
Figure BDA0003778452490000092
其中，zi为样本对中的一个样本的转换特征，zj为样本对的另一个样本的转换特征。
在其他实施例中，也可通过其他的计算方式计算出样本对的特征相似度，例如欧式距离。
进一步地，至少部分正样本对中训练样本图像对应的对象身份不相同，负样本对中训练样本图像对应的对象身份相同，如此通过对象身份不相同的正样本对的相似度和对象身份相同的负样本对的相似度计算对比损失，以便后续利用对比损失训练特征转换单元而让特征转换单元忽略对象身份因素而关注区分活体与非活体的显著判别性特征，从而提高以本申请训练方法训练得到的活体检测模型的活体检测准确性。
另外，至少部分正样本对中训练样本图像对应的至少一种预设环境信息不相同，负样本对中训练样本图像对应的至少一种预设环境信息相同，如此通过预设环境信息不相同的正样本对的相似度和预设环境信息相同的负样本对的相似度计算对比损失，以便后续利用对比损失训练特征转换单元而让特征转换单元忽略预设环境因素并关注区分活体与非活体的显著判别性特征，从而提高以本申请训练方法训练得到的活体检测模型的活体检测准确性。
其中，预设环境因素可以是对广义的环境信息进行细粒度划分而得到的多种环境因素中的至少一种环境因素，如此通过细粒度划分可以提高活体检测模型忽略环境因素的效果，从而使得活体检测模型增加注重于区分活体与非活体的显著判别性特征。其中，广义的环境信息细粒度划分后得到的多种环境因素可以包括场景信息、光线信息、设备信息等。
为便于计算出正样本对在活体检测模型下的特征相似度，且为便于计算出负样本对在活体检测模型下的特征相似度，可将特征转换单元设置成对比学习结构，该对比学习结构包括对称且参数共享的两个分支。如此可以将正样本对中的两个样本各输入特征转换单元的一个分支，然后计算特征转换单元的两个分支输出的特征的相似度从而得到正样本对在活体检测模型下的相似度。相应地，可以将负样本对中的两个样本各输入特征转换单元的一个分支，然后计算特征转换单元的两个分支输出的特征的相似度从而得到负样本对在活体检测模型下的相似度。
在转换特征模块为对比学习结构的情况下，可以利用分类单元对转换特征模块的每一分支的输出进行处理，而得到每一分支的输出对应的训练样本图像的活体属性；从而可以基于训练样本图像的活体属性计算出分类损失。
S103：基于图像分割损失和分类损失计算总损失。
基于上述步骤计算出图像分割损失和分类损失后，可以基于图像分割损失和分类损失计算出总损失，以便后续利用总损失对活体检测模型的参数进行优化，如此可以通过分类损失让训练后的活体检测模型具有检测图像中的对象是否是活体的能力，并可以通过图像分割损失使得活体检测模型对于带有目标脸部图像的纸张和图片等这一类具有明显边缘的样本具有较高的敏感性，从而可以提高基于摄像头获取的图片数据来进行静默活体检测的准确性。
在一实现方式中，可以将图像分割损失和分类损失直接相加，得到总损失。
在另一实现方式中，可以将图像分割损失和分类损失进行加权，得到总损失。而图像分割损失和分类损失的加权系数具体可根据实际情况进行设定，在此不做限制。
在又一实现方式中，在基于步骤S102计算出对比损失的情况下，可以基于图像分割损失、对比损失和分类损失计算出总损失，以便通过总损失让活体检测模型忽略对象身份因素和环境因素等而注重于区分活体与非活体的显著判别性特征，从而提高基于摄像头获取的图片数据来进行静默活体检测的准确性。
具体地，如下所示，可以将图像分割损失Ls、对比损失Lc和分类损失Lce进行加权，得到总损失Ltotal；
Ltotal＝γ·Lce+α·Lc+β·Ls；
其中，γ为分类损失的加权系数，α为对比损失的加权系数，β为图像分割损失的加权系数。其中，图像分割损失、对比损失和分类损失各自的加权系数具体可根据实际情况进行设定，在此不做限制。示例性地，γ可为1，α可为0.7，β可为0.8。
S104：以总损失对图像分割模块和活体检测模型的参数进行优化，以得到训练后的活体检测模型。
基于步骤S103得到总损失后，可以以总损失对活体检测模型的参数进行优化，从而得到训练后的活体检测模型。
可以利用梯度下降法、牛顿法等优化方法、以总损失对活体检测模型的参数进行优化。
在本实施方式中，利用第一模块对训练样本图像进行图像分割而得到分割特征图，进而计算出图像分割损失；接着利用第二模块对分割特征图进行活体检测而得到活体检测结果，进而基于活体检测结果计算出分类损失；接着基于图像分割损失和分类损失计算出总损失，然后利用总损失对包括第一模块和第二模块的活体检测模型的参数进行优化，如此可以通过分类损失让训练后的活体检测模型具有检测图像中的对象是否是活体的能力，并可以通过图像分割损失使得活体检测模型对于带有对象的纸张和图片等这一类具有明显边缘的样本具有较高的敏感性，即使得活体检测模型更加关注伪造人脸显著性破绽，从而可以提高基于摄像头获取的图片数据来进行静默活体检测的准确性，即本申请将活体检测与图像分割做一个多任务的训练，以此来提高活体检测框架对伪造人脸破绽的敏感性。
基于上述训练方法训练得到活体检测模型后，可以利用训练后的活体检测模型进行活体检测。如图4所示，活体检测方法可以包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。
S201：获取待检测对象图像。
可以将相机采集包含对象的图像作为待检测对象图像。
或者，获取相机采集的图像后，利用对象检测算子获取图像中对象坐标后，将对象区域分别在XY两个维度正负两个方向外扩m个对象宽度的大小(m为外扩比例)，即可得到对象区域向外扩展后所得到的区域图像，即得到待检测对象图像。
上述的对象不受限制，例如可为人、宠物、人或宠物上的某一部位等。示例性地，对象可为人脸。
相机的结构不受限制，例如可为枪机、球机、全景相机等。
S202：通过第一模块对待检测对象图像分割，得到分割特征图。
S203：通过第二模块对分割特征图进行活体检测，得到待检测对象图像的活体检测结果。
其中，活体检测模型是根据图像分割损失和分类损失进行优化的。而图像分割损失是基于训练样本图像的分割特征图计算得到的，分类损失是基于训练样本图像的活体检测结果计算得到的。
第二模块可包括特征转换单元和分类单元。
在特征转换单元为对比学习结构的情况下，可以将待检测对象图像的分割特征图输入到特征转换单元的一个分支，然后将该分支的输出输入到分类单元，以得到分类单元输出的待检测脸部模块的活体检测结果。
请参阅图5，图5是本申请电子设备20一实施方式的结构示意图。本申请电子设备20包括处理器22，处理器22用于执行指令以实现本申请上述任一实施方式的方法及任意不冲突的组合所提供的方法。
处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。
电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。
请参阅图6，图6为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本申请上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种活体检测模型的训练方法，其特征在于，所述活体检测模型包括第一模块和第二模块，所述方法包括：
通过所述第一模块对训练样本图像进行图像分割而得到分割特征图，基于所述分割特征图计算图像分割损失；
通过所述第二模块对所述分割特征图进行活体检测而得到活体检测结果，基于所述活体检测结果计算分类损失；
基于所述图像分割损失和所述分类损失计算总损失；
以所述总损失对所述活体检测模型的参数进行优化，以得到训练后的活体检测模型。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一模块对训练样本图像进行图像分割而得到分割特征图，基于所述分割特征图计算图像分割损失，包括：
对所述训练样本图像中的像素进行预分类，以将所述训练样本图像分割成至少一个区域；
利用所述第一模块对所述训练样本图像进行处理而得到分割特征图；
基于所述分割特征图中对应于每一所述区域的特征确定每一所述区域的标签，以确定出所述训练样本图像中所有像素的标签；
基于所述训练样本图像中每一像素的所述标签及所述分割特征图中与所述标签对应的特征值，计算出所述图像分割损失。
3.根据权利要求2所述的方法，其特征在于，所述基于所述分割特征图中对应于每一所述区域的特征确定每一所述区域的标签，包括：
将所述分割特征图中对应于所述训练样本图像中每一像素的所有特征值中的最大特征值所属类别，作为每一像素的类别；
将每一所述区域中出现次数最多的类别作为每一所述区域中所有像素的标签。
4.根据权利要求1所述的方法，其特征在于，所述通过所述第二模块对所述分割特征图进行活体检测而得到活体检测结果，基于所述活体检测结果计算分类损失，之前包括：
基于所述训练样本图像构造正样本对和负样本对，所述正样本对中训练样本图像的活体属性相同，所述负样本对中训练样本图像的活体属性不相同；
所述通过所述第二模块对所述分割特征图进行活体检测而得到活体检测结果，基于所述活体检测结果计算分类损失，包括：
确定所述正样本对在所述活体检测模型下的相似度，以及确定所述负样本对在所述活体检测模型下的相似度；
基于所述正样本对的相似度和所述负样本对的相似度计算对比损失；
所述基于所述图像分割损失和所述分类损失计算总损失，包括：
基于所述图像分割损失、所述对比损失和所述分类损失计算总损失。
5.根据权利要求4所述的方法，其特征在于，
至少部分所述正样本对中训练样本图像对应的对象身份不相同，所述负样本对中训练样本图像对应的对象身份相同；和/或，
至少部分所述正样本对中训练样本图像对应的预设环境信息不相同，所述负样本对中训练样本图像对应的预设环境信息相同。
6.根据权利要求4所述的方法，其特征在于，所述第二模块包括特征转换单元，所述特征转换单元包括对称且参数共享的两个分支；所述确定所述正样本对在所述活体检测模型下的相似度，以及所述确定所述负样本对在所述活体检测模型下的相似度；包括：
将所述正样本对中的两个样本分别输入到对应的分支，计算所述两个分支的输出的相似度而得到所述正样本对在所述活体检测模型下的相似度；
将所述负样本对中的两个样本分别输入到对应的分支，计算所述两个分支的输出的相似度而得到所述负样本对在所述活体检测模型下的相似度。
7.根据权利要求6所述的方法，其特征在于，所述活体检测模型包括分类单元，所述通过所述第二模块对所述分割特征图进行活体检测而得到活体检测结果，基于所述活体检测结果计算分类损失，包括：
利用所述分类单元对所述特征转换单元的每一分支的输出进行处理，得到所述每一分支的输出对应的训练样本图像的活体属性；
基于所述训练样本图像的活体属性计算所述分类损失。
8.根据权利要求1所述的方法，其特征在于，所述训练样本图像为对象区域向外扩展后所得到的区域图像。
9.一种利用活体检测模型进行活体检测的方法，其特征在于，所述活体检测模型包括第一模块和第二模块，所述方法包括：
获取待检测对象图像；
通过所述第一模块对所述待检测对象图像分割，得到分割特征图；
通过所述第二模块对所述分割特征图进行活体检测，得到所述待检测对象图像的活体检测结果；
所述活体检测模型是根据图像分割损失和分类损失进行优化的，所述图像分割损失是基于训练样本图像的分割特征图计算得到的，所述分类损失是基于所述训练样本图像的活体检测结果计算得到的。
10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行指令以实现权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令/程序数据，所述指令/程序数据用于被执行以实现权利要求1-9中任一项所述的方法。
CN202210923071.3A 2022-08-02 2022-08-02 活体检测方法、活体检测模型的训练方法及装置 Pending CN115424293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923071.3A CN115424293A (zh) 2022-08-02 2022-08-02 活体检测方法、活体检测模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923071.3A CN115424293A (zh) 2022-08-02 2022-08-02 活体检测方法、活体检测模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN115424293A true CN115424293A (zh) 2022-12-02

Family

ID=84195845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923071.3A Pending CN115424293A (zh) 2022-08-02 2022-08-02 活体检测方法、活体检测模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN115424293A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721315A (zh) * 2023-08-08 2023-09-08 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721315A (zh) * 2023-08-08 2023-09-08 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、介质及电子设备
CN116721315B (zh) * 2023-08-08 2023-12-01 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、介质及电子设备

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及***
CN111210443B (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
Wang et al. Deep networks for saliency detection via local estimation and global search
US8750573B2 (en) Hand gesture detection
US8452096B2 (en) Identifying descriptor for person or object in an image
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
Robinson et al. Tree-based convolutional neural networks for object classification in segmented satellite images
US8842889B1 (en) System and method for automatic face recognition
CN111274987B (zh) 人脸表情识别方法及人脸表情识别装置
CN112364873A (zh) 弯曲文本图像的文字识别方法、装置及计算机设备
CN111932544A (zh) 篡改图像检测方法、装置及计算机可读存储介质
CN111415373A (zh) 基于孪生卷积网络的目标跟踪与分割方法、***及介质
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及***
CN111368632A (zh) 一种签名识别方法及设备
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Hao et al. Low-light image enhancement based on retinex and saliency theories
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN117058517A (zh) 一种基于YOLOv5优化模型的安全帽检测方法、装置和介质
Xia et al. Cloud/snow recognition of satellite cloud images based on multiscale fusion attention network
CN115424293A (zh) 活体检测方法、活体检测模型的训练方法及装置
Chen et al. Saliency modeling via outlier detection
CN117746015A (zh) 小目标检测模型训练方法、小目标检测方法及相关设备
Mu et al. Finding autofocus region in low contrast surveillance images using CNN-based saliency algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination