CN113158838A - 基于全尺寸深度图监督的人脸表示攻击检测方法 - Google Patents

基于全尺寸深度图监督的人脸表示攻击检测方法 Download PDF

Info

Publication number
CN113158838A
CN113158838A CN202110354595.0A CN202110354595A CN113158838A CN 113158838 A CN113158838 A CN 113158838A CN 202110354595 A CN202110354595 A CN 202110354595A CN 113158838 A CN113158838 A CN 113158838A
Authority
CN
China
Prior art keywords
full
size
depth map
face
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110354595.0A
Other languages
English (en)
Other versions
CN113158838B (zh
Inventor
傅予力
许晓燕
黄汉业
杨国栋
吕玲玲
向友君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110354595.0A priority Critical patent/CN113158838B/zh
Publication of CN113158838A publication Critical patent/CN113158838A/zh
Application granted granted Critical
Publication of CN113158838B publication Critical patent/CN113158838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全尺寸深度图监督的人脸表示攻击检测方法，该方法包括：构建基于全尺寸深度图监督的人脸表示攻击检测模型；输入待检测人脸图片到经过训练的人脸表示攻击检测模型中，得到与待检测人脸图片宽和高尺寸完全相同的全尺寸预测深度图，该全尺寸预测深度图上的每个像素值是对待检测人脸图片对应像素点的深度预测值；取全尺寸预测深度图的平均深度预测值作为最终得分，与事先设定的判别阈值进行比较，得到检测结果。本发明采用全尺寸深度图作为标签进行监督建模，融合输入人脸图片的浅层特征和深层特征得到全尺寸预测深度图，检测精度高，能够适应不同的光照和采集设备条件下的现实检测场景。

Description

基于全尺寸深度图监督的人脸表示攻击检测方法
技术领域
本发明涉及图像处理和生物安全技术领域，具体涉及一种基于全尺寸深度图监督的人脸表示攻击检测方法。
背景技术
人脸识别技术目前已得到广泛应用，除了为合法用户提供身份认证阶段的良好体验，也给不法分子提供了侵权的可乘之机。企图用合法用户的人脸照片、视频等手段以借用该用户身份通过人脸识别***的操作，被称为人脸表示攻击。检测这类攻击的方法，称为人脸表示攻击检测。因此，人脸识别***不仅要判断摄像头获取到的人脸图片是否属于该合法用户，还需要判断该图片是直接对合法用户本人拍照得到的真实人脸，还是非法用户借助其他攻击载体伪造的攻击人脸，比如印有合法用户人脸的打印纸、显示合法用户人脸图片的电子屏幕等。
人脸表示攻击检测算法的核心在于提取人脸图片中对检测攻击最有辨别性的特征，以此来区别真实人脸图片和攻击人脸图片。大多数方法将人脸表示攻击检测视为二分类问题，借助人脸图片的真假二类标签来监督网络训练，尽管在某些测试集上取得了不错的效果，但该方法难以保证网络学***面工具，比如打印纸、电子屏幕，因此可以通过重建人脸图片的深度图来区分真实样本和攻击样本。目前有一些研究引入了深度图作为标签信息，但这些研究均将标签深度图进行数倍的尺寸压缩，常见的是从256*256压缩到32*32，损失了较多的标签信息量，导致网络无法充分利用深度图标签进行监督学习。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于全尺寸深度图监督的人脸表示攻击检测方法，该方法采用全尺寸深度图作为标签进行监督建模，使人脸表示攻击检测模型充分学习到真实人脸图片和攻击人脸图片在人脸深度信息上的差异，检测精度高，能够适应不同的光照和采集设备条件下的现实检测场景。
本发明的目的可以通过采取如下技术方案达到：
一种基于全尺寸深度图监督的人脸表示攻击检测方法，所述人脸表示攻击检测方法包括下列步骤：
S1、构建训练集，所述训练集包括真实人脸图片和攻击人脸图片，每张人脸图片均对应两种标签，分别为二分类标签、全尺寸标签深度图，其中，所述二分类标签指示该张人脸图片属于真实人脸图片还是攻击人脸图片的类别值；所述全尺寸标签深度图指示该张人脸图片中人脸区域部分每个像素点对应的深度标签值；
S2、构建基于全尺寸深度图监督的人脸表示攻击检测模型，该攻击检测包括依次顺序连接的下采样模块、上采样模块、深度图预测模块；
下采样模块包括多个串行的下采样单元，依次对输入人脸图片提取更深层次的特征信息，输入人脸图片每经过一个下采样单元，输出特征图的高和宽尺寸缩小、通道数扩大，下采样模块输出多个不同尺度的特征图到上采样模块中；
上采样模块包括多个串行的上采样单元，输入特征图每次经过一个上采样单元，输出特征图的高和宽尺寸扩大、通道数缩小，上采样模块输出高和宽与输入人脸图片尺寸相同的全尺寸特征图到深度图预测模块中；
深度图预测模块将全尺寸特征图转化为高和宽尺寸保存不变、通道数变为1的全尺寸预测深度图，所述全尺寸预测深度图上的每个像素值是对输入人脸图片对应像素点的深度预测值；
S3、构建损失函数和参数优化器对人脸表示攻击检测模型进行训练，得到经过训练的人脸表示攻击检测模型；
S4、将待检测的人脸图片样本输入到经过训练的人脸表示攻击检测模型中，得到全尺寸预测深度图；
S5、计算全尺寸预测深度图的平均预测深度值作为最终得分，与判别阈值进行比较，若最终得分大于判别阈值，则将该人脸图片样本判定为攻击样本，否则判定为真实样本。
进一步地，所述上采样模块中第一个上采样单元的输入是最后一个下采样单元的输出，第二个上采样单元的输入是第一个上采样单元输出和倒数第二个下采样单元输出相加的结果，第三个上采样单元的输入是第二个上采样单元输出和倒数第三个下采样单元输出相加的结果，依次类推，上采样模块最终输出一个高和宽尺寸与输入人脸图片相同、通道数大于输入人脸图片通道数的特征图，即全尺寸特征图。
进一步地，所述真实人脸图片的全尺寸标签深度图通过三维人脸重建领域中的人脸深度图生成算法获得，所述攻击人脸图片的全尺寸标签深度图是与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。
在本发明的假设中，攻击人脸图片是对平面攻击载体(打印纸、电子屏幕等)拍摄得到的，而真实人脸图片是对三维立体的人脸直接拍摄得到的，因此，攻击人脸图片相对真实人脸图片而言不具备深度信息，该假设必须在全尺寸标签深度图上体现。全尺寸人脸深度图可以通过三维人脸重建领域中的人脸深度图生成算法获得，该类人脸深度图生成算法并不区分真实人脸图片和攻击人脸图片，只要输入的是人脸图片，该类人脸深度图生成算法就会输出相应的具有深度信息的全尺寸人脸深度图。因此，本发明仅通过该类人脸深度图生成算法获得真实人脸图片的全尺寸标签深度图，而将攻击人脸图片的全尺寸标签深度图设置为与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。
进一步地，所述全尺寸标签深度图保留了输入人脸图片完整的深度信息，相比于其他将全尺寸标签深度图压缩尺寸后再作为监督标签的方法，直接使用全尺寸标签深度图作为监督标签在标签值上没有信息量损失，使所述人脸表示攻击检测模型在训练阶段拥有更多可学习的标签信息量，从而可学习到对检测任务而言更具有判别力的特征。
进一步地，所述步骤S3在人脸表示攻击检测模型的训练阶段使用独立验证集定期评估模型性能，取验证集上EER(Equal Error Rate，等错误率)最低时刻的模型作为最终模型，取该EER对应的阈值作为判别阈值。
进一步地，所述下采样单元包括依次顺序连接的卷积层、BatchNorm层、激活层和池化层。
进一步地，所述上采样单元包括依次顺序连接的转置卷积层、BatchNorm层和激活层。
进一步地，所述深度图预测模块包括依次顺序连接的卷积层、BatchNorm层和激活层。
进一步地，所述损失函数由欧式距离损失和对比深度损失相加组成，设DP表示全尺寸预测深度图，DG表示全尺寸标签深度图，则欧式距离损失公式如下，
Figure BDA0002997587990000041
对比深度损失公式如下，
Figure BDA0002997587990000042
其中，K表示由8个3*3大小的对比深度卷积算子构成的算子列表。将每个3*3大小的对比深度卷积算子视为九宫格形状，则每个对比深度卷积算子只有两个位置的数值非零，分别是中心位置和某一个非中心位置，该中心位置数值为1，非中心位置数值为-1，将非中心位置从九宫格的左上角开始顺时针编号，则
Figure BDA0002997587990000051
表示第i个对比深度卷积算子，其-1数值位置处于非中心位置编号i，⊙表示对应位置元素相乘。
进一步地，所述人脸表示攻击检测模型在网络结构上属于全卷积网络(FullConvolutional Network,FCN)，即既不包含任何全连接层，同时使用转置卷积层实现上采样功能。相比于其他将全尺寸标签深度图压缩尺寸后再作为监督标签的方法，使用全尺寸标签深度图作为监督标签虽然使标签信息量变大，但对监督标签的学习任务难度也变大。假设全尺寸标签深度图的高和宽尺寸为256*256，若将全尺寸标签深度图进行尺寸压缩到32*32，虽然损失了标签信息量，但相应地，人脸表示攻击检测模型只需要根据输入人脸图片输出一张32*32的预测深度图，则人脸表示攻击检测模型中仅需要下采样模块和深度图预测模块，无需进行上采样；若将全尺寸标签深度图直接作为监督标签，相应地，人脸表示攻击检测模型则需要根据输入人脸图片输出一张256*256的预测深度图，需要预测的深度图尺寸也显著增加。本发明中的人脸表示攻击检测模型借鉴图像分割领域中经典的全卷积网络，利用基于转置卷积层的上采样模块将下采样模块中输出的小尺寸特征图逐步恢复特征图尺寸，直到得到全尺寸特征图，再通过深度预测模块获得全尺寸预测深度图，从而充分利用全尺寸标签深度图的标签信息进行学习，并且能够获得精确度较高的全尺寸预测深度图。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明中采用全尺寸深度图作为标签进行监督建模，使人脸表示攻击检测模型充分学习到真实人脸图片和攻击人脸图片在人脸深度信息上的差异，检测精度高。
(2)本发明中的人脸表示攻击检测模型对输入人脸图片进行多尺度特征提取，并且对浅层特征和深层特征进行融合，综合全局特征信息和局部特征信息得到全尺寸预测深度图，对光照和设备噪声鲁棒性强，能适应多种不同的现实检测场景。
附图说明
图1是本发明实施例中公开的基于全尺寸深度图监督的人脸表示攻击检测方法的流程图；
图2是本发明实施例中公开的基于全尺寸深度图监督的人脸表示攻击检测方法的网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1和图2所示，本实施例提供一种基于全尺寸深度图监督的人脸表示攻击检测方法，过程如下：
S1、构建训练集，训练集包括真实人脸图片和攻击人脸图片，每张人脸图片均对应两种标签，分别为二分类标签、全尺寸标签深度图，其中，二分类标签是指示该张人脸图片属于真实人脸图片还是攻击人脸图片的类别值；全尺寸标签深度图是指示该张人脸图片中人脸区域部分每个像素点对应的深度标签值。本实施例通过三维人脸重建领域中的人脸深度图生成算法之一的PRNet算法获得真实人脸图片的全尺寸标签深度图，而将攻击人脸图片的全尺寸标签深度图设置为与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。
本实施例中基于OULU-NPU数据集训练和评估人脸表示攻击检测模型。OULU-NPU数据集中包含55个用户的4950段视频，并根据用户ID将所有视频文件成分三个独立子集，分别为训练集、验证集和测试集。本实施例中人脸表示攻击检测模型基于单张RGB人脸图片进行检测。在RGB人脸图片输入到人脸表示攻击检测模型之前，先通过MTCNN人脸检测算法获得该人脸图片的人脸框坐标，并根据该人脸框坐标分别对输入人脸图片和全尺寸标签深度图进行裁剪，裁剪后将二者的高和宽尺寸统一缩放到256*256，以便批量训练。同时，将缩放后的输入人脸图片进行零均值归一化，将缩放后的全尺寸标签深度图归一化到0～1，取值越接近1表示实际深度值越大。
S2、构建基于全尺寸深度图监督的人脸表示攻击检测模型，该攻击检测包括三个依次顺序连接的模块，分别是下采样模块、上采样模块、深度图预测模块，如图2所示。
下采样模块由3个下采样单元组成，每个下采样单元依次包括第一卷积层、第一BatchNorm层、第一Relu激活层、第二卷积层、第二BatchNorm层、第二Relu激活层、最大池化层。输入人脸图片每经过一个下采样单元，输出特征图的高和宽尺寸缩小一倍、通道数扩大一倍。将输入人脸图片视为的三维矩阵，其形状为(256,256,3)，分别表示高、宽、通道数。将输入人脸图片输入到第一个下采样单元D1后，得到形状为(128,128,64)的特征图F1。将特征图F1输入到第二个下采样单元D2后，得到形状为(64,64,128)的特征图F2的。将特征图F3输入到第三个下采样单元后，得到形状为(32,32，256)的特征图F3的。下采样模块输出特征图F1、特征图F2、特征图F3到上采样模块中。
上采样模块由3个上采样单元组成，每个上采样单元依次包括转置卷积层、BatchNorm层、Relu激活层，输入特征图每次经过一个上采样单元，输出特征图的高和宽尺寸扩大一倍、通道数缩小一倍。将特征图F3输入到第一个上采样单元U1，得到形状为(64,64,128)的特征图F4。将特征图F2和特征图F4相加后输入到第二个上采样单元U2后，得到形状为(128,128,64)的特征图F5。将特征图F1和特征图F5相加后输入到第三个上采样单元U3后，得到形状为(256,256,32)的全尺寸特征图F6。上采样模块输出全尺寸特征图F6到深度图预测模块中。
深度图预测模块包含第一卷积层、第一BatchNorm层、第一Relu激活层、第二卷积层，。将全尺寸特征图F6输入到深度图预测模块中，得到形状为(256,256,1)的全尺寸预测深度图DP。
S3、构建损失函数和参数优化器对人脸表示攻击检测模型进行训练，得到经过训练的人脸表示攻击检测模型；
本实施例中，损失函数由欧式距离损失和对比深度损失相加组成，设DP表示全尺寸预测深度图，DG表示全尺寸标签深度图，则欧式距离损失公式如下，
Figure BDA0002997587990000081
对比深度损失公式如下，
Figure BDA0002997587990000082
其中，K表示由8个3*3大小的对比深度卷积算子构成的算子列表。将每个3*3大小的对比深度卷积算子视为九宫格形状，则每个对比深度卷积算子只有两个位置的数值非零，分别是中心位置和某一个非中心位置，该中心位置数值为1，非中心位置数值为-1，将非中心位置从九宫格的左上角开始顺时针编号，则
Figure BDA0002997587990000083
表示第i个对比深度卷积算子，其-1数值位置处于非中心位置编号i，⊙表示对应位置元素相乘。
优化器采用Adam，初始学习率设置为0.0001，每经过100个epoch，学习率衰减一半。训练阶段的epoch一共设置为500轮。每隔10个epoch在验证集上进行评估，取验证集上EER最低时刻的模型作为最终的模型，取该EER对应的阈值作为判别阈值。
S4、将待检测的人脸图片样本输入到经过训练的人脸表示攻击检测模型中，得到全尺寸预测深度图；
S5、计算全尺寸预测深度图的平均预测深度值作为最终得分，与判别阈值进行比较，若最终得分大于判别阈值，则将该人脸图片样本判定为攻击样本，否则判定为真实样本。
本实施例中的基于全尺寸深度图监督的人脸表示攻击检测模型在OULU-NPU数据集里最有挑战性的测试协议4中，取得0.10±0.015的ACER(平均分类误差率)。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述人脸表示攻击检测方法包括下列步骤：
S1、构建训练集，所述训练集包括真实人脸图片和攻击人脸图片，每张人脸图片均对应两种标签，分别为二分类标签、全尺寸标签深度图，其中，所述二分类标签指示该张人脸图片属于真实人脸图片还是攻击人脸图片的类别值；所述全尺寸标签深度图指示该张人脸图片中人脸区域部分每个像素点对应的深度标签值；
S2、构建基于全尺寸深度图监督的人脸表示攻击检测模型，该攻击检测包括依次顺序连接的下采样模块、上采样模块、深度图预测模块；
下采样模块包括多个串行的下采样单元，依次对输入人脸图片提取更深层次的特征信息，输入人脸图片每经过一个下采样单元，输出特征图的高和宽尺寸缩小、通道数扩大，下采样模块输出多个不同尺度的特征图到上采样模块中；
上采样模块包括多个串行的上采样单元，输入特征图每次经过一个上采样单元，输出特征图的高和宽尺寸扩大、通道数缩小，上采样模块输出高和宽与输入人脸图片尺寸相同的全尺寸特征图到深度图预测模块中；
深度图预测模块将全尺寸特征图转化为高和宽尺寸保存不变、通道数变为1的全尺寸预测深度图，所述全尺寸预测深度图上的每个像素值是对输入人脸图片对应像素点的深度预测值；
S3、构建损失函数和参数优化器对人脸表示攻击检测模型进行训练，得到经过训练的人脸表示攻击检测模型；
S4、将待检测的人脸图片样本输入到经过训练的人脸表示攻击检测模型中，得到全尺寸预测深度图；
S5、计算全尺寸预测深度图的平均预测深度值作为最终得分，与判别阈值进行比较，若最终得分大于判别阈值，则将该人脸图片样本判定为攻击样本，否则判定为真实样本。
2.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述上采样模块中第一个上采样单元的输入是最后一个下采样单元的输出，第二个上采样单元的输入是第一个上采样单元输出和倒数第二个下采样单元输出相加的结果，第三个上采样单元的输入是第二个上采样单元输出和倒数第三个下采样单元输出相加的结果，依次类推，上采样模块最终输出一个高和宽尺寸与输入人脸图片相同、通道数大于输入人脸图片通道数的特征图，即全尺寸特征图。
3.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述真实人脸图片的全尺寸标签深度图通过三维人脸重建领域中的人脸深度图生成算法获得，所述攻击人脸图片的全尺寸标签深度图是与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。
4.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述步骤S3在人脸表示攻击检测模型的训练阶段使用独立验证集定期评估模型性能，取验证集上EER最低时刻的模型作为最终模型，取该EER对应的阈值作为判别阈值。
5.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述下采样单元包括依次顺序连接的卷积层、BatchNorm层、激活层和池化层。
6.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述上采样单元包括依次顺序连接的转置卷积层、BatchNorm层和激活层。
7.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述深度图预测模块包括依次顺序连接的卷积层、BatchNorm层和激活层。
8.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述损失函数由欧式距离损失和对比深度损失相加组成，设DP表示全尺寸预测深度图，DG表示全尺寸标签深度图，则欧式距离损失公式如下，
Figure FDA0002997587980000031
对比深度损失公式如下，
Figure FDA0002997587980000032
其中，K表示由8个3*3大小的对比深度卷积算子构成的算子列表。将每个3*3大小的对比深度卷积算子视为九宫格形状，则每个对比深度卷积算子只有两个位置的数值非零，分别是中心位置和某一个非中心位置，该中心位置数值为1，非中心位置数值为-1，将非中心位置从九宫格的左上角开始顺时针编号，则
Figure FDA0002997587980000033
表示第i个对比深度卷积算子，-1数值位置处于非中心位置编号i，⊙表示对应位置元素相乘。
9.根据权利要求1所述的基于全尺寸深度图监督的人脸表示攻击检测方法，其特征在于，所述人脸表示攻击检测模型在网络结构上属于全卷积网络，即不包含任何全连接层。
CN202110354595.0A 2021-03-29 2021-03-29 基于全尺寸深度图监督的人脸表示攻击检测方法 Active CN113158838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110354595.0A CN113158838B (zh) 2021-03-29 2021-03-29 基于全尺寸深度图监督的人脸表示攻击检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354595.0A CN113158838B (zh) 2021-03-29 2021-03-29 基于全尺寸深度图监督的人脸表示攻击检测方法

Publications (2)

Publication Number Publication Date
CN113158838A true CN113158838A (zh) 2021-07-23
CN113158838B CN113158838B (zh) 2023-06-20

Family

ID=76885910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354595.0A Active CN113158838B (zh) 2021-03-29 2021-03-29 基于全尺寸深度图监督的人脸表示攻击检测方法

Country Status (1)

Country Link
CN (1) CN113158838B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN109117755A (zh) * 2018-07-25 2019-01-01 北京飞搜科技有限公司 一种人脸活体检测方法、***和设备
CN110322499A (zh) * 2019-07-09 2019-10-11 浙江科技学院 一种基于多层特征的单目图像深度估计方法
CN111046845A (zh) * 2019-12-25 2020-04-21 上海骏聿数码科技有限公司 活体检测方法、装置及***
CN111507131A (zh) * 2019-01-31 2020-08-07 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN111626086A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 活体检测方法、装置及***、电子设备和存储介质
CN112052808A (zh) * 2020-09-10 2020-12-08 河南威虎智能科技有限公司 细化深度图的人脸活体检测方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN109117755A (zh) * 2018-07-25 2019-01-01 北京飞搜科技有限公司 一种人脸活体检测方法、***和设备
CN111507131A (zh) * 2019-01-31 2020-08-07 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN111626086A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 活体检测方法、装置及***、电子设备和存储介质
CN110322499A (zh) * 2019-07-09 2019-10-11 浙江科技学院 一种基于多层特征的单目图像深度估计方法
CN111046845A (zh) * 2019-12-25 2020-04-21 上海骏聿数码科技有限公司 活体检测方法、装置及***
CN112052808A (zh) * 2020-09-10 2020-12-08 河南威虎智能科技有限公司 细化深度图的人脸活体检测方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOUSEF ATOUM ET AL: ""Face anti-spoofing using patch and depth-based CNNS"" *
ZEZHENG WANG ET AL: ""Deep Spatial Gradient and Temporal Depth Learning for Face Anti-Spoofing"" *
姜悦卉: ""基于沙漏网络模型的大姿态人脸对齐与人脸估计"" *

Also Published As

Publication number Publication date
CN113158838B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN106530200B (zh) 一种基于深度学习模型的隐写图像检测方法及***
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN111062278B (zh) 基于改进残差网络的异常行为识别方法
CN113536990A (zh) 深度伪造人脸数据鉴别方法
CN111079539B (zh) 一种基于异常追踪的视频异常行为检测方法
CN103310236A (zh) 基于局部二维特征的拼接图像检测方法及***
CN105117729A (zh) 一种识别翻拍图像的方法和装置
CN110555439A (zh) 标识识别方法及其模型的训练方法、装置和电子***
Zhang et al. Distinguishing photographic images and photorealistic computer graphics using visual vocabulary on local image edges
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和***
CN111274446A (zh) 视频处理方法及相关装置
Abdulrahman et al. Color image stegananalysis using correlations between RGB channels
CN112257741A (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN111160107B (zh) 一种基于特征匹配的动态区域检测方法
CN112016437B (zh) 一种基于人脸视频关键帧的活体检测方法
CN106682669A (zh) 一种图像处理方法及移动终端
CN110866470A (zh) 一种基于随机图像特征的人脸防伪检测方法
CN113158838B (zh) 基于全尺寸深度图监督的人脸表示攻击检测方法
CN116188956A (zh) 一种深度伪造人脸图像检测的方法及相关设备
CN115471901A (zh) 基于生成对抗网络的多姿态人脸正面化方法及***
CN114612965A (zh) 一种人脸活体检测方法、***及介质
Kaushik et al. Digital Image Forgery Detection using Local Binary Patterns (LBP) and Histogram of Oriented Gradients (HOG)
CN112668537A (zh) 一种基于多尺度跳跃连接的群体计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant