CN114612980A - 基于多方位交融注意力的变形人脸检测 - Google Patents

基于多方位交融注意力的变形人脸检测 Download PDF

Info

Publication number
CN114612980A
CN114612980A CN202210235051.7A CN202210235051A CN114612980A CN 114612980 A CN114612980 A CN 114612980A CN 202210235051 A CN202210235051 A CN 202210235051A CN 114612980 A CN114612980 A CN 114612980A
Authority
CN
China
Prior art keywords
attention
face
azimuth
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210235051.7A
Other languages
English (en)
Inventor
彭烨凡
龙敏
徐启航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202210235051.7A priority Critical patent/CN114612980A/zh
Publication of CN114612980A publication Critical patent/CN114612980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对人脸变形检测，提出了一种基于多方位交融注意力的变形人脸检测方法，包括下列步骤：1)根据由dlib标志点检测器检测到的眼睛坐标来分割和归一化图像的面部；2)考虑到通道注意力忽略的位置信息，提出了新的注意力模块；3)融合了双分支卷积网络，以提高检测精度。4)用SVM对最终的特征图进行分类。

Description

基于多方位交融注意力的变形人脸检测
技术领域
本发明涉人脸融合攻击检测领域，尤其是一种基于多方位交融注意力的变形人脸检测技术。
背景技术
人脸识别技术在安防领域取得了极大的成就。但在过去的几年里，研究人员指出了生物识别***存在的各种潜在不足。最近，针对基于变形生物特征图像和模板的人脸和指纹识别的脆弱性已经被建立。变形技术可以用来创建人工生物特征样本，这些样本在图像和特征域中类似于两个(或多个)数据主体的生物特征信息。如果含有变形个体特征信息的图像或模板被渗透到生物识别***中，则构成变形图像的受试者将根据单个注册模板成功地验证两个(或全部)。因此，个人与其生物特征参考数据之间的独特联系是不必要的。
这种攻击对生物识别***，特别是广泛部署的边界控制***和电子旅行证件构成严重的安全隐患。不同的商业人脸识别***被发现极易受到此类攻击。由于人脸具有很高的类内变异性，人脸识别***以高达0.1％的误匹配率(FMRs)来实现可接受的误匹配率(FNMRs)。也就是说，变形人脸图像的自动检测对于保证操作性人脸识别***的安全性至关重要。
为了解决人脸识别***的潜在不足，人脸变形攻击的检测成为一个亟待解决的问题。目前人脸变形攻击检测方法主要分为四种算法类型:基于纹理特征、基于图像质量、基于深度学习、以及基于混合特征的变形检测方法。基于纹理的方法捕捉变形过程中图片微观纹理的变化，从而实现变形人脸检测；基于图像质量的方法通过量化在变形过程中引入的压缩伪影以及噪声的差异来检测变形的人脸；最近的基于深度学习方法使用预先训练的CNN架构提取特征通过分类来检测人脸变形。然而，这些方法仍然还存在错误率较高、鲁棒性较差以及网络复杂度较高等问题。
发明内容
针对上述现有技术的不足，本发明提供一种基于多方位交融注意力的变形人脸检测方法。其目的在于解决以往方法中存在的错误率较高、鲁棒性较差、参数量较大等问题。
为了实现上述目的，本发明提供了一种基于多方位交融注意力的框图，包括以下步骤：
A1、对输入的图像进行预处理；
A2、经过双分支卷积网络模块；
A3、经过多方位交融注意力模块；
A4、分类
本发明提供了一种基于多方位交融注意力的变形人脸检测。与现有技术相比，具备以下有益效果：
本方案是采用的是深度学习方法，主要是用多方位交融注意力模块和双分支卷积网络的融合来检测变形人脸的。通过传统的注意力机制来进行变形人脸检测的方法已经得到成功。与通过2维全局池化将特征张量转换为单个特征向量的通道注意力不同，多方位交融注意力将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征。这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一对方向感知和位置敏感的attention map，可以将其互补地应用于输入特征图，以增强关注对象的表示。再与双分支卷积网络混合能够捕捉到更多重要的信息，可以更好的捕捉真实和变形人脸图像的不同特征，有助于可靠地检测变形的面孔。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于多方位交融注意力的变形人脸检测框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合说明书附图以及具体的实施方式对本发明作详细说明。如图1所示，一种基于多方位交融注意力的变形人脸检测方法包括步骤A1～A4：
A1、对输入的图像进行预处理；
A2、经过双分支卷积网络模块；
A3、经过多方位交融注意力模块
A4、分类
下面对各个步骤进行详细描述。
在步骤A1中，在人脸变形攻击中，人脸区域通常位于图像的中心。为了准确地从图像中提取特征，只保留图像的最大中心区域。在预处理阶段，根据由dlib标志点检测器检测到的眼睛坐标来分割和归一化图像的面部。
在步骤A2中，给定输入特征图X，将原特征图分别通过一个3*3的分组卷积和3*3的空洞卷积(感受野为5*5)生成两个特征图U1和U2。然后将这两个特征图进行相加生成一个新的特征图，生成的图通过多方位交融注意力模块并通过a和b两个函数，并将生成的函数值与原先的U1和U2相乘。由于a和b的函数值相加等于1，因此能够实现对分支的特征图设置权重，因为不同的分支卷积核尺寸不同，因此实现了让网络自己选择合适的卷积核(a和b函数中的A、B矩阵均是需要在训练之前初始化的，其次寸均为C*d,z为经过多方位交融注意力经过A、B函数前的特征图)这里我们有：
Figure BDA0003541733090000041
Figure BDA0003541733090000051
在步骤A3中，设计了一个多方位交融注意力模块。其步骤具体为：给定输入X，首先使用尺寸为(H,1)或(1,W)的pooling kernel分别沿着水平坐标和垂直坐标对每个通道进行编码。因此，高度为h的第c通道的输出可以表示为:
Figure BDA0003541733090000052
同样，宽度为w的第c通道的输出可以写成:
Figure BDA0003541733090000053
上述2种变换分别沿两个空间方向聚合特征，得到一对方向感知的特征图。通过信息嵌入中的变换后，该部分将上面的变换进行concatenate操作，然后使用卷积变换函数对其进行变换操作：
f＝δ(F1[zh,zw])) (5)
式中[.,.]为沿空间维数的concatenate操作，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射。然后沿着空间维数将分解为2个单独的张量fh∈RC/r×W和fw∈RC/r×W,其中r是用来控制SE block的控制率。利用另外2个1*1卷积变换Fh和Fw分别将fh和fw变换为具有相同通道数的张量到输入X，得到:
gh＝σ(Fh(fh)) (6)
gw＝σ(Fw(fw)) (7)
这里σ是sigmoid激活函数。为了降低模型的复杂性和计算开销，这里通常使用适当的缩减比r(如16)来减少f的通道数。然后对输出gh和gw进行扩展，分别作为attentionweights。
最后，多方位交融注意力模块的输出可以写成:
Figure BDA0003541733090000061
在步骤A4中，本发明的最后1个关键步骤是通过一个高辨别力的机器学习算法找到最优分类模型，从而对人脸进行判断。本文选用包含径向基核函数的支持向量机作为分类器.该分类器不仅具有很高的分类准确率，而且被广泛应用于人脸识别等研究课题。将上一步经过降维后的特征送入SVM，即可根据SVM的输出数据完成变形人脸检测。
本发明实施本发明提出了一种基于多方位交融注意力的变形人脸检测方法，创新点包括：
提出了一种基于多方位交融注意力的变形人脸检测方法。该方法将多方位交融注意力模块与双分支卷积网络交互来进行变形人脸检测。该新注意力模块能够更好的捕捉真实和变形人脸图像的差异，有助于可靠地检测变形的人脸。
提出了一种弥补通道注意力忽略位置信息的方法。传统通道注意力的使用只考虑通过通道关系来重新衡量每个通道的重要性，而忽略了位置信息，但是位置信息对于生成空间选择性attention maps是很重要的。因此引入了一种新的注意块，它不仅仅考虑了通道间的关系还考虑了特征空间的位置信息。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种基于多方位交融注意力的检测***。其特征在于，所述方法由计算机执行，包括以下步骤：
A1、对输入的图像进行预处理；
A2、经过双分支卷积网络模块；
A3、经过多方位交融注意力模块；
A4、分类。
2.如权利要求1所述的基于多方位交融注意力的检测方法，其特征在于，将归一化区域裁剪到224×224像素，以确保变形检测算法仅应用于面部区域，A1的具体实现过程如下：在人脸变形攻击中，人脸区域通常位于图像的中心。为了准确地从图像中提取特征，只保留图像的最大中心区域。在预处理阶段，根据由dlib标志点检测器检测到的眼睛坐标来分割和归一化图像的面部。
3.如权利要求1所述的基于多方位交融注意力的检测方法，A2的具体实现过程如下：给定输入特征图X，将原特征图分别通过一个3*3的分组卷积和3*3的空洞卷积(感受野为5*5)生成两个特征图U1和U2。然后将这两个特征图进行相加生成一个新的特征图，生成的图通过多方位交融注意力模块并通过a和b两个函数，并将生成的函数值与原先的U1和U2相乘。由于a和b的函数值相加等于1，因此能够实现对分支的特征图设置权重，因为不同的分支卷积核尺寸不同，因此实现了让网络自己选择合适的卷积核(a和b函数中的A、B矩阵均是需要在训练之前初始化的，其次寸均为C*d,z为经过多方位交融注意力经过A、B函数前的特征图)这里有:
Figure FDA0003541733080000011
Figure FDA0003541733080000012
4.如权利要求1所述的基于多方位交融注意力的检测方法，A3的具体实现过程如下：给定输入X，首先使用尺寸为(H,1)或(1,W)的pooling kernel分别沿着水平坐标和垂直坐标对每个通道进行编码。因此，高度为h的第c通道的输出可以表示为:
Figure FDA0003541733080000013
同样，宽度为w的第c通道的输出可以写成:
Figure FDA0003541733080000014
上述2种变换分别沿两个空间方向聚合特征，得到一对方向感知的特征图。通过信息嵌入中的变换后，该部分将上面的变换进行concatenate操作，然后使用卷积变换函数对其进行变换操作：
f＝δ(F1[zh,zw])) (5)
式中[.,.]为沿空间维数的concatenate操作，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射。然后沿着空间维数将分解为2个单独的张量fh∈RC/r×W和fw∈RC/r×W,其中r是用来控制SEblock的控制率。利用另外2个1*1卷积变换Fh和Fw分别将fh和fw变换为具有相同通道数的张量到输入X，得到:
gh＝σ(Fh(fh)) (6)
gw＝σ(Fw(fw)) (7)
这里σ是sigmoid激活函数。为了降低模型的复杂性和计算开销，这里通常使用适当的缩减比r(如16)来减少f的通道数。然后对输出gh和gw进行扩展，分别作为attentionweights。
最后，多方位交融注意力模块的输出可以写成:
Figure FDA0003541733080000021
5.如权利要求1所述的基于多方位交融注意力的检测方法，其特征在于，用SVM对降维后的特征进行分类，A4的具体实现过程如下：本发明的最后1个关键步骤是通过一个高辨别力的机器学习算法找到最优分类模型，从而对人脸进行判断。本文选用包含径向基核函数的支持向量机作为分类器.该分类器不仅具有很高的分类准确率，而且被广泛应用于人脸识别等研究课题。将上一步经过降维后的特征送入SVM，即可根据SVM的输出数据完成变形人脸检测。
CN202210235051.7A 2022-03-11 2022-03-11 基于多方位交融注意力的变形人脸检测 Pending CN114612980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210235051.7A CN114612980A (zh) 2022-03-11 2022-03-11 基于多方位交融注意力的变形人脸检测

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210235051.7A CN114612980A (zh) 2022-03-11 2022-03-11 基于多方位交融注意力的变形人脸检测

Publications (1)

Publication Number Publication Date
CN114612980A true CN114612980A (zh) 2022-06-10

Family

ID=81863062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210235051.7A Pending CN114612980A (zh) 2022-03-11 2022-03-11 基于多方位交融注意力的变形人脸检测

Country Status (1)

Country Link
CN (1) CN114612980A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035315A (zh) * 2022-06-17 2022-09-09 佛山科学技术学院 一种基于注意力机制的瓷砖色差分级检测方法及***
CN117523636A (zh) * 2023-11-24 2024-02-06 北京远鉴信息技术有限公司 一种人脸检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035315A (zh) * 2022-06-17 2022-09-09 佛山科学技术学院 一种基于注意力机制的瓷砖色差分级检测方法及***
CN117523636A (zh) * 2023-11-24 2024-02-06 北京远鉴信息技术有限公司 一种人脸检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11669607B2 (en) ID verification with a mobile device
US10956719B2 (en) Depth image based face anti-spoofing
CN108229427B (zh) 一种基于身份证件和人脸识别的身份安全验证方法及***
JP6403233B2 (ja) ユーザー認証方法、これを実行する装置及びこれを保存した記録媒体
CN102902959B (zh) 基于二代身份证存储证件照的人脸识别方法及***
CN111191655B (zh) 对象识别方法和装置
Fourati et al. Anti-spoofing in face recognition-based biometric authentication using image quality assessment
US8160880B2 (en) Generalized object recognition for portable reading machine
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
CN103914676A (zh) 一种在人脸识别中使用的方法和装置
CN105550658A (zh) 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
CN114612980A (zh) 基于多方位交融注意力的变形人脸检测
CN109800643A (zh) 一种活体人脸多角度的身份识别方法
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
CN107220627B (zh) 基于协作模糊均值鉴别分析的多姿态人脸识别方法
Iqbal et al. Directional age-primitive pattern (DAPP) for human age group recognition and age estimation
CN110427972B (zh) 证件视频特征提取方法、装置、计算机设备和存储介质
CN107103266B (zh) 二维人脸欺诈检测分类器的训练及人脸欺诈检测方法
CN103605993B (zh) 一种基于面向场景判别性分析的图像到视频人脸识别方法
US20200218885A1 (en) Detecting artificial facial images using facial landmarks
CN105760815A (zh) 基于第二代身份证人像和视频人像的异构人脸核实方法
CN111767877A (zh) 一种基于红外特征的活体检测方法
Antil et al. A two stream face anti-spoofing framework using multi-level deep features and ELBP features
Günay Yılmaz et al. Face presentation attack detection performances of facial regions with multi-block LBP features
Li et al. A robust framework for multiview age estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication