CN117727104A - 基于双边注意力的近红外活体检测装置与方法 - Google Patents

Abstract

本发明公开基于双边注意力机制的近红外活体检测装置与方法，通过引入双边注意力机制能够充分利用图像中的通道和位置信息，提高对真假人脸之间的区分能力，最终提高用户在人脸识别***中的体验。使用卷积神经网络结构从输入的近红外图像中提取具有判别力的人脸图像特征图，并作为双边注意力机制的输入，双边注意力机制从通道及位置的维度提取人脸图像特征图的特征，获得更精细、更具辨别力的特征，帮助模型更好地捕捉到不同通道之间的相关性和重要性以及关注到输入张量中的关键区域，从而提高活体检测模型的辨别能力，分类器使用经自定义的卷积神经网络结构及双边注意力机制提取的特征进行真假人分类。

Description

基于双边注意力的近红外活体检测装置与方法

技术领域

本发明涉及计算机活体检测的技术领域，特别是指基于双边注意力的近红外活体检测装置与方法。

背景技术

活体检测是一种用于验证身份的方法，旨在确定对象的真实生理特征。活体检测在人脸识别中具有重要作用，可以有效抵御各种常见的攻击手段，如使用照片、视频、换脸技术、面具、遮挡、3D动画以及屏幕翻拍等手段进行的欺诈行为。通过对用户进行活体检测，可以确保其真实性，从而保障用户的利益和安全。

随着深度学习的发展，基于深度神经网络的活体检测方法的性能取得了很大的提升。这类方法使用卷积神经网络从大规模人脸数据集中学习具有高度区分性的特征，使用的卷积神经网络包括：残差学习网络、中心差分卷积网络、LSTM、对抗生成网络。尽管活体检测技术取得了显著进展，但仍然存在一些缺陷，如：

1、网络提取特征的判别力不足，导致对替换局部五官人脸数据（如，戴假鼻子的真人脸、贴假眼睛的真人脸）的防攻击性较差。

2、当前的活体检测算法在面对之前未曾出现过的攻击场景时，其表现出的鲁棒性较差，泛化能力不足。

3、目前基于transformer的活体检测算法通常需要大量的计算资源和高性能的硬件来进行训练和推理。这对于一些资源受限的设备或场景来说是一个挑战。

有鉴于此，本发明人针对现有活体检测技术未臻完善所导致的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本发明。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于双边注意力的近红外活体检测装置，能够充分利用图像中的通道和位置信息，提高对真假人脸之间的区分能力，最终提高用户在人脸识别***中的体验。

本发明的另一目的在于克服现有技术的不足，提供一种基于双边注意力的近红外活体检测方法，能够充分利用图像中的通道和位置信息，提高对真假人脸之间的区分能力，最终提高用户在人脸识别***中的体验。

为了达成上述目的，本发明的解决方案是：

一种基于双边注意力机制的近红外活体检测装置主要包括自定义的卷积神经网络结构、双边注意力机制及分类器；

所述卷积神经网络结构用于从输入的近红外图像中提取具有判别力的人脸图像特征图，作为双边注意力机制的输入；

所述双边注意力机制包括通道注意力子模块和位置注意力子模块，卷积神经网络结构输出的人脸图像特征图分别输入到通道注意力子模块和位置注意力子模块中，通道注意力子模块通过学习每个通道的重要性，对人脸图像特征图进行加权，以减少冗余信息和强调对活体检测有用的通道特征；位置注意力子模块通过关注人脸图像特征图中关键的面部区域，处理不同尺度的攻击、形变和遮挡；

所述分类器使用经自定义的卷积神经网络结构及双边注意力模块提取的特征进行真假人分类，分类器根据特征的表达和区分能力，对输入的图像进行准确分类。

进一步，所述双边注意力机制有两个分支，第一个分支由卷积模块和通道注意力子模块组成，第二个分支由卷积模块和位置注意力子模块组成；两个分支的输出特征通过特征拼接的方式进行连接；最后，拼接后的特征经过卷积模块得到输出特征。

进一步，所述卷积模块包含卷积、批归一化及ReLU激活函数。

进一步，所示通道注意力子模块的通道特征提取方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，，其中，x为人脸图像特征图；

随后，将降维后的人脸图像特征图分别重塑为[N，C/2，H*W]、[N，H*W，C/2]的人脸图像特征图，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度，

对以上两张人脸图像特征图使用批量矩阵乘法得到；沿着/>最后一个维度取最大值，得到形状为[N,C/2,1]的张量/>，将其形状扩展为[N,C/2,C/2]；将/>减去/>，得到新的张量/>，

沿着的最后一个维度进行/>操作，得到通道注意力权重，

对通道注意力权重和降维后的人脸图像特征图使用批量矩阵乘法，并将输出重塑为形状为[N,C/2,H,W]的张量，

至此，便得到了经通道注意力子模块调整后的人脸图像特征图。

进一步，所述位置注意力子模块提取位置特征的方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，降维后的特征形状为[N,C/2,H,W]，，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度，x为人脸图像特征图；

随后，分别沿着H维度和W维度对降维后的人脸图像特征图进行平均池化操作，经池化模块后的人脸图像特征图的形状分别为[N,C/2,1,W]、[N,C/2,H,1]，并转置第二个特征，转置后的人脸图像特征图的形状为[N,C/2,1,H]，得到人脸图像特征图，/>，

；

；

拼接人脸图像特征图和/>，得到人脸图像特征图/>并对其进行卷积操作，以获得更精细的位置信息，

；

；

随后，分离人脸图像特征图，得到/>和/>，并转置分离后的第二个人脸图像特征图/>，

；

；

对和/>进行/>操作并扩张，使得以上两个人脸图像特征图中的权重均在0-1之间，

；

；

最后，将人脸图像特征图分别与/>、/>相乘，得到经位置注意力子模块调整后的人脸图像特征图。

进一步，所述分类器的具体分类方法为：

首先，使用卷积模块对双边注意力机制输出的张量进行降维处理；

随后，经过池化模块，将张量的宽和高的维度都缩小为1；

接着，对池化后的张量进行特征重塑；

再者，经过全连接层，得到形状为[N,2]的活体检测结果，其中，N为batch size大小，2为分数；

最后，计算预测结果与标签之间的交叉熵损失，公式如下，

其中，为输入样本数量；/>为标签；/>为预测结果。

一种基于双边注意力机制的近红外活体检测方法，其包括以下步骤：

步骤S1：输入近红外图像；

步骤S2：使用自定义卷积神经网络结构从步骤S1输入的近红外图像提取出高质量的人脸图像特征图；

步骤S3:将步骤S2的人脸图像特征图输入到双边注意力机制，双边注意力机制有两个分支，一个分支由卷积模块和通道注意力子模块组成，另一个分支由卷积模块和位置注意力子模块组成，人脸图像特征图分别输入到双边注意力机制的两个分支，分别经过卷积模块后由通道注意力子模块提取通道特征，学习每个通道的重要性，对人脸图像特征图进行加权；由位置注意力子模块提取位置特征，关注关键的面部区域，处理不同尺度的攻击、形变和遮挡；

步骤S4：将通道特征和位置特征进行特征拼接；

步骤S5：拼接后的特征经过卷积模块后得到输出特征；

步骤S6：将输出特征输入到分类器中，分类器根据特征的表达和区分能力，对输入的人脸图像特征图进行准确分类。

进一步，所示通道注意力子模块的通道特征提取方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，，其中，x为人脸图像特征图；

随后，将降维后的人脸图像特征图分别重塑为[N，C/2，H*W]、[N，H*W，C/2]的人脸图像特征图，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度；

对以上两张人脸图像特征图使用批量矩阵乘法得到；沿着/>最后一个维度取最大值，得到形状为[N,C/2,1]的张量/>，将其形状扩展为[N,C/2,C/2]；将/>减去/>，得到新的张量/>，

沿着的最后一个维度进行/>操作，得到通道注意力权重，

对通道注意力权重和降维后的人脸图像特征图使用批量矩阵乘法，并将输出重塑为形状为[N,C/2,H,W]的张量，

至此，便得到了经通道注意力子模块调整后的人脸图像特征图。

进一步，所述位置注意力子模块提取位置特征的方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，降维后的特征形状为[N,C/2,H,W]，，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度，x为人脸图像特征图；

随后，分别沿着H维度和W维度对降维后的人脸图像特征图进行平均池化操作，经池化模块后的人脸图像特征图的形状分别为[N,C/2,1,W]、[N,C/2,H,1]，并转置第二个特征，转置后的人脸图像特征图的形状为[N,C/2,1,H]，得到人脸图像特征图，/>：

；

；

拼接人脸图像特征图和/>，得到人脸图像特征图/>并对其进行卷积操作，以获得更精细的位置信息：

；

；

随后，分离人脸图像特征图，得到/>和/>，并转置分离后的第二个人脸图像特征图/>：

；

；

对和/>进行/>操作并扩张，使得以上两个人脸图像特征图中的权重均在0-1之间：

；

；

最后，将人脸图像特征图分别与/>、/>相乘，得到经位置注意力子模块调整后的人脸图像特征图。

进一步，所述分类器的具体分类方法为：

首先，使用卷积模块对双边注意力机制输出的张量进行降维处理；

随后，经过池化模块，将张量的宽和高的维度都缩小为1；

接着，对池化后的张量进行特征重塑；

再者，经过全连接层，得到形状为[N,2]的活体检测结果，其中，N为batch size大小，2为分数；

最后，计算预测结果与标签之间的交叉熵损失，公式如下，

其中，为输入样本数量；/>为标签；/>为预测结果。

采用上述方案后，本发明基于双边注意力机制的近红外活体检测装置与方法和现有的技术方案相比，本发明利用双边注意力机制来自适应地学习不同人脸的精细纹理特征，其中，通道注意力子模块可以自动学习每个通道的重要性，并对特征图进行加权，使得模型能够更好地关注对区分真假人脸有用的通道特征，同时，能够有效抑制光照变化、噪声等冗余信息的影响，提高活体检测的鲁棒性和稳定性；而位置注意力子模块可以学习并关注与攻击相关的关键面部区域，如眼睛、鼻子、嘴巴等，有助于提高活体检测算法对于攻击特征的敏感性和识别准确性，同时，可以帮助模型关注未被遮挡或变形的关键面部区域，减少受到变形和遮挡区域的干扰。最终，增强模型对替换局部五官人脸数据的防攻击性能。更为重要的是，相比于transformer等大型网络，本发明基于自定义的网络结构以及双边注意力机制，对计算资源的需求低，能够在资源受限的设备或场景中运行。

本发明提出双边注意力机制能够有效学习人脸中的细节及纹理信息，以区分替换局部五官的人脸。本发明采用自定义的卷积神经网络结构能够更有效的从不同人脸信息中提取具有判别性的真假人脸特征，且量化前模型的参数量和计算量仅为1021KB和11.95GFLOPs，能够在资源受限的设备或场景中运行。本发明中的活体检测技术真人通过率99%以上，能防住各类纸张、替换局部五官人脸、高精度3D头模、树脂面具攻击98%以上。

附图说明

图1为本发明基于双边注意力机制的近红外活体检测装置的整体框架图。

图2为本发明双边注意力机制的框架图。

图3为本发明通道注意力子模块的网络结构图。

图4为本发明位置注意力子模块的网络结构图。

图5为本发明分类器的结构图。

具体实施方式

为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。

如图1所示，本发明揭示一种基于双边注意力机制的近红外活体检测装置的实现思路为：通过引入双边注意力机制能够充分利用图像中的通道和位置信息，提高对真假人脸之间的区分能力，最终提高用户在人脸识别***中的体验。整体框架图如图1所示，模型的输入为jpg或者png的近红外图像，近红外图像经过预处理（图中未显示）后，使用自定义的卷积神经网络结构（图1中的卷积模块1至卷积模块9）从预处理后的近红外图像中提取出高质量的人脸图像特征图作为双边注意力机制的输入，双边注意力机制从通道及位置的维度提取人脸图像特征图的特征，获得更精细、更具辨别力的特征，帮助模型更好地捕捉到不同通道之间的相关性和重要性以及关注到输入张量中的关键区域，从而提高活体检测模型的辨别能力，分类器使用经自定义的卷积神经网络结构及双边注意力机制提取的特征进行真假人分类。

本发明基于双边注意力机制的近红外活体检测装置主要包括自定义的卷积神经网络结构、双边注意力机制及分类器。

自定义的卷积神经网络结构用于从输入的近红外图像中提取具有判别力的人脸图像特征图。输入的近红外图像先进行一系列预处理步骤后形成人脸图像特征图作为双边注意力机制的输入，预处理步骤具体包括人脸检测、图像增强：随机旋转、随机翻转、按patch随机打乱图像等，自定义的卷积神经网络再从预处理后的人脸图像特征图中提取高质量的特征表示。如图1所示，卷积模块1至卷积模块9即为自定义的卷积神经网络结构，其中，卷积模块1至卷积模块7的作用是进行特征提取及下采样(缩小特征图分辨率)，卷积模块 8、9 的作用是进行特征提取及降维(减少特征图的通道数量 )。

双边注意力机制用以增强特征的表达能力。双边注意力机制由两个注意力子模块组成：通道注意力子模块和位置注意力子模块。卷积神经网络结构输出的人脸图像特征图分别输入到通道注意力子模块和位置注意力子模块中，通道注意力子模块通过学习每个通道的重要性，对人脸图像特征图进行加权，以减少冗余信息和强调对活体检测有用的通道特征；位置注意力子模块通过关注关键的面部区域，处理不同尺度的攻击、形变和遮挡，提高活体检测的敏感性、鲁棒性和准确性。

双边注意力机制是从通道及位置的维度提取特征。相较于单一维度的注意力机制，多维度的注意力机制可获得更精细、更具辨别力的特征，帮助模型更好地捕捉到不同通道之间的相关性和重要性以及关注到输入张量中的关键区域，从而提高活体检测模型的辨别能力。

如图2所示为双边注意力机制的框架示意图，双边注意力机制有两个分支，第一个分支由卷积模块和通道注意力子模块组成，第二个分支由卷积模块和位置注意力子模块组成；两个分支的输出特征通过特征拼接的方式进行连接；最后，拼接后的特征经过卷积模块便可得到输出特征。其中，上述卷积模块包含卷积（Conv）、批归一化（BN）及ReLU激活函数。

如图3所示为通道注意力子模块的结构图，通道注意力子模块的通道特征提取方法为：

首先利用1×1的卷积模块对输入的人脸图像特征图进行降维，，其中，x为人脸图像特征图；

随后，将降维后的人脸图像特征图分别重塑为[N，C/2，H*W]、[N，H*W，C/2]的人脸图像特征图，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度：

对以上两张人脸图像特征图使用批量矩阵乘法得到；沿着/>最后一个维度取最大值，得到形状为[N,C/2,1]的张量/>，将其形状扩展为[N,C/2,C/2]；将/>减去/>，得到新的张量/>，

沿着的最后一个维度进行/>操作，得到通道注意力权重，

对通道注意力权重和降维后的人脸图像特征图使用批量矩阵乘法，并将输出重塑为形状为[N,C/2,H,W]的张量，

至此，便得到了经通道注意力子模块调整后的人脸图像特征图。

如图4所示为位置注意力子模块的结构图，位置注意力子模块提取位置特征的流程为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，降维后的特征形状为[N,C/2,H,W]，，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度，x为人脸图像特征图；

随后，分别沿着H维度和W维度对降维后的人脸图像特征图进行平均池化操作，经池化模块后的人脸图像特征图的形状分别为[N,C/2,1,W]、[N,C/2,H,1]，并转置第二个特征，转置后的人脸图像特征图的形状为[N,C/2,1,H]，得到人脸图像特征图，/>：

；

；

拼接人脸图像特征图和/>，得到人脸图像特征图/>并对其进行卷积操作，以获得更精细的位置信息：

；

；

随后，分离人脸图像特征图，得到/>和/>，并转置分离后的第二个人脸图像特征图/>：

；

；

对和/>进行/>操作并扩张，使得以上两个人脸图像特征图中的权重均在0-1之间：

；

；

最后，将人脸图像特征图分别与/>、/>相乘，便可得到经位置注意力子模块调整后的人脸图像特征图。

分类器使用经自定义的卷积神经网络结构及双边注意力模块提取的特征进行真假人分类。分类器根据特征的表达和区分能力，对输入的图像进行准确分类。

如图5所示，为分类器的结构图，如图所示，分类器的具体流程为：

首先，使用卷积模块对双边注意力机制输出的张量进行降维处理，张量的形状由[N,64,16,16]变成[N,48,16,16]；

随后，经过池化模块，将张量的宽和高的维度都缩小为1；

接着，对池化后的张量进行特征重塑，形状为[N,48]；

再者，经过全连接层，得到形状为[N,2]的活体检测结果；

最后，计算预测结果与标签之间的交叉熵损失，公式如下，

其中，为输入样本数量；/>为标签；/>为预测结果。

在模型训练期间，训练样本的图像输入待训练的活体检测模型前，需要使用随机旋转、随机翻转、按patch随机打乱图像、添加高斯噪声及随机对比度增强等方法来处理输入图像，以提升训练样本的丰富度。随后，归一化输入图像，将图像的像素值限制在0-1之间。

模型的训练周期为200 epoch（当模型训练到200 epoch时，模型损失已经收敛），batch size为1024，学习率为0.01，优化器为SGD，momentum为0.9，优化器调整策略为StepLR。

在模型推理期间，对图像进行归一化操作后便可输入到模型中。输入图像经卷积模块、双边注意力机制、特征重塑等处理后，变成形状为[N,64]的二维张量。随后，对该二维张量与优化后的全连接层进行矩阵相乘，得到形状为[N,2]的活体检测结果（其中，N为batch size大小，2为分数），第一个分数为假人脸分数，第二个分数为真人脸分数，取较大分数所对应的类别作为检测结果。

如图1至图5所示，本发明还揭示了一种基于双边注意力机制的近红外活体检测方法，其包括以下步骤：

步骤S1：输入近红外图像；

步骤S2：使用自定义卷积神经网络结构将步骤S1输入的图像进行预处理，并从预处理后的图像中提取出高质量的人脸图像特征图；

步骤S3:将步骤S2的人脸图像特征图输入到双边注意力机制，双边注意力机制有两个分支，一个分支由卷积模块和通道注意力子模块组成，另一个分支由卷积模块和位置注意力子模块组成，人脸图像特征图分别输入到双边注意力机制的两个分支，分别经过卷积模块后由通道注意力子模块提取通道特征，学习每个通道的重要性，对人脸图像特征图进行加权；由位置注意力子模块提取位置特征，关注关键的面部区域，处理不同尺度的攻击、形变和遮挡；

步骤S4：将通道特征和位置特征进行特征拼接；

步骤S5：拼接后的特征经过卷积模块后得到输出特征；

步骤S6：将输出特征输入到分类器中，分类器根据特征的表达和区分能力，对输入的人脸图像特征图进行准确分类。

上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (10)

1.一种基于双边注意力机制的近红外活体检测装置，其特征在于，主要包括：卷积神经网络结构、双边注意力机制及分类器；

所述卷积神经网络结构用于从输入的近红外图像中提取具有判别力的人脸图像特征图，作为双边注意力机制的输入；

所述双边注意力机制包括通道注意力子模块和位置注意力子模块，卷积神经网络结构输出的人脸图像特征图分别输入到通道注意力子模块和位置注意力子模块中，通道注意力子模块通过学习每个通道的重要性，对人脸图像特征图进行加权，以减少冗余信息和强调对活体检测有用的通道特征；位置注意力子模块通过关注人脸图像特征图中关键的面部区域，处理不同尺度的攻击、形变和遮挡；

所述分类器使用经自定义的卷积神经网络结构及双边注意力模块提取的特征进行真假人分类,分类器根据特征的表达和区分能力，对输入的图像进行准确分类。

2.如权利要求1所述的基于双边注意力机制的近红外活体检测装置，其特征在于：所述双边注意力机制有两个分支，第一个分支由卷积模块和通道注意力子模块组成，第二个分支由卷积模块和位置注意力子模块组成；两个分支的输出特征通过特征拼接的方式进行连接；最后，拼接后的特征经过卷积模块得到输出特征。

3.如权利要求2所述的基于双边注意力机制的近红外活体检测装置，其特征在于：所述卷积模块包含卷积、批归一化及ReLU激活函数。

4.如权利要求1所述的基于双边注意力机制的近红外活体检测装置，其特征在于：所述通道注意力子模块的通道特征提取方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，，其中，x为人脸图像特征图；

随后，将降维后的人脸图像特征图分别重塑为[N，C/2，H*W]、[N，H*W，C/2]的人脸图像特征图，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度：

对以上两张人脸图像特征图使用批量矩阵乘法得到；沿着/>最后一个维度取最大值，得到形状为[N,C/2,1]的张量/>，将其形状扩展为[N,C/2,C/2]；将/>减去/>，得到新的张量/>，

沿着的最后一个维度进行/>操作，得到通道注意力权重，

对通道注意力权重和降维后的人脸图像特征图使用批量矩阵乘法，并将输出重塑为形状为[N,C/2,H,W]的张量，

至此，便得到了经通道注意力子模块调整后的人脸图像特征图。

5.如权利要求1所述的基于双边注意力机制的近红外活体检测装置，其特征在于，所述位置注意力子模块提取位置特征的方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，降维后的特征形状为[N,C/2,H,W]，，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度，x为人脸图像特征图；

随后，分别沿着H维度和W维度对降维后的人脸图像特征图进行平均池化操作，经池化模块后的人脸图像特征图的形状分别为[N,C/2,1,W]、[N,C/2,H,1]，并转置第二个特征，转置后的人脸图像特征图的形状为[N,C/2,1,H]，得到人脸图像特征图，/>，

；

；

拼接人脸图像特征图和/>，得到人脸图像特征图/>并对其进行卷积操作，以获得更精细的位置信息，

；

；

随后，分离人脸图像特征图，得到/>和/>，并转置分离后的第二个人脸图像特征图/>，

；

；

对和/>进行/>操作并扩张，使得以上两个人脸图像特征图中的权重均在0-1之间，

；

；

最后，将人脸图像特征图分别与/>、/>相乘，得到经位置注意力子模块调整后的人脸图像特征图。

6.如权利要求1所述的基于双边注意力机制的近红外活体检测装置，其特征在于，所述分类器的具体分类方法为：

首先，使用卷积模块对双边注意力机制输出的张量进行降维处理；

随后，经过池化模块，将张量的宽和高的维度都缩小为1；

接着，对池化后的张量进行特征重塑；

再者，经过全连接层，得到形状为[N,2]的活体检测结果，其中，N为batch size大小，2为分数；

最后，计算预测结果与标签之间的交叉熵损失，公式如下，

其中，为输入样本数量；/>为标签；/>为预测结果。

7.基于双边注意力机制的近红外活体检测方法，其特征在于，包括以下步骤：

步骤S1：输入近红外图像；

步骤S2：使用自定义卷积神经网络结构从步骤S1输入的近红外图像中提取出高质量的人脸图像特征图；

步骤S3:将步骤S2的人脸图像特征图输入到双边注意力机制，双边注意力机制有两个分支，一个分支由卷积模块和通道注意力子模块组成，另一个分支由卷积模块和位置注意力子模块组成，人脸图像特征图分别输入到双边注意力机制的两个分支，分别经过卷积模块后由通道注意力子模块提取通道特征，学习每个通道的重要性，对人脸图像特征图进行加权；由位置注意力子模块提取位置特征，关注关键的面部区域，处理不同尺度的攻击、形变和遮挡；

步骤S4：将通道特征和位置特征进行特征拼接；

步骤S5：拼接后的特征经过卷积模块后得到输出特征；

步骤S6：将输出特征输入到分类器中，分类器根据特征的表达和区分能力，对输入的人脸图像特征图进行准确分类。

8.如权利要求7所述的基于双边注意力机制的近红外活体检测方法，其特征在于，所示通道注意力子模块的通道特征提取方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，，其中，x为人脸图像特征图；

随后，将降维后的人脸图像特征图分别重塑为[N，C/2，H*W]、[N，H*W，C/2]的人脸图像特征图，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度；

对以上两张人脸图像特征图使用批量矩阵乘法得到；沿着/>最后一个维度取最大值，得到形状为[N,C/2,1]的张量/>，将其形状扩展为[N,C/2,C/2]；将/>减去/>，得到新的张量/>，

沿着的最后一个维度进行/>操作，得到通道注意力权重，

对通道注意力权重和降维后的人脸图像特征图使用批量矩阵乘法，并将输出重塑为形状为[N,C/2,H,W]的张量，

至此，便得到了经通道注意力子模块调整后的人脸图像特征图。

9.如权利要求7所述的基于双边注意力机制的近红外活体检测方法，其特征在于，所述位置注意力子模块提取位置特征的方法为：

首先，利用1×1的卷积模块对输入的人脸图像特征图进行降维，降维后的特征形状为[N,C/2,H,W]，，其中，N为输入图片数量，C指的是通道数量，H是指人脸特征图的高，W指人脸特征图的宽度，x为人脸图像特征图；

随后，分别沿着H维度和W维度对降维后的人脸图像特征图进行平均池化操作，经池化模块后的人脸图像特征图的形状分别为[N,C/2,1,W]、[N,C/2,H,1]，并转置第二个特征，转置后的人脸图像特征图的形状为[N,C/2,1,H]，得到人脸图像特征图，/>，

；

；

拼接人脸图像特征图和/>，得到人脸图像特征图/>并对其进行卷积操作，以获得更精细的位置信息；

；

；

随后，分离人脸图像特征图，得到/>和/>，并转置分离后的第二个人脸图像特征图/>；

；

；

对和/>进行/>操作并扩张，使得以上两个人脸图像特征图中的权重均在0-1之间；

；

；

最后，将人脸图像特征图分别与/>、/>相乘，得到经位置注意力子模块调整后的人脸图像特征图。

10.如权利要求7所述的基于双边注意力机制的近红外活体检测方法，其特征在于，所述分类器的具体分类方法为：

首先，使用卷积模块对双边注意力机制输出的张量进行降维处理；

随后，经过池化模块，将张量的宽和高的维度都缩小为1；

接着，对池化后的张量进行特征重塑；

再者，经过全连接层，得到形状为[N,2]的活体检测结果，其中，N为batch size大小，2为分数；

最后，计算预测结果与标签之间的交叉熵损失，公式如下，

其中，为输入样本数量；/>为标签；/>为预测结果。