CN115862097A - 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 - Google Patents
基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 Download PDFInfo
- Publication number
- CN115862097A CN115862097A CN202211493911.3A CN202211493911A CN115862097A CN 115862097 A CN115862097 A CN 115862097A CN 202211493911 A CN202211493911 A CN 202211493911A CN 115862097 A CN115862097 A CN 115862097A
- Authority
- CN
- China
- Prior art keywords
- face
- occlusion
- attention
- feature
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000001667 Eueretagrotis sigmoides Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多注意力多尺度特征学习的遮挡人脸识别方法和装置。该方法基于通道注意力和空间注意力机制，削减遮挡物对人脸识别的影响，解决有遮挡情况下人脸识别准确率降低的问题。首先在传统卷积神经网络的基础上添加多层次注意力网络，提取人脸图像的通道注意力图和空间注意力图；其次，构建多尺度特征融合器，整合人脸图像的局部与全局信息；接下来，通过遮挡掩码生成器定位遮挡区域并生成遮挡掩码，削减遮挡区域的影响；最后，通过一个多任务学习网络进行遮挡类别的分类和人脸身份的分类，得到最终的人脸识别结果。本发明简单且易于实现，模型深度较浅开销较低，实现遮挡人脸准确识别的同时保证了识别效率。
Description
技术领域
本发明属于人工智能人脸识别领域，具体涉及一种基于多注意力多尺度特征学习的遮挡人脸识别方法和装置。
背景技术
作为一种非侵入式的识别验证方式，人脸识别相比其他生物识别技术更受大众的喜爱与接受，随着识别技术的发展与进步，人脸识别技术已广泛部署在多种场景下如监控***、安防***、工业生产、家庭监护等，方便人们生活的各方各面。
人脸识别技术的准确率很大程度上依赖于模型对于人脸关键特征的提取，而人脸区域是否完整对特征提取过程有很大影响。随着新冠疫情的全球大流行，佩戴口罩成为人们出行必不可少的要求。口罩作为外界干扰因素，使得人脸图片存在遮挡，进而导致部分特征损坏。在这种情况下，常用的人脸识别算法便会失去应有的较高准确率，最终无法完成口罩人脸识别任务。因此，急需针对遮挡人脸的识别提出相关新的研究算法。
发明内容
本发明的目的是提供了一种基于多注意力多尺度特征学习的遮挡人脸识别方法和装置。本发明是通过提取并融合人脸图像的多层次特征，同时采用通道注意力和空间注意力机制消除遮挡区域对人脸识别的影响，提供了一种有效提高遮挡人脸识别精确度的方法。本发明逻辑简单且效果显著，能够有效屏蔽部分遮挡对人脸识别的不利影响，同时也支持无遮挡场景下的人脸识别任务。
本发明采用如下技术方案来实现的：
基于多注意力多尺度特征学习的遮挡人脸识别方法，该方法首先在卷积神经网络的基础上添加多层次注意力网络，提取人脸图像的通道注意力图和空间注意力图；其次，构建多尺度特征融合器，整合人脸图像的局部与全局信息，获得鲁棒性更强的人脸特征；然后，基于遮挡掩码生成器定位遮挡区域并生成遮挡掩码，削减遮挡区域的影响；最后，通过多任务学习网络同时进行遮挡类别的分类和人脸身份的分类，取得最好的人脸识别泛化效果。
本发明采用一种基于多注意力多尺度特征学习的遮挡人脸识别方法，该方法具体包括以下步骤：
提取人脸图像特征：采用残差神经网络作为人脸图像特征提取模块，提取人脸图像特征；
获得人脸图像的通道注意力图：得到人脸图像特征之后，针对各个通道的特征图计算注意力权重，获取各通道与关键信息的相关程度；
获得人脸图像的空间注意力图：将通道注意力图细化后的特征图作为输入，计算不同像素点与关键信息的相关程度，得到人脸图像的多层次特征；
人脸图像的多尺度特征融合：针对人脸图像的多层次特征，使用三层反卷积结构构建多尺度特征融合器，通过将不同尺度的特征图逐元素相加，得到包含不同分辨率和语义强度的人脸图像多尺度特征信息；
遮挡掩码生成：学习对输入图像的遮挡位置高度敏感的特征掩码，计算遮挡区域对应的权重，通过对特征赋予不同权重的方式，消除被损坏特征对人脸识别的影响；
遮挡类别分类：将遮挡掩码生成器学习到的特征掩码作为输入，将其分类为遮挡类别，以监督遮挡掩码生成器的学习；
人脸类别分类：将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘，得到清理后的人脸特征，并将其作为人脸类别分类器的输入，得到人脸类别的分类结果。
本发明进一步的改进在于，获得人脸图像的通道注意力图，具体包括：
将提取到的人脸特征分别进行平均池化和最大池化操作聚合空间信息，并将其输入两个共享的全连接层拟合各通道特征之间的相关性，得到两个通道特征图；
对两个通道特征图中的对应元素相加，并使用Sigmoid激活函数处理，得到人脸图像的通道注意力图，图中的权重反映了该通道与关键信息的相关程度。
本发明进一步的改进在于，获得人脸图像的空间注意力图，包括：
将已提取的人脸特征沿通道方向进行最大池化和平均池化操作，得到两个空间特征图；
将两个空间特征图进行拼接，并通过卷积操作拟合空间维度上的特征相关性，得到空间注意力图，图中的权重反应了不同像素点与关键信息的相关程度。
本发明进一步的改进在于，人脸图像的多尺度特征融合，具体包括：
以获取人脸图像特征提取模块作为多尺度特征融合器的主体，使用从上到下的横向连接架构构建金字塔结构模型；
金字塔结构模型的输入为预处理的人脸图像，通过卷积操作和上采样操作得到包含不同分辨率和语义强度的人脸图像多尺度特征信息。
本发明进一步的改进在于，遮挡掩码生成，具体包括：
输入包含不同尺度、全局信息的人脸特征，通过卷积网络并结合PReLu激活函数、批正则化层和Sigmoid函数得到最终的遮挡掩码，用于清理因部分遮挡而受损的原始人脸特征。
本发明进一步的改进在于，遮挡类别分类，具体包括：
对人脸图片划分成若干矩形方格，通过矩形组合模拟遮挡区域并构建新的遮挡类别，基于此得到所有遮挡类别的遮挡字典，其中仍包含无遮挡的情况；
选取不同类别的口罩图片作为遮挡物，随机选择遮挡物中心将遮挡物图片整合在人脸图片上；
根据每个方格是否被遮挡计算对应的遮挡矩阵，并在已生成遮挡字典中查找对应的遮挡类别作为该遮挡人脸图片的标签；
将已标记的遮挡人脸图片送入遮挡掩码生成器，学习与该遮挡类别相关的掩码；
将已学习到的掩码送入遮挡类别分类器分类，使用交叉熵作为损失函数监督遮挡掩码生成器的学习过程，以获得更准确的遮挡掩码。
本发明进一步的改进在于，人脸类别分类，具体包括：
输入经过遮挡掩码处理后的人脸特征，采用基于边缘的损失函数LMCL监督模型学习与身份相关的人脸特征；
最终以人脸识别任务的损失函数与遮挡类别识别任务的损失函数相加作为最终的损失函数，监督模型使其更快收敛，完成人脸类别分类。
基于多注意力多尺度特征学习的遮挡人脸识别装置，包括：
人脸图像特征提取模块，采用残差神经网络作为人脸图像特征提取模块，提取人脸图像特征；
通道注意力图构建模块，得到人脸图像特征之后，针对各个通道的特征图计算注意力权重，获取各通道与关键信息的相关程度；
空间注意力图构建模块，将通道注意力图细化后的特征图作为输入，计算不同像素点与关键信息的相关程度，得到人脸图像的多层次特征；
多尺度特征融合模块，针对人脸图像的多层次特征，使用三层反卷积结构构建多尺度特征融合器，通过将不同尺度的特征图逐元素相加，得到包含不同分辨率和语义强度的人脸图像多尺度特征信息；
遮挡掩码生成模块，学习对输入图像的遮挡位置高度敏感的特征掩码，计算遮挡区域对应的权重，通过对特征赋予不同权重的方式，消除被损坏特征对人脸识别的影响；
遮挡类别分类模块，将遮挡掩码生成器学习到的特征掩码作为输入，将其分类为遮挡类别，以监督遮挡掩码生成器的学习；
人脸类别分类模块，将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘，得到清理后的人脸特征，并将其作为人脸类别分类器的输入，得到人脸类别的分类结果。
本发明至少具有如下有益的技术效果：
本发明提供的基于多注意力多尺度特征学习的遮挡人脸识别方法。该方法首先在人脸特征提取网络的基础上添加多层次注意力机制，提取人脸图像的通道注意力图和空间注意力图；其次，构建多尺度特征融合器，整合图像的局部与全局信息；接下来，通过遮挡掩码生成器定位遮挡区域并生成遮挡掩码，削减遮挡区域的影响；最后，通过一个多任务学习网络进行遮挡类别的分类和人脸身份的分类，得到最终的人脸识别结果。相比于普通的人脸识别算法，该方法可以削减口罩等遮挡物对人脸识别准确率的影响。实验表明，该方法在遮挡人脸任务上取得了97.76％的准确率，优于现有的遮挡人脸识别算法。在无遮挡人脸识别任务上，其准确率与现有方法相当。
本申请还提供了基于多注意力多尺度特征学习的遮挡人脸识别装置，其包括人脸特征提取模块、通道注意力图构建模块、空间注意力图构建模块、多尺度特征融合模块、遮挡掩码生成模块、遮挡分类模块、人脸分类模块共七个模块。人脸特征提取模块为后续模块提供了深层人脸特征；通道注意力和空间注意力模块提供了关于通道注意力图和空间注意力图的提取方法；多尺度特征融合模块可以将图像的局部与全局信息进行融合，得到更有利于识别的人脸图像多尺度特征信息；遮挡掩码生成模块可以定位遮挡区域并生成遮挡掩码，削减遮挡区域的影响，提高分类准确度；遮挡分类模块用于对遮挡掩码进行分类，有效监督遮挡掩码生成的过程；最后的人脸分类模块通过输入清理后的人脸特征，可以实现针对人脸类别的有效分类，提高分类效率。
附图说明
图1是基于注意力机制的遮挡人脸识别算法的整体处理流程图；
图2是通道注意力图提取过程示意图；
图3是空间注意力图提取过程示意图；
图4是多层次特征融合模块示意图；
图5是不同算法在LFW和Occ-LFW数据集上的混淆矩阵；
图6是本发明提供的基于多注意力尺度特征学习的遮挡人脸识别装置功能模块图；
图7是本发明提供的实现所述基于多注意力尺度特征学习的遮挡人脸识别算法的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
参照图1，本发明提供的基于多注意力多尺度特征学习的遮挡人脸识别，该方法首先对输入人脸图像进行特征提取，并根据多层次注意力机制计算得到人脸图像的通道注意力图和空间注意力图；再经过多尺度特征融合器得到包含不同分辨率和语义强度的特征信息；遮挡类别识别任务分支经过遮挡掩码生成器学习该人脸图像的遮挡掩码，并将此掩码送入遮挡类别分类器监督掩码生成器的学习过程；人脸识别任务分支将遮挡类别识别任务分支学习到的遮挡掩码叠加在原始人脸特征上消除遮挡对识别的不利影响，完成遮挡人脸识别任务。具体包含以下模块：
1.人脸图像的多层次特征提取：包括人脸图像特征提取、通道注意力图获取以及空间注意力图获取，具体有以下步骤：
Step1提取人脸图像特征：采用残差神经网络作为人脸图像特征提取网络，提取人脸图像特征；
Step2获得人脸图像的通道注意力图：参考图2，得到人脸图像特征之后，针对各个通道的特征图计算注意力权重，获取各通道与关键信息的相关程度；具体步骤如下：
首先，对于输入
分别进行平均池化和最大值池化聚合空间信息，得到特征图/>
和/>
其次，将/>
和/>
输入两个共享的全连接层，以拟合通道特征之间的相关性：
式中，(W0,b0,W1,b1)分别代表两个全连接层各自的权重与偏置。
其中r为压缩比，以减少参数量。/>
最后，将式(1)和(2)进行对应元素相加，并使用Sigmoid激活函数对其处理，得到最终的通道注意力图Mc(F)。该过程如下式所示。
式中，
即Sigmoid激活函数。
Step3获得人脸图像的空间注意力图：参考图3，将通道注意力图细化后的特征图作为输入，计算不同像素点与关键信息的相关程度。具体步骤如下：
该模块输入为经过通道注意力图细化后的特征图
输出为空间权重图Ms。首先，沿着通道方向对F进行最大池化和平均池化操作，得到特征图/>
和/>
然后，将平均池化结果/>
和最大池化结果/>
进行拼接，得到新的通道数为2的数据，并将其送入一层卷积神经网络以拟合空间维度上的特征相关性。该过程下式所示。
其中，
代表卷积核为k1×k2的卷积操作。
2.人脸图像的多尺度特征融合：参考图4，以步骤1中的人脸图像特征提取模块作为多尺度特征融合器的主体，使用从上到下的横向连接架构构建金字塔结构。该模型将处理过的人脸图像作为输入，输出不同尺度的人脸特征x1,x2,x3。其中x1是需要清理的底层人脸识别特征，x2,x3包含不同尺度的局部和全局信息，该过程可形式化表述如下
x2＝conv(upsample(conv(x1))+conv(C2)) (5)
x3＝conv(upsample(conv(x2))+conv(C3)) (6)
其中conv为卷积操作，upsample为上采样操作。
3.遮挡掩码生成：学习对输入图像的遮挡位置高度敏感的特征掩码，计算遮挡区域对应的权重，通过对特征赋予不同权重的方式，消除被损坏特征对人脸识别的影响。
4.多任务遮挡人脸分类模型：包括两个子任务，人脸类别分类和遮挡类别分类。具体步骤如下：
Step1遮挡类别分类器：将遮挡掩码生成器学习到的特征掩码作为输入，将其分类为遮挡类别，以监督遮挡掩码生成器的学习。
Step2人脸类别分类：将遮挡掩码生成器计算得到的区域权重与人脸图像多尺度特征信息相乘，得到清理后的人脸特征，将其作为人脸类别分类器的输入，得到人脸类别的分类结果。
参照表1，与人脸识别领域的其他算法相比，本发明中所提出的算法在无遮挡人脸比对方面与Arcface基本一致，比遮挡人脸识别领域的FROM算法提升了0.4％。在有遮挡人脸比对方面，本文算法的准确率比Arcface提升了1.2％，比有遮挡人脸识别算法FROM提升了1％。这说明了基于注意力机制的遮挡人脸识别算法在人脸比对方面的有效性。
表1：本发明与其他人脸识别算法ArcFace和FROM在LFW和Occ-LFW数据集上人脸准确率的对比。
为了进一步评估该算法与其他算法相比的情况，进一步得到了三个算法在LFW数据集和Occ-LFW数据集上的混淆矩阵，参考图5。在LFW数据集上，FROM最容易将相同人脸对与不同人脸对混淆，而Arcface最不易将两者混淆。在相同人脸比对方面，本发明的性能优于FROM，与Arcface性能相近；在不同人脸比对方面，本发明的性能明显优于FROM，但略逊于Arcface。在Occ-LFW数据集上，Arcface最容易将相同人脸对与不同人脸对混淆，而本发明最不易将两者混淆。在相同人脸比对和不同人脸比对方面，本发明的性能优于FROM和Arcface，这充分说明了基于注意力机制的遮挡人脸识别算法的有效性。
本发明提供的基于多注意力多尺度特征学习的遮挡人脸识别装置，包括人脸特征提取模块、通道注意力图构建模块、空间注意力图构建模块、多尺度特征融合模块、遮挡掩码生成模块、遮挡分类模块和人脸分类模块。
1.人脸图像特征提取模块，采用残差神经网络作为人脸图像特征提取模块，提取人脸图像特征；
2.通道注意力图构建模块，得到人脸图像特征之后，针对各个通道的特征图计算注意力权重，获取各通道与关键信息的相关程度；
3.空间注意力图构建模块，将通道注意力图细化后的特征图作为输入，计算不同像素点与关键信息的相关程度，得到人脸图像的多层次特征；
4.多尺度特征融合模块，针对人脸图像的多层次特征，使用三层反卷积结构构建多尺度特征融合器，通过将不同尺度的特征图逐元素相加，得到包含不同分辨率和语义强度的人脸图像多尺度特征信息；
5.遮挡掩码生成模块，学习对输入图像的遮挡位置高度敏感的特征掩码，计算遮挡区域对应的权重，通过对特征赋予不同权重的方式，消除被损坏特征对人脸识别的影响；
6.遮挡类别分类模块，将遮挡掩码生成器学习到的特征掩码作为输入，将其分类为遮挡类别，以监督遮挡掩码生成器的学习；
7.人脸类别分类模块，将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘，得到清理后的人脸特征，并将其作为人脸类别分类器的输入，得到人脸类别的分类结果。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (9)
1.基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，该方法首先在卷积神经网络的基础上添加多层次注意力网络，提取人脸图像的通道注意力图和空间注意力图；其次，构建多尺度特征融合器，整合人脸图像的局部与全局信息，获得鲁棒性更强的人脸特征；然后，基于遮挡掩码生成器定位遮挡区域并生成遮挡掩码，削减遮挡区域的影响；最后，通过多任务学习网络同时进行遮挡类别的分类和人脸身份的分类，取得最好的人脸识别泛化效果。
2.根据权利要求1所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，该方法具体包括以下步骤：
提取人脸图像特征：采用残差神经网络作为人脸图像特征提取模块，提取人脸图像特征；
获得人脸图像的通道注意力图：得到人脸图像特征之后，针对各个通道的特征图计算注意力权重，获取各通道与关键信息的相关程度；
获得人脸图像的空间注意力图：将通道注意力图细化后的特征图作为输入，计算不同像素点与关键信息的相关程度，得到人脸图像的多层次特征；
人脸图像的多尺度特征融合：针对人脸图像的多层次特征，使用三层反卷积结构构建多尺度特征融合器，通过将不同尺度的特征图逐元素相加，得到包含不同分辨率和语义强度的人脸图像多尺度特征信息；
遮挡掩码生成：学习对输入图像的遮挡位置高度敏感的特征掩码，计算遮挡区域对应的权重，通过对特征赋予不同权重的方式，消除被损坏特征对人脸识别的影响；
遮挡类别分类：将遮挡掩码生成器学习到的特征掩码作为输入，将其分类为遮挡类别，以监督遮挡掩码生成器的学习；
人脸类别分类：将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘，得到清理后的人脸特征，并将其作为人脸类别分类器的输入，得到人脸类别的分类结果。
3.根据权利要求2所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，获得人脸图像的通道注意力图，具体包括：
将提取到的人脸特征分别进行平均池化和最大池化操作聚合空间信息，并将其输入两个共享的全连接层拟合各通道特征之间的相关性，得到两个通道特征图；
对两个通道特征图中的对应元素相加，并使用Sigmoid激活函数处理，得到人脸图像的通道注意力图，图中的权重反映了该通道与关键信息的相关程度。
4.根据权利要求2所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，获得人脸图像的空间注意力图，包括：
将已提取的人脸特征沿通道方向进行最大池化和平均池化操作，得到两个空间特征图；
将两个空间特征图进行拼接，并通过卷积操作拟合空间维度上的特征相关性，得到空间注意力图，图中的权重反应了不同像素点与关键信息的相关程度。
5.根据权利要求2所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，人脸图像的多尺度特征融合，具体包括：
以获取人脸图像特征提取模块作为多尺度特征融合器的主体，使用从上到下的横向连接架构构建金字塔结构模型；
金字塔结构模型的输入为预处理的人脸图像，通过卷积操作和上采样操作得到包含不同分辨率和语义强度的人脸图像多尺度特征信息。
6.根据权利要求5所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，遮挡掩码生成，具体包括：
输入包含不同尺度、全局信息的人脸特征，通过卷积网络并结合PReLu激活函数、批正则化层和Sigmoid函数得到最终的遮挡掩码，用于清理因部分遮挡而受损的原始人脸特征。
7.根据权利要求2所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，遮挡类别分类，具体包括：
对人脸图片划分成若干矩形方格，通过矩形组合模拟遮挡区域并构建新的遮挡类别，基于此得到所有遮挡类别的遮挡字典，其中仍包含无遮挡的情况；
选取不同类别的口罩图片作为遮挡物，随机选择遮挡物中心将遮挡物图片整合在人脸图片上；
根据每个方格是否被遮挡计算对应的遮挡矩阵，并在已生成遮挡字典中查找对应的遮挡类别作为该遮挡人脸图片的标签；
将已标记的遮挡人脸图片送入遮挡掩码生成器，学习与该遮挡类别相关的掩码；
将已学习到的掩码送入遮挡类别分类器分类，使用交叉熵作为损失函数监督遮挡掩码生成器的学习过程，以获得更准确的遮挡掩码。
8.根据权利要求2所述的基于多注意力多尺度特征学习的遮挡人脸识别方法，其特征在于，人脸类别分类，具体包括：
输入经过遮挡掩码处理后的人脸特征，采用基于边缘的损失函数LMCL监督模型学习与身份相关的人脸特征；
最终以人脸识别任务的损失函数与遮挡类别识别任务的损失函数相加作为最终的损失函数，监督模型使其更快收敛，完成人脸类别分类。
9.基于多注意力多尺度特征学习的遮挡人脸识别装置，其特征在于，包括：
人脸图像特征提取模块，采用残差神经网络作为人脸图像特征提取模块，提取人脸图像特征；
通道注意力图构建模块，得到人脸图像特征之后，针对各个通道的特征图计算注意力权重，获取各通道与关键信息的相关程度；
空间注意力图构建模块，将通道注意力图细化后的特征图作为输入，计算不同像素点与关键信息的相关程度，得到人脸图像的多层次特征；
多尺度特征融合模块，针对人脸图像的多层次特征，使用三层反卷积结构构建多尺度特征融合器，通过将不同尺度的特征图逐元素相加，得到包含不同分辨率和语义强度的人脸图像多尺度特征信息；
遮挡掩码生成模块，学习对输入图像的遮挡位置高度敏感的特征掩码，计算遮挡区域对应的权重，通过对特征赋予不同权重的方式，消除被损坏特征对人脸识别的影响；
遮挡类别分类模块，将遮挡掩码生成器学习到的特征掩码作为输入，将其分类为遮挡类别，以监督遮挡掩码生成器的学习；
人脸类别分类模块，将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘，得到清理后的人脸特征，并将其作为人脸类别分类器的输入，得到人脸类别的分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211493911.3A CN115862097A (zh) | 2022-11-25 | 2022-11-25 | 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211493911.3A CN115862097A (zh) | 2022-11-25 | 2022-11-25 | 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115862097A true CN115862097A (zh) | 2023-03-28 |
Family
ID=85666718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211493911.3A Pending CN115862097A (zh) | 2022-11-25 | 2022-11-25 | 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862097A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912632A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 基于遮挡的目标追踪方法及装置 |
-
2022
- 2022-11-25 CN CN202211493911.3A patent/CN115862097A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912632A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 基于遮挡的目标追踪方法及装置 |
| CN116912632B (zh) * | 2023-09-12 | 2024-04-12 | 深圳须弥云图空间科技有限公司 | 基于遮挡的目标追踪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
| US11232286B2 (en) | Method and apparatus for generating face rotation image | |
| CN110796080B (zh) | 一种基于生成对抗网络的多姿态行人图像合成算法 | |
| CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
| CN112801015B (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
| JP2016538656A (ja) | 顔画像認識のための方法とシステム | |
| Han et al. | Visual hand gesture recognition with convolution neural network | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN112418041A (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
| CN114511798B (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
| Soni et al. | Hybrid meta-heuristic algorithm based deep neural network for face recognition | |
| Sang et al. | Multi-scale context attention network for stereo matching | |
| CN112766217A (zh) | 基于解纠缠和特征级差异学习的跨模态行人重识别方法 | |
| CN115862097A (zh) | 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 | |
| Aslam et al. | Wavelet-based convolutional neural networks for gender classification | |
| Guo et al. | Facial expression recognition: a review | |
| CN113706404A (zh) | 一种基于自注意力机制的俯角人脸图像校正方法及*** | |
| Chui et al. | Capsule networks and face recognition | |
| Sang et al. | Image recognition based on multiscale pooling deep convolution neural networks | |
| Zhou et al. | Design of an Intelligent Laboratory Facial Recognition System Based on Expression Keypoint Extraction | |
| CN114373205A (zh) | 一种基于卷积宽度网络的人脸检测和识别方法 | |
| Papadopoulos et al. | Face-GCN: A graph convolutional network for 3D dynamic face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |