CN112801015A - 一种基于注意力机制的多模态人脸识别方法 - Google Patents
一种基于注意力机制的多模态人脸识别方法 Download PDFInfo
- Publication number
- CN112801015A CN112801015A CN202110171944.5A CN202110171944A CN112801015A CN 112801015 A CN112801015 A CN 112801015A CN 202110171944 A CN202110171944 A CN 202110171944A CN 112801015 A CN112801015 A CN 112801015A
- Authority
- CN
- China
- Prior art keywords
- attention
- feature
- attention mechanism
- module
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明用于模式识别领域,本发明提出了一种基于注意力机制的多模态人脸识别方法,其中本发明的网络模型afr_net通过采用CBAM和SAVM来构建注意力机制,在ResNet18的每个block中加入空间和通道注意模块CBAM,利用结合了注意力机制的ResNet18来建立RGB、深度以及它们的融合模态的分支,从而得到了三个模态的特征,再将这三个模态的特征进行融合,输入共享层,通过一个基于空间注意力机制的矢量化模块SAVM和全连接层得到特征向量。该方法不仅克服了传统二维人脸识别方法的不足,还有效融合了RGB和深度模态,增强了RGB‑D人脸识别能力。
Description
技术领域
本发明涉及机器深度学习和图像处理识别领域,尤其涉及一种基于注意力机制的多模态人脸识别方法。
背景技术
人脸识别的技术研究开始于20世纪60年代,逐渐的成为了计算机视觉界的一个热门话题,最近随着深度学习技术的飞速进步和大量二维人脸数据集的开源,二维人脸识别取得了巨大的成功。自从2012年提出并引用AlexNet后,大多数人脸识别的模型都采用了以CNN为骨干的深度学习策略。2015年谷歌提出了FaceNet模型,在LFW基准上达到了99.63%的精确度,其性能超越了人类。这些二维人脸识别进展大多数都是利用了二维的图像(RGB),而二维RGB图像包含的人脸信息有限,在姿态、光照、伪装等不确定的条件下,二维人脸识别还是存在问题的。
随着Kinect、Realsense等廉价的RGB-D相机逐渐广泛的应用,获取RGB-D图像的成本大幅下降,而目前使用RGB-D图像的人脸识别任务还没有得到充分的研究。虽然深度图没有提供真正的3D网格,但是它以密集的三维点的形式提供了面部的几何信息,通过深度信息也表明了可以反欺诈,如面具攻击等,所以通过RGB-D的人脸识别的安全性也很高,能适用于一些对安全性要求高的场景,所以这些额外的人脸信息使人脸识别模型更精确和鲁棒性更好。
现有的大部分三维人脸识别多采用数据融合、特征融合或者分数级融合来提高三维人脸识别模型的性能,如:中国专利“201911397767.1”公开的“一种基于多种数据类型融合的三维人脸识别方法”,中国专利“201410343015.8”公开的“基于特征点的三维人脸识别方法”以及中国专利“202011000990.0”公开的“一种基于深度图质量增强的低精度三维人脸识别方法”等,这些现有技术的识别精确度均较低,不能满足现有的需求。
发明内容
为了克服现有技术存在的缺陷,本发明提供一种基于注意力机制的多模态人脸识别方法,通过将注意力机制应用到CNN网络中,从而可以关注重要特征并抑制不必要的特征,同时有效融合了RGB和深度模态,增强了RGB-D人脸识别能力,鲁棒性更强。
为了达到上述目的,本发明采用以下技术方案。
本发明公开一种基于注意力机制的多模态人脸识别方法,包括以下步骤:
S1:建立RGBD人脸数据库;
S2:设置注意力机制模块,用于网络自动学习具有判别性的人脸特征,所述注意力机制模块包括空间和通道注意模块CBAM及基于空间注意力机制的矢量化模块SAVM,所述空间和通道注意模块CBAM包括通道注意模块和空间注意模块;
S3:搭建注意力机制网络afr_net,所述注意力机制网络afr_net包括RGB信息处理分支、深度信息处理分支和融合信息处理分支,每个分支均包括resnet18网络以及嵌入resnet18网络中的所述注意力机制模块,基于空间注意力机制的矢量化模块SAVM用于对三个分支输出的特征融合得到的融合特征进行处理,得到人脸特征向量;
S4:训练注意力机制网络afr_net,采用损失函数对注意力机制网络afr_net进行训练并且保存模型参数;
S5:将待测样本输入到训练好的注意力机制网络afr_net中,提取待测样本的人脸特征向量;
S6:把提取的待测样本的人脸特征向量进行分类,完成待测样本的识别,得到人脸识别结果。
作为优选的技术方案,步骤S1中所述的建立了RGBD人脸数据库,该数据库通过Realsense D435I深度相机获得,Realsense D435I获取的彩色图和深度图分别由位于设备上的不同传感器成像得到,这将导致两个传感器的成像区域不完全相同,而且同一物体在不同的成像视场中位置不同,所以在深度图和彩色图中对应的像素坐标并不相同,因此可利用Intel Realsense SDK中的对齐函数,根据RGB信息对深度图像校准,使深度图与彩色图对齐。
作为优选的技术方案,步骤S1中所述的建立了RGBD人脸数据库,建立数据库时检测人脸的方法采用了MTCNN。由于深度相机获取的深度图有较大噪声,且RGB图的坐标信息可以映射到深度图上,因此采用了相对成熟的基于RGB图像的人脸检测算法MTCNN,将RGB图上的人脸检测结果转化为坐标信息映射到深度图上从而得到完整的人脸深度数据。
作为优选的技术方案,步骤S1中所述的建立了RGBD人脸数据库,该数据库中的深度图像需要处理深度值为0的“黑洞点”,本发明采用了图像处理中广泛应用的线性滤波方法:均值滤波,它主要利用图像的局部统计信息消除点状噪声。
作为优选的技术方案,步骤S2对预处理后的图像进行数据增广,所述数据增广方法包括图像随机旋转操作、镜像翻转操作、仿射变换和透视变换,这将使数据集大小增加到原来的4倍。
作为优选的技术方案,所述的嵌入了CBAM的ResNet18包括5个stage,具体如下所述:
Stage0:包括卷积层和池化层,所述卷积核大小为7×7,输出通道数为64,步长为2,所述池化层采用最大池化,窗口大小为3×3,步长为2;
Stage1:由2个输出通道数为64且嵌入了注意力模块CBAM的块(block)组成;
Stage2:由2个输出通道数为128且嵌入了注意力模块CBAM的块(block)组成;
Stage3:由2个输出通道数为256且嵌入了注意力模块CBAM的块(block)组成;
Stage4:由2个输出通道数为512且嵌入了注意力模块CBAM的块(block)组成;
作为优选的技术方案,所述嵌入了注意力模块CBAM的块的形成步骤具体如下所述:
对输入先进行2次3×3卷积,得到特征F,再将特征F输入到注意力模块CBAM中,得到注意权重图,利用注意权重图对特征F进行缩放(Scale)操作,得到经过注意权重调整的新特征作为输出,最后将输出与输入做elementwise-add操作,即逐元素相加,然后得到结果。
作为优选的技术方案,所述CBAM的通道注意模块的设计,在resnet18的每个嵌入了注意力模块CBAM的块中,以经过两次3×3卷积后得到的特征作为CBAM的输入特征F,对特征F进行全局平均池化和全局最大池化,生成了表示平均池化特征的FC avg和最大池化特征的FC max,然后将FC avg和FC max分别转发到具有一个隐层的多层感知器(MLP)中,该感知器的网络参数是共享的,为了减少MLP的参数,该隐层神经元减少为1/r倍,即神经元个数为C/r,权重W0∈RC/r×C,激活函数为Relu,输出层神经元的个数为C,权重W1∈RC×C/r。将FC avg和FC max经过MLP变化后的特征逐元素相加后经过一个Sigmoid激活函数得到一个通道注意图MC(F)∈RC ×1×1,即得到了各个通道的权重系数,最后,拿权重系数和原来的输入特征F相乘可得到缩放后的新特征F’。MC(F)的计算公式如下:
MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
=σ(W1(W0(FC avg))+W1(W0(FC max)))
其中,σ表示sigmoid函数,W0和W1为MLP的权重,W0∈RC/r×C,W1∈RC×C/r。
新特征F’的计算公式如下:
作为优选的技术方案,所述CBAM的空间注意模块以经过通道注意模块处理后的输出特征F’作为输入特征,在通道轴上对特征F’使用平均池化和最大池化操作,生成了两个二维映射:FS avg∈R1×H×W和FS max∈R1×H×W,将它们按照通道维度连接在一起形成一个尺寸大小为R2×H×W的特征,然后利用标准卷积层生成一个二维空间注意图MS(F)∈R1×H×W,即得到了各个像素的权重系数,最后,拿权重系数和原来的特征F’逐像素相乘可得到缩放后的新特征F”。MS(F)的计算公式如下:
MS(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))=σ(f7×7([FS avg;FS max]));
其中,σ表示sigmoid函数,;f7×7表示卷积核大小为7×7的卷积运算,输出通道数为1;[FS avg;FS max]表示将FS avg和FS max按照通道维度连接起来;
在算得MS(F)后,新特征F”的计算公式如下:
作为优选的技术方案,步骤S4所述的搭建注意力机制网络afr_net,该网络结合了多模态和特征融合的方法。
作为优选的技术方案,所述的注意力机制网络afr_net的特征融合,将RGB信息、深度信息和融合信息作为输入提取出的三个分支的高级特征进行融合,得到融合特征F~,通道数为1536。
作为优选的技术方案,所述的注意力机制网络将提取出的融合特征F~输入基于空间注意力机制的矢量化模块SAVM,该矢量化模块对融合特征F~做一次卷积操作,卷积核大小为3×3,步长为1,输出通道数为融合特征F~的通道数的一半,在该卷积操作后得到一个新特征F~~。再对特征F~~做一次全卷积操作,卷积核大小为特征F~~的大小,通道数为256。最后加入一个89维的全连接层进行降维,得到人脸特征向量,维数也就是人脸数据库中参与者的人数。
作为优选的技术方案,步骤S5所述的人脸识别损失函数采用softmax函数。Softmax为每个输出分类的结果都赋予一个概率值,表示属于每个类别的可能性。Softmax函数的定义如下:
其中i表示输出节点的编号,zi为第i个节点的输出值,L为输出节点的个数,即分类的类别个数,假设此时第i个输出节点为正确类别对应的输出节点,则pi表示正确类别对应输出节点的概率。通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]且所有输出值之和为1的概率分布。
对应的softmax损失函数的表达式如下:
作为优选的技术方案,所述基于softmax函数的分类模型采用的优化器为SGDM。
本发明与现有技术相比,至少具有以下有益效果:
(1)本发明基于在多模态中分别提取更有判别性的人脸局部特征为出发点,在基础resnet18的框架下设计了注意力机制模块,形成了加入注意力机制的人脸识别方法,能够提取到更丰富的人脸特征。
(2)本发明构建了以RGB信息、深度信息和融合信息作为输入的三个分支,经过各自加入了注意力模块CBAM的ResNet18网络,提取出了经过注意权重调整的高级特征,并对提取出的高级特征进行融合,从而能有效地结合了不同模态的信息,使该人脸识别模型的识别精度更高,鲁棒性更好。
(3)本发明对人脸数据库中的图像进行数据增广,用于增加训练的样本数据,弥补了现有RGBD人脸数据不足的问题,加强了网络的鲁棒性。
附图说明
图1为本发明中人脸图像特征的提取流程。
图2为原始ResNet的残差结构示意图。
图3为本发明嵌入了CBAM的ResNet的残差结构示意图。
图4为本发明通道注意模块的结构示意图。
图5为本发明空间注意模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合附图并举实施例,对本发明的具体实施进行详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不限定本发明。
请参阅图1-5,本实施例公开一种基于注意力机制的多模态人脸识别方法,所述算法包括以下步骤:
步骤一:建立RGBD人脸数据库。该数据库包括了89人(男性50名,女性39名)的多模态人脸图像,总计17622张。
该数据库通过Realsense D435I深度相机获得,Realsense D435I获取的彩色图和深度图分别由位于设备上的不同传感器成像得到,这将导致两个传感器的成像区域不完全相同,而且同一物体在不同的成像视场中位置不同,所以在深度图和彩色图中对应的像素坐标并不相同,因此可利用Intel Realsense SDK中的对齐函数,根据RGB信息对深度图像校准,使深度图与彩色图对齐。
建立数据库时检测人脸的方法采用了MTCNN。由于深度相机获取的深度图有较大噪声,且RGB图的坐标信息可以映射到深度图上,因此采用了相对成熟的基于RGB图像的人脸检测算法MTCNN,将RGB图上的人脸检测结果转化为坐标信息映射到深度图上从而裁剪得到完整的人脸深度数据。其中,采集的彩色图以.png格式存储,深度图以数据形式存储,存储格式为.npy,彩色图与对应的深度图以及对应的标签(即实验者的编号)一一对应,保存在excel中形成索引,训练模型时,pytorch中的数据加载类:DataLoader将所有数据加载,每个人脸数据的形成的张量维度为torch.Size([32,4,224,224]),4表示有RGBD这4个通道,每个通道R\G\B\D的维度都为[224,224],因此输入数据为RGB时,选取前三个,输入数据为深度数据(depth)时,选取第四个,输入为融合数据(fusion)时,不用额外操作。
该数据库中的深度图需要处理深度值为0的“黑洞点”,本发明采用了图像处理中广泛应用的线性滤波方法:均值滤波,它主要利用图像的局部统计信息消除点状噪声。
步骤二:对RGBD人脸数据库中的图像进行数据增广,数据增广方法包括图像随机旋转操作、镜像翻转操作、仿射变换和透视变换,将数据集大小增加到原来的4倍。
步骤三:设置注意力机制模块,包括:空间和通道注意模块CBAM、基于空间注意力机制的矢量化模块SAVM。空间和通道注意模块CBAM包括通道注意模块和空间注意模块。
空间和通道注意模块CBAM嵌入了ResNet18的每个block中,CBAM包括一个通道注意模块和一个空间注意模块。
嵌入了CBAM的ResNet18网络包括5个stage,具体如下所述:
Stage0:包括卷积层和池化层,所述卷积核大小为7×7,输出通道数为64,步长为2,所述池化层采用最大池化,窗口大小为3×3,步长为2;
Stage1:由2个输出通道数为64且嵌入了注意力模块CBAM的块(block)组成;
Stage2:由2个输出通道数为128且嵌入了注意力模块CBAM的块(block)组成;
Stage3:由2个输出通道数为256且嵌入了注意力模块CBAM的块(block)组成;
Stage4:由2个输出通道数为512且嵌入了注意力模块CBAM的块(block)组成;
如图2所示,原始resnet18的每个block的结构都是进行2次3×3卷积,输出与输入做elementwise-add操作,即逐元素相加,然后得到结果。
如图3所示,嵌入了CBAM的resnet18的每个block的结构都是先进行2次3×3卷积,得到特征F,再将特征F输入到注意力模块CBAM中,得到注意权重图,利用注意权重图对特征F进行缩放(Scale)操作,得到经过注意权重调整的新特征作为输出,最后将输出与输入做elementwise-add操作,即逐元素相加,然后得到结果。
通过前述对图3的描述可知,在resnet18网络的每个block中,经过两次3×3卷积后得到的特征作为CBAM的输入特征。如图4所示,先对输入CBAM的通道注意模块的特征F进行全局平均池化操作(AvgPool)和全局最大池化(MaxPool),生成表示平均池化特征的FC avg和最大池化特征的FC max,然后将FC avg和FC max分别转发到具有一个隐层的多层感知器(MLP)中,该感知器的网络参数是共享的,为了减少MLP的参数,可设置一个缩放系数r改变神经元个数,该隐层神经元减少为1/r倍,即神经元个数为C/r,r一般可取2,权重W0∈RC/r×C,激活函数为Relu,输出层神经元的个数为C,权重W1∈RC×C/r。将FC avg和FC max经过MLP变化后的特征逐元素相加后经过一个Sigmoid激活函数得到一个通道注意图MC(F)∈RC×1×1,即得到了各个通道的权重系数,最后,拿各个通道权重系数和原来的输入特征F相乘可得到缩放后的新特征F’。MC(F)的计算公式如下:
MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
=σ(W1(W0(FC avg))+W1(W0(FC max)))
其中,σ表示sigmoid函数,W0和W1为MLP的权重,W0∈RC/r×C,W1∈RC×C/r。
新特征F’的计算公式如下:
如图5所示,CBAM的空间注意模块以经过通道注意模块处理后的输出特征F’作为输入特征,在通道轴上对特征F’使用平均池化和最大池化操作,生成了两个二维映射:FS avg∈R1×H×W和FS max∈R1×H×W,(1表示通道数为1,H和W分别表示图像尺寸的高和宽)将它们按照通道维度连接在一起形成一个尺寸大小为R2×H×W的特征,然后利用标准卷积层生成一个二维空间注意图MS(F)∈R1×H×W,即得到了各个像素的权重系数,最后,拿各个像素的权重系数和原来的特征F’逐像素相乘可得到缩放后的新特征F”。MS(F)的计算公式如下:
MS(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))=σ(f7×7([FS avg;FS max]));
其中,σ表示sigmoid函数,;f7×7表示卷积核大小为7×7的卷积运算,输出通道数为1;[FS avg;FS max]表示将FS avg和FS max按照通道维度连接起来。
在算得MS(F)后,新特征F”的计算公式如下:
步骤四:搭建注意力机制网络afr_net,该网络结合了多模态和特征融合的方法。
注意力机制网络afr_net的多模态为RGB、深度以及RGB和深度的融合模态。分别以RGB信息、深度信息和融合信息作为输入,即构造了三个分支,包括RGB信息处理分支、深度信息处理分支和融合信息处理分支,每个分支均包括resnet18网络以及嵌入resnet18网络中的所述注意力机制模块,经过各自的加入了注意力模块CBAM的ResNet18网络,提取出经过注意权重调整的高级特征。
注意力机制网络afr_net的特征融合:将RGB信息、深度信息和融合信息作为输入提取出的三个分支的高级特征进行融合,得到融合特征F~,通道数为1536。
注意力机制网络afr_net将提取出的融合特征F~输入基于空间注意力机制的矢量化模块SAVM,该矢量化模块对融合特征F~做一次卷积操作,卷积核大小为3×3,步长为1,输出通道数为融合特征F~的通道数的一半,在该卷积操作后得到一个新特征F~~。再对特征F~~做一次全卷积操作,卷积核大小为特征F~~的大小,通道数为256。最后加入一个89维的全连接层进行降维,得到人脸特征向量,维数也就是人脸数据库中参与者的人数。
步骤五:训练注意力机制网络afr_net,该网络采用softmax函数作为人脸识别损失函数对注意力机制网络进行训练。Softmax为每个输出分类的结果都赋予一个概率值,表示属于每个类别的可能性。Softmax函数的定义如下:
其中,i表示输出节点的编号,zi为第i个节点的输出值,zj表示第j个节点的输出值,L为输出节点的个数,即分类的类别个数,假设此时第i个输出节点为正确类别对应的输出节点,则pi表示正确类别对应输出节点的概率,通过Softmax函数可以将多分类的输出值转换为范围在[0,1]且所有输出节点概率pi之和为1的概率分布;
对应的softmax损失函数的表达式如下:
在本实施例中,优化器采用SGDM,学习率设为0.001,每7个周期衰减0.1,batchsize设为32,训练周期设为50。每训练完一轮的注意力机制网络afr_net都会在自建的人脸数据库上进行验证,最后把训练好的网络保存。
步骤六:学习人脸图像的高层特征和抽象特征。
将测试样本输入到训练好的afr_net中,提取测试样本的特征向量。
步骤七:人脸识别。
把提取的测试样本的特征用softmax回归方法进行分类,完成测试样本的识别,得到人脸识别结果。
以上步骤前的序号只是为了表述方便,不构成对步骤先后顺序的限制。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.本发明提出了一种基于注意力机制的多模态人脸识别方法,其特征在于,包括以下步骤:
S1:建立RGBD人脸数据库;
S2:设置注意力机制模块,用于网络自动学习具有判别性的人脸特征,所述注意力机制模块包括空间和通道注意模块CBAM及基于空间注意力机制的矢量化模块SAVM,所述空间和通道注意模块CBAM包括通道注意模块和空间注意模块;
S3:搭建注意力机制网络afr_net,所述注意力机制网络afr_net包括RGB信息处理分支、深度信息处理分支和融合信息处理分支,每个分支均包括resnet18网络以及嵌入resnet18网络中的所述注意力机制模块,基于空间注意力机制的矢量化模块SAVM用于对三个分支输出的特征融合得到的融合特征进行处理,得到人脸特征向量;
S4:训练注意力机制网络afr_net,采用损失函数对注意力机制网络afr_net进行训练并且保存模型参数;
S5:将待测样本输入到训练好的注意力机制网络afr_net中,提取待测样本的人脸特征向量;
S6:把提取的待测样本的人脸特征向量进行分类,完成待测样本的识别,得到人脸识别结果。
2.根据权利要求1所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:在建立RGBD人脸数据库和设置注意力机制模块之间还包括步骤:对RGBD人脸数据库中的图像进行数据增广。
3.根据权利要求2所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:S2对RGBD人脸数据库中的图像进行数据增广,所述数据增广方法包括图像随机旋转操作、镜像翻转操作、仿射变换和透视变换,以将数据集大小增加到原来的4倍。
4.根据权利要求1所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:嵌入了空间和通道注意模块CBAM的ResNet18包括5个stage,具体包括:
Stage0:包括卷积层和池化层,卷积核大小为7×7,输出通道数为64,步长为2,所述池化层采用最大池化,窗口大小为3×3,步长为2;
Stage1:由2个输出通道数为64且嵌入了注意力模块CBAM的块组成;
Stage2:由2个输出通道数为128且嵌入了注意力模块CBAM的块组成;
Stage3:由2个输出通道数为256且嵌入了注意力模块CBAM的块组成;
Stage4:由2个输出通道数为512且嵌入了注意力模块CBAM的块组成。
5.根据权利要求4所述的一种基于注意力机制的多模态人脸识别方法,其特征在于,resnet18的每个block均嵌入注意力模块CBAM,嵌入了CBAM的resnet18的每个block的结构的操作如下:
对输入先进行2次3×3卷积,得到特征F,再将特征F输入到空间和注意力模块CBAM中,得到注意权重图,利用注意权重图对特征F进行缩放操作,得到经过注意权重调整的新特征作为输出,最后将输出与输入进行逐元素相加,得到结果。
6.根据权利要求5所述的一种基于注意力机制的多模态人脸识别方法,其特征在于,所述将特征F输入到空间和注意力模块CBAM中,得到注意权重图,利用注意权重图对特征F进行缩放操作,得到经过注意权重调整的新特征作为输出,最后将输出与输入进行逐元素相加,得到结果,具体包括:
特征F输入通道注意模块中,通道注意模块对特征F进行全局平均池化操作(AvgPool)和全局最大池化(MaxPool),生成表示平均池化特征的FC avg和最大池化特征的FC max,然后将FC avg和FC max分别转发到具有一个隐层的多层感知器(MLP)中,该隐层的神经元减少为1/r倍,即神经元个数为C/r,权重W0∈RC/r×C,激活函数为Relu,输出层神经元的个数为C,权重W1∈RC×C/r,将FC avg和FC max经过MLP变化后的特征逐元素相加后经过一个Sigmoid激活函数得到一个通道注意图MC(F)∈RC×1×1,即得到了各个通道的权重系数,最后,将各个通道的权重系数和原来的输入特征F相乘得到缩放后的新特征F’;
MC(F)的计算公式如下:
MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
=σ(W1(W0(FC avg))+W1(W0(FC max)))
其中,σ表示sigmoid函数,W0和W1为MLP的权重,W0∈RC/r×C,W1∈RC×C/r;
新特征F’的计算公式如下:
空间注意模块以经过通道注意模块处理后的输出特征F’作为输入特征,在通道轴上对特征F’使用平均池化和最大池化操作,生成了两个二维映射:FS avg∈R1×H×W和FS max∈R1×H×W,将两个二维映射按照通道维度连接在一起形成一个尺寸大小为R2×H×W的特征,然后利用标准卷积层生成一个二维空间注意图MS(F)∈R1×H×W,即得到了各个像素的权重系数,最后,将各个像素的权重系数和原来的特征F’逐像素相乘得到缩放后的新特征F”,MS(F)的计算公式如下:
MS(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))=σ(f7×7([FS avg;FS max]))
其中,σ表示sigmoid函数,;f7×7表示卷积核大小为7×7的卷积运算;[FS avg;FS max]表示将FS avg和FS max按照通道维度连接起来;
在得到MS(F)后,新特征F”的计算公式如下:
7.根据权利要求1-6任一所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:步骤S3中,注意力机制网络afr_net对三个分支输出的特征融合得到的融合特征进行处理,得到人脸特征向量,具体包括:
将各个分支得到的特征进行融合,得到融合特征F~;
将融合特征F~~输入基于空间注意力机制的矢量化模块SAVM,对融合特征F~进行卷积和降维操作,得到人脸特征向量。
8.根据权利要求7所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:步骤S3中,空间注意力机制的矢量化模块SAVM对融合特征F~做一次卷积操作,输出通道数为融合特征F~的通道数的一半,得到一个新特征F~~,再对新特征F~~做一次全卷积操作,卷积核大小为特征F~~的大小,最后加入一个多维的全连接层进行降维,得到人脸特征向量,维数是人脸数据库中参与者的人数。
9.根据权利要求7所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:步骤S4中采用softmax函数作为人脸识别的损失函数对注意力机制网络afr_net进行训练,Softmax函数为每个输出分类的结果都赋予一个概率值,表示属于每个类别的可能性,Softmax函数的定义如下:
其中,i表示输出节点的编号,zi为第i个节点的输出值,zj表示第j个节点的输出值,L为输出节点的个数,即分类的类别个数,假设此时第i个输出节点为正确类别对应的输出节点,则pi表示正确类别对应输出节点的概率,通过Softmax函数可以将多分类的输出值转换为范围在[0,1]且所有输出节点概率pi之和为1的概率分布;
对应的softmax损失函数的表达式如下:
10.根据权利要求9所述的一种基于注意力机制的多模态人脸识别方法,其特征在于:采用的优化器为SGDM。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110171944.5A CN112801015B (zh) | 2021-02-08 | 2021-02-08 | 一种基于注意力机制的多模态人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110171944.5A CN112801015B (zh) | 2021-02-08 | 2021-02-08 | 一种基于注意力机制的多模态人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112801015A true CN112801015A (zh) | 2021-05-14 |
CN112801015B CN112801015B (zh) | 2023-03-24 |
Family
ID=75814831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110171944.5A Active CN112801015B (zh) | 2021-02-08 | 2021-02-08 | 一种基于注意力机制的多模态人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801015B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361441A (zh) * | 2021-06-18 | 2021-09-07 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及*** |
CN113743379A (zh) * | 2021-11-03 | 2021-12-03 | 杭州魔点科技有限公司 | 一种多模态特征的轻量活体识别方法、***、装置和介质 |
CN113837108A (zh) * | 2021-09-26 | 2021-12-24 | 重庆中科云从科技有限公司 | 人脸识别方法、装置及计算机可读存储介质 |
CN114360032A (zh) * | 2022-03-17 | 2022-04-15 | 北京启醒科技有限公司 | 一种多态不变性人脸识别方法及*** |
CN114398937A (zh) * | 2021-12-01 | 2022-04-26 | 北京航空航天大学 | 一种基于混合注意力机制的图像-激光雷达数据融合方法 |
CN115147768A (zh) * | 2022-07-28 | 2022-10-04 | 国家康复辅具研究中心 | 一种跌倒风险评估方法及*** |
CN116468892A (zh) * | 2023-04-24 | 2023-07-21 | 北京中科睿途科技有限公司 | 三维点云的语义分割方法、装置、电子设备和存储介质 |
CN117894058A (zh) * | 2024-03-14 | 2024-04-16 | 山东远桥信息科技有限公司 | 基于注意力增强的智慧城市摄像头人脸识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040240711A1 (en) * | 2003-05-27 | 2004-12-02 | Honeywell International Inc. | Face identification verification using 3 dimensional modeling |
CN106778506A (zh) * | 2016-11-24 | 2017-05-31 | 重庆邮电大学 | 一种融合深度图像和多通道特征的表情识别方法 |
CN110110578A (zh) * | 2019-02-21 | 2019-08-09 | 北京工业大学 | 一种室内场景语义标注方法 |
CN110866454A (zh) * | 2019-10-23 | 2020-03-06 | 智慧眼科技股份有限公司 | 人脸活体检测方法及***、计算机可读取的存储介质 |
CN111460931A (zh) * | 2020-03-17 | 2020-07-28 | 华南理工大学 | 基于颜色通道差值图特征的人脸欺骗检测方法及*** |
CN111814706A (zh) * | 2020-07-14 | 2020-10-23 | 电子科技大学 | 基于多任务卷积神经网络的人脸识别及属性分类方法 |
CN111931787A (zh) * | 2020-07-22 | 2020-11-13 | 杭州电子科技大学 | 一种基于特征聚合的rgbd显著性检测方法 |
-
2021
- 2021-02-08 CN CN202110171944.5A patent/CN112801015B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040240711A1 (en) * | 2003-05-27 | 2004-12-02 | Honeywell International Inc. | Face identification verification using 3 dimensional modeling |
CN106778506A (zh) * | 2016-11-24 | 2017-05-31 | 重庆邮电大学 | 一种融合深度图像和多通道特征的表情识别方法 |
CN110110578A (zh) * | 2019-02-21 | 2019-08-09 | 北京工业大学 | 一种室内场景语义标注方法 |
CN110866454A (zh) * | 2019-10-23 | 2020-03-06 | 智慧眼科技股份有限公司 | 人脸活体检测方法及***、计算机可读取的存储介质 |
CN111460931A (zh) * | 2020-03-17 | 2020-07-28 | 华南理工大学 | 基于颜色通道差值图特征的人脸欺骗检测方法及*** |
CN111814706A (zh) * | 2020-07-14 | 2020-10-23 | 电子科技大学 | 基于多任务卷积神经网络的人脸识别及属性分类方法 |
CN111931787A (zh) * | 2020-07-22 | 2020-11-13 | 杭州电子科技大学 | 一种基于特征聚合的rgbd显著性检测方法 |
Non-Patent Citations (1)
Title |
---|
龚勋 等: "面向低质量数据的3D人脸识别", 《电子科技大学学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361441A (zh) * | 2021-06-18 | 2021-09-07 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及*** |
CN113837108A (zh) * | 2021-09-26 | 2021-12-24 | 重庆中科云从科技有限公司 | 人脸识别方法、装置及计算机可读存储介质 |
CN113837108B (zh) * | 2021-09-26 | 2023-05-23 | 重庆中科云从科技有限公司 | 人脸识别方法、装置及计算机可读存储介质 |
CN113743379A (zh) * | 2021-11-03 | 2021-12-03 | 杭州魔点科技有限公司 | 一种多模态特征的轻量活体识别方法、***、装置和介质 |
CN114398937A (zh) * | 2021-12-01 | 2022-04-26 | 北京航空航天大学 | 一种基于混合注意力机制的图像-激光雷达数据融合方法 |
CN114398937B (zh) * | 2021-12-01 | 2022-12-27 | 北京航空航天大学 | 一种基于混合注意力机制的图像-激光雷达数据融合方法 |
CN114360032A (zh) * | 2022-03-17 | 2022-04-15 | 北京启醒科技有限公司 | 一种多态不变性人脸识别方法及*** |
CN115147768A (zh) * | 2022-07-28 | 2022-10-04 | 国家康复辅具研究中心 | 一种跌倒风险评估方法及*** |
CN116468892A (zh) * | 2023-04-24 | 2023-07-21 | 北京中科睿途科技有限公司 | 三维点云的语义分割方法、装置、电子设备和存储介质 |
CN117894058A (zh) * | 2024-03-14 | 2024-04-16 | 山东远桥信息科技有限公司 | 基于注意力增强的智慧城市摄像头人脸识别方法 |
CN117894058B (zh) * | 2024-03-14 | 2024-05-24 | 山东远桥信息科技有限公司 | 基于注意力增强的智慧城市摄像头人脸识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112801015B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801015B (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及*** | |
CN112307958B (zh) | 基于时空外观运动注意力网络的微表情识别方法 | |
CN108520535B (zh) | 基于深度恢复信息的物体分类方法 | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和*** | |
CN109948475B (zh) | 一种基于骨架特征和深度学习的人体动作识别方法 | |
WO2021143101A1 (zh) | 人脸识别方法和人脸识别装置 | |
CN111325111A (zh) | 一种融合逆注意力和多尺度深度监督的行人重识别方法 | |
CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
CN111639544A (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
CN113642634A (zh) | 一种基于混合注意力的阴影检测方法 | |
CN109740539B (zh) | 基于超限学习机和融合卷积网络的3d物体识别方法 | |
CN110222718A (zh) | 图像处理的方法及装置 | |
CN116343330A (zh) | 一种红外-可见光图像融合的异常行为识别方法 | |
CN113569598A (zh) | 图像处理方法和图像处理装置 | |
CN113743544A (zh) | 一种跨模态神经网络构建方法、行人检索方法及*** | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
CN112597873A (zh) | 一种基于深度学习的双通道人脸表情识别方法 | |
CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及*** | |
CN115424331A (zh) | 基于全局和局部注意力机制的人脸亲属关系特征提取验证方法 | |
CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |