CN117218720A - 一种复合注意力机制的足迹识别方法、***及相关装置 - Google Patents

Abstract

本发明提出了一种复合注意力机制的足迹识别方法、***及相关装置，所述识别方法包括以下步骤：S1、采集模板足迹图像，并根据所述模板足迹图像的特征建立特征数据库；S2、将待识别足迹图像利用卷积层进行特征提取，得到基础特征；S3、将所述基础特征输入至全局分支进行特征提取，得到第一特征；S4、将所述基础特征输入至复合注意力机制，通过解耦增强空间注意力模块和分组通道注意力模块进行处理后得到第二特征；S5、将所述第一特征和第二特征进行拼接，得到实际特征；S6、将所述实际特征与特征数据库进行比对，得到所述待识别足迹图像的识别结果。

Description

一种复合注意力机制的足迹识别方法、***及相关装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种复合注意力机制的足迹识别方法、***及相关装置。

背景技术

足迹识别任务旨在通过穿鞋足迹序列进行人的身份识别。但是，单枚穿鞋足迹图像提供的信息太少，且容易受到干扰，这就导致了任务的高难度和不适应性。

为了解决这个问题，许多基于深度学习的足迹识别方法被提出并取得了远超传统算法的效果，成为当前的主流方法。但是，这些基于深度学习的足迹识别方法还存在以下缺陷：

(1)在复杂犯罪场景下，大多方法提取有效鞋印纹理信息的能力弱。这些方法往往将整张足迹图片作为输入信息进行操作，对于所有的输入信息一视同仁，在面对复杂的现场背景时，网络容易被干扰，从而无法提取到有效的鞋印局部纹理信息。

(2)在采集犯罪现场鞋印图像时，采集的鞋印图像会受到视角、光线、尺度的印象。在这样的前提下，卷积操作会导致同一标签下的像素所对应的特征可能存在一定的差异。

中国专利CN111382629A公开了一种基于神经网络的足迹识别及信息挖掘方法及***，其技术方案对采集到的足迹图像进行预处理，并输入预测模型进行特征提取，经过卷积神经网络可以得到其身份信息和预测的生物信息，其使用Gabor函数等其他具有方向和尺度信息的函数产生的卷积模板对输入的足迹图像进行卷积操作。

在以上技术方案中，对足迹识别是对整张足迹图像进行处理以及特征提取，当足迹图像的背景较为复杂时，无法有效提取到足迹图像中的纹理信息，且无法克服采集足迹图像时外界因素所带来的干扰。

有鉴于此，急需对现有的视觉目标跟踪算法进行改进，提出一种能够克服多种环境因素干扰，并提取到有辨识度的鞋印纹理信息的足迹识别算法。

发明内容

有鉴于此，本发明提出了一种复合注意力机制的足迹识别方法，其在复合注意力机制模块中加入分组通道注意力机制模块，增强通道注意力对于局部信息的关联度，同时使用空洞卷积对全局信息做提取，提高了待识别足迹图像特征提取的准确性。

本发明的技术方案是这样实现的：

第一方面，本发明提供了一种复合注意力机制的足迹识别方法，所述识别方法包括以下步骤：

S1、采集模板足迹图像，并根据所述模板足迹图像的特征建立特征数据库；

S2、将待识别足迹图像I₀利用N个卷积层进行特征提取，得到基础特征F₄；其中，N个卷积层依次排列设置，N为非零自然数；

S3、将所述基础特征F₄输入至第N+1个卷积层进行全局特征提取，得到第一特征C₁；

S4、将所述基础特征F₄输入至复合注意力机制，通过解耦增强空间注意力模块和分组通道注意力模块进行局部特征提取得到第二特征C₂；其中，所述复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块；

S5、将所述第一特征C₁和第二特征C₂进行拼接，得到实际特征C_f；

S6、将所述实际特征C_f与特征数据库进行比对，得到所述待识别足迹图像I₀的识别结果。

在以上技术方案的基础上，优选的，所述复合注意力机制还包括第N+2个卷积层和谱值差正交性正则化层，所述步骤S4具体包括：

S41、将所述基础特征F₄输入第N+2个卷积层中进行特征提取，得到卷积特征F_j；

S43、将所述第三特征S输入至解耦增强空间注意力模块进行特征提取，得到第四特征D；

S44、将所述第三特征S输入至分组通道注意力模块进行特征提取，得到第五特征G；

S45、将所述第四特征D和第五特征G进行融合，得到第一融合特征

S46、将所述第一融合特征进行全局平均池化，得到所述第二特征C₂。

在以上技术方案的基础上，优选的，所述步骤S44具体包括：

将所述第三特征S按照通道数分为若干组，得到若干个第一特征组Z；

将所述若干个第一特征组Z依次输入至分组通道注意力模块中，得到若干个第二特征组Z′；

将所述若干个第二特征组Z′连接，得到通道注意力特征F_u；

将所述第三特征S通过感受野为5×5的空洞卷积进行特征提取，得到空洞卷积特征H；

将所述通道注意力特征F_u和空洞卷积特征H进行选择性融合，得到第五特征G：

G＝a_cH+b_cF_u，a_c+b_c＝1，

其中，元素a和元素b分别表示空洞卷积特征H和通道注意力特征F_u的软注意向量，元素S_c表示第三特征S的第c行，元素a_c表示元素a的第c个元素，元素H_c表示空洞卷积特征H的第c行，元素b_c表示元素b的第c个元素，f为通道注意力特征F_u和空洞卷积特征H进行选择性融合时产生的选择权重向量。

在以上技术方案的基础上，优选的，所述将所述通道注意力特征和空洞卷积特征进行选择性融合，具体包括：

将所述通道注意力特征F_u与空洞卷积特征H相加，得到第二融合特征

将所述第二融合特征经过全局平均池化层进行特征维度映射，得到选择权重向量f；

根据所述选择权重向量f将所述通道注意力特征F_u与空洞卷积特征H通过用跨通道的软注意力机制进行赋值，得到第五特征G。

在以上技术方案的基础上，优选的，所述识别方法还包括：

使用所述数据库中的模板足迹图像的特征进行训练，得到训练好的足迹识别模型；

当所述实际特征与数据库中存在差异时，将所述待识别足迹图像的特征采用迁移学习进行跨域学习识别，并对所述足迹识别模型进行调整；

采用调整后的足迹识别模型对待识别足迹图像进行识别，得到足迹图像识别结果。

在以上技术方案的基础上，优选的，所述步骤S43具体包括：

将所述第三特征S利用提取边界信息模块进行特征提取，得到逐像素显著性边界信息矩阵A；

将所述第三特征S利用提取白化区域相似度信息模块进行特征提取，得到白化区域相似度信息矩阵B；

将所述逐像素显著性边界信息矩阵A与白化区域相似度信息矩阵B相加，得到第三融合特征U；

根据第三特征S和第三融合特征U进行特征处理并通过权重系数进行缩放后，得到第六特征W；

将所述特征W与第三特征S相加，得到第四特征D。

第二方面，本发明提供了一种复合注意力机制的足迹识别***，采用如上述任一项所述的复合注意力机制的足迹识别方法，包括：

采集模块，用于采集模板足迹图像，并根据模板图像的特征建立特征数据库；

特征提取模块，用于对待识别足迹图像进行特征提取，得到实际特征；

比对模块，用于将待识别足迹图像的实际特征与特征数据库进行比对，得到所述待识别足迹图像的识别结果。

更进一步优选的，还包括训练模块和学习模块，其中，

训练模块，用于根据特征数据库中的模板足迹图像的特征进行训练，得到训练好的足迹识别模型；

学习模块，用于当实际特征与数据库存在差异时，采用迁移学习进行跨域学习识别，对所述训练好的足迹识别模型进行调整。

第三方面，本发明提供了一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如上述任一项所述的复合注意力机制的足迹识别方法。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如上述任一项所述的复合注意力机制的足迹识别方法。

本发明的复合注意力机制的足迹识别方法相对于现有技术具有以下有益效果：

(1)通过在卷积神经网络中设置复合注意力机制，利用注意力机制加强对待识别足迹图像局部特征的关注，提高识别正确率；其中复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块，通过分组通道注意力模块提高了特征通道间相关性信息的敏感性，增强了图像特征的表达能力；

(2)通过解耦增强空间注意力模块对待识别足迹图像的基础特征进行解耦，获得待识别足迹图像的显著性边界信息与白化区域相似度信息，加强待识别足迹图像中纹理信息和区域像素间的学习能力，减少卷积神经网路计算复杂度的同时增强待识别足迹图像特征的鲁棒性；

(3)通过在待识别足迹图像的实际特征与数据库对比出现差异时，使用迁移学习进行跨域学习识别，对足迹识别模型进行调整，并利用分组通道注意力模块使神经网络更加快速适用待识别足迹图像，进一步提高了足迹识别的准确率，极大提高了足迹识别模型的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的复合注意力机制的足迹识别方法的流程图；

图2为本发明的复合注意力机制的足迹识别方法的架构示意图；

图3为本发明的复合注意力机制的足迹识别方法的分组通道注意力模块的架构示意图；

图4为本发明的复合注意力机制的足迹识别方法的分组通道注意力模块的通道注意力模块架构示意图；

图5为本发明的复合注意力机制的足迹识别方法的解耦增强空间注意力模块的架构示意图；

图6为本发明的复合注意力机制的足迹识别***框图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本发明提供了一种复合注意力机制的足迹识别方法，所述识别方法包括以下步骤：

S1、采集模板足迹图像，并根据所述模板足迹图像的特征建立特征数据库。

S2、将待识别足迹图像I₀利用N个卷积层进行特征提取，得到基础特征F₄；其中，N个卷积层依次排列设置，N为非零自然数。

在本申请一优选实施例中，N为4，将待识别足迹图像I₀依次输入至第一卷积层、第二卷积层、第三卷积层和第四卷积层中进行特征提取。

具体的，第一卷积层采用7×7的卷积核进行特征提取，得到特征F₁；第二卷积层中分别采用3组1×1、3×3和1×1的卷积核进行特征提取，得到特征F₂；第三卷积层中分别采用4组1×1、3×3和1×1的卷积核进行特征提取，得到特征F₃；第四卷积层中分别采用6组1×1、3×3和1×1的卷积核进行特征提取，得到F₄，即基础特征。

S3、将所述基础特征F₄输入至第N+1个卷积层进行全局特征提取，得到第一特征C₁。即当N为4时，将基础特征F₄输入至第五卷积层，第五卷积层分别用3组1×1、3×3和1×1的卷积核进行特征提取，得到特征F₅，将特征F₅输入至全局平均池化层处理后，得到全局特征，即第一特征C₁。

S4、将所述基础特征F₄输入至复合注意力机制，通过解耦增强空间注意力模块和分组通道注意力模块进行局部特征提取得到第二特征C₂；其中，所述复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块。通过复合注意力机制对基础特征F₄进行通道聚合和位置感知，得到第二特征C₂。

S5、将所述第一特征C₁和第二特征C₂进行拼接，得到实际特征C_f；

S6、将所述实际特征C_f与特征数据库进行比对，得到所述待识别足迹图像的识别结果。

本申请通过卷积层对待识别足迹图像进行特征提取，得到待识别足迹图像的基础特征，并利用复合注意力机制对基础特征进行特征提取，通过复合注意力机制中特征空间的正交性正则化减少特征之间的相关性，提高特征提取的准确性，并利用注意力机制加强对待识别足迹图像局部特征的关注，同时建立长距离依赖，提高待识别足迹图像的识别正确率。

如图2所示，作为本申请一优选实施例，所述复合注意力机制还包括第N+2个卷积层和谱值差正交性正则化层，所述步骤S4具体包括：

S41、将所述基础特征F₄输入第N+2个卷积层中进行特征提取，得到卷积特征F_j；

S42、将所述卷积特征F_j输入谱值差正交性正则化层，得到第三特征S；

S43、将所述第三特征S输入至解耦增强空间注意力模块进行特征提取，得到第四特征D；

S44、将所述第三特征S输入至分组通道注意力模块进行特征提取，得到第五特征G；

S45、将所述第四特征C₄和第五特征G进行融合，得到第一融合特征

S46、将所述第一融合特征进行全局平均池化，得到所述第二特征C₂。

其中，当N为4时，第六卷积层中分别用3组1×1、3×3和1×1的卷积核对基础特征F₄进行特征提取，得到卷积特征F_j；将卷积特征F_j进行正交性正则化来减少卷积特征F_j之间的相关性，得到第三特征S，其中，正交性正则化(SVDO)方法可以使卷积神经网络更加注重待识别足迹图像中的细节信息，提高识别准确率，同时也可以避免卷积神经网络出现过拟合的现象。通过解耦增强空间注意力模块对第三特征S进行解耦，加强待识别足迹图像中的纹理信息和区域像素间的学习能力，提高待识别足迹图像特征的鲁棒性，同时通过分组通道注意力模块提升卷积神经网络对特征通道间相关信息的敏感性，增强待识别足迹图像中特征的表达能力，提高待识别足迹图像的识别效果。

如图3所示，作为本申请一优选实施例，所述步骤S44具体包括：

将所述第三特征S按照通道数分为若干组，得到若干个第一特征组Z；

将所述若干个第一特征组Z依次输入至分组通道注意力模块中，得到若干个第二特征组Z′；

将所述若干个第二特征组Z′连接，得到通道注意力特征F_u；

将所述第三特征S通过感受野为5×5的空洞卷积进行特征提取，得到空洞卷积特征H；

将所述通道注意力特征F_u和空洞卷积特征H进行选择性融合，得到第五特征G。

具体的，将第三特征S按照通道数分为g组，每组的特征通道数为G＝C/g，得到若干个单个特征大小为G×H×W的第一特征组Z，其中C为卷积层的通道数，H为卷积核的高，W为卷积核的宽，将若干个第一特征组Z依次输入至分组通道注意力模块(CAM注意力模块)中，得到若干个单个特征大小G×H×W的特征Q，依次将特征Q连接后得到大小为C×H×W的通道注意力特征F_u，将第三特征S通过一个感受野为5×5的空洞卷积进行特征提取，可以得到空洞卷积特征H，通过空洞卷积获取每组通道注意力特征F_u之间的相关性，将通道注意力特征F_u和空洞卷积特征H进行融合得到第五特征G。

进一步参照图4，其中，CAM注意力模块具体包括：

将第一特征组Z的g组特征Z_i，i∈[1，g]依次输入1×1的卷积中，得到大小为K×H×W的特征F_i，其中K为卷积的通道数，H为卷积核的高，W为卷积核的宽；

将特征F_i进行维度变换，得到大小为K×N的特征F_i1，其中N为卷积核的个数；

将特征Z_i进行维度变换，再将维度变换的结果进行转置，得到大小为N×G的特征P_i；

将特征P_i与特征F_i1相乘，并将相乘的结果使用softmax层进行计算，最终得到大小为K×G的通道注意力矩阵X_i；

将特征F_i再次进行维度变换，得到大小为K×N的特征F_i2；

将通道注意力矩阵X_i的转置与所述特征F_i2相乘，将相乘的结果再进行维度变换，得到大小为G×H×W的特征Y_i；

将特征Y_i与特征Z_i逐元素相加，得到特征Z′_i；

将g组特征Z′_i，i∈[1，g]依次连接，得到大小为C×H×W的局部注意力特征，即通道注意力特征F_u。

可以理解的，构建通道注意力模块可以建模不同通道之间的依赖关系，进而增强相似语义的通道之间的关联性，并动态调整卷积神经网络不同通道的权重，从而提高特征的表现能力。

作为本申请一优选实施例，所述将所述通道注意力特征F_u和空洞卷积特征H进行选择性融合，具体包括：

将所述通道注意力特征F_u与空洞卷积特征H相加，得到第二融合特征

将所述第二融合特征经过全局平均池化层进行特征维度映射，得到选择权重向量f；

根据所述选择权重向量f将所述通道注意力特征F_u与空洞卷积特征H通过用跨通道的软注意力机制进行赋值，得到第五特征G。

可以理解的，将通道注意力特征F_u与空洞卷积特征H相加，得到第二融合特征将第二融合特征/>经过一个全局平均池化操作后将特征维度映射到d维，得到大小为d×1的一个选择权重向量f，根据所述选择权重向量f将通道注意力特征F_u与空洞卷积特征H通过用跨通道的软注意力机制进行赋值，通过不同的权重，将待识别足迹图像的全局信息和局部注意力信息融合起来，得到分组通道注意力信息，即第五特征G：

G＝a_cH+b_cF_u，a_c+b_c＝1，

其中，第三特征S和空洞卷积特征H的大小都变换为C×d，元素a和元素b分别表示空洞卷积特征H和通道注意力特征F_u的软注意向量，元素S_c表示第三特征S的第c行，元素a_c表示元素a的第c个元素，元素H_c表示空洞卷积特征H的第c行，元素b_c表示元素b的第c个元素，f为通道注意力特征F_u和空洞卷积特征H进行选择性融合时产生的选择权重向量。

如图5所示，作为本申请一优选实施例，所述解耦增强空间注意力模块包括提取边界信息模块和提取白化区域相似度信息模块，通过解耦增强空间注意力模块使得待识别足迹图像的每个像素的重要程度和像素之间的相似性能够更好的学习和利用，加强待识别足迹图像中纹理信息和区域像素间的学习能力，减少卷积神经网络的计算复杂度。

作为本申请一优选实施例，所述步骤S43具体包括：

将所述第三特征S利用边界信息模块进行特征提取，得到逐像素显著性边界信息矩阵A；

将所述第三特征S利用白化区域相似度信息模块进行特征提取，得到白化区域相似度信息矩阵B；

将所述逐像素显著性边界信息矩阵A与白化区域相似度信息矩阵B相加，得到第三融合特征U；

根据第三特征S和第三融合特征U进行特征处理并通过权重系数进行缩放后，得到第六特征W；

将所述第六特征W与第三特征S相加，得到第四特征D。其中，权重系数可以根据实际需求进行设置，并且能够随着卷积神经网络的训练逐渐被学习调整。

具体的，将大小为C×H×W的第三特征S通过1×1的卷积进行特征提取，得到大小为1×H×W的边界信息特征F_b；将边界信息特征F_b进行维度变换，得到大小为1×N的边界信息特征F′_b；边界信息特征F′_b输入Softmax层进行非线性映射得到分布在0-1范围的显著性边界信息F_sbi；显著性边界信息F_sbi进行维度扩张，得到一个大小为N×N的逐像素显著性边界信息矩阵A，通过提取第三特征S的边界信息，能够很好地对待识别足迹图像的区域边界进行建模。

进一步，将大小为C×H×W的第三特征S通过BN(Batch Normalization)层和ReLU激活函数进行特征提取，得到大小为C×H×W的特征S_BR；将特征S_BR输入白化模块中得到白化特征F_w。这样可以根据白化区域相似度对第三特征S进行更好的修正，使卷积神经网络能很好地学习到白化区域内关系。

具体的，将白化特征F_w进行维度变换，得到大小为C×N的白化特征F′_w；将白化特征F′_w进行转置操作，得到大小为N×C的白化特征F″_w；白化特征F″_w和F′_w相乘，得到大小为N×N的白化区域矩阵F_z；白化区域矩阵F_z输入至softmax层中，得到大小为N×N的白化区域相似度信息矩阵B，通过提取第三特征S的白化区域相似度信息，能够学习到白化区域内像素之间的关系。通过解耦增强空间注意力模块将第三特征S解耦成显著性边界信息与白化区域相似度信息，提高每个像素之间的利用率，进而提高待识别足迹图像的识别效果。

进一步，将显著性边界信息矩阵A和白化区域相似度信息矩阵B进行简单相加得到一个大小为N×N第三融合特征U，通过融合显著性边界信息矩阵A和白化区域相似度信息矩阵B可以同时提升待识别足迹图像的区域边界建模和白化区域内关系学习的效果；将特征S_BR进行维度变换，得到大小为C×N的特征S′；将特征B′和第三融合特征U的转置相乘，再将相乘的结果进行维度变化得到大小为C×H×W的特征F；特征F通过权重系数进行缩放，得到第六特征W，将第六特征W与第三特征S按元素相加得到大小为C×H×W的最终的解耦增强空间注意力模块输出特征，即第四特征D，所述公式如下：

其中，α为权重系数，在初始状态下被设置为0，随着训练，权重系数逐渐被学习调整，以更加准确地表示特征之间的重要性；D_k表示第四特征的第k行，S_k表示第三特征S的第k行，U_jk表示第三融合特征U第j列第k个元素，S′_k表示特征S′的第k行，k∈[1，C]，C为卷积神经网络的通道数。

在本申请一实施例中，步骤S4中将所述基础特征输入至复合注意力机制还包括：

将第五特征G输入谱值差正交性正则化层，得到特征G_S；

将第四特征D输入所述谱值差正交性正则化层，得到特征D_S；

将所述特征G_S、特征D_S和第三特征S进行逐元素相加，得到的特征再通过一个全局平均池化层，得到一个1024维的第二特征C₂。

作为本申请一优选实施例，所述识别方法还包括：

使用所述数据库中的模板足迹图像的特征进行训练，得到训练好的足迹识别模型；

当所述实际特征与数据库中存在差异时，将所述待识别足迹图像的特征采用迁移学习进行跨域学习识别，并对所述足迹识别模型进行调整；

采用调整后的足迹识别模型对待识别足迹图像进行识别，得到足迹图像识别结果。

作为本领域技术人员可以理解的，采集模板足迹图像形成数据集，利用数据集对卷积神经网络进行训练，进而得到训练好的足迹识别模型。其中数据集分为同域数据集和跨域数据集，同域数据集是待识别足迹图像对应的鞋底花纹在训练集和验证集中出现过；跨域数据集是待识别足迹图像对应的鞋底花纹并没有在训练集和验证集中出现过。

当待识别足迹图像所对应的鞋底花纹是训练集中出现过的，则可以使用训练好的足迹识别模型对待识别足迹图像进行识别，此方法为同域识别；

当待识别足迹图像所对应的鞋底花纹没有在训练集中出现过，即该待识别足迹图像的鞋底花纹没有被卷积神经网络训练过，需要使用迁移学习进行跨域学习识别，使训练好的足迹识别模型在面对新的鞋底花纹时，能够快速学习适应，此方法为跨域识别。

具体的，跨域识别的具体步骤包括：

将待识别足迹图像进行预处理；

使用卷积神经网路对待识别足迹图像进行特征提取，并将提取的特征保存至特征数据库中，对足迹识别模型进行调整；

使用所述调整后的足迹识别模型对待识别足迹图像进行识别，并输出识别结果。

通过对训练好的足迹识别模型进行调整，不仅耗时短且能够提高足迹识别模型的识别准确率，极大的提高了足迹识别模型的性能表现。

本申请通过分组通道注意力机制模块对待识别足迹图像进行特征提取，提高了卷积神经网络对特征通道间相关性信息的敏感性，增强了待识别足迹图像的特征表达能力，同时使用解耦增强空间注意力模块对待识别足迹图像的基础特征进行解耦，加强了待识别足迹图像中纹理信息和区域像素间的学习能力，减少卷积神经网络计算复杂度的同时增加了特征的鲁棒性。本申请还可以对训练好的足迹识别模型进行调整，提高足迹识别模型的识别准确率。

如图6所示，本申请还公开了一种复合注意力机制的足迹识别***，采用如上述任一项所述的复合注意力机制的足迹识别方法，包括：

采集模块，用于采集模板足迹图像，并根据模板图像的特征建立特征数据库；

特征提取模块，用于对待识别足迹图像进行特征提取，得到实际特征；

比对模块，用于将待识别足迹图像的实际特征与特征数据库进行比对，得到所述待识别足迹图像的识别结果。

本申请通过采集模块采集模板足迹图像并建立特征数据库，特征提取模块对待识别足迹图像进行特征提取，并利用比对模块将待识别足迹图像的实际特征与特征数据库进行比对，进而得出待识别足迹图像的识别结果，其中特征提取模块包括解耦增强空间注意力单元和分组通道注意力单元，通过分组通道注意力单元增强通道注意力对待识别足迹图像局部信息的关联度，提升识别性能，同时利用解耦增强空间注意力单元加强待识别足迹图像中纹理信息和区域像素间的学习能力，减少卷积神经网络的计算复杂度。

在本申请进一步实施例中，足迹识别***还包括训练模块和学习模块，训练模块用于根据特征数据库中的模板足迹图像的特征进行训练，得到训练好的足迹识别模型；学习模块用于当实际特征与数据库存在差异时，采用迁移学习进行跨域学习识别，对所述训练好的足迹识别模型进行调整。

通过对训练好的足迹识别模型进行调整，提高足迹识别模型的识别准确率，同时还极大提高了足迹识别模型的性能表现。

本申请还公开了一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如上述任一项所述的复合注意力机制的足迹识别方法。

本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如上述任一项所述的复合注意力机制的足迹识别方法。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种复合注意力机制的足迹识别方法，其特征在于：所述识别方法包括以下步骤：

S1、采集模板足迹图像，并根据所述模板足迹图像的特征建立特征数据库；

S2、将待识别足迹图像I₀利用N个卷积层进行特征提取，得到基础特征F₄；其中，N个卷积层依次排列设置，N为非零自然数；

S3、将所述基础特征F₄输入至第N+1个卷积层进行全局特征提取，得到第一特征C₁；

S4、将所述基础特征F₄输入至复合注意力机制，通过解耦增强空间注意力模块和分组通道注意力模块进行局部特征提取得到第二特征C₂；其中，所述复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块；

S5、将所述第一特征C₁和第二特征C₂进行拼接，得到实际特征C_f；

S6、将所述实际特征C_f与特征数据库进行比对，得到所述待识别足迹图像I₀的识别结果。

2.如权利要求1所述的一种复合注意力机制的足迹识别方法，其特征在于：所述复合注意力机制还包括第N+2个卷积层和谱值差正交性正则化层，所述步骤S4具体包括：

S41、将所述基础特征F₄输入第N+2个卷积层中进行特征提取，得到卷积特征F_j；

S42、将所述卷积特征F_j输入谱值差正交性正则化层，得到第三特征S；

S43、将所述第三特征S输入至解耦增强空间注意力模块进行特征提取，得到第四特征D；

S44、将所述第三特征S输入至分组通道注意力模块进行特征提取，得到第五特征G；

S45、将所述第四特征D和第五特征G进行融合，得到第一融合特征

S46、将所述第一融合特征进行全局平均池化，得到所述第二特征C₂。

3.如权利要求2所述的一种复合注意力机制的足迹识别方法，其特征在于：所述步骤S44具体包括：

将所述第三特征S按照通道数分为若干组，得到若干个第一特征组Z；

将所述若干个第一特征组Z依次输入至分组通道注意力模块中，得到若干个第二特征组Z′；

将所述若干个第二特征组Z′连接，得到通道注意力特征F_u；

将所述第三特征S通过感受野为5×5的空洞卷积进行特征提取，得到空洞卷积特征H；

将所述通道注意力特征F_u和空洞卷积特征H进行选择性融合，得到第五特征G：

G＝a_cH+b_cF_u，a_c+b_c＝1，

其中，元素a和元素b分别表示空洞卷积特征H和通道注意力特征F_u的软注意向量，元素S_c表示第三特征S的第c行，元素a_c表示元素a的第c个元素，元素H_c表示空洞卷积特征H的第c行，元素b_c表示元素b的第c个元素，f为通道注意力特征F_u和空洞卷积特征H进行选择性融合时产生的选择权重向量。

4.如权利要求3所述的一种复合注意力机制的足迹识别方法，其特征在于：所述将所述通道注意力特征和空洞卷积特征进行选择性融合，具体包括：

将所述通道注意力特征Fu与空洞卷积特征H相加，得到第二融合特征

将所述第二融合特征经过全局平均池化层进行特征维度映射，得到选择权重向量f；

根据所述选择权重向量f将所述通道注意力特征F_u与空洞卷积特征H通过用跨通道的软注意力机制进行赋值，得到第五特征G。

5.如权利要求1所述的一种复合注意力机制的足迹识别方法，其特征在于：所述识别方法还包括：

使用所述数据库中的模板足迹图像的特征进行训练，得到训练好的足迹识别模型；

当所述实际特征与数据库中存在差异时，将所述待识别足迹图像的特征采用迁移学习进行跨域学习识别，并对所述足迹识别模型进行调整；

采用调整后的足迹识别模型对待识别足迹图像进行识别，得到足迹图像识别结果。

6.如权利要求2所述的一种复合注意力机制的足迹识别方法，其特征在于：所述步骤S43具体包括：

将所述第三特征S利用提取边界信息模块进行特征提取，得到逐像素显著性边界信息矩阵A；

将所述第三特征S利用提取白化区域相似度信息模块进行特征提取，得到白化区域相似度信息矩阵B；

将所述逐像素显著性边界信息矩阵A与白化区域相似度信息矩阵B相加，得到第三融合特征U；

根据第三特征S和第三融合特征U进行特征处理并通过权重系数进行缩放后，得到第六特征W；

将所述特征W与第三特征S相加，得到第四特征D。

7.一种复合注意力机制的足迹识别***，采用如权利要求1-6任一项所述的复合注意力机制的足迹识别方法，其特征在于：包括：

采集模块，用于采集模板足迹图像，并根据模板图像的特征建立特征数据库；

特征提取模块，用于对待识别足迹图像进行特征提取，得到实际特征；

比对模块，用于将待识别足迹图像的实际特征与特征数据库进行比对，得到所述待识别足迹图像的识别结果。

8.如权利要求7所述的一种复合注意力机制的足迹识别***，其特征在于：还包括训练模块和学习模块，其中，

训练模块，用于根据特征数据库中的模板足迹图像的特征进行训练，得到训练好的足迹识别模型；

学习模块，用于当实际特征与数据库存在差异时，采用迁移学习进行跨域学习识别，对所述训练好的足迹识别模型进行调整。

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1～6任一项所述的复合注意力机制的足迹识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如权利要求1～6任一项所述的复合注意力机制的足迹识别方法。