CN117218720B - 一种复合注意力机制的足迹识别方法、***及相关装置 - Google Patents
一种复合注意力机制的足迹识别方法、***及相关装置 Download PDFInfo
- Publication number
- CN117218720B CN117218720B CN202311089272.9A CN202311089272A CN117218720B CN 117218720 B CN117218720 B CN 117218720B CN 202311089272 A CN202311089272 A CN 202311089272A CN 117218720 B CN117218720 B CN 117218720B
- Authority
- CN
- China
- Prior art keywords
- feature
- footprint
- characteristic
- module
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000007246 mechanism Effects 0.000 title claims abstract description 56
- 239000002131 composite material Substances 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000002087 whitening effect Effects 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 17
- 150000001875 compounds Chemical class 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000013526 transfer learning Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种复合注意力机制的足迹识别方法、***及相关装置,所述识别方法包括以下步骤:S1、采集模板足迹图像,并根据所述模板足迹图像的特征建立特征数据库;S2、将待识别足迹图像利用卷积层进行特征提取,得到基础特征;S3、将所述基础特征输入至全局分支进行特征提取,得到第一特征;S4、将所述基础特征输入至复合注意力机制,通过解耦增强空间注意力模块和分组通道注意力模块进行处理后得到第二特征;S5、将所述第一特征和第二特征进行拼接,得到实际特征;S6、将所述实际特征与特征数据库进行比对,得到所述待识别足迹图像的识别结果。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种复合注意力机制的足迹识别方法、***及相关装置。
背景技术
足迹识别任务旨在通过穿鞋足迹序列进行人的身份识别。但是,单枚穿鞋足迹图像提供的信息太少,且容易受到干扰,这就导致了任务的高难度和不适应性。
为了解决这个问题,许多基于深度学习的足迹识别方法被提出并取得了远超传统算法的效果,成为当前的主流方法。但是,这些基于深度学习的足迹识别方法还存在以下缺陷:
(1)在复杂犯罪场景下,大多方法提取有效鞋印纹理信息的能力弱。这些方法往往将整张足迹图片作为输入信息进行操作,对于所有的输入信息一视同仁,在面对复杂的现场背景时,网络容易被干扰,从而无法提取到有效的鞋印局部纹理信息。
(2)在采集犯罪现场鞋印图像时,采集的鞋印图像会受到视角、光线、尺度的印象。在这样的前提下,卷积操作会导致同一标签下的像素所对应的特征可能存在一定的差异。
中国专利CN111382629A公开了一种基于神经网络的足迹识别及信息挖掘方法及***,其技术方案对采集到的足迹图像进行预处理,并输入预测模型进行特征提取,经过卷积神经网络可以得到其身份信息和预测的生物信息,其使用Gabor函数等其他具有方向和尺度信息的函数产生的卷积模板对输入的足迹图像进行卷积操作。
在以上技术方案中,对足迹识别是对整张足迹图像进行处理以及特征提取,当足迹图像的背景较为复杂时,无法有效提取到足迹图像中的纹理信息,且无法克服采集足迹图像时外界因素所带来的干扰。
有鉴于此,急需对现有的视觉目标跟踪算法进行改进,提出一种能够克服多种环境因素干扰,并提取到有辨识度的鞋印纹理信息的足迹识别算法。
发明内容
有鉴于此,本发明提出了一种复合注意力机制的足迹识别方法,其在复合注意力机制模块中加入分组通道注意力机制模块,增强通道注意力对于局部信息的关联度,同时使用空洞卷积对全局信息做提取,提高了待识别足迹图像特征提取的准确性。
本发明的技术方案是这样实现的:
第一方面,本发明提供了一种复合注意力机制的足迹识别方法,所述识别方法包括以下步骤:
S1、采集模板足迹图像,并根据所述模板足迹图像的特征建立特征数据库;
S2、将待识别足迹图像I0利用N个卷积层进行特征提取,得到基础特征F4;其中,N个卷积层依次排列设置,N为非零自然数;
S3、将所述基础特征F4输入至第N+1个卷积层进行全局特征提取,得到第一特征C1;
S4、将所述基础特征F4输入至复合注意力机制,通过解耦增强空间注意力模块和分组通道注意力模块进行局部特征提取得到第二特征C2;其中,所述复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块;
S5、将所述第一特征C1和第二特征C2进行拼接,得到实际特征Cf;
S6、将所述实际特征Cf与特征数据库进行比对,得到所述待识别足迹图像I0的识别结果。
在以上技术方案的基础上,优选的,所述复合注意力机制还包括第N+2个卷积层和谱值差正交性正则化层,所述步骤S4具体包括:
S41、将所述基础特征F4输入第N+2个卷积层中进行特征提取,得到卷积特征Fj;
S43、将所述第三特征S输入至解耦增强空间注意力模块进行特征提取,得到第四特征D;
S44、将所述第三特征S输入至分组通道注意力模块进行特征提取,得到第五特征G;
S45、将所述第四特征D和第五特征G进行融合,得到第一融合特征
S46、将所述第一融合特征进行全局平均池化,得到所述第二特征C2。
在以上技术方案的基础上,优选的,所述步骤S44具体包括:
将所述第三特征S按照通道数分为若干组,得到若干个第一特征组Z;
将所述若干个第一特征组Z依次输入至分组通道注意力模块中,得到若干个第二特征组Z′;
将所述若干个第二特征组Z′连接,得到通道注意力特征Fu;
将所述第三特征S通过感受野为5×5的空洞卷积进行特征提取,得到空洞卷积特征H;
将所述通道注意力特征Fu和空洞卷积特征H进行选择性融合,得到第五特征G:
G=acH+bcFu,ac+bc=1,
其中,元素a和元素b分别表示空洞卷积特征H和通道注意力特征Fu的软注意向量,元素Sc表示第三特征S的第c行,元素ac表示元素a的第c个元素,元素Hc表示空洞卷积特征H的第c行,元素bc表示元素b的第c个元素,f为通道注意力特征Fu和空洞卷积特征H进行选择性融合时产生的选择权重向量。
在以上技术方案的基础上,优选的,所述将所述通道注意力特征和空洞卷积特征进行选择性融合,具体包括:
将所述通道注意力特征Fu与空洞卷积特征H相加,得到第二融合特征
将所述第二融合特征经过全局平均池化层进行特征维度映射,得到选择权重向量f;
根据所述选择权重向量f将所述通道注意力特征Fu与空洞卷积特征H通过用跨通道的软注意力机制进行赋值,得到第五特征G。
在以上技术方案的基础上,优选的,所述识别方法还包括:
使用所述数据库中的模板足迹图像的特征进行训练,得到训练好的足迹识别模型;
当所述实际特征与数据库中存在差异时,将所述待识别足迹图像的特征采用迁移学习进行跨域学习识别,并对所述足迹识别模型进行调整;
采用调整后的足迹识别模型对待识别足迹图像进行识别,得到足迹图像识别结果。
在以上技术方案的基础上,优选的,所述步骤S43具体包括:
将所述第三特征S利用提取边界信息模块进行特征提取,得到逐像素显著性边界信息矩阵A;
将所述第三特征S利用提取白化区域相似度信息模块进行特征提取,得到白化区域相似度信息矩阵B;
将所述逐像素显著性边界信息矩阵A与白化区域相似度信息矩阵B相加,得到第三融合特征U;
根据第三特征S和第三融合特征U进行特征处理并通过权重系数进行缩放后,得到第六特征W;
将所述特征W与第三特征S相加,得到第四特征D。
第二方面,本发明提供了一种复合注意力机制的足迹识别***,采用如上述任一项所述的复合注意力机制的足迹识别方法,包括:
采集模块,用于采集模板足迹图像,并根据模板图像的特征建立特征数据库;
特征提取模块,用于对待识别足迹图像进行特征提取,得到实际特征;
比对模块,用于将待识别足迹图像的实际特征与特征数据库进行比对,得到所述待识别足迹图像的识别结果。
更进一步优选的,还包括训练模块和学习模块,其中,
训练模块,用于根据特征数据库中的模板足迹图像的特征进行训练,得到训练好的足迹识别模型;
学习模块,用于当实际特征与数据库存在差异时,采用迁移学习进行跨域学习识别,对所述训练好的足迹识别模型进行调整。
第三方面,本发明提供了一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如上述任一项所述的复合注意力机制的足迹识别方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现如上述任一项所述的复合注意力机制的足迹识别方法。
本发明的复合注意力机制的足迹识别方法相对于现有技术具有以下有益效果:
(1)通过在卷积神经网络中设置复合注意力机制,利用注意力机制加强对待识别足迹图像局部特征的关注,提高识别正确率;其中复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块,通过分组通道注意力模块提高了特征通道间相关性信息的敏感性,增强了图像特征的表达能力;
(2)通过解耦增强空间注意力模块对待识别足迹图像的基础特征进行解耦,获得待识别足迹图像的显著性边界信息与白化区域相似度信息,加强待识别足迹图像中纹理信息和区域像素间的学习能力,减少卷积神经网路计算复杂度的同时增强待识别足迹图像特征的鲁棒性;
(3)通过在待识别足迹图像的实际特征与数据库对比出现差异时,使用迁移学习进行跨域学习识别,对足迹识别模型进行调整,并利用分组通道注意力模块使神经网络更加快速适用待识别足迹图像,进一步提高了足迹识别的准确率,极大提高了足迹识别模型的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的复合注意力机制的足迹识别方法的流程图;
图2为本发明的复合注意力机制的足迹识别方法的架构示意图;
图3为本发明的复合注意力机制的足迹识别方法的分组通道注意力模块的架构示意图;
图4为本发明的复合注意力机制的足迹识别方法的分组通道注意力模块的通道注意力模块架构示意图;
图5为本发明的复合注意力机制的足迹识别方法的解耦增强空间注意力模块的架构示意图;
图6为本发明的复合注意力机制的足迹识别***框图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
如图1所示,本发明提供了一种复合注意力机制的足迹识别方法,所述识别方法包括以下步骤:
S1、采集模板足迹图像,并根据所述模板足迹图像的特征建立特征数据库。
S2、将待识别足迹图像I0利用N个卷积层进行特征提取,得到基础特征F4;其中,N个卷积层依次排列设置,N为非零自然数。
在本申请一优选实施例中,N为4,将待识别足迹图像I0依次输入至第一卷积层、第二卷积层、第三卷积层和第四卷积层中进行特征提取。
具体的,第一卷积层采用7×7的卷积核进行特征提取,得到特征F1;第二卷积层中分别采用3组1×1、3×3和1×1的卷积核进行特征提取,得到特征F2;第三卷积层中分别采用4组1×1、3×3和1×1的卷积核进行特征提取,得到特征F3;第四卷积层中分别采用6组1×1、3×3和1×1的卷积核进行特征提取,得到F4,即基础特征。
S3、将所述基础特征F4输入至第N+1个卷积层进行全局特征提取,得到第一特征C1。即当N为4时,将基础特征F4输入至第五卷积层,第五卷积层分别用3组1×1、3×3和1×1的卷积核进行特征提取,得到特征F5,将特征F5输入至全局平均池化层处理后,得到全局特征,即第一特征C1。
S4、将所述基础特征F4输入至复合注意力机制,通过解耦增强空间注意力模块和分组通道注意力模块进行局部特征提取得到第二特征C2;其中,所述复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块。通过复合注意力机制对基础特征F4进行通道聚合和位置感知,得到第二特征C2。
S5、将所述第一特征C1和第二特征C2进行拼接,得到实际特征Cf;
S6、将所述实际特征Cf与特征数据库进行比对,得到所述待识别足迹图像的识别结果。
本申请通过卷积层对待识别足迹图像进行特征提取,得到待识别足迹图像的基础特征,并利用复合注意力机制对基础特征进行特征提取,通过复合注意力机制中特征空间的正交性正则化减少特征之间的相关性,提高特征提取的准确性,并利用注意力机制加强对待识别足迹图像局部特征的关注,同时建立长距离依赖,提高待识别足迹图像的识别正确率。
如图2所示,作为本申请一优选实施例,所述复合注意力机制还包括第N+2个卷积层和谱值差正交性正则化层,所述步骤S4具体包括:
S41、将所述基础特征F4输入第N+2个卷积层中进行特征提取,得到卷积特征Fj;
S42、将所述卷积特征Fj输入谱值差正交性正则化层,得到第三特征S;
S43、将所述第三特征S输入至解耦增强空间注意力模块进行特征提取,得到第四特征D;
S44、将所述第三特征S输入至分组通道注意力模块进行特征提取,得到第五特征G;
S45、将所述第四特征C4和第五特征G进行融合,得到第一融合特征
S46、将所述第一融合特征进行全局平均池化,得到所述第二特征C2。
其中,当N为4时,第六卷积层中分别用3组1×1、3×3和1×1的卷积核对基础特征F4进行特征提取,得到卷积特征Fj;将卷积特征Fj进行正交性正则化来减少卷积特征Fj之间的相关性,得到第三特征S,其中,正交性正则化(SVDO)方法可以使卷积神经网络更加注重待识别足迹图像中的细节信息,提高识别准确率,同时也可以避免卷积神经网络出现过拟合的现象。通过解耦增强空间注意力模块对第三特征S进行解耦,加强待识别足迹图像中的纹理信息和区域像素间的学习能力,提高待识别足迹图像特征的鲁棒性,同时通过分组通道注意力模块提升卷积神经网络对特征通道间相关信息的敏感性,增强待识别足迹图像中特征的表达能力,提高待识别足迹图像的识别效果。
如图3所示,作为本申请一优选实施例,所述步骤S44具体包括:
将所述第三特征S按照通道数分为若干组,得到若干个第一特征组Z;
将所述若干个第一特征组Z依次输入至分组通道注意力模块中,得到若干个第二特征组Z′;
将所述若干个第二特征组Z′连接,得到通道注意力特征Fu;
将所述第三特征S通过感受野为5×5的空洞卷积进行特征提取,得到空洞卷积特征H;
将所述通道注意力特征Fu和空洞卷积特征H进行选择性融合,得到第五特征G。
具体的,将第三特征S按照通道数分为g组,每组的特征通道数为G=C/g,得到若干个单个特征大小为G×H×W的第一特征组Z,其中C为卷积层的通道数,H为卷积核的高,W为卷积核的宽,将若干个第一特征组Z依次输入至分组通道注意力模块(CAM注意力模块)中,得到若干个单个特征大小G×H×W的特征Q,依次将特征Q连接后得到大小为C×H×W的通道注意力特征Fu,将第三特征S通过一个感受野为5×5的空洞卷积进行特征提取,可以得到空洞卷积特征H,通过空洞卷积获取每组通道注意力特征Fu之间的相关性,将通道注意力特征Fu和空洞卷积特征H进行融合得到第五特征G。
进一步参照图4,其中,CAM注意力模块具体包括:
将第一特征组Z的g组特征Zi,i∈[1,g]依次输入1×1的卷积中,得到大小为K×H×W的特征Fi,其中K为卷积的通道数,H为卷积核的高,W为卷积核的宽;
将特征Fi进行维度变换,得到大小为K×N的特征Fi1,其中N为卷积核的个数;
将特征Zi进行维度变换,再将维度变换的结果进行转置,得到大小为N×G的特征Pi;
将特征Pi与特征Fi1相乘,并将相乘的结果使用softmax层进行计算,最终得到大小为K×G的通道注意力矩阵Xi;
将特征Fi再次进行维度变换,得到大小为K×N的特征Fi2;
将通道注意力矩阵Xi的转置与所述特征Fi2相乘,将相乘的结果再进行维度变换,得到大小为G×H×W的特征Yi;
将特征Yi与特征Zi逐元素相加,得到特征Z′i;
将g组特征Z′i,i∈[1,g]依次连接,得到大小为C×H×W的局部注意力特征,即通道注意力特征Fu。
可以理解的,构建通道注意力模块可以建模不同通道之间的依赖关系,进而增强相似语义的通道之间的关联性,并动态调整卷积神经网络不同通道的权重,从而提高特征的表现能力。
作为本申请一优选实施例,所述将所述通道注意力特征Fu和空洞卷积特征H进行选择性融合,具体包括:
将所述通道注意力特征Fu与空洞卷积特征H相加,得到第二融合特征
将所述第二融合特征经过全局平均池化层进行特征维度映射,得到选择权重向量f;
根据所述选择权重向量f将所述通道注意力特征Fu与空洞卷积特征H通过用跨通道的软注意力机制进行赋值,得到第五特征G。
可以理解的,将通道注意力特征Fu与空洞卷积特征H相加,得到第二融合特征将第二融合特征/>经过一个全局平均池化操作后将特征维度映射到d维,得到大小为d×1的一个选择权重向量f,根据所述选择权重向量f将通道注意力特征Fu与空洞卷积特征H通过用跨通道的软注意力机制进行赋值,通过不同的权重,将待识别足迹图像的全局信息和局部注意力信息融合起来,得到分组通道注意力信息,即第五特征G:
G=acH+bcFu,ac+bc=1,
其中,第三特征S和空洞卷积特征H的大小都变换为C×d,元素a和元素b分别表示空洞卷积特征H和通道注意力特征Fu的软注意向量,元素Sc表示第三特征S的第c行,元素ac表示元素a的第c个元素,元素Hc表示空洞卷积特征H的第c行,元素bc表示元素b的第c个元素,f为通道注意力特征Fu和空洞卷积特征H进行选择性融合时产生的选择权重向量。
如图5所示,作为本申请一优选实施例,所述解耦增强空间注意力模块包括提取边界信息模块和提取白化区域相似度信息模块,通过解耦增强空间注意力模块使得待识别足迹图像的每个像素的重要程度和像素之间的相似性能够更好的学习和利用,加强待识别足迹图像中纹理信息和区域像素间的学习能力,减少卷积神经网络的计算复杂度。
作为本申请一优选实施例,所述步骤S43具体包括:
将所述第三特征S利用边界信息模块进行特征提取,得到逐像素显著性边界信息矩阵A;
将所述第三特征S利用白化区域相似度信息模块进行特征提取,得到白化区域相似度信息矩阵B;
将所述逐像素显著性边界信息矩阵A与白化区域相似度信息矩阵B相加,得到第三融合特征U;
根据第三特征S和第三融合特征U进行特征处理并通过权重系数进行缩放后,得到第六特征W;
将所述第六特征W与第三特征S相加,得到第四特征D。其中,权重系数可以根据实际需求进行设置,并且能够随着卷积神经网络的训练逐渐被学习调整。
具体的,将大小为C×H×W的第三特征S通过1×1的卷积进行特征提取,得到大小为1×H×W的边界信息特征Fb;将边界信息特征Fb进行维度变换,得到大小为1×N的边界信息特征F′b;边界信息特征F′b输入Softmax层进行非线性映射得到分布在0-1范围的显著性边界信息Fsbi;显著性边界信息Fsbi进行维度扩张,得到一个大小为N×N的逐像素显著性边界信息矩阵A,通过提取第三特征S的边界信息,能够很好地对待识别足迹图像的区域边界进行建模。
进一步,将大小为C×H×W的第三特征S通过BN(Batch Normalization)层和ReLU激活函数进行特征提取,得到大小为C×H×W的特征SBR;将特征SBR输入白化模块中得到白化特征Fw。这样可以根据白化区域相似度对第三特征S进行更好的修正,使卷积神经网络能很好地学习到白化区域内关系。
具体的,将白化特征Fw进行维度变换,得到大小为C×N的白化特征F′w;将白化特征F′w进行转置操作,得到大小为N×C的白化特征F″w;白化特征F″w和F′w相乘,得到大小为N×N的白化区域矩阵Fz;白化区域矩阵Fz输入至softmax层中,得到大小为N×N的白化区域相似度信息矩阵B,通过提取第三特征S的白化区域相似度信息,能够学习到白化区域内像素之间的关系。通过解耦增强空间注意力模块将第三特征S解耦成显著性边界信息与白化区域相似度信息,提高每个像素之间的利用率,进而提高待识别足迹图像的识别效果。
进一步,将显著性边界信息矩阵A和白化区域相似度信息矩阵B进行简单相加得到一个大小为N×N第三融合特征U,通过融合显著性边界信息矩阵A和白化区域相似度信息矩阵B可以同时提升待识别足迹图像的区域边界建模和白化区域内关系学习的效果;将特征SBR进行维度变换,得到大小为C×N的特征S′;将特征B′和第三融合特征U的转置相乘,再将相乘的结果进行维度变化得到大小为C×H×W的特征F;特征F通过权重系数进行缩放,得到第六特征W,将第六特征W与第三特征S按元素相加得到大小为C×H×W的最终的解耦增强空间注意力模块输出特征,即第四特征D,所述公式如下:
其中,α为权重系数,在初始状态下被设置为0,随着训练,权重系数逐渐被学习调整,以更加准确地表示特征之间的重要性;Dk表示第四特征的第k行,Sk表示第三特征S的第k行,Ujk表示第三融合特征U第j列第k个元素,S′k表示特征S′的第k行,k∈[1,C],C为卷积神经网络的通道数。
在本申请一实施例中,步骤S4中将所述基础特征输入至复合注意力机制还包括:
将第五特征G输入谱值差正交性正则化层,得到特征GS;
将第四特征D输入所述谱值差正交性正则化层,得到特征DS;
将所述特征GS、特征DS和第三特征S进行逐元素相加,得到的特征再通过一个全局平均池化层,得到一个1024维的第二特征C2。
作为本申请一优选实施例,所述识别方法还包括:
使用所述数据库中的模板足迹图像的特征进行训练,得到训练好的足迹识别模型;
当所述实际特征与数据库中存在差异时,将所述待识别足迹图像的特征采用迁移学习进行跨域学习识别,并对所述足迹识别模型进行调整;
采用调整后的足迹识别模型对待识别足迹图像进行识别,得到足迹图像识别结果。
作为本领域技术人员可以理解的,采集模板足迹图像形成数据集,利用数据集对卷积神经网络进行训练,进而得到训练好的足迹识别模型。其中数据集分为同域数据集和跨域数据集,同域数据集是待识别足迹图像对应的鞋底花纹在训练集和验证集中出现过;跨域数据集是待识别足迹图像对应的鞋底花纹并没有在训练集和验证集中出现过。
当待识别足迹图像所对应的鞋底花纹是训练集中出现过的,则可以使用训练好的足迹识别模型对待识别足迹图像进行识别,此方法为同域识别;
当待识别足迹图像所对应的鞋底花纹没有在训练集中出现过,即该待识别足迹图像的鞋底花纹没有被卷积神经网络训练过,需要使用迁移学习进行跨域学习识别,使训练好的足迹识别模型在面对新的鞋底花纹时,能够快速学习适应,此方法为跨域识别。
具体的,跨域识别的具体步骤包括:
将待识别足迹图像进行预处理;
使用卷积神经网路对待识别足迹图像进行特征提取,并将提取的特征保存至特征数据库中,对足迹识别模型进行调整;
使用所述调整后的足迹识别模型对待识别足迹图像进行识别,并输出识别结果。
通过对训练好的足迹识别模型进行调整,不仅耗时短且能够提高足迹识别模型的识别准确率,极大的提高了足迹识别模型的性能表现。
本申请通过分组通道注意力机制模块对待识别足迹图像进行特征提取,提高了卷积神经网络对特征通道间相关性信息的敏感性,增强了待识别足迹图像的特征表达能力,同时使用解耦增强空间注意力模块对待识别足迹图像的基础特征进行解耦,加强了待识别足迹图像中纹理信息和区域像素间的学习能力,减少卷积神经网络计算复杂度的同时增加了特征的鲁棒性。本申请还可以对训练好的足迹识别模型进行调整,提高足迹识别模型的识别准确率。
如图6所示,本申请还公开了一种复合注意力机制的足迹识别***,采用如上述任一项所述的复合注意力机制的足迹识别方法,包括:
采集模块,用于采集模板足迹图像,并根据模板图像的特征建立特征数据库;
特征提取模块,用于对待识别足迹图像进行特征提取,得到实际特征;
比对模块,用于将待识别足迹图像的实际特征与特征数据库进行比对,得到所述待识别足迹图像的识别结果。
本申请通过采集模块采集模板足迹图像并建立特征数据库,特征提取模块对待识别足迹图像进行特征提取,并利用比对模块将待识别足迹图像的实际特征与特征数据库进行比对,进而得出待识别足迹图像的识别结果,其中特征提取模块包括解耦增强空间注意力单元和分组通道注意力单元,通过分组通道注意力单元增强通道注意力对待识别足迹图像局部信息的关联度,提升识别性能,同时利用解耦增强空间注意力单元加强待识别足迹图像中纹理信息和区域像素间的学习能力,减少卷积神经网络的计算复杂度。
在本申请进一步实施例中,足迹识别***还包括训练模块和学习模块,训练模块用于根据特征数据库中的模板足迹图像的特征进行训练,得到训练好的足迹识别模型;学习模块用于当实际特征与数据库存在差异时,采用迁移学习进行跨域学习识别,对所述训练好的足迹识别模型进行调整。
通过对训练好的足迹识别模型进行调整,提高足迹识别模型的识别准确率,同时还极大提高了足迹识别模型的性能表现。
本申请还公开了一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如上述任一项所述的复合注意力机制的足迹识别方法。
本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现如上述任一项所述的复合注意力机制的足迹识别方法。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种复合注意力机制的足迹识别方法,其特征在于:所述识别方法包括以下步骤:
S1、采集模板足迹图像,并根据所述模板足迹图像的特征建立特征数据库;
S2、将待识别足迹图像I0利用N个卷积层进行特征提取,得到基础特征F4;其中,N个卷积层依次排列设置,N为非零自然数;
S3、将所述基础特征F4输入至第N+1个卷积层进行全局特征提取,得到第一特征C1;
S4、将所述基础特征F4输入至复合注意力机制,通过解耦增强空间注意力模块和分组通道注意力模块进行局部特征提取得到第二特征C2;其中,所述复合注意力机制包括解耦增强空间注意力模块和分组通道注意力模块;
S5、将所述第一特征C1和第二特征C2进行拼接,得到实际特征Cf;
S6、将所述实际特征Cf与特征数据库进行比对,得到所述待识别足迹图像I0的识别结果;
所述复合注意力机制还包括第N+2个卷积层和谱值差正交性正则化层,所述步骤S4具体包括:
S41、将所述基础特征F4输入第N+2个卷积层中进行特征提取,得到卷积特征Fj;
S42、将所述卷积特征Fj输入谱值差正交性正则化层,得到第三特征S;
S43、将所述第三特征S输入至解耦增强空间注意力模块进行特征提取,得到第四特征D;
S44、将所述第三特征S输入至分组通道注意力模块进行特征提取,得到第五特征G;
S45、将所述第四特征D和第五特征G进行融合,得到第一融合特征
S46、将所述第一融合特征进行全局平均池化,得到所述第二特征C2;
所述步骤S43具体包括:
将所述第三特征S利用提取边界信息模块进行特征提取,得到逐像素显著性边界信息矩阵A;
将所述第三特征S利用提取白化区域相似度信息模块进行特征提取,得到白化区域相似度信息矩阵B;
将所述逐像素显著性边界信息矩阵A与白化区域相似度信息矩阵B相加,得到第三融合特征U;
根据第三特征S和第三融合特征U进行特征处理并通过权重系数进行缩放后,得到第六特征W;
将所述特征W与第三特征S相加,得到第四特征D。
2.如权利要求1所述的一种复合注意力机制的足迹识别方法,其特征在于:所述步骤S44具体包括:
将所述第三特征S按照通道数分为若干组,得到若干个第一特征组Z;
将所述若干个第一特征组Z依次输入至分组通道注意力模块中,得到若干个第二特征组Z′;
将所述若干个第二特征组Z′连接,得到通道注意力特征Fu;
将所述第三特征S通过感受野为5×5的空洞卷积进行特征提取,得到空洞卷积特征H;
将所述通道注意力特征Fu和空洞卷积特征H进行选择性融合,得到第五特征G:
G=acH+bcFu,ac+bc=1,
其中,元素a和元素b分别表示空洞卷积特征H和通道注意力特征Fu的软注意向量,元素Sc表示第三特征S的第c行,元素ac表示元素a的第c个元素,元素Hc表示空洞卷积特征H的第c行,元素bc表示元素b的第c个元素,f为通道注意力特征Fu和空洞卷积特征H进行选择性融合时产生的选择权重向量。
3.如权利要求2所述的一种复合注意力机制的足迹识别方法,其特征在于:所述将所述通道注意力特征和空洞卷积特征进行选择性融合,具体包括:
将所述通道注意力特征Fu与空洞卷积特征H相加,得到第二融合特征
将所述第二融合特征经过全局平均池化层进行特征维度映射,得到选择权重向量f;
根据所述选择权重向量f将所述通道注意力特征Fu与空洞卷积特征H通过用跨通道的软注意力机制进行赋值,得到第五特征G。
4.如权利要求1所述的一种复合注意力机制的足迹识别方法,其特征在于:所述识别方法还包括:
使用所述数据库中的模板足迹图像的特征进行训练,得到训练好的足迹识别模型;
当所述实际特征与数据库中存在差异时,将所述待识别足迹图像的特征采用迁移学习进行跨域学习识别,并对所述足迹识别模型进行调整;
采用调整后的足迹识别模型对待识别足迹图像进行识别,得到足迹图像识别结果。
5.一种复合注意力机制的足迹识别***,采用如权利要求1-4任一项所述的复合注意力机制的足迹识别方法,其特征在于:包括:
采集模块,用于采集模板足迹图像,并根据模板图像的特征建立特征数据库;
特征提取模块,用于对待识别足迹图像进行特征提取,得到实际特征;
比对模块,用于将待识别足迹图像的实际特征与特征数据库进行比对,得到所述待识别足迹图像的识别结果。
6.如权利要求5所述的一种复合注意力机制的足迹识别***,其特征在于:还包括训练模块和学习模块,其中,
训练模块,用于根据特征数据库中的模板足迹图像的特征进行训练,得到训练好的足迹识别模型;
学习模块,用于当实际特征与数据库存在差异时,采用迁移学习进行跨域学习识别,对所述训练好的足迹识别模型进行调整。
7.一种电子设备,其特征在于,包括:至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如权利要求1~4任一项所述的复合注意力机制的足迹识别方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现如权利要求1~4任一项所述的复合注意力机制的足迹识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311089272.9A CN117218720B (zh) | 2023-08-25 | 2023-08-25 | 一种复合注意力机制的足迹识别方法、***及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311089272.9A CN117218720B (zh) | 2023-08-25 | 2023-08-25 | 一种复合注意力机制的足迹识别方法、***及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117218720A CN117218720A (zh) | 2023-12-12 |
CN117218720B true CN117218720B (zh) | 2024-04-16 |
Family
ID=89043355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311089272.9A Active CN117218720B (zh) | 2023-08-25 | 2023-08-25 | 一种复合注意力机制的足迹识别方法、***及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117218720B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
CN112580694A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 基于联合注意力机制的小样本图像目标识别方法及*** |
CN112767273A (zh) * | 2021-01-21 | 2021-05-07 | 中山大学 | 一种应用特征解耦的低剂量ct图像修复方法及*** |
CN113220926A (zh) * | 2021-05-06 | 2021-08-06 | 安徽大学 | 基于多尺度局部注意力增强网络的足迹图像检索方法 |
CN113255821A (zh) * | 2021-06-15 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于注意力的图像识别方法、***、电子设备及存储介质 |
CN113822209A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
CN115795081A (zh) * | 2023-01-20 | 2023-03-14 | 安徽大学 | 一种基于多通道融合的跨域残缺足迹图像检索*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428699B (zh) * | 2020-06-10 | 2020-09-22 | 南京理工大学 | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及*** |
-
2023
- 2023-08-25 CN CN202311089272.9A patent/CN117218720B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
CN112580694A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 基于联合注意力机制的小样本图像目标识别方法及*** |
CN112767273A (zh) * | 2021-01-21 | 2021-05-07 | 中山大学 | 一种应用特征解耦的低剂量ct图像修复方法及*** |
CN113220926A (zh) * | 2021-05-06 | 2021-08-06 | 安徽大学 | 基于多尺度局部注意力增强网络的足迹图像检索方法 |
CN113255821A (zh) * | 2021-06-15 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于注意力的图像识别方法、***、电子设备及存储介质 |
CN113822209A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
CN115795081A (zh) * | 2023-01-20 | 2023-03-14 | 安徽大学 | 一种基于多通道融合的跨域残缺足迹图像检索*** |
Also Published As
Publication number | Publication date |
---|---|
CN117218720A (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111582044B (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
WO2022036777A1 (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
CN109657595B (zh) | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 | |
CN113077471A (zh) | 一种基于u型网络的医学图像分割方法 | |
CN111325111A (zh) | 一种融合逆注意力和多尺度深度监督的行人重识别方法 | |
CN112926396A (zh) | 一种基于双流卷积注意力的动作识别方法 | |
CN115496928B (zh) | 基于多重特征匹配的多模态图像特征匹配方法 | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
CN113947814B (zh) | 一种基于时空信息增强和多尺度显著性特征提取的跨视角步态识别方法 | |
CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及*** | |
CN111931603B (zh) | 基于竞合网络的双流卷积网络的人体动作识别***及方法 | |
Lu et al. | Rethinking prior-guided face super-resolution: A new paradigm with facial component prior | |
CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN116030498A (zh) | 面向虚拟服装走秀的三维人体姿态估计方法 | |
CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及*** | |
CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
CN110135435B (zh) | 一种基于广度学习***的显著性检测方法及装置 | |
CN109447147B (zh) | 基于双图稀疏的深度矩阵分解的图像聚类方法 | |
CN112949500A (zh) | 一种基于空间特征编码改进的YOLOv3车道线检测方法 | |
CN117218720B (zh) | 一种复合注意力机制的足迹识别方法、***及相关装置 | |
CN109101978B (zh) | 基于加权低秩矩阵恢复模型的显著性目标检测方法与*** | |
CN110400250A (zh) | 基于ai的智能图像预处理方法及*** | |
CN115294182A (zh) | 一种基于双交叉注意力机制的高精度立体匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |