CN118227823A - 基于指纹定长表征的指纹检索方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种基于指纹定长表征的指纹检索方法、装置及电子设备。其中，该方法包括：从图像中提取目标指纹的细节点感知指纹定长表征和细节点中心纹理特征；依据细节点中心纹理特征和目标指纹中的指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息；拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；检索与目标指纹定长表征对应的指纹集合。本申请解决了相关技术中在构建指纹的定长特征表示来进行指纹检索时由于未能充分利用指纹中的细节点信息导致检索准确率低的技术问题。

Description

基于指纹定长表征的指纹检索方法、装置及电子设备

技术领域

本申请涉及图像处理领域，具体而言，涉及一种基于指纹定长表征的指纹检索方法、装置及电子设备。

背景技术

相关技术中在采用指纹的定长特征表示来进行指纹检索时，由于生成的指纹的定长特征表示没有充分考虑指纹中的细节点相关的特征，导致检索准确率较低，并且在指纹图像存在旋转和平移的场景中，检索准确率还会进一步降低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于指纹定长表征的指纹检索方法、装置及电子设备，以至少解决相关技术中在构建指纹的定长特征表示来进行指纹检索时由于未能充分利用指纹中的细节点信息导致检索准确率低的技术问题。

根据本申请实施例的一个方面，提供了一种基于指纹定长表征的指纹检索方法，包括：从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征，其中，细节点感知指纹定长表征中包括目标指纹的全局特征信息和目标指纹中的细节点纹理特征信息，细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；依据细节点中心纹理特征和目标指纹中的指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，其中，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息，细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；检索与目标指纹定长表征对应的指纹集合，其中，指纹集合中包括预设数量的待匹配指纹，待匹配指纹的指纹定长表征和目标指纹定长表征之间的相似度满足预设要求。

可选地，从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征包括：通过骨干神经网络的特征提取模块从图像中提取多幅特征图，其中，特征提取模块中包括依次连接的多个特征提取层，特征提取层用于提取特征图，多幅特征图中包括按照特征深度由浅到深排序的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；融合第三特征图，第四特征图和第五特征图，得到融合特征图；从融合特征图中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征。

可选地，从融合特征图中提取目标指纹的细节点感知指纹定长表征包括：确定融合特征图中的前景向量；通过骨干神经网络中的加权平均池化模块对融合特征图中的前景向量进行加权聚合处理，从而得到细节点感知指纹定长表征。

可选地，从融合特征图中提取目标指纹的细节点中心纹理特征包括：确定融合特征图中的多个指纹细节点图像区域，其中，指纹细节点图像区域为包含了指纹细节点的图像区域；通过骨干神经网络中的加权平均池化模块对多个指纹细节点图像区域中的每个指纹细节点图像区域内的前景向量分别进行加权聚合处理，从而得到目标指纹的每个细节点的细节点中心纹理特征。

可选地，确定融合特征图中的多个指纹细节点图像区域包括：在融合特征图中确定多个指纹细节点；对多个指纹细节点中的每个指纹细节点，依据每个指纹细节点的方向旋转融合特征图，直到每个指纹细节点与预设基准线之间的夹角为零度；在旋转完成后，从融合特征图中提取包含每个指纹细节点的图像块，其中，图像块为每个指纹细节点对应的指纹细节点图像区域。

可选地，依据细节点中心纹理特征和指纹细节点的位置信息确定目标指纹的细节点拓扑感知定长表征包括：在目标指纹的图像中确定全部细节点集合，以及全部细节点集合中的每个指纹细节点的位置信息和方向信息；在全部细节点集合中确定中心细节点，以及中心细节点的相邻细节点，其中，中心细节点为全部细节点集合中的任意一个细节点，相邻细节点为全部细节点集合中与中心细节点之间的距离小于预设长度的细节点；分别将每个指纹细节点作为中心细节点，并确定中心细节点对应的相邻细节点，其中，相邻细节点为全部细节点集合中与中心细节点之间的距离小于预设距离的细节点；依据每个指纹细节点和对应的相邻细节点的位置信息和方向信息确定每个指纹细节点的拓扑特征，其中，拓扑特征包括每个指纹细节点与相邻细节点的相对位置和角度关系；依据每个指纹细节点的拓扑特征和细节点中心纹理特征确定目标指纹的细节点拓扑感知指纹定长表征。

可选地，依据每个指纹细节点和相邻细节点的位置信息和方向信息确定每个指纹细节点的拓扑特征包括：依据每个指纹细节点的方向信息旋转目标指纹图像，直到目标指纹细节点的方向与预设基准线之间的夹角为零度；在旋转目标指纹图像后，确定每个指纹细节点和对应的相邻细节点在旋转后的位置信息和方向信息，并依据旋转后的位置信息和方向信息确定每个指纹细节点与各个相邻细节点之间的边的边表征；采用细节点拓扑编码器聚合每个指纹细节点对应的边表征和相邻细节点信息，得到每个指纹细节点的拓扑特征。

可选地，依据每个指纹细节点的拓扑特征和细节点中心纹理特征确定目标指纹的细节点拓扑感知指纹定长表征包括：依据每个指纹细节点的拓扑特征和细节点中心纹理特征建立细节点图，其中，细节点图中包括节点和节点与节点之间连接得到的边，并且节点与指纹细节点之间一一对应，节点用于体现对应的指纹细节点的拓扑特征的信息和细节点中心纹理特征的信息；通过细节拓扑感知聚合模型处理细节点图，得到细节点拓扑感知指纹定长表征，其中，细节拓扑感知聚合模型中包括依次连接的多个自定义层，多层感知器和池化层，多个自定义层中的每个自定义层中包括卷积层、带有激活层的线性层和批归一化层。

根据本申请实施例的另一方面，还提供了一种指纹检索模型训练方法，指纹检索模型用于执行基于指纹定长表征的指纹检索方法，包括：对指纹检索模型进行第一阶段训练，其中，在第一阶段训练的训练过程中，只对指纹检索模型中的骨干神经网络进行训练，骨干神经网络和指纹检索模型中的加权平均池化模块用于从包含有目标指纹的目标指纹图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点纹理特征；

在完成第一阶段训练后，对指纹检索模型进行第二阶段训练，其中，在第二阶段训练的训练过程中，只对指纹检索模型中的细节点拓扑编码器和细节拓扑感知聚合模型进行训练，细节点拓扑编码器和细节拓扑感知聚合模型用于依据细节点纹理特征信息和目标指纹图像确定目标指纹的细节点拓扑感知指纹定长表征。

可选地，在对指纹检索模型进行第一阶段训练前，指纹检索模型训练方法还包括：获取原始训练数据，其中，原始训练数据包括成对指纹数据集；采用扩展团训练法在成对指纹中确定细节点匹配关系，并依据细节点匹配关系确定标签，标签用于在第一阶段训练中确定正样本和负样本。

可选地，对指纹检索模型进行第一阶段训练包括：对初始训练数据中的初始训练图像进行数据预处理，得到训练图像，其中，数据预处理的处理方式包括：旋转和平移；将训练图像作为训练数据对指纹检索模型进行第一阶段训练。

根据本申请实施例的另一方面，还提供了一种基于指纹定长表征的指纹检索装置，包括：第一处理模块，用于从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征，其中，细节点感知指纹定长表征中包括目标指纹的全局特征信息和目标指纹中的细节点纹理特征信息，细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；第二处理模块，用于依据细节点中心纹理特征和目标指纹中的指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，其中，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息，细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；第三处理模块，用于拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；第四处理模块，用于检索与目标指纹定长表征对应的指纹集合，其中，指纹集合中包括预设数量的待匹配指纹，待匹配指纹的指纹定长表征和目标指纹定长表征之间的相似度满足预设要求。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行基于指纹定长表征的指纹检索方法，或者指纹检索模型训练方法。

根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，程序运行时执行基于指纹定长表征的指纹检索方法，或者指纹检索模型训练方法。

根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现基于指纹定长表征的指纹检索方法，或者指纹检索模型训练方法。

在本申请实施例中，采用从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征，其中，细节点感知指纹定长表征中包括目标指纹的全局特征信息和目标指纹中的细节点纹理特征信息，细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；依据细节点中心纹理特征和目标指纹中的指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，其中，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息，细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；检索与目标指纹定长表征对应的指纹集合，其中，指纹集合中包括预设数量的待匹配指纹，待匹配指纹的指纹定长表征和目标指纹定长表征之间的相似度满足预设要求的方式，通过提取指纹中的细节点的纹理特征和拓扑特征来构建具有平移和旋转不变性的目标指纹定长表征，达到了充分利用指纹中的细节点的特征信息的目的，从而实现了提高指纹检索准确率的技术效果，进而解决了相关技术中在构建指纹的定长特征表示来进行指纹检索时由于未能充分利用指纹中的细节点信息导致检索准确率低的技术问题。并且本申请实施例所提供的指纹定长表征在面对指纹平移和旋转等因素时依然可以保证检索效率，也就是说采用本申请实施例所提供的指纹定长表征和基于指纹定长表征的检索方法可以有效提升在指纹发生平移或旋转等情况时的检索性能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种计算机终端(移动终端)的结构示意图；

图2是根据本申请实施例提供的一种基于指纹定长表征的指纹检索方法的流程示意图；

图3是根据本申请实施例提供的指纹图像以及指纹图像中的细节点的示意图；

图4是根据本申请实施例提供的一种指纹检索模型的整体框架示意图；

图5是根据本申请实施例提供的一种细节点感知指纹定长表征和细节点纹理特征信息的提取流程示意图；

图6是根据本申请实施例提供的一种指纹细节点的拓扑结构的示意图；

图7是根据本申请实施例提供的一种细节拓扑感知聚合模型的结构示意图；

图8是根据本申请实施例提供的一种指纹检索模型训练方法的流程示意图；

图9是根据本申请实施例提供的一种指纹检索模型训练方法的训练方式示意图；

图10是根据本申请实施例提供的多种指纹检索方式的检索性能指标的对比示意图；

图11是根据本申请实施例提供的不同指纹细节点图像区域的大小的检索性能指标的对比示意图；

图12是根据本申请实施例提供的是否采用细节点感知约束的检索性能指标的对比示意图；

图13是根据本申请实施例提供的目标指纹检索在相似指纹对和不相似指纹对中的相似度分布情况的示意图；

图14是根据本申请实施例提供的一种细节点感知指纹定长表征对应的指纹图像中的区域的示意图；

图15是根据本申请实施例提供的单独考虑细节点感知指纹定长表征或单独考虑细节点拓扑感知指纹定长表征的检索结果示意图；

图16是根据本申请实施例提供的匹配指纹和不匹配指纹的目标指纹定长表征的相似度分布示意图；

图17是根据本申请实施例提供的旋转场景下的检索性能指标示意图；

图18是根据本申请实施例提供的对查询指纹进行旋转的过程中得到的多个目标指纹定长表征的相似度分布示意图；

图19是根据本申请实施例提供的平移场景下的目标指纹定长表征的相似度分布示意图；

图20是根据本申请实施例提供的对查询指纹进行平移后的检索性能指标示意图；

图21是根据本申请实施例提供的基于指纹定长表征的指纹检索装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

指纹作为一种重要的生物特征信息，因其稳定性和唯一性被广泛应用于身份识别中。自动指纹识别***(AFIS)一般包括四个步骤:指纹采集与预处理、指纹特征提取、指纹检索和指纹匹配。在这些步骤中，指纹检索关系到整个***的效率和准确性。指纹检索的目标是从庞大的数据库中快速过滤不匹配的指纹，并保留几个候选指纹供后续匹配算法使用。指纹检索是一项具有挑战性的工作，其难点在于:(1)指纹分类数量多，相似不匹配指纹之间的差异很小，因此要求检索算法能够有效地捕获大规模数据库中的微小差异。(2)指纹采集通常涉及平移和旋转的变化，因此检索算法应对这些变化具有鲁棒性。(3)在保证准确性的同时，必须保证检索的效率。

另外，在指纹检索工作中通过确定指纹的指纹表示可以有效提高检索效率。并且采用一种紧凑的、可判别的指纹表示方法可以减少对复杂检索算法的依赖。

相关技术中通常是采用手工设计确定指纹中的特征来确定指纹的定长表示，这种方式的问题在于确定的指纹的定长表示通常表达能力有限，泛化能力差，设计过程繁琐，在大规模指纹识别中表现不佳。

另外相关技术中还提供了一种采用神经网络模型来确定指纹的变长特征的方法，但是确定指纹变长特征以及根据变长特征进行检索时的计算成本较高，虽然可以保证更高的精度但是无法满足大规模指纹检索场景中对检索速率的需求。

为了解决上述问题，本申请实施例中提供了相关的解决方案，以下详细说明。

根据本申请实施例，提供了一种指纹检索方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现指纹检索方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的(指纹检索方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的指纹检索方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

在上述运行环境下，本申请实施例提供了一种基于指纹定长表征的指纹检索方法，如图2所示，该方法包括如下步骤：

步骤S202，从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征，其中，细节点感知指纹定长表征中包括目标指纹的全局特征信息和目标指纹中的细节点纹理特征信息，细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；

图3是根据本申请实施例提供的一些指纹图像和指纹图像中的细节点的示意图。

其中图3上半部分的三幅图为未标注细节点的指纹图，下半部分的三幅图为标注了细节点的指纹图。从图3中可以看出，指纹图像中包含有丰富的细节点信息，包括细节点的分布信息和纹理信息。并且不同的指纹图像中细节点的分布情况和纹理信息均有一定差异，因此可以通过根据指纹图像中的细节点的分布特征和纹理特征确定指纹的定长表示来实现高效准确的指纹检索。

需要说明的是，由于原始指纹图像可能存在复杂的背景噪声和断裂的脊纹等低质量区域，这些低质量区域会严重影响检索性能。另外手工标注原始指纹图像中的细节点和对应的匹配细节点对工作量过大，且无法保证正确率。因此如图4所示，为了提高检索效率，可以将基于卷积网络的FingerNet模型引入到本申请的指纹检索模型中，通过FingerNet模型处理原始指纹图像来获得指纹的增强、细节和分割，并且可以通过FingerNet模型来确定各个指纹细节点的位置信息和方向信息，其中位置信息为指纹细节点在预设的平面直角坐标系中的坐标，方向信息为指纹细节点的方向与平面直角坐标系的横坐标轴价夹角。为了便于叙述，上述平面直角坐标系可以是以图像的左顶点为原点，水平向右的方向为横坐标轴的正方向，竖直向下的方向为纵坐标轴的正方向。

另外还可以使用扩展团方法来获得细节的匹配对，并在获取匹配对的过程中确定训练阶段的标签，其中标签用于在训练阶段确定正负样本从而得到训练数据。

在步骤S202所提供的技术方案中，如图5所示，从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征包括：通过骨干神经网络的特征提取模块从图像中提取多幅特征图，其中，特征提取模块中包括依次连接的多个特征提取层，特征提取层用于提取特征图，多幅特征图中包括按照特征深度由浅到深排序的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；融合第三特征图，第四特征图和第五特征图，得到融合特征图；从融合特征图中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征。

具体地，本申请实施例中所提供的细节点感知指纹定长表征(Minutiae-awareRepresentations，简称为MaRs)不仅可以描述不同指纹的全局模式的相似性，还可以描述细节相邻区域的相似性。这意味着具有相同全局模式和细节点分布的匹配指纹的MaRs的相似性将显著大于未匹配指纹。而不匹配的指纹可能有相似的全局模式，但在细节点分布上有所不同，因此不匹配的指纹之间的MaRs的相似性会较低。

在本申请的一些实施例中，在从经过FingerNet处理修复后的目标指纹图像中提取MaRs和细节点中心纹理特征(Minutiae-centered Texture Embedding，简称为McTE)时，如图3所示，可以先采用骨干神经网络中的特征提取模块来提取不同特征深度的特征图，其中，浅层的特征图会包含更多的纹理空间特征信息，而深层的特征图会包含更多的语义信息。

为了能够更好地利用特征图中的语义信息，如图3所示，骨干神经网络中多个依次串联的特征提取层，每个特征提取层包含一个1×1的卷积层、一个批归一化层和一个ReLU激活层。还包括多尺度特征融合(Multi-Scale Feature Fusion，简称为MSFF)模块，以融合来自conv3_x,conv4_x和conv5_x的特征图。利用三个非共享参数的卷积块和上采样层分别处理每个特征图，从而统一特征图的通道数和空间大小，进而可以实现特征图的融合。

这样将三个上采样后的特征连图接起来，然后输入到1×1的卷积层中，得到最终的融合特征图。

通过这种方法，可以有效地融合了神经网络各层的纹理和语义信息。另外需要说明的是，本申请实施例所提供的模型中没有使用空间金字塔结构，即在不同的空间尺度上的提取各自指纹定长表示，而是在特征空间中融合尺度特征获得更加强大的特征图。

作为一种可选的实施方式，从融合特征图中提取目标指纹的细节点感知指纹定长表征包括：确定融合特征图中的前景向量；通过加权平均池化模块对融合特征图中的前景向量进行加权聚合处理，从而得到细节点感知指纹定长表征。指纹图像前景为图像上指纹区域，不包含指纹区域以外的背景区域。

具体地，从图5中可以看出，为了得到MaRs，还需要利用一个加权平均池化(Weighted Global Average Pooling，简称为WGAP)模块来对融合特征图中的前景向量进行加权聚合处理，从而得到MaRs。WGAP模块对前景向量进行加权聚合处理来得到MaRs的具体公式如下：

在上述公式中，g表示MaRs，N_S表示细节点加权感知特征图S_A∈{0,1,α}^H×W中的非零元素s^ij的个数。其中，S_A中的非零元素s^ij表示融合特征图中坐标为(i,j)的像素在前景区域中。f^ij表示融合特征图中坐标为(i,j)的点的特征向量。超参数α则可以用来调整每个以细节点为中心的图像区域的权重，其中α值越大，在计算时就会越关细节点附近的区域，另外在本申请实施例中α的取值范围为大于1的任意数。细节点加权感知特征图为根据融合特征图确定的图，在该图中各个点的取值为零或一，并且为零时说明该点在融合特征图中对应的像素点不在前景区域中，为一则说明在融合特征图中对应的像素点在前景区域中。

可选地，从融合特征图中提取目标指纹的细节点中心纹理特征包括：确定融合特征图中的多个指纹细节点图像区域，其中，指纹细节点图像区域为包含了指纹细节点的图像区域；通过骨干神经网络中的加权平均池化模块对多个指纹细节点图像区域中的每个指纹细节点图像区域内的前景向量分别进行加权聚合处理，从而得到目标指纹的每个细节点的细节点中心纹理特征。

如图5所示，McTE和MaRs的提取使用相同的骨干网络。不同之处在于在提取McTE时，需要先对融合特征图进行按照细节点位置进行ROI-Align操作，从而在融合特征图中截取各个细节点对应的指纹细节点特征小块。之后再针对每个指纹细节点图像区域采用WGAP模块对该特征小块中的前景向量进行加权聚合处理，从而得到各个指纹细节点对应的McTE。可以用l表示McTE，并将上述对前景向量进行加权聚合的公式中的g替换为l。公式中的细节点加权感知特征图为与指纹中各个细节点图像区域对应的细节点加权感知特征图，用于确定指纹细节点图像区域中的像素点是否属于前景区域，且确定各个区域的特征向量在最终加权中的权重。

这样通过骨干神经网络来处理融合特征图，对于目标指纹x和目标指纹x的细节点集合可以通过相同的骨干神经网络来获取目标指纹x的MaRs，以及各个细节点对应的McTE：/>其中l_i表示第i个指纹细节点的McTE，N_m为指纹细节点的总数量，/>分别为第i个指纹细节点的横纵坐标和方向信息，其中方向信息为该细节特征点的方向与上文中的平面直角坐标系的横坐标轴正方向之间的夹角。

在本申请的一些实施例中，用于提取MaRs的模型会收到三元组损失函数约束。McTE可以在模型训练阶段作为细节点感知约束的监督对象，也可以在后续过程中用于确定细节点拓扑感知指纹定长表征(Minutiae Topology-aware Representations，简称为MTaRs)。

为了确保后续得到的指纹细节点拓扑感知指纹定长表征具有旋转和平移不变性，确定融合特征图中的每个细节点特征区域包括：在融合特征图中确定指纹细节点位置信息；对多个指纹细节点中的每个细节点，提取该细节点的特征区域时，依据该细节点的方向旋转指纹图像并送入骨干网络后，在产生的特征图上该细节点位置处截取细节点特征小块，旋转的标准是指纹细节点与预设基准线之间的夹角为零度。其中，特征块为每个指纹细节点对应的指纹细节点特征区域。

需要注意的是，在图像旋转的过程中平面直角坐标系始终保持不变。这样通过在提取指纹细节点的McTE时，提前让融合特征图像进行旋转，保证此时选中的指纹细节点与平面直角坐标系的横坐标轴之间的夹角为零度再提取指纹细节点的McTE，每张指纹上的细节点坐标可能会因为旋转和平移发生改变，但是当利用细节点方向进行对齐和旋转，则规避指纹的平移和旋转带来的不利影响，因而可以让McTE具有旋转和平移不变性。

另外为了便于描述，本申请中不再命名不同的参数来表示旋转后的指纹细节点的位置信息和角度信息，并且在计算过程中默认旋转后的各个指纹细节点的坐标均对齐。

步骤S204，依据细节点中心纹理特征和目标指纹中的指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，其中，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息，细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；

在步骤S204所提供的技术方案中，依据细节点纹理特征信息和目标指纹图像确定目标指纹的细节点拓扑感知指纹定长表征包括：在目标指纹的图像中确定全部细节点集合，以及全部细节点集合中的每个指纹细节点的位置信息和方向信息；在全部细节点集合中确定中心细节点，以及中心细节点的相邻细节点，其中，中心细节点为全部细节点集合中的任意一个细节点，相邻细节点为全部细节点集合中与中心细节点之间的距离小于预设长度的细节点；分别将每个指纹细节点作为中心细节点，并确定中心细节点对应的相邻细节点，其中，相邻细节点为全部细节点集合中与中心细节点之间的距离小于预设距离的细节点；依据每个指纹细节点和对应的相邻细节点的位置信息和方向信息确定每个指纹细节点的拓扑特征，其中，拓扑特征包括每个指纹细节点与相邻细节点的相对位置和角度关系；依据每个指纹细节点的拓扑特征和细节点中心纹理特征确定目标指纹的细节点拓扑感知指纹定长表征。

如图6所示，对任意选中的作为中心细节点的指纹细节点而言，该指纹细节点与相邻的指纹细节点之间的连线可以体现该指纹细节点的拓扑结构信息。其中，图6中的圆表示圆心处的中心细节点的相邻细节点的选取范围，在圆内且不在圆心处的指纹细节点则为圆心处的中心细节点的相邻细节点。从图6中可以看出，不同的细节点作为中心细节点时对应的相邻细节点不同，并且不同的细节点作为中心细节点时对应的中心细节点与相邻细节点之间的边的集合也不相同，也就是说不同细节点会具有不同的拓扑结构特征。并且匹配的细节点对中相似的相邻细节点数量会更多。因此可以利用细节点的拓扑结构特征来提高指纹检索效率。

作为一种可选的实施方式，为了让获取的指纹细节点的拓扑特征具有旋转和平移不变性，依据每个指纹细节点和相邻细节点的位置信息和方向信息确定每个指纹细节点的拓扑特征包括如下步骤：依据每个指纹细节点的方向信息旋转目标指纹图像，直到目标指纹细节点的方向与预设基准线之间的夹角为零度；在旋转目标指纹图像后，确定每个指纹细节点和对应的相邻细节点在旋转后的位置信息和方向信息，并依据旋转后的位置信息和方向信息确定每个指纹细节点与各个相邻细节点之间的边的边表征；采用细节点拓扑编码器(Minutiae Topology Encoder，简称为MTE)聚合每个指纹细节点对应的边表征和相邻细节点信息，得到每个指纹细节点的拓扑特征。

具体地，给定一个中心细节点(也就是图6中圆心处的细节点，中心细节点可以是指纹图像中的任意细节点)并设定指纹图像中的全部细节点的集合为M，则该中心细节点的相邻细节点的集合/> 其中，该公式中m^j表示相邻细节点，D(.,.)为中心细节点和相邻细节点之间的l₂距离。R为用于控制相邻细节点选取范围的超参数，也就是预设距离。R的取值过大会导致非线性变形对边缘特征的影响过大，而R的取值过小则会导致相邻节点数量过少，导致细节点的拓扑结构信息不完整。

任意一个指纹细节点mⁱ和该细节点的相邻细节点m^j之间的边表征向量e_ij可以用如下计算公式来确定：

在上述计算公式中，Δm_x和Δm_y的取值范围是-R到R，Δm_θ的取值范围是-359-359。由于Δm_θ不是线性变化的，也就是说Δm_θ在0°和359°之间的差异不如0°和10°之间的差异显著。为了规范e_ij中各个元素的取值范围，更好的反映角度的差异，可以对上述边表征e_ij的计算公式进行细化从而得到如下边表征e_ij的计算公式：

上述公式中的这样确定的e_ij，由于在通过MTE处理指纹细节点之前已经提前对图像进行了旋转，具有旋转和平移不变性。

从图6中可以看出，不同的细节点的相邻细节点的数量和排列顺序并不相同。而且利用细节点提取算法还可能额外识别一些假细节点或者遗漏部分存在细节点，这些也会影响相邻细节点的数量和排列顺序。为了消除相邻细节点数量和排列顺序带来的影响，可以采用MTE来聚合各个细节点的相邻细节点信息。其中MTE是一种基于图神经网络的模块。这样通过MTE对各个细节点的相邻细节点信息进行聚合，可以将如图6中所示的各个指纹细节点的星形拓扑结构表示为定长向量，便于后续继续处理。MTE模块的聚合过程的表达式如下：

上述表达式中，函数表示汇总e_ij所有特征的聚合算子，函数h(.)表示将边表征e_ij中得到的原始边缘表征e_ij映射到表征空间的更新函数，t(mⁱ)表示各个细节点的细节点拓扑表示(Minutiae-aware Topology Embedding，简称为MATE)。对于同一条边，其边缘表征是相同的。在上述表达式中，由于使用平均池化层作为聚合算子，因此两个细节点的拓扑结构中相似的边越多，就可以认为两个结构就越相似，也就是两个细节点的MATE更相似。并且在确定的大多数细节点准确的情况下，有部分虚假细节点和遗漏细节点也可以保证足够的检索准确率。因此通过本申请实施例得到的MATE具有旋转和平移不变性，并且可以在一定程度上容忍相邻细节点的数量或者排序带来的影响。

在本申请的一些实施例中，依据每个指纹细节点的拓扑特征和细节点纹理特征信息确定目标指纹的细节点拓扑感知指纹定长表征包括：依据每个指纹细节点的拓扑特征和细节点中心纹理特征建立细节点图，其中，细节点图中包括节点和节点与节点之间连接得到的边，并且节点与指纹细节点之间一一对应，节点用于体现对应的指纹细节点的拓扑特征的信息和细节点中心纹理特征的信息；通过细节拓扑感知聚合模型处理细节点图，得到细节点拓扑感知指纹定长表征，其中，细节拓扑感知聚合模型中包括依次连接的多个自定义层，多层感知器和池化层，多个自定义层中的每个自定义层中包括卷积层、带有激活层的线性层和批归一化层。

具体地，可用于判断指纹之间的相似度的判别特征信息不仅存在于每个细节点的星型拓扑结构中，也存在于整个细节集合中。为了利用这些特征信息，本申请实施例中提供了一个定制的图神经网络来更新每个细节点的表示，并将它们聚合成一个固定长度的表示。本申请实施例中定制的图神经网络被命名为细节拓扑感知聚合(Architecture of theMinutiae Topology-aware Aggregation，简称为MTaA)模块，并且MTaA具有旋转不变性。此外，本申请实施例中还提供了一种结合细节点的纹理信息来获得更好的检索性能的方法。

需要说明的是，由于在获取每个指纹细节点的McTE时已经根据细节点的方向对图像进行了旋转，因此McTE具有旋转不变性。

作为一种可选的实施方式，为了充分利用McTE和MATE，可以根据McTE和MATE构建如图7中左侧所示的细节点图G＝(V,E)，其中V表示图中的全部节点的集合，E表示图中的全部边的集合。目标指纹图像中的每个细节点均在细节点图中有一个对应的节点。细节点图中的边的确定公式如下：

上述公式的含义为，在节点v_i和v_j各自对应的细节点之间的距离不大于R的情况下，确定这两个节点之间存在边，表现在细节点图中就是会将这两个节点连接。反之则说明这两个节点之间不存在边，表现在细节点图中就是这两个节点之间不会连接。之所以不在细节点图中将任意两个节点均连接起来是因为这样会导致拓扑特征的丢失。

细节点图中的各个节点的初始表征的计算公式如下：

d_i＝l_i+t_i

上述公式中的l_i表示McTE，t_i表示MATE。也就是说各个节点的初始表征会同时体现细节点的纹理信息和拓扑结构信息。

在得到了细节点图后，如图7所示，可以采用MTaA来处理该细节点图来得到MTaRs。从图7中可以看出，MTaA是一种基于图神经网络的模型，包括多个自定义层。每个自定义层由一个EdgeConv卷积层、一个带GeLU激活层的线性层一个批归一化层组成。自定义层可以实现三个关键功能，包括消息传递、消息聚合和节点更新。

其中，消息传递函数定义如下：

上述公式中的上标表示层数，其中k等于零时表示初始输入的细节点图中的初始表征，φ₁和φ₂都是通过反向传播更新的参数。

对于节点v_i的消息聚合函数的表达式如下：

上述公式表示在相邻细节点集合中，在每个维度上的最大值，E表示细节点图中的各条连边。

MTaA中对各个指纹细节点而言，其相邻细节点的信息通过消息传递函数来传递，并通过消息聚合函数进行聚合。在聚合后可以将聚合结果与该细节点对应的节点中原有的表示合并从而完成对节点的更新。具体地，可以通过一个MLP层将邻节点信息和原有节点中原始表示更新，公式如下：

在经过多个自定义层的处理后，可以使用平均池来聚合最后一个自定义层的输出结果中的各个节点的表征，从而得到MTaRs。

步骤S206，拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；

在步骤S206所提供的技术方案中，可以拼接根据目标指纹图像得到的MaRs和MTaRs，从而得到具有平移和旋转不变性的目标指纹定长表征(Translation and rotationinvariance Minutiae-aware Representations，简称为Tri-MaRs)。

步骤S208，检索与目标指纹定长表征对应的指纹集合，其中，指纹集合中包括预设数量的待匹配指纹，待匹配指纹的指纹定长表征和目标指纹定长表征之间的相似度满足预设要求。

在步骤S208所提供的技术方案中，可以通过目标指纹定长表征来检索与该目标指纹定长表征的相似度大于设相似度的预设数量个待匹配指纹，并进一步在检索到的多个待匹配指纹中确定目标指纹或者与目标指纹相似度最大的指纹。另外也可以通过目标指纹定长表征在指纹库中确定对应的Tri-MaRs与目标指纹定长表征的相似度最大的预设数量个待匹配指纹组成指纹集合，并去除其余指纹。之后对指纹集合中的各个指纹进行精细化匹配，从而在指纹集合中确定目标指纹或者与目标指纹之间的相似度最大的待匹配指纹。

作为一种可选的实施方式，在在线检索阶段，每个指纹均有一个对应的Tri-MaRs。为了规范两个Tri-MaRs之间相似度的取值范围，可以提前对每个Tri-MaRs进行归一化。例如，x₁和x₂两个指纹的相似性可以通过它们的Tri-MaRs的内积g₁和g₂来有效地测量。并且由于进行了归一化，因此内积等于余弦相似度，定义为:

sim(x₁,x₂)＝<g₁,g₂>

通过采用从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征，其中，细节点感知指纹定长表征中包括目标指纹的全局特征信息和细节点纹理特征信息，细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；依据细节点中心纹理特征和指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，其中，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息，细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；检索与目标指纹定长表征对应的目标指纹的方式，通过提取指纹中的细节点的纹理特征和拓扑特征来构建具有平移和旋转不变性的目标指纹定长表征，达到了充分利用指纹中的细节点的特征信息的目的，从而实现了提高指纹检索准确率的技术效果，进而解决了相关技术中在构建指纹的定长特征表示来进行指纹检索时由于未能充分利用指纹中的细节点信息导致检索准确率低的技术问题。并且本申请实施例所提供的指纹定长表征在面对指纹平移和旋转等因素时依然可以保证检索性能，也就是说采用本申请实施例所提供的指纹定长表征和基于指纹定长表征的检索方法可以有效提升在指纹发生平移或旋转等情况时的检索性能。

本申请实施例提供了一种如图8所示的指纹检索模型训练方法的流程示意图，训练完成后的指纹检索模型用于执行图2-图7中任意一项所述的基于指纹定长表征的指纹检索方法。从图8中可以看出，该方法包括如下步骤：

步骤S802，对指纹检索模型进行第一阶段训练，其中，在第一阶段训练的训练过程中，只对指纹检索模型中的骨干神经网络进行训练，骨干神经网络和指纹检索模型中的加权平均池化模块用于从包含有目标指纹的目标指纹图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点纹理特征；

步骤S804，在完成第一阶段训练后，对指纹检索模型进行第二阶段训练，其中，在第二阶段训练的训练过程中，只对指纹检索模型中的细节点拓扑编码器和细节拓扑感知聚合模型进行训练，细节点拓扑编码器和细节拓扑感知聚合模型用于依据细节点纹理特征信息和目标指纹图像确定目标指纹的细节点拓扑感知指纹定长表征。

在本申请的一些实施例中，如图4所示，本申请所提供的指纹检索模型在生成目标指纹图像的Tri-MaRs时可以分为两个阶段，其中第一个阶段用于获取MaRs和McTE，第二个阶段用于获取MTaRs和最终的Tri-MaRs。因此在对指纹检索模型进行训练时，整个训练过程也分为两个阶段。

在第一训练阶段中，可以使用三元组损失分别约束MaRs和McTE。在此步骤中，McTE仅用作正则化项，以合并MaRs中的细节判别信息。这样在MaRs约束的单一指导下，MaRs可能会专注于有限的区域，即全局模式，而不能很好地应对指纹中细节点的模式的情况。为了解决这个问题，可以在骨干网络中引入WGAP模块，以增加细节相邻区域的权重。此外，在进行第一阶段的训练时，本申请实施例还提出了一个细节感知约束(Minutiae-awareConstraint，简称为MaC)来约束匹配细节点的邻近区域表示比不匹配细节点间更相似。这样可以在MaRs中引入更多具有细节点相关信息。

在第一阶段的训练过程中，可以使用ROI-Align操作快速准确地提取McTE。需要说明的是，在第一阶段的训练过程中提取McTE时可以不对图像进行旋转。具体地，给定一个细节点的坐标(m_x,m_y)，可以根据输入图像与输出特征映射的对应关系找到细节点在融合特征图上的近似位置。并通过ROI-Align操作，在融合特征图中确定各个细节点对应的最小的指纹细节点图像区域。

之后可以聚合每个以细节点为中心的指纹细节点图像区域并得到McTE。在训练过程中可以使用三重态损失来约束匹配的小细节相邻区域的表示比不匹配的小细节更相似。在这种细节感知约束下，可以将细节匹配关系引入到输出特征映射中。输出特征图中的细节点的相邻区域可以用来区分不同的细节点。因此，输出的特征映射包含更多的细微信息。之后可以采用WGAP对该特征映射进行聚合得到MaRs。

在本申请的一些实施例中，在对指纹检索模型进行训练的两个训练阶段均可采用如图9所示的训练方式对模型进行训练。从图9中可以看出，在训练时会设置两个编码器，分别为在线编码器和动量编码器/>并且这两个编码器的结构相同。对于每个表示，可以在训练过程中维护一个历史特征队列，例如MaRs对应的历史特征队列/>另外在三重组损失L_g的在线难例挖掘(Online Hard Example Mining，简称为OHEM)策略下选择了更多信息的三重组。在训练完成后则只会保留在线编码器来执行指纹检索的工作。可以理解的，在第一训练阶段在线编码器和动量编码器的结构为指纹检索模型中的骨干神经网络，包括WGAP模块。在第二训练阶段在线编码器和动量编码器的结构则为指纹检索模型中的MTE和MTaA。

具体地，在选择三元组时，可以使用带有历史特征队列的在线难例挖掘策略对三元组损失的信息三元组进行采样。批处理大小和三元组选择策略对网络的收敛和表示性能至关重要。由于GPU显存有限，不可能在单个训练迭代中保持大的批处理大小。对此本申请实施例中使用动量网络和特征队列，以更小的GPU显存成本扩大每批的类间样本数量。

另外需要说明的是，参数θ_q和θ_k的更新策略不同。在线网络的参数θ_q与普通神经网络一样采用梯度反向传播进行更新，动量网络的参数θ_k采用指数移动平均线(EMA)进行更新。在训练过程中可以维护和/>两个特征队列，分别保存动量网络生成的历史MaRs和McTE。

在训练过程中，当存储在队列中的历史特征的数量超过队列容量时，将***地用最近的特征替换队列中存在的最早的特征。另外需要注意的是，与整个数据库或现实世界中的类别数量相比，批处理的数据量大小很小。原始的OHEM涉及从有限的一批中选择最难的例子，这可以显著影响最终表示的质量和有效性。在本申请的一些实施例中，给定一批指纹，可以从在线编码器中得到MaRs对应的数据集G_q和G_k，从动量编码器中得到McTE对应的数据集L_q和L_k。如图9所示，来自在线编码器的表示为三元组中的锚点。对于每个锚样本，可以从动量编码器的批次中选择一个正样本。给定一个锚定-正对可以选择特征队列中最难的负样本/>来生成三元组

/>

作为一种可选的实施方式，在开始第一阶段的训练前，还可以采用如下方式来确定标签：获取原始训练数据，其中，原始训练数据中包括成对指纹数据集；采用扩展团训练法在成对指纹中确定细节点匹配关系，并依据细节点匹配关系确定标签，标签用于在第一阶段训练中确定正样本和负样本。

在本申请的一些实施例中，在选择训练样本数据时，对于MaRs，正样本为与锚点指纹具有相同标签的指纹的MaRs，负样本为具有不同标签的指纹的MaRs。然而，对于McTE，在选择负样本时不应当仅考虑细节点是否相似，因为这样有可能导致负样本包含从匹配指纹的不同细节点中得到的McTE。并且由于在卷积网络的接受域内，匹配指纹对的不同细节点之间的McTE会有一定的相似性。如果把这些相似的细节点的McTE当作负样本不利于MaRs等表示的确定。

作为一种可选的实施方式，上述MaC约束的具体公式如下：

式中[·]₊表示max(·，0)的运算，<·，·>表示两个表示的余弦相似度。上标j表示该检索是历史特征队列中最难负样本的检索。

MaRs的三元组损失约束的具体公式如下：

为了充分利用训练空间，在训练过程中还可以使用全局正交正则化损失，具体公式如下：

上述公式中的d为本申请中所涉及的表示的维度数量。内积的第一阶矩和第二阶矩分别向0和1阶矩收敛，意味着这些点在单位球面上是独立且均匀分布的。

在第一训练阶段的总损失函数的表达式如下：

loss＝λ_g·L_g+λ_m·L_m+λ_gor·L_gor

λ为可由工作人员自定义的损失权重。例如，可以设置λ_g、λ_m和λ_gor分别为10、1和1。

为了让第一阶段训练的模型输出的MaRs具有旋转和平移不变性，可以先对训练数据进行数据预处理，其中数据预处理包括旋转和平移，如让训练数据中的图片进行旋转。需要注意的是，输入到模型中的尺寸在旋转前后不变，因此旋转后图像中部分边缘的区域可能会丢失。考虑到指纹图像中指纹通常位于图像中间区域，并且可以通过让图像以不同的角度旋转多次来抵消边缘区域丢失的影响，因此旋转带来的部分区域丢失不会显著影响最终的检索性能。

在第二阶段的训练过程中，需要注意的是为了保证MTaRs的旋转平移不变性，在提取McTE时需要先根据指纹细节点的方向来旋转融合特征图，并在旋转到细节点与上文中的平面直角坐标系的夹角为零度时开始采集该细节点在融合特征图中对应的指纹细节点图像区域，进而确定对应的McTE。

由于基于细节方向的对齐，这种方法确保了McTE对指纹的旋转和平移是不变性的。之后可以对McTE和细节相邻拓扑表征(MATE)进行元素求和，并将其输入到细节拓扑感知聚合(MTaA)模块中。训练MTaRs的最终损失的表达式与第一阶段中的类似。与第一阶段的训练过程相比，第二训练阶段的不同之处在于使用MTaRs(三元组对的选择)替换MaRs，并使用MTaA增强节点表征来替换McTE。三元组对的选择原则和标记则与第一阶段相同。超参数λ_g、λ_m和λ_gor可设为1,1,1。在这一阶段，还可使用细节点感知约束来缓解GNN中的过度平滑。这样可以在网络的最深层中保持中心节点的判别信息，即使相邻细节点的邻居信息被传播。

本申请实施例提供了对比实验来体现本申请实施例所提供的指纹检索方法相比于相关技术中的其他方法在大规模指纹检索领域的优越性。

具体地，在对比实验中所使用到的指纹数据集包括但不限于滚动指纹数据集(Rolled Fingerprint Dataset，简称为RFD)、NIST SD4、NIST SD14和扩展滚动指纹数据集(Extended Rolled Fingerprint Dataset，简称为ERFD)。RFD和ERFD中的指纹没有交集。RFD中每个指纹的空间大小为640×640像素,dpi为500。

NIST SD4和NIST SD14是用于检索的两个指纹基准数据集。在NIST SD4中有2000个滚动指纹对，空间大小为512×512像素。在NIST SD14中有27,000个滚动指纹对，空间大小为832×768像素。在本申请实施例中可以只使用最后的2,700对，按照常规设置进行测试。ERFD有99,704个640×640像素的滚动指纹，以扩大检索数据库。

为了准确体现本申请所提供的指纹检索方法在小规模指纹检索场景和大规模指纹检索场景中的技术效果，在本申请实施例中采用top-k准确率来评估指纹识别的性能，在给定的穿透率下，这种指标比错误率更精确。此外，由于在大规模指纹检索场景中对检索时长有较高的要求，在本申请实施例中还展示了本申请所提供的检索方法的计算时长。

作为一种可选的实施方式，为了评估本申请所提供的Tri-MaRs的在不同规模指纹检索场景中的检索性能，将本申请实施例所提供的检索方法与之前在NIST SD4和NISTSD14上没有ERFD的方法进行了比较。这些相关技术包括多种固定长度表示和一种商业的基于细节的匹配算法，其中相关技术在这些数据集中的检索性能可以通过公开文献确定。最终在不同方法的top-k指标如图10所示。另外在图10中将相关技术中的1％的穿透率转换为NIST SD4的前20名准确率和NIST SD14的前27名准确率。

从图10中可以看出，本申请实施例所提供的指纹检索方法和Tri-MaRs在小规模指纹检索应用场景中显著优于相关技术。特别是在top-1的准确率指标上，在NIST SD4和NISTSD14上分别达到99.70％和99.93％。并且在NIST SD14，每个查询指纹对应的匹配指纹在小数据库应用场景中可以排在前5位。

为了进一步确认本申请所提供的指纹检索方法在大规模应用场景中的性能，可以将ERFD中的1,000到100,000个指纹合并到检索数据库中。需要说明的是，ERFD中的指纹与NIST SD4和NIST SD14两个基准测试集中的指纹具有相同的特性。

最终测试结果显示，在大规模的指纹检索场景中，NIST SD14测试数据集的top-1准确率降至99.81％。99.96％以上的目标指纹对应的匹配指纹排名前100。可以看出本申请所提供的Tri-MaRs在大规模的指纹检索场景中依然显著优于其他检索方式。

在检索效率和检索准确性这两个关键指标方面，本申请中的指纹检索方法依然有优于相关技术中的其他检索方法的表现。具体地，在硬件设备为Intel(R)Xeon(R)CPU E5-2620 [email protected]和GeForce GTX 1080Ti的情况下，本申请中所提供的方法从处理原始图像开始到生成最终的Tri-MaRs结束，处理单张图像的时间为51.8毫秒。在GPU上，对包含有110万个指纹图像的图库进行查询的平均搜索时间约为3.2毫秒。

为了更清楚地描述本申请所提供的指纹检索方法的实施细节，在本申请的一些实施例中还提供了消融实验来体现不同参数对最终的检索效果的影响。其中影响检索效果的参数包括但不限于在提取McTE时各个细节点对应的指纹细节点图像区域的大小，训练过程中使用的MaC等。另外在消融实验部分还进一步研究了组成Tri-MaRs的MaRs和MTaRs各自对检索性能的影响。

具体地，在提取McTE时各个细节点对应的指纹细节点图像区域的大小会在多个方面对检索结果产生影响。一方面，融合特征图上以细节点为中心的指纹细节点图像区域的大小决定了以McTE中包含多少局部信息。另一方面，该区域的大小也会影响在MaC和加权全局平均池化(WGAP)的表示中考虑的最小中心区域的程度。不同区域大小对最终检索性能的影响如图11所示。

需要注意的是，本申请中在MaRs的第一阶段训练和MTaRs的第二阶段训练中使用了相同的区域大小设置。这种设置保证了从同一主干中提取不同的McTE，这对后续阶段生成MTaRs和Tri-MaRs至关重要。

从图11中可以看出，2×2的区域大小设置可以取得较优的检索性能。具体地，区域大小减小会导致MaRs中包含的指纹细节点图像区域的特征减少，并且使得细节感知约束只关注与细节相邻的有限区域。而区域大小增加则会导致每个指纹细节点周围的非线性形变被放大，从而影响对细节点周边的纹理特征的约束。

对于MaC，在训练MaRs阶段，可以通过定制的MaC将细节点相关信息整合到MaRs中，也就是说通过MaC进行第一阶段的训练，让指纹检索模型在实际应用过程中生成MaRs时可以融入细节点的相关信息。

在对MaC的研究中，通过MaC还可以得到更具有判别性的McTE。其中，每个细节点对应的McTE为依据每个细节点的特征信息得到的表示向量，并参可以与后续对MTaRs的训练。

本申请实施例中还进一步探讨了MaC对MaRs和MTaRs性能的影响。具体地，可以通过比较那些保留了MaC约束的模型和那些删除了MaC的模型来评估模型的性能从而确定MaC的影响。在实验过程中，除了MaC之外模型的其他设置保持不变。最终测试结果如图12所示。从图12中可以看出，MaC可以进一步提高本申请提供的Tri-MaRs的检索性能。

如图13所示，本申请实施例还提供了NIST SD4上绘制的每个Tri-MaRs在匹配指纹对和不匹配指纹对之间的相似度分布情况。图13中上半部分的分布与没有MaC的模型对应，下半部分与有MaC的模型对应。另外图13中被虚线框框柱的波峰与不匹配的指纹对对应，未被框柱的波峰与匹配的指纹对对应。从图13中可以看出，添加MaC后可以使用McTE来更好地区分匹配和不匹配的细节点对，具体在图中表示为非匹配部分和匹配部分的重叠区域更少。另外MaC还可以让MaRs和MTaRs在指纹层面的相似性更加紧密。对于MaRs来说，MaC的引入有助于在关注全局模式的同时关注细节。与细节相关的信息可以提高MaRs的性能。而对于MTaRs来说，一个更好的、更具判别性的McTE更有利于利用节点的表征来聚合更具判别性的MTaRs。因此，在模型中添加了MaC后，由MaRs和MTaRs融合生成的Tri-MaRs具有更好的检索性能。

本申请实施例中提供的Tri-MaRs由MaRs和MTaRs组成。其中MTaRs包含了指纹细节点的纹理特征信息和拓扑结构特征信息。而对于MaRs，从图14中可以看出，MaRs可以关注指纹图像中的奇异点的区域。

具体地，从图14(a)和(b)中可以看出，当指纹中的奇异点相同且特征的感兴趣区域相同时，两个指纹各自对应的MaRs之间的相似性较大；相反，当指纹中的奇异点不同且感兴趣的区域不同时，如图14(a)和(c)所示，MaRs之间的相似度较低。MaRs和MTaRs是互补的，都侧重于1级和2级信息。

本申请实施例中还在一些测试场景中测试了单独使用MaRs或者单独使用Tri-MaRs的检索性能，最终测试结果如图15所示，单独考虑MaRs或MTaRs时检索性能均较差。如图15所示，尽管MaRs在一定程度上考虑了细节信息，但MaRs无法很好地处理具有类似全局模式的指纹。另一方面，MTaRs虽然包含了更多的判别性细节信息，但对指纹的全局特征建模的能力较差。因此在本申请提供的指纹检索方法中，将MaRs和Tri-MTaRs作为互补特征来进一步提高检索性能。使用Tri-MaRs时的测试结果如图16所示，匹配指纹和未匹配指纹的相似度分布更加紧凑，两者之间的差距也更大。图16中被虚线框框柱的波峰与不匹配的指纹对对应，未被框柱的与匹配指纹对对应。

另外在本申请的一些实施例中，还对Tri-MaRs的旋转和平移不变性进行了进一步的验证。具体地，为了验证Tri-MaRs对旋转问题的鲁棒性，本申请实施例中提供了两个测试实验。在第一个测试实验中，将NIST SD4和NIST SD14中的原始数据库内的每个查询指纹分别旋转0°、90°和180°进行指纹检索，最终的检索性能如图17所示。可以看出，与未旋转时的情况相比，本申请所提供的Tri-MaRs在面对旋转后的指纹时检索性能并未显著下降，依然有较高的检索精度。

在第二个实验中，将查询指纹从0°旋转到359°，并在旋转过程中多次生成查询指纹的Tri-MaRs,并计算不同角度对应的Tri-MaRs与角度为0°时的Tri-MaRs之间的相似度，得到如图18所示的相似度分布结果。从图18中可以看出，在180°时生成的Tri-MaRs相似度最低，但是相似度依然接近1。可以看出，由于MTA中的输入数据均是提前根据细节点的方向进行了旋转处理，保证了MTaRs的旋转不变性。并且在第一阶段的训练过程中对训练图像进行大规模的旋转处理来保证了MaRs具有旋转不变性，确保了最终得到的Tri-MaRs也具有旋转和平移不变性。并且Tri-MaRs无论是在查询指纹旋转的场景中还是指纹库中的指纹旋转的场景中均可以保证足够的查询性能。

为了验证Tri-MaRs对平移因素的鲁棒性，本申请实施例中同样提供了两个测试实验。在第一个测试实验中，可以对同一指纹分别进行多次水平方向和垂直方向的平移，并在平移过程中多次生成对应的Tri-MaRs，并计算了这些Tri-MaRs之间的相似度，得到了如图19所示的相似度分布示意图。从图19中可以看出，本申请实施例所提供的Tri-MaRs具有平移不变性，在大尺度平移的情况下依然可以保证相似度，也就是说平移对Tri-MaRs的影响较小。

在第二个实验中，对查询指纹进行了水平方向和垂直方向的平移处理，并保持NIST SD4和NIST SD14中的对应匹配指纹不变，然后生成查询指纹在平移处理后对应的Tri-MaRs，并进行检索。最终检索结果如图20所示。从图20中可以看出，由于在第一训练阶段对训练数据进行了大规模的旋转和平移处理，确保了MaRs的平移不变性。并且由于MTA的输入也是平移不变性的，而且还采用了MTE和MTaA，因此MTaRs也具有平移不变性。本申请实施例所提供的Tri-MaRs也具有足够的平移不变性，足够应对指纹平移带来的影响。

本申请实施例提供了一种基于指纹定长表征的指纹检索装置，图21是该指纹检索装置的结构示意图，从图21中可以看出，该装置包括：第一处理模块210，用于从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征，其中，细节点感知指纹定长表征中包括目标指纹的全局特征信息和目标指纹中的细节点纹理特征信息，细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；第二处理模块212，用于依据细节点中心纹理特征和目标指纹中的指纹细节点的位置信息确定目标指纹的细节点拓扑感知指纹定长表征，其中，细节点拓扑感知指纹定长表征中包括细节点纹理特征信息和目标指纹的细节点拓扑特征信息，细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；第三处理模块214，用于拼接细节点感知指纹定长表征和细节点拓扑感知指纹定长表征，得到目标指纹定长表征；第四处理模块216，用于检索与目标指纹定长表征对应的指纹集合，其中，指纹集合中包括预设数量的待匹配指纹，待匹配指纹的指纹定长表征和目标指纹定长表征之间的相似度满足预设要求。

在本申请的一些实施例中，第一处理模块210从包含有目标指纹的图像中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征包括：通过骨干神经网络的特征提取模块从图像中提取多幅特征图，其中，特征提取模块中包括依次连接的多个特征提取层，特征提取层用于提取特征图，多幅特征图中包括按照特征深度由浅到深排序的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；融合第三特征图，第四特征图和第五特征图，得到融合特征图；从融合特征图中提取目标指纹的细节点感知指纹定长表征和目标指纹的细节点中心纹理特征。

在本申请的一些实施例中，第一处理模块210从融合特征图中提取目标指纹的细节点感知指纹定长表征包括：确定融合特征图中的前景向量；通过骨干神经网络中的加权平均池化模块对融合特征图中的前景向量进行加权聚合处理，从而得到细节点感知指纹定长表征。

在本申请的一些实施例中，第一处理模块210从融合特征图中提取目标指纹的细节点中心纹理特征包括：确定融合特征图中的多个指纹细节点图像区域，其中，指纹细节点图像区域为包含了指纹细节点的图像区域；通过骨干神经网络中的加权平均池化模块对多个指纹细节点图像区域中的每个指纹细节点图像区域内的前景向量分别进行加权聚合处理，从而得到目标指纹的每个细节点的细节点中心纹理特征。

在本申请的一些实施例中，第一处理模块210确定融合特征图中的多个指纹细节点图像区域包括：在融合特征图中确定多个指纹细节点；对多个指纹细节点中的每个指纹细节点，依据每个指纹细节点的方向旋转融合特征图，直到每个指纹细节点与预设基准线之间的夹角为零度；在旋转完成后，从融合特征图中提取包含每个指纹细节点的图像块，其中，图像块为每个指纹细节点对应的指纹细节点图像区域。

在本申请的一些实施例中，第二处理模块212依据细节点中心纹理特征和指纹细节点的位置信息确定目标指纹的细节点拓扑感知定长表征包括：在目标指纹的图像中确定全部细节点集合，以及全部细节点集合中的每个指纹细节点的位置信息和方向信息；在全部细节点集合中确定中心细节点，以及中心细节点的相邻细节点，其中，中心细节点为全部细节点集合中的任意一个细节点，相邻细节点为全部细节点集合中与中心细节点之间的距离小于预设长度的细节点；分别将每个指纹细节点作为中心细节点，并确定中心细节点对应的相邻细节点，其中，相邻细节点为全部细节点集合中与中心细节点之间的距离小于预设距离的细节点；依据每个指纹细节点和对应的相邻细节点的位置信息和方向信息确定每个指纹细节点的拓扑特征，其中，拓扑特征包括每个指纹细节点与相邻细节点的相对位置和角度关系；依据每个指纹细节点的拓扑特征和细节点中心纹理特征确定目标指纹的细节点拓扑感知指纹定长表征。

在本申请的一些实施例中，第二处理模块212依据每个指纹细节点和相邻细节点的位置信息和方向信息确定每个指纹细节点的拓扑特征包括：依据每个指纹细节点的方向信息旋转目标指纹图像，直到目标指纹细节点的方向与预设基准线之间的夹角为零度；在旋转目标指纹图像后，确定每个指纹细节点和对应的相邻细节点在旋转后的位置信息和方向信息，并依据旋转后的位置信息和方向信息确定每个指纹细节点与各个相邻细节点之间的边的边表征；采用细节点拓扑编码器聚合每个指纹细节点对应的边表征和相邻细节点信息，得到每个指纹细节点的拓扑特征。

在本申请的一些实施例中，第二处理模块212依据每个指纹细节点的拓扑特征和细节点中心纹理特征确定目标指纹的细节点拓扑感知指纹定长表征包括：依据每个指纹细节点的拓扑特征和细节点中心纹理特征建立细节点图，其中，细节点图中包括节点和节点与节点之间连接得到的边，并且节点与指纹细节点之间一一对应，节点用于体现对应的指纹细节点的拓扑特征的信息和细节点中心纹理特征的信息；通过细节拓扑感知聚合模型处理细节点图，得到细节点拓扑感知指纹定长表征，其中，细节拓扑感知聚合模型中包括依次连接的多个自定义层，多层感知器和池化层，多个自定义层中的每个自定义层中包括卷积层、带有激活层的线性层和批归一化层。

需要说明的是，上述基于指纹定长表征的指纹检索装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合)，也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。

根据本申请实施例提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质执行如图3中所示的指纹检索方法，或者如图8所示的指纹检索模型训练方法。

根据本申请实施例提供了一种电子设备，电子设备包括存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行如图3所示的指纹检索方法，或者如图8所示的指纹检索模型训练方法。

根据本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如图3所示的指纹检索方法，或者如图8所示的指纹检索模型训练方法。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (15)

1.一种基于指纹定长表征的指纹检索方法，其特征在于，包括：

从包含有目标指纹的图像中提取所述目标指纹的细节点感知指纹定长表征和所述目标指纹的细节点中心纹理特征，其中，所述细节点感知指纹定长表征中包括所述目标指纹的全局特征信息和所述目标指纹中的细节点纹理特征信息，所述细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；

依据所述细节点中心纹理特征和所述目标指纹中的指纹细节点的位置信息确定所述目标指纹的细节点拓扑感知指纹定长表征，其中，所述细节点拓扑感知指纹定长表征中包括所述细节点纹理特征信息和所述目标指纹的细节点拓扑特征信息，所述细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；

拼接所述细节点感知指纹定长表征和所述细节点拓扑感知指纹定长表征，得到目标指纹定长表征；

检索与所述目标指纹定长表征对应的指纹集合，其中，所述指纹集合中包括预设数量的待匹配指纹，所述待匹配指纹的指纹定长表征和所述目标指纹定长表征之间的相似度满足预设要求。

2.根据权利要求1所述的基于指纹定长表征的指纹检索方法，其特征在于，从包含有目标指纹的图像中提取所述目标指纹的细节点感知指纹定长表征和所述目标指纹的细节点中心纹理特征包括：

通过骨干神经网络的特征提取模块从所述图像中提取多幅特征图，其中，所述特征提取模块中包括依次连接的多个特征提取层，所述特征提取层用于提取所述特征图，所述多幅特征图中包括按照特征深度由浅到深排序的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；

融合所述第三特征图，所述第四特征图和所述第五特征图，得到融合特征图；

从所述融合特征图中提取所述目标指纹的细节点感知指纹定长表征和所述目标指纹的细节点中心纹理特征。

3.根据权利要求2所述的基于指纹定长表征的指纹检索方法，其特征在于，从所述融合特征图中提取所述目标指纹的细节点感知指纹定长表征包括：

确定所述融合特征图中的前景向量；

通过所述骨干神经网络中的加权平均池化模块对所述融合特征图中的所述前景向量进行加权聚合处理，从而得到所述细节点感知指纹定长表征。

4.根据权利要求2所述的基于指纹定长表征的指纹检索方法，其特征在于，从所述融合特征图中提取所述目标指纹的细节点中心纹理特征包括：

确定所述融合特征图中的多个指纹细节点图像区域，其中，所述指纹细节点图像区域为包含了指纹细节点的图像区域；

通过所述骨干神经网络中的加权平均池化模块对所述多个指纹细节点图像区域中的每个所述指纹细节点图像区域内的前景向量分别进行加权聚合处理，从而得到所述目标指纹的每个细节点的细节点中心纹理特征。

5.根据权利要求4所述的基于指纹定长表征的指纹检索方法，其特征在于，确定所述融合特征图中的多个指纹细节点图像区域包括：

在所述融合特征图中确定多个指纹细节点；

对所述多个指纹细节点中的每个指纹细节点，依据所述每个指纹细节点的方向旋转所述融合特征图，直到所述每个指纹细节点与预设基准线之间的夹角为零度；

在旋转完成后，从所述融合特征图中提取包含所述每个指纹细节点的图像块，其中，所述图像块为所述每个指纹细节点对应的指纹细节点图像区域。

6.根据权利要求1所述的基于指纹定长表征的指纹检索方法，其特征在于，依据所述细节点中心纹理特征和所述指纹细节点的位置信息确定所述目标指纹的细节点拓扑感知定长表征包括：

在所述目标指纹的图像中确定全部细节点集合，以及所述全部细节点集合中的每个指纹细节点的位置信息和方向信息；

在所述全部细节点集合中确定中心细节点，以及所述中心细节点的相邻细节点，其中，所述中心细节点为所述全部细节点集合中的任意一个细节点，所述相邻细节点为所述全部细节点集合中与所述中心细节点之间的距离小于预设长度的细节点；

分别将所述每个指纹细节点作为中心细节点，并确定所述中心细节点对应的相邻细节点，其中，所述相邻细节点为所述全部细节点集合中与所述中心细节点之间的距离小于预设距离的细节点；

依据所述每个指纹细节点和对应的所述相邻细节点的位置信息和方向信息确定所述每个指纹细节点的拓扑特征，其中，所述拓扑特征包括所述每个指纹细节点与所述相邻细节点的相对位置和角度关系；

依据每个指纹细节点的所述拓扑特征和所述细节点中心纹理特征确定所述目标指纹的细节点拓扑感知指纹定长表征。

7.根据权利要求6所述的基于指纹定长表征的指纹检索方法，其特征在于，依据所述每个指纹细节点和所述相邻细节点的位置信息和方向信息确定所述每个指纹细节点的拓扑特征包括：

依据所述每个指纹细节点的方向信息旋转所述目标指纹图像，直到所述目标指纹细节点的方向与预设基准线之间的夹角为零度；

在旋转所述目标指纹图像后，确定所述每个指纹细节点和对应的所述相邻细节点在旋转后的位置信息和方向信息，并依据旋转后的位置信息和方向信息确定所述每个指纹细节点与各个所述相邻细节点之间的边的边表征；

采用细节点拓扑编码器聚合所述每个指纹细节点对应的边表征和相邻细节点信息，得到所述每个指纹细节点的拓扑特征。

8.根据权利要求6所述的基于指纹定长表征的指纹检索方法，其特征在于，依据每个所述指纹细节点的所述拓扑特征和所述细节点中心纹理特征确定所述目标指纹的细节点拓扑感知指纹定长表征包括：

依据所述每个指纹细节点的所述拓扑特征和所述细节点中心纹理特征建立细节点图，其中，所述细节点图中包括节点和节点与节点之间连接得到的边，并且所述节点与所述指纹细节点之间一一对应，所述节点用于体现对应的所述指纹细节点的拓扑特征的信息和细节点中心纹理特征的信息；

通过细节拓扑感知聚合模型处理所述细节点图，得到所述细节点拓扑感知指纹定长表征，其中，所述细节拓扑感知聚合模型中包括依次连接的多个自定义层，多层感知器和池化层，所述多个自定义层中的每个自定义层中包括卷积层、带有激活层的线性层和批归一化层。

9.一种指纹检索模型训练方法，其特征在于，所述指纹检索模型用于执行权利要求1至8中任意一项所述的基于指纹定长表征的指纹检索方法，包括：

对所述指纹检索模型进行第一阶段训练，其中，在所述第一阶段训练的训练过程中，只对所述指纹检索模型中的骨干神经网络进行训练，所述骨干神经网络和所述指纹检索模型中的加权平均池化模块用于从包含有目标指纹的目标指纹图像中提取所述目标指纹的细节点感知指纹定长表征和所述目标指纹的细节点纹理特征；

在完成所述第一阶段训练后，对所述指纹检索模型进行第二阶段训练，其中，在所述第二阶段训练的训练过程中，只对所述指纹检索模型中的细节点拓扑编码器和细节拓扑感知聚合模型进行训练，所述细节点拓扑编码器和所述细节拓扑感知聚合模型用于依据所述细节点纹理特征信息和所述目标指纹图像确定所述目标指纹的细节点拓扑感知指纹定长表征。

10.根据权利要求9中所述的指纹检索模型训练方法，其特征在于，在对所述指纹检索模型进行第一阶段训练前，所述指纹检索模型训练方法还包括：

获取原始训练数据，其中，所述原始训练数据包括成对指纹数据集；

采用扩展团训练法在所述成对指纹中确定细节点匹配关系，并依据所述细节点匹配关系确定标签，所述标签用于在所述第一阶段训练中确定正样本和负样本。

11.根据权利要求9中所述的指纹检索模型训练方法，其特征在于，对所述指纹检索模型进行第一阶段训练包括：

对初始训练数据中的初始训练图像进行数据预处理，得到训练图像，其中，所述数据预处理的处理方式包括：旋转和平移；

将所述训练图像作为训练数据对所述指纹检索模型进行所述第一阶段训练。

12.一种基于指纹定长表征的指纹检索装置，其特征在于，包括：

第一处理模块，用于从包含有目标指纹的图像中提取所述目标指纹的细节点感知指纹定长表征和所述目标指纹的细节点中心纹理特征，其中，所述细节点感知指纹定长表征中包括所述目标指纹的全局特征信息和所述目标指纹中的细节点纹理特征信息，所述细节点感知指纹定长表征为具有平移和旋转不变性的定长表征；

第二处理模块，用于依据所述细节点中心纹理特征和所述目标指纹中的指纹细节点的位置信息确定所述目标指纹的细节点拓扑感知指纹定长表征，其中，所述细节点拓扑感知指纹定长表征中包括所述细节点纹理特征信息和所述目标指纹的细节点拓扑特征信息，所述细节点拓扑感知指纹定长表征为具有平移和旋转不变性的定长表征；

第三处理模块，用于拼接所述细节点感知指纹定长表征和所述细节点拓扑感知指纹定长表征，得到目标指纹定长表征；

第四处理模块，用于检索与所述目标指纹定长表征对应的指纹集合，其中，所述指纹集合中包括预设数量的待匹配指纹，所述待匹配指纹的指纹定长表征和所述目标指纹定长表征之间的相似度满足预设要求。

13.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的基于指纹定长表征的指纹检索方法，或者权利要求9至11中任意一项所述的指纹检索模型训练方法。

14.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的基于指纹定长表征的指纹检索方法，或者权利要求9至11中任意一项所述的指纹检索模型训练方法。

15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至8中任意一项所述的基于指纹定长表征的指纹检索方法，或者权利要求9至11中任意一项所述的指纹检索模型训练方法。