CN111639719B - 基于时空运动和特征融合的足迹图像检索方法 - Google Patents

Abstract

本发明公开一种基于时空运动和特征融合的足迹图像检索方法，其步骤包括：1、成趟足迹图像数据集的准备；2、建立成趟足迹图像预处理模块；3、建立多尺度成趟足迹图像、整体归一化的预处理层；4、权重初始化、5、建立空间特征提取模块；6、建立时序特征提取模块；7、网络的训练、测试及优化。本发明通过提取成趟足迹图像的空间特征信息和时间序列特征信息，并结合特定的特征融合模块，能获取更丰富的成趟足迹图像的时空信息，并聚类出不同人员之间的差别性特征信息，从而大大提高成趟足迹图像检索的精确值。

Description

基于时空运动和特征融合的足迹图像检索方法

技术领域

本发明涉及图像处理和度学习领域，特别是涉及一种基于时空运动和特征融合的成趟足迹图像检索方法。

背景技术

由于受到骨骼，后天的生活习惯等一些因素的影响，使得足迹图像具有不易伪装的特点，和掌纹、指纹等其他痕迹相比较来说，更具有唯一性和独特性。对于足迹图像的研究除了具有科研意义外，还可以应用在商业、安防、刑侦等领域。

近年来，深度学习的迅速兴起，使得成趟足迹图像检索有了新的突破，神经网络有着很强的学习能力。成趟足迹图像借助着深度学习，不仅可以减少分析、处理数据的人力、物力资源，而且大大提高了成趟足迹图像检索的效率和准确性。一般的成趟足迹图像检索，传统的做法都是依靠专家个人的一些经验或者简单的比对算法，这些方法不仅准确率低。而且耗费大量时间，人力、物力资源。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于时空运动和特征融合的足迹图像检索方法，以期获取更丰富的成趟足迹图像的时空信息，并聚类出不同人员之间的差别性特征信息，从而提高成成趟足迹图像检索的准确率和效率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于时空运动和特征融合的足迹图像检索方法的特点是按照以下步骤进行的：

步骤1：构建训练集和测试集；

步骤1.1：采集任意测试对象在某一个行走速度下连续的一幅成趟足迹图像；

步骤1.2：将所述成趟足迹图像分别进行伪彩化以及去噪处理，得到处理后的一个成趟足迹图像样本；

步骤1.3：将所述成趟足迹图像样本中的每个足迹图像按照帧序列依次划分，从而得到足迹序列样本集X＝{x_k|k＝1,2,3,···,K}；x_k表示第k帧足迹序列样本；1≤k≤K；K表示成趟足迹图像样本中的足迹总数；

步骤1.4：为所述足迹序列样本集中的各个足迹序列样本分别定义标签，所述标签包含ID信息和序号信息；

步骤1.5：重复步骤1.1-步骤1.4，从而采集若干个测试对象在不同的行走速度下连续的多幅成趟足迹图像并进行相应的处理，从而构成足迹图像数据集；

步骤1.6：将足迹图像数据集划分为测试集和训练集，并将所述测试集再分为测试查询集以及测试底库集；

步骤2：建立时空运动和特征融合的成趟足迹图像检索模型，所述成趟足迹图像检索模型是由预处理层、空间特征提取模块、特征融合模块、以及时序特征提取模块组成；

步骤2.1：所述预处理层对所述足迹序列样本集X进行尺寸重置处理，得到包含多尺度特征的足迹序列样本集X′；

步骤2.2：所述预处理层利用式(1)对包含多尺度特征的足迹序列样本集X′进行归一化处理，得到归一化后的足迹序列样本集X″；

式(1)中，Image(k′)表示第k帧包含多尺度特征的足迹序列样本；Mean表示包含多尺度特征的足迹序列样本集X′的均值；std表示包含多尺度特征的足迹序列样本集X′的方差；Image(k″)表示归一化后的第k帧足迹序列样本；

步骤2.3：建立由M层小卷积核的卷积神经网络组成的空间特征提取模块，任意第m层小卷积核的卷积神经网络依次包括：第m卷积层、第m激活层、第m池化层，其中，第2层小卷积核的卷积神经网络在其相应的卷积层和激活层之间还设置有批归一化层；M的取值范围为[5,10]；

步骤2.3.1：所述空间特征提取模块中的所有卷积层均使用Xavier方法进行初始化权值；

步骤2.3.2：利用式(2)得到第m卷积层的输出结果Z_m：

Z_m＝W_m*X_m+B_m    (2)

式(2)中，X_m为第m卷积层的步长S_m下待卷积部分的输入图像；B_m为第m卷积层的步长S_m下的偏置，W_m为第m卷积层的步长S_m下的共享权重；

步骤2.3.3：利用式(3)得到第m卷积层的输出尺寸Y_m：

式(3)中，S_m为第m卷积层的步长，K_m为第m卷积层的卷积核大小，P_m为第m卷积层的填充像素数，C_m为第m卷积层的输出通道，H_m为第m卷积层的高度，R_m为第m卷积层的宽度；

步骤2.3.4：所述空间特征提取模块对归一化后的足迹序列样本集X″进行处理并输出空间特征序列{F₁,F₂,···,F_k,···,F_K}、F_k表示归一化后的第k帧足迹序列样本Image(k″)经过所述空间特征提取模块的处理后得到的第k帧足迹特征图谱；

步骤2.4：构建由K个特征掩模操作层和K帧全连接层组成的特征融合模块；

步骤2.4.1：第k个特征掩模操作层在第M卷积层的输出通道C_M上对第k帧足迹特征图谱F_k进行叠加操作，得到叠加后的第k帧特征图谱F′_k；

步骤2.4.2：所述第k个特征掩模操作层对所述叠加后的第k帧特征图谱F′_k进行像素点值的求和后再取平均值，从而得擦除阈值，并对在叠加后的第k帧特征图谱F′_k中大于所述擦除阈值的像素进行擦除操作，从而得到第k帧特征掩模特征图谱F″_k；

步骤2.4.3：所述第k个特征掩模操作层对所述叠加后的第k帧特征图谱F′_k和第k帧特征掩模特征图谱F″_k进行叠加，得到第k帧特征融合图谱

步骤2.4.4：对所述第k帧特征融合图谱进行降维处理，得到第k帧特征融合图谱所对应的全连接层vector_k；

步骤2.4.5：对第k帧的全连接层vector_k平均切成I片，从而得到I个特征向量，其中第i个特征vector_ik，I的取值范围为[4,8]；

步骤2.4.6：对第k帧的全连接层的第i个特征向量vector_ik赋予权重w_ik，并利用式(4)得到特征融合后的第k帧全连接层LastVector_k：

步骤2.4.7：重复步骤2.4.1-步骤2.4.6，从而得到特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}；

步骤2.5：构建由ConvLSTM卷积长短期记忆网络和全连接层构成的时序特征提取模块；

步骤2.5.1：对所述特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}进行升维操作，得到升维后的网络输入向量；

步骤2.5.2：使用高斯分布对ConvLSTM卷积长短期记忆网络进行初始化权值；

步骤2.5.3：利用初始化后的ConvLSTM卷积长短期记忆网络对升维后的网络输入向量进行序列特征信息的提取，从而得到一个时序特征图谱F″′；

步骤2.5.4：对时序特征图谱F″′进行降维处理，从而得到全连接层vector；

步骤2.5.5：在所述全连接层vector后连接一个与所述足迹图像数据集中所有标签中ID信息的种类数维度A相同的全连接输出层vector′；

步骤2.5.6：将所述全连接输出层vector′与SoftMax函数相连接，从而构成所述全连接层并相应输出一个概率集合{p₀,p₁,…,p_a,…,p_A-1}；从所述概率集合中选出最大值p_max所对应的下标max作为归一化后的第k帧足迹序列样本Image(k″)所识别出的标签；

步骤2.5.7：将所述概率集合反向传播至成趟足迹图像检索模型中，并配合自适应可变的学习率L_Rate和交叉熵损失CrossEntropy，从而更新共享权重W_m、权重w_ik和偏置项B_m，得到最优趟足迹图像检索模型，用于实现对不同足迹图像所对应ID信息的检索结果。

与现有技术相比，本发明的有益效果在于：

1、本发明将图像处理、深度学习、与成趟足迹图像的检索相结合，形成一套完整的成趟足迹图像检索框架。在图像处理方面：针对足迹图像提出一整套预处理方法，优化了成趟足迹图像样本，能将成趟足迹图像样本转化为满足成趟足迹图像检索模型训练时所需的足迹序列样本集；在网络结构方面：成趟足迹图像检索模型是由预处理层、空间特征提取模块、特征融合模块、以及时序特征提取模块组成，与传统方法相比，大大提高了成趟足迹图像检索效率和准确性的同时，节省了大量的人力、物力资源。

2、本发明的图像处理部分通过伪彩化强化了成趟足迹图像的压力特征信息，克服了灰度足迹图像压力不明显的情况；通过去除图像的背景噪声，使得成趟足迹图像样本得以清洗，且极大程度上保留了原足迹图像信息的完整性；通过切割，将所述成趟足迹图像样本中的每个足迹图像按照帧序列依次划分，构成成趟足迹图像检索模型的输入足迹序列样本集，可以使得网络更好的聚合足迹序列样本集内部足迹图像间的特征信息。

3、本发明的预处理层通过重置足迹序列样本集中足迹图像大小，可以获得成趟足迹图像的多尺度空间信息，通过融合足迹序列样本集中足迹图像的多尺度空间信息，可以很好的减轻因池化层导致的部分空间特征信息丢失；同时与传统的图像归一化操作不同，本发明采取的是对足迹序列样本集统一做归一化操作，兼顾了成趟足迹图像的全局信息。

4、本发明的空间特征提取模块部分通过使用较小的卷积核，增加神经网络对细节处特征信息的提取，同时根据足迹图像具有稀疏性的特征，采取较浅的卷积网络层数，可以更好提取成趟足迹图像中的空间特征信息，增强了卷积神经网络特征提取表达的性能。

5、本发明的特征融合模块通过特征擦除的方式得到特征掩膜，强化了足迹边缘纹理区域的细节特征信息，然后和完整的足迹特征信息叠加兼顾足迹特征的全局信息；通过全连接层切割、加权、拼接的方法，增强了最终预训练模型的鲁棒性，使其具有较强的泛化能力。

6、本发明的序列特征提取模块通过构建卷积长短期记忆网络和全连接层去完善对足迹序列样本集时间序列信息的提取，更加有效的划分，聚类出足迹图像之间的区别性特征信息，兼顾全局特征信息和局部特征信息的提取，相比于传统的足迹检索比对方法，大大提高了成趟足迹图像检索的精确值。

附图说明

图1是本发明中的成趟足迹图像检索的整体流程图；

图2是本发明中的时空运动和特征融合网络结构图；

具体实施方式

本实施例中，一种基于时空运动和特征融合的足迹图像检索方法，主要是利用卷积神经网络和卷积长短期记忆网络提取成趟足迹序列中的时空特征，并通过特征融合的方式增加网络模型的性能。本发明所采用的数据集包含3600余张成趟足迹数据，预处理后约有36000余张单枚足迹图像数据，共包含100余人，每个人至少36张成趟足迹数据图像，包含赤足脚印、不同种类的鞋底花纹鞋印，以及三种不同的行走速度，每张图像都带有人员ID信息标签。如图1所示：整个流程可以具体分为以下几个步骤：

步骤1、取任意测试对象在某一个行走速度下连续的一幅成趟足迹图像，进行伪彩化、去噪的预处理操作，得到成趟足迹图像样本。数据在采集的过程中由于压力的不同会出现不同的压力信息，通过将单通道灰度数据按照一定的比例关系将转化为伪彩图像，对压力特征进行了增强。根据足迹图像的特点设计了一种全新的去噪方式，通过对图像像素值的统计可得噪点的像素值一般为(255,X,Y)，同时根据噪声在足迹图像上，噪声在足迹图像外，设计两种不同方式的去噪方法。若噪声在足迹图像外，可扫描图像的列，若此列黑色像素值数目为h1，(255,X,Y)的像素值数目为h2，图像的高为h，同时兼顾足迹图像本身像素值是(255,X,Y)点的有效信息，采取h1+h2＝h且h2>h/10时为去除像素值为(255,X,Y)噪声点的阈值；若噪声在足迹图像上，则采取h2>h/5时去除像素值(255,X,Y)的噪声点的阈值。采取这样的算法既可以很好的去除图像的背景噪声，也能极大程度上保留原足迹图像信息的完整性；

步骤2、将步骤2中的成趟足迹图像样本进行切割得到足迹序列样本集。本发明设计一种算法，通过扫描成趟足迹图像样本的每一列，统计其像素信息，确定平均像素大于五的为足迹序列样本集中某一单枚足迹的结束和开始，取相邻二者列之和的平均值作为切割的那一列。此算法能够将成趟足迹图像样本划分成连续的足迹序列样本集。

步骤3、将步骤3中足迹序列样本集中的各个足迹序列样本分别定义标签，标签包含ID信息和序号信息；

步骤4、重复步骤1-步骤3，采集若干个测试对象在不同的行走速度下连续的多幅成趟足迹图像并进行相应的处理，从而构成足迹图像数据集；

步骤5、将数据集按照9:4:2分为三个部分，第一个部分为训练集，包括快步行走、慢步行走、正常行走各三组；第二个部分为测试底库集，包括快步行走、慢步行走,正常行走各两组；第三个部分为测试查询库集，包括快步行走、慢步行走、正常行走各一组。其中训练集分别和测试底库集、测试查询库集没有重复的人员，测试测试底库集和查询库集是相同人员的不同数据，按2:1的比例分布。

步骤6、将足迹图像数据集送入时空运动和特征融合的足迹图像检索模型中训练，足迹图像数据集，经过时空运动和特征融合网络中的预处理层、空间信息提取模块、特征融合模块、时间序列信息提取模块，会聚类出不同人员足迹图像之间的区别性特征信息，得到一个时空运动和特征融合的足迹图像检索预训练模型。如图2所示：成趟足迹图像检索模型是由预处理层、空间特征提取模块、特征融合模块、以及时序特征提取模块组成：

步骤6.1、预处理层对足迹序列样本集X进行尺寸重置处理，得到包含多尺度特征的足迹序列样本集X′，通过融合足迹序列样本集中足迹图像的多尺度空间信息，可以很好的减轻因池化层导致的部分空间特征信息丢失；

步骤6.2、利用式(1)对包含多尺度特征的足迹序列样本集X′进行归一化处理，得到归一化后的足迹序列样本集X″，兼顾了成趟足迹图像的全局信息；

式(1)中，Image(k′)表示第k帧包含多尺度特征的足迹序列样本；Mean表示包含多尺度特征的足迹序列样本集X′的均值；std表示包含多尺度特征的足迹序列样本集X′的方差；Image(k″)表示归一化后的第k帧足迹序列样本。

步骤6.3、空间特征提取模块由M层小卷积核的卷积神经网络组成的空间特征提取模块，任意第m层小卷积核的卷积神经网络依次包括：第m卷积层、第m激活层、第m池化层，其中，第2层小卷积核的卷积神经网络在其相应的卷积层和激活层之间还设置有批归一化层；M的取值范围为[5,10]。

空间特征提取模块中的所有卷积层均使用Xavier方法进行初始化权值；

利用式(2)得到第m卷积层的输出结果Z_m：

Z_m＝W_m*X_m+B_m    (2)

式(2)中，X_m为第m卷积层的步长S_m下待卷积部分的输入图像；B_m为第m卷积层的步长S_m下的偏置，W_m为第m卷积层的步长S_m下的共享权重；利用式(3)得到第m卷积层的输出尺寸Y_m：

式(3)中，S_m为第m卷积层的步长，K_m为第m卷积层的卷积核大小，P_m为第m卷积层的填充像素数，C_m为第m卷积层的输出通道，H_m为第m卷积层的高度，R_m为第m卷积层的宽度；空间特征提取模块会对归一化后的足迹序列样本集X″进行处理并输出空间特征序列{F₁,F₂,···,F_k,···,F_K}、F_k表示归一化后的第k帧足迹序列样本Image(k″)经过空间特征提取模块的处理后得到的第k帧足迹特征图谱；其中空间特征提取模块部分的卷积核使用的都是小卷积核，可以增加神经网络对细节处特征信息的提取，同时根据足迹图像具有稀疏性的特征，采取较浅的卷积网络层数5-10层的区间范围，可以更好提取成趟足迹图像中的空间特征信息，增强了卷积神经网络特征提取表达的性能。

步骤6.4、特征融合模块包括特征掩模操作层、全连层。

特征掩模操作层首先在第M卷积层的输出通道C_M上对第k帧足迹特征图谱F_k进行叠加操作，得到叠加后的第k帧特征图谱F′_k；然后在叠加后的第k帧特征图谱F′_k上进行像素点值的求和后再取平均值，从而得擦除阈值，之后对在叠加后的第k帧特征图谱F′_k中大于擦除阈值的像素进行擦除操作，从而得到第k帧特征掩模特征图谱F″_k，最后对叠加后的第k帧特征图谱F′_k和第k帧特征掩模特征图谱F″_k进行叠加，得到第k帧特征融合图谱特征融合模块通过特征擦除的方式得到特征掩膜，强化了足迹边缘纹理区域的细节特征信息，然后和完整的足迹特征信息叠加兼顾足迹特征的全局信息；

经过特征掩模操作层的处理后，再对第k帧特征融合图谱进行降维处理，得到第k帧特征融合图谱所对应的全连接层vector_k，然后对第k帧的全连接层vector_k平均切成I片，从而得到I个特征向量，其中第i个特征vector_ik，I的取值范围为[4,8]，之后对第k帧的全连接层的第i个特征向量vector_ik赋予权重w_ik，并利用式(4)得到特征融合后的第k帧全连接层LastVector_k：

通过全连接层切割、加权、拼接的方法，有效增强了最终预训练模型的鲁棒性，使其具有较强的泛化能力，重复预处理层、空间信息提取模块、特征提取模块的操作，从而得到特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}；本发明的预处理层通过重置足迹序列样本集中足迹图像大小，可以获得成趟足迹图像的多尺度空间信息，通过融合足迹序列样本集中足迹图像的多尺度空间信息，可以很好的减轻因池化层导致的部分空间特征信息丢失；同时与传统的图像归一化操作不同，本发明采取的是对足迹序列样本集统一做归一化操作，兼顾了成趟足迹图像的全局信息；

步骤6.5、时序特征提取模块由ConvLSTM卷积长短期记忆网络和全连接层构成的。

首先对特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}进行升维操作，得到升维后的网络输入向量，然后对ConvLSTM卷积长短期记忆网络使用高斯分布对进行初始化权值，之后利用初始化后的ConvLSTM卷积长短期记忆网络对升维后的网络输入向量进行序列特征信息的提取，从而得到一个时序特征图谱F″′；卷积长短期记忆网络可以完善对足迹序列样本集时间序列信息的提取，兼顾全局特征信息和局部特征信息的提取；

经过卷积长短期记忆网络的处理后，再对时序特征图谱F″′进行降维处理，从而得到全连接层vector，然后在全连接层vector后连接一个与足迹图像数据集中所有标签中ID信息的种类数维度A相同的全连接输出层vector′；之后将全连接输出层vector′与SoftMax函数相连接，从而构成全连接层并相应输出一个概率集合{p₀,p₁,…,p_a,…,p_A-1}；再从概率集合中选出最大值p_max所对应的下标max作为归一化后的第k帧足迹序列样本Image(k″)所识别出的标签，最后将概率集合反向传播至成趟足迹图像检索模型中，并配合自适应可变的学习率L_Rate和交叉熵损失CrossEntropy，从而更新共享权重W_m、权重w_ik和偏置项B_m，得到最优趟足迹图像检索模型，用于实现对不同足迹图像所对应ID信息的检索结果。更加有效的划分，聚类出足迹图像之间的区别性特征信息，相比于传统的足迹检索比对方法，大大提高了成趟足迹图像检索的精确值。

其中卷积长短期记忆网络在每个序列索引位置的门共有三个，包括输入门、输出门、遗忘门三种。作为循环神经网路RNN(RecurrentNeuralNetworks)的一个变种，CovnLSTM可以学习长期的依赖信息，可以很好的兼顾全局特征信息和局部特征信息。输入门(InputGate)包含两个部分：第一部分是Sigmoid层，它决定我们将要更新什么值，第二部分是Tanh层，它会创建一个候选值向量候选值向量会被加入到隐藏状态C_t中；从而得到一个新的隐藏细胞状态C_t；输出门(OutputGate)决定最后的C_t中有多少信息被送到隐藏状态h_t中；遗忘门(ForgetGate)在CovnLSTM中会以一定的概率控制，遗忘上一层隐藏状态信息的多少。输入门、输出门、遗忘门所对应的函数都是Sigmoid函数，Sigmoid函数用于控制门过滤的百分比。

输入门的如式(5)所示：

式(5)中，σ是Sigmoid函数，h_t-1是前一个隐藏细胞状态，x_t是当前的输入，i_t是输入门最后的输出，W_i是输入门权重参数，b_i是输入门偏置参数，是决定有多少输入信息进入这一时刻细胞状态，W_c是决定有多少输入信息进入这一时刻细胞状态权重参数，b_c是决定有多少输入信息进入这一时刻细胞状态偏置参数；

细胞状态C_t的式如(6)所示：

式(6)中，f_t是遗忘门最后的输出，i_t是输入门最后的输出,c_t-1是前一时刻细胞状态，是决定有多少输入信息进入这一时刻细胞状态；

输出门的式如(7)所示：

式(7)中，σ是Sigmoid函数，o_t是输出门最后的输出，W_o是输出门权重参数，b_o是输出门偏置参数，C_t是细胞状态，h_t是这一时刻的隐藏状态；

遗忘门式如(8)所示：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)    (8)

式(8)中，σ是Sigmoid函数，h_t-1是前一个隐藏细胞状态，x_t是当前的输入，f_t是遗忘门最后的输出，W_f是遗忘门权重参数，b_f是遗忘门偏置参数；

Sigmoid公式如(9)所示：

将经过预处理的测试查询集数据和测试底库集数据输入时空运动和特征融合的足迹图像检索预训练模型中进行特征的提取，并且将测试查询集提取的足迹图像特征信息与测试底库集提取的特征信息进行比较，最后利用余弦计算二者之间的差距，得到一个检索的指标map值、以及rank值，然后根据测试结果去调整网络相关参数的设置，使得网络达到最优。

Claims (1)

1.一种基于时空运动和特征融合的足迹图像检索方法，其特征是按照以下步骤进行的：

步骤1：构建训练集和测试集；

步骤1.1：采集任意测试对象在某一个行走速度下连续的一幅成趟足迹图像；

步骤1.2：将所述成趟足迹图像分别进行伪彩化以及去噪处理，得到处理后的一个成趟足迹图像样本；

步骤1.3：将所述成趟足迹图像样本中的每个足迹图像按照帧序列依次划分，从而得到足迹序列样本集X＝{x_k|k＝1,2,3,···,K}；x_k表示第k帧足迹序列样本；1≤k≤K；K表示成趟足迹图像样本中的足迹总数；

步骤1.4：为所述足迹序列样本集中的各个足迹序列样本分别定义标签，所述标签包含ID信息和序号信息；

步骤1.5：重复步骤1.1-步骤1.4，从而采集若干个测试对象在不同的行走速度下连续的多幅成趟足迹图像并进行相应的处理，从而构成足迹图像数据集；

步骤1.6：将足迹图像数据集划分为测试集和训练集，并将所述测试集再分为测试查询集以及测试底库集；

步骤2：建立时空运动和特征融合的成趟足迹图像检索模型，所述成趟足迹图像检索模型是由预处理层、空间特征提取模块、特征融合模块、以及时序特征提取模块组成；

步骤2.1：所述预处理层对所述足迹序列样本集X进行尺寸重置处理，得到包含多尺度特征的足迹序列样本集X′；

步骤2.2：所述预处理层利用式(1)对包含多尺度特征的足迹序列样本集X′进行归一化处理，得到归一化后的足迹序列样本集X″；

式(1)中，Image(k′)表示第k帧包含多尺度特征的足迹序列样本；Mean表示包含多尺度特征的足迹序列样本集X′的均值；std表示包含多尺度特征的足迹序列样本集X′的方差；Image(k″)表示归一化后的第k帧足迹序列样本；

步骤2.3：建立由M层小卷积核的卷积神经网络组成的空间特征提取模块，任意第m层小卷积核的卷积神经网络依次包括：第m卷积层、第m激活层、第m池化层，其中，第2层小卷积核的卷积神经网络在其相应的卷积层和激活层之间还设置有批归一化层；M的取值范围为[5,10]；

步骤2.3.1：所述空间特征提取模块中的所有卷积层均使用Xavier方法进行初始化权值；

步骤2.3.2：利用式(2)得到第m卷积层的输出结果Z_m：

Z_m＝W_m*X_m+B_m                              (2)

式(2)中，X_m为第m卷积层的步长S_m下待卷积部分的输入图像；B_m为第m卷积层的步长S_m下的偏置，W_m为第m卷积层的步长S_m下的共享权重；

步骤2.3.3：利用式(3)得到第m卷积层的输出尺寸Y_m：

式(3)中，S_m为第m卷积层的步长，K_m为第m卷积层的卷积核大小，P_m为第m卷积层的填充像素数，C_m为第m卷积层的输出通道，H_m为第m卷积层的高度，R_m为第m卷积层的宽度；

步骤2.3.4：所述空间特征提取模块对归一化后的足迹序列样本集X″进行处理并输出空间特征序列{F₁,F₂,···,F_k,···,F_K}、F_k表示归一化后的第k帧足迹序列样本Image(k″)经过所述空间特征提取模块的处理后得到的第k帧足迹特征图谱；

步骤2.4：构建由K个特征掩模操作层和K帧全连接层组成的特征融合模块；

步骤2.4.1：第k个特征掩模操作层在第M卷积层的输出通道C_M上对第k帧足迹特征图谱F_k进行叠加操作，得到叠加后的第k帧特征图谱F′_k；

步骤2.4.2：所述第k个特征掩模操作层对所述叠加后的第k帧特征图谱F′_k进行像素点值的求和后再取平均值，从而得擦除阈值，并对在叠加后的第k帧特征图谱F′_k中大于所述擦除阈值的像素进行擦除操作，从而得到第k帧特征掩模特征图谱F″_k；

步骤2.4.3：所述第k个特征掩模操作层对所述叠加后的第k帧特征图谱F′_k和第k帧特征掩模特征图谱F″_k进行叠加，得到第k帧特征融合图谱

步骤2.4.4：对所述第k帧特征融合图谱进行降维处理，得到第k帧特征融合图谱所对应的全连接层vector_k；

步骤2.4.5：对第k帧的全连接层vector_k平均切成I片，从而得到I个特征向量，其中第i个特征vector_ik，I的取值范围为[4,8]；

步骤2.4.6：对第k帧的全连接层的第i个特征向量vector_ik赋予权重w_ik，并利用式(4)得到特征融合后的第k帧全连接层LastVector_k：

步骤2.4.7：重复步骤2.4.1-步骤2.4.6，从而得到特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}；

步骤2.5：构建由ConvLSTM卷积长短期记忆网络和全连接层构成的时序特征提取模块；

步骤2.5.1：对所述特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}进行升维操作，得到升维后的网络输入向量；

步骤2.5.2：使用高斯分布对ConvLSTM卷积长短期记忆网络进行初始化权值；

步骤2.5.3：利用初始化后的ConvLSTM卷积长短期记忆网络对升维后的网络输入向量进行序列特征信息的提取，从而得到一个时序特征图谱F″′；

步骤2.5.4：对时序特征图谱F″′进行降维处理，从而得到全连接层vector；

步骤2.5.5：在所述全连接层vector后连接一个与所述足迹图像数据集中所有标签中ID信息的种类数维度A相同的全连接输出层vector′；

步骤2.5.6：将所述全连接输出层vector′与SoftMax函数相连接，从而构成所述全连接层并相应输出一个概率集合{p₀,p₁,…,p_a,…,p_A-1}；从所述概率集合中选出最大值p_max所对应的下标max作为归一化后的第k帧足迹序列样本Image(k″)所识别出的标签；

步骤2.5.7：将所述概率集合反向传播至成趟足迹图像检索模型中，并配合自适应可变的学习率L_Rate和交叉熵损失Cross Entropy，从而更新共享权重W_m、权重w_ik和偏置项B_m，得到最优趟足迹图像检索模型，用于实现对不同足迹图像所对应ID信息的检索结果。

Images