CN115641643A

CN115641643A - 步态识别模型的训练方法、步态识别方法、装置及设备

Info

Publication number: CN115641643A
Application number: CN202211139252.3A
Authority: CN
Inventors: 刘鑫辰; 刘武; 郑锦凯; 梅涛
Original assignee: Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2022-09-19
Filing date: 2022-09-19
Publication date: 2023-01-24

Abstract

本发明公开了一种步态识别模型的训练方法、步态识别方法、装置及设备。该方法包括：将获取到的训练步态序列输入到初始步态识别模型中，通过初始步态识别模型中的预处理网络，基于输入的训练步态序列，输出训练序列特征；基于空间特征提取网络以及输入的训练序列特征，确定空间步态特征，以及基于时间特征提取网络以及输入的训练序列特征，确定时间步态特征；其中，空间特征提取网络和时间特征提取网络均采用二维卷积模块；通过特征重映射网络，基于空间步态特征和时间步态特征，输出预测结果；基于预测结果和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。本发明实施例解决了模型难以训练的问题。

Description

步态识别模型的训练方法、步态识别方法、装置及设备

技术领域

本发明涉及人工智能技术领域，尤其涉及一种步态识别模型的训练方法、步态识别方法、装置及设备。

背景技术

步态是一种生物特征，能够反映行人的行走模式，由于存在运动差异和体型差异，每个人的步态特征都是唯一的。步态识别技术相比于人脸识别、虹膜识别和行人重识别等技术，具有可远距离获取、分辨率要求低和难以伪装等优势，在刑事侦查、找寻丢失人群和社会治安等方面有着重要的现实意义。

步态识别技术可应用于智能园区、智能楼宇、智能安防等场景中的无接触式身份识别与验证，通过摄像头拍摄人员行走的步态视频，即可无接触、无交互地实现人员身份自动识别与认证。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：

真实场景下的步态识别存在大量的遮挡、三维视角变化和速度变化不定等挑战，为了满足识别准确率的要求，传统的步态识别方法采用的步态识别模型的模型架构复杂，存在模型参数量大和模型难以训练的问题。

发明内容

本发明实施例提供了一种步态识别模型的训练方法、步态识别方法、装置及设备，以解决现有的步态识别模型的模型参数量大的问题，在保证步态识别模型的训练效果的同时，降低步态识别模型的训练难度。

根据本发明一个实施例提供了一种步态识别模型的训练方法，该方法包括：

将获取到的训练步态序列输入到初始步态识别模型中，并通过所述初始步态识别模型中的预处理网络，基于输入的所述训练步态序列，输出训练序列特征；

基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训练序列特征，确定空间步态特征，以及基于所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列特征，确定时间步态特征；其中，所述空间特征提取网络和所述时间特征提取网络均采用二维卷积模块；

通过所述初始步态识别模型中的特征重映射网络，基于输入的所述空间步态特征和时间步态特征，输出预测结果；

基于所述预测结果和标准结果，对所述初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

根据本发明另一个实施例提供了一种步态识别方法，该方法包括：

获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列；

将所述待匹配步态序列和各所述预设步态序列分别输入到目标步态识别模型中，得到输出的待匹配步态特征和至少一个预设步态特征；

基于所述待匹配步态特征与各所述预设步态特征分别对应的特征距离，确定与所述待匹配步态序列对应的目标行人标识；

其中，所述目标步态识别模型是按照本发明任一实施例所述的步态识别模型的训练方法训练得到的。

根据本发明一个实施例提供了一种步态识别模型的训练装置，该装置包括：

训练序列特征输出模块，用于将获取到的训练步态序列输入到初始步态识别模型中，并通过所述初始步态识别模型中的预处理网络，基于输入的所述训练步态序列，输出训练序列特征；

时间步态特征输出模块，用于基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训练序列特征，确定空间步态特征，以及基于所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列特征，确定时间步态特征；其中，所述空间特征提取网络和所述时间特征提取网络均采用二维卷积模块；

预测结果输出模块，用于通过所述初始步态识别模型中的特征重映射网络，基于输入的所述空间步态特征和时间步态特征，输出预测结果；

目标步态识别模型训练模块，用于基于所述预测结果和标准结果，对所述初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

根据本发明另一个实施例提供了一种步态识别装置，该装置包括：

待匹配步态序列获取模块，用于获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列；

待匹配步态序列输入模块，用于将所述待匹配步态序列和各所述预设步态序列分别输入到预先训练完成的目标步态识别模型中，得到输出的待匹配步态特征和至少一个预设步态特征；

目标行人标识确定模块，用于基于所述待匹配步态特征与各所述预设步态特征分别对应的特征距离，确定与所述待匹配步态序列对应的目标行人标识；

根据本发明另一个实施例提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的步态识别模型的训练方法或者步态识别方法。

根据本发明另一个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的步态识别模型的训练方法或者步态识别方法。

本发明实施例的技术方案，通过设置初始步态识别模型包括预处理网络、空间特征提取网络、时间特征提取网络和特征重映网络，预处理网络用于基于输入的所述训练步态序列输出训练序列特征，空间特征提取网络用于基于输入的训练序列特征确定空间步态特征，时间特征提取网络用于基于输入的训练序列特征确定时间步态特征，其中，空间特征提取网络和所述时间特征提取网络均采用二维卷积模块，特征重映射网络用于基于输入的空间步态特征和时间步态特征输出预测结果，基于预测结果和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型，本发明实施例的初始步态识别模型在应用二维卷积模块的基础上，提取到了时间步态特征，解决了现有的步态识别模型的模型参数量大的问题，既降低了步态识别模型的训练难度，同时又使得训练得到的目标步态识别模型具备时序特征的提取能力，进而保证了目标步态识别模型的模型性能。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种步态识别模型的训练方法的流程图；

图2为本发明一个实施例所提供的一种特征时间滑动模块的原理图；

图3为本发明一个实施例所提供的另一种步态识别模型的训练方法的流程图；

图4为本发明一个实施例所提供的一种步态识别模型的训练方法的具体实例的原理图；

图5为本发明一个实施例所提供的一种步态识别方法的流程图；

图6为本发明一个实施例所提供的一种步态识别方法的具体实例的流程图；

图7为本发明一个实施例所提供的一种待匹配步态特征的可视化热力图；

图8为本发明一个实施例所提供一种步态识别模型的训练装置的结构示意图；

图9为本发明一个实施例所提供的一种步态识别装置的结构示意图；

图10为本发明一个实施例所提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明一个实施例所提供的一种步态识别模型的训练方法的流程图，本实施例可适用于对应用在步态序列识别场景中的神经网络模型进行训练的情况，该方法可以由步态识别模型的训练装置来执行，该步态识别模型的训练装置可以采用硬件和/或软件的形式实现，该步态识别模型的训练装置可配置于终端设备中。如图1所示，该方法包括：

S110、将获取到的训练步态序列输入到初始步态识别模型中，并通过初始步态识别模型中的预处理网络，基于输入的训练步态序列，输出训练序列特征。

在一个具体实施例中，训练步态序列中包含至少三帧步态轮廓图。其中，步态轮廓图可以是通过摄像设备从真实场景中采集到的，也可以是从步态数据库中获取到的，如步态数据库中包括但不限于步态数据集GREW、步态数据集CASIA-B、步态数据集OUMVLP、步态数据集HID和步态数据集 Gait3D等等。此处对步态轮廓图的获取方式不作限定。

在一个具体实施例中，对获取到的步态数据执行预处理操作，得到原始步态数据，并原始步态数据，确定训练步态序列。其中，示例性的，预处理操作采用的可以是非模型的步态识别方法GaitGL采用的预处理方法，此处对步态数据的预处理方法不作限定。

在一个具体实施例中，该方法还包括：在预设采样长度小于或等于获取到的原始步态数据的数据长度的情况下，基于预设采样长度对原始步态数据执行采样操作，得到训练步态序列；在预设采样长度大于获取到的原始步态数据的数据长度的情况下，基于预设采样长度与数据长度之间的长度差值，确定采样步态数据，并将采样步态数据和原始步态数据的拼接结果作为训练步态序列。

其中，具体的，预设采样长度N可以表征训练步态序列中包含的步态轮廓图的总帧数，数据长度L可以表征原始步态数据中包含的步态轮廓图的总帧数。

在本实施例中，具体的，训练步态序列X_N满足下述表示：

其中，具体的，(x₁,x₂,...,x_L)表示原始步态数据，(x₁,x₂,...,x_N-L)表示对原始步态数据执行采样操作得到的采样步态数据，x_t表示原始步态数据中第t帧步态轮廓图，也是采样操作随机选取到的初始帧步态轮廓图。其中， t≥1。

在另一个实施例中，具体的，该方法还包括：在预设采样长度大于获取到的原始步态数据的数据长度的情况下，基于预设采样长度与数据长度之间的长度差值，确定采样步态数据；对原始步态数据和采样步态数据执行排序操作，得到训练步态序列。

在本实施例中，具体的，训练步态序列X_N满足下述表示：

虽然步态序列具备周期性，但在实际场景中采集到的某一周期内的步态序列中，前后相邻的步态轮廓图在步态动作上是连续的，而第一帧步态轮廓图与最后一帧步态轮廓图在步态动作上差异较大。如果在预设采样长度大于获取到的原始步态数据的数据长度的情况下，直接将采样步态数据和原始步态数据的拼接结果作为训练步态序列，会在时序建模上带来较大的噪声。这样设置的好处在于，可以避免原拼接处的前后相邻的步态轮廓图之间的差异性，提高了训练步态序列中的步态轮廓图在步态动作上的连续性，从而降低了时序建模的噪声。

在本实施例中，初始步态识别模型包括预处理网络、空间特征提取网络、时间特征提取网络和特征重映射网络。

其中，预处理网络用于基于输入的训练步态序列，输出训练序列特征。在一个具体实施例中，预处理网络的输出通道数大于3，相应的，训练序列特征包含与各步态轮廓图分别对应的训练步态特征，训练步态特征包含至少三个通道步态特征。

在一个具体实施例中，预处理网络采用二维卷积模块。其中，二维卷积模块的输出通道数大于3，训练步态特征包含各输出通道分别输出的通道步态特征。其中，示例性的，二维卷积模块的卷积核为5*5，输出通道数为64。当步态轮廓图为RGB图像时，二维卷积模块的输入通道数为3，当步态轮廓图为二值化的灰度图像时，二维卷积模块的输入通道书为1。此处对二维卷积模块的具体参数不作限定。

其中，示例性的，二维卷积模块采用LeakyReLU激活函数实现非线性化，得到与各步态轮廓图分别对应的多个通道步态特征。

S120、基于初始步态识别模型中的空间特征提取网络以及输入的训练序列特征，确定空间步态特征，以及基于初始步态识别模型中的时间特征提取网络以及输入的训练序列特征，确定时间步态特征。

在本实施例中，空间特征提取网络和时间特征提取网络均采用二维卷积模块。其中，具体的，空间特征提取网络和时间特征提取网络可以共用一个二维卷积模块，或者，空间特征提取网络和时间特征提取网络分别采用一个二维卷积模块，但两个二维卷积模块之间的模块参数共享。

在一个具体实施例中，空间特征提取网络包含特征空间模块和二维卷积模块，二维卷积模块对应至少三个通道卷积参数，空间步态特征包含与各训练步态特征分别对应的空间子步态特征，相应的，基于初始步态识别模型中的空间特征提取网络以及输入的训练序列特征，确定空间步态特征，包括：通过特征空间模块，针对每个训练步态特征，基于通道卷积参数的数量和当前训练步态特征，确定至少三个中间步态特征；其中，各中间步态特征中分别包含至少一个通道步态特征；通过二维卷积模块，基于各通道卷积参数以及与各通道卷积参数分别对应的中间步态特征，确定与当前训练步态特征对应的空间子步态特征。

其中，具体的，一般2D卷积模块的参数是R^{a×a×In×Out}，其中a×a表示卷积核的尺寸，In表示输入通道数，Out表示输出通道数。将2D卷积模块的模型参数分为多份，假设分为3份，则通道卷积参数为R^{a×a×(In/3)×Out}，具体的，不同通道卷积参数分别对应的卷积核的权重不同。示例性的，当通道卷积参数的数量为3时，2D卷积模块的模型参数W＝(w₁,w₂,w₃)。

其中，示例性的，假设当前训练步态特征为训练序列特征中与第t帧步态轮廓图对应的第t帧训练步态特征F_t，基于2D卷积模块的通道卷积参数的数量，在通道维度上对训练步态特征F_t进行拆分，得到至少三个中间步态特征。以上述举例为例，训练步态特征F_t可以表示为：

假设训练步态特征F_t包含9个通道步态特征，则上述每个中间步态特征分别包含3个通道步态特征。

在一个具体实施例中，2D卷积模块对应的通道卷积参数的数量为16 份。此处对通道卷积参数的数量不作限定。

其中，具体的，空间特征提取网络中的2D卷积模块对输入的训练步态特征F_t执行卷积操作得到的空间子步态特征

可以表示为：

a×a表示卷积核的尺寸，b表示输出通道数。

在一个具体实施例中，时间特征提取网络包括特征时间滑动模块和二维卷积模块，特征时间滑动模块对应至少一个时间跨度，时间步态特征包含与各训练步态特征分别对应的时间子步态特征，相应的，基于初始步态识别模型中的时间特征提取网络以及输入的训练序列特征，确定时间步态特征，包括：通过特征时间滑动模块，针对每个时间跨度和每个训练步态特征，基于当前时间跨度，确定当前训练步态特征对应的过去训练步态特征和将来训练步态特征；基于过去训练步态特征和将来训练步态特征，对当前训练步态特征中的各通道步态特征执行替换操作，得到当前滑动步态特征；通过二维卷积模块，基于输入的各时间跨度分别对应的当前滑动步态特征，确定与当前训练步态特征对应的时间子步态特征。

在一个具体实施例中，时间特征提取网络包括与至少一个时间跨度分别对应的特征时间滑动模块和二维卷积模块，各二维卷积模块的模块参数共享。在另一个实施例中，具体的，时间特征提取网络包括与至少一个时间跨度分别对应的特征时间滑动模块和一个二维卷积模块，其中，各特征时间滑动模块分别对应同一个二维卷积模块。在另一个实施例中，具体的，时间特征提取网络包括特征时间滑动模块和二维卷积模块，其中，特征时间滑动模块对应至少一个时间跨度。

其中，具体的，时间跨度可用于表征过去训练步态特征对应的过去步态轮廓图与当前训练步态特征对应的当前步态轮廓图之间的间隔帧数，或者，表征将来训练步态特征对应的将来步态轮廓图与当前训练步态特征对应的当前步态轮廓图之间的间隔帧数。其中，示例性的，假设当前训练步态特征为训练序列特征中与第t帧步态轮廓图对应的第t帧训练步态特征 F_t，时间跨度为i，则过去训练步态特征为训练序列特征中与第(t-i)帧步态轮廓图对应的第t-i帧训练步态特征F_t-i，将来训练步态特征为训练序列特征中与第(t+i)帧步态轮廓图对应的第(t+i)帧训练步态特征F_t+i，其中，训练步态特征F_t-i可以表示为：

训练步态特征F_t+i可以表示为：

在一个具体实施例中，二维卷积模块对应至少三个通道卷积参数，相应的，基于过去训练步态特征和将来训练步态特征，对当前训练步态特征中的各通道步态特征执行替换操作，得到当前滑动步态特征，包括：基于通道卷积参数的数量和当前训练步态特征，确定至少三个中间步态特征；其中，各中间步态特征中分别包含至少一个通道步态特征；基于预设替换特征集、过去训练步态特征和将来训练步态特征，对当前训练步态特征中的各中间步态特征执行替换操作，得到当前滑动步态特征。

在本实施例中，时间特征提取网络中的二维卷积模块的通道卷积参数与空间特征提取网络中的二维卷积模块的通道卷积参数相同。

在本实施例中，预设替换特征集中包含第一特征标识集和第二特征标识集，第一特征标识集中包含与过去训练步态特征对应的至少一个中间步态特征的特征标识，第二特征标识集中包含与将来训练步态特征对应的至少一个中间步态特征的特征标识，第一特征标识集中的特征标识与第二特征标识集中的特征标识不同。

其中，示例性的，假设通道卷积参数的数量为3，第一特征标识集中包含特征标识1，第二特征标识集中包含特征标识3，则当前滑动步态特征

假设通道卷积参数的数量为5，第一特征标识集中包含特征标识1和特征标识2，第二特征标识集中包含特征标识4和特征标识5，则当前滑动步态特征

或者第一特征标识集中包含特征标识1，第二特征标识集中包含特征标识5，则当前滑动步态特征

图2为本发明一个实施例所提供的一种特征时间滑动模块的原理图。具体的，图2中的横轴表示训练步态序列中的步态轮廓图的帧数，纵轴表示时间特征提取网络中的2D卷积模块对应的时间跨度，每个立方体分别表示与各步态轮廓图分别对应的训练步态特征，假设通道卷积数量为16，则立方体两侧的子立方体分别表示第一个中间步态特征和最后一个中间步态特征，中间的子立方体可以表示第2个-第15个中间步态特征。图2 中的c表示输出通道数，h和w表示训练步态特征的高和宽。其中，c大于或等于立方体对应的子立方体的数量，如图2中的每个立方体分别对应 3个子立方体，c≥3。其中，具体的，与第一个立方体对应的过去训练步态特征预先设置为0，与最后一个立方体对应的将来训练步态特征预先设置为0。图2以替换当前训练步态特征中的第一个中间步态特征和最后一个时间步态特征得到当前滑动步态特征为例进行示例性说明。

以通道卷积参数的数量为3为例，如果时间特征提取网络中的2D卷积模块对应一个时间跨度i，则2D卷积模块对输入的当前滑动步态特征F_t'执行卷积操作得到的时间子步态特征MTS(F_t)可以表示为：

如果时间特征提取网络中的2D卷积模块对应至少两个时间跨度，则 2D卷积模块基于输入的各时间跨度分别对应的当前滑动步态特征F_t'确定的时间子步态特征MTS(F_t)可以表示为：

其中，k表示时间特征提取网络中的2D卷积模块对应的时间跨度集合中的最大时间跨度，时间跨度集合中包含至少两个时间跨度，

表示与时间跨度i对应的当前滑动步态特征。

由于时间特征提取网络中的特征时间滑动模块对每个训练步态特征执行了先拆分后滑动组合的操作，使得得到的滑动步态特征在空间维度上存在特征损害。初始步态识别模型中的空间特征提取网络提取到的空间步态特征可以有效降低时间特征提取网络带来的空间特征的损害。

S130、通过初始步态识别模型中的特征重映射网络，基于输入的空间步态特征和时间步态特征，输出预测结果。

其中，示例性的，预测结果可以是与训练步态序列对应的预测分类概率。

S140、基于预测结果和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

其中，示例性的，标准结果可以是与训练步态序列对应的真实分类概率，模型参数的优化可以采用Adam(Adaptive moment estimation，自适应优化)算法。

本实施例的技术方案，通过设置初始步态识别模型包括预处理网络、空间特征提取网络、时间特征提取网络和特征重映网络，预处理网络用于基于输入的所述训练步态序列输出训练序列特征，空间特征提取网络用于基于输入的训练序列特征确定空间步态特征，时间特征提取网络用于基于输入的训练序列特征确定时间步态特征，其中，空间特征提取网络和所述时间特征提取网络均采用二维卷积模块，特征重映射网络用于基于输入的空间步态特征和时间步态特征输出预测结果，基于预测结果和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型，本发明实施例的初始步态识别模型在应用二维卷积模块的基础上，提取到了时间步态特征，解决了现有的步态识别模型的模型参数量大的问题，既降低了步态识别模型的训练难度，同时又使得训练得到的目标步态识别模型具备时序特征的提取能力，进而保证了目标步态识别模型的模型性能。

在一个具体实施例中，预测结果包括预测步态特征和/或预测分类概率，相应的，当预测结果包括预测步态特征时，特征重映射网络包括特征重映射模块，当预测结果包括预测分类概率时，特征重映射网络包括特征重映射模块和分类器。

图3为本发明一个实施例所提供的另一种步态识别模型的训练方法的流程图，本实施例以预测结果包括预测步态特征和预测分类概率为例进行示例性说明。如图3所示，该方法包括：

S210、将获取到的训练步态序列输入到初始步态识别模型中，并通过初始步态识别模型中的预处理网络，基于输入的训练步态序列，输出训练序列特征。

S220、基于初始步态识别模型中的空间特征提取网络以及输入的训练序列特征，确定空间步态特征，以及基于初始步态识别模型中的时间特征提取网络以及输入的训练序列特征，确定时间步态特征。

在上述实施例的基础上，具体的，初始步态识别模型包含至少两组空间特征提取网络和时间特征提取网络，各组空间特征提取网络和时间特征提取网络分别采用的二维卷积模块的通道卷积参数的数量、通道卷积参数的参数值以及时间特征提取网络中的特征时间滑动模块对应的时间跨度中至少一种不同。

在一个具体实施例中，不同组中二维卷积模块的通道卷积参数的数量不同，如第1组中的二维卷积模块的通道卷积参数的数量为16，第2组中的二维卷积模块的通道卷积参数的数量为8；不同组中的二维卷积模块的通道卷积参数的参数值不同，示例性的，通道卷积参数的参数值包括卷积核的尺寸和/或卷积核的权重，如第1组中第1个通道卷积参数的参数值为R^{a×a×(In/3)×Out}，第2组中第1个通道卷积参数的参数值为R^{d×d×(In/3)×Out}；不同组中时间特征提取网络中的特征时间滑动模块对应的时间跨度不同，如第1组中的时间特征提取网络中的特征时间滑动模块对应的时间跨度包括1、2和3，第2组中的时间特征提取网络中的特征时间滑动模块对应的时间跨度包括4和5。

这样设置的好处在于，增加了特征提取参数的参数值的多样性，从而提高了提取到的时间步态特征和空间步态特征的多样性，进而可以提高训练得到的目标步态识别模型的模型性能。

S230、通过初始步态识别模型中的特征重映射网络，基于输入的空间步态特征和时间步态特征，输出预测步态特征和预测分类概率。

在本实施例中，特征重映射网络包括特征重映射模块和分类器，其中，预测步态特征为特征重映射模块的输出结果，预测分类概率为分类器的输出结果。

在一个具体实施例中，预测步态特征包含至少两个预测子步态特征，特征重映射模块包括时间池化层、水平金字塔池化层和至少两个全连接层，其中，时间池化层用于基于输入的空间步态特征和时间步态特征，输出第一降采样特征，水平金字塔池化层用于基于输入的第一降采样特征，输出与至少两个预设水平尺度分别对应的第二降采样特征，各全连接层分别用于基于各自输入的第二降采样特征，输出预测子步态特征。

其中，具体的，不同的训练步态序列分别对应的采样长度可能不同，从而导致各训练步态特征分别对应的空间步态特征和时间步态特征的长度不一致。特征重映射模块中的时间池化层可以对输入的空间步态特征和时间步态特征执行池化操作，使得不同训练步态序列分别对应的第一降采样特征在时序维度上保持一致。

其中，水平金字塔池化层的作用是为了对时间步态特征和空间步态特征进行进一步优化。

在一个具体实施例中，分类器包括全连接层和批量归一化层。此处对分类器的网络架构不作限定。

S240、基于预测步态特征、预测分类概率和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

其中，具体的，基于预测步态特征和与预测步态特征对应的标准结果，确定第一损失函数，以及基于预测分类概率以及与预测分类概率对应的真实分类概率，确定第二损失函数，基于第一损失函数和第二损失函数，确定目标损失函数，基于目标损失函数对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

其中，预测分类概率可以表征训练步态序列与至少两种真实行人标识分别对应的预测概率值，真实分类概率可以表征训练步态序列与至少两种真实行人标识分别对应的真实概率值。

在一个具体实施例中，在预测结果包括预测步态特征的情况下，将与训练步态序列对应的正样本步态序列和负样本步态序列分别输入到初始步态识别模型中，得到输出的正样本步态特征和负样本步态特征；将正样本步态特征和负样本步态特征作为与预测步态特征对应的标准结果。

其中，具体的，正样本步态序列对应的真实分类概率与训练步态序列对应的真实分类概率相同，负样本步态序列对应的真实分类概率与训练步态序列对应的真实分类概率不同。

其中，示例性的，第一损失函数可以是三元组损失函数，具体的，第一损失函数L_tri满足公式：

其中，

表示训练步态序列，

表示正样本步态序列，

表示负样本步态序列，N表示训练步态序列中包含的步态轮廓图的数量，m表示阈值参数，M(*)表示特征重映射模块的输出结果，“+”表示取值为非负数操作。

三元组损失函数可以使得初始步态识别模型学习拉近预测步态特征与正样本步态特征之间的特征距离，推远预测步态特征与负样本步态特征之间的特征距离。

其中，示例性的，第二损失函数可以是交叉熵损失函数，具体的，第二损失函数L_ce满足公式：

其中，N表示训练步态序列中包含的步态轮廓图的数量，C表示真实行人标识对应的类别数，

表示第i个训练步态序列第c种真实行人标识的真实概率值，

表示第i个训练步态序列对应第c种真实行人标识的预测概率值。

其中，具体的，目标损失函数L_total满足公式：

L_total＝αL_tri+βL_ce

其中，α表示第一损失函数对应的权重系数，β表示第二损失函数对应的权重系数。

图4为本发明一个实施例所提供的一种步态识别模型的训练方法的具体实例的原理图。具体的，步态识别模型的训练过程包括(a)序列特征的提取部分、(b)步态特征的时间信息提取部分和(c)步态特征重映射和训练部分。在(a)序列特征的提取过程中，对获取到的原始步态数据执行采样操作，得到训练步态序列，其中，训练步态序列中包含N帧步态轮廓图，将训练步态序列输入到初始步态识别模型中的预处理网络中，得到输出的训练序列特征，进入(b)步态特征的时间信息提取部分。其中，训练序列特征包含与N帧步态轮廓图分别对应的训练步态特征。其中，预处理网络采用2D卷积模块和LeakyReLU激活函数。

图4中的“5×”表示本实施例中的初始步态识别模型中包含5组空间特征提取网络(对应图4中的空间支路)和时间特征提取网络(对应图4 中的多尺度时间支路)。

在(b)步态特征的时间信息提取过程中，针对每组空间特征提取网络和时间特征提取网络，时间特征提取网络中的特征时间滑动模块对应k个时间跨度，将训练序列特征复制(k+1)份，将1份训练序列特征输入到空间特征提取网络中，以及将k份训练序列特征分别输入到时间特征提取网络中的与各时间跨度分别对应的特征时间模块中，得到空间特征提取网络输出的与训练序列特征对应的空间步态特征以及时间特征提取网络输出的与训练序列特征对应的时间步态特征。空间步态特征和时间步态特征在经过最大池化层和LeakyReLU激活函数后进入到(c)步态特征重映射和训练部分。

在(c)步态特征重映射和训练过程，(b)部分的输出结果在经过特征重映射网络中的特征重映射模块后，得到输出的预测步态特征，(b) 部分的输出结果在经过特征重映射网络中的特征重映射模块和分类器后，得到输出的预测分类概率。其中，具体的，基于预测步态特征、正样本步态特征和负样本步态特征构建三元组损失函数，基于预测分类概率和真实分类概率构建交叉熵损失函数，基于三元组损失函数和交叉熵损失函数，对初始步态识别模型进行训练，得到训练完成的目标步态识别模型。

本实施例的技术方案，通过初始步态识别模型中的特征重映射网络，基于输入的空间步态特征和时间步态特征，输出预测步态特征和预测分类概率，基于预测步态特征、预测分类概率和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型，解决了目标步态识别模型的训练效果不佳的问题，进一步保证了训练得到的目标步态识别模型的模型性能。

图5为本发明一个实施例所提供的一种步态识别方法的流程图，本实施例可适用于对步态数据对应的行人身份进行识别的情况，该方法可以由步态识别装置来执行，该步态识别装置可以采用硬件和/或软件的形式实现，该步态识别装置可配置于终端设备中。如图5所示，该方法包括：

S310、获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列。

其中，示例性的，待匹配步态序列可以是采用摄像设备最新采集到的步态序列，预设步态序列可以是摄像设备之前采集到的步态序列或者步态数据库中已存储的步态序列。

S320、将待匹配步态序列和各预设步态序列分别输入到目标步态识别模型中，得到输出的待匹配步态特征和至少一个预设步态特征。

本实施例中的目标步态识别模型是基于上述实施例中的步态识别模型的训练方法训练得到的，此处不再赘述。

其中，以待匹配步态序列为例，将待匹配步态序列输入到目标步态识别模型中，通过目标步态识别模型中的预处理网络，基于输入的待匹配步态序列，输出待匹配序列特征，基于目标步态识别模型中的空间特征提取网络以及输入的待匹配序列特征，确定空间步态特征，以及基于目标步态识别模型中的时间特征提取网络以及输入的待匹配序列特征，确定时间步态特征，其中，空间特征提取网络和时间特征提取网络均采用二维卷积模块。通过目标步态识别模型中的特征重映射网络中的特征重映射模块，基于输入的空间步态特征和时间步态特征，输出待匹配步态序列对应的待匹配步态特征。

S330、基于待匹配步态特征与各预设步态特征分别对应的特征距离，确定与待匹配步态序列对应的目标行人标识。

其中，示例性的，特征距离的类型包括但不限于余弦距离、欧式距离或曼哈顿距离等等。

在一个具体实施例中，将最小的特征距离对应的预设步态特征作为目标步态特征，将目标步态特征对应的真实行人标识作为待匹配步态序列对应的目标行人标识。

图6为本发明一个实施例所提供的一种步态识别方法的具体实例的流程图。具体的，对步态数据依次执行预处理操作和采样操作，得到步态序列，将步态序列输入到预处理网络中，得到输出的序列步态特征，将序列步态特征分别输入到空间特征提取网络和时间特征提取网络中，得到输出的空间步态特征和时间步态特征，将空间步态特征和时间步态特征输入到特征重映射网络中，得到输出的参考步态特征。如果当前阶段为训练阶段，则参考步态特征为预测步态特征，基于预测步态特征构建目标损失函数，并采用Amda算法对初始步态识别模型的模型参数进行优化，得到训练完成的目标步态识别模型。如果当前阶段不是训练阶段，则参考步态特征为待匹配步态特征，确定待匹配步态特征与至少一个预设步态特征分别对应的特征距离并排序，将最小的特征距离对应的预设步态特征作为目标步态特征，将目标步态特征对应的真实行人标识作为待匹配步态序列对应的目标行人标识。

表1为本发明一个实施例所提供的应用步态数据集GREW在多个对照步态识别方法上得到的性能分数。

其中，Rank-k表示步态识别结果中最靠前(置信度最高)的k个步态序列中存在正确识别结果的概率。

基于模型的方法中的PoseGait和GaitGraph主要建模对象是人体的结构化模型，如人体关键点序列等，因为仅依靠稀疏的人体关键点序列会丢失很多有用的步态信息，如人体体型和外貌等特征。从表1中可以得到，基于模型的方法中的PoseGait和GaitGraph相比于基于非模型的方法(如 GEINet、GaitSet、GaitPart和GaitGL)性能相差巨大。在基于非模型的方法中，相对来说，GEINet取得的结果最差，分析原因可能是GEINet采用步态能量图(GEI)作为模型输入，同样存在着大量有用的步态信息的丢失。而采用本发明实施例提供的目标步态识别模型的步态识别方法(最下面一行)取得了最佳的性能分数，远超传统的步态识别方法，例如，相比于GaitGL方法，本发明实施例提供的步态识别方法实现了8.04％的 Rank-1提升。对比表1中的w/o MTS(含义为不包含时间特征提取网络) 方法和本发明实施例的步态识别方法，本发明实施例的目标步态识别模型中包含时间特征提取网络(MTS)，在不增加额外模型参数量的前提下，在GREW数据集上，相比于w/o MTS提升了4.90％的Rank-1，充分说明了本发明实施例在目标步态识别模型中增加的MTS的有效性。

表2为本发明一个实施例所提供的应用步态数据集Gait3D在多个对照步态识别方法上得到的性能分数。

其中，mAP可用于衡量步态识别方法在所有真实行人标识上的好坏，mINP越大表示步态识别方法正确识别的位置越靠前，步态识别方法的性能越好。

从表2可以得到，针对步态数据集Gait3D，采用本发明实施例提供的步态识别方法(最下面一行)同样取得了最佳的性能，远超传统的步态识别方法。例如，相比于GaitSet方法，本发明实施例提供的步态识别方法实现了12％的Rank-1提升。与表2中的w/o MTS方法相比，本发明实施例提出的多尺度时间特征提取网络(MTS)，在Gait3D数据集上，提升了5.80％的Rank-1。特别的，我们发现，GaitGL在步态数据集Gait3D数据集上的表现不佳，分析原因认为，步态数据集Gait3D相比步态数据集GREW存在大量的俯视视角，也就是三维视角变化现象严重，导致GaitGL的3D卷积网络在建模过程中，存在特征不对齐问题，例如上一帧出现手的位置，由于三维视角变化，在下一帧可能变成了脚。本发明实施例提供的步态识别方法通过在时间特征提取网络中设置通道间的时间滑动，巧妙地避免了这种在空间位置上的不对齐的问题，使得本发明实施例所提出的步态识别方法具有很好的泛化性，在步态数据集Gait3D上同样具有很好的识别效果。

图7为本发明一个实施例所提供的一种待匹配步态特征的可视化热力图。可视化热力图可以表示步态轮廓图中不同图像区域对识别结果的贡献度。从图7可以看出，相比传统的步态识别方法，针对3帧步态轮廓图，本发明实施例所提供的目标步态识别模型都可以更多的关注到脚部运动上，这表明本发明所提出的时间特征提取网络实现了有效的步态时序特征建模，可以保证目标步态识别模型的模型性能。

本实施例的技术方案，通过获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列；将待匹配步态序列和各预设步态序列分别输入到上述实施例训练得到的目标步态识别模型中，得到输出的待匹配步态特征和至少一个预设步态特征；基于待匹配步态特征与各预设步态特征分别对应的特征距离，确定与待匹配步态序列对应的目标行人标识，解决了现有的步态识别模型的模型参数量大的问题，同时目标步态识别模型提取到的步态特征具备多样性，保证了训练得到的目标步态识别模型的模型性能，进而提高了识别到的目标行人标识的准确率。

图8为本发明一个实施例所提供一种步态识别模型的训练装置的结构示意图。如图8所示，该装置包括：训练序列特征输出模块410、时间步态特征输出模块420、预测结果输出模块430和目标步态识别模型训练模块440。

其中，训练序列特征输出模块410，用于将获取到的训练步态序列输入到初始步态识别模型中，并通过初始步态识别模型中的预处理网络，基于输入的训练步态序列，输出训练序列特征；

时间步态特征输出模块420，用于基于初始步态识别模型中的空间特征提取网络以及输入的训练序列特征，确定空间步态特征，以及基于初始步态识别模型中的时间特征提取网络以及输入的训练序列特征，确定时间步态特征；其中，空间特征提取网络和时间特征提取网络均采用二维卷积模块；

预测结果输出模块430，用于通过初始步态识别模型中的特征重映射网络，基于输入的空间步态特征和时间步态特征，输出预测结果；

目标步态识别模型训练模块440，用于基于预测结果和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

在上述实施例的基础上，具体的，训练步态序列中包含至少三帧步态轮廓图，预处理网络的输出通道数大于3，相应的，训练序列特征包含与各步态轮廓图分别对应的训练步态特征，训练步态特征包含至少三个通道步态特征。

在上述实施例的基础上，具体的，空间特征提取网络包含特征空间模块和二维卷积模块，二维卷积模块对应至少三个通道卷积参数，空间步态特征包含与各训练步态特征分别对应的空间子步态特征，相应的，时间步态特征输出模块420，包括：

空间特征提取单元，用于通过特征空间模块，针对每个训练步态特征，基于通道卷积参数的数量和当前训练步态特征，确定至少三个中间步态特征；其中，各中间步态特征中分别包含至少一个通道步态特征；

通过二维卷积模块，基于各通道卷积参数以及与各通道卷积参数分别对应的中间步态特征，确定与当前训练步态特征对应的空间子步态特征。

在上述实施例的基础上，具体的，时间特征提取网络包括特征时间滑动模块和二维卷积模块，特征时间滑动模块对应至少一个时间跨度，时间步态特征包含与各训练步态特征分别对应的时间子步态特征，相应的，时间步态特征输出模块420，包括：

过去训练步态特征确定单元，用于通过特征时间滑动模块，针对每个时间跨度和每个训练步态特征，基于当前时间跨度，确定当前训练步态特征对应的过去训练步态特征和将来训练步态特征；

当前滑动步态特征确定单元，用于基于过去训练步态特征和将来训练步态特征，对当前训练步态特征中的各通道步态特征执行替换操作，得到当前滑动步态特征；

时间子步态特征确定单元，用于通过二维卷积模块，基于输入的各时间跨度分别对应的当前滑动步态特征，确定与当前训练步态特征对应的时间子步态特征。

在上述实施例的基础上，具体的，二维卷积模块对应至少三个通道卷积参数，当前滑动步态特征确定单元，具体用于：

基于通道卷积参数的数量和当前训练步态特征，确定至少三个中间步态特征；其中，各中间步态特征中分别包含至少一个通道步态特征；

基于预设替换特征集、过去训练步态特征和将来训练步态特征，对当前训练步态特征中的各中间步态特征执行替换操作，得到当前滑动步态特征；

其中，预设替换特征集中包含第一特征标识集和第二特征标识集，第一特征标识集中包含与过去训练步态特征对应的至少一个中间步态特征的特征标识，第二特征标识集中包含与将来训练步态特征对应的至少一个中间步态特征的特征标识，第一特征标识集中的特征标识与第二特征标识集中的特征标识不同。

在上述实施例的基础上，具体的，预测结果包括预测步态特征和/或预测分类概率，相应的，当预测结果包括预测步态特征时，特征重映射网络包括特征重映射模块，当预测结果包括预测分类概率时，特征重映射网络包括特征重映射模块和分类器。

在上述实施例的基础上，具体的，预测步态特征包含至少两个预测子步态特征，特征重映射模块包括时间池化层、水平金字塔池化层和至少两个全连接层，其中，时间池化层用于基于输入的空间步态特征和时间步态特征，输出第一降采样特征，水平金字塔池化层用于基于输入的第一降采样特征，输出与至少两个预设水平尺度分别对应的第二降采样特征，各全连接层分别用于基于各自输入的第二降采样特征，输出预测子步态特征。

在上述实施例的基础上，具体的，该装置还包括：

标准结果确定模块，用于在预测结果包括预测步态特征的情况下，将与训练步态序列对应的正样本步态序列和负样本步态序列分别输入到初始步态识别模型中，得到输出的正样本步态特征和负样本步态特征；

将正样本步态特征和负样本步态特征作为与预测步态特征对应的标准结果。

在上述实施例的基础上，具体的，该装置还包括：

训练步态序列确定模块，用于在预设采样长度大于获取到的原始步态数据的数据长度的情况下，基于预设采样长度与数据长度之间的长度差值，确定采样步态数据；

对原始步态数据和采样步态数据执行排序操作，得到训练步态序列。

本发明实施例所提供的步态识别模型的训练装置可执行本发明任意实施例所提供的步态识别模型的训练方法，具备执行方法相应的功能模块和有益效果。

图9为本发明一个实施例所提供的一种步态识别装置的结构示意图。如图9所示，该装置包括：待匹配步态序列获取模块510、待匹配步态序列输入模块520和目标行人标识确定模块530。

其中，待匹配步态序列获取模块510，用于获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列；

待匹配步态序列输入模块520，用于将待匹配步态序列和各预设步态序列分别输入到预先训练完成的目标步态识别模型中，得到输出的待匹配步态特征和至少一个预设步态特征；

目标行人标识确定模块530，用于基于待匹配步态特征与各预设步态特征分别对应的特征距离，确定与待匹配步态序列对应的目标行人标识；

其中，目标步态识别模型是按照本发明上述实施例所提供的步态识别模型的训练方法训练得到的。

本发明实施例所提供的步态识别装置可执行本发明任意实施例所提供的步态识别方法，具备执行方法相应的功能模块和有益效果。

图10为本发明一个实施例所提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等) 和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器 (RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元 (GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如步态识别模型的训练方法或者步态识别方法。

在一些实施例中，步态识别模型的训练方法或者步态识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元 18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到 RAM 13并由处理器11执行时，可以执行上文描述的步态识别模型的训练方法或者步态识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行步态识别模型的训练方法或者步态识别方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路系统、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储 ***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种步态识别模型的训练方法，该方法包括：

将获取到的训练步态序列输入到初始步态识别模型中，并通过初始步态识别模型中的预处理网络，基于输入的训练步态序列，输出训练序列特征；

基于初始步态识别模型中的空间特征提取网络以及输入的训练序列特征，确定空间步态特征，以及基于初始步态识别模型中的时间特征提取网络以及输入的训练序列特征，确定时间步态特征；其中，空间特征提取网络和时间特征提取网络均采用二维卷积模块；

通过初始步态识别模型中的特征重映射网络，基于输入的空间步态特征和时间步态特征，输出预测结果；

基于预测结果和标准结果，对初始步态识别模型的模型参数进行调整，得到训练完成的目标步态识别模型。

或者，计算机指令用于使处理器执行一种步态识别方法，该方法包括：

将待匹配步态序列和各预设步态序列分别输入到目标步态识别模型中，得到输出的待匹配步态特征和至少一个预设步态特征；

基于待匹配步态特征与各预设步态特征分别对应的特征距离，确定与待匹配步态序列对应的目标行人标识；

其中，目标步态识别模型是按照本发明上述实施例提供的步态识别模型的训练方法训练得到的。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种步态识别模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述训练步态序列中包含至少三帧步态轮廓图，所述预处理网络的输出通道数大于3，相应的，所述训练序列特征包含与各所述步态轮廓图分别对应的训练步态特征，所述训练步态特征包含至少三个通道步态特征。

3.根据权利要求2所述的方法，其特征在于，所述空间特征提取网络包含特征空间模块和二维卷积模块，所述二维卷积模块对应至少三个通道卷积参数，所述空间步态特征包含与各所述训练步态特征分别对应的空间子步态特征，相应的，所述基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训练序列特征，确定空间步态特征，包括：

通过所述特征空间模块，针对每个训练步态特征，基于所述通道卷积参数的数量和当前训练步态特征，确定至少三个中间步态特征；其中，各所述中间步态特征中分别包含至少一个通道步态特征；

通过所述二维卷积模块，基于各所述通道卷积参数以及与各所述通道卷积参数分别对应的中间步态特征，确定与所述当前训练步态特征对应的空间子步态特征。

4.根据权利要求2所述的方法，其特征在于，所述时间特征提取网络包括特征时间滑动模块和二维卷积模块，所述特征时间滑动模块对应至少一个时间跨度，所述时间步态特征包含与各所述训练步态特征分别对应的时间子步态特征，相应的，所述基于所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列特征，确定时间步态特征，包括：

通过所述特征时间滑动模块，针对每个时间跨度和每个训练步态特征，基于当前时间跨度，确定当前训练步态特征对应的过去训练步态特征和将来训练步态特征；

基于所述过去训练步态特征和将来训练步态特征，对所述当前训练步态特征中的各所述通道步态特征执行替换操作，得到当前滑动步态特征；

通过所述二维卷积模块，基于输入的各所述时间跨度分别对应的当前滑动步态特征，确定与所述当前训练步态特征对应的时间子步态特征。

5.根据权利要求4所述的方法，其特征在于，所述二维卷积模块对应至少三个通道卷积参数，相应的，基于所述过去训练步态特征和将来训练步态特征，对所述当前训练步态特征中的各所述通道步态特征执行替换操作，得到当前滑动步态特征，包括：

基于所述通道卷积参数的数量和所述当前训练步态特征，确定至少三个中间步态特征；其中，各所述中间步态特征中分别包含至少一个通道步态特征；

基于预设替换特征集、所述过去训练步态特征和将来训练步态特征，对所述当前训练步态特征中的各所述中间步态特征执行替换操作，得到当前滑动步态特征；

其中，所述预设替换特征集中包含第一特征标识集和第二特征标识集，所述第一特征标识集中包含与所述过去训练步态特征对应的至少一个中间步态特征的特征标识，所述第二特征标识集中包含与所述将来训练步态特征对应的至少一个中间步态特征的特征标识，所述第一特征标识集中的特征标识与所述第二特征标识集中的特征标识不同。

6.根据权利要求5所述的方法，其特征在于，所述初始步态识别模型包含至少两组空间特征提取网络和时间特征提取网络，各组空间特征提取网络和时间特征提取网络分别采用的二维卷积模块的通道卷积参数的数量、通道卷积参数的参数值以及所述时间特征提取网络中的特征时间滑动模块对应的时间跨度中至少一种不同。

7.根据权利要求1所述的方法，其特征在于，所述预测结果包括预测步态特征和/或预测分类概率，相应的，当所述预测结果包括预测步态特征时，所述特征重映射网络包括特征重映射模块，当所述预测结果包括预测分类概率时，所述特征重映射网络包括特征重映射模块和分类器。

8.根据权利要求7所述的方法，其特征在于，所述预测步态特征包含至少两个预测子步态特征，所述特征重映射模块包括时间池化层、水平金字塔池化层和至少两个全连接层，其中，所述时间池化层用于基于输入的空间步态特征和时间步态特征，输出第一降采样特征，所述水平金字塔池化层用于基于输入的第一降采样特征，输出与至少两个预设水平尺度分别对应的第二降采样特征，各所述全连接层分别用于基于各自输入的第二降采样特征，输出预测子步态特征。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在所述预测结果包括预测步态特征的情况下，将与所述训练步态序列对应的正样本步态序列和负样本步态序列分别输入到所述初始步态识别模型中，得到输出的正样本步态特征和负样本步态特征；

将所述正样本步态特征和负样本步态特征作为与所述预测步态特征对应的标准结果。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

在预设采样长度大于获取到的原始步态数据的数据长度的情况下，基于所述预设采样长度与所述数据长度之间的长度差值，确定采样步态数据；

对所述原始步态数据和所述采样步态数据执行排序操作，得到训练步态序列。

11.一种步态识别方法，其特征在于，所述方法包括：

其中，所述目标步态识别模型是按照权利要求1-10任一项所述的步态识别模型的训练方法训练得到的。

12.一种步态识别模型的训练装置，其特征在于，包括：

13.一种步态识别装置，其特征在于，包括：

14.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的步态识别模型的训练方法或权利要求11所述的步态识别方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-10中任一项所述的步态识别模型的训练方法或权利要求11所述的步态识别方法。