CN115641643A - 步态识别模型的训练方法、步态识别方法、装置及设备 - Google Patents
步态识别模型的训练方法、步态识别方法、装置及设备 Download PDFInfo
- Publication number
- CN115641643A CN115641643A CN202211139252.3A CN202211139252A CN115641643A CN 115641643 A CN115641643 A CN 115641643A CN 202211139252 A CN202211139252 A CN 202211139252A CN 115641643 A CN115641643 A CN 115641643A
- Authority
- CN
- China
- Prior art keywords
- gait
- feature
- training
- features
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 820
- 238000012549 training Methods 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000000605 extraction Methods 0.000 claims abstract description 117
- 230000002123 temporal effect Effects 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000005070 sampling Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种步态识别模型的训练方法、步态识别方法、装置及设备。该方法包括:将获取到的训练步态序列输入到初始步态识别模型中,通过初始步态识别模型中的预处理网络,基于输入的训练步态序列,输出训练序列特征;基于空间特征提取网络以及输入的训练序列特征,确定空间步态特征,以及基于时间特征提取网络以及输入的训练序列特征,确定时间步态特征;其中,空间特征提取网络和时间特征提取网络均采用二维卷积模块;通过特征重映射网络,基于空间步态特征和时间步态特征,输出预测结果;基于预测结果和标准结果,对初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识别模型。本发明实施例解决了模型难以训练的问题。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种步态识别模型的训练方 法、步态识别方法、装置及设备。
背景技术
步态是一种生物特征,能够反映行人的行走模式,由于存在运动差异 和体型差异,每个人的步态特征都是唯一的。步态识别技术相比于人脸识 别、虹膜识别和行人重识别等技术,具有可远距离获取、分辨率要求低和 难以伪装等优势,在刑事侦查、找寻丢失人群和社会治安等方面有着重要 的现实意义。
步态识别技术可应用于智能园区、智能楼宇、智能安防等场景中的无 接触式身份识别与验证,通过摄像头拍摄人员行走的步态视频,即可无接 触、无交互地实现人员身份自动识别与认证。
在实现本发明的过程中,发现现有技术中至少存在以下技术问题:
真实场景下的步态识别存在大量的遮挡、三维视角变化和速度变化不 定等挑战,为了满足识别准确率的要求,传统的步态识别方法采用的步态 识别模型的模型架构复杂,存在模型参数量大和模型难以训练的问题。
发明内容
本发明实施例提供了一种步态识别模型的训练方法、步态识别方法、 装置及设备,以解决现有的步态识别模型的模型参数量大的问题,在保证 步态识别模型的训练效果的同时,降低步态识别模型的训练难度。
根据本发明一个实施例提供了一种步态识别模型的训练方法,该方法 包括:
将获取到的训练步态序列输入到初始步态识别模型中,并通过所述初 始步态识别模型中的预处理网络,基于输入的所述训练步态序列,输出训 练序列特征;
基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训 练序列特征,确定空间步态特征,以及基于所述初始步态识别模型中的时 间特征提取网络以及输入的所述训练序列特征,确定时间步态特征;其中, 所述空间特征提取网络和所述时间特征提取网络均采用二维卷积模块;
通过所述初始步态识别模型中的特征重映射网络,基于输入的所述空 间步态特征和时间步态特征,输出预测结果;
基于所述预测结果和标准结果,对所述初始步态识别模型的模型参数 进行调整,得到训练完成的目标步态识别模型。
根据本发明另一个实施例提供了一种步态识别方法,该方法包括:
获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序 列;
将所述待匹配步态序列和各所述预设步态序列分别输入到目标步态识 别模型中,得到输出的待匹配步态特征和至少一个预设步态特征;
基于所述待匹配步态特征与各所述预设步态特征分别对应的特征距离, 确定与所述待匹配步态序列对应的目标行人标识;
其中,所述目标步态识别模型是按照本发明任一实施例所述的步态识 别模型的训练方法训练得到的。
根据本发明一个实施例提供了一种步态识别模型的训练装置,该装置 包括:
训练序列特征输出模块,用于将获取到的训练步态序列输入到初始步 态识别模型中,并通过所述初始步态识别模型中的预处理网络,基于输入 的所述训练步态序列,输出训练序列特征;
时间步态特征输出模块,用于基于所述初始步态识别模型中的空间特 征提取网络以及输入的所述训练序列特征,确定空间步态特征,以及基于 所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列 特征,确定时间步态特征;其中,所述空间特征提取网络和所述时间特征 提取网络均采用二维卷积模块;
预测结果输出模块,用于通过所述初始步态识别模型中的特征重映射 网络,基于输入的所述空间步态特征和时间步态特征,输出预测结果;
目标步态识别模型训练模块,用于基于所述预测结果和标准结果,对 所述初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识 别模型。
根据本发明另一个实施例提供了一种步态识别装置,该装置包括:
待匹配步态序列获取模块,用于获取待匹配步态序列以及与至少一个 行人标识分别对应的预设步态序列;
待匹配步态序列输入模块,用于将所述待匹配步态序列和各所述预设 步态序列分别输入到预先训练完成的目标步态识别模型中,得到输出的待 匹配步态特征和至少一个预设步态特征;
目标行人标识确定模块,用于基于所述待匹配步态特征与各所述预设 步态特征分别对应的特征距离,确定与所述待匹配步态序列对应的目标行 人标识;
其中,所述目标步态识别模型是按照本发明任一实施例所述的步态识 别模型的训练方法训练得到的。
根据本发明另一个实施例提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述 计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执 行本发明任一实施例所述的步态识别模型的训练方法或者步态识别方法。
根据本发明另一个实施例,提供了一种计算机可读存储介质,所述计 算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行 时实现本发明任一实施例所述的步态识别模型的训练方法或者步态识别 方法。
本发明实施例的技术方案,通过设置初始步态识别模型包括预处理网 络、空间特征提取网络、时间特征提取网络和特征重映网络,预处理网络 用于基于输入的所述训练步态序列输出训练序列特征,空间特征提取网络 用于基于输入的训练序列特征确定空间步态特征,时间特征提取网络用于 基于输入的训练序列特征确定时间步态特征,其中,空间特征提取网络和 所述时间特征提取网络均采用二维卷积模块,特征重映射网络用于基于输 入的空间步态特征和时间步态特征输出预测结果,基于预测结果和标准结 果,对初始步态识别模型的模型参数进行调整,得到训练完成的目标步态 识别模型,本发明实施例的初始步态识别模型在应用二维卷积模块的基础 上,提取到了时间步态特征,解决了现有的步态识别模型的模型参数量大 的问题,既降低了步态识别模型的训练难度,同时又使得训练得到的目标 步态识别模型具备时序特征的提取能力,进而保证了目标步态识别模型的模型性能。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键 或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下 的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述 中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅 是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性 劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种步态识别模型的训练方法的流 程图;
图2为本发明一个实施例所提供的一种特征时间滑动模块的原理图;
图3为本发明一个实施例所提供的另一种步态识别模型的训练方法的 流程图;
图4为本发明一个实施例所提供的一种步态识别模型的训练方法的具 体实例的原理图;
图5为本发明一个实施例所提供的一种步态识别方法的流程图;
图6为本发明一个实施例所提供的一种步态识别方法的具体实例的流 程图;
图7为本发明一个实施例所提供的一种待匹配步态特征的可视化热力 图;
图8为本发明一个实施例所提供一种步态识别模型的训练装置的结构 示意图;
图9为本发明一个实施例所提供的一种步态识别装置的结构示意图;
图10为本发明一个实施例所提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施 例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动 前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或 先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描 述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实 施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖 不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产 品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地 列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明一个实施例所提供的一种步态识别模型的训练方法的流 程图,本实施例可适用于对应用在步态序列识别场景中的神经网络模型进 行训练的情况,该方法可以由步态识别模型的训练装置来执行,该步态识 别模型的训练装置可以采用硬件和/或软件的形式实现,该步态识别模型 的训练装置可配置于终端设备中。如图1所示,该方法包括:
S110、将获取到的训练步态序列输入到初始步态识别模型中,并通过 初始步态识别模型中的预处理网络,基于输入的训练步态序列,输出训练 序列特征。
在一个具体实施例中,训练步态序列中包含至少三帧步态轮廓图。其 中,步态轮廓图可以是通过摄像设备从真实场景中采集到的,也可以是从 步态数据库中获取到的,如步态数据库中包括但不限于步态数据集GREW、 步态数据集CASIA-B、步态数据集OUMVLP、步态数据集HID和步态数据集 Gait3D等等。此处对步态轮廓图的获取方式不作限定。
在一个具体实施例中,对获取到的步态数据执行预处理操作,得到原 始步态数据,并原始步态数据,确定训练步态序列。其中,示例性的,预 处理操作采用的可以是非模型的步态识别方法GaitGL采用的预处理方法, 此处对步态数据的预处理方法不作限定。
在一个具体实施例中,该方法还包括:在预设采样长度小于或等于获 取到的原始步态数据的数据长度的情况下,基于预设采样长度对原始步态 数据执行采样操作,得到训练步态序列;在预设采样长度大于获取到的原 始步态数据的数据长度的情况下,基于预设采样长度与数据长度之间的长 度差值,确定采样步态数据,并将采样步态数据和原始步态数据的拼接结 果作为训练步态序列。
其中,具体的,预设采样长度N可以表征训练步态序列中包含的步态 轮廓图的总帧数,数据长度L可以表征原始步态数据中包含的步态轮廓图 的总帧数。
在本实施例中,具体的,训练步态序列XN满足下述表示:
其中,具体的,(x1,x2,...,xL)表示原始步态数据,(x1,x2,...,xN-L)表示对 原始步态数据执行采样操作得到的采样步态数据,xt表示原始步态数据中 第t帧步态轮廓图,也是采样操作随机选取到的初始帧步态轮廓图。其中, t≥1。
在另一个实施例中,具体的,该方法还包括:在预设采样长度大于获 取到的原始步态数据的数据长度的情况下,基于预设采样长度与数据长度 之间的长度差值,确定采样步态数据;对原始步态数据和采样步态数据执 行排序操作,得到训练步态序列。
在本实施例中,具体的,训练步态序列XN满足下述表示:
虽然步态序列具备周期性,但在实际场景中采集到的某一周期内的步 态序列中,前后相邻的步态轮廓图在步态动作上是连续的,而第一帧步态 轮廓图与最后一帧步态轮廓图在步态动作上差异较大。如果在预设采样长 度大于获取到的原始步态数据的数据长度的情况下,直接将采样步态数据 和原始步态数据的拼接结果作为训练步态序列,会在时序建模上带来较大 的噪声。这样设置的好处在于,可以避免原拼接处的前后相邻的步态轮廓 图之间的差异性,提高了训练步态序列中的步态轮廓图在步态动作上的连 续性,从而降低了时序建模的噪声。
在本实施例中,初始步态识别模型包括预处理网络、空间特征提取网 络、时间特征提取网络和特征重映射网络。
其中,预处理网络用于基于输入的训练步态序列,输出训练序列特征。 在一个具体实施例中,预处理网络的输出通道数大于3,相应的,训练序 列特征包含与各步态轮廓图分别对应的训练步态特征,训练步态特征包含 至少三个通道步态特征。
在一个具体实施例中,预处理网络采用二维卷积模块。其中,二维卷 积模块的输出通道数大于3,训练步态特征包含各输出通道分别输出的通 道步态特征。其中,示例性的,二维卷积模块的卷积核为5*5,输出通道 数为64。当步态轮廓图为RGB图像时,二维卷积模块的输入通道数为3, 当步态轮廓图为二值化的灰度图像时,二维卷积模块的输入通道书为1。 此处对二维卷积模块的具体参数不作限定。
其中,示例性的,二维卷积模块采用LeakyReLU激活函数实现非线性 化,得到与各步态轮廓图分别对应的多个通道步态特征。
S120、基于初始步态识别模型中的空间特征提取网络以及输入的训练 序列特征,确定空间步态特征,以及基于初始步态识别模型中的时间特征 提取网络以及输入的训练序列特征,确定时间步态特征。
在本实施例中,空间特征提取网络和时间特征提取网络均采用二维卷 积模块。其中,具体的,空间特征提取网络和时间特征提取网络可以共用 一个二维卷积模块,或者,空间特征提取网络和时间特征提取网络分别采 用一个二维卷积模块,但两个二维卷积模块之间的模块参数共享。
在一个具体实施例中,空间特征提取网络包含特征空间模块和二维卷 积模块,二维卷积模块对应至少三个通道卷积参数,空间步态特征包含与 各训练步态特征分别对应的空间子步态特征,相应的,基于初始步态识别 模型中的空间特征提取网络以及输入的训练序列特征,确定空间步态特征, 包括:通过特征空间模块,针对每个训练步态特征,基于通道卷积参数的 数量和当前训练步态特征,确定至少三个中间步态特征;其中,各中间步态特征中分别包含至少一个通道步态特征;通过二维卷积模块,基于各通 道卷积参数以及与各通道卷积参数分别对应的中间步态特征,确定与当前 训练步态特征对应的空间子步态特征。
其中,具体的,一般2D卷积模块的参数是Ra×a×In×Out,其中a×a表示卷 积核的尺寸,In表示输入通道数,Out表示输出通道数。将2D卷积模块 的模型参数分为多份,假设分为3份,则通道卷积参数为Ra×a×(In/3)×Out,具 体的,不同通道卷积参数分别对应的卷积核的权重不同。示例性的,当通 道卷积参数的数量为3时,2D卷积模块的模型参数W=(w1,w2,w3)。
其中,示例性的,假设当前训练步态特征为训练序列特征中与第t帧步 态轮廓图对应的第t帧训练步态特征Ft,基于2D卷积模块的通道卷积参数 的数量,在通道维度上对训练步态特征Ft进行拆分,得到至少三个中间步 态特征。以上述举例为例,训练步态特征Ft可以表示为:假设训练步态特征Ft包含9个通道步态特征,则上述每个中间步态特征分 别包含3个通道步态特征。
在一个具体实施例中,2D卷积模块对应的通道卷积参数的数量为16 份。此处对通道卷积参数的数量不作限定。
a×a表示卷积核的尺寸,b表示输出通道数。
在一个具体实施例中,时间特征提取网络包括特征时间滑动模块和二 维卷积模块,特征时间滑动模块对应至少一个时间跨度,时间步态特征包 含与各训练步态特征分别对应的时间子步态特征,相应的,基于初始步态 识别模型中的时间特征提取网络以及输入的训练序列特征,确定时间步态 特征,包括:通过特征时间滑动模块,针对每个时间跨度和每个训练步态 特征,基于当前时间跨度,确定当前训练步态特征对应的过去训练步态特征和将来训练步态特征;基于过去训练步态特征和将来训练步态特征,对 当前训练步态特征中的各通道步态特征执行替换操作,得到当前滑动步态 特征;通过二维卷积模块,基于输入的各时间跨度分别对应的当前滑动步 态特征,确定与当前训练步态特征对应的时间子步态特征。
在一个具体实施例中,时间特征提取网络包括与至少一个时间跨度分 别对应的特征时间滑动模块和二维卷积模块,各二维卷积模块的模块参数 共享。在另一个实施例中,具体的,时间特征提取网络包括与至少一个时 间跨度分别对应的特征时间滑动模块和一个二维卷积模块,其中,各特征 时间滑动模块分别对应同一个二维卷积模块。在另一个实施例中,具体的, 时间特征提取网络包括特征时间滑动模块和二维卷积模块,其中,特征时 间滑动模块对应至少一个时间跨度。
其中,具体的,时间跨度可用于表征过去训练步态特征对应的过去步 态轮廓图与当前训练步态特征对应的当前步态轮廓图之间的间隔帧数,或 者,表征将来训练步态特征对应的将来步态轮廓图与当前训练步态特征对 应的当前步态轮廓图之间的间隔帧数。其中,示例性的,假设当前训练步 态特征为训练序列特征中与第t帧步态轮廓图对应的第t帧训练步态特征 Ft,时间跨度为i,则过去训练步态特征为训练序列特征中与第(t-i)帧步态轮廓图对应的第t-i帧训练步态特征Ft-i,将来训练步态特征为训练序列 特征中与第(t+i)帧步态轮廓图对应的第(t+i)帧训练步态特征Ft+i,其中, 训练步态特征Ft-i可以表示为:训练步态特征Ft+i可以 表示为:
在一个具体实施例中,二维卷积模块对应至少三个通道卷积参数,相 应的,基于过去训练步态特征和将来训练步态特征,对当前训练步态特征 中的各通道步态特征执行替换操作,得到当前滑动步态特征,包括:基于 通道卷积参数的数量和当前训练步态特征,确定至少三个中间步态特征; 其中,各中间步态特征中分别包含至少一个通道步态特征;基于预设替换 特征集、过去训练步态特征和将来训练步态特征,对当前训练步态特征中的各中间步态特征执行替换操作,得到当前滑动步态特征。
在本实施例中,时间特征提取网络中的二维卷积模块的通道卷积参数 与空间特征提取网络中的二维卷积模块的通道卷积参数相同。
在本实施例中,预设替换特征集中包含第一特征标识集和第二特征标 识集,第一特征标识集中包含与过去训练步态特征对应的至少一个中间步 态特征的特征标识,第二特征标识集中包含与将来训练步态特征对应的至 少一个中间步态特征的特征标识,第一特征标识集中的特征标识与第二特 征标识集中的特征标识不同。
其中,示例性的,假设通道卷积参数的数量为3,第一特征标识集中 包含特征标识1,第二特征标识集中包含特征标识3,则当前滑动步态特 征假设通道卷积参数的数量为5,第一特征标识集中包 含特征标识1和特征标识2,第二特征标识集中包含特征标识4和特征标 识5,则当前滑动步态特征或者第一特征标识集 中包含特征标识1,第二特征标识集中包含特征标识5,则当前滑动步态特征
图2为本发明一个实施例所提供的一种特征时间滑动模块的原理图。 具体的,图2中的横轴表示训练步态序列中的步态轮廓图的帧数,纵轴表 示时间特征提取网络中的2D卷积模块对应的时间跨度,每个立方体分别 表示与各步态轮廓图分别对应的训练步态特征,假设通道卷积数量为16, 则立方体两侧的子立方体分别表示第一个中间步态特征和最后一个中间 步态特征,中间的子立方体可以表示第2个-第15个中间步态特征。图2 中的c表示输出通道数,h和w表示训练步态特征的高和宽。其中,c大 于或等于立方体对应的子立方体的数量,如图2中的每个立方体分别对应 3个子立方体,c≥3。其中,具体的,与第一个立方体对应的过去训练步 态特征预先设置为0,与最后一个立方体对应的将来训练步态特征预先设 置为0。图2以替换当前训练步态特征中的第一个中间步态特征和最后一 个时间步态特征得到当前滑动步态特征为例进行示例性说明。
以通道卷积参数的数量为3为例,如果时间特征提取网络中的2D卷积 模块对应一个时间跨度i,则2D卷积模块对输入的当前滑动步态特征Ft'执 行卷积操作得到的时间子步态特征MTS(Ft)可以表示为:
如果时间特征提取网络中的2D卷积模块对应至少两个时间跨度,则 2D卷积模块基于输入的各时间跨度分别对应的当前滑动步态特征Ft'确定 的时间子步态特征MTS(Ft)可以表示为:
由于时间特征提取网络中的特征时间滑动模块对每个训练步态特征执 行了先拆分后滑动组合的操作,使得得到的滑动步态特征在空间维度上存 在特征损害。初始步态识别模型中的空间特征提取网络提取到的空间步态 特征可以有效降低时间特征提取网络带来的空间特征的损害。
S130、通过初始步态识别模型中的特征重映射网络,基于输入的空间 步态特征和时间步态特征,输出预测结果。
其中,示例性的,预测结果可以是与训练步态序列对应的预测分类概 率。
S140、基于预测结果和标准结果,对初始步态识别模型的模型参数进 行调整,得到训练完成的目标步态识别模型。
其中,示例性的,标准结果可以是与训练步态序列对应的真实分类概 率,模型参数的优化可以采用Adam(Adaptive moment estimation,自适 应优化)算法。
本实施例的技术方案,通过设置初始步态识别模型包括预处理网络、 空间特征提取网络、时间特征提取网络和特征重映网络,预处理网络用于 基于输入的所述训练步态序列输出训练序列特征,空间特征提取网络用于 基于输入的训练序列特征确定空间步态特征,时间特征提取网络用于基于 输入的训练序列特征确定时间步态特征,其中,空间特征提取网络和所述 时间特征提取网络均采用二维卷积模块,特征重映射网络用于基于输入的 空间步态特征和时间步态特征输出预测结果,基于预测结果和标准结果, 对初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识别 模型,本发明实施例的初始步态识别模型在应用二维卷积模块的基础上, 提取到了时间步态特征,解决了现有的步态识别模型的模型参数量大的问 题,既降低了步态识别模型的训练难度,同时又使得训练得到的目标步态 识别模型具备时序特征的提取能力,进而保证了目标步态识别模型的模型性能。
在一个具体实施例中,预测结果包括预测步态特征和/或预测分类概率, 相应的,当预测结果包括预测步态特征时,特征重映射网络包括特征重映 射模块,当预测结果包括预测分类概率时,特征重映射网络包括特征重映 射模块和分类器。
图3为本发明一个实施例所提供的另一种步态识别模型的训练方法的 流程图,本实施例以预测结果包括预测步态特征和预测分类概率为例进行 示例性说明。如图3所示,该方法包括:
S210、将获取到的训练步态序列输入到初始步态识别模型中,并通过 初始步态识别模型中的预处理网络,基于输入的训练步态序列,输出训练 序列特征。
S220、基于初始步态识别模型中的空间特征提取网络以及输入的训练 序列特征,确定空间步态特征,以及基于初始步态识别模型中的时间特征 提取网络以及输入的训练序列特征,确定时间步态特征。
在上述实施例的基础上,具体的,初始步态识别模型包含至少两组空 间特征提取网络和时间特征提取网络,各组空间特征提取网络和时间特征 提取网络分别采用的二维卷积模块的通道卷积参数的数量、通道卷积参数 的参数值以及时间特征提取网络中的特征时间滑动模块对应的时间跨度 中至少一种不同。
在一个具体实施例中,不同组中二维卷积模块的通道卷积参数的数量 不同,如第1组中的二维卷积模块的通道卷积参数的数量为16,第2组中 的二维卷积模块的通道卷积参数的数量为8;不同组中的二维卷积模块的 通道卷积参数的参数值不同,示例性的,通道卷积参数的参数值包括卷积 核的尺寸和/或卷积核的权重,如第1组中第1个通道卷积参数的参数值 为Ra×a×(In/3)×Out,第2组中第1个通道卷积参数的参数值为Rd×d×(In/3)×Out;不 同组中时间特征提取网络中的特征时间滑动模块对应的时间跨度不同,如 第1组中的时间特征提取网络中的特征时间滑动模块对应的时间跨度包括1、2和3,第2组中的时间特征提取网络中的特征时间滑动模块对应的时 间跨度包括4和5。
这样设置的好处在于,增加了特征提取参数的参数值的多样性,从而 提高了提取到的时间步态特征和空间步态特征的多样性,进而可以提高训 练得到的目标步态识别模型的模型性能。
S230、通过初始步态识别模型中的特征重映射网络,基于输入的空间 步态特征和时间步态特征,输出预测步态特征和预测分类概率。
在本实施例中,特征重映射网络包括特征重映射模块和分类器,其中, 预测步态特征为特征重映射模块的输出结果,预测分类概率为分类器的输 出结果。
在一个具体实施例中,预测步态特征包含至少两个预测子步态特征, 特征重映射模块包括时间池化层、水平金字塔池化层和至少两个全连接层, 其中,时间池化层用于基于输入的空间步态特征和时间步态特征,输出第 一降采样特征,水平金字塔池化层用于基于输入的第一降采样特征,输出 与至少两个预设水平尺度分别对应的第二降采样特征,各全连接层分别用 于基于各自输入的第二降采样特征,输出预测子步态特征。
其中,具体的,不同的训练步态序列分别对应的采样长度可能不同, 从而导致各训练步态特征分别对应的空间步态特征和时间步态特征的长 度不一致。特征重映射模块中的时间池化层可以对输入的空间步态特征和 时间步态特征执行池化操作,使得不同训练步态序列分别对应的第一降采 样特征在时序维度上保持一致。
其中,水平金字塔池化层的作用是为了对时间步态特征和空间步态特 征进行进一步优化。
在一个具体实施例中,分类器包括全连接层和批量归一化层。此处对 分类器的网络架构不作限定。
S240、基于预测步态特征、预测分类概率和标准结果,对初始步态识 别模型的模型参数进行调整,得到训练完成的目标步态识别模型。
其中,具体的,基于预测步态特征和与预测步态特征对应的标准结果, 确定第一损失函数,以及基于预测分类概率以及与预测分类概率对应的真 实分类概率,确定第二损失函数,基于第一损失函数和第二损失函数,确 定目标损失函数,基于目标损失函数对初始步态识别模型的模型参数进行 调整,得到训练完成的目标步态识别模型。
其中,预测分类概率可以表征训练步态序列与至少两种真实行人标识 分别对应的预测概率值,真实分类概率可以表征训练步态序列与至少两种 真实行人标识分别对应的真实概率值。
在一个具体实施例中,在预测结果包括预测步态特征的情况下,将与 训练步态序列对应的正样本步态序列和负样本步态序列分别输入到初始 步态识别模型中,得到输出的正样本步态特征和负样本步态特征;将正样 本步态特征和负样本步态特征作为与预测步态特征对应的标准结果。
其中,具体的,正样本步态序列对应的真实分类概率与训练步态序列 对应的真实分类概率相同,负样本步态序列对应的真实分类概率与训练步 态序列对应的真实分类概率不同。
其中,示例性的,第一损失函数可以是三元组损失函数,具体的,第 一损失函数Ltri满足公式:
三元组损失函数可以使得初始步态识别模型学习拉近预测步态特征与 正样本步态特征之间的特征距离,推远预测步态特征与负样本步态特征之 间的特征距离。
其中,示例性的,第二损失函数可以是交叉熵损失函数,具体的,第 二损失函数Lce满足公式:
其中,N表示训练步态序列中包含的步态轮廓图的数量,C表示真实 行人标识对应的类别数,表示第i个训练步态序列第c种真实行人标识的 真实概率值,表示第i个训练步态序列对应第c种真实行人标识的预测概 率值。
其中,具体的,目标损失函数Ltotal满足公式:
Ltotal=αLtri+βLce
其中,α表示第一损失函数对应的权重系数,β表示第二损失函数对 应的权重系数。
图4为本发明一个实施例所提供的一种步态识别模型的训练方法的具 体实例的原理图。具体的,步态识别模型的训练过程包括(a)序列特征 的提取部分、(b)步态特征的时间信息提取部分和(c)步态特征重映射 和训练部分。在(a)序列特征的提取过程中,对获取到的原始步态数据 执行采样操作,得到训练步态序列,其中,训练步态序列中包含N帧步态 轮廓图,将训练步态序列输入到初始步态识别模型中的预处理网络中,得 到输出的训练序列特征,进入(b)步态特征的时间信息提取部分。其中, 训练序列特征包含与N帧步态轮廓图分别对应的训练步态特征。其中,预 处理网络采用2D卷积模块和LeakyReLU激活函数。
图4中的“5×”表示本实施例中的初始步态识别模型中包含5组空间 特征提取网络(对应图4中的空间支路)和时间特征提取网络(对应图4 中的多尺度时间支路)。
在(b)步态特征的时间信息提取过程中,针对每组空间特征提取网络 和时间特征提取网络,时间特征提取网络中的特征时间滑动模块对应k个 时间跨度,将训练序列特征复制(k+1)份,将1份训练序列特征输入到 空间特征提取网络中,以及将k份训练序列特征分别输入到时间特征提取 网络中的与各时间跨度分别对应的特征时间模块中,得到空间特征提取网 络输出的与训练序列特征对应的空间步态特征以及时间特征提取网络输 出的与训练序列特征对应的时间步态特征。空间步态特征和时间步态特征 在经过最大池化层和LeakyReLU激活函数后进入到(c)步态特征重映射 和训练部分。
在(c)步态特征重映射和训练过程,(b)部分的输出结果在经过特 征重映射网络中的特征重映射模块后,得到输出的预测步态特征,(b) 部分的输出结果在经过特征重映射网络中的特征重映射模块和分类器后, 得到输出的预测分类概率。其中,具体的,基于预测步态特征、正样本步 态特征和负样本步态特征构建三元组损失函数,基于预测分类概率和真实 分类概率构建交叉熵损失函数,基于三元组损失函数和交叉熵损失函数, 对初始步态识别模型进行训练,得到训练完成的目标步态识别模型。
本实施例的技术方案,通过初始步态识别模型中的特征重映射网络, 基于输入的空间步态特征和时间步态特征,输出预测步态特征和预测分类 概率,基于预测步态特征、预测分类概率和标准结果,对初始步态识别模 型的模型参数进行调整,得到训练完成的目标步态识别模型,解决了目标 步态识别模型的训练效果不佳的问题,进一步保证了训练得到的目标步态 识别模型的模型性能。
图5为本发明一个实施例所提供的一种步态识别方法的流程图,本实 施例可适用于对步态数据对应的行人身份进行识别的情况,该方法可以由 步态识别装置来执行,该步态识别装置可以采用硬件和/或软件的形式实 现,该步态识别装置可配置于终端设备中。如图5所示,该方法包括:
S310、获取待匹配步态序列以及与至少一个行人标识分别对应的预设 步态序列。
其中,示例性的,待匹配步态序列可以是采用摄像设备最新采集到的 步态序列,预设步态序列可以是摄像设备之前采集到的步态序列或者步态 数据库中已存储的步态序列。
S320、将待匹配步态序列和各预设步态序列分别输入到目标步态识别 模型中,得到输出的待匹配步态特征和至少一个预设步态特征。
本实施例中的目标步态识别模型是基于上述实施例中的步态识别模型 的训练方法训练得到的,此处不再赘述。
其中,以待匹配步态序列为例,将待匹配步态序列输入到目标步态识 别模型中,通过目标步态识别模型中的预处理网络,基于输入的待匹配步 态序列,输出待匹配序列特征,基于目标步态识别模型中的空间特征提取 网络以及输入的待匹配序列特征,确定空间步态特征,以及基于目标步态 识别模型中的时间特征提取网络以及输入的待匹配序列特征,确定时间步 态特征,其中,空间特征提取网络和时间特征提取网络均采用二维卷积模块。通过目标步态识别模型中的特征重映射网络中的特征重映射模块,基 于输入的空间步态特征和时间步态特征,输出待匹配步态序列对应的待匹 配步态特征。
S330、基于待匹配步态特征与各预设步态特征分别对应的特征距离, 确定与待匹配步态序列对应的目标行人标识。
其中,示例性的,特征距离的类型包括但不限于余弦距离、欧式距离 或曼哈顿距离等等。
在一个具体实施例中,将最小的特征距离对应的预设步态特征作为目 标步态特征,将目标步态特征对应的真实行人标识作为待匹配步态序列对 应的目标行人标识。
图6为本发明一个实施例所提供的一种步态识别方法的具体实例的流 程图。具体的,对步态数据依次执行预处理操作和采样操作,得到步态序 列,将步态序列输入到预处理网络中,得到输出的序列步态特征,将序列 步态特征分别输入到空间特征提取网络和时间特征提取网络中,得到输出 的空间步态特征和时间步态特征,将空间步态特征和时间步态特征输入到 特征重映射网络中,得到输出的参考步态特征。如果当前阶段为训练阶段,则参考步态特征为预测步态特征,基于预测步态特征构建目标损失函数, 并采用Amda算法对初始步态识别模型的模型参数进行优化,得到训练完 成的目标步态识别模型。如果当前阶段不是训练阶段,则参考步态特征为 待匹配步态特征,确定待匹配步态特征与至少一个预设步态特征分别对应 的特征距离并排序,将最小的特征距离对应的预设步态特征作为目标步态 特征,将目标步态特征对应的真实行人标识作为待匹配步态序列对应的目 标行人标识。
表1为本发明一个实施例所提供的应用步态数据集GREW在多个对照步 态识别方法上得到的性能分数。
其中,Rank-k表示步态识别结果中最靠前(置信度最高)的k个步态 序列中存在正确识别结果的概率。
基于模型的方法中的PoseGait和GaitGraph主要建模对象是人体的结 构化模型,如人体关键点序列等,因为仅依靠稀疏的人体关键点序列会丢 失很多有用的步态信息,如人体体型和外貌等特征。从表1中可以得到, 基于模型的方法中的PoseGait和GaitGraph相比于基于非模型的方法(如 GEINet、GaitSet、GaitPart和GaitGL)性能相差巨大。在基于非模型的 方法中,相对来说,GEINet取得的结果最差,分析原因可能是GEINet采 用步态能量图(GEI)作为模型输入,同样存在着大量有用的步态信息的 丢失。而采用本发明实施例提供的目标步态识别模型的步态识别方法(最 下面一行)取得了最佳的性能分数,远超传统的步态识别方法,例如,相 比于GaitGL方法,本发明实施例提供的步态识别方法实现了8.04%的 Rank-1提升。对比表1中的w/o MTS(含义为不包含时间特征提取网络) 方法和本发明实施例的步态识别方法,本发明实施例的目标步态识别模型 中包含时间特征提取网络(MTS),在不增加额外模型参数量的前提下, 在GREW数据集上,相比于w/o MTS提升了4.90%的Rank-1,充分说明了 本发明实施例在目标步态识别模型中增加的MTS的有效性。
表2为本发明一个实施例所提供的应用步态数据集Gait3D在多个对照 步态识别方法上得到的性能分数。
其中,mAP可用于衡量步态识别方法在所有真实行人标识上的好坏,mINP越大表示步态识别方法正确识别的位置越靠前,步态识别方法的性能 越好。
从表2可以得到,针对步态数据集Gait3D,采用本发明实施例提供的 步态识别方法(最下面一行)同样取得了最佳的性能,远超传统的步态识 别方法。例如,相比于GaitSet方法,本发明实施例提供的步态识别方法 实现了12%的Rank-1提升。与表2中的w/o MTS方法相比,本发明实施例 提出的多尺度时间特征提取网络(MTS),在Gait3D数据集上,提升了5.80% 的Rank-1。特别的,我们发现,GaitGL在步态数据集Gait3D数据集上的 表现不佳,分析原因认为,步态数据集Gait3D相比步态数据集GREW存在 大量的俯视视角,也就是三维视角变化现象严重,导致GaitGL的3D卷积 网络在建模过程中,存在特征不对齐问题,例如上一帧出现手的位置,由 于三维视角变化,在下一帧可能变成了脚。本发明实施例提供的步态识别 方法通过在时间特征提取网络中设置通道间的时间滑动,巧妙地避免了这 种在空间位置上的不对齐的问题,使得本发明实施例所提出的步态识别方 法具有很好的泛化性,在步态数据集Gait3D上同样具有很好的识别效果。
图7为本发明一个实施例所提供的一种待匹配步态特征的可视化热力 图。可视化热力图可以表示步态轮廓图中不同图像区域对识别结果的贡献 度。从图7可以看出,相比传统的步态识别方法,针对3帧步态轮廓图, 本发明实施例所提供的目标步态识别模型都可以更多的关注到脚部运动 上,这表明本发明所提出的时间特征提取网络实现了有效的步态时序特征 建模,可以保证目标步态识别模型的模型性能。
本实施例的技术方案,通过获取待匹配步态序列以及与至少一个行人 标识分别对应的预设步态序列;将待匹配步态序列和各预设步态序列分别 输入到上述实施例训练得到的目标步态识别模型中,得到输出的待匹配步 态特征和至少一个预设步态特征;基于待匹配步态特征与各预设步态特征 分别对应的特征距离,确定与待匹配步态序列对应的目标行人标识,解决 了现有的步态识别模型的模型参数量大的问题,同时目标步态识别模型提 取到的步态特征具备多样性,保证了训练得到的目标步态识别模型的模型 性能,进而提高了识别到的目标行人标识的准确率。
图8为本发明一个实施例所提供一种步态识别模型的训练装置的结构 示意图。如图8所示,该装置包括:训练序列特征输出模块410、时间步 态特征输出模块420、预测结果输出模块430和目标步态识别模型训练模 块440。
其中,训练序列特征输出模块410,用于将获取到的训练步态序列输 入到初始步态识别模型中,并通过初始步态识别模型中的预处理网络,基 于输入的训练步态序列,输出训练序列特征;
时间步态特征输出模块420,用于基于初始步态识别模型中的空间特 征提取网络以及输入的训练序列特征,确定空间步态特征,以及基于初始 步态识别模型中的时间特征提取网络以及输入的训练序列特征,确定时间 步态特征;其中,空间特征提取网络和时间特征提取网络均采用二维卷积 模块;
预测结果输出模块430,用于通过初始步态识别模型中的特征重映射 网络,基于输入的空间步态特征和时间步态特征,输出预测结果;
目标步态识别模型训练模块440,用于基于预测结果和标准结果,对 初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识别模 型。
本实施例的技术方案,通过设置初始步态识别模型包括预处理网络、 空间特征提取网络、时间特征提取网络和特征重映网络,预处理网络用于 基于输入的所述训练步态序列输出训练序列特征,空间特征提取网络用于 基于输入的训练序列特征确定空间步态特征,时间特征提取网络用于基于 输入的训练序列特征确定时间步态特征,其中,空间特征提取网络和所述 时间特征提取网络均采用二维卷积模块,特征重映射网络用于基于输入的 空间步态特征和时间步态特征输出预测结果,基于预测结果和标准结果, 对初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识别 模型,本发明实施例的初始步态识别模型在应用二维卷积模块的基础上, 提取到了时间步态特征,解决了现有的步态识别模型的模型参数量大的问 题,既降低了步态识别模型的训练难度,同时又使得训练得到的目标步态 识别模型具备时序特征的提取能力,进而保证了目标步态识别模型的模型性能。
在上述实施例的基础上,具体的,训练步态序列中包含至少三帧步态 轮廓图,预处理网络的输出通道数大于3,相应的,训练序列特征包含与 各步态轮廓图分别对应的训练步态特征,训练步态特征包含至少三个通道 步态特征。
在上述实施例的基础上,具体的,空间特征提取网络包含特征空间模 块和二维卷积模块,二维卷积模块对应至少三个通道卷积参数,空间步态 特征包含与各训练步态特征分别对应的空间子步态特征,相应的,时间步 态特征输出模块420,包括:
空间特征提取单元,用于通过特征空间模块,针对每个训练步态特征, 基于通道卷积参数的数量和当前训练步态特征,确定至少三个中间步态特 征;其中,各中间步态特征中分别包含至少一个通道步态特征;
通过二维卷积模块,基于各通道卷积参数以及与各通道卷积参数分别 对应的中间步态特征,确定与当前训练步态特征对应的空间子步态特征。
在上述实施例的基础上,具体的,时间特征提取网络包括特征时间滑 动模块和二维卷积模块,特征时间滑动模块对应至少一个时间跨度,时间 步态特征包含与各训练步态特征分别对应的时间子步态特征,相应的,时 间步态特征输出模块420,包括:
过去训练步态特征确定单元,用于通过特征时间滑动模块,针对每个 时间跨度和每个训练步态特征,基于当前时间跨度,确定当前训练步态特 征对应的过去训练步态特征和将来训练步态特征;
当前滑动步态特征确定单元,用于基于过去训练步态特征和将来训练 步态特征,对当前训练步态特征中的各通道步态特征执行替换操作,得到 当前滑动步态特征;
时间子步态特征确定单元,用于通过二维卷积模块,基于输入的各时 间跨度分别对应的当前滑动步态特征,确定与当前训练步态特征对应的时 间子步态特征。
在上述实施例的基础上,具体的,二维卷积模块对应至少三个通道卷 积参数,当前滑动步态特征确定单元,具体用于:
基于通道卷积参数的数量和当前训练步态特征,确定至少三个中间步 态特征;其中,各中间步态特征中分别包含至少一个通道步态特征;
基于预设替换特征集、过去训练步态特征和将来训练步态特征,对当 前训练步态特征中的各中间步态特征执行替换操作,得到当前滑动步态特 征;
其中,预设替换特征集中包含第一特征标识集和第二特征标识集,第 一特征标识集中包含与过去训练步态特征对应的至少一个中间步态特征 的特征标识,第二特征标识集中包含与将来训练步态特征对应的至少一个 中间步态特征的特征标识,第一特征标识集中的特征标识与第二特征标识 集中的特征标识不同。
在上述实施例的基础上,具体的,初始步态识别模型包含至少两组空 间特征提取网络和时间特征提取网络,各组空间特征提取网络和时间特征 提取网络分别采用的二维卷积模块的通道卷积参数的数量、通道卷积参数 的参数值以及时间特征提取网络中的特征时间滑动模块对应的时间跨度 中至少一种不同。
在上述实施例的基础上,具体的,预测结果包括预测步态特征和/或预 测分类概率,相应的,当预测结果包括预测步态特征时,特征重映射网络 包括特征重映射模块,当预测结果包括预测分类概率时,特征重映射网络 包括特征重映射模块和分类器。
在上述实施例的基础上,具体的,预测步态特征包含至少两个预测子 步态特征,特征重映射模块包括时间池化层、水平金字塔池化层和至少两 个全连接层,其中,时间池化层用于基于输入的空间步态特征和时间步态 特征,输出第一降采样特征,水平金字塔池化层用于基于输入的第一降采 样特征,输出与至少两个预设水平尺度分别对应的第二降采样特征,各全 连接层分别用于基于各自输入的第二降采样特征,输出预测子步态特征。
在上述实施例的基础上,具体的,该装置还包括:
标准结果确定模块,用于在预测结果包括预测步态特征的情况下,将 与训练步态序列对应的正样本步态序列和负样本步态序列分别输入到初 始步态识别模型中,得到输出的正样本步态特征和负样本步态特征;
将正样本步态特征和负样本步态特征作为与预测步态特征对应的标准 结果。
在上述实施例的基础上,具体的,该装置还包括:
训练步态序列确定模块,用于在预设采样长度大于获取到的原始步态 数据的数据长度的情况下,基于预设采样长度与数据长度之间的长度差值, 确定采样步态数据;
对原始步态数据和采样步态数据执行排序操作,得到训练步态序列。
本发明实施例所提供的步态识别模型的训练装置可执行本发明任意实 施例所提供的步态识别模型的训练方法,具备执行方法相应的功能模块和 有益效果。
图9为本发明一个实施例所提供的一种步态识别装置的结构示意图。 如图9所示,该装置包括:待匹配步态序列获取模块510、待匹配步态序 列输入模块520和目标行人标识确定模块530。
其中,待匹配步态序列获取模块510,用于获取待匹配步态序列以及 与至少一个行人标识分别对应的预设步态序列;
待匹配步态序列输入模块520,用于将待匹配步态序列和各预设步态 序列分别输入到预先训练完成的目标步态识别模型中,得到输出的待匹配 步态特征和至少一个预设步态特征;
目标行人标识确定模块530,用于基于待匹配步态特征与各预设步态 特征分别对应的特征距离,确定与待匹配步态序列对应的目标行人标识;
其中,目标步态识别模型是按照本发明上述实施例所提供的步态识别 模型的训练方法训练得到的。
本实施例的技术方案,通过获取待匹配步态序列以及与至少一个行人 标识分别对应的预设步态序列;将待匹配步态序列和各预设步态序列分别 输入到上述实施例训练得到的目标步态识别模型中,得到输出的待匹配步 态特征和至少一个预设步态特征;基于待匹配步态特征与各预设步态特征 分别对应的特征距离,确定与待匹配步态序列对应的目标行人标识,解决 了现有的步态识别模型的模型参数量大的问题,同时目标步态识别模型提 取到的步态特征具备多样性,保证了训练得到的目标步态识别模型的模型 性能,进而提高了识别到的目标行人标识的准确率。
本发明实施例所提供的步态识别装置可执行本发明任意实施例所提供 的步态识别方法,具备执行方法相应的功能模块和有益效果。
图10为本发明一个实施例所提供的一种电子设备的结构示意图。电子 设备10旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计 算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和 其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个 人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等) 和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们 的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发 明的实现。
如图10所示,电子设备10包括至少一个处理器11,以及与至少一个 处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器 (RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程 序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者 从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的 各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。 输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16, 例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存 储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调 器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的 计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。 处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元 (GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型 算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制 器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如步态识别模型的训练方法或者步态识别方法。
在一些实施例中,步态识别模型的训练方法或者步态识别方法可被实 现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元 18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或 通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到 RAM 13并由处理器11执行时,可以执行上文描述的步态识别模型的训练 方法或者步态识别方法的一个或多个步骤。备选地,在其他实施例中,处 理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为 执行步态识别模型的训练方法或者步态识别方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路系 统、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、 专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设 备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些 各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者 多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/ 或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储 ***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将 数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出 装置。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介 质存储有计算机指令,计算机指令用于使处理器执行一种步态识别模型的 训练方法,该方法包括:
将获取到的训练步态序列输入到初始步态识别模型中,并通过初始步 态识别模型中的预处理网络,基于输入的训练步态序列,输出训练序列特 征;
基于初始步态识别模型中的空间特征提取网络以及输入的训练序列特 征,确定空间步态特征,以及基于初始步态识别模型中的时间特征提取网 络以及输入的训练序列特征,确定时间步态特征;其中,空间特征提取网 络和时间特征提取网络均采用二维卷积模块;
通过初始步态识别模型中的特征重映射网络,基于输入的空间步态特 征和时间步态特征,输出预测结果;
基于预测结果和标准结果,对初始步态识别模型的模型参数进行调整, 得到训练完成的目标步态识别模型。
或者,计算机指令用于使处理器执行一种步态识别方法,该方法包括:
获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序 列;
将待匹配步态序列和各预设步态序列分别输入到目标步态识别模型中, 得到输出的待匹配步态特征和至少一个预设步态特征;
基于待匹配步态特征与各预设步态特征分别对应的特征距离,确定与 待匹配步态序列对应的目标行人标识;
其中,目标步态识别模型是按照本发明上述实施例提供的步态识别模 型的训练方法训练得到的。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可 以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装 置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限 于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设 备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是 机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多 个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只 读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光 纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、 或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的***和技 术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴 极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例 如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供 给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供 给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、 或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触 觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如, 作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、 或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器 的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络 的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并 且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有 客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器 可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的 一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大, 业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或 删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执 行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果, 本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术 人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、 子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和 改进等,均应包含在本发明保护范围之内。
Claims (15)
1.一种步态识别模型的训练方法,其特征在于,包括:
将获取到的训练步态序列输入到初始步态识别模型中,并通过所述初始步态识别模型中的预处理网络,基于输入的所述训练步态序列,输出训练序列特征;
基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训练序列特征,确定空间步态特征,以及基于所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列特征,确定时间步态特征;其中,所述空间特征提取网络和所述时间特征提取网络均采用二维卷积模块;
通过所述初始步态识别模型中的特征重映射网络,基于输入的所述空间步态特征和时间步态特征,输出预测结果;
基于所述预测结果和标准结果,对所述初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识别模型。
2.根据权利要求1所述的方法,其特征在于,所述训练步态序列中包含至少三帧步态轮廓图,所述预处理网络的输出通道数大于3,相应的,所述训练序列特征包含与各所述步态轮廓图分别对应的训练步态特征,所述训练步态特征包含至少三个通道步态特征。
3.根据权利要求2所述的方法,其特征在于,所述空间特征提取网络包含特征空间模块和二维卷积模块,所述二维卷积模块对应至少三个通道卷积参数,所述空间步态特征包含与各所述训练步态特征分别对应的空间子步态特征,相应的,所述基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训练序列特征,确定空间步态特征,包括:
通过所述特征空间模块,针对每个训练步态特征,基于所述通道卷积参数的数量和当前训练步态特征,确定至少三个中间步态特征;其中,各所述中间步态特征中分别包含至少一个通道步态特征;
通过所述二维卷积模块,基于各所述通道卷积参数以及与各所述通道卷积参数分别对应的中间步态特征,确定与所述当前训练步态特征对应的空间子步态特征。
4.根据权利要求2所述的方法,其特征在于,所述时间特征提取网络包括特征时间滑动模块和二维卷积模块,所述特征时间滑动模块对应至少一个时间跨度,所述时间步态特征包含与各所述训练步态特征分别对应的时间子步态特征,相应的,所述基于所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列特征,确定时间步态特征,包括:
通过所述特征时间滑动模块,针对每个时间跨度和每个训练步态特征,基于当前时间跨度,确定当前训练步态特征对应的过去训练步态特征和将来训练步态特征;
基于所述过去训练步态特征和将来训练步态特征,对所述当前训练步态特征中的各所述通道步态特征执行替换操作,得到当前滑动步态特征;
通过所述二维卷积模块,基于输入的各所述时间跨度分别对应的当前滑动步态特征,确定与所述当前训练步态特征对应的时间子步态特征。
5.根据权利要求4所述的方法,其特征在于,所述二维卷积模块对应至少三个通道卷积参数,相应的,基于所述过去训练步态特征和将来训练步态特征,对所述当前训练步态特征中的各所述通道步态特征执行替换操作,得到当前滑动步态特征,包括:
基于所述通道卷积参数的数量和所述当前训练步态特征,确定至少三个中间步态特征;其中,各所述中间步态特征中分别包含至少一个通道步态特征;
基于预设替换特征集、所述过去训练步态特征和将来训练步态特征,对所述当前训练步态特征中的各所述中间步态特征执行替换操作,得到当前滑动步态特征;
其中,所述预设替换特征集中包含第一特征标识集和第二特征标识集,所述第一特征标识集中包含与所述过去训练步态特征对应的至少一个中间步态特征的特征标识,所述第二特征标识集中包含与所述将来训练步态特征对应的至少一个中间步态特征的特征标识,所述第一特征标识集中的特征标识与所述第二特征标识集中的特征标识不同。
6.根据权利要求5所述的方法,其特征在于,所述初始步态识别模型包含至少两组空间特征提取网络和时间特征提取网络,各组空间特征提取网络和时间特征提取网络分别采用的二维卷积模块的通道卷积参数的数量、通道卷积参数的参数值以及所述时间特征提取网络中的特征时间滑动模块对应的时间跨度中至少一种不同。
7.根据权利要求1所述的方法,其特征在于,所述预测结果包括预测步态特征和/或预测分类概率,相应的,当所述预测结果包括预测步态特征时,所述特征重映射网络包括特征重映射模块,当所述预测结果包括预测分类概率时,所述特征重映射网络包括特征重映射模块和分类器。
8.根据权利要求7所述的方法,其特征在于,所述预测步态特征包含至少两个预测子步态特征,所述特征重映射模块包括时间池化层、水平金字塔池化层和至少两个全连接层,其中,所述时间池化层用于基于输入的空间步态特征和时间步态特征,输出第一降采样特征,所述水平金字塔池化层用于基于输入的第一降采样特征,输出与至少两个预设水平尺度分别对应的第二降采样特征,各所述全连接层分别用于基于各自输入的第二降采样特征,输出预测子步态特征。
9.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在所述预测结果包括预测步态特征的情况下,将与所述训练步态序列对应的正样本步态序列和负样本步态序列分别输入到所述初始步态识别模型中,得到输出的正样本步态特征和负样本步态特征;
将所述正样本步态特征和负样本步态特征作为与所述预测步态特征对应的标准结果。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
在预设采样长度大于获取到的原始步态数据的数据长度的情况下,基于所述预设采样长度与所述数据长度之间的长度差值,确定采样步态数据;
对所述原始步态数据和所述采样步态数据执行排序操作,得到训练步态序列。
11.一种步态识别方法,其特征在于,所述方法包括:
获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列;
将所述待匹配步态序列和各所述预设步态序列分别输入到目标步态识别模型中,得到输出的待匹配步态特征和至少一个预设步态特征;
基于所述待匹配步态特征与各所述预设步态特征分别对应的特征距离,确定与所述待匹配步态序列对应的目标行人标识;
其中,所述目标步态识别模型是按照权利要求1-10任一项所述的步态识别模型的训练方法训练得到的。
12.一种步态识别模型的训练装置,其特征在于,包括:
训练序列特征输出模块,用于将获取到的训练步态序列输入到初始步态识别模型中,并通过所述初始步态识别模型中的预处理网络,基于输入的所述训练步态序列,输出训练序列特征;
时间步态特征输出模块,用于基于所述初始步态识别模型中的空间特征提取网络以及输入的所述训练序列特征,确定空间步态特征,以及基于所述初始步态识别模型中的时间特征提取网络以及输入的所述训练序列特征,确定时间步态特征;其中,所述空间特征提取网络和所述时间特征提取网络均采用二维卷积模块;
预测结果输出模块,用于通过所述初始步态识别模型中的特征重映射网络,基于输入的所述空间步态特征和时间步态特征,输出预测结果;
目标步态识别模型训练模块,用于基于所述预测结果和标准结果,对所述初始步态识别模型的模型参数进行调整,得到训练完成的目标步态识别模型。
13.一种步态识别装置,其特征在于,包括:
待匹配步态序列获取模块,用于获取待匹配步态序列以及与至少一个行人标识分别对应的预设步态序列;
待匹配步态序列输入模块,用于将所述待匹配步态序列和各所述预设步态序列分别输入到预先训练完成的目标步态识别模型中,得到输出的待匹配步态特征和至少一个预设步态特征;
目标行人标识确定模块,用于基于所述待匹配步态特征与各所述预设步态特征分别对应的特征距离,确定与所述待匹配步态序列对应的目标行人标识;
其中,所述目标步态识别模型是按照权利要求1-10任一项所述的步态识别模型的训练方法训练得到的。
14.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的步态识别模型的训练方法或权利要求11所述的步态识别方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-10中任一项所述的步态识别模型的训练方法或权利要求11所述的步态识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211139252.3A CN115641643A (zh) | 2022-09-19 | 2022-09-19 | 步态识别模型的训练方法、步态识别方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211139252.3A CN115641643A (zh) | 2022-09-19 | 2022-09-19 | 步态识别模型的训练方法、步态识别方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115641643A true CN115641643A (zh) | 2023-01-24 |
Family
ID=84941931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211139252.3A Pending CN115641643A (zh) | 2022-09-19 | 2022-09-19 | 步态识别模型的训练方法、步态识别方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115641643A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117456584A (zh) * | 2023-11-13 | 2024-01-26 | 江苏创斯达智能科技有限公司 | 一种应用于智能保险柜的面部识别设备 |
-
2022
- 2022-09-19 CN CN202211139252.3A patent/CN115641643A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117456584A (zh) * | 2023-11-13 | 2024-01-26 | 江苏创斯达智能科技有限公司 | 一种应用于智能保险柜的面部识别设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
WO2021043168A1 (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
CN106803055B (zh) | 人脸识别方法和装置 | |
CN113378770B (zh) | 手势识别方法、装置、设备、存储介质 | |
CN110598540B (zh) | 一种监控视频中步态轮廓图的提取方法及*** | |
KR20210100592A (ko) | 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술 | |
CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN114519863A (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
CN116611491A (zh) | 目标检测模型的训练方法、装置、电子设备和存储介质 | |
CN116721460A (zh) | 手势识别方法、装置、电子设备以及存储介质 | |
CN116994021A (zh) | 图像检测方法、装置、计算机可读介质及电子设备 | |
CN115641643A (zh) | 步态识别模型的训练方法、步态识别方法、装置及设备 | |
CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
CN114898266A (zh) | 训练方法、图像处理方法、装置、电子设备以及存储介质 | |
CN111104911A (zh) | 一种基于大数据训练的行人重识别方法及装置 | |
CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
CN116994319A (zh) | 训练模型的方法和人脸识别方法、设备、介质 | |
CN115116111B (zh) | 抗扰动人脸活体检测模型训练方法、装置及电子设备 | |
CN114882334B (zh) | 用于生成预训练模型的方法、模型训练方法及装置 | |
CN114842541A (zh) | 模型的训练及人脸识别方法、装置、设备以及存储介质 | |
CN114067394A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN113935482A (zh) | 一种行人再识别网络的训练方法及装置 | |
CN113221920B (zh) | 图像识别方法、装置、设备、存储介质以及计算机程序产品 | |
CN115205939B (zh) | 人脸活体检测模型训练方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |