CN110796100B - 步态识别方法、装置、终端及存储装置 - Google Patents

Abstract

本发明公开了一种步态识别方法，其包括：利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图；提取步态轮廓序列中每张步态轮廓图的特征；利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组；利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征；至少利用步态轮廓序列的整体特征进行识别。本发明利用基于所有步态轮廓图的特征获取的质量评价数组对所有步态轮廓图的特征叠加融合，从而减少了部分分割效果差的轮廓对整体步态特征的影响，使得利用融合后的整体特征进行识别的结果更为准确。

Description

步态识别方法、装置、终端及存储装置

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种步态识别方法、装置、终端及存储装置。

背景技术

近年来，如何以一种自然的方式，即不影响待辨识人的正常活动，有效、可靠的对个人身份进行验证和辨识，在公共安全领域受到广泛重视。常用的生物特征身份认证方法，如指纹、掌纹等，需要待辨识人与识别装置发生物理接触和配合，而基于视频监控***的身份验证方法，可以不需要待辨识人的配合和注意。人的步态信息是其中一种可以通过视频获取的重要生物特征。采用步态作为生物特征可以在低分辨率的视频图像中对人身份进行辨识。

现有技术中公开了一种基于轮廓序列的步态识别方法，其通过提取步态轮廓序列中的每一帧的高层语义特征，最终融合每一帧的语义特征映射到具有判别力的空间用于身份识别。但是，该方法直接将分割得到的轮廓图进行特征提取，而实际监控场景下不能完全保证每一帧的分割精度，并未考虑轮廓序列是否每一帧都具有相同的价值，使得融合得到的语义特征与实际偏差较大，影响最终识别准确率。

发明内容

本申请提供步态识别方法、装置、终端及存储装置，能够解决现有技术中步态识别准确率不高的问题。

为解决上述技术问题，本申请第一方面提供了一种步态识别方法，包括：利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图；提取步态轮廓序列中每张步态轮廓图的特征；利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组；利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征；至少利用步态轮廓序列的整体特征进行识别。

为解决上述技术问题，本申请第二方面提供了一种步态识别方法，包括：利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图；提取步态轮廓序列的特征，步态轮廓序列的特征包括多层整体特征和融合整体特征，融合整体特征是对所有层的整体特征融合而得到的；利用步态轮廓序列的特征进行识别。

为解决上述技术问题，本申请第三方面提供了一种步态识别装置，包括：第一序列提取模块，用于利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图；第一特征提取模块，与第一序列提取模块耦接，用于提取步态轮廓序列中每张步态轮廓图的特征；数组获取模块，与第一特征提取模块耦接，用于利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组；特征处理模块，与数组获取模块耦接，用于利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征；第一识别模块，与特征处理模块耦接，用于至少利用步态轮廓序列的整体特征进行识别。

为解决上述技术问题，本申请第四方面提供了一种步态识别装置，包括：第二序列提取模块，用于利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图；第二特征提取模块，与第二序列提取模块耦接，用于提取步态轮廓序列的特征，步态轮廓序列的特征包括多层整体特征和融合整体特征，融合整体特征是对所有层的整体特征融合而得到的；第二识别模块，与第二特征提取模块耦接，用于利用步态轮廓序列的特征进行识别。

为解决上述技术问题，本申请第五方面提供了一种终端，该终端包括处理器、与处理器耦接的存储器，其中，存储器存储有用于实现上述步态识别方法的程序指令；处理器用于执行存储器存储的程序指令以通过步态识别行人身份信息。

为解决上述技术问题，本申请第六方面提供了一种存储装置，存储有能够实现上述色度块预测模式获取方法的程序文件。

本申请的有益效果是：本发明在获取到多帧步态轮廓图之后，提取每张步态轮廓图的特征，再利用该步态轮廓图的特征获取步态轮廓序列的质量评价数组，最后利用质量评价数组对所有步态轮廓图的特征进行评价得到评价分数，再按评价分数对所有步态轮廓图的特征进行加权融合，其通过引入质量评价数组为每帧步态轮廓图的特征设定权重，从而减少部分分割效果的步态轮廓图对融合得到的整体特征的影响，提高了步态识别的准确率。

附图说明

图1是本发明第一实施例的步态识别方法的流程示意图；

图2是本发明第二实施例的步态识别方法的流程示意图；

图3是本发明第三实施例的步态识别方法的流程示意图；

图4是本发明训练步态周期划分模型的流程示意图；

图5是本发明第四实施例的步态识别方法的流程示意图；

图6是本发明第五实施例的步态识别方法的流程示意图；

图7是本发明第一实施例的步态识别装置的结构示意图；

图8是本发明第二实施例的步态识别装置的结构示意图；

图9是本发明实施例的终端的结构示意图；

图10是本发明实施例的存储装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的步态识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：

步骤S100，利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图。

需要说明的是，步态周期划分模型是一个预先训练好的模型，用于将视频流中的多帧图片按步态周期进行划分并从中提取出一个步态周期的步态轮廓序列，其中，步态周期是指人行走时，同一只脚从脚跟离地跨出，到再次脚跟着地的行进过程。

在步骤S100中，将摄像头或者其他拍摄装置获取的视频流，先通过行人检测与目标跟踪方法检测出监控场景中的行人，并过滤掉重叠程度较高的行人，再利用轻量级语义分割算法和训练好的步态周期划分模型从视频流中提取出一个步态周期的步态轮廓序列，并对步态轮廓序列中的每一帧步态轮廓图进行裁剪、对齐等归一化操作。

步骤S101，提取步态轮廓序列中每张步态轮廓图的特征。

在步骤S101中，利用卷积神经网络提取步态轮廓序列中每张步态轮廓图的特征。

步骤S102，利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组。

在步骤S102中，将所有步态轮廓图的特征通过卷积、池化、拼接和压缩操作后，利用全局平均池化和全连接将其转换为一个数组，即该质量评价数组。

步骤S103，利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征。

在步骤S103中，通过质量评价数组分别对每一个步态轮廓图进行质量评价，得到质量评价分数，再根据质量评价分数对步态轮廓图的特征进行加权融合，得到步态轮廓序列的整体特征，例如，以F表示整体特征，f_i表示第i个步态轮廓图的特征，M_[i]表示第i个步态轮廓图的特征的质量评价分数，t表示步态轮廓特征的总个数，则：

需要说明的是，在将步态轮廓图的特征进行叠加融合时，按步态轮廓图的图像通道数进行叠加融合，即将同一个图像通道数的特征进行叠加融合，从而得到每个图像通道的总特征值，每个图像通道的总特征值构成该整体特征。其中，图像通道是图像中的一个重要概念，例如，在RGB色彩模式下，一幅完整的图像，是由红色、绿色、蓝色三个通道组成的，它们共同作用产生了完整的图像。本实施例中图像通道数即指的是具体的某一个图像通道，例如，假设红色通道为1，绿色通道为2，蓝色通道为3，则图像通道数为1时，即指的是红色通道。

步骤S104，至少利用步态轮廓序列的整体特征进行识别。

在步骤S104中，将步态轮廓序列的整体特征与步态识别数据库中的数据进行对比，然后输出匹配的身份判别结果。

需要说明的是，该步态识别数据库预先进行设置，通过将例如罪犯、走失人员的步态数据存储至步态识别数据库中。

本实施例在获取到多帧步态轮廓图之后，提取每张步态轮廓图的特征，再利用该步态轮廓图的特征获取步态轮廓序列的质量评价数组，最后利用质量评价数组对所有步态轮廓图的特征进行评价得到评价分数，再按评价分数对所有步态轮廓图的特征进行加权融合，其通过引入质量评价数组为每帧步态轮廓图的特征设定权重，从而减少部分分割效果的步态轮廓图对融合得到的整体特征的影响，提高了步态识别的准确率。

图2是本发明第二实施例的步态识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该方法包括步骤：

步骤S200，利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图。

在本实施例中，图2中的步骤S200和图1中的步骤S100类似，为简约起见，在此不再赘述。

步骤S201，提取步态轮廓序列中每张步态轮廓图的特征。

在本实施例中，图2中的步骤S201和图1中的步骤S101类似，为简约起见，在此不再赘述。

步骤S202，将多帧步态轮廓图的特征经卷积池化操作后得到基于帧数、图像通道数、步态轮廓图的高和宽的四维张量。

在步骤S202中，将多帧步态轮廓图的特征经卷积池化操作后，得到一个四维张量(t,c,h,w)，其中，t为步态轮廓图的帧数，c为图像通道数，h为步态轮廓图的高，w为步态轮廓图的宽。

步骤S203，利用1×1卷积对四维张量升维后进行学习，再压缩转换为三维张量。

在步骤S203中，在得到四维张量之后，利用1×1卷积对四维张量进行升维，再对升维后的四维张量进行学习，以获取到更丰富的特征，在将升维后的四维张量中的图像通道数这一维度进行压缩转换，得到一个包括总帧数、步态轮廓图的高和宽的三维张量。

步骤S204，将三维张量转化为质量评价数组。

在步骤S204中，利用全局平局池化(GAP)或全连接(FC)将其转换为质量评价数组。

步骤S205，利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征。

在本实施例中，图2中的步骤S205和图1中的步骤S103类似，为简约起见，在此不再赘述。

步骤S206，至少利用步态轮廓序列的整体特征进行识别。

在本实施例中，图2中的步骤S206和图1中的步骤S104类似，为简约起见，在此不再赘述。

本实施例通过对获取的多帧步态轮廓图的特征进行卷积、池化操作，从而得到一个基于帧数、图像通道数、步态轮廓图的高和宽的四维张量，将该四维张量进行升维学***均池化或全连接转换为质量评价数组，通过该质量评价数组对多帧步态轮廓图进行质量评价，能够很好的识别出其中分割质量高的轮廓图和质量低的轮廓图，并给出合适的质量评价分数，以方便后续将多帧步态轮廓图的特征进行叠加融合。

图3是本发明第三实施例的步态识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图3所示的流程顺序为限。如图3所示，该方法包括步骤：

步骤S300，利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图。

在本实施例中，图3中的步骤S300和图1中的步骤S100类似，为简约起见，在此不再赘述。

步骤S301，提取步态轮廓序列中每张步态轮廓图的高层语义特征、中层语义特征和低层语义特征。

在步骤S301中，利用卷积神经网络分别提取出每帧步态轮廓图的高层语义特征、中层语义特征和低层语义特征。

步骤S302，利用所有步态轮廓图的高层语义特征获取与高层语义特征对应的高层质量评价数组。

步骤S303，利用所有步态轮廓图的中层语义特征获取与中层语义特征对应的中层质量评价数组。

步骤S304，利用所有步态轮廓图的低层语义特征获取与低层语义特征对应的低层质量评价数组。

在步骤S302～步骤S304中，分别对高层语义特征、中层语义特征和低层语义特征进行处理，得到与高层语义特征对应的高层质量评价数组、与中层语义特征对应的中层质量评价数组和与低层语义特征对应的低层质量评价数组。

步骤S305，利用高层质量评价数组将所有高层语义特征按图像通道进行叠加融合，得到高层整体特征。

步骤S306，利用中层质量评价数组将所有中层语义特征按图像通道进行叠加融合，得到中层整体特征。

步骤S307，利用低层质量评价数组将所有低层语义特征按图像通道进行叠加融合，得到低层整体特征。

在步骤S305～步骤S307中，根据图像通道数将高层语义特征、中层语义特征、低层语义特征分别进行叠加融合，从而得到高层整体特征、中层整体特征和低层整体特征。

步骤S308，将高层整体特征、中层整体特征和低层整体特征进行空间融合得到融合整体特征。

在步骤S308中，首先，将高层整体特征进行卷积并双线性采样以转换至与中层整体特征相同尺寸，再与中层整体特征进行融合，再将融合后的特征进行卷积并双线性采样以转换至与低层整体特征相同尺寸，再与低层整体特征进行融合，得到融合整体特征。

步骤S309，利用步态轮廓序列的高层整体特征、中层整体特征、低层整体特征和融合整体特征进行识别。

在步骤S309中，通过高层整体特征、中层整体特征、低层整体特征和融合整体特征在步态识别数据库搜索匹配的结果并输出。

本实施例通过提取步态轮廓图的高层语义特征、中层语义特征、低层语义特征，经过处理后得到高层整体特征、中层整体特征、低层整体特征和融合整体特征，再利用高层整体特征、中层整体特征、低层整体特征和融合整体特征进行识别，其通过提取多层不同尺度的局部整体特征，从而增加了步态特征表达的多样性，使得最终识别的结果更为准确，提高了步态识别的精度。

请参阅图4，图4展示了步态周期划分模型的训练的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图4所示的流程顺序为限。如图4所示，该步态周期划分模型的训练包括以下步骤：

步骤S400，提取一个步态周期内所有图像的关节数据，并构建每张图像的骨架图。

在步骤S400中，预先准备一个步态周期的步态轮廓图，提取其中每张步态轮廓图的关节数据，并构建一一对应的骨架图，并将骨架图进行缩放对齐等归一化操作。

步骤S401，获取每张骨架图在所有图像中的顺序位置，并根据顺序位置设定每张骨架图的余弦值。

在步骤S401中，根据一个步态周期中每张步态轮廓图的顺序位置获取每张骨架图的顺序位置，再根据骨架图的顺序位置设定每张骨架图的余弦值，排在第一位的骨架图，其余弦值为

排在最后一个的骨架图，其余弦值为

其中，t代表一个步态周期内步态轮廓图的总帧数。再根据每张骨架图的余弦值制作余弦值波形图，两个波峰或两个波谷之间的所有步态轮廓图即构成一个步态周期的步态轮廓序列。

步骤S402，利用卷积神经网络对骨架图和余弦值进行训练，得到训练好的步态周期划分模型。

本实施例中，基于人体的关节数据训练得到的步态周期划分模型，其对复杂场景下采集的图像具有更为准确的划分效果，减少分割效果对步态周期的影响，提高步态周期分割精度，鲁棒性更高。

进一步的，基于上述实施例的基础上，图5展示了本发明第四实施例的步态识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：

步骤S500，提取视频流中每张步态轮廓图的关节数据，并构建目标骨架图。

步骤S501，将目标骨架图与步态周期划分模型训练时的骨架图进行匹配，并获取对应的余弦值作为目标余弦值。

步骤S502，根据每张步态轮廓图的目标余弦值生成余弦波形图，并提取两个波峰或两个波谷之间的所有步态轮廓图作为一个步态周期的步态轮廓序列。

步骤S503，提取步态轮廓序列中每张步态轮廓图的特征。

在本实施例中，图5中的步骤S503和图1中的步骤S101类似，为简约起见，在此不再赘述。

步骤S504，利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组。

在本实施例中，图5中的步骤S504和图1中的步骤S102类似，为简约起见，在此不再赘述。

步骤S505，利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征。

在本实施例中，图5中的步骤S505和图1中的步骤S103类似，为简约起见，在此不再赘述。

步骤S506，至少利用步态轮廓序列的整体特征进行识别。

在本实施例中，图5中的步骤S506和图1中的步骤S104类似，为简约起见，在此不再赘述。

本实施例通过提取人体的关节数据构建目标骨架图，在通过训练好的步态周期划分模型确认目标骨架图在余弦波形图中对应的位置，从而构建出整个视频流的中所有步态轮廓图的余弦波形图，从中挑选出两个波峰或两个波谷之间的步态轮廓图，从而得到一个步态周期的步态轮廓序列，其减少了图像分割对步态周期造成的影响，提高了步态周期的划分精度。

图6展示了本发明第五实施例的步态识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图6所示的流程顺序为限。如图6所示，该方法包括步骤：

步骤S600，利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图。

在本实施例中，图6中的步骤S600和图1中的步骤S100类似，为简约起见，在此不再赘述。

步骤S601，提取步态轮廓序列的特征，步态轮廓序列的特征包括多层整体特征和融合整体特征，融合整体特征是对所有层的整体特征融合而得到的。

需要说明的是，该多层整体特征包括高层整体特征、中层整体特征和低层整体特征，融合整体特征为将高层语义特征、中层语义特征和低层语义特征进行融合得到的特征。

在步骤S601中，分别提取步态轮廓序列中每张步态轮廓图的高层语义特征、中层语义特征和低层语义特征，再将所有的高层语义特征、中层语义特征、低层语义特征分别进行融合，得到高层整体特征、中层整体特征和低层整体特征。

步骤S602，利用步态轮廓序列的特征进行识别。

本实施例通过获取步态轮廓序列的多层整体特征以及多层整体特征融合得到的融合整体特征来进行识别，其提供了丰富的特征数据，使得从步态识别数据库中搜索到的结果更为精确，提升了步态识别的准确度。

图7是本发明第一实施例的步态识别装置的结构示意图。如图7所示，该装置10包括第一序列提取模块11、第一特征提取模块12、数组获取模块13、特征处理模块14和第一识别模块15。

第一序列提取模块11，用于利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图。

第一特征提取模块12，与第一序列提取模块耦接，用于提取步态轮廓序列中每张步态轮廓图的特征。

数组获取模块13，与第一特征提取模块耦接，用于利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组。

特征处理模块14，与数组获取模块耦接，用于利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征。

第一识别模块15，与特征处理模块耦接，用于至少利用步态轮廓序列的整体特征进行识别。

可选地，数组获取模块13利用所有步态轮廓图的特征获取步态轮廓序列的质量评价数组的操作可以为：将多帧步态轮廓图的特征经卷积池化操作后得到基于帧数、图像通道数、步态轮廓图的高和宽的四维张量；利用1×1卷积对四维张量升维后进行学习，再压缩转换为三维张量；将三维张量转化为质量评价数组。

可选地，每张步态轮廓图的特征包括每张步态轮廓图的高层语义特征、中层语义特征和低层语义特征；步态轮廓序列的质量评价数组包括与高层语义特征对应的高层质量评价数组、与中层语义特征对应的中层质量评价数组和与低层语义特征对应的低层质量评价数组；步态轮廓序列的整体特征包括高层整体特征、中层整体特征和低层整体特征；特征处理模块14利用质量评价数组对所有步态轮廓图的特征进行叠加融合，得到步态轮廓序列的整体特征的操作可以为：利用高层质量评价数组将所有高层语义特征按图像通道进行叠加融合，得到高层整体特征；利用中层质量评价数组将所有中层语义特征按图像通道进行叠加融合，得到中层整体特征；利用低层质量评价数组将所有低层语义特征按图像通道进行叠加融合，得到低层整体特征；步态轮廓序列的整体特征还包括融合整体特征，融合整体特征是对高层整体特征、中层整体特征和低层整体特征进行空间融合而得到的。

可选地，还需对步态周期划分模型进行训练，该训练步态周期划分模型的操作为：提取一个步态周期内所有图像的关节数据，并构建每张图像的骨架图；获取每张骨架图在所有图像中的顺序位置，并根据顺序位置设定每张骨骼图的余弦值；利用卷积神经网络对骨架图和余弦值进行训练，得到训练好的步态周期划分模型；第一序列提取模块11利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列的操作可以为：提取视频流中每张步态轮廓图的关节数据，并构建目标骨架图；将目标骨架图与步态周期划分模型训练时的骨架图进行匹配，并获取对应的余弦值作为目标余弦值；根据每张步态轮廓图的目标余弦值生成余弦波形图，并提取两个波峰或两个波谷之间的所有步态轮廓图作为一个步态周期的步态轮廓序列。

图8是本发明第二实施例的步态识别装置的结构示意图。如图8所示，该装置20包括第二序列提取模块21、第二特征提取模块22和第二识别模块23。

第二序列提取模块21，用于利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，步态轮廓序列包括多帧步态轮廓图。

第二特征提取模块22，与第二序列提取模块耦接，用于提取步态轮廓序列的特征，步态轮廓序列的特征包括多层整体特征和融合整体特征，融合整体特征是对所有层的整体特征融合而得到的。

第二识别模块23，与第二特征提取模块耦接，用于利用步态轮廓序列的特征进行识别。

图9是本发明实施例的终端的结构示意图。如图9所示，该终端30包括处理器31及和处理器31耦接的存储器32。

存储器32存储有用于实现上述任一实施例所述的步态识别方法的程序指令。

处理器31用于执行存储器32存储的程序指令以通过步态识别行人身份信息。

其中，处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图10是本发明实施例的存储装置的结构示意图。如图10所示，本发明实施例的存储装置存储有能够实现上述所有方法的程序文件41，其中，该程序文件41可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种步态识别方法，其特征在于，包括：

利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，所述步态轮廓序列包括多帧步态轮廓图；

提取所述步态轮廓序列中每张所述步态轮廓图的特征；

利用所有所述步态轮廓图的特征获取所述步态轮廓序列的质量评价数组；

利用所述质量评价数组对所有所述步态轮廓图的特征进行叠加融合，得到所述步态轮廓序列的整体特征；

至少利用所述步态轮廓序列的整体特征进行识别；

其中，所述利用所述质量评价数组对所有所述步态轮廓图的特征进行叠加融合，得到所述步态轮廓序列的整体特征，包括：

通过所述质量评价数组分别对每一个所述步态轮廓图进行质量评价，得到质量评价分数；

根据所述质量评价分数对所述步态轮廓图的特征进行加权融合，得到所述步态轮廓序列的整体特征。

2.根据权利要求1所述的步态识别方法，其特征在于，

所述利用所有所述步态轮廓图的特征获取所述步态轮廓序列的质量评价数组的步骤，包括：

将多帧所述步态轮廓图的特征经卷积池化操作后得到基于帧数、图像通道数、所述步态轮廓图的高和宽的四维张量；

利用1×1卷积对所述四维张量升维后进行学习，再压缩转换为三维张量；

将所述三维张量转化为所述质量评价数组。

3.根据权利要求1所述的步态识别方法，其特征在于，

所述每张所述步态轮廓图的特征包括每张所述步态轮廓图的高层语义特征、中层语义特征和低层语义特征。

4.根据权利要求3所述的步态识别方法，其特征在于，

所述步态轮廓序列的质量评价数组包括与所述高层语义特征对应的高层质量评价数组、与所述中层语义特征对应的中层质量评价数组和与所述低层语义特征对应的低层质量评价数组。

5.根据权利要求4所述的步态识别方法，其特征在于，

所述步态轮廓序列的整体特征包括高层整体特征、中层整体特征和低层整体特征；

所述利用所述质量评价数组对所有所述步态轮廓图的特征进行叠加融合，得到所述步态轮廓序列的整体特征的步骤，包括：

利用所述高层质量评价数组将所有所述高层语义特征按图像通道进行叠加融合，得到所述高层整体特征；

利用所述中层质量评价数组将所有所述中层语义特征按图像通道进行叠加融合，得到所述中层整体特征；

利用所述低层质量评价数组将所有所述低层语义特征按图像通道进行叠加融合，得到所述低层整体特征。

6.根据权利要求5所述的步态识别方法，其特征在于，

所述步态轮廓序列的整体特征还包括融合整体特征，所述融合整体特征是对所述高层整体特征、所述中层整体特征和所述低层整体特征进行空间融合而得到的。

7.根据权利要求1所述的步态识别方法，其特征在于，

进一步包括对所述步态周期划分模型进行训练，所述步态周期划分模型的训练步骤，包括：

提取一个步态周期内所有图像的关节数据，并构建每张图像的骨架图；

获取每张所述骨架图在所述所有图像中的顺序位置，并根据所述顺序位置设定每张所述骨架图的余弦值；

利用卷积神经网络对所述骨架图和所述余弦值进行训练，得到训练好的步态周期划分模型。

8.根据权利要求7所述的步态识别方法，其特征在于，

所述利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列的步骤，包括：

提取所述视频流中每张步态轮廓图的关节数据，并构建目标骨架图；

将所述目标骨架图与所述步态周期划分模型训练时的骨架图进行匹配，并获取对应的余弦值作为目标余弦值；

根据每张步态轮廓图的所述目标余弦值生成余弦波形图，并提取两个波峰或两个波谷之间的所有步态轮廓图作为所述一个步态周期的步态轮廓序列。

9.一种步态识别方法，其特征在于，包括：

利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，所述步态轮廓序列包括多帧步态轮廓图；

提取所述步态轮廓序列的特征，所述步态轮廓序列的特征包括多层整体特征和融合整体特征，所述融合整体特征是对所有层的所述整体特征融合而得到的；

利用所述步态轮廓序列的特征进行识别；

其中，所述提取所述步态轮廓序列的特征包括：

提取所述步态轮廓序列中每张步态轮廓图的高层语义特征、中层语义特征和低层语义特征；

分别对所述高层语义特征、所述中层语义特征和所述低层语义特征进行处理，得到与所述高层语义特征对应的高层质量评价数组、与所述中层语义特征对应的中层质量评价数组和与所述低层语义特征对应的低层质量评价数组；

利用所述高层质量评价数组将所有高层语义特征按图像通道进行叠加融合，得到高层整体特征；利用所述中层质量评价数组将所有中层语义特征按图像通道进行叠加融合，得到中层整体特征；利用所述低层质量评价数组将所有低层语义特征按图像通道进行叠加融合，得到低层整体特征；

将所述高层整体特征、所述中层整体特征和所述低层整体特征进行空间融合得到所述融合整体特征。

10.一种步态识别装置，其特征在于，包括：

第一序列提取模块，用于利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，所述步态轮廓序列包括多帧步态轮廓图；

第一特征提取模块，与所述第一序列提取模块耦接，用于提取所述步态轮廓序列中每张所述步态轮廓图的特征；

数组获取模块，与所述第一特征提取模块耦接，用于利用所有所述步态轮廓图的特征获取所述步态轮廓序列的质量评价数组；

特征处理模块，与所述数组获取模块耦接，用于利用所述质量评价数组对所有所述步态轮廓图的特征进行叠加融合，得到所述步态轮廓序列的整体特征；

第一识别模块，与所述特征处理模块耦接，用于至少利用所述步态轮廓序列的整体特征进行识别；

其中，所述利用所述质量评价数组对所有所述步态轮廓图的特征进行叠加融合，得到所述步态轮廓序列的整体特征，包括：

通过所述质量评价数组分别对每一个所述步态轮廓图进行质量评价，得到质量评价分数；

根据所述质量评价分数对所述步态轮廓图的特征进行加权融合，得到所述步态轮廓序列的整体特征。

11.一种步态识别装置，其特征在于，包括：

第二序列提取模块，用于利用训练好的步态周期划分模型从视频流中提取一个步态周期的步态轮廓序列，所述步态轮廓序列包括多帧步态轮廓图；

第二特征提取模块，与所述第二序列提取模块耦接，用于提取所述步态轮廓序列的特征，所述步态轮廓序列的特征包括多层整体特征和融合整体特征，所述融合整体特征是对所有层的所述整体特征融合而得到的；

第二识别模块，与所述第二特征提取模块耦接，用于利用所述步态轮廓序列的特征进行识别；

其中，所述提取所述步态轮廓序列的特征包括：

提取所述步态轮廓序列中每张步态轮廓图的高层语义特征、中层语义特征和低层语义特征；

分别对所述高层语义特征、所述中层语义特征和所述低层语义特征进行处理，得到与所述高层语义特征对应的高层质量评价数组、与所述中层语义特征对应的中层质量评价数组和与所述低层语义特征对应的低层质量评价数组；

利用所述高层质量评价数组将所有高层语义特征按图像通道进行叠加融合，得到高层整体特征；利用所述中层质量评价数组将所有中层语义特征按图像通道进行叠加融合，得到中层整体特征；利用所述低层质量评价数组将所有低层语义特征按图像通道进行叠加融合，得到低层整体特征；

将所述高层整体特征、所述中层整体特征和所述低层整体特征进行空间融合得到所述融合整体特征。

12.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现如权利要求1-8中任一项所述的步态识别方法的程序指令，或者是实现如权利要求9所述的步态识别方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以通过步态识别行人身份信息。

13.一种存储装置，其特征在于，存储有能够实现如权利要求1-8中任一项所述的步态识别方法的程序文件，或存储有能够实现如权利要求9所述的步态识别方法的程序文件。

Images