CN111368635B - 一种基于毫米波的多人步态识别方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于毫米波的多人步态识别方法及装置，获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果。实现在保护用户隐私前提下，提高步态识别准确度。

Description

一种基于毫米波的多人步态识别方法及装置

技术领域

本发明涉及无线通信技术领域，特别是涉及一种基于毫米波的多人步态识别方法及装置。

背景技术

步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。其中，步态是指人们行走时的方式，是一种复杂的因人而异的行为特征。

现有的步态识别技术通常是基于计算机视觉，即利用摄像头捕捉行人走动时的视觉图像，然后基于视觉图像对行人步态进行分析，进而识别出行人的身份标识。

然而，采用摄像头进行识别存在一些问题。首先，摄像头捕捉用户日常生活的真实图像，必然会对用户产生严重的隐私威胁，不利于保护用户的隐私。其次，摄像容易受到照明的影响，在黑暗、弱光以及遮挡等情况下无法获得清晰的图像，从而导致识别失败。

可见，现有的基于计算机视觉的步态识别方法存在侵犯用户隐私以及易受到环境影响导致识别准确度较低的技术问题。

发明内容

本发明实施例的目的在于提供一种基于毫米波的多人步态识别方法及装置，在保护用户隐私前提下，提高步态识别准确度。具体技术方案如下：

为实现上述目的，本发明实施例提供了一种基于毫米波的多人步态识别方法，所述方法包括：

获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；

基于所述反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；

将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；

分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，所述步态识别神经网络是根据训练集预先训练的，所述训练集包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列。

可选的，所述毫米波设备为多个，在所述基于所述反射点在点云中的位置分布，将每帧点云数据划分为所述目标行人数目组点云子数数据之前，所述方法还包括：

基于各个毫米波设备的相对位置，对各个毫米波设备探测获得的多帧点云数据中每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标；

基于各帧点云数据的时间戳，合并各个毫米波设备探测获得的各帧点云数据。

可选的，所述将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列的步骤，包括：

采用匈牙利算法对每帧点云数据中的各组点云子数据进行匹配，基于匹配结果确定所述目标行人与所述每帧点云数据中的点云子数据的对应关系；

将所述目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。

可选的，所述步态识别神经网络按照如下步骤进行训练：

获取预设的神经网络模型和预设训练集；

将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果；

基于所述身份识别结果以及所述真实身份标识，确定损失值；

基于所述损失值判断所述神经网络模型是否收敛；

若否，则调整所述神经网络模型中的参数值，并返回所述将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果的步骤；

若是，则将当前的神经网络模型确定为步态识别神经网络。

为实现上述目的，本发明实施例还提供了一种基于毫米波的多人步态识别装置，所述装置包括：

获取模块，用于获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；

划分模块，用于基于所述反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；

匹配模块，用于将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；

输入模块，用于分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，所述步态识别神经网络是根据训练集预先训练的，所述训练集包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列。

可选的，所述毫米波设备为多个，所述装置还包括：

转换模块，用于基于各个毫米波设备的相对位置，对各个毫米波设备探测获得的多帧点云数据中每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标；

合并模块，用于基于各帧点云数据的时间戳，合并各个毫米波设备探测获得的各帧点云数据。

可选的，所述匹配模块，具体用于：

采用匈牙利算法对每帧点云数据中的各组点云子数据进行匹配，基于匹配结果确定所述目标行人与所述每帧点云数据中的点云子数据的对应关系；

将所述目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。

可选的，所述装置还包括训练模块，所述训练模型用于训练所述步态识别神经网络，所述训练模块，具体用于：

获取预设的神经网络模型和预设训练集；

将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果；

基于所述身份识别结果以及所述真实身份标识，确定损失值；

基于所述损失值判断所述神经网络模型是否收敛；

若否，则调整所述神经网络模型中的参数值，并返回所述将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果的步骤；

若是，则将当前的神经网络模型确定为步态识别神经网络。

为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。

为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。

应用本发明实施例提供的基于毫米波的多人步态识别方法及装置，能够获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的身份标识，以及每个样本行人的样本步态点云序列。可见，由于采用毫米波设备对行人进行探测，仅需要采集点云信息，不需要获取图像，因此有效保护了用户的隐私，且不会受到照明、遮挡等因素的影响，相比于受到照明、遮挡等因素影响的基于计算机视觉的步态识别方法，能够显著提高步态识别的准确度。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于毫米波的多人步态识别方法的一种流程示意图；

图2为本发明实施例提供的步态识别神经网络的一种结构示意图；

图3为本发明实施例提供的训练步态识别神经网络的一种流程示意图；

图4为本发明实施例提供的基于毫米波的多人步态识别方法的另一种流程示意图；

图5为本发明实施例提供的基于毫米波的多人步态识别装置的一种结构示意图；

图6为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有的基于计算机视觉进行步态识别存在的侵犯用户隐私以及易受到环境影响导致识别准确度较低的技术问题，本发明实施例提供了一种基于毫米波的多人步态识别方法、装置、电子设备及计算机可读存储介质。

为了便于理解，下面先对本发明实施例的应用场景进行介绍。

由于步态是一种因人而异的行为特征，因此本发明实施例可以通过识别用户步态进而确定用户身份，可以应用于例如健康检测、新型人机交互等领域。举例来讲，在智能家居领域，智能家居***可以通过步态识别出当前主人的身份，进而可以根据当前主人的习惯调整家居环境。

参见图1，图1为本发明实施例提供的基于毫米波的多人步态识别方法的一种流程示意图，方法可以包括以下步骤：

S101：获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度。

本发明实施例中，采用毫米波设备对目标行人进行探测。具体的，毫米波设备发射毫米波信号，毫米波信号接触目标行人后发生反射，毫米波设备接收反射回来的毫米波。毫米波设备根据反射的毫米波信号能够生成多帧点云数据，其中，相邻两帧点云数据之间存在一定的时间间隔，具体的时间间隔可以根据实际需求进行设定，例如可以通过调整毫米波设备的参数，使得获取的相邻两帧点云数据的时间间隔为0.1秒。其中，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度，置信度可以用该反射点的信噪比来表示。

作为一个示例，可以采用型号为TI IWR1443或TI IWR6843的毫米波设备，该毫米波设备具备3个发射天线和4个接收天线，能够获取三维点云，点云中包含若干点，每个点x轴坐标、y轴坐标、z轴坐标、速度和信噪比共5个属性信息。

本发明实施例中，毫米波设备可以与电子设备相连接，毫米波设备将对目标行人进行探测得到的多帧点云数据发送至电子设备，进而电子设备可以对点云数据进行分析以完成目标行人的步态识别。

S102：基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据。

本发明实施例中，由于毫米波设备是针对多个目标行人进行探测的，后续要针对单个目标行人进行步态识别，因此需要将点云数据进行划分。具体的，可以基于反射点在点云中的位置分布进行划分，将每帧点云数据划分为多组点云子数据，其中划分的组数与目标行人的数目相同。举例来讲，若目标行人为3个，则将每帧点云数据均划分为3组点云子数据。

本发明实施例中，可以采用聚类算法对每帧点云数据进行划分。作为一个示例，采用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法，先去除点云中的噪声点，然后将帧内的点分成不同的组，每组代表一个目标行人。

S103：将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列。

在本发明实施例中，在将每帧点云数据划分为多组点云子数据后，可以将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，并基于匹配结果，确定每个目标行人的步态点云序列。

为了便于理解，下面举例进行说明。假设当前获取了3帧点云数据，分别记为第1帧点云数据，第2帧点云数据和第3帧点云数据，目标行人有两个，分别记为行人A和行人B，当前每帧点云数据已被划分为两组点云子数据。为了对行人A进行步态识别，需要获取第1帧点云数据中行人A对应的点云子数据、第2帧点云数据中行人A对应的点云子数据以及第3帧点云数据中行人A对应的点云子数据，同理，在对行人B进行步态识别时，也要获取第1帧点云数据中行人B对应的点云子数据、第2帧点云数据中行人B对应的点云子数据以及第3帧点云数据中行人B对应的点云子数据。因此，对每帧点云数据中的各组点云子数据进行匹配，以确定目标行人与每帧点云数据中的点云子数据的对应关系。在匹配过程中，可以采用二分图匹配相关的算法。

本发明实施例中，可以基于匹配结果，确定每个目标行人的步态点云序列。承接上例，可以将行人A对应的第1帧点云数据中的点云子数据、第2帧点云数据中的点云子数据、第3帧点云数据中的点云子数据确定为行人A的步态点云序列。

S104：分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的身份标识，以及每个样本行人的样本步态点云序列。

本发明实施例中，可以分别将每个目标行人的步态点云序列输入步态识别神经网络，由于步态识别神经网络是预先根据训练集训练完成的，因此可以输出目标行人的步态识别结果，即可以通过识别目标行人的步态确定目标行人的身份标识。

其中，训练集包括多个样本行人的身份标识，以及每个样本行人的样本步态点云序列。

步态识别神经网络的网络结构和训练过程可以参见下文。

应用本发明实施例提供的基于毫米波的多人步态识别方法，能够获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的身份标识，以及每个样本行人的样本步态点云序列。可见，由于采用毫米波设备对行人进行探测，仅需要采集点云信息，不需要获取图像，因此有效保护了用户的隐私，且不会受到照明、遮挡等因素的影响，相比于受到照明、遮挡等因素影响的基于计算机视觉的步态识别方法，能够显著提高步态识别的准确度。

在本发明的一种实施例中，为了获取更多的点云数据，进一步提高步态识别的准确度，可以采用多个毫米波设备对目标行人进行探测。具体的，可以预先将多个毫米波设备置于不同的位置，分别对目标行人进行探测，随后将各个毫米波设备探测得到的点云数据进行合并。

在本发明的一种实施例中，在S101之后，S102之前，还可以包括以下步骤：

步骤A：基于各个毫米波设备的相对位置，对各个毫米波设备探测获得的多帧点云数据中每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标。

具体的，由于各个毫米波设备放置的位置不同，因此探测得到的反射点数据的三维坐标所处的直角坐标系也是不同的，可以基于各个毫米波设备的相对位置，对每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标。

具体的坐标转换公式可以如下：

x′＝xcos(θ)-ysin(θ)

y′＝xcos(θ)+ysin(θ)

其中，θ表示坐标系的旋转角度，(x,y)是在原坐标系的转换前的坐标,(x′,y′)是转换后的坐标。

步骤B：基于各帧点云数据的时间戳，合并各个毫米波设备探测获得的各帧点云数据。

本发明实施例中，在进行三维坐标的转换后，可以基于各帧点云数据的时间戳将各个毫米波设备探测的点云数据进行合并。

具体的，可以根据点云数据的时间戳对所有点云数据进行排序，并合并时间差小于预设阈值的不同毫米波设备探测得到的点云数据。预设阈值可以根据实际需求进行设定，例如设定为50ms。

每帧合并之后的点云数据都综合了每个毫米波设备的探测结果，因此能够增加点云数目，且有效减少行人之间遮挡带来的影响，进而进一步提高步态识别准确度。

在本发明的一种实施例中，上述步骤S103，具体可以包括以下细化步骤：

步骤a：采用匈牙利算法对每帧点云数据中的各组点云子数据进行匹配，基于匹配结果确定目标行人与每帧点云数据中的点云子数据的对应关系。

其中，匈牙利算法主要用于解决一些与二分图匹配有关的问题，采用匈牙利算法可以将当前帧中的点云子数据与前一帧中出现的点云子数据进行匹配。具体的，可以通过点云子数据中包含的反射点的位置坐标来进行匹配。由于相邻两帧点云数据的间隔时间非常小，相邻两帧点云中点云子数据的位置坐标变化很小。若当前帧的一组点云子数据的位置坐标与前一帧的一组点云子数据的位置坐标具有较高相似度，则可以认为当前帧的该组点云子数据与前一帧的该组点云子数据匹配，即都对应于同一个目标行人。

在匹配完成后，可以确定目标行人与每帧点云数据中的点云子数据的对应关系。

步骤b：将目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。

本步骤中，可以将目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。举例来讲，可以将行人A对应的第1帧点云数据中的点云子数据、第2帧点云数据中的点云子数据、第3帧点云数据中的点云子数据确定为行人A的步态点云序列。

在本发明的一种实施例中，可以选取在图片视频中表现良好的残差神经网络resnet作为待训练的深度神经网络模型。此外，可以根据点云数据的特点对现有的残差神经网络进行调整。

具体的，由于每帧点云数据中的每个反射点数据包括x轴坐标、y轴坐标、z轴坐标、速度以及置信度共5个属性，因此预设的神经网络模型中可以包括5个结构相同的子网络模型，每个子网络模型对应反射点数据的一个属性。

本发明实施例中，由于获取的点云中反射点数目可能较少，每帧点云数据中发射点的数目也可能不同，因此在将点云数据输入神经网络之前，可以对每一帧中的点云进行复制，使得每一帧点云中包含的反射点数目为预设值，例如128。

此外，可以预先设定步态点云序列中包含的点云数据的帧数，例如30帧，则每个子网络模型的输入为30*128的矩阵。

作为一个示例，参见图2，图2为本发明实施例提供的步态识别神经网络的一种结构示意图，如图2所示，本发明实施例采用的神经网络模型可以为7层结构，前5层神经网络结构共享，但是5个属性各自进行网络参数的训练。即5个属性中的x轴坐标、y轴坐标、z轴坐标、速度和置信度分别输入各自对应的网络层中。网络结构的第一层是一个卷积核大小7x7，步长为2的卷积层。在卷积层后进行步长为2的最大池化操作。随后连接一个残差模块，残差模块包括4层网络，即第2-5层，每层可以是卷积核为3，步长为1的卷积层。在第3层卷积操作结束后，将其得到的特征与最大池化操作得到的特征进行残差操作。在第5层卷积操作结束后，将其得到的特征与第3层卷积得到的特征做残差操作。残差操作后对特征进行平均池化操作。最后将5个属性卷积得到特征连接到一起，使用第6层网络提取点云的整体特征。最后使用第7层即全连接层模块进行分类，网络模型输出最后的判断结果。

在本发明的一种实施例中，参见图3，步态识别神经网络可以按照如下步骤进行训练：

S301：获取预设的神经网络模型和预设训练集。

其中，预设的神经网络模型的结构可以参见图2以及相关描述。预设的训练集可以包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列。

S302：将样本步态点云序列输入神经网络模型，得到样本行人的身份识别结果。

如上文，可以将样本步态点云序列中的5个属性的数据分别输出5个子网络模型中。经过神经网络模型运算后，输出每个样本行人的身份识别结果。

S303：基于身份识别结果以及真实身份标识，确定损失值。

在刚开始训练时，神经网络的识别结果可能与真实身份标识不同，可以基于识别结果与真实身份标识，确定当前迭代的损失值。

本发明实施例中，包括但不限于使用交叉熵公式、均方误差(Mean SquaredError，MSE)公式等作为损失函数，得到损失值。

S304：基于损失值判断神经网络模型是否收敛；若未收敛，则执行S305；若收敛，则执行S306。

S305：调整神经网络模型中的参数值，并返回步骤S302。

S306：将当前的神经网络模型确定为步态识别神经网络。

具体的，可以预先设置损失阈值，若损失值大于损失阈值，认为神经网络模型未收敛，则需要调整神经网络模型中的参数，返回步骤S302，即进行下一轮迭代训练。

若损失值在预设范围内，可以认为神经网络模型已收敛，将已收敛的神经网络模型确定为步态识别神经网络。

为了便于理解，下面结合附图图4对本发明实施例提供的基于毫米波的多人步态识别方法进行进一步介绍，如图4所示，多个毫米波设备对目标行人进行探测，并将探测得到的点云数据发送给电子设备，电子设备对各个毫米波设备探测得到的点云数据进行合成，得到合成后的点云数据，再对合成互的每帧点云数据进行数据分割，分别得到各个目标行人的步态点云序列。分别将各个目标行人的步态点云序列输入训练完成的神经网络模型中，即可得到各个目标行人的步态识别结果。

基于相同的发明构思，根据上述基于毫米波的多人步态识别方法实施例，本发明实施例还提供了一种基于毫米波的多人步态识别装置，参见图5，可以包括以下模块：

获取模块501，用于获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；

划分模块502，用于基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；

匹配模块503，用于将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；

输入模块504，用于分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列。

在本发明的一种实施例中，在图5所示装置基础上，还可以包括以下模块：

转换模块，用于基于各个毫米波设备的相对位置，对各个毫米波设备探测获得的多帧点云数据中每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标；

合并模块，用于基于各帧点云数据的时间戳，合并各个毫米波设备探测获得的各帧点云数据。

在本发明的一种实施例中，匹配模块503，具体可以用于：

采用匈牙利算法对每帧点云数据中的各组点云子数据进行匹配，基于匹配结果确定目标行人与每帧点云数据中的点云子数据的对应关系；

将目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。

在本发明的一种实施例中，在图5所示装置基础上，还可以包括训练模块，训练模型用于训练步态识别神经网络，具体用于：

获取预设的神经网络模型和预设训练集；

将样本步态点云序列输入神经网络模型，得到样本行人的身份识别结果；

基于身份识别结果以及真实身份标识，确定损失值；

基于损失值判断神经网络模型是否收敛；

若否，则调整神经网络模型中的参数值，并返回将样本步态点云序列输入神经网络模型，得到样本行人的身份识别结果的步骤；

若是，则将当前的神经网络模型确定为步态识别神经网络。

应用本发明实施例提供的基于毫米波的多人步态识别装置，能够获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的身份标识，以及每个样本行人的样本步态点云序列。可见，由于采用毫米波设备对行人进行探测，仅需要采集点云信息，不需要获取图像，因此有效保护了用户的隐私，且不会受到照明、遮挡等因素的影响，相比于受到照明、遮挡等因素影响的基于计算机视觉的步态识别方法，能够显著提高步态识别的准确度。

基于相同的发明构思，根据上述基于毫米波的多人步态识别方法实施例，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：

获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；

基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；

将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；

分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

应用本发明实施例提供的电子设备，能够获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；基于反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，步态识别神经网络是根据训练集预先训练的，训练集包括多个样本行人的身份标识，以及每个样本行人的样本步态点云序列。可见，由于采用毫米波设备对行人进行探测，仅需要采集点云信息，不需要获取图像，因此有效保护了用户的隐私，且不会受到照明、遮挡等因素的影响，相比于受到照明、遮挡等因素影响的基于计算机视觉的步态识别方法，能够显著提高步态识别的准确度。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一基于毫米波的多人步态识别方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于毫米波的多人步态识别方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于基于毫米波的多人步态识别装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于基于毫米波的多人步态识别方法实施例，所以描述的比较简单，相关之处参见基于毫米波的多人步态识别方法实施例的部分说明即可。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于毫米波的多人步态识别方法，其特征在于，所述方法包括：

获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；

基于所述反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；

将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；

分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，所述步态识别神经网络是根据训练集预先训练的，所述训练集包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列；

所述步态识别神经网络按照如下步骤进行训练：

获取预设的神经网络模型和预设训练集；

将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果；

基于所述身份识别结果以及所述真实身份标识，确定损失值；

基于所述损失值判断所述神经网络模型是否收敛；

若否，则调整所述神经网络模型中的参数值，并返回所述将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果的步骤；

若是，则将当前的神经网络模型确定为步态识别神经网络；

每帧点云数据中的每个反射点数据包括x轴坐标、y轴坐标、z轴坐标、速度以及置信度5个属性，预设的神经网络模型中包括5个结构相同的子网络模型，每个子网络模型对应反射点数据的一个属性；

在将点云数据输入神经网络之前，对每一帧中的点云进行复制，使得每一帧点云中包含的反射点数目为预设值；

所述将所述样本步态点云序列输入所述神经网络模型，包括：

将样本步态点云序列中的5个属性的数据分别输入所述神经网络模型中的5个子网络模型中。

2.根据权利要求1所述的方法，其特征在于，所述毫米波设备为多个，在所述基于所述反射点在点云中的位置分布，将每帧点云数据划分为所述目标行人数目组点云子数数据之前，所述方法还包括：

基于各个毫米波设备的相对位置，对各个毫米波设备探测获得的多帧点云数据中每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标；

基于各帧点云数据的时间戳，合并各个毫米波设备探测获得的各帧点云数据。

3.根据权利要求1所述的方法，其特征在于，所述将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列的步骤，包括：

采用匈牙利算法对每帧点云数据中的各组点云子数据进行匹配，基于匹配结果确定所述目标行人与所述每帧点云数据中的点云子数据的对应关系；

将所述目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。

4.一种基于毫米波的多人步态识别装置，其特征在于，所述装置包括：

获取模块，用于获取毫米波设备对多个目标行人进行探测获得的多帧点云数据，每帧点云数据由多个反射点数据组成，每个反射点数据包括反射点的三维坐标、速度以及置信度；

划分模块，用于基于所述反射点在点云中的位置分布，将每帧点云数据划分为目标行人数目组点云子数据；

匹配模块，用于将每帧点云数据中的各组点云子数据与其他帧点云数据中的各组点云子数据进行匹配，基于匹配结果，确定每个目标行人的步态点云序列；

输入模块，用于分别将每个目标行人的步态点云序列输入预先训练完成的步态识别神经网络，得到每个目标行人的步态识别结果，所述步态识别神经网络是根据训练集预先训练的，所述训练集包括多个样本行人的真实身份标识，以及每个样本行人的样本步态点云序列；

所述装置还包括训练模块，所述训练模型用于训练所述步态识别神经网络，所述训练模块，具体用于：

获取预设的神经网络模型和预设训练集；

将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果；

基于所述身份识别结果以及所述真实身份标识，确定损失值；

基于所述损失值判断所述神经网络模型是否收敛；

若否，则调整所述神经网络模型中的参数值，并返回所述将所述样本步态点云序列输入所述神经网络模型，得到样本行人的身份识别结果的步骤；

若是，则将当前的神经网络模型确定为步态识别神经网络；

每帧点云数据中的每个反射点数据包括x轴坐标、y轴坐标、z轴坐标、速度以及置信度5个属性，预设的神经网络模型中包括5个结构相同的子网络模型，每个子网络模型对应反射点数据的一个属性；

在将点云数据输入神经网络之前，对每一帧中的点云进行复制，使得每一帧点云中包含的反射点数目为预设值；

所述将所述样本步态点云序列输入所述神经网络模型，包括：

将样本步态点云序列中的5个属性的数据分别输入所述神经网络模型中的5个子网络模型中。

5.根据权利要求 4所述的装置，其特征在于，所述毫米波设备为多个，所述装置还包括：

转换模块，用于基于各个毫米波设备的相对位置，对各个毫米波设备探测获得的多帧点云数据中每个反射点数据的三维坐标进行转换，得到同一直角坐标系下的三维坐标；

合并模块，用于基于各帧点云数据的时间戳，合并各个毫米波设备探测获得的各帧点云数据。

6.根据权利要求4所述的装置，其特征在于，所述匹配模块，具体用于：

采用匈牙利算法对每帧点云数据中的各组点云子数据进行匹配，基于匹配结果确定所述目标行人与所述每帧点云数据中的点云子数据的对应关系；

将所述目标行人对应的各帧点云数据中的点云子数据确定为该目标行人的步态点云序列。

7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。

Images