CN109508688B

CN109508688B - 基于骨架的行为检测方法、终端设备及计算机存储介质

Info

Publication number: CN109508688B
Application number: CN201811421202.8A
Authority: CN
Inventors: 周宝; 陈远旭; 王健宗; 肖京
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2023-10-13
Anticipated expiration: 2038-11-26
Also published as: CN109508688A; WO2020107833A1

Abstract

本申请实施例公开了一种基于骨架的行为检测方法、终端设备及计算机存储介质，涉及生物检测领域中的肢体动作检测技术，其中方法包括：获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。

Description

基于骨架的行为检测方法、终端设备及计算机存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种基于骨架的行为检测方法、终端设备及计算机存储介质。

背景技术

基于视觉的人体运动分析是计算机视觉领域中一个非常活跃的研究方向，它包含运动检测、目标分类和跟踪以及对人的运动进行理解和识别等内容。这些内容之间的关系是层层递进的：运动人体的检测是目标分类和跟踪的基础，在解决这些基本问题的基础上，就可以进行人体动作识别。运动特征的选择直接影响人体动作识别方法的识别效果。单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同，其适用范围不同，识别效果也是有限的。目前主流方法是计算机通过对传感器(摄像机)采集的原始图像或图像序列数据进行处理和分析，识别到视频中的人物，学习并理解其中人的动作和行为，一般的方法对有遮挡的情况识别效果不好，另外还可能存在准确度不高、鲁棒性低等缺点。

发明内容

本申请实施例提供一种基于骨架的行为检测方法、终端设备及计算机存储介质，可以提高骨架行为检测的准确率和鲁棒性。

第一方面，本申请实施例提供了一种基于骨架的行为检测方法，所述方法包括：

获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；

基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；

基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果。

作为一种可能的实施方式，所述基于预设转换规则针对所述关节点坐标进行转换，获得关节特征向量包括：

以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形，获得所述N个辅助三角形中每个辅助三角形的三个角度；

将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量，所述N为正整数。

作为一种可能的实施方式，所述将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量包括：

将所述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；

获得所述每个辅助三角形的三个角度的平均值，根据所述平均值由大到小的顺序对所述N个第一向量进行排序，获得多维度的所述关节特征向量。

作为一种可能的实施方式，所述以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形之后，所述方法还包括：

在检测到所述辅助三角形的角度存在缺失的情况下，将所述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为所述缺失角度。

作为一种可能的实施方式，所述方法还包括：

在检测到所述辅助三角形的角度存在缺失的情况下，获取所述原始图像数据的前后各m帧数据；

获得所述前后各m帧数据的关节特征向量，基于所述前后各m帧数据的关节特征向量和高斯滤波器计算获得所述缺失角度对应的新特征，所述M为正整数。

作为一种可能的实施方式，所述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。

作为一种可能的实施方式，基于图像检测算法在所述原始图像数据中确定骨架关节点之前，所述方法还包括：获取所述原始图像数据的分类检测标签，确定所述分类检测标签对应的待检测关节点的类型和数量；

所述基于图像检测算法在所述原始图像数据中确定骨架关节点包括：

基于图像检测算法在所述原始图像数据中确定满足所述类型和所述数量的骨架关节点。

第二方面，本申请实施例提供了一种终端设备，包括：节点检测模块、特征转换模块和识别模块，其中：

节点检测模块，用于获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；

特征转换模块，用于基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；

识别模块，用于基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果。

第三方面，本申请实施例还提供了一种终端设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面及其任一种可能的实施方式所述的方法。

第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面及其任一种可能的实施方式的方法。

本申请实施例通过获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的一种基于骨架的行为检测方法的流程示意图；

图2是本申请另一实施例提供的一种基于骨架的行为检测方法的流程示意图；

图3是本申请实施例提供的一种终端设备的结构示意图；

图4是本申请实施例提供的另一种终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了能够更好地理解本申请实施例，下面将对应用本申请实施例的方法进行介绍。

本申请实施例中提到的终端设备是可以与服务器进行通信的设备，上述服务器也称伺服器，是提供计算服务的设备，可以允许多个终端设备进行访问。上述终端设备可以为移动终端，包括各种具有无线通信功能的手持设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)等等。

请参见图1，是本申请实施例提供的一种基于骨架的行为检测方法的示意流程图，如图1所示该方法可包括：

101、获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标。

本申请实施例中的原始图像数据可以理解为各种类型、格式、大小的图像，比如由终端设备摄像头拍摄的照片，主要针对的是包含人体的图像，用于对图像中的人体骨架进行识别。

本申请实施例中的图像检测算法可以基于OpenPose实现，其中，提到的OpenPose是卡内基梅隆大学的开源项目，OpenPose包含了对人脸关键点的定位，人手的关键点的定位以及人身体的各个关节的定位，目的是把人体姿态作为一个整体来处理，它可以用来实时的追踪和检测多人的特征点，最初用OpenCV和Caffe实现。OpenPose可以同时定位130个人脸、人体、手上的特征点的***，以前人脸特征点的定位、身体关节的定位是不同的研究者在不同的***算法里实现的。

具体的，可以在上述原始图像数据中识别出骨架关节点，以OpenPose采用18个二维坐标点表示骨架关节点，相应的，每个关节点坐标可以表示为(x_i,y_i)，其中i＝1,2，...，18。

可选的，上述骨架关节点的坐标也可以是三维坐标，可以使用kinect等工具进行获取。

在获取到上述骨架关节点的关节点坐标之后，可以执行步骤102。

102、基于预设转换规则针对上述关节点坐标进行转换，获得关节特征向量。

具体的，终端设备中可以存储有上述预设转换规则，上述预设转换规则为关节点坐标与关节特征向量间的转换规则，在获得上述关节点坐标之后，通过上述预设转换规则进行转换，获得上述关节特征向量，其中，上述关节特征向量可以理解为表示骨架的位置特征，即可以为后续动作分类识别的依据。

可选的，可以以每三个上述关节点坐标构成预设规格的辅助三角形，获得上述辅助三角形的角度，此处可以称为关节角度。基于组合出的关节角度，可以采用多种方法构建骨架的关节特征向量。

比如，其中一种方法是选取上述辅助三角形三个角度的平均值，并对上述关节角度进行由大到小的排序，即可以获得多维度的关节特征向量。

在获得关节特征向量之后，可以执行步骤103。

103、基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果。

具体的，获得关节角度之后，可以将上述关节特征向量作为特征，使用上述图像分类算法进行学习、分类，识别出原始图像数据中存在的人体行为。人体行为识别目前处在动作识别阶段，而动作识别可以看成是特征提取和分类器设计相结合的过程。本申请实施例中的关节坐标点提取可以理解为特征提取过程中的一部分，特征提取受到遮挡、动态背景、移动摄像头、视角和光照变化等因素的影响而具有很大的挑战性。上述图像分类算法可以依据上述关节特征向量，针对原始图像数据中的动作进行分类识别。

经过前述步骤，原始图像数据中的关节特征已经被处理成特征向量的形式：feature＝[x₁,x₂,...,x₈₁₆]，上述关节特征对应的标签可以由人工进行标注，进而可以使用上述图像分类算法，如包括随机森林算法、支持向量机(Support Vector Machine，SVM)方法、梯度提升树算法(Gradient Boosting Decison Tree，GBDT)、神经网络算法中的任意一种或者多种，来进行分类识别，可以获得上述行为检测结果。

本申请实施例中提到的随机森林指的是利用多棵树对样本进行训练并预测的一种分类器；支持向量机是常见的一种判别方法，在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。

本申请实施例中提到的邻近算法，或者说K最近邻(k-NearestNeighbor，kNN)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

可选的，在使用SVM、KNN等分类算法时，最好确保输入的特征向量的维度一致，因此对于上文中多维度的关节特征向量，在图像有遮挡，造成关节部位不全时，需要对上述关节特征向量进行补全。同样也有多种方法可以对上述关节特征向量进行补全，其中一种方法就是尽量弱化缺失关节，也即：将缺失关节角度设为0；另一种方法可以包括：以检测到的关节角度的平均值代替缺失的关节角度。

如果是短暂性缺失，可以和关节点抖动的情况相同处理，将关节点坐标通过高斯滤波器，以时序上多帧数据来拟合缺失坐标。

如果是关节部位在画面外造成长期缺失，也即多帧数据都缺失，这种情况下，不能补全关节点坐标，可以对特征向量进行填0(补充到预设维度)。比如，需要18个关节点但只有15个关节点，那么C₁ ³ ₅＝455，只能得到455维的关节特征向量，就需要在最后填冲816-455＝361个0，因为在判断时，对关节特征向量中的值进行了从大到小的排列，所以希望分类算法能够尽量学习到较大角度的特征，从而填0在一定程度上不会影响分类器判断，保证了一定的准确性。

本申请实施例通过获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果，可以较好地实现应对关节遮挡问题的骨架行为检测，检测准确率高、鲁棒性强。

参见图2，是本申请实施例提供的另一种基于骨架的行为检测方法的示意流程图，图2所示的实施例可以是在图1所示的实施例的基础上得到的，如图2所示该方法可包括：

201、获取原始图像数据，获取上述原始图像数据的分类检测标签，确定上述分类检测标签对应的待检测关节点的类型和数量。

本申请实施例中，在图1所示实施例的基础上，确定需要的骨架关节点时，可以引入上述分类检测标签，上述分类检测标签可以在获取上述原始图像数据时同时获取，也可以由用户操作选取，终端设备中可以存储有分类检测标签与待检测关节点的类型和数量的对应关系，即在已知原始图像数据的分类检测标签时可以确定本次待检测关节点的类型和数量，进而可以执行步骤202。

202、基于图像检测算法在上述原始图像数据中确定满足上述类型和上述数量的骨架关节点，获取上述骨架关节点的关节点坐标。

具体的，可以通过优化特征来提升本申请实施例中的识别效果。以上述待检测关节点的类型和数量为准，检测出满足上述类型和上述数量的骨架关节点来进行关节点坐标的获取。

可选的，可以对本申请实施例的处理结果进行数据准确率验证。比如，一般情况下将18个关节点坐标进行特征提取后，可以得到816维的feature＝[x₁,x₂,...,x₈₁₆]，进而可以使用具有1000颗树的随机森林进行分类，可以得到84.39％的准确率。在本申请实施例中，举例来讲，根据经验，手臂位置对站立、下蹲、跌倒的行为检测识别作用较小，在因此检测过程中可以去掉左右手肘和手腕共4个关节，获取剩下的14个骨架关节点，特征维度从原本的变成了共进而在步骤205中采用相同的随机森林模型，可以得到89.45％的准确率，可见进一步提高了检测准确度。

其中，上述步骤201和步骤202中骨架关节点的确定和关节点坐标的获取还可以参考图1所示实施例的步骤101中的具体描述，此处不再赘述。

在获取到上述关节点坐标之后可以执行步骤203。

203、以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形，获得上述N个辅助三角形中每个辅助三角形的三个角度，上述N为正整数。

本申请实施例以18个关节点坐标为例进行说明，其中，从18个关节点坐标中，选出了每三个关节点的所有组合，共个，即上述N＝816，利用上述关节点坐标的组合，可以求出所组合成的辅助三角形的角度分别是/>其中k＝1,2，...，816，特殊情况下，当3个关节点近似处于一条直线时，上述角度可以分别为0，0，180。

在获得上述N个辅助三角形中每个辅助三角形的三个角度之后，可以执行步骤204。

204、将上述每个辅助三角形的三个角度作为向量坐标，构建上述关节特征向量。

具体的，终端设备中可以存储有预设构建规则，上述预设构建规则可以理解为辅助三角形的角度与关节特征向量间的转换规则，在获得上述每个辅助三角形的三个角度之后，通过上述预设构建规则构建骨架的关节特征向量，其中，上述每个辅助三角形的三个角度可以作为向量坐标，上述关节特征向量即可以为后续动作分类识别的依据。

基于上述组合出的辅助三角形的角度，可以采用多种方法构建骨架的特征表示向量，可选的，可以包括：

将上述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；

获得上述每个辅助三角形的三个角度的平均值，根据上述平均值由大到小的顺序对上述N个第一向量进行排序，获得多维度的上述关节特征向量。

具体的，上述N个辅助三角形中每个辅助三角形的三个角度可以表示为可以分别作为N个第一向量的坐标/>其中k＝1,2，...，816，

可以获得上述每个辅助三角形的三个角度的平均值，对共816个第一向量进行由大到小的顺序排序，此时骨骼的关节特征向量为816维：

可选的，在以每三个关节点坐标为顶点确定预设规格的N个辅助三角形之后，在检测到上述辅助三角形的角度存在缺失的情况下，将上述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为上述缺失角度。

可选的，在检测到上述辅助三角形的角度存在缺失的情况下，获取上述原始图像数据的前后各m帧数据；

获得上述前后各m帧数据的关节特征向量，基于上述前后各m帧数据的关节特征向量和高斯滤波器计算获得上述缺失角度对应的新特征，上述M为正整数。

具体的，行为检测中“行为”是一个时序过程，是一个时间阶段的关节位置的组合，因此为了提高判断准确性、也为了过滤识别错位的噪音，本申请实施例可以增加对多帧数据的处理，可以通过高斯滤波器实现。具体的，假设在检测到上述辅助三角形的角度存在缺失，即具体表现为某一时间点有标注数据(原始图像数据)，其特征为feature_k，可以取其前后各m帧数据的特征，以高斯函数计算第k帧的更新特征。

其中，上述高斯函数及状态分布，公式如下：

假设取m＝3,σ＝1，μ＝0，x每次变化0.5，于是有：

也即是：

在执行步骤205时，最好确保输入的特征向量的维度一致，因此对于上文中多维度的关节特征向量，在图像有遮挡，造成关节部位不全时，需要对上述关节特征向量进行补全。同样也有多种方法可以对上述关节特征向量进行补全，其中一种方法就是尽量弱化缺失关节，也即：将缺失关节角度设为0；另一种方法可以包括：以检测到的关节角度的平均值代替缺失的关节角度。

如果是短暂性缺失，可以和关节点抖动的情况相同处理，将关节点坐标通过上述高斯滤波器，以时序上多帧数据来拟合缺失坐标。

如果是关节部位在画面外造成长期缺失，也即多帧数据都缺失，这种情况下，不能补全关节点坐标，可以对特征向量进行填0(补充到预设维度)。比如，需要18个关节点但只有15个关节点，那么只能得到455维的关节特征向量，就需要在最后填冲816-455＝361个0，因为在判断时，对关节特征向量中的值进行了从大到小的排列，所以希望分类算法能够尽量学习到较大角度的特征，从而填0在一定程度上不会影响分类器判断，保证了一定的准确性。

在获得上述关节特征向量之后，可以执行步骤205。

205、基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果。

其中，上述步骤205可以参考图1所示实施例中步骤103中的具体描述，此处不再赘述。

基于图像或深度信息的人体骨架识别已经有丰富的应用，如Kinect、Leap Motion等，基于骨架的行为检测方法，在监控、游戏、机器人、人机交互等领域的应用也非常广泛，市面上现有的基于骨架的行为检测方法大体可以分为以下几类：

利用识别到的关节点坐标，基于人工制定的规则，进行行为检测；

利用骨架关节点坐标，利用坐标点进行聚类或分类；

利用长短期记忆网络(Long Short-Term Memory，LSTM)、循环神经网络(Recurrent Neural Network，RNN)等深度学习模型，对骨架信息进行分类；

在使用过程中，以上方法的识别基于骨架关节点坐标，因此需要将关节点固定，如脖子为0，左肩为1，右肩为2等等，并且对有遮挡的情况识别效果不好。另外方法1、2具有准确度不高、鲁棒性低等缺点，方法3准确度高，计算资源占用过多等缺点。

使用本申请实施例提出的方法，不需要固定关节点，能较好的应对关节遮挡情况，实现骨架行为检测，并且考虑了所有关节组合情况，并且具有鲁棒性强的特点。

鲁棒是Robust的音译，也就是健壮和强壮的意思。它是在异常和危险情况下***生存的关键。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，是指控制***在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。

本申请实施例适用于包含人体结构的图像进行基于骨架的行为检测。可选的，上述骨架识别获得检测结果之后可以判断人体的行为，因此可以将所述方案应用于图像或者视频拍摄功能中，进行动作识别或者美颜矫正，比如，通过上述方案识别骨架、动作，确认人体姿势，进行辅助修图，如拉长骨架等。

并且，在公共安全领域，使用上述算法进行自动的行为检测，可以进行犯罪预测、报警救助等功能。

本申请实施例中，通过获取原始图像数据，获取上述原始图像数据的分类检测标签，确定上述分类检测标签对应的待检测关节点的类型和数量，基于图像检测算法在上述原始图像数据中确定满足上述类型和上述数量的骨架关节点，获取上述骨架关节点的关节点坐标，再以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形，获得上述N个辅助三角形中每个辅助三角形的三个角度，上述N为正整数，进一步的，可以将上述每个辅助三角形的三个角度作为向量坐标，构建上述关节特征向量，可以基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以较好地实现应对关节遮挡问题的骨架行为检测，检测准确率高、鲁棒性强。

请参见图3，图3是本申请实施例提供的一种终端设备的结构示意图，该终端设备300包括节点检测模块310、特征转换模块320和识别模块330，其中：

节点检测模块310，用于获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；

特征转换模块320，用于基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；

识别模块330，用于基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果。

可选的，上述特征转换模块320，具体用于：

以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形，获得上述N个辅助三角形中每个辅助三角形的三个角度；

将上述每个辅助三角形的三个角度作为向量坐标，构建上述关节特征向量，上述N为正整数。

可选的，上述特征转换模块320，具体还用于：

可选的，上述终端设备300还包括检测模块340，用于在以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形之后，在检测到上述辅助三角形的角度存在缺失的情况下，将上述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为上述缺失角度。

可选的，上述检测模块340还用于：

在检测到上述辅助三角形的角度存在缺失的情况下，获取上述原始图像数据的前后各m帧数据；

可选的，上述上述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。

可选的，上述终端设备300还包括确定模块350，用于在基于图像检测算法在上述原始图像数据中确定骨架关节点之前，获取上述原始图像数据的分类检测标签，确定上述分类检测标签对应的待检测关节点的类型和数量；

上述节点检测模块310具体用于，基于图像检测算法在上述原始图像数据中确定满足上述类型和上述数量的骨架关节点。

根据本申请实施例的具体实施方式，图1与图2所示的基于骨架的行为检测方法涉及的步骤101～103、201～205可以是由图3所示的终端设备300中的各个模块来执行的。例如，图1中的步骤101～103可以分别由图3中所示的节点检测模块310、特征转换模块320和识别模块330来执行。

通过本申请实施例的终端设备300，终端设备300可以获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。

请参阅图4，图4是本申请实施例公开的另一种终端设备的结构示意图。如图4所示，该终端设备400包括处理器401和存储器402，其中，终端设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，终端设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。

应当理解，在本申请实施例中，所称处理器401可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备402可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备403可以包括显示器(LCD等)、扬声器等。

该存储器404可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如，存储器404还可以存储设备类型的信息。

通过本申请实施例的终端设备400，终端设备400可以获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于骨架的行为检测方法的部分或全部步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种基于骨架的行为检测方法，其特征在于，所述方法包括：

以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形，获得所述N个辅助三角形中每个辅助三角形的三个角度，所述N为正整数；

获得所述每个辅助三角形的三个角度的平均值，根据所述平均值由大到小的顺序对所述N个第一向量进行排序，获得多维度的关节特征向量；

2.根据权利要求1所述的方法，其特征在于，所述以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获得所述前后各m帧数据的关节特征向量，基于所述前后各m帧数据的关节特征向量和高斯滤波器计算获得缺失的角度对应的新特征，所述m为正整数。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。

5.根据权利要求1-3任一项所述的方法，其特征在于，基于图像检测算法在所述原始图像数据中确定骨架关节点之前，所述方法还包括：获取所述原始图像数据的分类检测标签，确定所述分类检测标签对应的待检测关节点的类型和数量；

6.一种终端设备，其特征在于，包括：节点检测模块、特征转换模块和识别模块，其中：

特征转换模块，用于以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形，获得所述N个辅助三角形中每个辅助三角形的三个角度，所述N为正整数；将所述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；获得所述每个辅助三角形的三个角度的平均值，根据所述平均值由大到小的顺序对所述N个第一向量进行排序，获得多维度的关节特征向量；

7.一种终端设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。