CN112329513A - 一种基于卷积神经网络的高帧率3d体态识别方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的高帧率3D体态识别方法，包括以下步骤：步骤一，终端获取包含人体动作的视频，建立视频中场景以待识别人体为中心的方位坐标；步骤二，对于每一个已知的人***置进行人体2D关键点检测和动作识别；步骤三，基于视频的时序信息，通过多幅图像对比，离线的进行3D关键点检测；步骤四，最后进行模型压缩，以部署在手机上。本申请方法通过将卷积神经网络等技术应用到手机移动端进行3D人体关键点识别，通过模型压缩以及算法创新，将算法流畅的运行在算力不足的手机等设备上，运行帧率提高，实现了较好的识别效果。

Description

一种基于卷积神经网络的高帧率3D体态识别方法

技术领域

本技术所属的技术领域为计算机软件技术领域，具体为一种基于卷积神经网络的高帧率手机3D体态识别方法。

背景技术

人体动作姿态判断应用前景广阔，目前市场上针对3D人体关键点识别的技术有很多，在互联网高度发达的今天，由于人体关键点应用范围十分广泛，例如实现腿部拉长等操作，该技术已经成为众多研究者的热门研究领域，目前该的研究主要集中在利用有深度信息的摄像头来进行人体关键点检测。

动作姿态判断一般流程是关节点定位，根据关节点定位数据判断姿态。然而为了获得较准确的姿态判断，关节定位坐标往往需要是3D空间坐标。这不仅仅对采集设备提出较高要求，需要能获得深度数据，还对计算的算力提出了较高要求，在实时转录应用中几乎无法运行。业界流行的基于单目摄像头的3D视觉动作捕捉算法在手机上运行帧率较低，用户体验较差，如业界知名项目OpenPose仅仅达到10FPS。

发明内容

本发明针对上述技术问题，通过将卷积神经网络等技术应用到手机移动端进行3D人体关键点识别，通过模型压缩以及算法创新，将算法流畅的运行在算力不足的手机等设备上，运行帧率提高，实现了较好的识别效果。

为了实现以上目的，本发明采用以下技术方案：

本发明为一种基于卷积神经网络的高帧率3D体态识别方法，所述体态识别方法包括以下步骤：

步骤一，终端获取包含人体动作的视频，建立视频中场景以待识别人体为中心的方位坐标；

步骤二，对于每一个已知的人***置进行人体2D关键点检测和动作识别；

步骤三，基于视频的时序信息，通过多幅图像对比，离线的进行3D关键点检测；

步骤四，最后进行模型压缩，以部署在手机上。

进一步的，所述步骤二具体为：

步骤2.1，通过卷积神经网络对于出现在视频中的人体进行特征点提取；

步骤2.2，对所述特征点提取结果进行逻辑回归算法，得到人的关节点；

步骤2.3，根据中心点定位来去除掉对非识别对象的响应；

步骤2.4，最后通过重复地对预测出来的热力图进行微调，得到最终的结果，即2D关键点；

步骤2.5，对得到的2D关键点进行状态空间搜索。基于人体工程学数据，2D关键点应该满足人体工程学的一般骨骼长度和表现，根据人体工程学的一般数值来减小状态空间搜索的范围，使得在个体上对动作的判断符合人体工程学的一般角度；

步骤2.6，上一步中的结果为一定的数值范围。此时，对所有的数值范围进行2D空间折角推算，再次进行人体工程学折角搜索，将数值范围的折角控制在人体工程学合理的范围内。最终，将结果所得折角以及长度归类到特定的动作类型当中，确定人体基本姿势。

进一步的，所述步骤三具体为：

步骤3.1，将视频画面相邻帧的图像特征向量的余弦距离进行对比，如果相邻的视频帧特征相差较多，则认为两幅图像差别过大，舍弃；如果相邻的帧特征接近，则认为可以对相邻帧进行3D关键点检测识别；

步骤3.2，通过对相邻的若干帧实施3D关键点识别算法，将2D关键点信息以及3D真实值进行比对，并且将差值记录下来；

步骤3.3，对步骤3.2中的差值使用梯度下降的方法进行优化，将2D关键点信息和3D真实值之间的差别缩小。

更进一步的，所述步骤3.2中，所述的3D关键点识别算法是将步骤2.4中得到的2D关键点采用随机森林算法进行3D化后，得到视频画面中的3D关键点信息。随机森林为一种通用算法。

作为一种优选，所述体态识别方法还包括步骤五，通过人体工程学的方法对检测出来的3D关键点进行优化。

进一步的，所述步骤五具体为：

步骤5.1，标注摄像头和被测人的夹角，记做A；

步骤5.2，对得到的3D关键点进行状态空间搜索，基于人体工程学数据，3D关键点应该满足人体工程学的一般骨骼长度和表现。根据人体工程学的一般数值来减小状态空间搜索的范围，并结合A夹角进一步减小状态空间搜索的范围，使得在个体上对动作的判断符合人体工程学的一般角度；

步骤5.3，根据人体工程学数据，结合夹角A的实际值来推算3D关键点的空间折角。所述人体工程学数据包括于肢体可以运动的范围，以及肢体一般最倾向的运动方式；将搜索空间中最倾向的角度与已分类动作进行对比，进行动作分类。

更进一步的，所述肢体可以运动的范围包括手肘、膝盖、髋骨、脚踝、手腕、颈部、肩膀从完全伸展到完全弯曲的可能角度范围；所述肢体一般最倾向的运动方式指给定肢体的3D空间坐标，该坐标位置最舒适体式的空间坐标是唯一的。

作为一种优选，所述步骤3.1中，如果余弦距离大于或等于设定的阈值，则认为相邻的视频帧特征相差较多，两幅图像差别过大，舍弃；如果余弦距离小于设定阈值，则认为相邻的帧特征接近。

本发明公开了一种基于卷积神经网络的高帧率手机3D体态识别方法，其有益效果在于：

1. 现有技术一般是基于3D摄像头进行3D体态识别，但这种方式计算量较大，同时对于摄像头等传感器要求较高，不利于大规模应用在手机端检测上，本申请识别方法通过2D图像（视频）进行3D体态识别，能够实现较高精度的3D体态识别算法。

2.在手机等算力较低的设备上实现较高精度的3D体态识别算法，同时能够通过2D图像、视频进行人体3D位置的估算与检测，降低了算力与传感器的要求，能流畅的运行在手机上，一般可达到30FPS，也是人眼感觉较为流畅的帧率。

3. 通过对人体工程学的应用，计算对应人体各关节折角（例如肢体针对躯干的折角，上臂针对前臂的折角等），并且进行动作识别，从而进一步提高计算精度。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对本发明中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其它附图。

图1为本发明基于卷积神经网络的高帧率手机3D体态识别方法的检测流程图；

图2为本发明中采用的神经网络架构图；

图3为本发明的动作检测分类图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合说明书附图对本发明的实施方式做进一步地详细叙述。

实施例1

本实施例提供一种基于卷积神经网络的高帧率3D体态识别方法；该方法首先需对机器进行示教，示教过程为：

1. 示范人录制准确的人体骨骼（关节到关节距离）

a. 关节点包括但不局限于：鼻子、左肩、右肩、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝，左脚、右脚

2. 示范人做标准动作，多台照相机拍摄

a. 每一台照相机对着示范人的角度不一样。

b. 照相机镜头畸变已知或者非常小

c. 照相机其他参数已知，在调整模型时作为备选参数可以输入。这些参数包括但不局限于：照相机畸变度、焦距等参数，照相机距离地面的高度，距离人的距离

d. 多角度同时拍摄后可以通过数据融合获得人体3D模型数据，从而获得对应关节的3D折角度数。

3. 示范人重复做出动作，多个示范人做动作，以增加数据量

4. 将照片输入人体关节点2D坐标模型，获得关节点的2D坐标。

本实施例所提供的方案包含以下肢体动作、体态姿势，但也可基于需要识别的运动模式、运动种类来确定所需标定的关键点以及关键点的体态：

计算出以四个躯干节点组成的四边形的夹角、动作对应关节的折角、每一个骨骼长度，作为自变量，以示范人意图动作作为因变量，构建卷积神经网络，训练模型。

a. 躯干的四个节点指 - 左右肩、左右髋

b. 动作对应关节的折角可能包括但不局限于：

i.左肩角：左髋-左肩-左肘

ii. 左肘角：左肩-左肘-左手

iii.左髋角：左肩-左髋-左膝

iv.左膝角：左髋-左膝-左脚

v. 右肩角：右髋-右肩-右肘

vi.右肘角：右肩-右肘-右手

vii.右髋角：右肩-右髋-右膝

viii.右膝角：右髋-右膝-右脚。

上述为在云端服务器建立使用场景建模、学习的具体过程，将算法部署好之后，实际应用包括以下步骤：

步骤一，终端获取包含人体动作的视频，建立视频中场景以待识别人体为中心的方位坐标；测试者录制准确的人体骨骼（关节到关节的距离，见录制模型部分）；测试者可以（但不要求）预先录制标准动作，该过程可用于优化算法并且对该测试者的识别结果有比较好的数据输出，然后测试者开始运动，摄像头在给定的时间段不断往复检测，做出判断；

a. 如果录制，该动作作为新的数据点加入模型，并且获得相对较大权重，以优化本地模型。首先算法会检测图像中所有出现的人体，并进行相应的定位，形成左上角（x1,y1），以及右下角（x2,y2），以及人体中间点（x3,y3）的矩形框架。

b. 如果录制，该动作产生的2D关节坐标和折角存入***库中，再次训练公共模型。

步骤二，对于每一个已知的人***置进行人体2D关键点检测和动作识别；步骤二具体为：

步骤2.1，通过卷积神经网络对于出现在视频中的人体进行特征点提取；

步骤2.2，对所述特征点提取结果进行逻辑回归算法，得到人的关节点；逻辑回归算法为一种通用算法；

步骤2.3，根据中心点定位来去除掉对非识别对象的响应；

步骤2.4，最后通过重复地对预测出来的热力图进行微调，得到最终的结果，即2D关键点。

步骤2.5，对得到的2D关键点进行状态空间搜索。基于人体工程学数据，2D关键点应该满足人体工程学的一般骨骼长度和表现。根据人体工程学的一般数值来减小状态空间搜索的范围，使得在个体上对动作的判断符合人体工程学的一般角度；步骤2.6，根据人体工程学数据推算2D空间折角，并归类到特定的动作类型当中来确定人体基本姿势。

每一次检测，摄像头都捉四个躯干节点组成是四边形夹角、动作对应关节的折角，和预先录制的骨骼长度一起输入模型，获得意图动作的评分。如果意图得分超过阈值，则判断做出了预判动作，否则没有。

所述步骤三具体为：

步骤3.1，将视频画面相邻帧的图像特征向量的cosine距离进行对比，如果相邻的视频帧特征相差较多，即cosine距离大于一个特定阈值，则认为两幅图像差别过大，舍弃；如果相邻的帧特征接近，即cosine距离小于一个特定阈值，则认为可以对相邻帧进行3D关键点检测识别；

步骤3.2，通过对相邻的若干帧实施3D关键点识别算法，将2D关键点信息以及3D真实值进行比对，并且将差值记录下来；

步骤3.3，对步骤3.2中的差值使用梯度下降的方法进行优化，将2D关键点信息和3D真实值之间的差别缩小。

模型使用3D折角度数做更准确的判断。

i.可以通过人体工程学数据，推算出关节的3D折角度数；

ii. 对于一些手机，可以使用手机背后的多目摄像头，或者深度摄像头，直接获取关节的3D空间坐标。

更进一步的，所述步骤3.2中，3D关键点识别算法是将步骤2.4中得到的2D关键点采用随机森林算法进行3D化后，得到视频画面中的3D关键点信息。

步骤四，最后进行模型压缩，以部署在手机上。本实施例中的模型压缩采用知识蒸馏等方法，能够大幅度减小模型体积。

所述体态识别方法还包括步骤五，通过人体工程学的方法对检测出来的3D关键点进行优化。

所述步骤五具体为：

步骤5.1，标注摄像头和被测人的夹角，记做A；

步骤5.2，对得到的3D关键点进行状态空间搜索。基于人体工程学数据，3D关键点应该满足人体工程学的一般骨骼长度和表现。根据人体工程学的一般数值来减小状态空间搜索的范围，并结合A夹角进一步减小状态空间搜索的范围，使得在个体上对动作的判断符合人体工程学的一般角度；

步骤5.3，根据人体工程学数据，结合A的实际值来推算3D关键点的空间折角。所述人体工程学数据包括于肢体可以运动的范围，以及肢体一般最倾向的运动方式；将搜索空间中最倾向的角度与已分类动作进行对比，进行动作分类。

该动作为空翻动作检测，输入为一段时间的视频。通过特征提取和标注数据，通过上文第一部分到第五部分的算法，来确定3D关键点。在确定完3D关键点后，对动作进行具体识别。在本例中，我们主要考察1. 脚部是否在头部上面 2. 是否为转向操作 3. 背部是否在视野范围内。通过对这三个场景的3D关键点进行计算和归类，来判断该动作的具体类型。

作为一种优选，所述肢体可以运动的范围包括手肘、膝盖、髋骨、脚踝、手腕、颈部、肩膀从完全伸展到完全弯曲的可能角度范围；所述肢体一般最倾向的运动方式指给定肢体的3D空间坐标，该坐标位置最舒适体式的空间坐标是唯一的。

本发明针对不同运动状态下，人体体态进行识别，以反馈被测人的体态状况，并能够结合规范的动作标准，对被测人予以一定的指导、评分。

1）首先算法会检测图像中所有出现的人体，并进行相应的定位，形成左上角（x1,y1），以及右下角（x2,y2），以及人体中间点（x3,y3）的矩形框架

2）此时算法已经知晓所有人体的位置。我们对于每一个已知的人***置进行人体2D关键点检测和动作识别。

a. 通过卷积神经网络对于出现的人体进行特征提取；

b. 对图像中每个出现的人体的特征提取结果进行逻辑回归算法，进而找到各个人的关节的点；

c. 然后根据中心点定位来去除掉对其他人的响应

d. 最后通过重复地对预测出来的热力图进行微调，得到最终的结果（2D关键点）；

3）通过对视频的时序信息，通过多幅图像对比，离线的进行3D关键点检测；

a. 因为视频具有连续性，我们通常将相邻帧的图像进行对比；

b. 如果相邻的视频帧特征相差较多，我们则认为两幅图像差别过大，进行舍弃；

c. 如果相邻的视频帧特征接近，那我们则认为可以对视频相邻帧进行3D关键点检测识别

d. 通过在相邻的5帧运行3D关键点识别识别算法。该算法将2D关键点采用随机森林算法进行3D化，将2D关键点信息以及3D真实值进行比对，并且将差值记录下来；

e. 对于上一步中的差值，使用梯度下降的方法进行优化，进而将2D关键点信息和3D真实值之间的差别缩小；

4）通过人体工程学的方法对检测出来的3D关键点进行优化：

a. 由于摄像头和人的夹角会造成读数偏差，我们的数据会以躯干面作为参考，标注摄像头和人的夹角。

b. 我们会参考每一个被测人实际的骨骼长度和表现，调整模型，使得在个体上对动作的判断符合人体工程学的一般角度。

c. 我们可以根据人体工程学数据推算3D空间折角。人体工程学数据包括但不局限于肢体可以运动的范围，比如手肘从完全伸展到完全弯曲的可能角度范围，和肢体一般最倾向的运动方式，比如给定手的3D空间坐标，手肘的最舒适位置的空间坐标是唯一的。

5）最后进行模型压缩，以知识蒸馏的方式来完成，并部署在手机上。具体压缩步骤如下：

a. 将云端训练出的原始模型作为老师模型，老师模型一般计算量较大。同时，将老师模型的前三层输入层作为学生模型。一般学生模型的计算量较小，会被部署在手机上。

b. 将同样一份样本同时输入老师模型和学生模型；

c. 将老师模型的结果和学生模型的结果进行比较，其差值我们称为模型蒸馏损失。

d. 将学生模型的结果和实际测量值进行比较，其差值我们称为学生模型学习损失。

e. 将模型蒸馏损失和学生模型学***均，会形成学生模型的损失函数。通过进行梯度下降等方式来将损失函数的值降到最低，我们就得到了一个蒸馏过的学生模型。

f. 一般学生模型的体积是老师模型的1/10，从而有效的减少了计算量。

g. 将训练好的小体积学生模型部署在手机上，可以有效地减小计算量。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述体态识别方法包括以下步骤：

步骤一，终端获取包含人体动作的视频，建立视频中场景以待识别人体为中心的方位坐标；

步骤二，对于每一个已知的人***置进行人体2D关键点检测和动作识别；

步骤三，基于视频的时序信息，通过多幅图像对比，离线的进行3D关键点检测；

步骤四，最后进行模型压缩，以部署在手机上。

2.根据权利要求1所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述步骤二具体为：

步骤2.1，通过卷积神经网络对于出现在视频中的人体进行特征点提取；

步骤2.2，对所述特征点提取结果进行逻辑回归算法，得到人的关节点；

步骤2.3，根据中心点定位来去除掉对非识别对象的响应；

步骤2.4，最后通过重复地对预测出来的热力图进行微调，得到最终的结果，即2D关键点；

步骤2.5，对得到的2D关键点进行状态空间搜索，基于人体工程学数据，2D关键点应该满足人体工程学的一般骨骼长度和表现，根据人体工程学的一般数值来减小状态空间搜索的范围，使得在个体上对动作的判断符合人体工程学的一般角度；

步骤2.6，上一步中的结果为一定的数值范围；此时，对所有的数值范围进行2D空间折角推算，再次进行人体工程学折角搜索，将数值范围的折角控制在人体工程学合理的范围内；

最终，将结果所得折角以及长度归类到特定的动作类型当中，确定人体基本姿势。

3.根据权利要求1所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述步骤三具体为：

步骤3.1，将视频画面相邻帧的图像特征向量的余弦距离进行对比，如果相邻的视频帧特征相差较多，则认为两幅图像差别过大，舍弃；如果相邻的帧特征接近，则认为可以对相邻帧进行3D关键点检测识别；

步骤3.2，通过对相邻的若干帧实施3D关键点识别算法，将2D关键点信息以及3D真实值进行比对，并且将差值记录下来；

步骤3.3，对步骤3.2中的差值使用梯度下降的方法进行优化，将2D关键点信息和3D真实值之间的差别缩小。

4.根据权利要求3所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述步骤3.2中，所述的3D关键点识别算法是将步骤2.4中得到的2D关键点采用随机森林算法进行3D化后，得到视频画面中的3D关键点信息。

5.根据权利要求1所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述体态识别方法还包括步骤五，通过人体工程学的方法对检测出来的3D关键点进行优化。

6.根据权利要求5所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述步骤五具体为：

步骤5.1，标注摄像头和被测人的夹角，记做A；

步骤5.2，对得到的3D关键点进行状态空间搜索，基于人体工程学数据，3D关键点应该满足人体工程学的一般骨骼长度和表现；根据人体工程学的一般数值来减小状态空间搜索的范围，并结合A夹角进一步减小状态空间搜索的范围，使得在个体上对动作的判断符合人体工程学的一般角度；

步骤5.3，根据人体工程学数据，结合夹角A的实际值来推算3D关键点的空间折角；

所述人体工程学数据包括于肢体可以运动的范围，以及肢体一般最倾向的运动方式；将搜索空间中最倾向的角度与已分类动作进行对比，进行动作分类。

7.根据权利要求6所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述肢体可以运动的范围包括手肘、膝盖、髋骨、脚踝、手腕、颈部、肩膀从完全伸展到完全弯曲的可能角度范围；所述肢体一般最倾向的运动方式指给定肢体的3D空间坐标，该坐标位置最舒适体式的空间坐标是唯一的。

8.根据权利要求3所述的一种基于卷积神经网络的高帧率3D体态识别方法，其特征在于，所述步骤3.1中，如果余弦距离大于或等于设定的阈值，则认为相邻的视频帧特征相差较多，两幅图像差别过大，舍弃；如果余弦距离小于设定阈值，则认为相邻的帧特征接近。

Images