CN107545242B - 一种通过2d图像推断人体动作姿态的方法及装置 - Google Patents

Abstract

本发明公开了一种通过2D图像推断人体动作姿态的方法，包括以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。本发明还提供了一种电子设备和计算机可读存储介质。本发明解决了现有技术中通过2D图像得到人体动作姿态的识别率低的问题。

Description

一种通过2D图像推断人体动作姿态的方法及装置

技术领域

本发明涉及一种人体姿态重建，尤其涉及一种通过2D图像推断人体工作姿态的方法、电子设备及存储介质。

背景技术

目前，目前对于通过单张2D图像来进行人体的动作姿态识别时由于单张2D图像中的人体往往会造成遮挡，比如被人自己的身体或衣服所遮挡，不能把所有的有用自由度提取到，造成信息采集不全，这样得到的人体动作姿态不准确。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种通过2D图像推断人体动作姿态的方法，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。

本发明的目的之二在于提供一种电子设备，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。

本发明的目的之四在于提供一种通过2D图像推断人体动作姿态的装置，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。

本发明的目的之一采用如下技术方案实现：

一种通过单张2D图像推断人体动作姿态的方法，包括以下步骤：

2D图像获取步骤：获取含有人体动作的2D图像；

置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；

映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。

进一步地，所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

进一步地，所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。

进一步地，所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

2D图像获取步骤：获取含有人体动作的2D图像；

置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；

映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。

进一步地，所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

进一步地，所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。

进一步地，所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的通过2D图像推断人体动作姿态的步骤。

本发明的目的之四采用如下技术方案实现：

一种通过2D图像推断人体动作姿态的装置，包括：

2D图像获取模块，用于获取含有人体动作的2D图像；

置信图计算模块，用于对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配模块，用于将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；

映射模块，用于将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。

相比现有技术，本发明的有益效果在于：

本发明通过建立人体动作姿态的3D模型数据库，并结合多级卷积神经网络算法，从2D图像能够推断出精确的3D模型，进而得到对应的人体姿态模型，其解决了现有技术中从2D图像推断3D模型时，识别率低下、信息采集补全、达不到实际应用的需求的问题。

附图说明

图1为本发明提供的通过2D图像推断人体动作姿态方法的流程图；

图2为本发明提供的3D模型示意图；

图3为本发明提供的由2D图像以及推断出的3D模型示意图；

图4为本发明提供的通过2D图像推断人体动作姿态装置的模块图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例

针对本发明所提供的两个技术难题，本发明采用了一种从2D图像来得到最优3D模型，并投影到2D空间，从而得到该2D图像所对应的在某个视角上的3D模型。其中从2D图像到3D模型的匹配，采用卷积神经网络算法来实现，可以将2D图像中被遮挡和缺失部分补齐。

另外，本发明还提供了一个3D动作模型的数据库，该数据库中存储了所有人体所有动作的3D模型。本发明中指出当人体进行动作时，选取人身体上的多个关节点，并将关节点连线，也即是说3D模型就是指的人体动作时关节自由度的表达。

也即是说，所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图，如图2所示，其中点代表关节自由度节点，线代表关节连线。由于只使用人体关节自由度作为节点，同时关节连线表示的是在图论层面的某两个关节自由度的拓补关系，所以3D人体姿态模型是具有通用型的，也即是说针对不同个体的人体(比如高、瘦、胖、矮等)其相同动作的3D人体姿态模型均相同。

3D模型数据库是通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录完成，从而构建了一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库。比如，通过人体佩戴相应的采集设备，然后使得人体做不同的动作并实时采集人体动作时关节自由度节点的位置变化，从而形成不同人体动作所对应的关节自由度节点的位置并对关节自由度节点进行连线，形状对应的3D模型，构成3D模型数据库。

对于3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

通过2D图像推断人体动作姿态的方法，如图1和3所示，包括以下步骤：

S1、获取含有人体动作的2D图像；

S2、对所述2D图像根据卷积神经网络算法获得2D图像的置信图；

一般来说，输入的是2D图像的2D特征或RGB特征，这里的2D特征、RGB特征均指的是2D图像中的信息。

其中，卷积神经网络算法是现有技术，以下描述为结合本发明给出简要的过程：

S11、获取2D图像的RGB信息。

S12、初始的RGB信息会作为原始输入，输入进深度学习模型的每一层。不同的是，在第一层输入的时候，初始的RGB信息作为唯一的输入，但在其他层，初始的RGB信息经过步骤3的卷积核池化后，会和上一层的输出一起作为联合的RGB特征使用。

S13、对RGB特征做卷积及池化处理，包含3个9*9的卷积核，1个5*5的卷积核，还有3个2*2的池化。

S14、经过卷积和池化过的RGB特征，再经9*9的卷积核，两个1*1的卷积核进行卷积，就得到了第一层的18个置信图谱，通过该置信图谱与3D模型库中的置信图谱进行匹配，寻找到最接近的3D模型所对应的18个置信图谱，将2D的18个置信图谱与3D的置信图谱进行2D融合，融合的方法就是在每个对应的像素点上取平均值，形成最终的18个置信图谱，并作为输出传递到第二层。

S15、第二层的输入为原始RGB特征，对RGB特征做卷积及池化处理，包含3个9*9的卷积核，1个5*5的卷积核，还有3个2*2的池化；然后将生成的特征与上一层的输出进行加和，然后进行2D联合预测，从第二层开始，2D联合预测是使用3个11*11和2个1*1的卷积核进行卷积，就得到了该层的18个置信图谱，通过该置信图谱与3D模型库中的置信图谱进行匹配，寻找到最接近的3D模型所对应的18个置信图谱，将2D的18个置信图谱与3D的置信图谱进行2D融合，融合的方法就是在每个对应的像素点上取平均值，形成最终的18个置信图谱，并作为输出传递到第三层。

***一共有6层，依次依据上述方法做第四层、第五层以及第六层的卷积，从而最终得到18个2D置信图谱，将该置信图谱与3D模型库中的置信图谱进行匹配，将最相似的3D模型作为2D图像所对应的最匹配的3D模型。

S3、根据2D图像的置信图与3D模型数据库得到2D图像所对应的3D模型。

通过采用卷积神经网络算法计算得到2D图像的置信图，然后再将2D图像的置信图与3D模型数据库的每个3D模型进行计算匹配，得出2D图像所对应的3D模型。

本发明中的卷积神经网络算法采用6层神经网络构成，通过输入2D特征(RGB特征)来得到对应的置信图，进而与3D模型数据库进行匹配得到2D图像对应的3D模型。

本发明中将经过卷积神经网络算法得知的2D图像的置信图与3D模型数据库进行匹配时，采用托马西-金出武雄算法来得到对应的3D模型。

首先根据托马西-金出武雄算法得出3D模型数据库中3D模型(μ代表某个3D模型)的均值，因为y轴的相关信息不回随着平面的选择而改变，因此把y轴的信息作为μ的估计参数。针对x和z的变量，将每个样本点的x，y坐标交叉，最终形成一个矩阵M，其中M的大小为2N×L，因此可以近似地得到矩阵M的二阶秩M≈A·B。其中A是已知的，其每一行都用其最近似的二阶秩的正交矩阵代替，就得到了

然后用

作为μ的x、z的参数估计，其中

是A的广义逆矩阵。

通过上述公式将2D图像的置信图作为矩阵B输入，从而可得到对应的3D模型。其中M和A均为已知的。

进一步地，对于将2D图像匹配得到3D模型之前，还需要进行坐标校正，也即是说将3D模型数据库中的每个3D模型所在的坐标系归一化。由于在建立人体动作姿态的3D模型数据库的过程时，由于人体本身的对称结构，加上地面位置的旋转，会造成相同或者相近的人体动作，在3D模型的坐标的表达上却有很大差异，这样就会造成识别的不准确。为了解决这个问题，本发明通过对每个3D模型进行处理，寻找最佳的旋转角度，在对3D模型旋转后，使其类似于一个低秩紧凑高斯分布，也即是使得所有的3D模型所在的坐标系进行归一化。其通过以下公式进行：

其中，μ表示某个3D模型，J表示标准正交矩阵e的集合，σ表示噪声的方差，R_i表示某个关节自由度i相当于地面的旋转矩阵，a_i表示某个关节自由度i的回归系数，a_i·e＝∑_ja_i,je_j表示一个向量a_i和一个矩阵e相乘的模拟张量，

表示矩阵的弗罗贝尼乌斯范数的平方；另外，R_i可以表示为：

通过公式(1)可将不同的3D模型所在的坐标系进行归一化，也即是说使得上述公司(1)的值达到最小时，3D模型所在的坐标系达到归一化。这样，对于不同的人体姿态动作，其所对应的3D模型的数据特征其差别很大；而对于相似动作的人体姿态动作，其对应的3D模型的数据特征差别较小，这样在匹配时，就不会出现匹配错误。

S4、将3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。

为了获取2D图像所在平面视角下的人体姿态模型，可将得到的3D模型在2D图像所在平面视角上进行投影从而获取对应的人体姿态模型，具体的实现结果如图3所示。

其映射过程，也即是将3D模型转换为2D模型的置信图算法，具体如下：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°。将每个步进角度所投射的2D图像与现有图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态。也即是说，只比较每个关节自由度的置信度，从而将所有的关节自由度的置信度加和得到置信度最大的那个步进角度所对应的人体动作姿态模型即为2D图像所对应的人体动作姿态。这里的置信度可以比作为3D模型所投射的2D图像与现有图像中每个关节自由度的相似度值。

将得到的3D模型降维为2D模型的置信度D如：

其中，a为2D图像的某个关节自由度，b为3D图像的某个步进角度的对应关节自由度。

根据公式(2)求出所有置信度D的平均值

根据公式(3)求标准差S_x为：

其中，x表示某个3D模型的步进角度，L表示3D模型的L个自由度，求出S_x最小的值即为2D图像所对应的人体动作姿态。

本发明还提供了一种电子设备，其包括存储器、处理器以及存储在存储器上并可在处理上运行的计算机程序，所述处理器执行所述程序时实现如前所述的通过单张2D图像推断人体工作姿态的方法步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前所述的通过单张2D图像推断人体工作姿态的方法的步骤。

一种通过2D图像推断人体动作姿态的装置，如图4所示，包括：

2D图像获取模块，用于获取含有人体动作的2D图像；

置信图计算模块，用于对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配模块，用于将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；

映射模块，用于将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种通过2D图像推断人体动作姿态的方法，其特征在于包括以下步骤：

2D图像获取步骤：获取含有人体动作的2D图像；

置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；其中，3D模型数据库为通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录，进而构建一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库；所述将2D图像对应的置信图与预设的3D模型数据库进行匹配时采用托马西-金出武雄算法进行匹配得出3D模型；

映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态；所述映射步骤包括：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°；将每个步进角度所投射的2D图像与获取包含人体动作的2D图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态；其中，置信度为3D模型所投射的2D图像与获取包含人体动作的2D图像中每个关节自由度的相似度；

所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

2.如权利要求1所述的方法，其特征在于：所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。

3.如权利要求1-2中任一项所述的方法，其特征在于：所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

4.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

2D图像获取步骤：获取含有人体动作的2D图像；

置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；其中，3D模型数据库为通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录，进而构建一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库；所述将2D图像对应的置信图与预设的3D模型数据库进行匹配时采用托马西-金出武雄算法进行匹配得出3D模型；

映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态；所述映射步骤包括：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°；将每个步进角度所投射的2D图像与获取包含人体动作的2D图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态；其中，置信度为3D模型所投射的2D图像与获取包含人体动作的2D图像中每个关节自由度的相似度；

所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

5.如权利要求4所述的电子设备，其特征在于：所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。

6.如权利要求4-5中任一项所述的电子设备，其特征在于：所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的通过2D图像推断人体动作姿态的步骤。

8.一种通过2D图像推断人体动作姿态的装置，其特征在于包括：

2D图像获取模块，用于获取含有人体动作的2D图像；

置信图计算模块，用于对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配模块，用于将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；其中，3D模型数据库为通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录，进而构建一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库；所述将2D图像对应的置信图与预设的3D模型数据库进行匹配时采用托马西-金出武雄算法进行匹配得出3D模型；

映射模块，用于将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态；所述映射步骤包括：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°；将每个步进角度所投射的2D图像与获取包含人体动作的2D图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态；其中，置信度为3D模型所投射的2D图像与获取包含人体动作的2D图像中每个关节自由度的相似度；所述匹配模块之前还包括归一化模块：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

Images