CN103150752A - 一种基于关键标记点的人体姿态稀疏重建方法 - Google Patents

Abstract

本发明公开了一种基于关键标记点的人体姿态稀疏重建方法，该方法对于数据库中人体运动数据提取出与关键标记点对应的关节点信息构建k-d树索引，然后对每帧输入的控制信号，在数据库中查找与之最为匹配的

Description

一种基于关键标记点的人体姿态稀疏重建方法

技术领域

本发明涉及三维图形学和虚拟现实领域，尤其涉及一种人体姿态稀疏重建方法。

背景技术

人体运动捕获技术已被广泛应用到动画制作，电影特效，计算机游戏等娱乐领域，带来巨大的经济效益。尽管目前各种商业捕获***已经能够以很高的时空分辨率进行跟踪和记录人体运动，但是由于需要非常高成本的软件、设备和数据采集过程(穿戴很麻烦,商用设备通常需要用户穿戴40‐50个仔细贴放的反光标记点，或者18个磁力或惯性传感器），另外，它们通常会对表演的演员和采集环境有特殊的要求与限制,导致它们不适合家用。

在一些家庭娱乐应用中并不需要捕获到十分精确的人体姿态，往往只需要知道当前表演交互的用户是走、是跑、是蹲抑或是跳，只需要知道手和脚位于空间中的大概区域而并不关心手指、脚趾、肘部、膝盖的精确坐标，此时，使用精密的商用捕获设备就显然是杀鸡用牛刀。对低成本的非精密的运动捕获***的需求日益强烈，使得能够通过很少的传感器就提取出用户有意义的运动信息的***变得很具有吸引力，因为它们极大地减少了设备脱戴的时间和数据采集过程的复杂度。这些***实现的具体技术手段虽然各有不同，但是主体上的思想就是利用捕获的低维控制信号来恢复出人体姿态。因此，如何利用低维度的控制信号恢复出尽可能自然真实的高维度运动姿态就称为一个极具挑战性的问题。

利用低维的控制信号来捕获全身运动的时候，有许多维度是没有受到约束的，这些维度的数据要么需要根据逆向运动学的方法被计算出来，要么需要根据数据库中数据被合成或者重建出来。传统的逆向运动学(Inverse Kinematics)，在已知人体末端节点位置的情况下，利用运动学公式解欠定的非线性***来计算出人体所有关节点的参数配置，纵使加了人体测量学方面的约束，逆向运动学的求解计算过程仍然是非常复杂，而且最终计算出来的姿态可能不够自然。这时，以事先捕获的运动数据为支撑的数据驱动的方法就显现出了威力。

近年来，基于数据驱动的去噪方法逐渐兴起，这些方法利用已捕获的纯净的运动数据作为数据库支持，以当前输入的控制信号作为查询条件，查找与之最为匹配的近邻姿态，利用这些近邻姿态进行重构，各个方法的差异主要体现在如何重构上面。这种方法使得运动数据可以重复利用，进一步降低了工业成本和提高了运动捕获的性价比。

发明内容

本发明是通过以下技术方案来实现的：提供一种基于关键标记点的三维人体运动姿态稀疏重建方法，包括如下步骤：

（1）下载纯净人体运动数据库；

（2）使用运动捕获设备捕获人体运动数据：我们希望使用尽可能少的关节点信息来恢复出全身的姿态，从人的直觉来看，四肢和头部都至少需要保留一个末端节点，另外我们需要跟踪贴于臀部的根节点的全局位置和朝向，以方便对输入信号进行平移和旋转。因此，使用Vicon运动捕获***对贴于人体这六个关键关节处的反光标记点的轨迹信息进行捕捉；

（3）对步骤1获得的数据进行预处理：将步骤1中数据库的数据从BVH格式转化为TRC格式，同时对每个姿态进行平移、旋转变换；平移变换主要是将运动数据的位于臀部的root节点移动到全局坐标系的原点去，而旋转变换是将身体躯干所在的平面（由身体上贴的marker点所拟合出来的平面）的法向量与全局坐标系中的x坐标对齐，保证所有处理后的姿态具有相同的位置和朝向；记下变换矩阵M_trans，其反变换为

（4）对步骤3输出的平移和旋转后的运动数据构建索引：为了使得输入的控制信号能够在数据库中快速查找到与之最为匹配的运动姿态，我们对经过步骤3处理后的数据，提取出这些姿态与输入控制信号相对应的关节点信息，即头部、左手腕、右手腕、左脚跟以及右脚跟5个关节点，共15维度的数据构建k-d树索引。

（5）在数据库中查找与输入控制信号最匹配的运动姿态：对于t时刻输入的控制信号

其中k为控制关节点的数目，3*k中的3表示x,y,z三个坐标维度；我们在数据库中利用k-d树查找与之最为接近的n个特征向量定义这n个近邻特征组成的矩阵为恢复字典

这些特征对应的数据库姿态子矩阵为

（6）对这些少量关节点信息进行基于近邻姿态的线性回归：我们希望恢复出来的姿态由这P_t中的姿态线性组成，于是问题转化为求解重建系数ω_t，使得恢复的姿态

系数求解公式为能量最小化方程，定义为：

$\widehat{{\mathrm{\ω}}_t}=\arg {\min }_{{\mathrm{\ω}}_t}(E_{\mathrm{control}}\left({\mathrm{\ω}}_t\right)+{\mathrm{\λ}}_2{E}_{\mathrm{smooth}}\left({\mathrm{\ω}}_t\right))$ (公式1)

其中

为我们要求解的重建系数，E_control(ω_t)表示控制项，即保证恢复出来的姿态要尽可能满足低维控制信号的约束要求，E_smooth(ω_t)表示平滑项，如果仅仅考虑当前的控制信号的约束，可能会使得恢复的帧与帧间出现高频的抖动，通过将前一帧恢复出来的姿态加入约束，可以保证平滑性要求，λ₂表示平滑项的权重。具体地，我们定义：

$E_{\mathrm{control}}{\left({\mathrm{\ω}}_t\right)\left|\right|{\mathrm{Ds}}_t*{\mathrm{\ω}}_t-y_t\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|{\mathrm{\ω}}_t\left|\right|}_1$

其中y_t为当前时刻低维控制信号，

为由少量关节点数据构成的控制恢复字典，λ₁表示稀疏项系数，在保证恢复出来的姿态对应的少量关节点与控制信号尽可能接近的同时，保证重建系数的稀疏性。

其中

为前一帧恢复出来的全身姿态，P_t表示由控制信号索引到的近邻姿态构成的姿态恢复字典，通过前一帧姿态，可以对非控制关节点进行约束。我们使用方向交替算法对（公式1）进行求解。恢复出来当前帧姿态：

（7）计算恢复姿态的全局坐标：根据步骤2中捕获的根节点信息，对恢复出来的姿态进行平移和旋转得到它在全局坐标系下的位置，即为最终结果。

本发明的有益效果是，本发明通过基于数据库查找与控制信号最为匹配近邻运动姿态的方法，不仅避免了逆向运动学复杂的计算过程和不够自然的结果，并且使得之前捕获的运动数据得到了重用，降低了工业成本。本发明通过提出的基于稀疏表达的优化框架，并将前一帧恢复出来的姿态作为平滑依据加入考虑，使得恢复出来的运动姿态非常自然并且时序上没有出现抖动。

附图说明

图1是基于数据驱动的三维人体运动姿态稀疏重建方法的流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。

如图1所示，本发明基于关键标记点的三维人体运动姿态稀疏重建方法包括如下步骤：

步骤1：下载纯净人体运动数据库。

数据库中运动数据，是使用精密的商业设备采集的纯净的不包含任何噪声的人体运动数据。可直接使用***梅隆大学提供的三维人体运动数据库（可以从http://mocap.cs.cmu.edu下载），该数据库中包含了采集自不同人的各种不同类型的运动，如跑步、走路、跳跃以及各种体育活动。

步骤2：使用运动捕获设备捕获低维控制点信号。

使用Vicon运动捕获***（http://www.vicon.com/），对贴于人体六个关键关节处的反光标记点的轨迹信息进行捕捉，为了与数据库中的数据保持一致，我们也使用CMU（Carnegie Mellon University，***梅隆大学）的点集配置方案（参考http://mocap.cs.cmu.edu/markerPlacementGuide.pdf）。这六个关节点：根节点、头节点、左手腕、右手腕、左脚跟和右脚跟，分别对应于点集配置中的ROOT、HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点。

步骤3：对步骤1中获得的数据进行预处理。

使用MotionBuilder软件将步骤1中数据库的数据从BVH格式转化为TRC格式，同时对每个姿态进行平移、旋转变换。平移变换主要是将运动数据的位于臀部的ROOT节点（按照步骤2中配置，ROOT节点贴于臀部）移动到全局坐标系的原点去，而旋转变换是将身体躯干所在的平面（由身体上贴的marker点所拟合出来的平面）的法向量与全局坐标系中的x坐标对齐，保证所有处理后的姿态具有相同的位置和朝向。记下变换矩阵M_trans，其反变换为

步骤4：对步骤3输出的平移和旋转后的运动数据构建索引

对于我们的运动数据，提取对应于HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点数据作为索引构建k‐d树。让

表示数据库中姿态集合，m为数据库的帧数，d表示人体运动数据的维度。矩阵P表示数据库运动矩阵：P=[p₁,p₂,...,p_m]。我们定义Φ操作为提取矩阵对应的非零行向量拼成子矩阵，定义掩码矩阵

其与HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点相关的维度元素都为1，其他行元素为0。则数据库特征矩阵

其中k=5×3=15表示控制信号和k‐d树的维度，最后对D构建k‐d树索引。

步骤5：在数据库中查找与输入控制信号最匹配的运动姿态。

对于第t帧的输入的控制信号

其中k为控制关节点的数目，3*k中的3表示x,y,z三个坐标维度；我们在数据库中利用k-d树查找与之最为接近的n个特征向量

定义这n个近邻特征组成的矩阵为恢复字典

这些特征对应的数据库姿态子矩阵为

步骤6：对这些少量关节点信息进行基于近邻姿态的线性回归。

我们希望恢复出来的姿态由这P_t中的姿态线性组成，于是问题转化为求解重建系数ω_t，使得恢复的姿态

系数求解公式为能量最小化方程，定义为：

$\widehat{{\mathrm{\ω}}_t}=\arg {\min }_{{\mathrm{\ω}}_t}(E_{\mathrm{control}}\left({\mathrm{\ω}}_t\right)+{\mathrm{\λ}}_2{E}_{\mathrm{smooth}}\left({\mathrm{\ω}}_t\right))$ （公式1）

其中为我们要求解的重建系数，E_control(ω_t)表示控制项，即保证恢复出来的姿态要尽可能满足低维控制信号的约束要求，E_smooth(ω_t)表示平滑项，如果仅仅考虑当前的控制信号的约束，可能会使得恢复的帧与帧间出现高频的抖动，通过将前一帧恢复出来的姿态加入约束，可以保证平滑性要求，λ₂表示平滑项的权重。具体地，我们定义：

$E_{\mathrm{control}}{\left({\mathrm{\ω}}_t\right)\left|\right|{\mathrm{Ds}}_t*{\mathrm{\ω}}_t-y_t\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|{\mathrm{\ω}}_t\left|\right|}_1$

其中y_t为当前时刻低维控制信号，Ds_t为由少量关节点数据构成的控制恢复字典，λ₁表示稀疏项系数，在保证恢复出来的姿态对应的少量关节点与控制信号尽可能接近的同时，保证重建系数的稀疏性。

其中

为前一帧恢复出来的全身姿态，P_t表示由控制信号索引到的近邻姿态构成的姿态恢复字典，通过前一帧姿态，可以对非控制关节点进行约束。将这两项代入公式，即可得到完整的公式：

其中

可以进行合并而得到：

使用方向交替算法对上面的公式进行求解，其中稀疏正则项参数λ₁设置为0.1，平滑项参数λ₂设置为0.2。求解出来的重构系数乘以重构字典，即可得到恢复出来的全身姿态。

步骤7：根据步骤2中捕获的根节点信息，对恢复出来的姿态进行平移和旋转得到它在全局坐标系下的位置，即为最终结果。

本发明通过基于数据库查找与控制信号最为匹配近邻运动姿态的方法，不仅避免了逆向运动学复杂的计算过程和不够自然的结果，并且使得之前捕获的运动数据得到了重用，降低了工业成本。本发明通过提出的基于稀疏表达的优化框架，并将前一帧恢复出来的姿态作为平滑依据加入考虑，使得恢复出来的运动姿态非常自然并且时序上没有出现抖动。

Claims (1)

1.一种基于关键标记点的三维人体运动姿态稀疏重建方法，其特征在于，包括如下步骤：

步骤1：下载纯净人体运动数据库；

步骤2：使用运动捕获设备捕获低维控制点信号：对贴于人体六个关键关节处的反光标记点的轨迹信息进行捕捉，这六个关节点为：根节点、头节点、左手腕、右手腕、左脚跟和右脚跟，分别对应于运动数据中的ROOT、HEAD、LWRIST、RWRIST、LHEEL和RHEEL关节点；

步骤3：对步骤1中获得的数据库中的数据进行预处理：将步骤1中下载的数据库的数据从BVH格式转化为TRC格式，同时对每个姿态进行平移和旋转变换；

平移变换主要是将运动数据的位于臀部的ROOT节点移动到全局坐标系的原点去，而旋转变换是将身体躯干所在的平面的法向量与全局坐标系中的x坐标对齐，保证所有处理后的姿态具有相同的位置和朝向；记下变换矩阵M_trans，其反变换为 $M_{\mathrm{trans}}^{-1};$

步骤4：对步骤3输出的平移和旋转变换后的运动数据构建索引：对经过步骤3处理后的数据，提取对应于HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点数据作为索引构建k‐d树；令

表示数据库中姿态集合，m为数据库的帧数，d表示人体运动数据的维度；矩阵P表示数据库运动矩阵：P=[p₁,p₂,...,p_m]；定义Φ操作为提取矩阵对应的非零行向量拼成子矩阵，定义掩码矩阵

其与HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点相关的维度元素都为1，其他行元素为0；则数据库特征矩阵

其中k=5×3=15表示控制信号和k‐d树的维度，最后对D构建k‐d树索引；

步骤5：在数据库中查找与步骤2中捕获的关节点控制信号最匹配的运动姿态：对于第t帧的输入的控制信号其中k为控制关节点的数目，3*k中的3表示x,y,z三个坐标维度；在数据库中利用k-d树查找与之最为接近的n个特征向量定义这n个近邻特征组成的矩阵为恢复字典这些特征对应的数据库姿态子矩阵为

步骤6：对步骤2捕获的关节点信息进行基于近邻姿态的线性回归，恢复出局部坐标系下运动姿态：由于目标在于使得恢复出来的姿态由P_t中的姿态线性组成，于是问题转化为求解重建系数ω_t，使得恢复的姿态

系数求解公式为能量最小化方程，定义为：

$\widehat{{\mathrm{\ω}}_t}=\arg {\min }_{{\mathrm{\ω}}_t}(E_{\mathrm{control}}\left({\mathrm{\ω}}_t\right)+{\mathrm{\λ}}_2{E}_{\mathrm{smooth}}\left({\mathrm{\ω}}_t\right)),$

其中，

为要求解的重建系数，E_control(ω_t)表示控制项，即保证恢复出来的姿态要尽可能满足低维控制信号的约束要求，E_smooth(ω_t)表示平滑项，如果仅仅考虑当前的控制信号的约束，可能会使得恢复的帧与帧间出现高频的抖动，通过将前一帧恢复出来的姿态加入约束，可以保证平滑性要求，λ₂表示平滑项的权重；

定义：

$E_{\mathrm{control}}{\left({\mathrm{\ω}}_t\right)\left|\right|{\mathrm{Ds}}_t*{\mathrm{\ω}}_t-y_t\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|{\mathrm{\ω}}_t\left|\right|}_1,$

其中，y_t为当前时刻低维控制信号，Ds_t为由少量关节点数据构成的控制恢复字典，λ₁表示稀疏项系数，在保证恢复出来的姿态对应的少量关节点与控制信号尽可能接近的同时，保证重建系数的稀疏性；

定义：

其中，

为前一帧恢复出来的全身姿态，Pt表示由控制信号索引到的近邻姿态构成的姿态恢复字典，通过前一帧姿态，可以对非控制关节点进行约束；将这两项代入公式，即可得到完整的公式：

其中，

可以进行合并而得到：

使用方向交替算法对上面的公式进行求解，其中稀疏正则项参数λ₁设置为0.1，平滑项参数λ₂设置为0.2；求解出来的重构系数乘以重构字典，即可得到恢复出局部坐标系下运动姿态；

步骤7：根据步骤2中捕获的根节点信息，对恢复出来的姿态进行平移和旋转得到它在全局坐标系下的位置，即为最终恢复出来的人体姿态。