CN111553935A - 一种基于增量降维投影位置优化的人体运动形态获取方法 - Google Patents

Abstract

本发明公开了一种基于增量降维投影位置优化的人体运动形态获取方法，包括以下步骤：(1)获取两种不同的运动形态图像序列，对第一种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_I并进行降维后获得低维数据X₁和相应的训练参数；(2)将相应的训练参数和低维数据X₁再次进行训练后得到更新的低维数据X₁和相应的训练参数，并得到映射关系f；(3)对第二种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_II，训练后得映射关系g；本发明的一种基于增量降维投影位置优化的人体运动形态获取方法具有耗时少、估算准确、效率高的特点。

Description

一种基于增量降维投影位置优化的人体运动形态获取方法

技术领域

本发明涉及三维人体运动领域，更具体地说，尤其涉及一种基于增量降维投影位置优化 的人体运动形态获取方法。

背景技术

三维人体运动形态获取已经广泛应用于各个领域，比如医学诊断，动画制作，3D游戏制 作等等。如何快速获取三维人体运动形态是制作相应多媒体影像制品的关键。三维人体运动 形态是由高维数据描述，其由一系列人体运动立体模型来表示动作姿态，多个动作姿态就组 成人体运行形态序列，是一个完整的运动过程，该完整的运动过程也叫步态。

三维人体运动形态在国内已经迅速开展了研究，目前成为了热门的研究课题。获取三维 人体运动形态有多种方法。目前，有二维图像通过预处理后，用启发式智能计算方法进行获 取，这类方法耗时长，并且获取到的三维人体运动形态容易受到预处理质量的影响，其获取 准确率较低，且效率也低。其次，用降维模型获取三维人体运动形态的方法是效率较高的方 法，但是这许多降维模型学习高维数据样本时只能实现对该数据样本进行低维可视化处理。 一些改进的降维模型可以从降维后的低维空间生成新的低维数据样本，再通过新低维数据样 本生成及其映射关系生成相应新高维数据样本，然后得到新的人体运动立体模型。这些改进 的降维算法对于高维数据样本的学习和获取时仅仅限于同类型运动形态的高维数据样本。上 述的方法都局限于同类型运动形态获取。对于不同类型人体运动形态的获取，一些文献的对 降维模型的改进研究也仅限于模型数据样本的拟合，还需对低维空间处理，增加了所需三维 人体运动立体模型的难度，其不能直接通过输入一种运动形态三维人体运动立体模型而得到 另一种运动形态的立体模型，对于如何从同类型运动形态获取不同类型的人体运动形态，上 述方法并不能很好处理。

发明内容

本发明的目的在于提供一种基于增量降维投影位置优化的人体运动形态获取方法，该获 取方法可以从一种运动类型的人体运动立体模型生成一种新的运动类型的人体运动立体模型， 具有耗时少、估算准确、效率高的特点。

本发明采用的技术方案如下：

一种基于增量降维投影位置优化的人体运动形态获取方法，包括以下步骤：

(1)获取两种不同的运动形态图像序列，对第一种运动形态图像序列处理后获取其三维 人体运动形态的高维数据样本Y_I并进行降维后获得低维数据X₁和相应的训练参数；

(2)将步骤(1)所得的相应的训练参数和步骤(2)处理好的低维数据X₁再次进行训练后得到更新的低维数据X₁和相应的训练参数，并得到映射关系f；

(3)对第二种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_II， 并与低维数据X₁建立映射关系，训练后得映射关系g；

(4)在三维人体运动形态的高维数据样本Y_I或者真实的测量数据中抽取运动形态样本y_I’，通过映射关系f和映射关系g得到新的第二种运动形态样本y_II’。

与现有技术相比，本发明具有的有益效果为：

本发明的一种基于增量降维投影位置优化的人体运动形态获取方法，先获取两种不同的 运动形态图像序列，对第一种运动形态图像序列处理后获取其三维人体运动形态的高维数据 样本Y_I并进行降维后获得低维数据X₁和相应的训练参数；将相应的训练参数和处理好的低维 数据X₁再次进行训练后得到更新的低维数据X₁和相应的训练参数，并得到映射关系f；对第 二种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_II，并与低维数据 X₁建立映射关系，训练后得映射关系g；在三维人体运动形态的高维数据样本Y_I或者真实的 测量数据中抽取运动形态样本y_I’，通过映射关系f和映射关系g得到新的第二种运动形态样 本y_II’。利用本发明的一种基于增量降维投影位置优化的人体运动形态获取方法可以从一种运 动类型的人体运动立体模型生成另一种运动类型的人体运动立体模型，其获取准确率和效率 都比较高，并且获取到的三维人体运动形态视角效果流畅，误差较低。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示 意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是投影位置优化的示意图；

图2是使用IDRPPO算法和IDRNPPO算法获取的三维人体跑步运动形态的视觉效果图；

图3是使用IDRPPO算法和IDRNPPO算法获取的三维人体走路运动形态缺失帧的视觉 效果图；

图4是使用IDRPPO算法和IDRNPPO算法获取的三维人体走路运动形态缺失帧所在相 应低维空间的数据显示图；

图5是IDRPPO算法和IDRNPPO算法的获取误差比较分析图。

具体实施方式

下面结合具体实施方式，对本发明的技术方案作进一步的详细说明，但不构成对本发明 的任何限制。

本发明的一种基于增量降维投影位置优化的人体运动形态获取方法，包括以下步骤：

(1)获取两种不同的运动形态图像序列，对第一种运动形态图像序列处理后获取其三维 人体运动形态的高维数据样本Y_I并进行降维后获得低维数据X₁和相应的训练参数。

其中，对三维人体运动形态的高维数据样本Y_I进行降维处理并得到相应的训练参数的计 算公式为：

其中，

Y为高维数据序列，Y＝[y₁,...,y_i,...,y_N]^T∈R^N×D，y_i∈R^D，X为低维数据序列， X＝[x₁,...,x_i,...,x_N]^T∈R^N×q，x_i∈R^q,K_Y为核矩阵，

其核参数为

K_X为核矩阵，K_X∈R^(N-1)×(N-1),

其核参数为

W为尺度参数，

X_2:N＝[x₂,x₃,..,x_N]^T，x₁服从q维高斯分布，

满足

满足

还包括步骤(1.0)判断三维人体运动形态的高维数据样本Y_I是否存在缺失帧，若存在， 则利用投影位置优化处理步骤(1)所得的低维数据X₁。

其中，对步骤(1)所得的低维数据X₁的投影位置进行优化处理的计算公式为：

其中，c为缺失帧的点到投影点的距离预设参数。

对于不完整步态的人体运动形态的学习需要降维后进行投影位置优化，设

为在向量

投影运算，A为缺失运动形态(缺失帧)的第一帧之前的已知低维数据，B为缺失运动形 态(缺失帧)的最后一帧的已知低维数据，C_i,i＝1,2,...N_miss为缺失帧的低维数据。根据图1，我 们有：

降维后，式(7)中的c为缺失帧的点到投影点的距离预设参数。得到的缺失帧的位置应 满足式(6)、式(7)的位置关系。这样，我们进行二次参数训练时才能训练好模型，即式(1)。根据式(6)、式(7)可得优化目标函数及其梯度函数如式(4)；

在式(5)中，有

·代表矩阵里相应位置元素的乘积运算。式(4) 的解不唯一，但是无论哪个解，都保证了缺失帧在训练过程中的位置，因此进行二次训练式 可以得到所需的缺失低维数据样本的位置。式(4)可以用一些常用梯度优化算法来求解。

(2)将步骤(1)所得的相应的训练参数和步骤(2)处理好的低维数据X₁再次进行训练后得到更新的低维数据X₁和相应的训练参数，并得到映射关系f。

将步骤(1)所得的相应的训练参数和步骤(2)处理好的低维数据X₁再次进行训练的计 算公式为：

由于

y∈R^D,x∈R^q，高维数据空间到低维数据空间的映射关系可以通 过下式建立，即映射关系f的计算公式为：

如果低维数据空间到高维数据空间需要建立2个以上，我们可以多训练式(1)，不过第二 个映射开始，要固定第一个映射训练式所得到的低维数据。

(3)对第二种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_II， 并与低维数据X₁建立映射关系，训练后得映射关系g。

其中，对三维人体运动形态的高维数据样本Y_II与低维数据X₁建立映射关系的计算公式 为：

X＝ΦW_D (9)

其中，Φ∈R^N×Nk为径向基函数，

W_D∈R^Nk×q为权重矩阵， Nk≤N。

为最小二乘估计量W_D，

然后，y^*∈R^D代表新的高维数据样本，x^*∈R^D代表相应的低维数据。如果b已知，从y^*到x^*的映射关系可以通过下式建立：

映射关系g的计算公式为：

其中，Φ(y^*)＝[φ(y^*,c₁),φ(y^*,c₂),...,φ(y^*,c_Nk)]。然后，我们可以得到：

式(11)中，e∈R^N×Nk误差矩阵，令

然后，有

可以进行分解，令

是对角矩阵

是可逆矩阵(

然后，

令

我们可以得出：

所以，式(12)可以被写成：

根据最小二乘法的性质，

我们有：

然后，可得

当训练时，Nk个正交向量可以被替换，然后我们可以得到：

式(15)等价于：

式(16)，

和

都是正交向量的集合，S_w是的子集S′_w，S′_w是

向量的集合，

为正交向量集合

元素，然而

当满足

且ε₁为一个足够小的正 数时，训练即可完成，这就是等价于选择尽可能少的向量

即极小化Nk的值，来完成增量 映射关系的训练。

(4)在三维人体运动形态的高维数据样本Y_I或者真实的测量数据中抽取运动形态样本 y_I’，通过映射关系f和映射关系g得到新的第二种运动形态样本y_II’。

利用本发明的一种基于增量降维投影位置优化的人体运动形态获取方法可以从一种运动 类型的人体运动立体模型生成另一种运动类型的人体运动立体模型，其获取准确率和效率都 比较高，并且获取到的三维人体运动形态视角效果流畅，误差较低。

试验例

由于一些启发式智能算法和一些降维模型大多数均不能实现从一种类型的运动形态获取 另一种类型的运动形态，然而本发明的一种基于增量降维投影位置优化的人体运动形态获取 方法获取运动形态的关键之一在于投影位置优化这个特征。因此，利用未使用投影位置优化 算法和使用了投影位置优化IDRPPO(Incremental Dimension Reductionand Projection Position Optimization,IDRPPO)两种法进行比较。未使用投影位置优化的算法，此处称增量降维未投 影位置优化算法，(Incremental Dimension Reduction andNo Projection Position Optimization,IDRNPPO)，即IDRNPPO算法。仿真测试中，分别对获取的第一种类型三维人 体运动形态(人体走路)缺失帧和获取到的第二种类型三维人体运动形态(人体跑步)的视 觉效果以及误差进行比较。

获取第一种类型的三维人体走路运动形态图像序列，其中三维人体走路运动形态图像序 列中存在缺失帧，对三维人体走路运动形态图像序列处理后获取其三维人体走路运动形态的 高维数据样本，如图2(a)所示。

1.视觉效果比较

分别将三维人体走路运动形态的高维数据样本输入至IDRPPO算法和IDRNPPO算法中，获 取其三维跑步人体运动形态的高维数据样本，从IDRPPO算法输出的三维跑步人体运动形态的 高维数据样本如图2(b)所示，从IDRNPPO算法输出的三维跑步人体运动形态的高维数据样 本如图2(c)所示。从IDRPPO算法输出的三维人体走路运动形态缺失帧的高维数据样本如 图3(a)所示，从IDRNPPO算法输出的三维人体走路运动形态缺失帧的高维数据样本如图3 (b)所示。从IDRPPO算法输出的三维人体走路运动形态缺失帧的低维数据如图4(a)所示， 从IDRNPPO算法输出的三维人体走路运动形态缺失帧的低维数据如图4(b)所示。

我们从图2可知，IDRPPO算法获取的三维人体跑步运动形态的视觉效果比IDRNPPO算法 要好，第30，35，40，45，48，52，58帧来自于IDRNPPO算法的几乎重复，相应的帧相比IDRPPO算法，视觉流畅性缺乏，不能体现出人体跑步过程中应该有的跑步姿态。再者，原输入的人体走路运动形态是有缺失帧的，需要先进行缺失帧的获取。两种对输入数据样本的缺 失帧获取情况可从图3看出。在图3中，IDRPPO算法获取的缺失帧显示出流畅的三维人体运 动走路形态，是一个视觉流畅的走路过程。相反，IDRNPPO算法获取缺失帧显示出的三维人 体走路运动形态单一，没有显示出视觉流畅的走路过程。图4显示了IDRPPO算法和IDRNPPO 算法对三维人体走路运动形态进学***滑的流形曲线，而 IDRNPPO算法没有对缺失帧的低维数据进行优化处理，因此缺失帧的低维数据显示是零乱不 规则的，其甚至和其他帧的低维数据重叠在一起。图4从另外一个角度也说明了IDRPPO算法 得到缺失帧比IDRNPPO算法在视觉上要流畅的原因。从图2、图3和图4可知，IDRPPO算法 比IDRNPPO算法的获取性能要好。

2.获取误差比较

下面从获取三维人体跑步运动形态的误差和三维人体走路运动形态缺失帧的误差上分别 对IDRPPO算法和IDRNPPO算法作比较，其中，对获取三维人体跑步运动形态的误差分析如图 5(a)所示，对获取三维人体走路运动形态缺失帧的误差分析如图5(b)所示。

从图4我们可知，无论是获取三维人体跑步运动形态还是三维人体走路运动形态缺失帧 (8帧)，其每帧误差都总体是IDRPPO算法最小。图5(a)中两种方法有些帧获取误差较近是正 常的，因为IDRNPPO算法有些帧也是可以正常显示人体跑步运动形态的部分过程，但总体误 差要用平均误差来衡量。从图3中发现，跑步运动形态和走路运动形态的平均误差也是IDRPPO 算法最低。图5的结果又一次说明IDRPPO算法的获取三维人体运动形态的性能比IDRNPPO算 法要好。

因此，从以上的测试结果表明，本发明的一种基于增量降维投影位置优化的人体运动形 态获取方法可以对不完整步态三维人体运动形态的进行学习，然后较好的获取另外一种不同 类型的三维人体运动形态。弥补了当前一些非监督学习算法的不足。

以上所述仅为本发明的较佳实施例，凡在本发明的精神和原则范围内所作的任何修改、 等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于增量降维投影位置优化的人体运动形态获取方法，其特征在于，包括以下步骤：

(1)获取两种不同的运动形态图像序列，对第一种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_I并进行降维后获得低维数据X₁和相应的训练参数；

(2)将步骤(1)所得的相应的训练参数和步骤(2)处理好的低维数据X₁再次进行训练后得到更新的低维数据X₁和相应的训练参数，并得到映射关系f；

(3)对第二种运动形态图像序列处理后获取其三维人体运动形态的高维数据样本Y_II，并与低维数据X₁建立映射关系，训练后得映射关系g；

(4)在三维人体运动形态的高维数据样本Y_I或者真实的测量数据中抽取运动形态样本y_I’，通过映射关系f和映射关系g得到新的第二种运动形态样本y_II’。

2.根据权利要求1所述的一种基于增量降维投影位置优化的人体运动形态获取方法，其特征在于，在步骤(1)中，对三维人体运动形态的高维数据样本Y_I进行降维处理并得到相应的训练参数的计算公式为：

其中，

Y为高维数据序列，Y＝[y₁,...,y_i,...,y_N]^T∈R^N×D，y_i∈R^D，X为低维数据序列，X＝[x₁,...,x_i,...,x_N]^T∈R^N×q，x_i∈R^q,K_Y为核矩阵，K_Y∈R^N×N，

其核参数为

K_X为核矩阵，K_X∈R^(N-1)×(N-1),

其核参数为

W为尺度参数，

w_m＞0，κ＝10^-3，X_2:N＝[x₂,x₃,..,x_N]^T，x₁服从q维高斯分布，

满足

满足

3.根据权利要求1所述的一种基于增量降维投影位置优化的人体运动形态获取方法，其特征在于，在步骤(1)后，还包括步骤(1.0)判断三维人体运动形态的高维数据样本Y_I是否存在缺失帧，若存在，则利用投影位置优化处理步骤(1)所得的低维数据X₁。

4.根据权利要求3所述的一种基于增量降维投影位置优化的人体运动形态获取方法，其特征在于，在步骤(1.0)中，对步骤(1)所得的低维数据X₁的投影位置进行优化处理的计算公式为：

其中，c为缺失帧的点到投影点的距离预设参数，

为在向量

投影运算，A为缺失运动形态(缺失帧)的第一帧之前的已知低维数据，B为缺失运动形态(缺失帧)的最后一帧的已知低维数据，C_i,i＝1,2,...N_miss为缺失帧的低维数据；

·代表矩阵里相应位置元素的乘积运算。

5.根据权利要求2所述的一种基于增量降维投影位置优化的人体运动形态获取方法，其特征在于，其特征在于，在步骤(2)中，将步骤(1)所得的相应的训练参数和步骤(2)处理好的低维数据X₁再次进行训练的计算公式为：

映射关系f的计算公式为：

6.根据权利要求2所述的一种基于增量降维投影位置优化的人体运动形态获取方法，其特征在于，其特征在于，在步骤(3)中，对三维人体运动形态的高维数据样本Y_II与低维数据X₁建立映射关系的计算公式为：

X＝ΦW_D；

其中，Φ∈R^N×Nk为径向基函数，

W_D∈R^Nk×q为权重矩阵，Nk≤N。

为最小二乘估计量W_D，

y^*∈R^D代表新的高维数据样本，x^*∈R^D代表相应的低维数据；

映射关系g的计算公式为：

其中，Φ(y^*)＝[φ(y^*,c₁),φ(y^*,c₂),...,φ(y^*,c_Nk)]。

Images