CN103198297A - 基于相关性几何特征的运动相似性评估方法 - Google Patents

Abstract

本发明公开了一种基于相关性几何特征的运动相似性评估方法。本发明可以准确地计算两段同类型的运动数据的相似程度，并以一个固定范围内分值的形式表达其相似程度。本发明通过深度摄像头录制模板数据并进行实时运动数据采集；使用动态时间变形技术进行运动数据的对齐；使用相关性几何特征作为运动数据的特征表达并通过机器学习的方法对这些特征进行选择；最终通过曲线拟合的方法，计算两段运动序列的相似性并给出最终的相似性得分。这种方法可以更准确、客观地描述运动序列的相似性，同时也可以将度量出来的相似值转换为直观的分数，从而方便用户的理解。

Description

基于相关性几何特征的运动相似性评估方法

技术领域

本发明涉及一种运动相似性度量方法，尤其涉及以一个固定区间内的分值表示两段运动序列相似性的方法。

背景技术

在计算机视觉领域，分析两段运动序列的相似性一直以来都是一个热门话题，它对于运动序列检索（motion retrieval）、运动融合（motion blending）以及舞蹈、运动员的姿态分析有着很重要的意义。通过运动相似性的分析，我们可以客观地判断两段运动数据的相似程度，从而进行更丰富的应用。

然而在进行运动相似性评估的时候，运动特征的选择以及运动数据误差距离的计算方法对运动相似性评估的准确性有着很大的影响。另外一个问题是，目前大部分已有的运动相似性度量方法中，最后得到的结果都是一个累积误差距离，而这个客观的数值对于用户来说很难理解，用户无法从累积误差距离来判断两个运动序列的相似性程度，而这也使得很多运动相似评估方法无法在诸如舞蹈教学等涉及人机交互场景的应用。

运动特征的选择是进行运动相似性的评估十分重要的一个过程，最为常用的运动特征就是关节点的三维空间坐标、以及关节点之间角度信息。然而使用这种基础的运动特征，缺乏语义特征，所以在进行相似度计算的时候，效果并不是很好。基于此原因，有一些学者探索出了一些更符合人类感知的运动特征。陈成等人在他们的论文“Learning a3D human pose distance metric fromgeometric pose descriptor”（2011，Visualization and Computer Graphics）中描述了一种基于人体姿态几何特征描述符（Geometric Pose Descriptor）。这种描述符使用到了人体各部位之间的几何关系，例如两个胳膊的夹角、胳膊与身体平面的夹角、两个胳膊形成的三角面之间的夹角等等一系列几何信息，同时也使用到了与时域有关的信息例如关节点的速度、加速度，所以这种特征在描述人体姿态的时候会更为准确。

在获得了运动序列的特征之后以及对运动序列对齐后，下一个非常重要的问题就是如何进行人体三维姿态的度量。虽说欧式距离被广泛应用在两段运动序列的距离度量中，然而基于欧式距离的度量方法往往会得到与人体感知不一致的结果，所以对于人体三维姿态距离度量的研究也需要更多的工作。一些学者通过研究发现，经过学习得到的距离度量方法，在相似性的计算的效果上可以获得很大的提升。通过对数据进行标注，让***对于两个姿态能够具有一些语义层面的理解，从而弥补欧氏距离的不足。然而这种方式的一个问题是需要大量的人工去对数据进行标注，从而为***的实现带来了难度。

随着近些年技术的发展，人体运动序列相似性评估技术已经有了很大的发展，然而，针对于特定场景（例如舞蹈教学）的相似性评估方法仍有待进一步的提升。

发明内容

本发明的内容是提出了一种适用于涉及人机交互场景的基于相关性几何特征的运动相似性评估方法，计算一个范围在0到100之间的运动相似性得分来直观地表示两段序列的相似性.

基于相关性几何特征的运动相似性评估方法，它的步骤如下：

1）接受人体运动序列数据作为样本运动序列R，并以提前准备好的参考运动序列Q作为标准姿态，所述的样本运动序列运动序列R和参考运动序列Q中的每一帧由场景深度图以及场景彩色图组成；

2)当参考运动序列Q以及样本运动序列R的长度不同时，对参考运动序列Q以及样本运动序列R通过动态时间变形进行填充与对齐，使得两段运动序列的关键帧之间建立对应关系；

3）在使用本方法进行运动相似性计算时，通过Adaboost方法对所选取的运动数据进行特征选择，从众多相关性几何特征中选择出最准确表达该运动数据信息的特征；

4）针对步骤3)中选择出来的特征，分别从参考运动序列Q以及样本运动序列R中计算对应的相关性几何特征，并将这些特征值保存；

5）通过基于曲线拟合的方法，计算参考运动序列Q以及样本运动序列R之间不同类型特征的运动相似性得分，并通过加权平均得到一个范围在0到100之间的综合运动相似性得分。

所述步骤2）中的填充与对齐的方法：

a)对于参考运动序列Q、样本运动序列R，构建累计距离矩阵D(Q,R),该矩阵中每一个元素D(n,m)表示子序列Q_n、R_m之间的累计误差距离；

b)从D(0,0)开始计算，使用公式（1）计算D(i,j)的累计误差距离：

D(i,j)＝cost+min(D(i-1,j),D(i,j-1),D(i-1,j-1)    公式（1）

其中cost是Q_i、R_j两个三维人体姿态间各关节点的欧式距离之和；

c)在计算距离矩阵D(Q,R)之后，依据公式（2）选择出最终的对齐终点D_OE(Q,R)，并以D(0,0)到D_OE(Q,R)的路径作为两段运动序列的对齐路径；

D_OE(Q,R)＝min_j＝1,...,mD_DTW(Q,R^(j))    公式（2）

d)依照对齐路径分别对两段运动序列进行填充，得到两段长度相同的运动序列；在填充时使用K重复方法对对齐算法进行优化，如果运动序列中一个姿态已经被匹配了K次，那么该姿态将不允许再被匹配，从而限制连续垂直的匹配路径以及连续水平的匹配路径的长度,所述的K为可调自然数参数。

所述步骤3）中的特征选择的方法：

a)该方法的训练数据以{(p_t,q_t,q_t')}为格式，其中p_t是运动序列的参考姿态，q_t与q_t'表示运动序列中两个需要对比的姿态，并将q_t与q_t'中同p_t最为接近的姿态进行标注；

b)对于每一个相关性几何特征f_i，通过公式（3）计算其在判断姿态q_t与q_t'时的误差值值e_i：

$e_i=\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\π}}_i\left(\max (\mathrm{sign}\left(\right||f_i\left(p_t\right)-f_i\left(q_t\right)||-||f_i\left(p_t\right)-f_i\left(q_t^{\′}\right)|\left|\right),0)\right)$ 公示（3）

c)在计算好所有特征的误差值后，选择具有最小误差值e_k的特征f_k，对于每个训练样本，通过公式（4）更新其权重：

${\mathrm{\&pi;}}_t=\frac{{\mathrm{\&pi;}}_t}{2}\&times;\left(\begin{array}{c}\exp \left({\mathrm{\&omega;}}_k\right),\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t\right)\left|\right|>\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right){-f}_i\left(q_t^{\&prime;}\right)\left|\right|\\ \exp \left({-\mathrm{\&omega;}}_k\right),\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t\right)\left|\right|<\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t^{\&prime;}\right)\left|\right|\end{array}\right)$ 公式（4）

具体地，定义：

ω_k＝(1/2)ln[(1-e_k)/e_k)]

d)算法运行结束后，得到一组选出来的特征以及其对应的权重，直接使用这些特征进行运动相似性的计算。

所述步骤4）中的计算方法将人体三维姿态中的这些几何信息分成了不同类型的特征进行表达：

a)坐标类型特征

f_{C_joint}(m)，表示了关节点m在当前姿态中的三维坐标(x,y,z);

b)速度类型特征

f_{V_joint}(m)，表示了关节点m在当前姿态中的速度(v_x,v_y,v_z);

c)夹角类型特征

f_{A_line2line}(m₁,m₂,m₃,m₄)，表示了由关节点m₁,m₂组成的直线，与关节点m₃,m₄组成的直线之间的夹角；

f_{A_line2plane}(m₁,m₂,m₃,m₄,m₅)，表示了由关节点m₁,m₂组成的直线，与由关节点m₃,m₄,m₅所组成平面法向量的夹角；

f_{A_plane2plane}(m₁,m₂,m₃,m₄,m₅,m₆)，表示了由关节点m₁,m₂,m₃组成的平面的法向量，与由关节点m₄,m₅,m₆所组成平面法向量的夹角；

d)距离类型特征

f_{D_joint2joint}(m₁,m₂)，表示了关节点m₁,m₂之间的距离；

f_{D_joint2line}(m₁,m₂,m₃)，表示了关节点m₁到由关节点m₂,m₃组成的直线之间的距离；

f_{D_joint2plane}(m₁,m₂,m₃,m₄)，表示了关节点m₁到由关节点m₂,m₃,m₄组成的平面之间的距离。

所述步骤5）中的计算方法：

a)基于关节点坐标的相似性得分S_pos,j：

将运动序列每一帧中每一个关节点的三维坐标表达成四元组的形式，q_j(t)表示了关节点j第t帧的四元组，S_pos,j表示了关节点j在两段序列中的相似性得分，则其相关性系数的计算方法由公示（5）给出:

$S_{\mathrm{pos},j}=\frac{|{\mathrm{\&Sigma;}}_t{q}_j^{\mathrm{ref}}\left(t\right)\&CenterDot;q_j^{\mathrm{eval}}\left(t\right)|}{\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{ref}}\left(t\right)\right|}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{eval}}\left(t\right)\right|}^2}}$ 公式（5）

其中

(t)表示参考序列的关节点j第t帧的四元组表示，(t)表示查询序列的关节点j第t帧的四元组表示；

b)基于关节点速度的相似性得分S_vel,j：

S_vel,j与S_pos,j的计算方法相同，只是每个四元组q_j(t)中的虚部元素不是由关节点的坐标(x,y,z)组成，而是由该关节点的速度向量(v_x,v_y,v_z)组成；

c)基于角度类型特征的得分S_angle,j：

相关性几何特征表达中包含有关节点连线之间的夹角、连线与关节点组成平面之间的夹角等角度类型特征，由于这类特征的特征值是数值类型，所以不需要使用四元组进行表达，对于所选择出来的每一个角度类型的运动特征，都按照公式（6）进行计算：

$S_{\mathrm{angle},j}=\frac{|{\mathrm{\&Sigma;}}_t{q}_j^{\mathrm{ref}}\left(t\right)\&CenterDot;q_j^{\mathrm{eval}}\left(t\right)|}{\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{ref}}\left(t\right)\right|}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{eval}}\left(t\right)\right|}^2}}$ 公式（6）

其中

(t)表示参考序列的关节点j第t帧的角度类型特征的特征值，

(t)表示查询序列的关节点j第t帧的角度类型特征的特征值；

d)基于距离类型特征的得分S_dist,j：

S_dist,j与S_angle,j的计算方法相同，只是其中

(t)与

(t)分别表示参考序列与查询序列距离类型特征的特征值；

e)经过以上计算，得到了关节点j的四种不同的运动相似性得分，通过公式（7）对齐进行加权平均，得到关节点j的总体相似性得分

$S_{\mathrm{total}}=\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i*S_i}{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i}$ 公式（7）。

本发明所提出的方法与传统的运动相似性评估方法相比具有以下有益效果：

1.使用基于机器学习的方法进行相关性几何特征选择，获得与需要评估的运动数据类型最为匹配的特征，从而更准确的表达这一类型运动的特征，实现更为精确的相似性评估。

2.得到的运动相似性得分具有一个取值范围（0到100），可以直观的表达某段运动序列与样本的相似程度，而并非得到两段运动序列的距离。

基于上述两个特点，本方法提供了一种准确的，用户易理解的运动相似性评估方法，适用于家庭娱乐、舞蹈教学等与用户直接交互的***。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

附图为基于相关性几何特征的运动相似性评估方法流程图；

具体实施方式

结合附图，基于相关性几何特征的的运动相似性评估方法，它的步骤如下：

1)获取运动数据

以30帧每秒的速度接受人体运动序列数据作为样本运动序列R，并以提前录制好的参考运动序列Q作为该类型运动的标准姿态，所述运动序列中的每一帧由场景深度图以及场景彩色图组成。

2)运动序列预处理

由于参考运动序列Q以及样本运动序列R的长度可以不同（可以是几秒或几分钟的运动序列），需要对不同长度的参考运动序列以及样本运动序列通过动态时间变形进行填充与对齐，为两段运动序列的关键帧之间建立对应关系：

a)对于参考运动序列Q、样本运动序列R，构建累计距离矩阵D(Q,R),该矩阵中每一个元素D(n,m)表示子序列Q_n、R_m之间的累计误差距离；

b)从D(0,0)开始计算，使用公式（1）计算D(i,j)的累计误差距离：

D(i,j)＝cost+min(D(i-1,j),D(i,j-1),D(i-1,j-1)  公式（1）

其中cost是Q_i、R_j两个三维人体姿态间各关节点的欧式距离之和；

c)在计算距离矩阵D(Q,R)之后，依据公式（2）选择出最终的对齐终点D_OE(Q,R)，并以矩阵中D(0,0)到D_OE(Q,R)的路径作为两段运动序列的最终对齐路径；

D_OE(Q,R)＝min_j＝1,...,mD_DTW(Q,R^(j))    公式（2）

d)依照对齐路径分别对两段运动序列进行填充，得到两段长度相同的运动序列；在填充时使用K重复方法对对齐算法进行优化，如果运动序列中一个姿态已经被匹配了K次，那么该姿态将不允许再被匹配，从而限制连续垂直的匹配路径以及连续水平的匹配路径的长度；K是一个可调的自然数类型参数，在本方法实现过程中，通常根据序列长度设置为3到6之间。

3)进行相关性几何特征选择

在使用本方法进行运动相似性计算时，为了能够得到更准确的结果，可以通过Adaboost方法对所选取的运动数据进行特征选择，这样做的目的是从众多相关性几何特征中选择出能够最准确表达该运动数据信息的特征:

a)该方法的训练数据以{(p_t,q_t,q_t')}为格式，其中p_t是运动序列的参考姿态，q_t与q_t'表示运动序列中两个需要对比的姿态，通过使用人工判断q_t与q_t'中与p_t最为接近的姿态并对其进行标注；

b)对于每一个相关性几何特征f_i，我们通过公示（3）计算其在判断姿态q_t与q_t'时的误差值值e_i：

$e_i=\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_i\left(\max (\mathrm{sign}\left(\right||f_i\left(p_t\right)-f_i\left(q_t\right)||-||f_i\left(p_t\right)-f_i\left(q_t^{\&prime;}\right)|\left|\right),0)\right)$ 公示（3）

c)在计算好所有特征的误差值后，选择具有最小误差值e_k的特征f_k，对于每个训练样本，通过公式（4）更新其权重：

${\mathrm{\&pi;}}_t=\frac{{\mathrm{\&pi;}}_t}{2}\&times;\left(\begin{array}{c}\exp \left({\mathrm{\&omega;}}_k\right),\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t\right)\left|\right|>\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right){-f}_i\left(q_t^{\&prime;}\right)\left|\right|\\ \exp \left({-\mathrm{\&omega;}}_k\right),\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t\right)\left|\right|<\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t^{\&prime;}\right)\left|\right|\end{array}\right)$ 公式（4）

具体地，我们定义：

ω_k＝(1/2)ln[(1-e_k)/e_k)]

公式（4）的意义在于，如果当前循环处理的特征正确的选则了相似的人体三维姿态，那么该样本的权重就会增加，反之则会下降，从而动态调整训练样本的重要性；算法运行结束后，会得到一组选出来的特征以及其对应的权重，我们可以直接使用这些特征进行运动相似性的计算。

4)计算运动姿态特征值

针对步骤3)中选择出来的特征，分别从参考运动序列以及样本运动序列中计算对应的相关性几何特征值，并将这些特征值用于计算最终的相似性得分，改相似性分是根据人体三维姿态中的几何信息分成了不同类型分别计算：

a)坐标类型特征

f_{C_joint}(m)，表示了关节点m在当前姿态中的三维坐标(x,y,z);

b)速度类型特征

f_{V_joint}(m)，表示了关节点m在当前姿态中的速度(v_x,v_y,v_z);

c)夹角类型特征

f_{A_line2line}(m₁,m₂,m₃,m₄)，表示了由关节点m₁,m₂组成的直线，与关节点m₃,m₄组成的直线之间的夹角；

f_{A_line2plane}(m₁,m₂,m₃,m₄,m₅)，表示了由关节点m₁,m₂组成的直线，与由关节点m₃,m₄,m₅所组成平面法向量的夹角；

f_{A_plane2plane}(m₁,m₂,m₃,m₄,m₅,m₆)，表示了由关节点m₁,m₂,m₃组成的平面的法向量，与由关节点m₄,m₅,m₆所组成平面法向量的夹角；

d)距离类型特征

f_{D_joint2joint}(m₁,m₂)，表示了关节点m₁,m₂之间的距离；

f_{D_joint2line}(m₁,m₂,m₃)，表示了关节点m₁到由关节点m₂,m₃组成的直线之间的距离；

f_{D_joint2plane}(m₁,m₂,m₃,m₄)，表示了关节点m₁到由关节点m₂,m₃,m₄组成的平面之间的距离；

5)计算最终相似性得分

通过使用基于曲线拟合的方法，计算参考运动序列以及样本运动序列之间不同类型特征的运动相似性得分，最后通过加权平均得到一个范围在0到100之间的综合运动相似性得分：

a)基于关节点坐标的相似性得分S_pos,j：

我们将运动序列每一帧中每一个关节点的三维坐标表达成四元组的形式，q_j(t)表示了关节点j第t帧的四元组，S_pos,j表示了关节点j在两段序列中的相似性得分，则其相关性系数的计算方法由公示（5）给出:

$S_{\mathrm{pos},j}=\frac{|{\mathrm{\&Sigma;}}_t{q}_j^{\mathrm{ref}}\left(t\right)\&CenterDot;q_j^{\mathrm{eval}}\left(t\right)|}{\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{ref}}\left(t\right)\right|}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{eval}}\left(t\right)\right|}^2}}$ 公式（5）

其中

(t)表示参考序列的关节点j第t帧的四元组表示，(t)表示查询序列的关节点j第t帧的四元组表示；

b)基于关节点速度的相似性得分S_vel,j：

S_vel,j与S_pos,j的计算方法相同，只是每个四元组q_j(t)中的虚部元素不是由关节点的坐标(x,y,z)组成，而是由该关节点的速度向量(v_x,v_y,v_z)组成；

c)基于角度类型特征的得分S_angle,j：

相关性几何特征表达中包含有关节点连线之间的夹角、连线与关节点组成平面之间的夹角等角度类型特征，由于这类特征的特征值是数值类型，所以我们不需要使用四元组进行表达，对于所选择出来的每一个角度类型的运动特征，我们都按照公式（6）进行计算：

$S_{\mathrm{angle},j}=\frac{|{\mathrm{\&Sigma;}}_t{q}_j^{\mathrm{ref}}\left(t\right)\&CenterDot;q_j^{\mathrm{eval}}\left(t\right)|}{\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{ref}}\left(t\right)\right|}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{eval}}\left(t\right)\right|}^2}}$ 公式（6）

其中

(t)表示参考序列的关节点j第t帧的角度类型特征的特征值，

(t)表示查询序列的关节点j第t帧的角度类型特征的特征值；

d)基于距离类型特征的得分S_dist,j：

S_dist,j与S_angle,j的计算方法相同，只是其中

(t)与(t)分别表示参考序列与查询序列距离类型特征的特征值；

e)经过以上计算，我们得到了关节点j的四种不同的运动相似性得分，可以通过公式（7）对齐进行加权平均，得到关节点j的总体相似性得分，其范围为0-100。

$S_{\mathrm{total}}=\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i*S_i}{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i}$ 公式（7）

本发明提出了一种基于相关性几何特征的运动相似性评估方法。这种相似性评估方法有两个主要优点：第一，相关性几何特征在表达数据时更有针对性，从而实现更精确的相似性度量。由于在进行特征选择时，我们使用了相应的运动姿态作为训练数据（例如莎莎舞），并从中选出最适合表达该种类型姿态的多个特征，这些特征相比于其它类型的特征，更适合于描述该种类型的动作。第二，本文所提出的运动相似性度量方法，所得到的相似性值是一个用户易于理解的得分（0到100分），这可以让用户更直观地理解两段运动是否相似，带来更好的用户体验。与此不同的是，大部分运动相似性评估算法最终输出的结果都是一个相似度距离，而对于用户来说，很难从这一结果判断两段运动是否相似，因而这种方法并不适用于类似舞蹈教学等应用中。

Claims (5)

1.一种基于相关性几何特征的运动相似性评估的方法，其特征在于，它的步骤如下：

1）接受人体运动序列数据作为样本运动序列R，并以提前准备好的参考运动序列Q作为标准姿态，所述的样本运动序列运动序列R和参考运动序列Q中的每一帧由场景深度图以及场景彩色图组成；

2)当参考运动序列Q以及样本运动序列R的长度不同时，对参考运动序列Q以及样本运动序列R通过动态时间变形进行填充与对齐，使得两段运动序列的关键帧之间建立对应关系；

3）在使用本方法进行运动相似性计算时，通过Adaboost方法对所选取的运动数据进行特征选择，从众多相关性几何特征中选择出最准确表达该运动数据信息的特征；

4）针对步骤3)中选择出来的特征，分别从参考运动序列Q以及样本运动序列R中计算对应的相关性几何特征，并将这些特征值保存；

5）通过基于曲线拟合的方法，计算参考运动序列Q以及样本运动序列R之间不同类型特征的运动相似性得分，并通过加权平均得到一个范围在0到100之间的综合运动相似性得分。

2.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤2）中的填充与对齐的方法：

a)对于参考运动序列Q、样本运动序列R，构建累计距离矩阵D(Q,R),该矩阵中每一个元素D(n,m)表示子序列Q_n、R_m之间的累计误差距离；

b)从D(0,0)开始计算，使用公式（1）计算D(i,j)的累计误差距离：

D(i,j)＝cost+min(D(i-1,j),D(i,j-1),D(i-1,j-1)   公式（1）

其中cost是Q_i、R_j两个三维人体姿态间各关节点的欧式距离之和；

c)在计算距离矩阵D(Q,R)之后，依据公式（2）选择出最终的对齐终点D_OE(Q,R)，并以D(0,0)到D_OE(Q,R)的路径作为两段运动序列的对齐路径；

$D_{\mathrm{OE}}(Q,R)={\min }_{j=1,\&CenterDot;\&CenterDot;\&CenterDot;,m}{D}_{\mathrm{DTW}}\left({Q,R}^{\left(j\right)}\right)$ 公式（2）

d)依照对齐路径分别对两段运动序列进行填充，得到两段长度相同的运动序列；在填充时使用K重复方法对对齐算法进行优化，如果运动序列中一个姿态已经被匹配了K次，那么该姿态将不允许再被匹配，从而限制连续垂直的匹配路径以及连续水平的匹配路径的长度,所述的K为可调自然数参数。

3.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤3）中的特征选择的方法：

a)该方法的训练数据以{(p_t,q_t,q_t')}为格式，其中p_t是运动序列的参考姿态，q_t与q_t'表示运动序列中两个需要对比的姿态，并将q_t与q_t'中同p_t最为接近的姿态进行标注；

b)对于每一个相关性几何特征f_i，通过公式（3）计算其在判断姿态q_t与q_t'时的误差值e_i：

$e_i=\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_i\left(\max (\mathrm{sign}\left(\right||f_i\left(p_t\right)-f_i\left(q_t\right)||-||f_i\left(p_t\right)-f_i\left(q_t^{\&prime;}\right)|\left|\right),0)\right)$ 公示（3）

c)在计算好所有特征的误差值后，选择具有最小误差值e_k的特征f_k，对于每个训练样本，通过公式（4）更新其权重：

${\mathrm{\&pi;}}_t=\frac{{\mathrm{\&pi;}}_t}{2}\&times;\left(\begin{array}{c}\exp \left({\mathrm{\&omega;}}_k\right),\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t\right)\left|\right|>\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right){-f}_i\left(q_t^{\&prime;}\right)\left|\right|\\ \exp \left({-\mathrm{\&omega;}}_k\right),\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t\right)\left|\right|<\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\left|\right|f_i\left(p_t\right)-f_i\left(q_t^{\&prime;}\right)\left|\right|\end{array}\right)$ 公式（4）

具体地，定义：

ω_k＝(1/2)ln[(1-e_k)/e_k)]

d)算法运行结束后，得到一组选出来的特征以及其对应的权重，直接使用这些特征进行运动相似性的计算。

4.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤4）中的计算方法将人体三维姿态中的这些几何信息分成了不同类型的特征进行表达：

a)坐标类型特征

f_{C_joint}(m)，表示了关节点m在当前姿态中的三维坐标(x,y,z);

b)速度类型特征

f_{V_joint}(m)，表示了关节点m在当前姿态中的速度(v_x,v_y,v_z);

c)夹角类型特征

f_{A_line2line}(m₁,m₂,m₃,m₄)，表示了由关节点m₁,m₂组成的直线，与关节点m₃,m₄组成的直线之间的夹角；

f_{A_line2plane}(m₁,m₂,m₃,m₄,m₅)，表示了由关节点m₁,m₂组成的直线，与由关节点m₃,m₄,m₅所组成平面法向量的夹角；

f_{A_plane2plane}(m₁,m₂,m₃,m₄,m₅,m₆)，表示了由关节点m₁,m₂,m₃组成的平面的法向量，与由关节点m₄,m₅,m₆所组成平面法向量的夹角；

d)距离类型特征

f_{D_joint2joint}(m₁,m₂)，表示了关节点m₁,m₂之间的距离；

f_{D_joint2line}(m₁,m₂,m₃)，表示了关节点m₁到由关节点m₂,m₃组成的直线之间的距离；

f_{D_joint2plane}(m₁,m₂,m₃,m₄)，表示了关节点m₁到由关节点m₂,m₃,m₄组成的平面之间的距离。

5.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤5）中的计算方法中分别计算以下相似性得分：

a)基于关节点坐标的相似性得分S_pos,j：

将运动序列每一帧中每一个关节点的三维坐标表达成四元组的形式，q_j(t)表示了关节点j第t帧的四元组，S_pos,j表示了关节点j在两段序列中的相似性得分，则其相关性系数的计算方法由公示（5）给出:

$S_{\mathrm{pos},j}=\frac{|{\mathrm{\&Sigma;}}_t{q}_j^{\mathrm{ref}}\left(t\right)\&CenterDot;q_j^{\mathrm{eval}}\left(t\right)|}{\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{ref}}\left(t\right)\right|}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{eval}}\left(t\right)\right|}^2}}$ 公式（5）

其中

(t)表示参考序列的关节点j第t帧的四元组表示，

(t)表示查询序列的关节点j第t帧的四元组表示；

b)基于关节点速度的相似性得分S_vel,j：

S_vel,j与S_pos,j的计算方法相同，只是每个四元组q_j(t)中的虚部元素不是由关节点的坐标(x,y,z)组成，而是由该关节点的速度向量(v_x,v_y,v_z)组成；

c)基于角度类型特征的得分S_angle,j：

相关性几何特征表达中包含有关节点连线之间的夹角、连线与关节点组成平面之间的夹角等角度类型特征，由于这类特征的特征值是数值类型，所以不需要使用四元组进行表达，对于所选择出来的每一个角度类型的运动特征，都按照公式（6）进行计算：

$S_{\mathrm{angle},j}=\frac{|{\mathrm{\&Sigma;}}_t{q}_j^{\mathrm{ref}}\left(t\right)\&CenterDot;q_j^{\mathrm{eval}}\left(t\right)|}{\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{ref}}\left(t\right)\right|}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_t{\left|q_j^{\mathrm{eval}}\left(t\right)\right|}^2}}$ 公式（6）

其中

(t)表示参考序列的关节点j第t帧的角度类型特征的特征值，

(t)表示查询序列的关节点j第t帧的角度类型特征的特征值；

d)基于距离类型特征的得分S_dist,j：

S_dist，j与S_angle，j的计算方法相同，只是其中

(t)与(t)分别表示参考序列与查询序列距离类型特征的特征值；

e)经过以上计算，得到了关节点j的四种不同的运动相似性得分，通过公式（7）对齐进行加权平均，得到关节点j的总体相似性得分

$S_{\mathrm{total}}=\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i*S_i}{{\mathrm{\&Sigma;}}_i{\mathrm{\&omega;}}_i}$ 公式（7）。

Images