CN108392207B - 一种基于姿态标签的动作识别方法 - Google Patents

Abstract

本发明提供一种基于姿态标签的动作识别方法，该方法将动作识别抽象为姿态识别，基于关键节点相对位置方法将姿态抽象为姿态标签，通过比对人类一定时间的姿态变化，找出人类所发出的动作；该方法降低了模板库的建立难度，大幅度减少了动作识别的速度及运算要求，提高动作识别对于识别个体的通用性。本方法在人机交互领域、虚拟现实领域、视频监控领域、运动特征分析领域有重要的应用价值。

Description

一种基于姿态标签的动作识别方法

技术领域

本发明属于动作识别技术领域，涉及一种基于姿态标签的动作识别方法。

背景技术

动作识别是近年研究的一个热点，现有的动作识别领域产生的研究成果应用于人防安保、人类生活习性研究、人机交互、虚拟现实等各个领域，并产生了很大的积极效果。传统的动作识别通过图像处理相关的技术方法直接对图像(包含视频、若干照片等)进行分析，通过对图像进行分割，特征提取，动作特征提取，动作特征分类等步骤，最后实现动作识别。现有的动作识别方法虽然取得很大的进展，但仍存在一定的问题，如运算量巨大；动作特征库不好建立，需要专业人士录入素材；对与素材不同体型身高的人类进行识别时，精度会产生较大幅度下降等。

发明内容

针对现有技术中存在的问题，本发明的目的在于，提供一种基于姿态标签的动作识别方法，解决了现有动作识别技术中存在的计算量大，模板库建立困难及模板库通用性差的问题。

为了实现上述目的，本发明采用如下技术方案：

一种将动作分解为姿态标签的方法，包括以下步骤：

步骤1，采用骨骼追踪设备获取人体躯干动作在每个时刻下的关键节点的位置数据，该关键节点的位置数据为骨骼追踪设备坐标系下的数据；该关键节点至少包括关键节点HEAD、关键节点SHOULDER CENTER、关键节点SPINE、关键节点HIP CENTER、关键节点SHOULDE RIGHT、关键节点SHOULDER LEFT、关键节点ELBOW RIGHT、关键节点ELBOW LEFT、关键节点WRIST RIGHT、关键节点WRIST LEFT、关键节点HAND RIGHT、关键节点HAND LEFT、关键节点HIP RIGHT、关键节点HIP LEFT、关键节点KNIEE RIGHT、关键节点KNIEE LEFT、关键节点ANIKLE RIGHT、关键节点ANIKLE LEFT、关键节点FOOT RIGHT、关键节点FOOT LEFT；

步骤2，将步骤1得到的每个时刻下的关键节点的位置数据分别转化为形态学坐标系下的关键节点的位置数据；该形态学坐标系以人体躯干的面对方向为Z轴正方向，以人体躯干的形态学上端方向为Y轴正方向，以人的左侧方向为X轴正方向，以关键节点HIPCENTER为原点；

步骤3，利用步骤2得到的每个时刻下的形态学坐标系下的关键节点的位置数据分别求每个时刻下的姿态标签，该姿态标签包括主体姿态标签GL_body、左前肢姿态标签GL_lf、右前肢姿态标签GL_rf、左后肢姿态标签GL_lb和右后肢姿态标签GL_rb。

可选地，所述步骤3中的主体姿态标签GL_body的求取方法如下：

选取X_F，Y_F和Z_F中绝对值最大的坐标值，找到该坐标值所属区间对应的GL_body的值即为主体姿态标签GL_body的值，采用的公式如下：

其中，X_F，Y_F和Z_F分别为单位向量F的3个坐标轴的坐标；单位向量

为关键节点HEAD与关键节点HIP CENTER在骨骼追踪设备坐标系下形成的向量；

所述步骤3中的左前肢姿态标签GL_lf、右前肢姿态标签GL_rf、左后肢姿态标签GL_lb和右后肢姿态标签GL_rb的求取方法如下：

所述四种姿态标签均包括三个关键节点，记为关键节点1、关键节点2和关键节点3，对于左前肢姿态标签GL_lf包括的三个关键节点分别为ELBOW LEFT、WRIST LEFT和HANDLEFT，对于右前肢姿态标签GL_rf包括的三个关键节点分别为KNIEE LEFT、ANIKLE LEFT和FOOT LEFT，对于左后肢姿态标签GL_lb包括的三个关键节点分别为ELBOW LEFT、WRIST LEFT和HAND LEFT，右后肢姿态标签GL_rb包括的三个关键节点分别为KNIEE LEFT、ANIKLE LEFT和FOOT LEFT。

该三个关键节点在形态学坐标系下的数据分别用(X₁,Y₁,Z₁)(X₂,Y₂,Z₂)(X₃,Y₃,Z₃)表示；上述四种姿态标签均包括高度标签G1、方位标签G2和蜷曲标签G3；

其中，高度标签G1的求取方法如下：

G1＝(g₁+g₂+g₃)/3取整，其中，

其中，n＝1,2,3，Y_H为关键节点HEAD的形态学坐标系下的Y轴坐标，Y_HC为关键节点SHOULDER CENTER的形态学坐标系下的Y轴坐标；

方位标签G2的求取方法如下：

统计关键节点1、关键节点2和关键节点3的X轴坐标和Z轴坐标的符号，采用以下公式求方位标签G2：

蜷曲标签G3的求取方法如下：

根据关键节点1、关键节点2和关键节点3，引入关键节点4，分别计算关键节点1、关键节点2和关键节点3，与关键节点4之间的距离D₁，D₂，D₃；对于左前肢姿态标签GL_lf，关键节点4为SHOULDER LEFT，对于右前肢姿态标签GL_rf，关键节点4为SHOULDER RIGHT，对于左后肢姿态标签GL_lb，关键节点4为HIP LEFT，对于右后肢姿态标签GL_rb，关键节点4为HIP RIGHT；

蜷曲标签G3的取值方法采用如下公式：

本发明还提供一种求取动作模板库的方法，包括以下步骤：

步骤1，多次作出标准动作，将每次作出的标准动作分解为各个时刻下的姿态标签；选取初始时刻的姿态标签为起始帧姿态标签，选取终止时刻的姿态标签为终止帧姿态标签；将第一次作出的标准动作为对比标准动作，其他次作出的标准动作为参照标准动作；对比标准动作对应的起始帧姿态标签作为起始帧对比姿态标签，将第一次作出的标准动作对应的终止帧姿态标签作为终止帧对比姿态标签；

所述的将每次作出的标准动作分解为各个时刻下的姿态标签为根据权利要求1的方法得到的姿态标签；

步骤2，求初始帧相似度系数组，具体方法如下：

分别计算多个参照标准动作的起始帧姿态标签与起始帧对比姿态标签的每个属性的相似度Sl1(A)_n，采用的公式如下：

Sl1(A)_n＝A_n×z1_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3)

其中，A_n为初始化的相似度系数值，A_n＝1，n表示属性的序号，该序号从1至13分别为姿态标签的主体姿态标签GL_body、左前肢姿态标签GL_lf中的高度标签G1、左前肢姿态标签GL_lf中的方位标签G2、左前肢姿态标签GL_lf中的蜷曲标签G3、左后肢姿态标签GL_lb中的高度标签G1、左后肢姿态标签GL_lb中的方位标签G2、左后肢姿态标签GL_lb中的蜷曲标签G3、右前肢姿态标签GL_rf的高度标签G1、右前肢姿态标签GL_rf的方位标签G2、右前肢姿态标签GL_rf的蜷曲标签G3、右后肢姿态标签GL_rb的高度标签G1、右后肢姿态标签GL_rb的方位标签G2、右后肢姿态标签GL_rb的蜷曲标签G3；z1_n为参照标准动作的起始帧姿态标签与起始帧对比姿态标签的对应属性的差值的绝对值；

针对每个属性n，选取针对多个参照标准动作的起始帧姿态标签计算得到的相似度Sl1(A)_n中的次大值作为该属性下的相似度系数值A1_n。每个属性n对应的相似度系数值A1_n形成初始帧相似度系数组A_star＝{A1_n,n∈Z,n＝1,2,...,13}；

步骤3，求终止帧相似度系数组，具体方法如下：

分别计算多个参照标准动作的终止帧姿态标签与终止帧对比姿态标签的每个属性的相似度Sl2(A)_n，采用的公式如下:

Sl2(A)_n＝A_n×z2_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3)

其中，z2_n为参照标准动作的终止帧姿态标签与终止帧对比姿态标签的对应属性的差值的绝对值；

针对每个属性n，选取针对多个参照标准动作的终止帧姿态标签计算得到的相似度Sl2(A)_n中的次大值作为该属性下的相似度系数值A2_n；每个属性n对应的相似度系数值A2_n形成终止帧相似度系数组A_stop＝{A2_n,n∈Z,n＝1,2,...,13}；

步骤4，针对多个标准动作按照步骤1-3的方法，得到每个标准动作对应的初始帧相似度系数组和终止帧相似度系数组，所有的标准动作对应的初始帧相似度系数组和终止帧相似度系数组形成动作模板库。

本发明还提供一种基于姿态标签的动作识别方法，包括以下步骤：

步骤1，针对待识别动作，将待识别动作分解为每个时刻下的姿态标签；所述的将待识别动作分解为每个时刻下的姿态标签为根据权利要求1所述的方法得到的姿态标签；

步骤2，选取动作模板库中的某一标准动作，计算步骤1得到的终止帧姿态标签,与选取的标准动作的终止帧姿态标签之间的每个属性的相似度SL(B)_n,记终止帧姿态标签为第t帧姿态标签，采用的公式如下：

SL(B)_n＝A1_n×z3_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3)

其中，z3_n为步骤1得到的终止帧姿态标签与选取的标准动作的终止帧姿态标签的对应属性的差值的绝对值；

计算步骤1得到的终止帧的姿态标签与选取的标准动作的终止帧的姿态标签之间的整体相似度S(B)，采用的公式如下：

步骤3，若整体相似度S(B)大于设定阈值MAXBLUR，则返回步骤2；否则，执行步骤4；

步骤4，计算终止帧姿态标签的上一帧姿态标签与选取的标准动作的起始帧姿态标签之间的每个属性的相似度SL(C)_n,记上一帧姿态标签为第t-1帧姿态标签，采用的公式如下：

SL(C)_n＝A2_n×z4_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3)

其中，z4_n为上一帧姿态标签与选取的标准动作的起始帧姿态标签的对应属性的差值的绝对值；

计算上一帧姿态标签与选取的标准动作的起始帧姿态标签之间的整体相似度S(C)，采用的公式如下：

步骤5，若整体相似度S(C)小于设定阈值MAXBLUR，则待识别动作与选取的标准动作一致；若整体相似度S(C)大于设定阈值MAXBLUR，则返回步骤4，将处理对象由第t-1帧姿态标签替换为第t-2帧姿态标签，直至处理对象为第一帧姿态标签时，得到整体相似度S(C)大于设定阈值MAXBLUR，则返回步骤2。

与现有技术相比，本发明具有以下技术效果：该方法将动作识别抽象为姿态识别，基于关键节点相对位置方法将姿态抽象为姿态标签，通过比对人类一定时间的姿态变化，找出人类所发出的动作；该方法降低了模板库的建立难度，大幅度减少了动作识别的速度及运算要求，提高动作识别对于识别个体的通用性。本方法在人机交互领域、虚拟现实领域、视频监控领域、运动特征分析领域有重要的应用价值。

下面结合附图和实施例对本发明的方案作进一步详细地解释和说明。

附图说明

图1是本发明所采用的骨骼追踪设备坐标系示意图。

图2是本发明获取的二十个骨骼关键节点位置示意图。

具体实施方式

本发明提供一种将动作分解为姿态标签的方法，包括以下步骤：

步骤1，采用骨骼追踪设备获取人体躯干动作的关键节点的位置数据，该关键节点的位置数据为骨骼追踪设备坐标系下的数据。其中，骨骼追踪设备可采用Kinect，采用Kinect按照一定的频率获取动作的关键节点数据，该关键节点的位置数据表示骨骼特定的二十个骨骼节点的位置，关键节点的节点名和序号如下表所示：

其中，骨骼追踪设备坐标系以设备摄像头为原点，摄像头正对方向为Z轴正方向，重力的反方向为Y轴正方向，摄像头左侧方向为X轴正方向，单位长度为1米。骨骼追踪设备坐标系为静态坐标系。

步骤2，将步骤1得到的每个时刻下的关键节点的位置数据分别转化为形态学坐标系下的关键节点的位置数据；采用的公式如下：

其中，(x,y,z)＝(X-X_HC，Y-Y_HC，Z-Z_HC)表示步骤1得到的骨骼追踪设备坐标系下的任一关键节点NODE之间的向量的坐标，(X，Y，Z)表示关键节点NODE的位置数据，(X_HC，Y_HC，Z_HC)表示关键节点HIPCENTER的位置数据；α，β和γ分别为形态学坐标系中的各坐标轴相对于骨骼追踪设备坐标系的旋转角度。

则形态学坐标系下的关键节点的位置数据为(x',y',z')。

该形态学坐标系以人体躯干的面对方向为Z轴正方向，以人体躯干的形态学上端方向为Y轴正方向，以人的左侧方向为X轴正方向，以关键节点HIP CENTER为原点。

人体躯干的形态学上端，指的是以人的头部为起点，沿身体向下，向外延伸，较早到达的部位即为较晚到达的部位的形态学上端。例如，人在立正站立时，双手自然下垂，左肩，左肘，左手三个部位的状态如下：左肩是左肘的形态学上端，左肘是左手的形态学上端。

步骤3，求每个时刻下的主体姿态标签GL_body、左前肢姿态标签GL_lf、右前肢姿态标签GL_rf、左后肢姿态标签GL_lb和右后肢姿态标签GL_rb。

具体地，在又一实施例中，步骤2中的人体躯干的面对方向和人体躯干的形态学上端方向的确定方法如下：

步骤1中得到的的关键节点SHOULDER RIGHT的位置数据为(X_SR，Y_SR，Z_SR)、关键节点SHOULDER LEFT的位置数据为(X_SL，Y_SL，Z_SL)、关键节点HIP CENTER的位置数据为(X_HC，Y_HC，Z_HC)，三个关键节点可以确定一个平面，该平面即为人体躯干所在平面。

人体躯干所在平面的法线向量

其中，

求关键节点HEAD与关键节点HIP CENTER在骨骼追踪设备坐标系下的向量

由于Kinect设备头部总是向前倾斜，将

乘以

若取值为正，

取正号，若取值为负，

取负号。

的方向即为人体躯干面对方向，

的方向即为人体躯干的形态学上端方向。

具体地，主体姿态标签GL_body的求取方法如下：

求关键节点HEAD与关键节点HIP CENTER在骨骼追踪设备坐标系下的向量

令单位向量

选取X_F，Y_F和Z_F中绝对值最大的坐标值，找到该坐标值所属区间对应的GL_body的值即为主体姿态标签GL_body的值，采用的公式如下：

因F为单位向量，则

X_F，Y_F和Z_F中一个为0，且另外两个的值相等时，求得相等的两个值为

则X_F，Y_F和Z_F中的最大值大于

左前肢姿态标签GL_lf、右前肢姿态标签GL_rf、左后肢姿态标签GL_lb和右后肢姿态标签GL_rb的求取方法如下：

上述四种姿态标签均包括三个关键节点，记为关键节点1、关键节点2和关键节点3，对于左前肢姿态标签GL_lf包括的三个关键节点分别为ELBOW LEFT、WRIST LEFT和HANDLEFT，对于右前肢姿态标签GL_rf包括的三个关键节点分别为KNIEE LEFT、ANIKLE LEFT和FOOT LEFT，对于左后肢姿态标签GL_lb包括的三个关键节点分别为ELBOW LEFT、WRIST LEFT和HAND LEFT，右后肢姿态标签GL_rb包括的三个关键节点分别为KNIEE LEFT、ANIKLE LEFT和FOOT LEFT。

该三个关键节点在形态学坐标系下的数据分别用(X₁,Y₁,Z₁)(X₂,Y₂,Z₂)(X₃,Y₃,Z₃)表示；上述四种姿态标签均包括高度标签G1、方位标签G2和蜷曲标签G3。

其中，高度标签G1的求取方法如下：

G1＝(g₁+g₂+g₃)/3取整，G1的取值越小，说明该部位所处的位置离形态学的上端越近。其中：

其中，n＝1,2,3，Y_H为关键节点HEAD的形态学坐标系下的Y轴坐标，Y_HC为关键节点SHOULDER CENTER的形态学坐标系下的Y轴坐标，且Y_H＞Y_HC。

方位标签G2的求取方法如下：

统计关键节点1、关键节点2和关键节点3的X轴坐标和Z轴坐标的符号，采用以下公式求方位标签G2：

蜷曲标签G3的求取方法如下：

根据关键节点1、关键节点2和关键节点3，引入关键节点4，分别计算关键节点1、关键节点2和关键节点3，与关键节点4之间的距离D₁，D₂，D₃。对于左前肢姿态标签GL_lf，关键节点4为SHOULDER LEFT，对于右前肢姿态标签GL_rf，关键节点4为SHOULDER RIGHT，对于左后肢姿态标签GL_lb，关键节点4为HIP LEFT，对于右后肢姿态标签GL_rb，关键节点4为HIP RIGHT。

蜷曲标签G3的取值方法采用如下公式：

本发明的另一个方面提供一种求取动作模板库的方法，包括以下步骤：

步骤1，多次作出标准动作，按照上述将动作分解为姿态标签的方法，将每次作出的标准动作分解为各个时刻下的姿态标签；选取初始时刻的姿态标签为起始帧姿态标签，选取终止时刻的姿态标签为终止帧姿态标签。将第一次作出的标准动作为对比标准动作，其他次作出的标准动作为参照标准动作。对比标准动作对应的起始帧姿态标签作为起始帧对比姿态标签，将第一次作出的标准动作对应的终止帧姿态标签作为终止帧对比姿态标签。

步骤2，求初始帧相似度系数组，具体方法如下：

分别计算多个参照标准动作的起始帧姿态标签与起始帧对比姿态标签的每个属性的相似度Sl1(A)_n，采用的公式如下：

Sl1(A)_n＝A_n×z1_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3) (6)

其中，A_n为初始化的相似度系数值，A_n＝1，n表示属性的序号，该序号从1至13分别为姿态标签的主体姿态标签GL_body、左前肢姿态标签GL_lf中的高度标签G1、左前肢姿态标签GL_lf中的方位标签G2、左前肢姿态标签GL_lf中的蜷曲标签G3、左后肢姿态标签GL_lb中的高度标签G1、左后肢姿态标签GL_lb中的方位标签G2、左后肢姿态标签GL_lb中的蜷曲标签G3、右前肢姿态标签GL_rf的高度标签G1、右前肢姿态标签GL_rf的方位标签G2、右前肢姿态标签GL_rf的蜷曲标签G3、右后肢姿态标签GL_rb的高度标签G1、右后肢姿态标签GL_rb的方位标签G2、右后肢姿态标签GL_rb的蜷曲标签G3；z1_n为参照标准动作的起始帧姿态标签与起始帧对比姿态标签的对应属性的差值的绝对值，如z1₁为参照标准动作的起始帧姿态标签中主体姿态标签GL_body与起始帧对比姿态标签的主体姿态标签GL_body的差值的绝对值。

针对每个属性n，选取针对多个参照标准动作的起始帧姿态标签计算得到的相似度Sl1(A)_n中的次大值作为该属性下的相似度系数值A1_n。每个属性n对应的相似度系数值A1_n形成初始帧相似度系数组A_star＝{A1_n,n∈Z,n＝1,2,...,13}。

步骤3，求终止帧相似度系数组，具体方法如下：

分别计算多个参照标准动作的终止帧姿态标签与终止帧对比姿态标签的每个属性的相似度Sl2(A)_n，采用的公式如下；

Sl2(A)_n＝A_n×z2_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3) (7)

其中，z2_n为参照标准动作的终止帧姿态标签与终止帧对比姿态标签的对应属性的差值的绝对值，如z2₁为参照标准动作的终止帧姿态标签中主体姿态标签GL_body与终止帧对比姿态标签的主体姿态标签GL_body的差值的绝对值。

针对每个属性n，选取针对多个参照标准动作的终止帧姿态标签计算得到的相似度Sl2(A)_n中的次大值作为该属性下的相似度系数值A2_n。每个属性n对应的相似度系数值A2_n形成终止帧相似度系数组A_stop＝{A2_n,n∈Z,n＝1,2,...,13}。

步骤4，针对多个标准动作按照步骤1-3的方法，得到每个标准动作对应的初始帧相似度系数组和终止帧相似度系数组，所有的标准动作对应的初始帧相似度系数组和终止帧相似度系数组形成动作模板库。

本发明的第三个方面提供一种动作识别方法，包括以下步骤：

步骤1，针对待识别动作，按照上述将动作分解为姿态标签的方法，将待识别动作分解为每个时刻下的姿态标签。

步骤2，选取动作模板库中的某一标准动作，计算步骤1得到的终止帧姿态标签,与选取的标准动作的终止帧姿态标签之间的每个属性的相似度SL(B)_n,记终止帧姿态标签为第t帧姿态标签，采用的公式如下：

SL(B)_n＝A1_n×z3_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3)

(8)

其中，z3_n为步骤1得到的终止帧姿态标签与选取的标准动作的终止帧姿态标签的对应属性的差值的绝对值。

计算步骤1得到的终止帧的姿态标签与选取的标准动作的终止帧的姿态标签之间的整体相似度S(B)，采用的公式如下：

步骤3，若整体相似度S(B)大于设定阈值MAXBLUR，则返回步骤2；否则，执行步骤4；

步骤4，计算终止帧姿态标签的上一帧姿态标签与选取的标准动作的起始帧姿态标签之间的每个属性的相似度SL(C)_n,记上一帧姿态标签为第t-1帧姿态标签，采用的公式如下：

SL(C)_n＝A2_n×z4_n÷ln(n∈Z，n∈[1，13],当n＝1,4,7,10,13时ln取5，其余取3) (10)

其中，z4_n为上一帧姿态标签与选取的标准动作的起始帧姿态标签的对应属性的差值的绝对值。

计算上一帧姿态标签与选取的标准动作的起始帧姿态标签之间的整体相似度S(C)，采用的公式如下：

步骤5，若整体相似度S(C)小于设定阈值MAXBLUR，则待识别动作与选取的标准动作一致；若整体相似度S(C)大于设定阈值MAXBLUR，则返回步骤4，将处理对象由第t-1帧姿态标签替换为第t-2帧姿态标签，直至处理对象为第一帧姿态标签时，得到整体相似度S(C)大于设定阈值MAXBLUR，则返回步骤2。MAXBLUR表示动作匹配算法的模糊程度，取值为0.25-0.05。

实施例

采用传统方法进行动作识别：

使用设备为单台Kinect，识别动作为右手敬礼时，使用传统方法建立模板库，测试者a身高173cm，体重60kg，测试者b身高191cm，体重100kg，测试者c身高181cm，体重80kg。前50个样本为测试者a录入，样本序号为51-80的样本为测试者b录入，每次样本录入大概需要时间2分钟，录入时选定录入的动作，由录入者站于设备前1.5米处做出右手敬礼动作，样本库与测试点为Kinect全20个骨骼节点

测试时，规定测试者站于设备1.5米前，尽可能做出符合标准动作，每次录入新样本优化模板库时，每人做右手敬礼动作十次，统计识别结果。识别结果统计如表1所示：

表1

样本数

20

30

40

50

60

70

80

测试者a

70％

80％

90％

100％

90％

80％

80％

测试者b

0％

30％

30％

30％

70％

70％

90％

测试者c

30％

40％

40％

40％

50％

50％

50％

由测试结果可以看出：测试者a即作为测试者，又作为样本录入者时，随着录入次数增加，识别成功率明显增加，最终识别成功率在样本数为50时达到100％，而其他测试者的成功率基本不变，当改以测试者b作为样本录入者时，测试者b成功率有很大提高，测试者a成功率反而有所降低。测试者c因为未参与录入，识别成功率较低，不过随着样本数增加，成功率有所增加。测试1总计耗时4小时20分。

使用本发明的方法进行动作识别：

使用设备为单台Kinect，识别动作为右手敬礼、双手挥动，使用本方法建立姿态标签库，动作-姿态库，使用全部20个节点，建立模板库共计耗时30分钟，包括六个动作：站立、左手高举、右手高举、双手高举、左臂敬礼、右臂敬礼。其中右手高举与右臂敬礼动作相近，双手高举为三姿态的复杂动作，其动作既符合左手高举要求，又符合右手高举要求，加入用于增加本次测试难度。测试者a身高173cm，体重60kg，测试者b身高191cm，体重100kg，测试者c身高181cm，体重80kg，与测试1一致。

测试时，规定测试者站于设备1.5米前，尽可能做出符合标准动作，每人做右手敬礼、双手挥舞动作各十次，整个测试没有更新模板库，所以不需要每人做多轮动作，统计识别结果。识别结果统计如表2所示：

表2

其中测试者c一次右臂敬礼动作被错误识别为右手高举，一次双手高举动作被错误识别为右手高举，与动作-姿态库中有关动作设定有关。

整体测试比测试1识别成功率高很多，且对于三个不同体型测试者来说，都有良好的成功率。整体测试下来，共计耗时1小时10分，且识别动作相较测试1更加丰富，难度更大。

说明本方法对于测试者拥有良好的通用性，模板库的录入(设计)更加简单方便。

Claims (3)

1.一种将动作分解为姿态标签的方法，其特征在于，包括以下步骤：

步骤1，采用骨骼追踪设备获取人体躯干动作在每个时刻下的关键节点的位置数据，该关键节点的位置数据为骨骼追踪设备坐标系下的数据；该关键节点至少包括关键节点HEAD、关键节点SHOULDER CENTER、关键节点SPINE、关键节点HIP CENTER、关键节点SHOULDERIGHT、关键节点SHOULDER LEFT、关键节点ELBOW RIGHT、关键节点ELBOW LEFT、关键节点WRIST RIGHT、关键节点WRIST LEFT、关键节点HAND RIGHT、关键节点HAND LEFT、关键节点HIP RIGHT、关键节点HIP LEFT、关键节点KNIEE RIGHT、关键节点KNIEE LEFT、关键节点ANIKLE RIGHT、关键节点ANIKLE LEFT、关键节点FOOT RIGHT、关键节点FOOT LEFT；

步骤2，将步骤1得到的每个时刻下的关键节点的位置数据分别转化为形态学坐标系下的关键节点的位置数据；该形态学坐标系以人体躯干的面对方向为Z轴正方向，以人体躯干的形态学上端方向为Y轴正方向，以人的左侧方向为X轴正方向，以关键节点HIP CENTER为原点；

步骤3，利用步骤2得到的每个时刻下的形态学坐标系下的关键节点的位置数据分别求每个时刻下的姿态标签，该姿态标签包括主体姿态标签GL_body、左前肢姿态标签GL_1f、右前肢姿态标签GL_rf、左后肢姿态标签GL_1b和右后肢姿态标签GL_rb；

所述步骤3中的主体姿态标签GL_body的求取方法如下：

选取X_F，Y_F和Z_F中绝对值最大的坐标值，找到该坐标值所属区间对应的GL_body的值即为主体姿态标签GL_body的值，采用的公式如下：

其中，X_F，Y_F和Z_F分别为单位向量F的3个坐标轴的坐标；单位向量

为关键节点HEAD与关键节点HIP CENTER在骨骼追踪设备坐标系下形成的向量；

所述步骤3中的左前肢姿态标签GL_1f、右前肢姿态标签GL_rf、左后肢姿态标签GL_1b和右后肢姿态标签GL_rb的求取方法如下：

所述四种姿态标签均包括三个关键节点，记为关键节点1、关键节点2和关键节点3，对于左前肢姿态标签GL_1f包括的三个关键节点分别为ELBOW LEFT、WRIST LEFT和HAND LEFT，对于右前肢姿态标签GL_rf包括的三个关键节点分别为KNIEE LEFT、ANIKLE LEFT和FOOTLEFT，对于左后肢姿态标签GL_1b包括的三个关键节点分别为ELBOW LEFT、WRIST LEFT和HANDLEFT，右后肢姿态标签GL_rb包括的三个关键节点分别为KNIEE LEFT、ANIKLE LEFT和FOOTLEFT；

该三个关键节点在形态学坐标系下的数据分别用(X₁，Y₁，Z₁)(X₂，Y₂，Z₂)(X₃，Y₃，Z₃)表示；上述四种姿态标签均包括高度标签G1、方位标签G2和蜷曲标签G3；

其中，高度标签G1的求取方法如下：

G1＝(g₁+g₂+g₃)/3取整，其中，

其中，n＝1，2，3，Y_H为关键节点HEAD的形态学坐标系下的Y轴坐标，Y_HC为关键节点SHOULDER CENTER的形态学坐标系下的Y轴坐标；

方位标签G2的求取方法如下：

统计关键节点1、关键节点2和关键节点3的X轴坐标和Z轴坐标的符号，采用以下公式求方位标签G2：

蜷曲标签G3的求取方法如下：

根据关键节点1、关键节点2和关键节点3，引入关键节点4，分别计算关键节点1、关键节点2和关键节点3，与关键节点4之间的距离D₁，D₂，D₃；对于左前肢姿态标签GL_1f，关键节点4为SHOULDER LEFT，对于右前肢姿态标签GL_rf，关键节点4为SHOULDER RIGHT，对于左后肢姿态标签GL_1b，关键节点4为HIP LEFT，对于右后肢姿态标签GL_rb，关键节点4为HIP RIGHT；

蜷曲标签G3的取值方法采用如下公式：

2.一种求取动作模板库的方法，其特征在于，包括以下步骤：

步骤1，多次作出标准动作，将每次作出的标准动作分解为各个时刻下的姿态标签；选取初始时刻的姿态标签为起始帧姿态标签，选取终止时刻的姿态标签为终止帧姿态标签；将第一次作出的标准动作为对比标准动作，其他次作出的标准动作为参照标准动作；对比标准动作对应的起始帧姿态标签作为起始帧对比姿态标签，将第一次作出的标准动作对应的终止帧姿态标签作为终止帧对比姿态标签；

所述的将每次作出的标准动作分解为各个时刻下的姿态标签为根据权利要求1的方法得到的姿态标签；

步骤2，求初始帧相似度系数组，具体方法如下：

分别计算多个参照标准动作的起始帧姿态标签与起始帧对比姿态标签的每个属性的相似度sl1(A)_n，采用的公式如下：

Sl1(A)_n＝A_n×z1_n÷ln(n∈Z，n∈[1，13]，当n＝1，4，7，10，13时ln取5，其余取3)

其中，A_n为初始化的相似度系数值，A_n＝1，n表示属性的序号，该序号从1至13分别为姿态标签的主体姿态标签GL_body、左前肢姿态标签GL_1f中的高度标签G1、左前肢姿态标签GL_1f中的方位标签G2、左前肢姿态标签GL_1f中的蜷曲标签G3、左后肢姿态标签GL_1b中的高度标签G1、左后肢姿态标签GL_1b中的方位标签G2、左后肢姿态标签GL_1b中的蜷曲标签G3、右前肢姿态标签GL_rf的高度标签G1、右前肢姿态标签GL_rf的方位标签G2、右前肢姿态标签GL_rf的蜷曲标签G3、右后肢姿态标签GL_rb的高度标签G1、右后肢姿态标签GL_rb的方位标签G2、右后肢姿态标签GL_rb的蜷曲标签G3；z1_n为参照标准动作的起始帧姿态标签与起始帧对比姿态标签的对应属性的差值的绝对值；

针对每个属性n，选取针对多个参照标准动作的起始帧姿态标签计算得到的相似度Sl1(A)_n中的次大值作为该属性下的相似度系数值A1_n，每个属性n对应的相似度系数值A1_n形成初始帧相似度系数组A_star＝{A1_n，n∈Z，n＝1，2，...，13}；

步骤3，求终止帧相似度系数组，具体方法如下：

分别计算多个参照标准动作的终止帧姿态标签与终止帧对比姿态标签的每个属性的相似度Sl2(A)_n，采用的公式如下：

Sl2(A)_n＝A_n×z2_n÷ln(n∈Z，n∈[1，13]，当n＝1，4，7，10，13时ln取5，其余取3)

其中，z2_n为参照标准动作的终止帧姿态标签与终止帧对比姿态标签的对应属性的差值的绝对值；

针对每个属性n，选取针对多个参照标准动作的终止帧姿态标签计算得到的相似度Sl2(A)_n中的次大值作为该属性下的相似度系数值A2_n；每个属性n对应的相似度系数值A2_n形成终止帧相似度系数组A_stop＝{A2_n，n∈Z，n＝1，2，...，13}；

步骤4，针对多个标准动作按照步骤1-3的方法，得到每个标准动作对应的初始帧相似度系数组和终止帧相似度系数组，所有的标准动作对应的初始帧相似度系数组和终止帧相似度系数组形成动作模板库。

3.一种基于姿态标签的动作识别方法，其特征在于，包括以下步骤：

步骤1，针对待识别动作，将待识别动作分解为每个时刻下的姿态标签；所述的将待识别动作分解为每个时刻下的姿态标签为根据权利要求1所述的方法得到的姿态标签；

步骤2，选取动作模板库中的某一标准动作，计算步骤1得到的终止帧姿态标签，与选取的标准动作的终止帧姿态标签之间的每个属性的相似度SL(B)n，记终止帧姿态标签为第t帧姿态标签，采用的公式如下：

SL(B)_n＝A1_n×z3_n÷ln(n∈Z，n∈[1，13]，当n＝1，4，7，10，13时ln取5，其余取3)

其中，z3_n为步骤1得到的终止帧姿态标签与选取的标准动作的终止帧姿态标签的对应属性的差值的绝对值，选取针对多个参照标准动作的起始帧姿态标签计算得到的相似度Sl1(A)_n中的次大值作为该属性下的相似度系数值A1_n；

计算步骤1得到的终止帧的姿态标签与选取的标准动作的终止帧的姿态标签之间的整体相似度S(B)，采用的公式如下：

步骤3，若整体相似度S(B)大于设定阈值MAXBLUR，则返回步骤2；否则，执行步骤4；

步骤4，计算终止帧姿态标签的上一帧姿态标签与选取的标准动作的起始帧姿态标签之间的每个属性的相似度SL(C)_n，记上一帧姿态标签为第t-1帧姿态标签，采用的公式如下：

SL(C)_n＝A2_n×z4_n÷ln(n∈Z，n∈[1，13]，当n＝1，4，7，10，13时ln取5，其余取3)

其中，z4_n为上一帧姿态标签与选取的标准动作的起始帧姿态标签的对应属性的差值的绝对值，选取针对多个参照标准动作的终止帧姿态标签计算得到的相似度Sl2(A)_n中的次大值作为该属性下的相似度系数值A2_n；

计算上一帧姿态标签与选取的标准动作的起始帧姿态标签之间的整体相似度S(C)，采用的公式如下：

步骤5，若整体相似度S(C)小于设定阈值MAXBLUR，则待识别动作与选取的标准动作一致；若整体相似度S(C)大于设定阈值MAXBLUR，则返回步骤4，将处理对象由第t-1帧姿态标签替换为第t-2帧姿态标签，直至处理对象为第一帧姿态标签时，得到整体相似度S(C)大于设定阈值MAXBLUR，则返回步骤2。

Images