CN111291687B - 一种3d人体动作标准性判识的方法 - Google Patents

Abstract

本发明公开了一种3D人体动作标准性判识的方法，包括如下步骤：(1)采用多个多目相机对人体动作进行图像采集，遍历图像集合，求同一时间戳下，图像的2D人体关节点位置；(2)根据得到的所有多目相机下的2D人体关节点位置集合，进行多目相机2D关节点的信息融合，得到所有相机像素坐标系下的融合2D关节点位置；(3)根据得到的所有相机像素坐标系下的融合2D关节点位置，计算3D人体关节点位置和关节点构成的边信息，即3D人体姿态；(4)根据最终计算出的3D人体姿态信息进行动作标准型判识。本发明所公开的方法能够对不同角度下的目标体，对复杂的人体姿态做到准确判识，具备实时性。

Description

一种3D人体动作标准性判识的方法

技术领域

本发明涉及一种3D人体动作标准性判识的方法。

背景技术

目前，基于姿态估计算法提取人体关节点从而进行人体动作标准性评判的技术很多，包括：

(1)基于单目相机的2D姿态估计算法，分为自底而上和自上而下两种计算方法，自底而上的检测方法，首先检测到关节点再判识是否属于统一目标体，这种方法具有实时性，对单张图像能够快速响应，但检测精度有所牺牲；自上而下的检测方法，首先会检测出目标体，根据目标体再提取关节点，检测精度较高，但实时性不足。

这类做法存在共同的缺点，即目标体侧面存在关节点遮挡情况，存在误判和错误的关节点连接情况，导致动作的标准性打分错误，提取精度受限于人体角度，无法投入使用。

(2)基于单目相机的3D姿态估计算法，首先虚拟化一个相对的3D网格空间，然后在3D网格空间坐标中对输入的2D图像进行3D关节点推理。这类做法虽然改进了2D人体姿态估计的不足，但仍然无法满足实际需求，且依赖于2D姿态的精度，且只能在相对坐标系下，得到的人体动作的评判。

(3)基于多目相机的3D姿态估计算法依赖于2D姿态估计精度，对于复杂和存在遮挡的2D姿态精度改善仍然有限。

由此可见，目前，根据人体姿态估计对人体动作标准性进行判识的方法存在一定的缺陷。

发明内容

为解决上述技术问题，本发明提供了一种3D人体动作标准性判识的方法，以达到能够对不同角度下的目标体，对复杂的人体姿态做到准确判识，具备实时性的目的。

为达到上述目的，本发明的技术方案如下：

一种3D人体动作标准性判识的方法，包括如下步骤：

(1)采用多个多目相机对人体动作进行图像采集，遍历图像集合，求同一时间戳下，图像的2D人体关节点位置；

(2)根据得到的所有多目相机下的2D人体关节点位置集合，进行多目相机2D关节点的信息融合，得到所有相机像素坐标系下的融合2D关节点位置；

(3)根据得到的所有相机像素坐标系下的融合2D关节点位置，计算3D人体关节点位置和关节点构成的边信息，即3D人体姿态；

(4)根据最终计算出的3D人体姿态信息进行动作标准型判识；

所述步骤(1)具体如下：

给定相机集合Camera＝{C₁,C₂,...,C_i,...,C_a}，1≤i≤a，a表示多目相机的个数，且a≥2；多目相机采集的图像数据为Ig＝{I₁,I₂,...,I_i,...,I_a}；I_i(x,y,c)为同一时间戳下，C_i相机采集的图像样本，其中，0≤x≤W-1，W表示图像宽度，0≤y≤H-1，H表示图像高度，c为输入图像的通道信息，且0≤c≤2；遍历图像集合Ig，求同一时间戳下，图像I_i(x,y,c)的2D人体关节点位置，具体步骤如下：

(i)根据图像I_i(x,y,c)执行高低分辨率融合网络，分别求融合网络的高低分辨率的特征响应矩阵；

定义其高分辨率子网络特征响应矩阵为

1≤i′≤N，N表示高分辨率子网络特征层的数量，

为高分辨率子网络第i′层的特征响应子矩阵，0≤x_i′≤W′-1，W′＝W，W′表示高分辨率子网络特征矩阵宽度，0≤y_i′≤H′-1，H′＝H，H′表示高分辨率子网络特征矩阵长度；

为特征矩阵的通道信息；

定义低分辨率子网络特征响应矩阵集合为

l1,l2分别表示两个低分辨率子网络结构，3≤i″≤N,7≤i″′≤N，

与

分别为两个低分辨率子网络的特征响应子矩阵；

0≤x_i″≤W″，W″＝W/2-1，W″表示第一个低分辨率子网络特征矩阵宽度，

0≤y_i″≤H″,H″＝H/2-1，H″表示第一个低分辨率子网络特征矩阵高度，

0≤x_i″′≤W″′,W″′＝W/4-1，W″′表示第二个低分辨率子网络特征矩阵宽度，

0≤y_i″′≤H″′,H″′＝H/4-1，H″′表示第二个低分辨率子网络特征矩阵高度；

分别为两个低分辨率子网络的通道信息；

当i″,i″′为偶数时，两个低分辨率子网络

和

通过反卷积操作与高分辨率子网络融合，融合公式为：

为

对通道

进行反卷积的转换矩阵，

为

对通道

进行反卷积的转换矩阵；

高分辨率子网络的特征响应子矩阵的递推公式为：

(ii)根据公式(3)计算的高分辨率子网络的特征响应子矩阵

求解输出响应矩阵集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i.K}，1≤k≤K，K＝17，表示待求取的人体17个关节点的数量，然后对图像I_i(x,y,c)中每个像素坐标位置评估是否为第k个关节点所在位置，H_i,k(x,y)表示第k个关节点所在第i个相机下的置信度矩阵，1≤k≤K：

为求解第k个关节点位置置信度矩阵的权重参数，

为偏移量，

表示融合网络的第N层

通道的特征响应子矩阵；

(iii)根据(ii)中计算的H_i,k(x,y)，1≤k≤K，得到的输出响应矩阵集合HeatMap_i求解均方误差距离：

其中，(μ_x,k,μ_y,k)为关节点k的真实像素坐标位置，σ_x,k,σ_y,k为目标输出的方差，均取值1.5；

(iv)通过H_i,k(x,y)对

求解梯度进行权值参数更新，

表示第N层高分辨率子网络特征层的数量，参数更新公式如下：

其中，τ为一个较小数，为0.1或0.01；

同理，进行高低分辨率子网络特征层的权值参数更新；

(v)重复步骤(i)～(iv)，直至MSE_loss收敛或者满足最大迭代次数iter，得到最终的输出响应矩阵集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i,K}，H_i,k表示人体第k个关节点的位置置信度矩阵；

(vi)根据HeadMap_i得到相机C_i下图像I_i(x,y,c)的2D关节点的位置，表示为：

其中，

表示人体关节点位置置信度矩阵H_i,k中最大值对应的像素坐标；

则所有多目相机下的人体2D关节点位置集合表示为，J＝{J₁,J₂,...,J_i,...,J_a}；

所述步骤(2)具体如下：

(i)对多个多目相机进行对齐操作：将世界坐标系转换成相机坐标系，然后将相机坐标系转换成像素坐标系，得到多目相机Camera＝{C₁,C₂,...,C_i,...,C_a}之间的转换关系，从而实现多目相机的对齐操作；

(ii)计算多目相机的融合2D关节点位置，对相机C_i下的

通过融合权值矩阵θ与步骤(1)中得到的J_j计算得融合后的J_i，1≤j≤a,j≠i，a表示多目相机数量，θ在相加极线上满足高斯分布，θ～N(0,1)，其中，融合后的关节点位置表示为：

其中，

表示多目相机C_i第k关节点的位置，θ表示多目相机C_j检测到的第k关节点的位置的融合权值矩阵，

是转换到相机C_i像素坐标系下的像素坐标；

更新所有相机像素坐标系下的融合2D关节点位置：

上述方案中，所述步骤(3)具体如下：

(i)设3D人体姿态信息表达为

l^3D＝[l₁,l₂,...,l_n′...,l_K-1]，其中，

表示人体第k个关节点的世界坐标系位置，1≤k≤K，K＝17，表示17个人体关节点，l_n′表示关节点构成的边向量，1≤n′≤K-1，K-1为关节点构成的边的数量，根据三角测量原理得到以根节点为中心的3D空间V，V的边长s取初始值为2000mm，并将V体积离散化为N_g×N_g×N_g的粗略网格：

均在N³数量的网格g中，1≤t₀,t₁,t₂≤N_g，t₀表示网格深度，t₁表示网格宽度，t₂表示网格高度，N_g初始值取16；

(ii)根据图模型算法PSM计算的初始网格中的3D姿态估计表示

l^3D(1)＝[l₁,l₂,...,l_n′...,l_K-1]，s(1)＝2000mm，J^3D(1)，l^3D(1)均表示在N_g＝1的初始网格中3D姿态估计的结果，分别为关节点在世界坐标系下的位置坐标和关节点边向量；

(iii)采用迭代算法，对每一个关节点

1≤k≤K围绕该关节点当前位置，离散化其所在网格

为一个2×2×2的局部网格，即令N_g＝2，重复上一步中PSM方法，获取更新的3D姿态估计

l^3D(2)＝[l₁,l₂,...,l_n′...,l_K-1]，随着迭代，人体3D姿态得到细化，V的边长s更新为

精度提高，迭代次数iter_3D根据样本复杂情况而定。

上述方案中，所述步骤(4)具体如下：

根据最终估算出的3D人体姿态信息：

l^3D(iter_3D)＝[l₁,l₂,...,l_n′...,l_K-1]，进行动作标准性判识，具体方法为：

(i)设人体姿态标准动作角度集合为：

表示任意两条边l_n′,l_n″的夹角，其中，

1≤n′,n″≤K-1，根据公式：

求解各边角度

(ii)建立高斯混合模型

设

表示以

为均值的高斯分布，1≤n′,n″≤K-1，则

服从标准正态分布，根据标准正态分布表查的置信度为95％的Y_0.025,Y_0.0975求取

值：

(iii)以高斯混合模型

为基准，对待评价的人体3D姿态判断姿态动作

打分，得到最终的动作标准得分与总得分集合：

具体为判断

是否满足分布

如果满足，则表明动作合格，进而根据标准正态分布表计算该分布下的分解动作标准性得分

1≤n′,n″≤K-1，通常，ω_ii＝1；

score即为当前动作标准性分数，分解动作标准性得分为

通过上述技术方案，本发明提供的3D人体动作标准性判识的方法具有如下有益效果：

(1)对不同角度下的目标体，对复杂的人体姿态做到准确判识；

(2)服从世界坐标系定位，对多目相机进行标定，根据对齐后的坐标系可以准确的融合不同视角下的特征，提高2D姿态精度。

(3)具备实时性，常见硬件资源即可运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种人体关节点图模型；

图2为世界坐标系与相机坐标系间的相互转换图；

图3为相机坐标系与像素坐标系的转换关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种3D人体动作标准性判识的方法，具体方法如下：

(1)采用多个多目相机对人体动作进行图像采集，遍历图像集合，求同一时间戳下，图像的2D人体关节点位置；

给定相机集合Camera＝{C₁,C₂,...,C_i,...,C_a}，1≤i≤a，a表示多目相机的个数，且a≥2；多目相机采集的图像数据为Ig＝{I₁,I₂,...,I_i,...,I_a}；I_i(x,y,c)为同一时间戳下，C_i相机采集的图像样本，其中，0≤x≤W-1，W表示图像宽度，0≤y≤H-1，H表示图像高度，c为输入图像的通道信息，且0≤c≤2；遍历图像集合Ig，求同一时间戳下，图像I_i(x,y,c)的2D人体关节点位置，具体步骤如下：

(i)根据图像I_i(x,y,c)执行高低分辨率融合网络，分别求融合网络的高低分辨率的特征响应矩阵；

定义其高分辨率子网络特征响应矩阵为

1≤i′≤N，N表示高分辨率子网络特征层的数量，

为高分辨率子网络第i′层的特征响应子矩阵，0≤x_i′≤W′-1，W′＝W，W′表示高分辨率子网络特征矩阵宽度，0≤y_i′≤H′-1，H′＝H，H′表示高分辨率子网络特征矩阵长度；

为特征矩阵的通道信息；

定义低分辨率子网络特征响应矩阵集合为

l1,l2分别表示两个低分辨率子网络结构，3≤i″≤N,7≤i″′≤N，

与

分别为两个低分辨率子网络的特征响应子矩阵；

0≤x_i″≤W″，W″＝W/2-1，W″表示第一个低分辨率子网络特征矩阵宽度，

0≤y_i″≤H″,H″＝H/2-1，H″表示第一个低分辨率子网络特征矩阵高度，

0≤x_i″′≤W″′,W″′＝W/4-1，W″′表示第二个低分辨率子网络特征矩阵宽度，

0≤y_i″′≤H″′,H″′＝H/4-1，H″′表示第二个低分辨率子网络特征矩阵高度；

分别为两个低分辨率子网络的通道信息；

当i″,i″′为偶数时，两个低分辨率子网络

和

通过反卷积操作与高分辨率子网络融合，融合公式为：

为

对通道

进行反卷积的转换矩阵，

为

对通道

进行反卷积的转换矩阵；

高分辨率子网络的特征响应子矩阵的递推公式为：

(ii)根据公式(3)计算的高分辨率子网络的特征响应子矩阵

求解输出响应矩阵集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i.K}，1≤k≤K，K＝17，表示待求取的人体17个关节点的数量，如图1所示，然后对图像I_i(x,y,c)中每个像素坐标位置评估是否为第k个关节点所在位置，H_i,k(x,y)表示第k个关节点所在第i个相机下的置信度矩阵，1≤k≤K：

为求解第k个关节点位置置信度矩阵的权重参数，

为偏移量，

表示融合网络的第N层

通道的特征响应子矩阵；

(iii)根据(ii)中计算的H_i,k(x,y)，1≤k≤K，得到的输出响应矩阵集合HeatMap_i求解均方误差距离：

其中，(μ_x,k,μ_y,k)为关节点k的真实像素坐标位置，σ_x,k,σ_y,k为目标输出的方差，均取值1.5；

(iv)通过H_i,k(x,y)对

求解梯度进行权值参数更新，

表示第N层高分辨率子网络特征层的数量，参数更新公式如下：

其中，τ为一个较小数，为0.1或0.01；

同理，进行高低分辨率子网络特征层的权值参数更新；

(v)重复步骤(i)～(iv)，直至MSE_loss收敛或者满足最大迭代次数iter，得到最终的输出响应矩阵集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i,K}，H_i,k表示人体第k个关节点的位置置信度矩阵；

(vi)根据HeadMap_i得到相机C_i下图像I_i(x,y,c)的2D关节点的位置，表示为：

其中，

表示人体关节点位置置信度矩阵H_i,k中最大值对应的像素坐标；

则所有多目相机下的人体2D关节点位置集合表示为，J＝{J₁,J₂,...,J_i,...,J_a}。

(2)根据得到的所有多目相机下的2D人体关节点位置集合，进行多目相机2D关节点的信息融合，得到所有相机像素坐标系下的融合2D关节点位置；

(i)对多个多目相机进行对齐操作：

根据论文A Flexible New Technique for Camera Calibration进行多目相机的对齐操作，如图2所示，R为3×3的正交单位矩阵，t为平移向量，R，t为相机的外参数，用于表示世界坐标系和相机坐标系之间的距离。

如图3所示，平面π称为相机的像平面，点O_c称为摄像机中心(光心)，f为相机的焦距，以O_c为端点做垂直于像平面的射线，交像平面与点p，则射线O_cp称为光轴(主轴)，p点为相机的主点，且有，

(x_c,y_c,z_c)表示相机坐标系坐标。

根据图2和图3得到世界坐标系坐标P_w(x_w,y_w,z_w)转换到像素坐标系坐标P₁(u,v)的转换过程如下所示：

据此得到多目相机Camera＝{C₁,C₂,...,C_i,...,C_a}之间的转换关系，从而实现多目相机的对齐操作。

(ii)计算多目相机的融合2D关节点位置，对相机C_i下的

通过融合权值矩阵θ与步骤(1)中得到的J_j计算得融合后的J_i，1≤j≤a,j≠i，a表示多目相机数量，θ在相加极线上满足高斯分布，θ～N(0,1)，其中，融合后的关节点位置表示为：

其中，

表示多目相机C_i第k关节点的位置，θ表示多目相机C_j检测到的第k关节点的位置的融合权值矩阵，

是转换到相机C_i像素坐标系下的像素坐标；

更新所有相机像素坐标系下的融合2D关节点位置：(11)

(3)根据得到的所有相机像素坐标系下的融合2D关节点位置，计算3D人体关节点位置和关节点构成的边信息，即3D人体姿态；

(i)设3D人体姿态信息表达为

l^3D＝[l₁,l₂,...,l_n′...,l_K-1]，其中，

表示人体第k个关节点的世界坐标系位置，1≤k≤K，K＝17，表示17个人体关节点，l_n′表示关节点构成的边向量，1≤n′≤K-1，K-1为关节点构成的边的数量，根据三角测量原理得到以根节点为中心的3D空间V，V的边长s取初始值为2000mm，并将V体积离散化为N_g×N_g×N_g的粗略网格：

均在N³数量的网格g中，1≤t₀,t₁,t₂≤N_g，t₀表示网格深度，t₁表示网格宽度，t₂表示网格高度，N_g初始值取16；

(ii)根据图模型算法PSM计算的初始网格中的3D姿态估计表示

s(1)＝2000mm，J^3D(1)，l^3D(1)均表示在N_g＝1的初始网格中3D姿态估计的结果，分别为关节点在世界坐标系下的位置坐标和关节点边向量；

(iii)采用迭代算法，对每一个关节点

1≤k≤K围绕该关节点当前位置，离散化其所在网格

为一个2×2×2的局部网格，即令N_g＝2，重复上一步中PSM方法，获取更新的3D姿态估计

l^3D(2)＝[l₁,l₂,...,l_n′...,l_K-1]，随着迭代，人体3D姿态得到细化，V的边长s更新为

精度提高，迭代次数iter_3D根据样本复杂情况而定。

(4)根据最终计算出的3D人体姿态信息进行动作标准型判识。

根据最终估算出的3D人体姿态信息：

l^3D(iter_3D)＝[l₁,l₂,...,l_n′...,l_K-1]，进行动作标准性判识，具体方法为：

(i)设人体姿态标准动作角度集合为：

表示任意两条边l_n′,l_n″的夹角，其中，

1≤n′,n″≤K-1，根据公式：

求解各边角度

(ii)建立高斯混合模型

设

表示以

为均值的高斯分布，1≤n′,n″≤K-1，则

服从标准正态分布，根据标准正态分布表查的置信度为95％的Y_0.025,Y_0.0975求取

值：

(iii)以高斯混合模型

为基准，对待评价的人体3D姿态判断姿态动作

打分，得到最终的动作标准得分与总得分集合：

具体为判断

是否满足分布：

如果满足，则表明动作合格，进而根据标准正态分布表计算该分布下的分解动作标准性得分

1≤n′,n″≤K-1，通常，ω_ii＝1；

score即为当前动作标准性分数，分解动作标准性得分为

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种3D人体动作标准性判识的方法，其特征在于，包括如下步骤：

(1)采用多个多目相机对人体动作进行图像采集，遍历图像集合，求同一时间戳下，图像的2D人体关节点位置；

(2)根据得到的所有多目相机下的2D人体关节点位置集合，进行多目相机2D关节点的信息融合，得到所有相机像素坐标系下的融合2D关节点位置；

(3)根据得到的所有相机像素坐标系下的融合2D关节点位置，计算3D人体关节点位置和关节点构成的边信息，即3D人体姿态；

(4)根据最终计算出的3D人体姿态信息进行动作标准型判识；

所述步骤(1)具体如下：

给定相机集合Camera＝{C₁,C₂,...,C_i,...,C_a}，1≤i≤a，a表示多目相机的个数，且a≥2；多目相机采集的图像数据为Ig＝{I₁,I₂,...,I_i,...,I_a}；I_i(x,y,c)为同一时间戳下，C_i相机采集的图像样本，其中，0≤x≤W-1，W表示图像宽度，0≤y≤H-1，H表示图像高度，c为输入图像的通道信息，且0≤c≤2；遍历图像集合Ig，求同一时间戳下，图像I_i(x,y,c)的2D人体关节点位置，具体步骤如下：

(i)根据图像I_i(x,y,c)执行高低分辨率融合网络，分别求融合网络的高低分辨率的特征响应矩阵；

定义其高分辨率子网络特征响应矩阵为

1≤i′≤N，N表示高分辨率子网络特征层的数量，

为高分辨率子网络第i′层的特征响应子矩阵，0≤x_i′≤W′-1，W′＝W，W′表示高分辨率子网络特征矩阵宽度，0≤y_i′≤H′-1，H′＝H，H′表示高分辨率子网络特征矩阵长度；

为特征矩阵的通道信息；

定义低分辨率子网络特征响应矩阵集合为

l1,l2分别表示两个低分辨率子网络结构，3≤i″≤N,7≤i″′≤N，

与

分别为两个低分辨率子网络的特征响应子矩阵；

0≤x_i″≤W″，W″＝W/2-1，W″表示第一个低分辨率子网络特征矩阵宽度，

0≤y_i″≤H″,H″＝H/2-1，H″表示第一个低分辨率子网络特征矩阵高度，

0≤x_i″′≤W″′,W″′＝W/4-1，W″′表示第二个低分辨率子网络特征矩阵宽度，

0≤y_i″′≤H″′,H″′＝H/4-1，H″′表示第二个低分辨率子网络特征矩阵高度；

分别为两个低分辨率子网络的通道信息；

当i″,i″′为偶数时，两个低分辨率子网络

和

通过反卷积操作与高分辨率子网络融合，融合公式为：

为

对通道

进行反卷积的转换矩阵，

为

对通道

进行反卷积的转换矩阵；

高分辨率子网络的特征响应子矩阵的递推公式为：

(ii)根据公式(3)计算的高分辨率子网络的特征响应子矩阵

求解输出响应矩阵集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i.K}，1≤k≤K，K＝17，表示待求取的人体17个关节点的数量，然后对图像I_i(x,y,c)中每个像素坐标位置评估是否为第k个关节点所在位置，H_i,k(x,y)表示第k个关节点所在第i个相机下的置信度矩阵，1≤k≤K：

为求解第k个关节点位置置信度矩阵的权重参数，

为偏移量，

表示融合网络的第N层

通道的特征响应子矩阵；

(iii)根据(ii)中计算的H_i,k(x,y)，1≤k≤K，得到的输出响应矩阵集合HeatMap_i求解均方误差距离：

其中，(μ_x,k,μ_y,k)为关节点k的真实像素坐标位置，σ_x,k,σ_y,k为目标输出的方差，均取值1.5；

(iv)通过H_i,k(x,y)对

求解梯度进行权值参数更新，

表示第N层高分辨率子网络特征层的数量，参数更新公式如下：

其中，τ为一个较小数，为0.1或0.01；

同理，进行高低分辨率子网络特征层的权值参数更新；

(v)重复步骤(i)～(iv)，直至MSE_loss收敛或者满足最大迭代次数iter，得到最终的输出响应矩阵集合HeatMap_i＝{H_i,1,H_i,2,...,H_i,k,...,H_i,K}，H_i,k表示人体第k个关节点的位置置信度矩阵；

(vi)根据HeadMap_i得到相机C_i下图像I_i(x,y,c)的2D关节点的位置，表示为：

其中，

表示人体关节点位置置信度矩阵H_i,k中最大值对应的像素坐标；

则所有多目相机下的人体2D关节点位置集合表示为，J＝{J₁,J₂,...,J_i,...,J_a}；

所述步骤(2)具体如下：

(i)对多个多目相机进行对齐操作：将世界坐标系转换成相机坐标系，然后将相机坐标系转换成像素坐标系，得到多目相机Camera＝{C₁,C₂,...,C_i,...,C_a}之间的转换关系，从而实现多目相机的对齐操作；

(ii)计算多目相机的融合2D关节点位置，对相机C_i下的

通过融合权值矩阵θ与步骤(1)中得到的J_j计算得融合后的J_i，1≤j≤a,j≠i，a表示多目相机数量，θ在相加极线上满足高斯分布，θ～N(0,1)，其中，融合后的关节点位置表示为：

其中，

表示多目相机C_i第k关节点的位置，θ表示多目相机C_j检测到的第k关节点的位置的融合权值矩阵，

是转换到相机C_i像素坐标系下的像素坐标；

更新所有相机像素坐标系下的融合2D关节点位置：

2.根据权利要求1所述的一种3D人体动作标准性判识的方法，其特征在于，所述步骤(3)具体如下：

(i)设3D人体姿态信息表达为

l^3D＝[l₁,l₂,...,l_n′...,l_K-1]，其中，

表示人体第k个关节点的世界坐标系位置，1≤k≤K，K＝17，表示17个人体关节点，l_n′表示关节点构成的边向量，1≤n′≤K-1，K-1为关节点构成的边的数量，根据三角测量原理得到以根节点为中心的3D空间V，V的边长s取初始值为2000mm，并将V体积离散化为N_g×N_g×N_g的粗略网格：

均在N³数量的网格g中，1≤t₀,t₁,t₂≤N_g，t₀表示网格深度，t₁表示网格宽度，t₂表示网格高度，N_g初始值取16；

(ii)根据图模型算法PSM计算的初始网格中的3D姿态估计表示

l^3D(1)＝[l₁,l₂,...,l_n′...,l_K-1]，s(1)＝2000mm，J^3D(1)，l^3D(1)均表示在N_g＝1的初始网格中3D姿态估计的结果，分别为关节点在世界坐标系下的位置坐标和关节点边向量；

(iii)采用迭代算法，对每一个关节点

1≤k≤K围绕该关节点当前位置，离散化其所在网格

为一个2×2×2的局部网格，即令N_g＝2，重复上一步中PSM方法，获取更新的3D姿态估计

l^3D(2)＝[l₁,l₂,...,l_n′...,l_K-1]，随着迭代，人体3D姿态得到细化，V的边长s更新为

精度提高，迭代次数iter_3D根据样本复杂情况而定。

3.根据权利要求2所述的一种3D人体动作标准性判识的方法，其特征在于，所述步骤(4)具体如下：

根据最终估算出的3D人体姿态信息：

l^3D(iter_3D)＝[l₁,l₂,...,l_n′...,l_K-1]，进行动作标准性判识，具体方法为：

(i)设人体姿态标准动作角度集合为：

表示任意两条边l_n′,l_n″的夹角，其中，

1≤n′,n″≤K-1，根据公式：

求解各边角度

(ii)建立高斯混合模型

设

表示以

为均值的高斯分布，1≤n′,n″≤K-1，则

服从标准正态分布，根据标准正态分布表查的置信度为95％的Y_0.025,Y_0.0975求取

值：

(iii)以高斯混合模型

为基准，对待评价的人体3D姿态判断姿态动作

打分，得到最终的动作标准得分与总得分集合：

具体为判断

是否满足分布

如果满足，则表明动作合格，进而根据标准正态分布表计算该分布下的分解动作标准性得分

1≤n′,n″≤K-1，通常，ω_ii＝1；

score即为当前动作标准性分数，分解动作标准性得分为

Images