CN110544302A - 基于多目视觉的人体动作重建***、方法和动作训练*** - Google Patents

Abstract

本申请公开了一种基于多目视觉的人体动作重建***、方法和动作训练***，通过校正后的基于至少两个单目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的人体二维关节点识别，然后基于人体二维关节点重建出目标人体的三维动作，无需用户穿戴特制的光学捕捉服或者装配相应的传感器，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。

Description

基于多目视觉的人体动作重建***、方法和动作训练***

技术领域

本申请涉及动作识别技术领域，特别涉及一种基于多目视觉的人体动作重建***、方法和动作训练***。

背景技术

随着人工智能的发展，人体姿势识别技术在大数据时代可获得的更加庞大的数据集与强大计算能力的基础下取得了重要的突破。

现有的三维人体动作识别方法是利用光学捕捉技术捕捉目标人体三维动作进行动作识别，用户穿戴有光学标记的特制光学捕捉服或者相应的检测传感器来获取相应的标记位置生成空间相对位置，从而构建人体三维模型，进行动作识别。利用光学捕捉技术捕捉目标人体三维动作进行动作识别的方法，需要用户穿戴特制的光学捕捉服或者装配相应的传感器，穿戴麻烦，且用户负重较大，对动作训练造成不便，影响用户体验。

发明内容

本申请的目的是提供一种基于多目视觉的人体动作重建***、方法和动作训练***，用于解决现有的三维人体动作识别方法需要用户穿戴特制的光学捕捉服或者装配相应的传感器，穿戴麻烦，且用户负重较大，对动作训练造成不便，影响用户体验的技术问题。

本申请第一方面提供了一种基于多目视觉的人体动作重建***，包括：

相机标定模块，用于根据采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；

动作采集模块，用于获取所有所述单目相机采集到的目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；

所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；

所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息还原所述目标人体的所述二维关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。

可选的，还包括：成像点误差纠正模块；

所述成像点误差纠正模块，用于在所述单目相机发生偏移时，纠正所述二维人体动作识别模块中的所述二维关节点的像素坐标，以便于所述二维人体动作识别模块根据纠正像素坐标后的所述二维关节点重建所述目标人体的人体骨架，并将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。

可选的，所述三维动作重建模块具体包括：

第一求解子模块，用于基于所述单目相机标定后的单目相机参数，求解与所述单目相机的焦点垂直投影于所述单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标；

第二求解子模块，用于基于所述第一真实三维坐标和所述单目相机的成像平面参数，求解所述第一真实三维坐标的旋转矩阵和平移向量；

第三求解子模块，用于基于所述旋转矩阵和平移向量求解所述成像平面上的所述二维关节点在所述预置三维坐标系中的第二真实三维坐标；

关节点重建子模块，用于将所述预置三维坐标系中，使得所有所述单目相机的光心坐标与对应的所述第二真实三维坐标直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

可选的，所述关节点子模块具体用于：

基于超定方程组最小二乘法求解所有所述单目相机的光心坐标与对应的所述第二真实三维坐标所成的直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

可选的，所述二维人体动作识别模块具体用于：

基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。

本申请第二方面还提供了一种三维人体动作重建方法，包括：

基于采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；

获取至少两个所述单目相机拍摄的目标人体的动作图像序列；

识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，得到每一帧的所述人体骨架信息；

基于每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。

可选的，所述基于每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作，具体包括：

基于所述单目相机标定后的单目相机参数，求解与所述单目相机的焦点垂直投影于所述单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标；

基于所述第一真实三维坐标和所述单目相机的成像平面参数，求解所述第一真实三维坐标的旋转矩阵和平移向量；

基于所述旋转矩阵和平移向量求解所述成像平面上的所述二维关节点在所述预置三维坐标系中的第二真实三维坐标；

将所述预置三维坐标系中，使得所有所述单目相机的光心坐标与对应的所述第二真实三维坐标直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

本申请第三方面提供了一种动作训练***，包括第一方面所述的任一种三维人体动作重建***，还包括动作评估模块；

所述动作评估模块，用于将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行差异比对，输出与所述差异比对的结果对应的动作评估结果。

可选的，所述动作评估模块具体用于：

将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行关节点组合角度相似性判断、关节点组合运动轨迹的平均曲率对比和人体关节点组合运动量对比；

获取所述关节点组合角度相似性判断的结果对应的第一动作评估结果、所述关节点组合运动轨迹的平均曲率对比的结果对应的第二动作评估结果和所述人体关节点组合运动量对比的结果对应的第三动作评估结果；

对所述第一动作评估结果、所述第二动作评估结果和所述第三动作评估结果进行加权处理，输出加权处理后得到的动作评估结果。

可选的，还包括：音乐节奏契合度模块；

所述音乐节奏契合度模块，用于基于音频提取算法提取在播音乐的音乐特征，以节拍为单位，判断所述目标人体在连续帧的人体动作与预置标准动作在匹配节拍的系列动作的匹配程度，输出节拍匹配结果。

本申请提供一种基于多目视觉的人体动作重建***，包括：相机标定模块，用于根据采集到的标定点数据进行单目相机标定，单目相机的数量至少两个；动作采集模块，用于获取所有单目相机采集到的目标人体的动作图像序列，将动作图像序列发送至二维人体动作识别模块；二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建目标人体的人体骨架，将每一帧的人体骨架信息存储并发送至三维动作重建模块；三维动作重建模块，用于基于每一帧中的人体骨架信息还原目标人体的二维关节点在三维空间中的真实位置，重建出目标人体的三维动作。

本申请提供的基于多目视觉的人体动作重建，通过校正后的基于至少两个单目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的人体二维关节点识别，然后基于人体二维关节点重建出目标人体的三维动作，无需用户穿戴特制的光学捕捉服或者装配相应的传感器，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种基于多目视觉的人体动作重建***的一个实施例的结构示意图；

图2为本申请实施例所提供的一种基于多目视觉的人体动作重建***的另一个结构示意图；

图3为本申请实施例所提供的一种三维人体动作重建方法的一个实施例的流程示意图；

图4为本申请实施例所提供的一种三维人体动作重建方法的一个实施例的另一个流程示意图

图5为本申请实施例中提供的一种动作训练***的结构示意图；

图6为本申请实施例中提供的成像点误差纠正模块的成像点误差纠正示意图；

图7为本申请实施例中提供的三个单目相机(图中的A、B、C)的三维空间理论布置图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种基于多目视觉的人体动作重建***的结构示意图，本申请实施例中提供的基于多目视觉的人体动作重建***，包括：

相机标定模块101，用于根据采集到的标定点数据进行单目相机标定，单目相机的数量至少两个。

需要说明的是，本申请实施例中通过至少两个单目相机来获取目标人体的动作图像，在***中用于获取目标人体动作图像的单目相机需要进行标定处理，将所有单目相机进行标定点的采集，可以是棋盘格标定点，也可以是二维码标定点，此处不对标定点的标定方法进行限定。标定点采集只需要在单目相机第一次被使用时采集即可，后续无需再重复进行标定点采集，将采集到的标定点数据存储到存储模块，以便后续再次调用。根据标定点数据对单目相机进行标定后，可得到单目相机的标定参数。

本申请实施例中，采集标定点数据时每个单目相机采集的图像数目为25张标定点图像，能够为每个单目相机进行标定提高标定精度和稳定性。

动作采集模块102，用于获取所有单目相机采集到的目标人体的动作图像序列，将动作图像序列发送至二维人体动作识别模块103。

需要说明的是，通过标定好的单目相机来采集目标人体的动作图像序列，将动作图像序列发送至二维人体动作识别模块103进行二维图像处理。

二维人体动作识别模块103，用于识别动作图像序列中的人体关键肢体关节部位，提取动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建目标人体的人体骨架，将每一帧的人体骨架信息存储并发送至三维动作重建模块104。

需要说明的是，将动作图像序列每一帧中属于同一个人的关节点提取出来构成一个完整的人体骨架，并将每一帧的骨架信息用json格式的文件缓存至数据库，进一步提供给三维动作重建模块104使用。本申请实施例中二维人体动作识别模块103采用开源的多人二维姿态神经网络openpose来实现二维人体动作识别来重建目标人体的人体骨架。

三维动作重建模块104，用于基于每一帧中的人体骨架信息还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。

需要说明的是，将校正后的单目相机拍摄到的目标人体的动作图像序列输入上述二维人体动作识别模块103得出以二维关节点信息表示的骨架信息，通过三维动作重建模块104将每一帧中的人体骨架信息还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。

本申请实施例中提供的三维人体动作重建***，通过校正后的基于至少两个单目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的人体二维关节点识别，然后基于人体二维关节点重建出目标人体的三维动作，无需用户穿戴特制的光学捕捉服或者装配相应的传感器，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。

作为对本申请实施例中的基于多目视觉的人体动作重建***的进一步改进，如图2所示，本申请实施例中的基于多目视觉的人体动作重建***还包括：成像点误差纠正模块105；

成像点误差纠正模块105，用于在单目相机发生偏移时，纠正二维人体动作识别模块中的二维关节点的像素坐标，以便于二维人体动作识别模块根据纠正像素坐标后的二维关节点重建目标人体的人体骨架，并将每一帧的人体骨架信息存储并发送至三维动作重建模块。

需要说明的是，如图6所示，图6为成像点误差纠正模块的成像点误差纠正示意图，在实际应用场景中，单目相机的安装使用过程中，有很大的概率会出现单目相机抖动或偏移的情况，会造成成像点误差，从而影响识别结果，为解决此技术问题，本申请实施例中设置由成像点误差纠正模块105，在单目相机发生偏移时，纠正二维人体动作识别模块103中的二维关节点的像素坐标，以便于二维人体动作识别模块103根据纠正像素坐标后的二维关节点重建目标人体的人体骨架，并将每一帧的人体骨架信息存储并发送至三维动作重建模块104。以下结合图6对成像点误差纠正模块105的工作原理进行解释：

成像面EFHG为单目相机A的原成像面(即抖动或偏移前的正常成像面)，成像面BCJK为单目相机A的抖动或偏移后的成像面，已知标志点D，通过opencv自带的图像识别算法能够识别得到标志点D在偏移前后的图像像素坐标分别为(u_i,v_i)与(u_i',v_i')，根据标定后的单目相机的焦距f进行以下的运算能够把误差成像点的像素坐标(u_w',v_w')修正为(u_w,v_w)。运算公式为：

其中，Δθ与分别为成像面偏移前后，标志点D的成像点在球坐标系上的仰角差与方向角差；θ'与分别为成像面发生偏移后，任意误差成像点在球坐标系上的仰角与方向角。

根据以上公式，能够对单目相机A内任意成像点的像素坐标进行误差纠正，避免了因单目相机发生抖动或偏移带来的成像点误差造成的识别结果变差的技术问题。

作为进一步的改进，本申请实施例中的二维人体动作识别模块103具体用于：

基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建目标人体的人体骨架，将每一帧的人体骨架信息存储并发送至三维动作重建模块104。

需要说明的是，预置卷积神经网络采用非参数表征方法Part AffinityFields来将二维图像中的身体关键肢体关节部位与对应个体匹配并重建人体关节骨架。主要思想是利用贪心算法自下而上的解析步骤从而达到高准确率和实时性，身体部位定位和关联是在两个分支上同时进行的。可以识别二维图像人体的25个关节点的位置，具有较高的精度和实时速率。

采用预置卷积神经网络识别二维人体姿态的方法流程为：将像素规模为w×h的二维人体图像视频序列输入，对图像视频序列每一帧中出现的个体进行关键点定位，然后利用双分支多阶段体系结构的CNN神经网络模型进行预测，CNN第一个分支预测一组人体身体部分的置信map S和一组二维肢体矢量场J(每一个身体部位有对应的置信map，每一个人体肢体对应一个矢量),通过贪心推理解析置信map和PAF后输出图像视频序列每一帧上每个人的2D骨架关键点信息，一共有25个人体关节点

作为进一步的改进，本申请实施例中的三维动作重建模块104具体包括：

第一求解子模块1041，用于基于单目相机标定后的单目相机参数，求解与单目相机的焦点垂直投影于单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标。

第二求解子模块1042，用于基于第一真实三维坐标和单目相机的成像平面参数，求解第一真实三维坐标的旋转矩阵和平移向量。

第三求解子模块1043，用于基于旋转矩阵和平移向量求解成像平面上的所述二维关节点在预置三维坐标系中的第二真实三维坐标。

关节点重建子模块1044，用于将预置三维坐标系中，使得所有单目相机的光心坐标与对应的第二真实三维坐标直线取得最小距离的三维坐标点，作为二维关节点在预置三维坐标系中的真实三维关节点，重建出目标人体的三维动作。

具体的，关节点子模块1044具体用于：

基于超定方程组最小二乘法求解所有单目相机的光心坐标与对应的第二真实三维坐标所成的直线取得最小距离的三维坐标点，作为二维关节点在预置三维坐标系中的真实三维关节点，重建出目标人体的三维动作。

需要说明的是，图7为本申请实施例中提供的三个单目相机(图中的A、B、C)的三维空间理论布置图，为简化说明，本申请实施例中仅以A、B两个单目相机作为研究对象，通过单目相机标定，可以知道A、B两个单目相机的焦距f(厘米为单位)，以及两个焦点(I、N)的二维图像坐标(以像素为单位)，A、B两个单目相机的焦点I、N的坐标分别为I(u_i,v_i)，N(u_n,v_n)。

以单目相机A为例，求解焦点I的真实三维坐标为(x_i,y_i,z_i)，D为A点到焦点I的延长线与B点到焦点N的延长线的交点，那么A点到D点的距离可表示为：

A点与D点成的向量与A点与I点成的向量的关系为：

上式可变形为：

由此可以求得点I的真实三维坐标(x_i,y_i,z_i)以及根据以上关系可以相应求得另外两个标志点在A成像面EFHG上的成像点E'，F'的真实三维坐标(x_e',y_e',z_e')与(x_f',y_f',z_f')，同理也可求得单目相机B中的焦点N的真实三维坐标(x_n,y_n,z_n)。

求解单目相机的旋转矩阵a和平移向量t，根据以上确定的I点坐标、A点坐标、E'点坐标和F'点坐标，可以求得旋转矩阵a与平移向量T，可表示为：

旋转矩阵a和平移向量t分别为：

求解A、B成像面上的成像点W、V的真实三维坐标：

代入点W的单目相机坐标系坐标(u_w,v_w,f)，通过以下等式可求得点W的真实三维坐标系下的坐标(x_w,y_w,z_w)：

同理，对于B单目相机也可以求得相应的转换矩阵B，以及得到点V的真实三维坐标(x_v,y_v,z_v)。求得两个单目相机各自的旋转矩阵a与平移向量t后，空间中任意的一点在对应的成像面上的成像点的单目相机坐标中的像素坐标均可以转换为真实三维坐标。

以A,B两摄像机为研究对象，通过直线AT,BT相交于空间中的一点T，通过以下的等式可以求解空间中任意一点T的真实三维坐标(x，y，z)：

已知两个单目相机能够求得空间中的一点的三维坐标。但在应该过程中由于单目相机制作的问题，无法保证BT于AT交于点T。为了减小误差，可以采取增加单目相机的方法提高求解的准确性。空间中多条不相交直线，可以运用超定方程组最小二乘法求解各直线之间的最小二乘解，该点距离各条直线的距离之和取得最小值对应的三维坐标点，可作为二维关节点在预置三维坐标系中的真实三维关节点，重建出目标人体的三维动作。

为了便于理解，请参阅图3，本申请中还提供了一种三维人体动作重建方法的实施例，包括：

步骤S1、基于采集到的标定点数据进行单目相机标定，单目相机的数量至少两个。

步骤S2、获取至少两个单目相机拍摄的目标人体的动作图像序列。

步骤S3、识别动作图像序列中的人体关键肢体关节部位，提取动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建目标人体的人体骨架，得到每一帧的人体骨架信息。

步骤S4、基于每一帧中的人体骨架信息还原目标人体在关节点在三维空间中的真实位置，重建出目标人体的三维动作。

作为进一步的改进，请参与图4，步骤S4具体包括以下步骤：

步骤S41、基于单目相机标定后的单目相机参数，求解与单目相机的焦点垂直投影于单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标。

步骤S42、基于第一真实三维坐标和单目相机的成像平面参数，求解第一真实三维坐标的旋转矩阵和平移向量。

步骤S43、基于旋转矩阵和平移向量求解成像平面上的二维关节点在预置三维坐标系中的第二真实三维坐标。

步骤S44、将预置三维坐标系中，使得所有单目相机的光心坐标与对应的第二真实三维坐标直线取得最小距离的三维坐标点，作为二维关节点在预置三维坐标系中的真实三维关节点，重建出目标人体的三维动作。

为了便于理解，请参阅图3，本申请中提供了一种动作训练***的实施例，包括前述实施例中的相机标定模块101、动作采集模块102、二维人体动作识别模块103、三维动作重建模块104和成像点误差纠正模块105，还包括动作评估模块106；

动作评估模块106，用于将从三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行差异比对，输出与差异比对的结果对应的动作评估结果。

具体的，动作评估模块106用于：

将从三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行关节点组合角度相似性判断、关节点组合运动轨迹的平均曲率对比和人体关节点组合运动量对比；

获取关节点组合角度相似性判断的结果对应的第一动作评估结果、关节点组合运动轨迹的平均曲率对比的结果对应的第二动作评估结果和人体关节点组合运动量对比的结果对应的第三动作评估结果；

对第一动作评估结果、所述第二动作评估结果和第三动作评估结果进行加权处理，输出加权处理后得到的动作评估结果。

需要说明的是，在得到用户的人体三维舞蹈动作后，对其动作与标准动作进行差异评估，差异评估的依据分为以下几个部分：

(1)关节点组合角度相似性判断。角度相似性分析的评估方法通过使用欧几里德点积公式(A,B为三个关节点构成的两向量，即三个关节点组合成一组关节点组合)可以导出对应关节角度的余弦后再转化为角度θ，方便使用者更直观地看出差异

而一组连续动作中以一组关节点组合的平均差异可以表示为：

与标准动作数据进行对比，一般对应关节角度在小于10°时可视为良好，大于10°小于20°可视为一般，有些许误差，超过20°判别为动作错误。

(2)关节点组合运动轨迹的平均曲率对比。人体动作是动态变化的运动，关节的整体移动程度会影响舞蹈的美观性。通过对人体各部位关节点组合运动轨迹的平均曲率进行计算并和标准动作关节点组合运动轨迹的平均曲率对比，判断运动轨迹的相似性。首先对关节点运动轨迹拟合成一条曲线，定义两帧之间关节点移动的空间距离为Δs，对应转过的角度为Δα，表示各个关节点运动的平均曲率，而关节点组合平均曲率可以表示为

通过判断的大小可以比较两者对应关节点组合运动轨迹的相似度。

(3)人体关节点组合运动量对比。目标人体动作(比如舞蹈动作)是人体整体的运动，除了单关节情况评估外，对整个人体的摆动幅度进行判断是有必要的。由于各人体有所不同，为统一化标准，先采取用人体两肩的距离对人体各节点进行归一化处理，之后对归一化后的关节前后移动量相加得出人体在某一时刻的人体运动量后再与标准动作对比。

①因为人体存在不同程度的差异，需采用人体双肩的三维空间坐标距离对人体各关节点坐标进行归一化数据处理

x*＝(x-x_min)/(x_max-x_min)

y*＝(y-y_min)/(y_max-y_min)

z*＝(z-z_min)/(z_max-z_min)

②归一化后，人体在某一对应时间间隔计算间隔前后各关节点的归一化后相对坐标位移量的总和为Wp，以关节点构成的关节点组合的总位移量W作为该关节点组合的运动量

③把人体在某一时刻的人体运动量后再与标准动作对比，通过ΔW判断两者差异的大小。

将三部分得到的数值进行加权处理，但同时每个身体部位决定的质量水平取决于运动的难度。要设置适合质量等级结果的百分比范围，得出最后的舞蹈动作评分，并将上述三部分数据通过中央处理器在显示屏可视化一并提供给用户。

作为进一步的改进，本申请实施例中的动作训练***还包括：音乐节奏契合度模块107；

音乐节奏契合度模块107，用于基于音频提取算法提取在播音乐的音乐特征，以节拍为单位，判断目标人体在连续帧的人体动作与预置标准动作在匹配节拍的系列动作的匹配程度，输出节拍匹配结果。

需要说明的是，利用音频提取算法提取舞曲的音乐特征，以节拍为单位，判断用户在连续帧的动作是否与标准动作在该节拍的系列动作一致，从而判断是否合拍。如发生抢拍或慢拍情况下，***将前半部分合拍评分记录后重置节拍对齐，以配合用户的实际动作，为上述动作评估模块106提供准确的动作数据对比。通过动作评估模块106和音乐节奏契合度模块107结合生成各节拍评分与训练报告直观地展示给用户。

还可以设置数据存储模块109，在数据存储模块109内，用户可选择将评分与训练报告以及训练录制与对比视频数据保存至硬盘，或部分通过网络上传至云平台以供推荐算法匹配更合适用户个人的舞种与训练模式。同时数据存储模块109还存储着相机参数，用于人体三维动作重建。

作为进一步的改进，本申请实施例中的动作训练***还包括：健康守护模块108；

健康守护模块108，用于根据目标人体的用户信息，通过云平台算法计算用户的身体素质程度、合适舞种和当前训练运动量，根据计算结果个性化高质量推荐用户最适合的动作集，避免用户训练强度过弱或过高的动作，同时记录用户每次的训练时间与训练强度，通过语音播报和/或显示弹窗的方式提示用户进行休息。

需要说明的是，还可以设置模式切换模块110：模块提供舞蹈训练的模式选择。该模块下可选择三种功能，分别为学习模块、评分模式、特训模式。其中，学习模块、评分模式可以多人同时进行，特训模式默认为单人模式

1)学***台选择下载由专业舞蹈人士预先录制完毕的标准舞蹈视频进行模仿学习，且标准视频会提供正面版本以及镜面反转版本可供用户选择显示至显示器，同时将***会根据标准动作或音乐节奏的差异性，划分学习步骤并将重难点动作标识出来给用户注意以强化学习。

2)评分模式则会调用舞蹈评估模块，包括对用户舞蹈动作与音乐节拍契合度进行评估，通过文字特效的方式可视化直观显示给用户。

3)特训模块会由云平台根据用户的系列课程学习评分存储数据判断用户舞蹈缺陷，并根据该缺陷提供相应的局部特训。

本申请实施例中提供的动作训练***，基于双目立体视觉原理，单目相机无需添加其余昂贵的传感器，只需经过相机标定后即可达到较高精度，基本接近Kinect深度摄像机的识别精度，实现成本较低，同时不用担心相机抖动、复杂应用场景的问题，用户可以根据需求动态改变摄像机的位置以获得更好的人体观测角度，基于视差三角测量的双目成像即使在杂乱的房间里也不会影响其精度，适应性较强。同时舞蹈学习者无需穿戴任何用于采集人体动作的传感设备或者特制服装，更方便舞蹈学习者舒展舞姿，减少负重。同时也可拓展适应多人舞蹈动作的识别。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多目视觉的人体动作重建***，其特征在于，包括：

相机标定模块，用于根据采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；

动作采集模块，用于获取所有所述单目相机采集到的目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；

所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；

所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息还原所述目标人体的所述二维关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。

2.根据权利要求1所述的基于多目视觉的人体动作重建***，其特征在于，还包括：成像点误差纠正模块；

所述成像点误差纠正模块，用于在所述单目相机发生偏移时，纠正所述二维人体动作识别模块中的所述二维关节点的像素坐标，以便于所述二维人体动作识别模块根据纠正像素坐标后的所述二维关节点重建所述目标人体的人体骨架，并将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。

3.根据权利要求1所述的基于多目视觉的人体动作重建***，其特征在于，所述三维动作重建模块具体包括：

第一求解子模块，用于基于所述单目相机标定后的单目相机参数，求解与所述单目相机的焦点垂直投影于所述单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标；

第二求解子模块，用于基于所述第一真实三维坐标和所述单目相机的成像平面参数，求解所述第一真实三维坐标的旋转矩阵和平移向量；

第三求解子模块，用于基于所述旋转矩阵和平移向量求解所述成像平面上的所述二维关节点在所述预置三维坐标系中的第二真实三维坐标；

关节点重建子模块，用于将所述预置三维坐标系中，使得所有所述单目相机的光心坐标与对应的所述第二真实三维坐标直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

4.根据权利要求3所述的基于多目视觉的人体动作重建***，其特征在于，所述关节点子模块具体用于：

基于超定方程组最小二乘法求解所有所述单目相机的光心坐标与对应的所述第二真实三维坐标所成的直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

5.根据权利要求1所述的基于多目视觉的人体动作重建***，其特征在于，所述二维人体动作识别模块具体用于：

基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。

6.一种基于多目视觉的人体动作重建方法，其特征在于，包括：

基于采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；

获取至少两个所述单目相机拍摄的目标人体的动作图像序列；

识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，得到每一帧的所述人体骨架信息；

基于每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。

7.根据权利要求6所述的基于多目视觉的人体动作重建方法，其特征在于，所述基于每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作，具体包括：

基于所述单目相机标定后的单目相机参数，求解与所述单目相机的焦点垂直投影于所述单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标；

基于所述第一真实三维坐标和所述单目相机的成像平面参数，求解所述第一真实三维坐标的旋转矩阵和平移向量；

基于所述旋转矩阵和平移向量求解所述成像平面上的所述二维关节点在所述预置三维坐标系中的第二真实三维坐标；

将所述预置三维坐标系中，使得所有所述单目相机的光心坐标与对应的所述第二真实三维坐标直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

8.一种动作训练***，其特征在于，包括权利要求1-5中任一项所述的基于多目视觉的人体动作重建***，还包括动作评估模块；

所述动作评估模块，用于将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行差异比对，输出与所述差异比对的结果对应的动作评估结果。

9.根据权利要求8所述的动作训练***，其特征在于，所述动作评估模块具体用于：

将从所述三维动作重建模块获取到的目标人体的三维动作与预置标准动作进行关节点组合角度相似性判断、关节点组合运动轨迹的平均曲率对比和人体关节点组合运动量对比；

获取所述关节点组合角度相似性判断的结果对应的第一动作评估结果、所述关节点组合运动轨迹的平均曲率对比的结果对应的第二动作评估结果和所述人体关节点组合运动量对比的结果对应的第三动作评估结果；

对所述第一动作评估结果、所述第二动作评估结果和所述第三动作评估结果进行加权处理，输出加权处理后得到的动作评估结果。

10.根据权利要求9所述的动作训练***，其特征在于，还包括：音乐节奏契合度模块；

所述音乐节奏契合度模块，用于基于音频提取算法提取在播音乐的音乐特征，以节拍为单位，判断所述目标人体在连续帧的人体动作与预置标准动作在匹配节拍的系列动作的匹配程度，输出节拍匹配结果。