CN110070573A - 关节图确定方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种关节图确定方法、装置、设备和存储介质。提取单个深度摄像机所捕获目标图像的图像数据；基于所述图像数据确定三维关节点；根据所述三维关节点建立三维关节图。本发明实施例提供的技术方案，通过使用单台深度摄像机获取目标图像的数据，减少了必需辅助设备的数量，简化了关节图确定过程，提高了关节图的精度和生成效率。

Description

关节图确定方法、装置、设备和存储介质

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种关节图确定方法、装置、设备和存储介质。

背景技术

随着互联网技术的进步，识别技术成为当下研究的重点，其中，人体识别是当中研究重点，而人体三维关节点的研究对人体识别尤其重要。传统的三维关节点技术有基于多视几何估计三维关节点的方法、只基于深度摄像机深度图估计三维关节点的方法、基于深度学习由二维关节点估计三维关节点的方法等。

但是上述方案中的多视几何方法的部署条件要求苛刻，例如：需要在不同视角部署多台摄像机、拍摄环境具有要求、拍摄目标需要穿戴特制衣服和标记点等，导致三维关节点确定过程繁琐复杂。因为单一的深度图包含的内容中细节、纹理等较少，所以只基于深度图估计出三维关节点，精度较低。

发明内容

本发明提供一种关节建立方法、装置、设备和存储介质，以快速简便实现关节建立，无需大量辅助设备。

第一方面，本发明实施例提供了一种关节图确定方法，该方法包括：

提取单个深度摄像机所捕获目标图像的图像数据；

基于所述图像数据确定三维关节点；

根据所述三维关节点建立三维关节图。

第二方面，本发明实施例还提供了一种关节图确定装置，该装置包括：

数据提取模块，用于提取单个深度摄像机所捕获目标图像的图像数据；

关节确定模块，用于基于所述图像数据确定三维关节点；

图像建立模块，用于根据所述三维关节点建立三维关节图。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的关节图确定方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的关节图确定方法。

本发明实施例通过提取单个深度摄像机所捕获目标图像的图像数据，基于所述图像数据确定三维关节点，根据三维关节点建立三维关节图；通过单台深度摄像机捕获目标图像的图像数据实现三维关节图的确立，减少了辅助设备数量，简化了三维关节图生成过程，提高了关节点的精度，可提升三维关节图生成效率。

附图说明

图1是本发明实施例一提供的一种关节图确定方法的流程图；

图2是本发明实施例二提供的一种关节图确定方法的流程图；

图3是本发明实施例三提供的一种关节图确定装置的结构示意图；

图4是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1是本发明实施例一提供的一种关节图确定方法的流程图，本实施例可适用于建立三维关节图情况，该方法可以由关节图确定装置来执行，该装置可以采用硬件和/或软件的方式来实现，本发明实施例的方法包括：

步骤101、提取单个深度摄像机所捕获目标图像的图像数据。

其中，深度摄像机可以是获取目标图像的采集设备，可以用于生成目标图像，目标图像可以是待生成三维关节图的图像，可以理解的是目标图像不限于人还可以是动物，可以具体为深度摄像机捕获的一帧或者多帧图像，图像数据可以提取目标图像获取到数据，可以包括彩色数据和深度数据，还可以包括轮廓点数据等，图像数据具体可以是人体或者动物的数据。

具体的，可以使用单个深度摄像机对目标图像进行采集，可以实时提取目标图像的图像数据，也可以在采集结束后对目标图像的图像数据进行提取，以获取生成三维关节图的原始数据，示例性的，可以实时获取深度摄像机的数据流，提取到同步绑定输出的深度数据和轮廓点数据，再以30fps获取同步输出的彩色数据和深度数据。

步骤102、基于所述图像数据确定三维关节点。

其中，三维关节点可以是具有三维坐标的关节点数据的集合，可以用于表征关节的三维形状，三维关节点的确定可以包括神经网络模型识别和坐标转换方法转换等，例如，可以将图像数据中的深度数据作为三维关节点坐标的第三维，以基于彩色数据识别出的二维关节点坐标作为计算其他两维的坐标转换方法的输入来以实现三维关节点的确定。

具体的，可以通过深度摄像机获取到的图像数据通过神经网络模型和坐标转换方法生成三维关节点，例如，可以使用神经网络模型在图像数据中识别出关节，可以将关节处的数据作为关节点，用于表征关节的三维形状。

步骤103、根据所述三维关节点建立三维关节图。

其中，三维关节图可以是由三维关节组成的图像，可以用于表示关节，三维关节图可以包括多个帧，每个帧可以对应于同一时刻获取到的图像数据。

具体的，可以根据三维关节点中的三维坐标以帧为单位生成三维关节图，示例性的，可以将三维关节点按照关节类型进行分类，可以在不同分类内部进行连接以生成三维关节，可以再连接不同关节生成三维关节图。

可以理解的是，本发明实施例提供的方法并不仅限于通过单台深度摄像机生成三维关节图这一场景，还可以通过本发明实施例提供的方法获取植物、动物或者其他物体的三维立体图，例如，通过单台深度摄像机获取到植物目标图像，提取目标图像中植物的图像数据，对图像数据进行处理获取特征点，例如叶片、枝干和根系等部位点，可以再基于特征点构建植物的三维立体图。

本发明实施例的技术方案通过单个深度摄像机采集目标图像提取到图像数据，根据图像数据确定三维关节点，根据三维关节点建立三维关节图，减少了三维关节图生成过程的辅助设备，简化了生成流程，可增加关节点节能高度，有效提高三维关节图的生成效率。

在上述实施例的基础上，图像数据包括彩色数据和深度数据；

相应的，所述基于所述图像数据确定三维关节点，包括：基于所述彩色数据识别二维关节点；基于所述深度数据将所述二维关节点转化为三维关节点。

其中，彩色数据可以是表征目标图像颜色和纹理等细节的数据；深度数据可以是是目标图像中某点到深度摄像机的距离数据；二维关节点可以是用于表征关节点的二维数据，可以通过分析图像数据获取；进一步的，可以理解的是，提取的图像数据，还可以包括轮廓点数据，轮廓点数据可以是用于表示物体轮廓的数据，具体可以是图像部分填充数据非图像部分填充零的形式。

具体的，图像数据可以具体包括彩色数据和深度数据，可以通过基于彩色数据识别出二维关节点，现有技术中通过彩色图形识别二维关节点的技术很多，不在此一一例举说明，在识别出二维关节点后再可以基于深度数据将二维关节点转化为三维关节点，进一步的，图像数据中还可以包括轮廓点数据，可以基于所述轮廓点数据对深度数据进行修正，提高三维关节点准确度。

上述实施例通过采用彩色数据识别二维关节点有效提高了关节点的识别准确度，再结合深度数据，将识别到的二维关节点转化三维关节点，可有效提高建立三维关节点的准确度，从而实现三维节点图的快速准确建立。

实施例二

图2是本发明实施例二提供的一种关节图确定方法的流程图，本发明实施例是在上述实施例基础的具体化，本发明实施例提供的关节图确定方法包括：

步骤201、提取单个深度摄像机所捕获目标图像的图像数据。

步骤202、将所述彩色数据转化为三通道图像数据。

其中，三通道图像数据可以是BGR三通道数据，可以通过转换彩色数据的数据格式得到。

具体的，可以通过获取彩色数据的数据格式，可以基于数据格式进行转换将彩色数据转换为BGR三通道数据，彩色数据常见的数据格式可以包括RGBA和BRGA等数据格式，示例性的，例如彩色数据的数据格式为YUV格式，可以通过颜色空间的映射公式计算得到BGR三通道图像数据，示例性的，颜色空间的映射公式的具体形式可以是

步骤203、将所述三通道图像数据作为深度学习模型的输入，并将所述深度学习模型的输出作为二维关节点。

其中，深度学习模型可以是用于识别二维图像中关节点的模型，可以通过深度学习算法训练生成，具体可以使用OPENPOSE或者CPN等模型实现对二维关节点的识别。

具体的，可以基于OPENPOSE模型实现深度学习模型，可以将获取到的三通道图像数据作为深度学习模型的输入，可以获取深度学习模型的输出作为人二维关节点，例如可以将调用OPENPOSE中的二维关节点检测模型检测出的关键点，例如鼻子、脖子、左肩、左肘、左腕、右肩、右肘、右腕、左髋、左膝、左踝、右髋、右膝和右踝等二维关节点，进一步的，可以将二维关节点组成关节点序列，关节点序列中可包括各关节点的位置坐标和置信度，例如关节点序列pts＝{x₁,y₁,p₁,……,x_n,y_n,p_n}，其中x为图像横坐标，y为图像纵坐标，p为关节点的置信度。

步骤204、针对每个二维关节点，在所述深度数据中获取与所述二维关节点对应的目标深度数据。

其中，目标深度数据可以是对应于各二维关节点的深度值，可以根据二位关节点的坐标在深度数据中查询得到。

具体的，可以将深度数据与彩色数据进行对齐，针对每个二维关节点的坐标数据在深度数据中查询深度值，可以将查询到的深度值作为对应二维关节点的目标深度数据。

步骤205、如果目标深度数据符合预设条件，则基于所述目标深度数据和坐标转换方法将所述二维关节点转化为三维关节点；否则，调整所述目标深度数据，并基于新的目标深度数据和坐标转换方法将所述二维关节点转化为三维关节点。

其中预设条件可以是一个深度摄像机在获取目标图像时设定的一个距离范围，可以用于表征目标图像与深度摄像机的距离范围，坐标转换方法可以是将二维关节点的图像坐标和深度值转化为三维关节点的公式，坐标转换方法可以预设有深度摄像机的内参信息，例如焦距、水平视角和垂直视角等。

具体的，可以对目标深度数据与预设的距离范围进行对比，如果目标深度数据属于预设条件的距离范围内，则直接使用目标深度数据和坐标转换方法将二维关节点转化为三维关节点，如果目标深度数据不符合预设条件的距离范围，可以将对目标深度数据进行调整，调整的方式可以是原有目标深度数据的基础上增加或者减去补偿值，还可以根据预设的规则重新生成目标深度数据，在经过调整后的目标深度数据基于坐标转换方法将二维关节点转化为三维关节点，可选的，坐标转换方法具体可以为z＝0.001*d，x＝z*(col-cx)/fx，y＝z*(cy-row)/fy，其中，水平视角hfov(弧度单位)，垂直视角vfov(弧度单位)，图像size是xres、yres(像素单位)图像中心坐标(像素单位)cx＝(xres-1)*0.5，cy＝(yres-1)*0.5，水平焦距fx＝cx/(hfov/2.0),垂直焦距fy＝cy/tan(vfov/2.0)，二维关节点坐标为(col,row)，深度为d(毫米单位)。

在本发明实施例中，图像数据可以包括轮廓点数据，相应的，调整所述目标深度数据的方式可以包括步骤211：

步骤211、从所述轮廓点数据中筛选与所述二维关节点的距离值最小的目标轮廓点；从所述深度数据中获取所述目标轮廓点对应的深度值，并将所述深度值确定为新的目标深度数据。

其中，目标轮廓点可以是与二维关节点距离最近的位置点，可以根据二维关节点的横纵坐标在轮廓点数据中筛选得到，深度值可以是目标轮廓点处的深度值，可以根据目标轮廓点的横纵坐标在深度数据中查询得到。

具体的，可以在轮廓点数据中基于二维关节点的坐标筛选出距离值最小的目标轮廓点，可以基于目标轮廓点的坐标在深度数据中查询对应的深度值，可以将查询得到的深度值作为新的目标深度值，以实现目标深度数据的调整。

可选的，在本发明实施例中，调整所述目标深度数据的方式还可以包括步骤212：

步骤212、获取至少两帧对应所述目标图像的基准图像，并获取各所述基准图像对应的基准图像数据；从各所述基准图像数据中确定对应所述二维关节点的基准深度值；基于各所述基准深度值，确定所述二维关节点的深度值变化关系；根据所述深度值变化关系生成预测深度值，将所述预测深度值作为新的目标深度数据。

其中，基准图像可以是目标图像邻近帧的图像，例如可以目标图像前两帧的图像，可以理解的是基准图像的帧数和方式不进行限制，可以获取到基准图像的变化关系即可，基准深度值可以是基准图像中对应二维关节点的深度值，可以用于生成预测深度值，预测深度值可以是经过预测获取到的二维关节点的深度值。

具体的，可以根据目标图像至少获取两帧基准图像，可以根据基准图像获取到对应的基准图像数据，在基准图像数据中可以使用二维关节点的坐标获取到对应的基准深度值，再结合基准深度值的变化规律确定出深度值变化关系，例如，目标图像前三帧的三个基准深度值分别为在z1、z2和z3,三个基准深度值对应得数值符合线性变化关系，即z1-z2＝z2-z3，可以基于深度值变化关系确定生成预测深度值，例如，可以预测深度值z4也满足深度值变化关系，那么z4＝2z3-z2,计算得到预测深度值，可以将生成的预测深度值作为新的目标深度值，可以理解的是深度变化关系可以包括线性变化关系和非线性变化关系等数学变化关系等。

可以理解的是，本发明实施例中调整目标深度数据的方式可以将步骤211步骤212进行结合调整目标深度数据，以提高三维关节图的准确建立。

步骤206、根据所述三维关节点建立三维关节图。

步骤207、对所述三维关节图进行平滑处理。

其中，平滑处理可以是三维关节图中各关节点平滑的操作，本发明实施例可以包括采用对三维关节图进行预测以实现平滑处理，进行预测的方法可以包括对邻接帧相应关节点进行滤波和卡尔曼预测等，示例性的，可以通过卡尔曼模型预测前帧三维关节点图以实现平滑处理，还可以对所述目标关节点及近邻帧同一关节点进行滤波处理生成预测关节点，根据所述预测关节点平滑所述三维关节图。

本发明实施例的技术方案通过单个深度摄像机所捕获目标图像的图像数据，将其中的彩色数据转化为三通道图像数据，基于三通道数据识别出二维关节点并获取到对应的目标深度数据，对不符合预设条件的目标深度数据进行调整作为新的目标深度数据，根据目标深度数据和坐标转换方法将二维关节点转化为三维关节点，根据三维关节点建立关节图，并对三维关节图进行平滑处理，简化了三维关节图的生成过程，缩减了辅助设备的数量，通过平滑处理提高了三维关节点的精度和稳定性。

在上述实施例的基础上，对所述三维关节图进行平滑处理，包括：获取三维关节图中的目标关节点；将所述目标关节点作为预测模型的输入生成预测关节点，其中，所述预测模型包括卡尔曼预测模型和滤波预测模型；根据所述预测关节点平滑所述三维关节图。

其中，目标关节点可以用于进行预测的关节点，预测模型可以是基于目标关节点进行生成预测关节点的模型，由于主干脖子、左肩、左髋、右肩和右髋可以认为是一个刚体，而刚体在三维空间中有三维旋转平移不变性，可以基于主干脖子、左肩、左髋、右髋进行卡尔曼预测，目标关节点可以包括主干脖子、左肩、左髋、右肩和右髋等，卡尔曼预测模型可以是基于有限的包含噪声的对物***置的观测序列预测出物***置和速度的模型，可以通过目标关节点预测出缺少或者备遮挡关节的位置，滤波模型可以基于目标关节点对三维关节图邻近帧中同一关节点进行滤波处理生成预测关节点，滤波模型可以包括均值滤波模型和中值滤波模型等。

具体的，可以在三维关节图中获取主干脖子、左肩、左髋、右肩和右髋等关节点，可以将获取到的目标关节点作为卡尔曼滤波器的输入以生成预测关节点，可以根据预测关节点对三维关节图进行平滑。

示例性的，刚体变换有对应的6个参数a_x，a_y，a_z，t_x，t_y，t_z分别对应三个方向的欧拉角和三个方向的位移，设一个三维关节点坐标为A[x_a,y_a,z_a]刚体变换后得到[x_b,y_b,z_b]，通过公式或者通过公式计算得到，其中可以将主干脖子、左肩、左髋、右肩和右髋等5个关节点的坐标代入公式中可以得到 通过求解得到(r₁,……,r₉,t_x,t_y,t_z)和a_z＝atan2(r₄,r₁),a_x＝atan2(r₈,r₉),通过目标节点的目标状态方程X_k＝R_k(I+β(k-1))X_k-1+T_k+Δ(k-1)预测下一帧的目标关节点，实现平滑三维关节图，其中X_k为关节点坐标向量，R_k为3×3的三维旋转矩阵，T_k为位移向量，β(k-1)和Δ(k-1)分别为旋转噪声和平移噪声。

实施例三

图3是本发明实施例三提供的一种关节图确定装置的结构示意图，可执行本发明实施例提供的关节图确定方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：数据提取模块301、关节确定模块302和图像建立模块303。

其中，数据提取模块301，用于提取单个深度摄像机所捕获目标图像的图像数据。

关节确定模块302，用于基于所述图像数据确定三维关节点。

图像建立模块303，用于根据所述三维关节点建立三维关节图。

本发明实施例的技术方案通过数据提取模块单个深度摄像机采集目标图像提取到图像数据，关节确定模块根据图像数据确定三维关节点，图像建立模块根据三维关节点建立三维关节图，减少了三维关节图生成过程的辅助设备，简化了生成流程，有效提高三维关节图的生成速度。

在上述实施例的基础上，所述图像数据包括彩色数据和深度数据；相应的，关节确定模块302，包括：

二维识别单元，用于基于所述彩色数据识别二维关节点。

三维转化单元，用于基于所述深度数据将所述二维关节点转化为三维关节点。

在上述实施例的基础上，二维识别单元包括：

数据转化子单元，用于将所述彩色数据转化为三通道图像数据。

二维处理子单元，用于将所述三通道图像数据作为深度学习模型的输入，并将所述深度学习模型的输出作为二维关节点。

在上述实施例的基础上，三维转化单元包括：

深度数据子单元，用于针对每个二维关节点，在所述深度数据中获取与所述二维关节点对应的目标深度数据。

转化子单元，用于如果目标深度数据符合预设条件，则基于所述目标深度数据和坐标转换方法将所述二维关节点转化为三维关节点；否则，调整所述目标深度数据，并基于新的目标深度数据和坐标转换方法将所述二维关节点转化为三维关节点。

在上述实施例的基础上，图像数据包括轮廓点数据，相应的转化子单元还包括：

轮廓点获取组件，用于从所述轮廓点数据中筛选与所述二维关节点的距离值最小的目标轮廓点。

第一深度调整组件，用于从所述深度数据中获取所述目标轮廓点对应的深度值，并将所述深度值确定为新的目标深度数据。

在上述实施例的基础上，转化子单元还包括：

基准获取组件，用于获取至少两帧对应所述目标图像的基准图像，并获取各所述基准图像对应的基准图像数据。

深度值确定组件，用于从各所述基准图像数据中确定对应所述二维关节点的基准深度值。

变换确定组件，用于基于各所述基准深度值，确定所述二维关节点的深度值变化关系。

第二深度调整组件，用于根据所述深度值变化关系生成预测深度值，将所述预测深度值作为新的目标深度数据。

在上述实施例的基础上，装置还包括：

平滑模块，用于对所述三维关节图进行平滑处理。

在上述实施例的基础上，平滑模块包括：

数据获取单元，用于获取三维关节图中的目标关节点。

预测生成单元，用于将所述目标关节点作为预测模型的输入生成预测关节点，其中，所述预测模型包括卡尔曼预测模型和滤波预测模型。

平滑单元，用于根据所述预测关节点平滑所述三维关节图。

上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的方法。

实施例四

图4是本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的关节图确定方法对应的程序模块(例如，关节图确定装置中的数据提取模块301、关节确定模块302和图像建立模块303)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的关节图确定方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种关节图确定方法，该方法包括：

提取单个深度摄像机所捕获目标图像的图像数据；

基于所述图像数据确定三维关节点；

根据所述三维关节点建立三维关节图。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的关节图确定方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述关节图确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种关节图确定方法，其特征在于，包括：

提取单个深度摄像机所捕获目标图像的图像数据；

基于所述图像数据确定三维关节点；

根据所述三维关节点建立三维关节图。

2.根据权利要求1所述的方法，其特征在于，所述图像数据包括彩色数据、深度数据；

相应的，所述基于所述图像数据确定三维关节点，包括：

基于所述彩色数据识别二维关节点；

基于所述深度数据将所述二维关节点转化为三维关节点。

3.根据权利要求2所述的方法，其特征在于，所述基于所述彩色数据识别二维关节点，包括：

将所述彩色数据转化为三通道图像数据；

将所述三通道图像数据作为深度学习模型的输入，并将所述深度学习模型的输出作为二维关节点。

4.根据权利要求2所述的方法，其特征在于，所述基于所述深度数据将所述二维关节点转化为三维关节点，包括：

针对每个二维关节点，在所述深度数据中获取与所述二维关节点对应的目标深度数据；

如果目标深度数据符合预设条件，则基于所述目标深度数据和坐标转换方法将所述二维关节点转化为三维关节点；

否则，调整所述目标深度数据，并基于新的目标深度数据和坐标转换方法将所述二维关节点转化为三维关节点。

5.根据权利要求4所述的方法，其特征在于，所述图像数据还包括轮廓点数据，相应的，所述调整所述目标深度数据，包括：

从所述轮廓点数据中筛选与所述二维关节点的距离值最小的目标轮廓点；

从所述深度数据中获取所述目标轮廓点对应的深度值，并将所述深度值确定为新的目标深度数据。

6.根据权利要求4所述的方法，其特征在于，所述调整所述目标深度数据，包括：

获取至少两帧对应所述目标图像的基准图像，并获取各所述基准图像对应的基准图像数据；

从各所述基准图像数据中确定对应所述二维关节点的基准深度值；

基于各所述基准深度值，确定所述二维关节点的深度值变化关系；

根据所述深度值变化关系生成预测深度值，将所述预测深度值作为新的目标深度数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述三维关节图进行平滑处理。

8.根据权利要求7所述的方法，其特征在于，所述对所述三维关节图进行平滑处理，包括：

获取三维关节图中的目标关节点；

将所述目标关节点作为预测模型的输入生成预测关节点，其中，所述预测模型包括卡尔曼预测模型和滤波预测模型；

根据所述预测关节点平滑所述三维关节图。

9.一种关节图确定装置，其特征在于，包括：

数据提取模块，用于提取单个深度摄像机所捕获目标图像的图像数据；

关节确定模块，用于基于所述图像数据确定三维关节点；

图像建立模块，用于根据所述三维关节点建立三维关节图。

10.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的关节图确定方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的关节图确定方法。