CN112330795A - 基于单张rgbd图像的人体三维重建方法及*** - Google Patents

Abstract

本发明公开了一种基于单张RGBD图像的人体三维重建方法及***，其中，该方法包括：利用深度相机拍摄单张RGBD图像；过高质量人体三维模型渲染出单张RGBD图像并对空间点进行采样得到训练数据；搭建神经网络并使用训练数据进行训练；将单张RGBD测试图像输入训练后的神经网络中进行测试，生成人体三维模型。该方法通过隐式函数表示，建立了一个端到端的神经网络，通过有监督学习，便能够推断出人体以及衣服的几何细节，相较于其他传统重建方法具有简单、便捷的特点。

Description

基于单张RGBD图像的人体三维重建方法及***

技术领域

本发明涉及计算机视觉与计算机图形学技术领域，特别涉及一种基于单张RGBD图像的人体三维重建方法及***。

背景技术

基于单张RGBD图像的人体三维重建技术近年来得到了广泛的关注。人体三维模型在影视娱乐、虚拟试衣、全息通信、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是普通的多视点重建技术需要搭建价格昂贵的多相机阵列***来实现，虽然精度高，但是存在显著缺点：1、不够方便，2、价格昂贵。除此之外，基于单张RGB图像的重建技术往往不够鲁棒，不具有很高的应用价值。目前深度相机已十分普及，深度信息的加入可以极大提高重建方法的鲁棒性，因此基于单张RGBD的人体三维重建技术有着很广阔的应用前景。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于单张RGBD图像的人体三维重建方法，该方法简单便捷，可以通过单张深度相机捕获的人体RGBD图像实现较为精确的人体重建。

本发明的另一个目的在于提出一种基于单张RGBD图像的人体三维重建***。

为达到上述目的，本发明一方面实施例提出了基于单张RGBD图像的人体三维重建方法，包括以下步骤：S1，利用深度相机拍摄单张RGBD图像；S2，通过高质量人体三维模型渲染出所述单张RGBD图像，并对空间点进行采集，以得到训练数据；S3，搭建神经网络，并使用所述训练数据对所述神经网络进行训练；S4，将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。

本发明实施例的基于单张RGBD图像的人体三维重建方法，利用深度相机对人体拍摄以采集RGBD图像，并基于该图像实现人体的三维重建功能，获得输入信息非常容易采集，并且可以方便快捷地获得人体三维模型，该方法求解鲁棒，简单易行，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

另外，根据本发明上述实施例的基于单张RGBD图像的人体三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S2中，采用空间均匀采集和自适应采样相结合的方式采集所述渲染后的RGBD图像的空间点。

进一步地，在本发明的一个实施例中，所述神经网络包括图像编码网络和全连接映射网络，其中，所述图像编码网络为全卷积神经网络，对所述训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图，所述全连接映射网络为多层感知机，通过多层神经元的相互连接，将从所述特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，根据所述特征图、所述隐式函数值构建损失函数，通过所述损失函数优化所述神经网络，获得所述训练后的神经网络。

进一步地，在本发明的一个实施例中，所述损失函数为：

其中，n为采样点总数，f(F(x_i),z(X_i))为网络输出的结果，F(x_i)为图像上的2D投影点x对应的特征向量，z(X_i)为X相对深度相机的深度值，gt(X_i)为X_i对应的真实值0或1。

进一步地，在本发明的一个实施例中，所述步骤S4进一步包括：利用图像编码网络将输入的所述单张RGBD测试图像编码成特征图；将所述特征图均匀划分为N×N×N的体积volume，每个小方格为一个体积元素voxel，将每个体积元素voxel输入到所述训练好的神经网络中，在所述特征图上根据其投影位置采样对应的特征向量，与所述体积元素voxel相对于深度相机的深度值一同输入到所述训练好的神经网络的全连接映射网络中，得到每个体积元素voxel对应的隐式函数值；采用等值面提取MarchingCubes方法从所述隐式函数值的体积volume中提取等值面，推断出的所述人体三维模型。

为达到上述目的，本发明另一方面实施例提出了基于单张RGBD图像的人体三维重建***，包括：单个深度相机，用于拍摄单张RGBD图像；渲染模块，用于通过高质量人体三维模型渲染出所述单张RGBD图像，并对空间点进行采集，以得到训练数据；神经网络训练模块，用于搭建神经网络，并使用所述训练数据对所述神经网络进行训练；模型生成模块，用于将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。

本发明实施例的基于单张RGBD图像的人体三维重建***，利用深度相机对人体拍摄以采集RGBD图像，并基于该图像实现人体的三维重建功能，获得输入信息非常容易采集，并且可以方便快捷地获得人体三维模型，该方法求解鲁棒，简单易行，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

另外，根据本发明上述实施例的基于单张RGBD图像的人体三维重建***还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述渲染模块中，采用空间均匀采集和自适应采样相结合的方式采集所述渲染后的RGBD图像的空间点。

进一步地，在本发明的一个实施例中，所述神经网络包括图像编码网络和全连接映射网络，其中，所述图像编码网络为全卷积神经网络，对所述训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图；所述全连接映射网络为多层感知机，通过多层神经元的相互连接，将从所述特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，并根据所述特征图、所述隐式函数值构建损失函数，通过所述损失函数优化所述图像编码网络和所述全连接映射网络，获得训练后的神经网络。

进一步地，在本发明的一个实施例中，所述损失函数为：

其中，n为采样点总数，f(F(x_i),z(X_i))为网络输出的结果，F(x_i)为图像上的2D投影点x对应的特征向量，z(X_i)为X相对深度相机的深度值，gt(X_i)为X_i对应的真实值0或1。

进一步地，在本发明的一个实施例中，所述模型生成模块进一步用于：利用所述图像编码网络将输入的所述单张RGBD测试图像编码成特征图；将所述特征图均匀划分为N×N×N的体积volume，每个小方格为一个体积元素voxel，将每个体积元素voxel输入到所述训练好的神经网络中，在所述特征图上根据其投影位置采样对应的特征向量，与所述体积元素voxel相对于深度相机的深度值一同输入到所述训练好的神经网络的全连接映射网络中，得到每个体积元素voxel对应的隐式函数值；采用等值面提取MarchingCubes方法从所述隐式函数值的体积volume中提取等值面，推断出的所述人体三维模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于单张RGBD图像的人体三维重建方法的流程图；

图2是本发明一个实施例的基于单张RGBD图像的人体三维重建***的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于单张RGBD图像的人体三维重建方法及***，首先将参照附图描述根据本发明实施例提出的基于单张RGBD图像的人体三维重建方法。

图1是本发明一个实施例的基于单张RGBD图像的人体三维重建方法的流程图。

如图1所示，该基于单张RGBD图像的人体三维重建方法包括以下步骤：

在步骤S1中，利用深度相机拍摄单张RGBD图像。

在步骤S2中，通过高质量人体三维模型渲染出单张RGBD图像，并对空间点进行采集，以得到训练数据。

进一步地，在本发明的一个实施例中，采用空间均匀采集和自适应采样相结合的方式采集渲染后的RGBD图像的空间点。

举例而言，以人体三维模型为中心水平选取60个视点进行图像渲染，根据相机成像原理：

其中，(u,v)是图像上像素坐标，(x,y,z)为空间点坐标，f_x,f_y,c_x,c_y为相机内参。将三维模型归一化在(-0.5，-0.5，-0.5)至(0.5,0.5,0.5)之间，同时选取焦距f_x＝f_y＝5000，相机与模型之间的距离为10。同时采用空间均匀采样和自适应采样相结合的方式对空间点进行采样，得到训练数据，具体地，首先在(-0.5，-0.5，-0.5)至(0.5,0.5,0.5)之间的1×1×1的正方体中随机采样5000个点，此外，本发明实施例还对人体三维模型的表面点(不止是表面顶点)进行随机采样，得到16000个点，将采样到的全部空间作为训练数据。这种均匀采样和自适应采样相结合的采样方法既保证了采样点分布的广泛性，又保证了在模型附近有足够多的采样点，以在模型附近通过网络学习到更精确的人体表面表示。

在步骤S3中，搭建神经网络，并使用训练数据对神经网络进行训练。

进一步地，在本发明的一个实施例中，神经网络包括图像编码网络和全连接映射网络，其中，图像编码网络为全卷积神经网络，对训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图，全连接映射网络为多层感知机，通过多层神经元的相互连接，将从特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，根据特征图、隐式函数值构建损失函数，通过损失函数优化神经网络，获得训练后的神经网络。

举例而言，人体表面可由一个隐式函数f描述，即

f(X)＝0,X∈R³

将其表示成复合函数的形式

s＝f(F(x),z(X))

其中，x＝π(X)是在图像上的2D投影点，F(x)是x所对应的特征向量，由全卷积网络得到，z(X)是X相对于相机的深度值。基于以上表示，神经网络主要包含两个部分：图像编码网络以及全连接映射网络。图像编码网络是一个全卷积网络，输入是RGBD四通道图像，输出是一个特征图。全连接映射网络是一个多层感知机，输入是从特征图中采样到的特征向量和z(X)级联构成的向量，输出是一个标量值，1代表X在人体外部，0代表X在人体内部。根据网络输出值以及真实值构造损失函数

其中，n为采样点总数，f(F(x_i),z(X_i))为网络输出的结果，F(x_i)为图像上的2D投影点x对应的特征向量，z(X_i)为X相对深度相机的深度值，gt(X_i)为X_i对应的真实值0或1。

在步骤S4中，将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。

具体地，图像编码网络将输入的RGBD图像编码成一个特征图；然后，将1×1×1的正方体均匀划分为N×N×N的volume，每个小方格为一个voxel，将每个voxel输入到网络中，在特征图上根据其投影位置采样得到对应的特征向量，与该voxel相对于相机的深度值一起输入到全连接映射网络中，得到每个voxel对应的隐式函数值；最后，采用等值面提取MarchingCubes方法从volume中提取等值面，得到推断出的人体三维模型。

另一方面，可以理解的是，由于已知深度图像，所有可见区域的隐式函数值是已知的，因此没有必要推断这些点的隐式函数值，可以通过编写cuda程序进行快速筛选，只将不可见的voxel输入到网络中，这样可以极大地提升网络的推断速度。

需要说明的是，步骤S1-S3为实现整套***的具体步骤，实际使用中只需将单张RGBD图像输入网络，即可得到人体三维模型。

根据本发明实施例提出的基于单张RGBD图像的人体三维重建方法，利用深度相机对人体拍摄以采集RGBD图像，并基于该图像实现人体的三维重建功能，获得输入信息非常容易采集，并且可以方便快捷地获得人体三维模型，该方法求解鲁棒，简单易行，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

其次参照附图描述根据本发明实施例提出的基于单张RGBD图像的人体三维重建***。

图2是本发明一个实施例的基于单张RGBD图像的人体三维重建***的结构示意图。

如图2所示，该***10包括：单个深度相机100、渲染模块200、神经网络训练模块300和模型生成模块400。

其中，单个深度相机100，用于拍摄单张RGBD图像。渲染模块200，用于通过高质量人体三维模型渲染出单张RGBD图像，并对空间点进行采集，以得到训练数据。神经网络训练模块300，用于搭建神经网络，并使用训练数据对神经网络进行训练。模型生成模块400，用于将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。

进一步地，在本发明的一个实施例中，渲染模块中，采用空间均匀采集和自适应采样相结合的方式采集渲染后的RGBD图像的空间点。

进一步地，在本发明的一个实施例中，神经网络包括图像编码网络和全连接映射网络，其中，图像编码网络为全卷积神经网络，对训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图；全连接映射网络为多层感知机，通过多层神经元的相互连接，将从特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，并根据特征图、隐式函数值构建损失函数，通过损失函数优化图像编码网络和全连接映射网络，获得训练后的神经网络。

进一步地，在本发明的一个实施例中，损失函数为：

其中，n为采样点总数，f(F(x_i),z(X_i))为网络输出的结果，F(x_i)为图像上的2D投影点x对应的特征向量，z(X_i)为X相对深度相机的深度值，gt(X_i)为X_i对应的真实值0或1。

进一步地，在本发明的一个实施例中，模型生成模块进一步用于：利用图像编码网络将输入的单张RGBD测试图像编码成特征图；将特征图均匀划分为N×N×N的体积volume，每个小方格为一个体积元素voxel，将每个体积元素voxel输入到训练好的神经网络中，在特征图上根据其投影位置采样对应的特征向量，与体积元素voxel相对于深度相机的深度值一同输入到训练好的神经网络的全连接映射网络中，得到每个体积元素voxel对应的隐式函数值；采用等值面提取MarchingCubes方法从隐式函数值的体积volume中提取等值面，推断出的人体三维模型。

根据本发明实施例提出的基于单张RGBD图像的人体三维重建***，利用深度相机对人体拍摄以采集RGBD图像，并基于该图像实现人体的三维重建功能，获得输入信息非常容易采集，并且可以方便快捷地获得人体三维模型，该方法求解鲁棒，简单易行，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于单张RGBD图像的人体三维重建方法，其特征在于，包括以下步骤：

S1，利用深度相机拍摄单张RGBD图像；

S2，通过高质量人体三维模型渲染出所述单张RGBD图像，并对空间点进行采集，以得到训练数据；

S3，搭建神经网络，并使用所述训练数据对所述神经网络进行训练；以及

S4，将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。

2.根据权利要求1所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述步骤S2中，采用空间均匀采集和自适应采样相结合的方式采集所述渲染后的RGBD图像的空间点。

3.根据权利要求1所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述神经网络包括图像编码网络和全连接映射网络，其中，所述图像编码网络为全卷积神经网络，对所述训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图，所述全连接映射网络为多层感知机，通过多层神经元的相互连接，将从所述特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，根据所述特征图、所述隐式函数值构建损失函数，通过所述损失函数优化所述神经网络，获得所述训练后的神经网络。

4.根据权利要求3所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述损失函数为：

其中，n为采样点总数，f(F(x_i),z(X_i))为网络输出的结果，F(x_i)为图像上的2D投影点x对应的特征向量，z(X_i)为X相对深度相机的深度值，gt(X_i)为X_i对应的真实值0或1。

5.根据权利要求1所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述步骤S4进一步包括：

利用图像编码网络将输入的所述单张RGBD测试图像编码成特征图；

将所述特征图均匀划分为N×N×N的体积volume，每个小方格为一个体积元素voxel，将每个体积元素voxel输入到所述训练好的神经网络中，在所述特征图上根据其投影位置采样对应的特征向量，与所述体积元素voxel相对于深度相机的深度值一同输入到所述训练好的神经网络的全连接映射网络中，得到每个体积元素voxel对应的隐式函数值；

采用等值面提取MarchingCubes方法从所述隐式函数值的体积volume中提取等值面，推断出的所述人体三维模型。

6.一种基于单张RGBD图像的人体三维重建***，其特征在于，包括：

单个深度相机，用于拍摄单张RGBD图像；

渲染模块，用于通过高质量人体三维模型渲染出所述单张RGBD图像，并对空间点进行采集，以得到训练数据；

神经网络训练模块，用于搭建神经网络，并使用所述训练数据对所述神经网络进行训练；

模型生成模块，用于将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。

7.根据权利要求6所述的基于单张RGBD图像的人体三维重建***，其特征在于，所述渲染模块中，采用空间均匀采集和自适应采样相结合的方式采集所述渲染后的RGBD图像的空间点。

8.根据权利要求6所述的基于单张RGBD图像的人体三维重建***，其特征在于，所述神经网络包括图像编码网络和全连接映射网络，其中，

所述图像编码网络为全卷积神经网络，对所述训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图；

所述全连接映射网络为多层感知机，通过多层神经元的相互连接，将从所述特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，并根据所述特征图、所述隐式函数值构建损失函数，通过所述损失函数优化所述图像编码网络和所述全连接映射网络，获得训练后的神经网络。

9.根据权利要求8所述的基于单张RGBD图像的人体三维重建***，其特征在于，所述损失函数为：

其中，n为采样点总数，f(F(x_i),z(X_i))为网络输出的结果，F(x_i)为图像上的2D投影点x对应的特征向量，z(X_i)为X相对深度相机的深度值，gt(X_i)为X_i对应的真实值0或1。

10.根据权利要求6所述的基于单张RGBD图像的人体三维重建***，其特征在于，所述模型生成模块进一步用于：

利用所述图像编码网络将输入的所述单张RGBD测试图像编码成特征图；

将所述特征图均匀划分为N×N×N的体积volume，每个小方格为一个体积元素voxel，将每个体积元素voxel输入到所述训练好的神经网络中，在所述特征图上根据其投影位置采样对应的特征向量，与所述体积元素voxel相对于深度相机的深度值一同输入到所述训练好的神经网络的全连接映射网络中，得到每个体积元素voxel对应的隐式函数值；

采用等值面提取MarchingCubes方法从所述隐式函数值的体积volume中提取等值面，推断出的所述人体三维模型。

Images