CN110751730B - 一种基于深度神经网络的穿衣人体体型估计方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的穿衣人体体型估计方法，构建了一个衣服种类丰富的三维衣服网格模型数据库，并基于该数据库训练了一个预测人体网格贴合度的深度神经网络模型。本发明方法解决了复杂着衣下用户真实体型的估计问题，综合考虑服装种类、网格几何结构以及人体姿态动作，对复杂的人体动作和衣服种类都有较精准的检测结果，不再局限于网格序列的输入，也可以输入单个人体的三维模型，扩展了体型估计的应用场景。

Description

一种基于深度神经网络的穿衣人体体型估计方法

技术领域

本发明涉及一种神经网络方法，具体是一种基于深度神经网络的穿衣人体体型估计方法。

背景技术

随着3D扫描仪的普及，以及基于结构化光和ToF(Time of Flight)等移动3D扫描传感器的出现，这些设备扩展了含深度信息的三维图像的获取方式，使得三维人体模型变得越来越普遍，如通过基于Kinect的深度相机和环形彩色相机***(Dome)都可以获得高质量的三维人体模型。然而，几乎所有的现有方法都是在不考虑人体服装的情况下进行三维重建，或者更准确地说，是在不考虑服装贴合度的情况下进行重建。实际上，人体几何和人体穿着的衣服几何之间是会存在明显差异的，借鉴服装制造商服装规格说明，服装可以大致分为宽松的、贴身的、紧身的三类服装贴合情况，这给人体真实体型估计带来极大的困难。

真实的人体体型估计对虚拟试衣、身体体型测量等应用具有非常重要的意义。考虑到让用户脱去衣服进行体型扫描是不便捷、不顾及用户隐私的，同时用户衣着又非常复杂，在穿着衣服的情况下较为精准地估计用户身体体型是非常有挑战性的。现有一些方法都通过连续动态网格序列以及统计得到的参数化人体模型的约束，进行人体体型的估计。但这些方法依然只能处理贴合的或紧身的衣服，无法在宽松服装的情况下得到精准的人体体型。为此，本方法期望从数据驱动的角度解决衣服种类服装的问题，在保证广泛服装适用性的前提下，更为精准的估计人体体型。

发明内容

本发明的目的在于提供一种基于深度神经网络的穿衣人体体型估计方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度神经网络的穿衣人体体型估计方法，包括如下步骤：一.利用高清环形相机阵列拍摄穿着不同类型衣服的静态人物，所述不同类型衣服包括宽松的、贴身的、紧身的，利用多视角立体重建算法得到点云模型，对该点云模型进行三角面片处理，获得地面及网格有一定噪声的人体网格模型的数据库；二.对所述数据库中的人体网格模型进行手动切割，将人体网格模型中没有衣料覆盖的部分分割出来，并且分别分割出人体网格模型中的衣服、裤子；三.对数据库中穿着不同类型衣服的人体网格模型进行贴合度计算，使用所述身着紧身衣服或不穿衣服拍摄获得的人体网格模型作为人体体型的真实值，对于穿着宽松的、贴身衣服的人体网格模型，使用以下几步计算贴合度：首先将数据库中同一个人穿着宽松的、贴身的衣服的人体网格模型与其穿着紧身衣服的人体网格模型进行动作匹配，使得两个模型在形变以后具有相同的动作；然后在身着宽松的、贴身的衣服的人体网格模型上标记衣服的每一个网格顶点，对每个网格顶点使用光线追踪的方式找寻其在人体体型上对应的网格顶点，贴合度

其中V_i代表了在内部的真实人体体型的第i个网格顶点，

代表了由V_i使用15°的光线追踪所对应的最近点的集合，K_G代表的是高斯卷积，含c上标的符号表示基于光线追踪找到的对应点的各数据量；四.对所述数据库中的人体网格模型进行映射，使得人体网格模型的三维网格上的每一个顶点都在2D平面上有一个几何图像的映射，并且不改变除了2D平面的边缘点以外其他顶点映射的相对位置关系，得到三维网格到2D平面的映射关系，然后将三维网格的三维坐标信息、法线信息与颜色信息进行映射后作为人体网格模型的输入特性图；五.采用条件生成对抗式网络的神经网络模型进行深度神经网络预测，使用所述输入特性图作为网络的输入，网络的输出为2D平面映射贴合度，对网络的输出进行逆映射即可获得人体网格模型的预测贴合度数值；六.使用穿着衣服的人体网格模型与模型中每个顶点的贴合度相减，即可获得无衣服的人体网格模型，对该模型进行平滑处理后即可获得人体体型的估计。

作为本发明进一步的方案：所述高清环形相机阵利用了80个4K分辨率高清环形相机组成。

作为本发明再进一步的方案：所述衣服的种类包括短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤。

作为本发明再进一步的方案：所述条件生成对抗式网络的目标函数为：

其中L_GAN(G,D)表示生成对抗式网络的目标函数，D(x,y)表示判别器的得分，G(x,z)表示生成器的得分，ΙE_x,y与ΙE_x,z均为对应的期望，网络的损失函数使用了L1模，定义如下：

其中

表示网络的损失函数，

表示对应的期望，G(x,z)表示生成器得分。

作为本发明进一步的方案：所述步骤四中，使用了结构图的方法，对所述数据库中的人体网格模型进行映射。

作为本发明再进一步的方案：所述条件生成对抗式网络的神经网络模型可以学习一种条件映射生成器G与用来对抗生成器鉴别其生成真伪的鉴别器D，其中G可以将输入的条件x与随机生成的噪声向量z映射为输出y。

与现有技术相比，本发明的有益效果是：本发明方法解决了复杂着衣下用户真实体型的估计问题，综合考虑服装种类(短袖T恤、长袖T恤、短款外套、长款外套)、网格几何结构以及人体姿态动作，对复杂的人体动作和衣服种类都有较精准的检测结果，不再局限于网格序列的输入，也可以输入单个人体的三维模型，扩展了体型估计的应用场景。

附图说明

图1为本发明方法中高清环形相机阵列拍摄穿着不同类型衣服的静态人物的示意图。

图2为本发明方法中自己采集人体数据的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

作为本发明的一个实施例，一种基于深度神经网络的穿衣人体体型估计方法，包括如下步骤：

一.利用80个4K分辨率高清环形相机组成的高清环形相机阵列拍摄穿着不同类型衣服的静态人物，如图1所示，所述不同类型衣服包括宽松的、贴身的、紧身的(短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤等)，利用多视角立体重建算法得到点云模型，对该点云模型进行三角面片处理，获得地面及网格有一定噪声的人体网格模型的数据库；

二.对所述数据库中的人体网格模型进行手动切割，将人体网格模型中没有衣料覆盖的部分分割出来，并且分割出人体网格模型中不同衣服种类的不同部位；

三.对数据库穿着不同类型衣服的人体网格模型进行贴合度计算，使用所述身着紧身衣服或不穿衣服后获得的人体网格模型作为人体体型的真实值，对于穿着宽松的、贴身的衣服的人体网格模型，使用以下几步计算贴合度：首先将数据库中同一个人穿着宽松的、贴身的衣服的人体网格模型与其穿着紧身衣服的人体网格模型进行形变匹配，使得两个模型在形变以后具有相同的动作；然后在身着宽松的、贴身的衣服的人体网格模型上标记衣服的每一个网格顶点，对每个网格顶点使用光线追踪的方式找寻其在人体体型上对应的网格顶点，贴合度

其中V_i代表了在内部的真实人体体型的第i个网格顶点，

代表了由V_i使用15°的光线追踪所对应的最近点的集合，K_G代表的是高斯卷积，含c上标的符号表示基于光线追踪找到的对应点(Corresponding point)的各数据量；

四.使用结构图的方法，对所述数据库中的人体网格模型进行映射，使得人体网格模型的三维网格上的每一个顶点都在2D平面上有一个几何图像的映射，并且不改变除了2D平面的边缘点以外其他顶点映射的相对位置关系，得到三维网格到2D平面的映射关系，然后将三维网格的三维坐标信息、法线信息与颜色信息进行映射后作为人体网格模型的输入特性图；

五.采用条件生成对抗式网络的神经网络模型进行深度神经网络预测，使用所述输入特性图作为网络的输入，网络的输出为2D平面映射贴合度，对网络的输出进行逆映射即可获得人体网格模型的预测贴合度数值；所述条件生成对抗式网络的神经网络模型可以学习一种条件映射生成器G与用来对抗生成器鉴别其生成真伪的鉴别器D，其中G可以将输入的条件x与随机生成的噪声向量z映射为输出y；所述条件生成对抗式网络的目标函数为：

其中L_GAN(G,D)表示生成对抗式网络的目标函数，D(x,y)表示判别器的得分，G(x,z)表示生成器的得分，ΙE_x,y与ΙE_x,z为均为对应的期望。网络的损失函数使用了L1模，定义如下：

其中

表示网络的损失函数，

表示对应的期望，与上相同，G(x,z)表示生成器得分；

六.使用穿着衣服的人体网格模型与模型中每个顶点的贴合度相减，即可获得无衣服的人体网格模型，对该模型进行平滑处理后即可获得人体体型的估计。

综上所述，本发明方法，解决了复杂着衣下用户真实体型的估计问题，本方法综合考虑服装种类(短袖T恤、长袖T恤、短款外套、长款外套)、网格几何结构以及人体姿态动作，对复杂的人体动作和衣服种类都有较精准的检测结果，本发明方法不再局限于网格序列的输入，也可以输入单个人体的三维模型，扩展了体型估计的应用场景。由于网络参数没有过于复杂，这给网络移植移动端设备带来了可能，使得体型估计的工作可以在移动端设备上实现，进而完成基于移动端的人体体型采集、体型估计，给虚拟试衣和人体精准测量带来了可能性。在自己采集人体数据(见图2)的测试下，基于网络估计得到的体型结果与真实体型结果重建误差为5％，已经可以较为精准的估计出可信的体型结果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于深度神经网络的穿衣人体体型估计方法，其特征在于，包括如下步骤：一.利用高清环形相机阵列拍摄穿着不同类型衣服的静态人物，所述不同类型衣服包括宽松的、贴身的、紧身的，利用多视角立体重建算法得到点云模型，对该点云模型进行三角面片处理，获得地面及网格有一定噪声的人体网格模型的数据库；二.对所述数据库中的人体网格模型进行切割，将人体网格模型中没有衣料覆盖的部分分割出来，并且分别分割出人体网格模型中的衣服、裤子；三.对数据库中穿着不同类型衣服的人体网格模型进行贴合度计算，使用所述身着紧身衣服或不穿衣服拍摄获得的人体网格模型作为人体体型的真实值，对于穿着宽松的、贴身衣服的人体网格模型，使用以下几步计算贴合度：首先将数据库中同一个人穿着宽松的、贴身的衣服的人体网格模型与其穿着紧身衣服的人体网格模型进行动作匹配，使得两个模型在形变以后具有相同的动作；然后在身着宽松的、贴身的衣服的人体网格模型上标记衣服的每一个网格顶点，对每个网格顶点使用光线追踪的方式找寻其在人体体型上对应的网格顶点，贴合度

其中V_i代表了在内部的真实人体体型的第i个网格顶点，

代表了由V_i使用15°的光线追踪所对应的最近点的集合，K_G代表的是高斯卷积，含c上标的符号表示基于光线追踪找到的对应点的各数据量；四.对所述数据库中的人体网格模型进行映射，使得人体网格模型的三维网格上的每一个顶点都在2D平面上有一个几何图像的映射，并且不改变除了2D平面的边缘点以外其他顶点映射的相对位置关系，得到三维网格到2D平面的映射关系，然后将三维网格的三维坐标信息、法线信息与颜色信息进行映射后作为人体网格模型的输入特性图；五.采用条件生成对抗式网络的神经网络模型进行深度神经网络预测，使用所述输入特性图作为网络的输入，网络的输出为2D平面映射贴合度，对网络的输出进行逆映射即可获得人体网格模型的预测贴合度数值；六.使用穿着衣服的人体网格模型与模型中每个顶点的贴合度相减，即可获得无衣服的人体网格模型，对该模型进行平滑处理后即可获得人体体型的估计。

2.根据权利要求1所述的基于深度神经网络的穿衣人体体型估计方法，其特征在于，所述高清环形相机阵利用了80个4K分辨率高清环形相机组成。

3.根据权利要求1或2所述的基于深度神经网络的穿衣人体体型估计方法，其特征在于，所述衣服的种类包括短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤。

4.根据权利要求3所述的基于深度神经网络的穿衣人体体型估计方法，其特征在于，所述步骤四中，使用了结构图的方法，对所述数据库中的人体网格模型进行映射。

5.根据权利要求4所述的基于深度神经网络的穿衣人体体型估计方法，其特征在于，所述条件生成对抗式网络的神经网络模型可以学习一种条件映射生成器G与用来对抗生成器鉴别其生成真伪的鉴别器D，其中条件映射生成器G可以将输入的条件x与随机生成的噪声向量z映射为输出y。

6.根据权利要求5所述的基于深度神经网络的穿衣人体体型估计方法，其特征在于，所述条件生成对抗式网络的目标函数为：

其中L_GAN(G,D)表示生成对抗式网络的目标函数，D(x,y)表示判别器的得分，G(x,z)表示生成器的得分，ΙE_x,y与ΙE_x,z均为对应的期望，网络的损失函数使用了L1模，定义如下：

其中

表示网络的损失函数，

表示对应的期望，G(x,z)表示生成器得分。

Images