CN106952334A - 人体净模型的创建方法与三维试衣*** - Google Patents

Abstract

本发明提供了一种基于深度相机的人体净模型的创建方法，包括以下步骤：S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像；S2：从所述至少两幅深度图像中获取人体净模型的特征参数；S3：根据所述特征参数创建人体净模型。本发明创建人体净模型的方法可以避免宽松衣物带来的人体模型误差。另外，基于上述人体净模型的创建方法，本发明还提出一种三维试衣方法和三维试衣***，无论人体穿着宽松衣物还是紧凑衣物，使用本发明的三维试衣方法或***，均能够实时且360°展示穿衣的效果。

Description

人体净模型的创建方法与三维试衣***

技术领域

本发明涉及光学技术及计算机技术领域，具体涉及一种基于深度相机的人体净模型的创建方法与三维试衣***。

背景技术

随着网络购物、私人定制时代的来临，由传统的实体店试穿-购买模式逐渐会向网络试穿/私人定制-购买模式转型。目前已有技术中，网络试衣仍停留在二维试衣阶段，虽然有不少三维试衣应用，但实际试衣的精度及实时性仍不理想。人体三维模型的创建是实现网络试衣以及私人定制的前提，精确地获取人体净模型有助于实现衣服尺寸搭配的准确性，同时利用人体净模型可以一次性获取人体数百项表征人体外观的特征属性，从而可被用来实现衣物的私人定制化服务。

目前利用消费级的深度相机来获取人体三维模型是一种较佳的选择，一方面可以节约成本，另一方面消费级深度相机毫米级的测量精度也足够满足人体净模型的要求。尽管如此，目前基于人体三维模型的试衣仍面临一些问题：人体净模型的精确获取需要人体穿着紧凑型的衣服，然而在绝大多数情形下，被测量人员往往穿着宽松衣服，在人体穿着宽松衣物时，目前的试衣技术尚不能准确地获得人体净模型。

发明内容

本发明要解决的技术问题在于：现有试衣方案难以在人体穿着宽松衣物时准确地获得人体净模型。

为解决上述技术问题，本发明提出一种人体净模型的创建方法，包括以下步骤：

S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像；

S2：从所述至少两幅深度图像中获取人体净模型的特征参数；

S3：根据所述特征参数创建人体净模型。

优选地，所述步骤S1中的特定姿势是指在该特定姿势下，人体至少一个部分的衣着处于紧凑状态。

优选地，所述步骤S2包括：

S21：提取各个特定姿势下的深度图像中人体的各个紧凑部位的特征参数；

S22：通过变形恢复运算或建立经验公式的方法，将各个特定姿势下紧凑部位的特征参数者转化为人体实际的特征参数；

S23：将所有转化后的人体实际的特征参数汇总后作为人体净模型的特征参数。

优选地，所述步骤S22中所述的变形恢复运算具体包括：

(1)获取特定姿势下紧凑部位的点云数据，并经过去噪以及空洞填充后得到具有高质量的点云数据，并保存各点的三维欧氏坐标信息，根据点云数据获取网格模型M＝(V,E)，其中，V＝(v₁,v₂,…,v_n)^T表示由模型中各个顶点的三维坐标构成的矩阵，E表示模型中所有的边；

(2)计算用于描述模型中各个点云之间相对关系的标准矩阵S，计算公式为S＝CV，其中C＝(I-D^-1B)为变换矩阵，I为单位矩阵，D为对角矩阵，对角线上的元素D_ii＝d_i，d_i为与点v_i相邻的顶点数目，B矩阵可由下式表示：

(3)选择多个变形约束点，通过计算可以得到变形恢复后新的约束点欧氏坐标，将新的约束点坐标作为限制条件并将其添加到变换矩阵，变成新的变换矩阵C’，最后，利用公式V′＝C′^-1S求解变形后的顶点欧氏坐标。

优选地，所述步骤S3包括：

S31：建立标准人体模型；

S32：根据所述人体净模型的特征参数修改标准人体模型从而获取人体净模型。

优选地，所述步骤S1中的深度相机为基于结构光三角法、时间飞行法或双目视觉原理的其中一种。

优选地，所述步骤S1中的人体深度图像是通过人体围绕单个深度相机转动一周的方式获取的，或者是通过使用以不同角度分布在人体周围的多个深度相机同步获取的。

优选地，所述步骤S32中的修改标准人体模型的方法为基于轴变形原理的方法，或者是通过对SCAPE模型进行多次迭代的方法。

基于上述人体净模型的创建方法，本发明还提出一种建立人体净模型的***，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述建立人体净模型的***执行上述建立人体净模型的方法。

本发明还提出一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述建立人体净模型的方法。

基于上述人体净模型的创建方法，本发明还提出一种三维试衣方法，包括以下步骤：

T1：根据上述人体净模型的创建方法，创建人体净模型；

T2：创建衣物模型；

T3：将衣物模型与人体净模型合成后展示试衣效果。

本发明还提出一种三维试衣***，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述3D试衣***执行上述3D试衣方法。

本发明还提出一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述3D试衣方法。

本发明的有益效果为：本发明提供了一种基于深度相机的人体净模型的创建方法，与现有技术相比，本发明通过多个特定姿势能够准确地获取人体特征参数，然后根据人体特征参数获取人体净模型，使用本发明的方法可以避免宽松衣物带来的人体模型误差。

另外，基于上述人体净模型的创建方法，本发明还提出一种三维试衣方法和三维试衣***，无论人体穿着宽松衣物还是紧凑衣物，使用本发明的三维试衣方法或***，均能够实时且360°展示穿衣的效果。

附图说明

图1是本发明具体实施方式中人体净模型创建方法的总流程图。

图2是本发明具体实施方式中人体净模型创建方法的步骤S2的子流程图。

图3是本发明具体实施方式中人体净模型创建方法的步骤S3的子流程图。

图4是本发明具体实施方式中三维试衣方法的流程图。

具体实施方式

以下将结合附图及具体实施例进行进一步说明。

1、人体净模型的创建方法

人体净模型的创建方法，如图1所示，包括以下步骤：S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像；S2：获取人体净模型的特征参数；S3：构建人体净模型。其中，在步骤S1中利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像，所述的深度相机是基于结构光三角法的深度相机，所述的特定姿势是指人体至少一个部分的衣着处于紧凑状态。以下将对上述步骤进行详细说明。

S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像

目前用于获取深度图像的相机主要有基于结构光三角法、时间飞行法或者双目视觉原理的深度相机。

基于结构光三角法的深度相机利用激光投影仪向空间中投射经编码的标准结构光图案，空间中目标深度的不同将标准结构光图案进行了调制，通过图像相关等算法获取调制后的结构光图像与标准结构光图案的差别，根据结构光三角法建立该差别与目标深度之间的关系就可求解出整个目标空间的深度图像。

基于时间飞行法的深度相机利用激光发射仪向目标发射激光脉冲，由光接收装置获取脉冲并记录下发射到接收的光飞行时间，根据飞行时间可以计算出目标的深度图像。

基于双目视觉原理的深度相机，本质上与结构光三角法原理相似，区别在于结构光三角法是主动测量，而双目视觉则是被动测量。利用左右相机获取的图像在视差上的差别，并由视觉算法获取该视差后进一步利用三角法测量原理计算出目标的深度值。

三种深度获取方法各个优劣，结构光三角法成本较低，深度获取效率高，但多个相机同时对一个目标空间进行测量时会存在干扰。而时间飞行法的深度相机成本较高。双目视觉的深度相机算法复杂，且对目标所处的环境有一定的要求。因而，针对具体地的应用环境可以适当地选取不同的深度相机。

在本具体实施方式中，采用基于结构光三角法的深度相机来获取人体的深度图像。

在其他具体实施方式中，可以使用基于时间飞行法或者双目视觉原理的深度相机来获取人体的深度图像。

一般地，人体模型应包含360°的视场角。而单个深度相机的视场角有限，为此也有多种可供选择的人体深度图像获取方案。

一是利用单个深度相机，被测人体通过转动一周的方式让深度相机获取包含人体360°信息的多幅深度图像。利用图像注册算法根据多幅深度图像可以提取出人体的整体三维点云数据。这种方法难以实现实时的人体整体三维数据获取，优点在于成本较低。

二是利用分布在人体周围的多个深度相机，通过不同角度的多个深度相机同步地获取反映人体所有三维信息的多幅深度图像，最后利用多幅深度图像进行注册后得到人体的整体三维点云数据。这种方法实质上是利用深度相机数量上的优势来解决无法实时性提取的问题，付出的代价是成本较高。

在本具体实施方式中，深度相机数量上的选择没有限定，单个深度相机提取人体特征的速度要比多个深度相机慢。

能够精确地获取人体的净模型是进行下一步试衣的基础，然而在绝大多数情形下，被测量人员往往穿着宽松衣服，得到的三维人体模型不能准确反映人体的真实情况，脱衣或穿紧身衣测量并非是解决这一问题的最佳方案。

另外，深度图像的注册需要耗费较多的计算资源，数据要求越精确，***的实时性就会越差。目前还没有能够实时性获取人体三维整体模型的消费级解决方案。

为了解决实时性且测量精度的问题，本具体实施方式采用的方案是，从深度相机获取的人体深度图像中提取能够准确反映人体部位的特征信息，根据特征信息创建出虚拟的能反映人体三维特征的人体净模型。一旦建立人体净模型之后，后续在试衣过程中的实时显示则无须逐帧进行计算，只需逐帧提取人体骨架，由骨架驱动人体净模型的姿势以达到实时性的要求。

S2：获取人体净模型的特征参数

在这里考虑人体穿着宽松衣服时的情形(宽松衣服非厚衣服)，同样适合穿紧凑衣物时的情形。另外，这里的人体特征指人体在正常站立姿势下的人体特征。人体穿着宽松衣服时，身体中有许多部位会被衣服所遮盖，被遮盖的部位分两种，一种为贴身遮盖，一种为非贴身遮盖。在这里默认贴身遮盖(紧凑)部位的模型为实际的人体净模型，而非贴身遮盖(宽松)部位的模型则与人体净模型相差甚远。

在获取人体净模型的特征参数的步骤中，如图2所示，又包含以下三个子步骤：S21：提取各个特定姿势下的深度图像中人体的各个紧凑部位的特征参数；S22：通过变形恢复运算或建立经验公式的方法，将各个特定姿势下紧凑部位的特征参数者转化为人体实际的特征参数；S23：将所有转化后的人体实际的特征参数汇总后作为人体净模型的特征参数。以下将对上述步骤进行详细说明。

S21：提取各个特定姿势下的深度图像中人体的各个紧凑部位的特征参数

可以通过不同的姿势动作让非贴身遮盖变成贴身遮盖，比如双手叉腰则可以让腰部变成贴身遮盖、抬起小腿可以让小腿肚变成贴身遮盖、抬起一只手向侧面弯腰则可以让胸部侧边变成贴身遮盖等等。

因而，事先设定好能够反映所有人体特征的姿势，让被测人体逐个做姿势就可以获取所有人体净模型需要的人体特征数据了。

下表例举了部分姿势及对应的人体特征。

序号	姿势	贴身部位
			1	直立	肩膀
2	双手叉腰	腰部横向尺寸
			3	抬起大腿	大腿
4	抬起小腿	小腿
			5	举手、向侧面弯腰	胳膊、胸部及腰部侧面
6	向前面弯腰	背部、臀部
			7	挺胸	胸部、腹部
	…	…

人体的特征数据一般包括：身高、肩高、肩宽、腰围、胸围、大小腿轮廓、手臂轮廓等等。

另外还包括各个部位的特征点，即关节点。关节点的提取可以基于类似kinectSDK中骨架提取的算法，即先通过定位头部以及人体主干，然后利用深度学习(K-Tree)算法定位出其他骨骼关节点位置。

S22：通过变形恢复运算或建立经验公式的方法，将各个特定姿势下紧凑部位的特征参数者转化为人体实际的特征参数

人体的特征数据获取方面，在特定的姿势下直接获取的特征是不能直接用来做为人体模型特征的。比如当人体向前面弯腰时，获取的背部以及臀部的特征(宽度、横截面等)都是经变形后的数据。可以将变形后的数据通过变形恢复运算获得正常姿态下的人体特征。另外，也可以通过机器学习等方法，建立一种简单的经验公式，来反映人体特定姿势下人体特征与实际特征的关系。下面分别对这两种方法进行说明，以人体下蹲时大腿肌肉部位的变形为例，需要间接获取的特征是大腿包括两端(大腿顶端以及与小腿连接处)的多个横截面的周长，需要注意的是，这里并非是完全下蹲，为了避免大腿背面和小腿有接触时产生的背面数据不可获取的情况。

(1)变形恢复

首先，获取下蹲后大腿部的点云数据，并经过去噪以及空洞填充后得到具有较高质量的点云数据，并保存各点的三维欧氏坐标信息，根据点云数据获取网格模型M＝(V,E)。其中，V＝(v₁,v₂,…,v_n)^T表示由模型中各个顶点的三维坐标构成的矩阵，E表示模型中所有的边。

其次，计算用于描述模型中各个点云之间相对关系的标准矩阵S，该标准矩阵在变形过程中不发生变化。计算公式为S＝CV，其中C＝(I-D^-1B)为变换矩阵，I为单位矩阵，D为对角矩阵，对角线上的元素D_ii＝d_i，d_i为与点v_i相邻的顶点数目，B矩阵可由下式表示：

再次，选择多个变形约束点。这里根据先验知识，即人在站立正常姿势下大腿横截面为圆形，而下蹲时表面皮肤受拉导致大腿横截面向椭圆形变化。通过计算可以得到由椭圆变成圆形后新的约束点欧氏坐标，将新的约束点坐标作为限制条件并将其添加到变换矩阵，变成新的变换矩阵C’。最后，利用公式V′＝C′^-1S求解变形后的顶点欧氏坐标。

(2)经验公式

这里的主要目的是建立起下蹲后大腿多个横截面周长与正常站立姿势下周长之间的关系。由于不同人群的腿部轮廓不同，变形也会不同，因而要想准确地获取所要的关系，还需要对不同身高、体重、性别的人群进行采样，记录变形前后周长的变化情况，利用机器学习中的回归算法比如最小二乘回归算法、逻辑回归算法等拟合出变形前后的关系，将此关系作为经验公式。

S23：将所有转化后的人体实际的特征参数汇总后作为人体净模型的特征参数。

S3：构建人体净模型

根据提取的人体特征获取人体净模型可以看成是人体的参数化建模，如图3所示，构建人体净模型又包括以下两个子步骤：S31：建立标准人体模型；S32：根据所述人体净模型的特征参数修改标准人体模型从而获取人体净模型。一般情况下，首先需要一个标准人体模型，然后根据得到的实际人体特征修改标准人体模型从而得到能反映实际人体的人体净模型。

一种简单的标准人体模型可以按照先验知识具有一定比例的形状规则的网格化人体模型，对该标准人体模型进行修改变换主要有三种情形：长度变形、宽度变形以及周长变形。当获取的人体特征与标准模型对应的特征不一致时，就需要进行长度、宽度或周长变形。具体的变形原理为轴变形原理，这里所谓的轴变形原理即是将模型上待变形的点与长度、宽度或周长对应的轴建立一一映射关系，当轴变化时，对应的变形点的坐标也发生变化，计算出新的坐标后重新创建模型。

目前还有一些精度更加高的人体模型，比如SCAPE模型等。由SCAPE模型获取人体净模型的过程可以看成是对SCAPE模型的一次次迭代，即建立用于衡量人体特征差距的性能函数，通过将SCAPE模型的一次次修改迭代直到性能函数取值达到一定的阈值范围。

前一种人体净模型算法简单，***的实时性较高，缺点是精度较差；后一种算法较复杂，精度高，缺点是实时性较差，往往需要GPU的并行处理来解决实时性的问题。

在本具体实施方式中对人体净模型的获取方法不加以限制。

2、建立人体净模型的***

在本具体实施方式中，建立人体净模型的***，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述建立人体净模型的***执行上述建立人体净模型的方法。

在其他具体实施方式中，建立人体净模型的***还可以为一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述建立人体净模型的方法。

3、人体净模型在三维试衣中的应用

三维试衣方法，如图4所示，包括以下步骤：T1：创建人体净模型；T2：创建衣物模型；T3：将衣物模型与人体净模型合成后展示试衣效果。

一般地，首先对标准站立姿势的人体模型进行试衣，这一步可以看成是静态试衣；其次当实际人体姿势变化时的实时试衣，可以看成是动态试衣。其中动态试衣实际上是静态试衣在时间上的延伸。因而接下来主要说明静态试衣。

目前比较成熟的衣物仿真模型为质点-弹簧模型，建立衣物仿真模型后需要将衣物与人体净模型进行注册。一般认为衣物背面的最高点与人体后颈部的中心，据此可以实现衣物与人体模型的初步配准；然后根据人体当前的骨架信息实现各个部分的局部配准。在注册配准之后，还可以进行质点的力的计算、衣物碰撞检测等，以模拟出更加真实的衣物显示效果。

在后续的实时性显示过程中，只要通过识别出人体的骨架信息，然后根据该骨架信息进行局部的配准即可以实现实时的3D试衣。

4、三维试衣***

在本具体实施方式中，三维试衣***，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述3D试衣***执行上述3D试衣方法。

在其他具体实施方式中，三维试衣***还可以为一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述3D试衣方法。

本具体实施方式提供了一种基于深度相机的人体净模型的创建方法，与现有技术相比，本具体实施方式通过多个特定姿势能够准确地获取人体特征参数，然后根据人体特征参数获取人体净模型，使用本发明的方法可以避免宽松衣物带来的人体模型误差。

另外，基于上述人体净模型的创建方法，本具体实施方式还提出一种三维试衣方法和三维试衣***，无论人体穿着宽松衣物还是紧凑衣物，使用本具体实施方式的三维试衣方法或***，均能够实时且360°展示穿衣的效果。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (12)

1.一种人体净模型的创建方法，包括以下步骤：

S1：利用深度相机获取人体在至少两个特定姿势下的至少两幅深度图像；

S2：从所述至少两幅深度图像中获取人体净模型的特征参数；

S3：根据所述特征参数创建人体净模型。

2.根据权利要求1所述的人体净模型的创建方法，其特征在于，所述步骤S1中的特定姿势是指在该特定姿势下，人体至少一个部分的衣着处于紧凑状态。

3.根据权利要求2所述的人体净模型的创建方法，其特征在于，所述步骤S2包括：

S21：提取各个特定姿势下的深度图像中人体的各个紧凑部位的特征参数；

S22：通过变形恢复运算或建立经验公式的方法，将各个特定姿势下紧凑部位的特征参数者转化为人体实际的特征参数；

S23：将所有转化后的人体实际的特征参数汇总后作为人体净模型的特征参数。

4.根据权利要求3所述的人体净模型的创建方法，其特征在于，所述步骤S22中所述的变形恢复运算具体包括：

(1)获取特定姿势下紧凑部位的点云数据，并经过去噪以及空洞填充后得到具有高质量的点云数据，并保存各点的三维欧氏坐标信息，根据点云数据获取网格模型M＝(V,E)，其中，V＝(v₁,v₂,…,v_n)^T表示由模型中各个顶点的三维坐标构成的矩阵，E表示模型中所有的边；

(2)计算用于描述模型中各个点云之间相对关系的标准矩阵S，计算公式为S＝CV，其中C＝(I-D^-1B)为变换矩阵，I为单位矩阵，D为对角矩阵，对角线上的元素D_ii＝d_i，d_i为与点v_i相邻的顶点数目，B矩阵可由下式表示：

$B_{ij}=\left\{\begin{array}{cc}1& (i,j\∈E)\\ 0& otherwise\end{array}\right.$

(3)选择多个变形约束点，通过计算可以得到变形恢复后新的约束点欧氏坐标，将新的约束点坐标作为限制条件并将其添加到变换矩阵，变成新的变换矩阵C’，最后，利用公式V′＝C′^-1S求解变形后的顶点欧氏坐标。

5.根据权利要求1所述的人体净模型的创建方法，其特征在于，所述步骤S3包括：

S31：建立标准人体模型；

S32：根据所述人体净模型的特征参数修改标准人体模型从而获取人体净模型。

6.根据权利要求1所述的人体净模型的创建方法，其特征在于，所述步骤S1中的人体深度图像是通过人体围绕单个深度相机转动一周的方式获取的，或者是通过使用以不同角度分布在人体周围的多个深度相机同步获取的。

7.根据权利要求5所述的人体净模型的创建方法，其特征在于，所述步骤S32中的修改标准人体模型的方法为基于轴变形原理的方法，或者是通过对SCAPE模型进行多次迭代的方法。

8.一种建立人体净模型的***，其特征在于，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述建立人体净模型的***执行如权利要求1-7任一所述的方法。

9.一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-7任一所述的方法。

10.一种三维试衣方法，包括以下步骤：

T1：根据权利要求1-7任一所述的方法创建人体净模型；

T2：创建衣物模型；

T3：将衣物模型与人体净模型合成后展示试衣效果。

11.一种三维试衣***，其特征在于，包括存储器，用于存放程序；处理器，运行所述程序，以用于控制所述三维试衣***执行如权利要求10所述的三维试衣方法。

12.一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求10所述的三维试衣方法。