CN110751730A - 一种基于深度神经网络的穿衣人体体型估计方法 - Google Patents
一种基于深度神经网络的穿衣人体体型估计方法 Download PDFInfo
- Publication number
- CN110751730A CN110751730A CN201910669676.2A CN201910669676A CN110751730A CN 110751730 A CN110751730 A CN 110751730A CN 201910669676 A CN201910669676 A CN 201910669676A CN 110751730 A CN110751730 A CN 110751730A
- Authority
- CN
- China
- Prior art keywords
- human body
- clothes
- model
- mesh
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络的穿衣人体体型估计方法,构建了一个衣服种类丰富的三维衣服网格模型数据库,并基于该数据库训练了一个预测人体网格贴合度的深度神经网络模型。本发明方法解决了复杂着衣下用户真实体型的估计问题,综合考虑服装种类、网格几何结构以及人体姿态动作,对复杂的人体动作和衣服种类都有较精准的检测结果,不再局限于网格序列的输入,也可以输入单个人体的三维模型,扩展了体型估计的应用场景。
Description
技术领域
本发明涉及一种神经网络方法,具体是一种基于深度神经网络的穿衣人体体型估计方法。
背景技术
随着3D扫描仪的普及,以及基于结构化光和ToF(Time of Flight)等移动3D扫描传感器的出现,这些设备扩展了含深度信息的三维图像的获取方式,使得三维人体模型变得越来越普遍,如通过基于Kinect的深度相机和环形彩色相机***(Dome)都可以获得高质量的三维人体模型。然而,几乎所有的现有方法都是在不考虑人体服装的情况下进行三维重建,或者更准确地说,是在不考虑服装贴合度的情况下进行重建。实际上,人体几何和人体穿着的衣服几何之间是会存在明显差异的,借鉴服装制造商服装规格说明,服装可以大致分为宽松的、贴身的、紧身的三类服装贴合情况,这给人体真实体型估计带来极大的困难。
真实的人体体型估计对虚拟试衣、身体体型测量等应用具有非常重要的意义。考虑到让用户脱去衣服进行体型扫描是不便捷、不顾及用户隐私的,同时用户衣着又非常复杂,在穿着衣服的情况下较为精准地估计用户身体体型是非常有挑战性的。现有一些方法都通过连续动态网格序列以及统计得到的参数化人体模型的约束,进行人体体型的估计。但这些方法依然只能处理贴合的或紧身的衣服,无法在宽松服装的情况下得到精准的人体体型。为此,本方法期望从数据驱动的角度解决衣服种类服装的问题,在保证广泛服装适用性的前提下,更为精准的估计人体体型。
发明内容
本发明的目的在于提供一种基于深度神经网络的穿衣人体体型估计方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于深度神经网络的穿衣人体体型估计方法,包括如下步骤:一.利用高清环形相机阵列拍摄穿着不同类型衣服的静态人物,所述不同类型衣服包括宽松的、贴身的、紧身的,利用多视角立体重建算法得到点云模型,对该点云模型进行三角面片处理,获得地面及网格有一定噪声的人体网格模型的数据库;二.对所述数据库中的人体网格模型进行手动切割,将人体网格模型中没有衣料覆盖的部分分割出来,并且分别分割出人体网格模型中的衣服、裤子;三.对数据库中穿着不同类型衣服的人体网格模型进行贴合度计算,使用所述身着紧身衣服或不穿衣服拍摄获得的人体网格模型作为人体体型的真实值,对于穿着宽松的、贴身衣服的人体网格模型,使用以下几步计算贴合度:首先将数据库中同一个人穿着宽松的、贴身的衣服的人体网格模型与其穿着紧身衣服的人体网格模型进行动作匹配,使得两个模型在形变以后具有相同的动作;然后在身着宽松的、贴身的衣服的人体网格模型上标记衣服的每一个网格顶点,对每个网格顶点使用光线追踪的方式找寻其在人体体型上对应的网格顶点,贴合度
其中Vi代表了在内部的真实人体体型的第i个网格顶点,代表了由Vi使用15°的光线追踪所对应的最近点的集合,KG代表的是高斯卷积,含c上标的符号表示基于光线追踪找到的对应点的各数据量;四.对所述数据库中的人体网格模型进行映射,使得人体网格模型的三维网格上的每一个顶点都在2D平面上有一个几何图像的映射,并且不改变除了2D平面的边缘点以外其他顶点映射的相对位置关系,得到三维网格到2D平面的映射关系,然后将三维网格的三维坐标信息、法线信息与颜色信息进行映射后作为人体网格模型的输入特性图;五.采用条件生成对抗式网络的神经网络模型进行深度神经网络预测,使用所述输入特性图作为网络的输入,网络的输出为2D平面映射贴合度,对网络的输出进行逆映射即可获得人体网格模型的预测贴合度数值;六.使用穿着衣服的人体网格模型与模型中每个顶点的贴合度相减,即可获得无衣服的人体网格模型,对该模型进行平滑处理后即可获得人体体型的估计。
作为本发明进一步的方案:所述高清环形相机阵利用了80个4K分辨率高清环形相机组成。
作为本发明再进一步的方案:所述衣服的种类包括短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤。
作为本发明再进一步的方案:所述条件生成对抗式网络的目标函数为:
其中LGAN(G,D)表示生成对抗式网络的目标函数,D(x,y)表示判别器的得分,G(x,z)表示生成器的得分,ΙEx,y与ΙEx,z均为对应的期望,网络的损失函数使用了L1模,定义如下:
作为本发明进一步的方案:所述步骤四中,使用了结构图的方法,对所述数据库中的人体网格模型进行映射。
作为本发明再进一步的方案:所述条件生成对抗式网络的神经网络模型可以学习一种条件映射生成器G与用来对抗生成器鉴别其生成真伪的鉴别器D,其中G可以将输入的条件x与随机生成的噪声向量z映射为输出y。
与现有技术相比,本发明的有益效果是:本发明方法解决了复杂着衣下用户真实体型的估计问题,综合考虑服装种类(短袖T恤、长袖T恤、短款外套、长款外套)、网格几何结构以及人体姿态动作,对复杂的人体动作和衣服种类都有较精准的检测结果,不再局限于网格序列的输入,也可以输入单个人体的三维模型,扩展了体型估计的应用场景。
附图说明
图1为本发明方法中高清环形相机阵列拍摄穿着不同类型衣服的静态人物的示意图。
图2为本发明方法中自己采集人体数据的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
作为本发明的一个实施例,一种基于深度神经网络的穿衣人体体型估计方法,包括如下步骤:
一.利用80个4K分辨率高清环形相机组成的高清环形相机阵列拍摄穿着不同类型衣服的静态人物,如图1所示,所述不同类型衣服包括宽松的、贴身的、紧身的(短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤等),利用多视角立体重建算法得到点云模型,对该点云模型进行三角面片处理,获得地面及网格有一定噪声的人体网格模型的数据库;
二.对所述数据库中的人体网格模型进行手动切割,将人体网格模型中没有衣料覆盖的部分分割出来,并且分割出人体网格模型中不同衣服种类的不同部位;
三.对数据库穿着不同类型衣服的人体网格模型进行贴合度计算,使用所述身着紧身衣服或不穿衣服后获得的人体网格模型作为人体体型的真实值,对于穿着宽松的、贴身的衣服的人体网格模型,使用以下几步计算贴合度:首先将数据库中同一个人穿着宽松的、贴身的衣服的人体网格模型与其穿着紧身衣服的人体网格模型进行形变匹配,使得两个模型在形变以后具有相同的动作;然后在身着宽松的、贴身的衣服的人体网格模型上标记衣服的每一个网格顶点,对每个网格顶点使用光线追踪的方式找寻其在人体体型上对应的网格顶点,贴合度
其中Vi代表了在内部的真实人体体型的第i个网格顶点,代表了由Vi使用15°的光线追踪所对应的最近点的集合,KG代表的是高斯卷积,含c上标的符号表示基于光线追踪找到的对应点(Corresponding point)的各数据量;
四.使用结构图的方法,对所述数据库中的人体网格模型进行映射,使得人体网格模型的三维网格上的每一个顶点都在2D平面上有一个几何图像的映射,并且不改变除了2D平面的边缘点以外其他顶点映射的相对位置关系,得到三维网格到2D平面的映射关系,然后将三维网格的三维坐标信息、法线信息与颜色信息进行映射后作为人体网格模型的输入特性图;
五.采用条件生成对抗式网络的神经网络模型进行深度神经网络预测,使用所述输入特性图作为网络的输入,网络的输出为2D平面映射贴合度,对网络的输出进行逆映射即可获得人体网格模型的预测贴合度数值;所述条件生成对抗式网络的神经网络模型可以学习一种条件映射生成器G与用来对抗生成器鉴别其生成真伪的鉴别器D,其中G可以将输入的条件x与随机生成的噪声向量z映射为输出y;所述条件生成对抗式网络的目标函数为:
其中LGAN(G,D)表示生成对抗式网络的目标函数,D(x,y)表示判别器的得分,G(x,z)表示生成器的得分,ΙEx,y与ΙEx,z为均为对应的期望。网络的损失函数使用了L1模,定义如下:
六.使用穿着衣服的人体网格模型与模型中每个顶点的贴合度相减,即可获得无衣服的人体网格模型,对该模型进行平滑处理后即可获得人体体型的估计。
综上所述,本发明方法,解决了复杂着衣下用户真实体型的估计问题,本方法综合考虑服装种类(短袖T恤、长袖T恤、短款外套、长款外套)、网格几何结构以及人体姿态动作,对复杂的人体动作和衣服种类都有较精准的检测结果,本发明方法不再局限于网格序列的输入,也可以输入单个人体的三维模型,扩展了体型估计的应用场景。由于网络参数没有过于复杂,这给网络移植移动端设备带来了可能,使得体型估计的工作可以在移动端设备上实现,进而完成基于移动端的人体体型采集、体型估计,给虚拟试衣和人体精准测量带来了可能性。在自己采集人体数据(见图2)的测试下,基于网络估计得到的体型结果与真实体型结果重建误差为5%,已经可以较为精准的估计出可信的体型结果。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种基于深度神经网络的穿衣人体体型估计方法,其特征在于,包括如下步骤:一.利用高清环形相机阵列拍摄穿着不同类型衣服的静态人物,所述不同类型衣服包括宽松的、贴身的、紧身的,利用多视角立体重建算法得到点云模型,对该点云模型进行三角面片处理,获得地面及网格有一定噪声的人体网格模型的数据库;二.对所述数据库中的人体网格模型进行切割,将人体网格模型中没有衣料覆盖的部分分割出来,并且分别分割出人体网格模型中的衣服、裤子;三.对数据库中穿着不同类型衣服的人体网格模型进行贴合度计算,使用所述身着紧身衣服或不穿衣服拍摄获得的人体网格模型作为人体体型的真实值,对于穿着宽松的、贴身衣服的人体网格模型,使用以下几步计算贴合度:首先将数据库中同一个人穿着宽松的、贴身的衣服的人体网格模型与其穿着紧身衣服的人体网格模型进行动作匹配,使得两个模型在形变以后具有相同的动作;然后在身着宽松的、贴身的衣服的人体网格模型上标记衣服的每一个网格顶点,对每个网格顶点使用光线追踪的方式找寻其在人体体型上对应的网格顶点,贴合度
其中Vi代表了在内部的真实人体体型的第i个网格顶点,代表了由Vi使用15°的光线追踪所对应的最近点的集合,KG代表的是高斯卷积,含c上标的符号表示基于光线追踪找到的对应点的各数据量;四.对所述数据库中的人体网格模型进行映射,使得人体网格模型的三维网格上的每一个顶点都在2D平面上有一个几何图像的映射,并且不改变除了2D平面的边缘点以外其他顶点映射的相对位置关系,得到三维网格到2D平面的映射关系,然后将三维网格的三维坐标信息、法线信息与颜色信息进行映射后作为人体网格模型的输入特性图;五.采用条件生成对抗式网络的神经网络模型进行深度神经网络预测,使用所述输入特性图作为网络的输入,网络的输出为2D平面映射贴合度,对网络的输出进行逆映射即可获得人体网格模型的预测贴合度数值;六.使用穿着衣服的人体网格模型与模型中每个顶点的贴合度相减,即可获得无衣服的人体网格模型,对该模型进行平滑处理后即可获得人体体型的估计。
2.根据权利要求1所述的基于深度神经网络的穿衣人体体型估计方法,其特征在于,所述高清环形相机阵利用了80个4K分辨率高清环形相机组成。
3.根据权利要求1或2所述的基于深度神经网络的穿衣人体体型估计方法,其特征在于,所述衣服的种类包括短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤。
4.根据权利要求3所述的基于深度神经网络的穿衣人体体型估计方法,其特征在于,所述步骤四中,使用了结构图的方法,对所述数据库中的人体网格模型进行映射。
5.根据权利要求4所述的基于深度神经网络的穿衣人体体型估计方法,其特征在于,所述条件生成对抗式网络的神经网络模型可以学习一种条件映射生成器G与用来对抗生成器鉴别其生成真伪的鉴别器D,其中条件映射生成器G可以将输入的条件x与随机生成的噪声向量z映射为输出y。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910669676.2A CN110751730B (zh) | 2019-07-24 | 2019-07-24 | 一种基于深度神经网络的穿衣人体体型估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910669676.2A CN110751730B (zh) | 2019-07-24 | 2019-07-24 | 一种基于深度神经网络的穿衣人体体型估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751730A true CN110751730A (zh) | 2020-02-04 |
CN110751730B CN110751730B (zh) | 2023-02-24 |
Family
ID=69275826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910669676.2A Active CN110751730B (zh) | 2019-07-24 | 2019-07-24 | 一种基于深度神经网络的穿衣人体体型估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751730B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077545A (zh) * | 2021-04-02 | 2021-07-06 | 华南理工大学 | 一种基于图卷积的从图像中重建着装人体模型的方法 |
CN113129450A (zh) * | 2021-04-21 | 2021-07-16 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
CN113538114A (zh) * | 2021-09-13 | 2021-10-22 | 东莞市疾病预防控制中心 | 一种基于小程序的口罩推荐平台及方法 |
CN114820099A (zh) * | 2022-01-10 | 2022-07-29 | 北京工商大学 | 一种基于光线追踪的虚拟试衣数字孪生***的方法 |
CN115100339A (zh) * | 2022-06-15 | 2022-09-23 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
CN116452757A (zh) * | 2023-06-15 | 2023-07-18 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011156474A2 (en) * | 2010-06-10 | 2011-12-15 | Brown University | Parameterized model of 2d articulated human shape |
CN102982578A (zh) * | 2012-10-31 | 2013-03-20 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
CN105006014A (zh) * | 2015-02-12 | 2015-10-28 | 上海交通大学 | 虚拟衣物快速模拟试穿的实现方法及*** |
CN110021069A (zh) * | 2019-04-15 | 2019-07-16 | 武汉大学 | 一种基于网格形变的三维模型重建方法 |
-
2019
- 2019-07-24 CN CN201910669676.2A patent/CN110751730B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011156474A2 (en) * | 2010-06-10 | 2011-12-15 | Brown University | Parameterized model of 2d articulated human shape |
CN102982578A (zh) * | 2012-10-31 | 2013-03-20 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
CN105006014A (zh) * | 2015-02-12 | 2015-10-28 | 上海交通大学 | 虚拟衣物快速模拟试穿的实现方法及*** |
CN110021069A (zh) * | 2019-04-15 | 2019-07-16 | 武汉大学 | 一种基于网格形变的三维模型重建方法 |
Non-Patent Citations (2)
Title |
---|
刘军等: "基于特征匹配的三维试衣效果", 《纺织学报》 * |
高丽伟等: "基于Kinect的三维人体建模研究", 《中国科技论文》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077545A (zh) * | 2021-04-02 | 2021-07-06 | 华南理工大学 | 一种基于图卷积的从图像中重建着装人体模型的方法 |
CN113129450A (zh) * | 2021-04-21 | 2021-07-16 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
CN113129450B (zh) * | 2021-04-21 | 2024-04-05 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
CN113538114A (zh) * | 2021-09-13 | 2021-10-22 | 东莞市疾病预防控制中心 | 一种基于小程序的口罩推荐平台及方法 |
CN114820099A (zh) * | 2022-01-10 | 2022-07-29 | 北京工商大学 | 一种基于光线追踪的虚拟试衣数字孪生***的方法 |
CN114820099B (zh) * | 2022-01-10 | 2024-07-19 | 北京工商大学 | 一种基于光线追踪的虚拟试衣数字孪生***的方法 |
CN115100339A (zh) * | 2022-06-15 | 2022-09-23 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
CN116452757A (zh) * | 2023-06-15 | 2023-07-18 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和*** |
CN116452757B (zh) * | 2023-06-15 | 2023-09-15 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN110751730B (zh) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110751730B (zh) | 一种基于深度神经网络的穿衣人体体型估计方法 | |
CN110874864B (zh) | 获取对象三维模型的方法、装置、电子设备及*** | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
CN102902355B (zh) | 移动设备的空间交互方法 | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
JP7387202B2 (ja) | 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
Nakajima et al. | Semantic object selection and detection for diminished reality based on slam with viewpoint class | |
CN110148217A (zh) | 一种实时三维重建方法、装置及设备 | |
CN111524233B (zh) | 一种静态场景动态目标的三维重建方法 | |
CN101339669A (zh) | 基于正侧面影像的三维人脸建模方法 | |
US11922593B2 (en) | Methods of estimating a bare body shape from a concealed scan of the body | |
CN107862733B (zh) | 基于视线更新算法的大规模场景实时三维重建方法和*** | |
CN112669448B (zh) | 基于三维重建技术的虚拟数据集开发方法、***及存储介质 | |
KR20230078777A (ko) | 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기 | |
CN111382618B (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
KR20160144699A (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
CN115496864B (zh) | 模型构建方法、重建方法、装置、电子设备及存储介质 | |
CN108010122B (zh) | 一种人体三维模型重建与测量的方法及*** | |
CN112749611A (zh) | 人脸点云模型生成方法及装置、存储介质、电子设备 | |
Alexiadis et al. | Fast and smooth 3d reconstruction using multiple rgb-depth sensors | |
CN108229424A (zh) | 一种基于霍夫投票的增强现实***物体识别算法 | |
CN112465984A (zh) | 一种基于双层过滤的单目相机序列图像三维重构方法 | |
CN109712230B (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
CN111476899A (zh) | 基于单视点rgb相机的人手稠密纹理坐标三维重建方法 | |
CN115409949A (zh) | 模型训练方法、视角图像生成方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |