CN111598656B - 一种基于样例的虚拟试衣方法 - Google Patents
一种基于样例的虚拟试衣方法 Download PDFInfo
- Publication number
- CN111598656B CN111598656B CN202010398301.XA CN202010398301A CN111598656B CN 111598656 B CN111598656 B CN 111598656B CN 202010398301 A CN202010398301 A CN 202010398301A CN 111598656 B CN111598656 B CN 111598656B
- Authority
- CN
- China
- Prior art keywords
- garment
- posture
- clothes
- model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000036544 posture Effects 0.000 claims abstract description 84
- 230000037237 body shape Effects 0.000 claims abstract description 28
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 239000004744 fabric Substances 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 9
- 230000035515 penetration Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000013016 damping Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000031872 Body Remains Diseases 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于样例的虚拟试衣方法,所述方法包括以下步骤:输入人体姿势和体型参数,生成相应的三维人体模型;根据姿势参数,调用衣服姿势模型,生成标准体型、输入姿势下的三维衣服数据;根据姿势参数,搜索若干邻近的衣服体型模型;对每个邻近的衣服体型模型,根据体型参数生成相应的衣服数据,并使用LBS(Linear Blend Skinning)让衣服朝输入姿势进行变形;利用上述步骤得到的数据,合成输入人体姿势和体型参数下的衣服数据;解决衣服和人体的贯穿问题,本发明能够实时生成不同体型不同姿势下的衣服数据,同时保持衣服的大小,可以用于后续评价衣服是否合适,或用于动画、游戏领域。
Description
技术领域
本发明涉及虚拟试衣技术领域,特别是涉及一种基于样例的虚拟试衣方法。
背景技术
生活中,为了挑选一件合身的衣服,顾客不仅需要亲自到服装店(或者网购到家),还需要试穿不同尺寸的衣服以找到最适合自己的,整个过程耗时耗力。幸运的是,虚拟试衣技术正在改变这一现状。通过虚拟试衣,顾客可以轻松快速的得到不同尺寸的衣服在自己做不同动作时的试穿效果,大大简化了挑选衣服的过程。此外,虚拟试衣技术还广泛应用于电子游戏、虚拟城市等领域。为此,研究者们提出了一些可以快速、真实的生成布料动画的方法,包括物理仿真方法和数据驱动方法
物理仿真方法可以生成布料的非线性特征并获得较为真实的仿真结果。然而,当布料的网格很稠密时,仿真将很耗时,难以生成实时的布料动画。而且,对于不同的人体模型(不同的顾客),仿真过程需要重头开始,这又进一步增加了时间消耗,这使得物理仿真方法难以直接应用于实时虚拟试衣。
数据驱动的方法利用预生成的布料数据合成所需的布料形状,为了达到实时性,这些方法通常假设衣服的形变与人体姿势之间的关系是线性的和局部的,这种简化会给布料的精确度带来一定影响。Xu等人提出了一种基于样例的实时布料合成方法(参见WeiweiXu,Nobuyuki Umentani,Qianwen Chao,Jie Mao,Xiaogang Jin,and XinTong.2014.Sensitivity-optimized rigging for example-basedreal-time clothingsynthesis.ACM Trans.Graph.33,4(2014),107.),该方法使用基于敏感度分析的蒙皮方法(sensitivity-optimized rigging),可以生成较为真实的布料形态。然而该方法只能生成不同姿势下的布料形态,无法处理不同体型的人体。
为了同时处理人体的姿势和体型变化,Peng等人提出了一个布料模型,称为DRAPE(DRessing Any Person),(参见Peng Guan,Loretta Reiss,David A Hirshberg,Alexander Weiss,andMichael J Black.2012.DRAPE:DRessing Any PErson.ACMTrans.Graph.31,4(2012),35–1.)。该方法将布料的形变分解成由人体姿势变化带来的和由人体体型变化带来的,两个独立的部分。DRAPE可以为不同姿势不同体型的人体生成定制化的衣服,并根据人体体型改变衣服的纸样。然而,DRAPE无法生成同一件衣服穿在不同姿势不同体型的人体下的效果。
Santesteban等人提出了一个衣服形变的学习模型(Igor Santesteban,Miguel AOtaduy,and Dan Casas.2019.Learning-Based Animation of Clothing for VirtualTry-On.arXiv preprintarXiv:1903.07190(2019).)。该方法将姿势和体型变化带来的纠正量添加到模板衣服上,然后使用蒙皮函数对模板衣服进行变形,获得最终的结果。纠正量和人体姿势、体型的函数关系使用神经网络学习得到。该方法可以高效的预测同一件衣服在不同姿势不同体型的人体下的试穿效果,然而,该方法的训练数据生成以及训练十分耗时。
在未来的虚拟服装商店将有成千上万套服装模型,顾客输入自己的三维人体模型、选择一套服装,***将即时输出人体做不同姿势时的试穿效果。因此,提出一种可以线下快速实现,线上高效运行的布料合成算法,是虚拟试衣领域的重要且具有很大价值的问题。
发明内容
为了解决如何快速生成不同体型不同姿势人体服装动画的问题,本发明提供了一种基于样例的虚拟试衣方法,对于给定的各种种类的服装模型,该方法能够较快的生成样例数据,并实时生成不同体型不同姿势人体服装动画。
为了解决上述技术问题,本发明提供如下技术方案:
一种基于样例的虚拟试衣方法,所述方法包括以下步骤:
(1)输入人体姿势和体型参数,生成相应的三维人体模型;
(2)根据人体姿势参数,调用衣服姿势模型,生成标准体型、输入姿势下的三维衣服数据;
(3)根据人体体型参数,搜索若干邻近的衣服体型模型;
(4)对步骤(3)得到的每个衣服体型模型,根据人体体型参数生成相应的三维衣服数据,并使用线性混合蒙皮(Linear Blend Skinning)让衣服朝输入姿势进行变形;
(5)利用步骤(2)和(4)得到的数据,合成输入人体姿势和体型参数下的三维衣服数据;
(6)解决步骤(5)所得三维衣服数据和人体内数据的贯穿问题。
其中,步骤(1)中使用SMPL模型来生成不同姿势不同体型的人体(参见MatthewLoper,NaureenMahmood,Javier Romero,Gerard Pons-Moll,and Michael JBlack.2015.SMPL:A skinned multi-person linearmodel.ACM Trans.Graph.)34,6(2015),248.),姿势参数是关节的欧拉角,体型参数是12维的数据。
步骤(2)所述的衣服姿势模型是指可以根据输入的人体姿势参数,生成该姿势下三维衣服数据的模型,例如SOR(参见WeiweiXu,Nobuyuki Umentani,Qianwen Chao,JieMao,Xiaogang Jin,and Xin Tong.2014.Sensitivity-optimized rigging for example-basedreal-time clothing synthesis.ACM Trans.Graph.33,4(2014),107.)。标准体型是指衣服姿势模型所使用的人体体型,衣服姿势模型只处理不同的人体姿势,人体体型保持不变。
步骤(3)所述的衣服体型模型是指可以根据输入的人体体型参数,生成该体型下三维衣服数据的模型,此时,人体的姿势保持不变。
具体构建过程如下:
(3-1)使用SMPL人体生成模型,在某一姿势下,生成若干个不同体型的人体,并分别在这些人体上仿真衣服;
由此,给定人体体型参数,可通过公式(2)求得衣服的体型参数,再由公式(1)算得最终的衣服坐标数据,此即衣服的体型模型。
为了生成多个衣服体型模型,需要对人体的姿势进行采样,并在每个姿势下构建一个衣服体型模型。首先从已有的姿势库中选取足够数量的姿势,例如CMU motioncapture library(参见CMU.2003.CMU graphics lab motion capture database.http://mocap.cs.cmu.edu.(2003).)。然后,使用带权重的K-means对姿势进行聚类,每个关节的权重用其敏感度(sensitivity)来度量,即,
其中,sL表示第L个关节的敏感度,Y表示衣服数据,m是关节的自由度;
步骤(3)中,为了减少数据库中所需的衣服体型模型数目,可将衣服划分成若干区域。首先在标准姿势下为每个衣服顶点求得距离其最近的人体顶点,则衣服到骨骼的蒙皮权重设为和最近人体点的蒙皮权重相同。其次,将骨骼划分成Ng=7个区域:小腿和脚(左右)、大腿(左右)、前臂和手(左右)以及剩余的部分,由此,可分别处理每个区域的衣服。对第s个样例的区域g,其与输入姿势、体型的距离/>为各关节姿势差异的加权和:
代表第m个关节对区域g的影响,每当输入新的人体体型时,都需要重新计算Qg,m。由此,对每个区域都可以搜索到若干相邻的衣服体型模型。
步骤(4)中,对每个衣服体型模型,生成新体型和标准体型下的衣服数据,记为f(β,θs),f(β0,θs)(视衣服数据是人体体型和姿势的函数)。然后分别对f(β,θs),f(β0,θs)做LBS(Linear Blending Skinning)变形。下面以第s个样例新体型下的衣服数据f(β,θs)为例进行说明。首先为f(β,θs)的每个顶点寻找最近的人体模型顶点,则衣服到骨骼的蒙皮权重设为和最近人体点的蒙皮权重相同则。然后,按照如下公式将f(β,θs)朝输入姿势θ进行变形:
步骤(5)的合成公式为:
其中,f(β,θ)表示输入体型β输入姿势θ下的衣服数据,即目标数据;f(β0,θ)是标准体型β0,输入姿势θ下的衣服,即衣服姿势模型生成的数据;θs是第s个邻近的衣服体型模型(亦称第s个样例)的姿势;f(β,θs),f(β0,θs),分别是第s个衣服体型模型预测的输入体型、标准体型下的衣服;Ns表示邻近的衣服体型模型个数;是对衣服从姿势θs到姿势θ进行变形;/>和/>即为LBS综合体;ws是第s个样例的权重,计算公式如下(为简单起见,省略掉表示布料顶点的下表):
其中wg是衣服顶点在区域g的权重;
其中,∈是一个很小的正数,用来防止被零除;k用来调节邻近的样例对最终结果的影响大小。
公式(8)是对多个样例点的合成,同时可以看成对多个泰勒展开点近似结果的合成。
此外,为了避免输入姿势的突变带来衣服数据的突变,需要给公式(5)所求的距离添加阻尼效果:
步骤(5)获得的衣服数据和人体之间可能会出现贯穿现象,步骤(6)使用重投影的方法进行解决:首先,每当改变人体体型时,每个衣服体型模型将生成新体型下的衣服,并重新计算每个衣服顶点到其最近人体点之间的初始距离,称为初始间隙;然后,在合成阶段(步骤5),如果某个衣服顶点到其最近的人体点之间的间隙小于初始间隙,则按如下公式对每个样例进行处理:
其中,是处理后的顶点坐标,y是由步骤(5)得到的衣服顶点,/>是y的最近人体点的法向,hs是当前间隙;/>是第s个样例的初始间隙,∈p用来模仿布料仿真中穿透深度间隙,一般设为5mm。最后,将所有重投影值整合成最终结果:
与现有的虚拟试衣方法不同的是,本发明提供了一种基于样例的虚拟试衣方法,并具有以下技术效果:
(1)本发明提供的虚拟试衣方法将衣服的形变视为人体姿势和体型的函数,并将其分解成由姿势带来的变化和由体型带来的变化,两个独立的部分,大大减少了所需的样例个数。同时,本发明可以高效的合成不同姿势不同体型下的衣服数据,并保持了服装的原始大小,具有潜在的实际价值。
(2)本发明提供的衣服体型模型,可以高效、精确的预测不同体型下的衣服数据,适用于实时虚拟试衣等应用。
(3)本发明提供的姿势聚类方法使用关节对衣服的敏感度作为权重,可以求得对特定衣服最具代表性的姿势,适用于实时虚拟试衣等应用。
附图说明
图1为本发明提供的基于样例的虚拟试衣方法的流程图。
图2位本发明提供的基于样例的虚拟试衣方法的流程图之LBS整合过程。
具体实施方式
下面结合附图及具体实施例对本发明进行详细说明。
如图1所示,本发明提供的基于样例的虚拟试衣方法包括以下步骤:
(1)输入人体姿势和体型参数,生成相应的三维人体模型
使用SMPL模型来生成不同姿势不同体型的人体(参见Matthew Loper,NaureenMahmood,Javier Romero,Gerard Pons-Moll,and Michael J Black.2015.SMPL:Askinned multi-person linearmodel.ACM Trans.Graph.)34,6(2015),248.),姿势参数是关节的欧拉角,体型参数是12维的数据。
(2)根据人体姿势参数,调用衣服姿势模型,生成标准体型、输入姿势下的三维衣服数据
衣服姿势模型是指可以根据输入的人体姿势参数,生成该姿势下三维衣服数据的模型,例如SOR(参见WeiweiXu,Nobuyuki Umentani,Qianwen Chao,Jie Mao,XiaogangJin,and Xin Tong.2014.Sensitivity-optimized rigging for example-basedreal-time clothing synthesis.ACM Trans.Graph.33,4(2014),107.)。标准体型指SMPL模型在体型参数全为零时的体型(衣服姿势模型只处理不同的人体姿势,人体体型保持不变)。
(3)如图2所示,根据人体体型参数,搜索若干邻近的衣服体型模型
衣服体型模型是指可以根据输入的人体体型参数,生成该体型下三维衣服数据的模型(此时,人体的姿势保持不变)。
具体构建过程如下:
(3-1)使用SMPL人体生成模型,在某一姿势下,生成Nk=17个不同体型的人体(对SMPL模型前4个体型参数的每一个,分别取-2、-1、1、2,并保持其它参数为0;外加全零参数),并分别在这些人体上仿真衣服;
由此,给定人体体型参数,可通过公式(2)求得衣服的体型参数,再由公式(1)算得最终的衣服坐标数据,此即衣服的体型模型。
为了生成多个衣服体型模型,需要对人体的姿势进行采样,并在每个姿势下构建一个衣服体型模型。首先从已有的姿势库中选取足够数量的姿势,例如CMU motioncapture library(参见CMU.2003.CMU graphics lab motion capture database.http://mocap.cs.cmu.edu.(2003).)。然后,使用带权重的K-means对姿势进行聚类,每个关节的权重用其敏感度(sensitivity)来度量,即,
其中,sL表示第L个关节的敏感度,Y表示衣服数据,m是关节的自由度,
为了减少数据库中所需的衣服体型模型数目,可将衣服划分成若干区域。首先在标准姿势下为每个衣服顶点求得距离其最近的人体顶点,则衣服到骨骼的蒙皮权重设为和最近人体点的蒙皮权重相同。其次,将骨骼划分成Ng=7个区域:小腿和脚(左右)、大腿(左右)、前臂和手(左右)以及剩余的部分。由此,可分别处理每个区域的衣服。对第s个样例的区域g,其与输入姿势、体型的距离/>为各关节姿势差异的加权和:
代表第m个关节对区域g的影响。每当输入新的人体体型时,都需要重新计算Qg,m。由此,对每个区域都可以搜索到若干相邻的衣服体型模型。
(4)对步骤(3)得到的每个衣服体型模型,根据人体体型参数生成相应的三维衣服数据,并使用LBS(Linear Blend Skinning)让衣服朝输入姿势进行变形。
对每个衣服体型模型,生成新体型和标准体型下的衣服数据,记为f(β,θs),f(β0,θs)(视衣服数据是人体体型和姿势的函数)。然后分别对f(β,θs),f(β0,θs)做LBS(LinearBlending Skinning)变形。下面以第s个样例新体型下的衣服数据f(β,θs)为例进行说明。首先为f(β,θs)的每个顶点寻找最近的人体模型顶点,则衣服到骨骼的蒙皮权重设为和最近人体点的蒙皮权重相同则。然后,按照如下公式将f(β,θs)朝输入姿势θ进行变形:
(5)利用步骤(2)(4)得到的数据,合成输入人体姿势和体型参数下的三维衣服数据
合成公式为:
其中,f(β,θ)表示输入体型β输入姿势θ下的衣服数据,即目标数据;f(β0,θ)是标准体型β0,输入姿势θ下的衣服,即衣服姿势模型生成的数据;θs是第s个邻近的衣服体型模型(亦称第s个样例)的姿势;f(β,θs),f(β0,θs),分别是第s个衣服体型模型预测的输入体型、标准体型下的衣服;Ns表示邻近的衣服体型模型个数;是对衣服从姿势θs到姿势θ进行变形;/>和/>即为图二所示LBS综合体;ws是第s个样例的权重,计算公式如下(为简单起见,省略掉表示布料顶点的下表):
其中wg是衣服顶点在区域g的权重;
∈是一个很小的正数,用来防止被零除;k用来调节邻近的样例对最终结果的影响大小。
公式(8)是对多个样例点的合成,同时可以看成对多个泰勒展开点近似结果的合成。
此外,为了避免输入姿势的突变带来衣服数据的突变,需要给公式(4)所求的距离添加阻尼效果:
公式(5)获得的衣服数据和人体之间可能会出现贯穿现象,步骤(6)使用重投影的方法进行解决:首先,每当改变人体体型时,每个衣服体型模型将生成新体型下的衣服,并重新计算每个衣服顶点到其最近人体点之间的初始距离,称为初始间隙;然后,在合成阶段(步骤5),如果某个衣服顶点到其最近的人体点之间的间隙小于初始间隙,则按如下公式对每个样例进行处理:
其中,是处理后的顶点坐标,y是有步骤(5)得到的衣服顶点,/>是y的最近人体点的法向,hs是当前间隙;/>是第s个样例的初始间隙,∈p用来模仿布料仿真中穿透深度间隙,一般设为5mm。最后,将所有重投影值整合成最终结果:
Claims (7)
1.一种基于样例的虚拟试衣方法,其特征在于:包括以下步骤:
(1)输入人体姿势和体型参数,生成相应的三维人体模型;
(2)根据人体姿势参数,调用衣服姿势模型,生成标准体型、输入姿势下的三维衣服数据;
(3)根据人体体型参数,搜索若干邻近的衣服体型模型;
(4)对步骤(3)得到的每个衣服体型模型,根据人体体型参数生成相应的三维衣服数据,并使用线性混合蒙皮让衣服朝输入姿势进行变形;
(5)利用步骤(2)和(4)得到的数据,合成输入人体姿势和体型参数下的三维衣服数据;
(6)解决步骤(5)所得三维衣服数据和人体内数据的贯穿问题;
步骤(5)的合成三维衣服数据的公式为:
2.如权利要求1所述的基于样例的虚拟试衣方法,其特征在于:步骤(1)使用SMPL人体生成模型生成输入人体姿势和体型参数下的三维人体数据。
3.如权利要求1所述的基于样例的虚拟试衣方法,其特征在于:步骤(2)所述的衣服姿势模型是指根据输入的人体姿势参数,生成该姿势下三维衣服数据的模型。
4.如权利要求1所述的基于样例的虚拟试衣方法,其特征在于:步骤(3)所述的衣服体型模型是指根据输入的人体体型参数,生成该体型下三维衣服数据的模型。
5.如权利要求4所述的基于样例的虚拟试衣方法,其特征在于:生成该体型下三维衣服数据的模型过程如下:
(3-1)使用SMPL人体生成模型,在某一姿势下,生成若干个不同体型的人体,并分别在这些人体上仿真衣服;
由此,给定人体体型参数,通过公式(2)求得衣服的体型参数,再由公式(1)算得最终的衣服坐标数据,此即衣服的体型模型。
6.如权利要求1所述的基于样例的虚拟试衣方法,其特征在于:步骤(6)中解决步骤(5)所得三维衣服数据和人体内数据的贯穿问题采用的方法为重投影法。
7.如权利要求6所述的基于样例的虚拟试衣方法,其特征在于:所述的重投影法步骤为:
(6-1)当改变人体体型时,每个衣服体型模型将生成新体型下的衣服,并重新计算每个衣服顶点到其最近人体点之间的初始距离,称为初始间隙;
(6-2)在步骤(5)阶段,若某个衣服顶点到其最近的人体点之间的间隙小于初始间隙,则按公式(12)对每个样例进行处理:
(6-3)将所有重投影值整合成最终结果:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010398301.XA CN111598656B (zh) | 2020-05-12 | 2020-05-12 | 一种基于样例的虚拟试衣方法 |
PCT/CN2020/130331 WO2021227425A1 (zh) | 2020-05-12 | 2020-11-20 | 一种基于样例的虚拟试衣方法 |
US17/598,219 US11823345B2 (en) | 2020-05-12 | 2020-11-20 | Example-based real-time clothing synthesis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010398301.XA CN111598656B (zh) | 2020-05-12 | 2020-05-12 | 一种基于样例的虚拟试衣方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598656A CN111598656A (zh) | 2020-08-28 |
CN111598656B true CN111598656B (zh) | 2023-05-23 |
Family
ID=72192328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010398301.XA Active CN111598656B (zh) | 2020-05-12 | 2020-05-12 | 一种基于样例的虚拟试衣方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11823345B2 (zh) |
CN (1) | CN111598656B (zh) |
WO (1) | WO2021227425A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598656B (zh) * | 2020-05-12 | 2023-05-23 | 宁波凯信服饰股份有限公司 | 一种基于样例的虚拟试衣方法 |
US11941770B2 (en) | 2020-12-30 | 2024-03-26 | Beijing Wodong Tianjun Information Technology Co., Ltd. | System and method for 3D try-on based on human pose and body shape estimation |
CN114445271B (zh) * | 2022-04-01 | 2022-06-28 | 杭州华鲤智能科技有限公司 | 一种生成虚拟试穿3d图像的方法 |
CN114596412B (zh) * | 2022-04-28 | 2022-07-29 | 杭州华鲤智能科技有限公司 | 一种生成虚拟试穿3d图像的方法 |
CN116051694B (zh) * | 2022-12-20 | 2023-10-03 | 百度时代网络技术(北京)有限公司 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
CN116468831B (zh) * | 2023-06-20 | 2023-08-22 | 腾讯科技(深圳)有限公司 | 模型处理方法、装置、设备及存储介质 |
CN116580164B (zh) * | 2023-07-15 | 2023-10-17 | 昆明理工大学 | 一种面向单视角三维人体重建的着装特征学习方法 |
CN117035942A (zh) * | 2023-08-28 | 2023-11-10 | 南京邮电大学 | 一种基于虚拟现实的产品试用方法及*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011045768A2 (en) | 2009-10-15 | 2011-04-21 | Yeda Research And Development Co. Ltd. | Animation of photo-images via fitting of combined models |
CN102982578B (zh) * | 2012-10-31 | 2015-06-17 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
CN105654334B (zh) * | 2015-12-17 | 2020-02-28 | 中国科学院自动化研究所 | 虚拟试衣方法和*** |
CN105427386A (zh) * | 2015-12-24 | 2016-03-23 | 南京邮电大学 | 基于输入人体姿态实时生成的服装变形方法 |
CN106548392B (zh) * | 2016-10-27 | 2020-08-07 | 河海大学常州校区 | 一种基于webGL技术的虚拟试衣实现方法 |
CN108346156B (zh) * | 2017-01-22 | 2021-09-07 | 北京京东尚科信息技术有限公司 | 用户身材参数获取方法和装置 |
CN106952302B (zh) * | 2017-02-14 | 2019-12-13 | 深圳奥比中光科技有限公司 | 人体模型自动创建方法及三维试衣*** |
CN108537888B (zh) * | 2018-04-09 | 2020-05-12 | 浙江大学 | 一种基于骨架的快速试衣方法 |
US11158121B1 (en) * | 2018-05-11 | 2021-10-26 | Facebook Technologies, Llc | Systems and methods for generating accurate and realistic clothing models with wrinkles |
EP3877954A4 (en) * | 2018-12-19 | 2022-03-02 | Seddi, Inc. | LEARNING-BASED ANIMATION OF CLOTHES FOR VIRTUAL TRYING ON |
CN110457584A (zh) * | 2019-08-12 | 2019-11-15 | 西安文理学院 | 一种基于大数据的计算机数据挖掘探索方法 |
CN111598656B (zh) * | 2020-05-12 | 2023-05-23 | 宁波凯信服饰股份有限公司 | 一种基于样例的虚拟试衣方法 |
-
2020
- 2020-05-12 CN CN202010398301.XA patent/CN111598656B/zh active Active
- 2020-11-20 US US17/598,219 patent/US11823345B2/en active Active
- 2020-11-20 WO PCT/CN2020/130331 patent/WO2021227425A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20220319140A1 (en) | 2022-10-06 |
WO2021227425A1 (zh) | 2021-11-18 |
CN111598656A (zh) | 2020-08-28 |
US11823345B2 (en) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598656B (zh) | 一种基于样例的虚拟试衣方法 | |
US11763536B2 (en) | Learning-based animation of clothing for virtual try-on | |
US20190102937A1 (en) | System and Method for Simulating Realistic Clothing | |
Zurdo et al. | Animating wrinkles by example on non-skinned cloth | |
Guan et al. | Drape: Dressing any person | |
Chen et al. | Tensor-based human body modeling | |
Zhu et al. | An efficient human model customization method based on orthogonal-view monocular photos | |
Huang et al. | Parametric design for human body modeling by wireframe-assisted deep learning | |
Magnenat-Thalmann et al. | 3d web-based virtual try on of physically simulated clothes | |
Song et al. | SP-VITON: shape-preserving image-based virtual try-on network | |
De Luigi et al. | Drapenet: Garment generation and self-supervised draping | |
Wang et al. | BLSM: A bone-level skinned model of the human mesh | |
Liang et al. | Machine learning for digital try-on: Challenges and progress | |
Bakalos et al. | Motion primitives classification using deep learning models for serious game platforms | |
Makarov et al. | Real-time 3d model reconstruction and mapping for fashion | |
Li et al. | Remodeling of mannequins based on automatic binding of mesh to anthropometric parameters | |
Shi et al. | Learning a shared deformation space for efficient design-preserving garment transfer | |
Wu et al. | Example-based real-time clothing synthesis for virtual agents | |
Wu et al. | AgentDress: Realtime clothing synthesis for virtual agents using plausible deformations | |
Xiao et al. | A dynamic virtual try-on simulation framework for speed skating suits | |
Diao et al. | Combating Spurious Correlations in Loose‐fitting Garment Animation Through Joint‐Specific Feature Learning | |
Zhu et al. | Generation of Realistic Virtual Garments on Recovery Human Model | |
Chen et al. | 3d shape-adapted garment generation with sketches | |
Ait Mouhou et al. | 3D garment positioning using Hermite radial basis functions | |
Chiricota et al. | Geometrical modelling of garments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220516 Address after: 315100 Wuxiang Industrial Park, Yinzhou District, Ningbo City, Zhejiang Province Applicant after: KASHION INDUSTRY CO.,LTD. Address before: 310013 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866 Applicant before: ZHEJIANG University |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |