CN104854623A - 基于化身的虚拟试衣室 - Google Patents

基于化身的虚拟试衣室 Download PDF

Info

Publication number
CN104854623A
CN104854623A CN201380040978.4A CN201380040978A CN104854623A CN 104854623 A CN104854623 A CN 104854623A CN 201380040978 A CN201380040978 A CN 201380040978A CN 104854623 A CN104854623 A CN 104854623A
Authority
CN
China
Prior art keywords
user
wearable items
incarnation
image
described user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380040978.4A
Other languages
English (en)
Inventor
J.卡普尔
S.琼斯
K.楚诺达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/565,586 external-priority patent/US9646340B2/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104854623A publication Critical patent/CN104854623A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种帮助用户可视化可穿戴物品在用户的身体上将看起来如何的方法。在计算***上制定的方法包括从图像捕获组件接收用户的身体的图像。基于该图像,可摆姿势的三维虚拟化身被构建为基本上与用户相像。在该示例方法中,获取将可穿戴物品识别为选择用于用户的数据。该数据包括至少部分限定可穿戴物品的多个度量。然后,可穿戴物品的虚拟化形式附着于化身,该化身被提供到显示器组件以用于用户审视。

Description

基于化身的虚拟试衣室
背景技术
尽管日益接近技术,但是现代世界中的人们越来越繁忙。然而,对于许多人而言,对外表的注意保持高优先级。许多人持续投入时间维护和扩增其衣柜、购买特殊装备等等。在一些情况中,必须投入时间以便去零售店试穿和购买衣服和配饰。通过试穿一系列候选物品来选择合适大小的合适物品的过程可能是非常耗费时间的。在线购物提供了常规零售情景的较快替换方案。尽管有其优点,然而,在线购物呈现某些缺点。一个缺点是,人可能难以可视化给定物品在由该人穿戴时将看起来如何——这归因于人口中的身体大小和形状、头发和皮肤颜色等等中的丰富变化。
发明内容
本公开的一个实施例提供了一种帮助用户可视化可穿戴物品在用户的身体上将看起来如何的方法。在计算***上制定的方法包括从图像捕获组件接收用户的身体的图像。基于该图像,可摆姿势的三维虚拟化身被构建为基本上与用户相像。在该示例方法中,获取将可穿戴物品识别为选择用于用户的数据。该数据包括至少部分限定可穿戴物品的多个度量。然后,可穿戴物品的虚拟化形式附着于化身,该化身被提供到显示器组件以用于用户审视。
提供本概要来以简化形式引入在详细描述中进一步描述的概念的选择。本概要不旨在识别所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。而且,所要求保护的主题不限于解决本公开的任何部分中指出的任何缺点的实现方案。
附图说明
图1示出了根据本公开的实施例的帮助用户可视化可穿戴物品在用户的身体上将看起来如何的环境。
图2图示了根据本公开的实施例的帮助用户可视化可穿戴物品在用户的身体上将看起来如何的方法。
图3图示了根据本公开的实施例的构建人类受试者的化身的方法。
图4示出了根据本公开的实施例的虚拟骨架的各方面。
图5示出了根据本公开的实施例的连接到虚拟身体网格的虚拟头部网格的各方面。
图6和7图示了根据本公开的实施例的获取将可穿戴物品识别为选择用于用户的数据的示例方法。
图8示出了根据本公开的实施例的具有至少一个附着的可穿戴物品的化身的呈现和审视。
图9图示了根据本公开的实施例的使化身活动的方法。
图10示意性地示出了根据本公开的实施例的计算***的各方面。
具体实施方式
如本公开所使用的,“化身”是人类受试者的可摆姿势的三维计算机表示。化身可以使用在各种应用中——例如视频游戏、互动训练软件、物理治疗或零售情景中。更一般地,在期望受试者的虚拟表示的任何地方,可以使用化身。
零售情景中的化身的一个示例应用是使得顾客能够虚拟地“试穿”各种各样的可穿戴物品。这样的物品可以包括作为示例的衣服、眼镜、鞋子、配饰、假肢、首饰、纹身和/或化妆品。利用虚拟化形式的这种物品扩增其化身,顾客可能能够预测在穿戴对应实际物品时其可能看起来如何。该方法可以用于在实际造访试衣间之前预筛物品以节省时间。此外,顾客可以选择与他人共享其具有附着的虚拟物品的化身的图像。在一些场景中,可以与物理上不存在的朋友或家庭成员远程地完成共享——例如经由电子邮件或手机。这样,顾客可以在做出购买物品的决策之前得益于另一人的建议。在基于化身的在线零售体验中,选择物品、试穿物品并且然后购买物品的整个过程可以在顾客的家或工作地点的私人空间中进行。
图1示出了在一个实施例中的用于构建人类受试者12的化身的环境10,所述人类受试者是环境的用户。***包括被定位成瞄准受试者的基于视觉的用户输入设备14A。在图示的实施例中,用户输入设备操作性地耦合到个人计算机16A,其操作性地耦合到监视器18A。在一个非限制性实施例中,用户输入设备可以是来自华盛顿、雷德蒙德的微软公司的Kinect®***,并且个人计算机可以是诸如也来自微软公司的XBOX 360®之类的视频游戏***。个人计算机可以包括具有相关联的存储子***22的逻辑子***20,如此后更详细描述的。存储子***可以包括令逻辑子***制定此处所描述的方法的各方面的指令。
在图1中图示的实施例中,用户输入设备14A包括被配置成采集受试者12的深度图的深度照相机24。用户输入设备还包括被配置成采集至少受试者的面部的彩色图像的彩色照相机26。更一般地,用户输入设备中的照相机的性质和数目可以在本公开的各个实施例中不同。这样的照相机可以被配置成采集图像数据,经由下游处理从该图像数据获取深度图。如本文所使用的,术语“深度图”是指配准到所成像的景象的对应区域的像素的阵列,其中每个像素的深度值指示对应区域的深度。“深度”被定义为平行于深度照相机的光轴的坐标,其随着离用户输入设备的距离的增加而增加。
在一个实施例中,来自立体照相机对的图像数据可以进行共配准并且在数学上组合以得到深度图。在其它实施例中,用户输入设备14A可以被配置成投射包括许多离散特征(例如,线或点)的结构化红外照射。深度照相机可以被配置成对从受试者反射的结构化照射进行成像。基于所成像的受试者的各个区域中的邻近特征之间的间隔,可以构建受试者的深度图。
在其它实施例中,用户输入设备14A可以被配置成投射脉冲式红外照射。照相机对可以被配置成检测从受试者反射的脉冲式照射。这两个照相机可以包括同步到脉冲式照射的电子快门,但是照相机的积分时间可以不同,使得从源到受试者并且然后到照相机的脉冲式照射的像素分辨飞行时间与两个照相机的对应像素中所接收的光的相对量是可辨别的。
以上描述的配置使得能够实现各种方法以用于帮助用户可视化可穿戴物品在用户的身体上将看起来如何以便促进在线零售体验等等。现在通过示例的方式继续参考以上配置来描述一些这样的方法。然而,将理解到,也可以通过不同的配置来实现此处所描述的方法和本公开的范围内的其它方法。可以在***10操作的任何时间进入方法,并且可以重复执行方法。
图2图示了帮助用户可视化可穿戴物品在用户的身体上将看起来如何的示例方法28。方法可以在诸如图1的***16A之类的计算***上制定。
在方法28的30处,从诸如用户输入设备14A之类的图像捕获组件接收用户的身体的图像。图像包括用户的身体的至少一部分,但是也可以包括用户的头部和/或面部。在此处预期的实施例中,图像可以是从图像捕获组件接收的用户的图像的集合之一。集合可以包括一个或多个深度图。
在32处,可摆姿势的三维虚拟化身被构建为基本上与用户相像。可以至少部分基于30处所接收的(多个)图像来构建化身。
图3图示了构建人类受试者的化身的示例方法34。在36处,基于所接收的深度图中的一个或多个来获取受试者的虚拟骨架。图4示出了一个实施例中的示例虚拟骨架38。虚拟骨架包括枢转地耦合在多个关节42处的多个骨架部段40。在一些实施例中,身体部分名称可以被分配给每个骨架部段和/或每个关节。在图4中,每个骨架部段40的身体部分名称由随附字母表示:A用于头部、B用于锁骨、C用于上臂、D用于前臂、E用于手部、F用于躯干、G用于骨盆、H用于大腿、J用于小腿以及K用于脚部。同样地,每个关节42的身体部分名称由随附字母表示:A用于颈部、B用于肩膀、C用于肘部、D用于手腕、E用于下背、F用于臀部、G用于膝盖以及H用于脚踝。自然地,图4中所示的骨架部段和关节的布置决不是限制性的。与本公开相一致的虚拟骨架可以包括事实上任何类型和数目的骨架部段和关节。
在一个实施例中,每个关节可以被分配各种参数——例如,指定关节位置的笛卡尔坐标、指定关节旋转的角度、以及指定对应身体部分的构造(敞开的手、闭合的手等等)的附加参数。虚拟骨架可以采取包括用于每个关节的这些参数中的任何或全部的数据结构的形式。这样,可以将限定虚拟骨架的度量数据——其大小、形状、取向、位置等等——分配给关节。
现在返回到图3,虚拟骨架的骨架部段和/或关节可以适配于方法34的36处的深度图。该动作可以确定骨架的各个关节的适当位置、旋转角度和其它参数值。经由任何适合的最小化方法,可以调节骨架部段的长度以及关节的位置和旋转角度以用于与深度图的各个等高线(contour)达成一致。在一些实施例中,适配骨架部段的动作可以包括将身体部分名称分配给深度图的多个等高线。可选地,可以在最小化之前分配身体部分名称。因此,可以通过或部分基于身体部分名称来传达适配过程。例如,先前训练的身体模型的汇总可以用于将来自深度图的某些像素标示为属于特定身体部分;适于该身体部分的骨架部段然后可以适配于所标示的像素。如果给定等高线被指名为受试者的头部,那么适配过程可以力图向该等高线适配枢转地耦合到单个关节的骨架部段,即颈部。如果等高线被指名为前臂,那么适配过程可以力图适配耦合到两个关节的骨架部段——部段的每个末端处一个关节。而且,如果确定给定等高线不大可能对应于受试者的任何身体部分,那么该等高线可以被屏蔽或以其它方式从后续骨架适配消除。前述描述不应解释为限制可用于构建虚拟骨架的方法的范围,因为可以以任何适合的方式从深度图导出虚拟骨架而不脱离本公开的范围。
在图3中继续,在44处,从36处所获取的虚拟骨架收获特性度量的集合。这样的度量可以对应于虚拟骨架的预定点之间的距离。在一些实施例中,特性度量的集合可以易理解地涉及受试者的身体的大小和形状。例如,特性度量可以包括受试者的以下中的一个或多个:高度、大腿长度、手臂长度、肩膀宽度、胸部半径、腰部半径、臀部半径、手臂半径和大腿半径。
在46处,这样收获的特性度量的集合作为输入被提供到配置成输出与受试者的身体相像的虚拟身体网格的算法。换句话说,算法计算作为特性度量的函数的虚拟身体网格。在一些实施例中,用于该目的的算法可以是使用机器学习训练的算法。更特别地,算法可以是已经使用姿势的范围内的实际人类模型和单个姿势中的人类模型的范围来训练的算法,如PCT申请PCT/CN2012/077303中更详细描述的,所述申请的全文通过引用加以合并。
在图3中继续,在方法34的48处,构建与虚拟身体网格不同的虚拟头部网格。可以基于与上文提到的第一深度图不同的第二深度图来构建虚拟头部网格。当受试者比采集第一深度图时更靠近深度照相机时,可以采集第二深度图。在一个实施例中,第二深度图可以是受试者的头部的三个不同图像捕获的复合:正视图、向右转30度的视图以及向左转30度的视图。在第二深度图中,可以比第一深度图中更精细地分辨受试者的面部特征。在其它实施例中,受试者的头部可以在连续的图像捕获之间旋转大于或小于30度的角度。
为了构建虚拟头部网格,可以使虚拟头部网格模板变形以最小化第二深度图上的点与虚拟头部网格上的对应点之间的距离。然后可以利用从来自用户输入设备的彩色照相机的一个或多个图像捕获导出的颜色和纹理来扩增虚拟头部网格。这样,虚拟头部网格可以个性化为与实际人类受试者相像——即,其可以呈现在形状和皮肤颜色/纹理二者方面与受试者的那些相像的面部特征。
在50处,虚拟身体网格连接到虚拟头部网格。在该步骤中,虚拟身体模板网格的头部首先被删掉,并且然后通过对模板网格的两个敞开边界进行三角测量而连接到虚拟头部模板网格。当虚拟身体网格和虚拟头部网格就绪时,所连接的模型然后存储在***中并且被加载。两个模板网格分别由两个虚拟网格代替,因为其具有相同的连接性。根据与虚拟身体网格相一致的比例来调节虚拟头部网格的缩放。颈部周围的顶点也是平滑的,而其它顶点保持固定。这样,可以构建几何上现实并且无缝的头部/身体网格。
在52处,利用适于受试者的皮肤颜色和/或皮肤纹理来扩增虚拟身体网格。在一些实施例中,可以基于来自用户输入设备14A的彩色图像数据——诸如来自包括受试者的面部的区域的彩色图像数据来选择皮肤颜色和/或皮肤纹理。换句话说,被应用于虚拟身体网格的皮肤颜色和/或皮肤纹理可以合成以匹配受试者的面部的那个。在一个实施例中,***首先选择预设计的数据库中的身体纹理图像并且然后调制低频颜色分量使得其总体颜色与面部皮肤的颜色相一致。图5示出了示例虚拟头部网格54和组合的头部/身体网格56。根据本文阐述的方法,头部和身体模型可以准确地表示用户的身体的大小和形状。
现在返回到图2,在方法28的58处,获取将特定可穿戴物品识别为选择用于用户的数据。这样的数据可以包括至少部分限定可穿戴物品的多个度量。在一个实施例中,多个度量可以限定物品的配置。其可以限定例如缝制模式。数据也可以包括识别可穿戴物品由其制成的(多个)材料——例如(多个)织物,以及(多个)材料的(多个)颜色的数据。图6和7分别图示了可以用于获取这样的数据的示例方法58A和58B。
在方法58A中,经由来自另一人的输入选择用于用户的可穿戴物品。在一个实施例中,另一人可以是用户的朋友或亲属。在另一实施例中,可以基于适合的标准通过诸如计算***16A之类的本地或远程计算***来选择另一人。例如,可以由于该人展示出与用户的那个类似的购买行为——例如,购买相同实际项目或相同样式或价格范围的项目的历史而选择另一人。
在60处,经由计算***16A为用户提供请求来自另一人的这样的输入的机制。以任何方便的方式,用户可以打开信道以从另一人接收识别一个或多个可穿戴物品的提议。来自另一人的输入可以采取若干不同形式。输入的一个示例形式可以包括由另一人穿戴并且针对用户提议的一个或多个装备的指示。当通过敞开的信道接收提议时,在62处,可以由计算***16A选择用于用户的所提议的可穿戴物品。在64处,检索限定可穿戴物品的相关数据——例如度量数据、材料数据、颜色数据等等。在一个实施例中,可以从由物品的供应商或制造商维护的数据库来检索数据。方法从64返回。
在一些实施例中,传送针对可穿戴物品的提议和/或针对提议的请求的各种信道可以是电子邮件信道、文本或图片消息信道、推文、和/或一个或多个社会网络的通信信道。
现在转向图7,在方法58B中,通过调用诸如计算***16之类的本地或远程计算***的选择引擎来选择可穿戴物品。在此处图示的实施例中,选择引擎被配置成从用户可访问的物品的库存(inventory)选择可穿戴物品。在一个实施例中,库存可以包括用于销售给用户的物品——例如,一个供应商的库存或者多个供应商的组合库存。在另一实施例中,库存可以包括由特定名人拥有或签署的物品的“名人衣柜”。在其它实施例中,库存可以包括(或限于)已经处于用户的衣柜中的物品。在该实施例中,可以以任何适合的方式来填充库存。例如,可以将已经购买的物品的标签扫描到计算***16的数据文件中。在其它示例中,用户输入设备14A可以用于采集实际物品的一个或多个图像——在图像采集期间要么穿戴要么未穿戴。一旦填充,则可以针对各种数据——例如特定颜色、类别、样式和/或品牌的衣服项目的数目的记录来询问可穿戴物品的库存。本文描述的方法也可以提供使用户的库存减少的各种方式。例如,衣柜中的不想要的项目可以由用户识别——要么直接要么间接(例如,通过其停用)——并且发布以用于通过互联网服务销售。
现在返回到如图示的方法,在66处,针对可穿戴物品解析用户可访问的库存。在方法58B的后续决策框中,关于所选择的标准来分析可穿戴物品。将理解到,选择包括在图7中的标准是说明性的,而不以任何意义进行限制。自然地,可以省略所图示的任何决策框、所包括的不同框等等。
在方法58B的68处,确定物品是否适于当前或预测的天气条件。如果可穿戴物品适于天气条件,那么方法前进到70。然而,如果可穿戴物品不是适当的,那么方法返回到66,其中针对下一可穿戴物品再次解析库存。因此,选择引擎可以被配置成至少部分基于用户的地区中的当前或预测的天气来选择可穿戴物品。
在70处,确定可穿戴物品是否可用于穿戴。如果物品可用于穿戴,那么方法前进到72。然而,如果物品不可用于穿戴,那么方法返回到66。这样,用户可访问的物品的库存可以排除当前不可用于穿戴的物品。因此,图示的方法可以与追踪用户的衣柜中的多个物品的相关联的方法协作以确定哪些项目是当前可用的。物品可以由于其处于洗衣房中或干洗店处、暂借给另一人等等而不可用。
在相关实施例中,相关联的方法可以追踪何时最后清洗用户的衣柜中的每个物品,并且从而排除需要清洗的物品。在另一相关实施例中,相关联的方法可以追踪用户的衣柜中的物品以确定已经多么频繁地穿戴每个项目。因此,用户可访问的物品的库存可以排除由用户穿戴高于阈值频率的物品。该特征在方法58B的72处得以证实,其中确定可穿戴物品是否已经穿戴过多。如果可穿戴物品尚未穿戴过多,那么方法前进到74。然而,如果物品已经穿戴过多,那么方法返回到66。
在74处,确定可穿戴物品是否满足所选择的匹配标准。因此,上文提到的可穿戴物品可以是可穿戴第一物品;选择引擎可以被配置成基于颜色、样式和/或品牌中的一个或多个来选择关于可穿戴第二物品匹配的第一物品。在一个实施例中,可穿戴第二物品可以是已经由用户选择以用于穿戴和/或购买的物品。在另一实施例中,可穿戴第二物品可以是已经处于用户的衣柜中的物品。因此,选择引擎可以被配置成基于颜色、样式和/或品牌中的一个或多个而从用于销售给用户的物品的库存选择关于已经处于用户的衣柜中的第二物品匹配的第一物品。
而且,第二物品可以是第一物品匹配到的用户的衣柜中的多个物品之一。在某种意义上,方法58B可以用于充满用户的衣柜中的缺口。可以根据搜索在用户的衣柜中找到的物品的集合的算法来制定该特征。搜索的目标域可以包括网络上的所选择的其他用户的衣柜。如果在大量其他用户的衣柜中找到集合,连同不包括在集合中的附加物品一起,那么算法可以返回该附加项目以作为方法58B的所选择的第一可穿戴物品。
在方法58B中继续,如果可穿戴物品满足匹配标准,那么方法前进到64。否则,方法返回到66。在64处,以针对方法58A的以上所描述的方式来检索关于可穿戴物品的数据。方法从64返回。
方法58A或58B的各方面不应当以限制性意义来理解,因为也可以以其它方式选择用于用户的可穿戴物品。例如,可以通过可穿戴物品的供应商的自动化服务来选择可穿戴物品。在一些实施例中,用户可以从由供应商提供的多个这样的服务——与由不同名人签署的可穿戴物品相关联的服务(例如,Joe Hammerswing线、Bonnie Belle线等等)来选择。
再次返回到图2,在76处,可穿戴物品的虚拟化形式被调整大小以适配于用户的身体。在此处预期的实施例中,可以基于如所构建的化身或用于构建化身的任何数据来估计用户的身体的尺寸。例如,可以从虚拟骨架或者根据虚拟骨架所基于的(多个)深度图来提取用户的身体的尺寸。
在78处,可穿戴物品的虚拟化形式附着于化身。在该处理阶段处,可以基于化身的底层拓扑来调配所选择的物品的度量数据。可穿戴物品的材料数据可以用于确定可穿戴物品将如何符合拓扑。例如,织物的弹性可以用作织物将伸展以适应于用户的身体的程度的指示。在其中多个可穿戴物品将同时被检索的实施例中,第一、第二、第三可穿戴物品等等的虚拟化形式可以附着于化身。
在80处,具有附着的(多个)可穿戴物品的虚拟化形式的化身被提供到显示器组件——例如,图1的显示器18A——以用于由用户审视。图8图示了在一个示例场景中的用户12的化身82的呈现和审视。此处,长靴84和夹克86的虚拟化形式附着于化身。在某些实施例中,化身可以连同另一人——例如,用户希望与其一起被看到的人——的化身一起呈现以用于显示在显示器组件上。在一个实施例中,可以以如由用户选择的不同姿势的阵列或者以表达不同姿势的动画形式来提供化身。
图9图示了使化身活动的示例方法88。在方法88的34处,构建化身。在一个实施例中,可以根据上文图示的方法来构建化身。在90处,指定动画化身的初始期望姿势。初始期望姿势可以是具有伸出的手臂、具有举起的右手、具有抬起的左腿等等的站立姿势。在92处,基于期望姿势来重新定位虚拟骨架。在94处,如以上所描述的,基于重新定位的虚拟骨架来计算虚拟身体网格的变形。在一个实施例中,计算变形可以包括将线性蒙皮(skinning)模型应用到虚拟身体网格。在另一实施例中,计算变形可以包括将机械蒙皮仿真应用到虚拟身体网格。在机械蒙皮仿真中,用户的肉体和皮肤的运动根据牛顿物理学而被仿真为虚拟骨架的位移的函数。从94,方法可以利用指定的后续期望姿势返回到90。例如,后续期望姿势可以是增量地改变的姿势。因此,可以对重新定位虚拟骨架和计算虚拟身体网格的变形的步骤进行重复以便使化身活动。
在本文预期的方法中,事实上任何输入机制可以用于指定化身的初始和后续期望姿势。这样的机制可以包括指导身体移动的口头命令、或者来自身体移动的菜单当中的选择和/或经由用户界面的手势。在又一实施例中,利用用户输入设备14A的实时骨架追踪可以引导动画化身的移动。更特别地,用户可以简单地通过以化身期望的方式移动其自身的身体来指定化身的移动。用户输入设备可以被配置成追踪用户的身体的移动,并且将手势数据的流提供到在其上制定方法88的个人计算机。
在某些实施例中,用户可以可选地授权其具有附着的(多个)可穿戴物品的化身的呈现与至少一个其他人共享。因此,用户可以请求另一人发表涉及用户的化身在穿戴项目时看起来如何的评论。通过追踪另一人的评论,用户可以得益于另一人的建议。
再次返回到图2,在方法28的96处,为用户提供买入已经选择用于用户并且由用户审视的可穿戴物品的机制。在一个实施例中,机制可以包括从计算***16A到选择用于购买的可穿戴物品的供应商的在线零售服务的信道。这样,方法28提供通过可穿戴物品的选择和购买来引导用户的基本功能性。
一旦用户已经同意选择、已经接收所选择的可穿戴物品(如果物品被购买的话)并且穿上物品,则可以制定方法28的后续步骤。在98处,当用户将穿戴所接收的实际物品时,接收用户的一个或多个图像。在100处,保存这些图像以用于用户的后续审视。这样,用户可以维护其在其衣柜的每个项目中看起来如何的记录。
参考以上描述的说明性实施例通过示例阐述本公开的各方面。在一个或多个实施例中可以基本上相同的组件、处理步骤和其它元件被协同地识别并且以最小重复进行描述。然而,将指出,被协同地识别的元件也可以在某种程度上不同。还将指出,包括在本公开中的附图是示意性的并且通常未按比例绘制。而是,附图中所示的组件的各绘图比例、长宽比和数目可以故意地失真以更易于看出某些特征或关系。
在本文图示和/或描述的方法中,可以在不脱离本公开的范围的情况下省略所指示的过程步骤中的一些。同样地,可以不总是要求所指示的过程步骤的顺序以达到预期结果,而是便于说明和描述被提供的。可以重复施行图示的动作、功能或操作中的一个或多个,这取决于所使用的特定策略。
在一些实施例中,以上描述的方法和过程可以绑定到一个或多个计算设备的计算***。具体而言,这样的方法和过程可以实现为计算机应用程序或服务、应用编程接口(API)、库和/或其它计算机程序产品。
图10示意性地示出了可以施行以上描述的方法和过程中的一个或多个的计算***16的非限制性实施例。以简化形式示出计算***16。将理解到,事实上可以在不脱离本公开的范围的情况下使用任何计算机架构。在不同实施例中,计算***16可以采取以下各项的形式:大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如,智能电话)等等。
计算***16包括逻辑子***20和存储子***22。计算***16可以可选地包括显示器子***18、输入子***14、通信子***102和/或图10中未示出的其它组件。计算***16也可以可选地包括诸如例如键盘、鼠标、游戏控制器、照相机、麦克风和/或触摸屏之类的一个或多个用户输入设备或者与其交互。这样的用户输入设备可以形成输入子***14的一部分或者可以与输入子***14交互。
逻辑子***20包括被配置成执行指令的一个或多个物理设备。例如,逻辑子***可以被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构建的一部分的指令。这样的指令可以实现为施行任务、实现数据类型、变换一个或多个组件的状态或者以其它方式达成期望结果。
逻辑子***可以包括被配置成执行软件指令的一个或多个处理器。额外地或可替换地,逻辑子***可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子***的处理器可以是单核或多核的,并且在其上执行的程序可以被配置用于顺序、并行或分布式处理。逻辑子***可以可选地包括分布在两个或两个以上设备当中的单独的组件,所述设备可以远程地定位和/或配置以用于协同处理。逻辑子***的各方面可以由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子***22包括一个或多个物理非暂态设备,其被配置成保持由逻辑子***可执行以实现本文所描述的方法和过程的数据和/或指令。当实现这样的方法和过程时,可以变换存储子***22的状态——例如,以保持不同的数据。
存储子***22可以包括可移动的媒体和/或内置设备。存储子***22可以包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光光盘等等)、半导体存储器设备(例如,RAM、EPROM、EEPROM、等等)和/或磁性存储器设备(例如,硬盘驱动、软盘驱动、磁带驱动、MRAM等等)等等。存储子***22可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址的设备。
将领会到,存储子***22包括一个或多个物理非暂态设备。然而,在一些实施例中,本文所描述的指令的各方面可以通过不由物理设备保持有限持续时间的纯信号——例如电磁或光学信号等等——以暂态方式来传播。而且,关于本公开的数据和/或其它形式的信息可以通过纯信号来传播。
在一些实施例中,逻辑子***20和存储子***22的各方面可以一起集成到通过其可以至少部分制定本文所描述的功能性的一个或多个硬件逻辑组件中。这样的硬件逻辑组件可以例如包括现场可编程门阵列(FPGA)、程序和专用集成电路(PASIC/ASIC)、程序和专用标准产品(PSSP/ASSP)、片上***(SOC)***和复杂的可编程逻辑设备(CPLD)。
术语“模块”、“程序”和“引擎”可以用于描述实现为施行特定功能的计算***16的方面。在一些情况中,可以经由执行由存储子***22保持的指令的逻辑子***20来实例化模块、程序或引擎。因此,图10示出引擎104,其包括上文所描述的选择引擎等等。将理解到,可以从相同的应用、服务、代码块、对象、库、例程、API、函数等等来实例化不同的模块、程序和/或引擎。同样地,可以由不同的应用、服务、代码块、对象、例程、API、函数等等来实例化相同的模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可以涵盖单独或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等等。
将领会到,如本文所使用的,“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个***组件、程序和/或其它服务。在一些实现方案中,服务可以运行在一个或多个服务器计算设备上。
当包括时,显示器子***18可以用于呈现由存储子***22保持的数据的视觉表示。该视觉表示可以采取图形用户界面(GUI)的形式。当本文所描述的方法和过程改变由存储子***保持的数据,并且因此变换存储子***的状态时,显示器子***18的状态可以同样地变换以在视觉上表示底层数据中的改变。显示器子***18可以包括事实上利用任何类型技术的一个或多个显示器设备。这样的显示器设备可以以共享附件与逻辑子***20和/或存储子***22组合,或者这样的显示器设备可以是***显示器设备。
当包括时,通信子***102可以被配置成将计算***16与一个或多个其它计算设备通信地耦合。通信子***102可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子***可以被配置用于经由无线电话网络或者有线或无线局域网或广域网的通信。在一些实施例中,通信子***可以允许计算***16经由诸如互联网之类的网络将消息发送到其它设备和/或从其它设备接收消息。
最后,将指出,本公开的主题包括本文所公开的各种过程、***和配置以及其它特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合,以及其任何和所有等同物。

Claims (10)

1.一种在计算***上制定的帮助用户可视化可穿戴物品在所述用户的身体上将看起来如何的方法,所述方法包括:
从图像捕获组件接收所述用户的身体的图像;
基于所述图像,构建基本上与所述用户相像的可摆姿势的三维虚拟化身;
获取将所述可穿戴物品识别为选择用于所述用户的数据,所述数据包括至少部分限定所述可穿戴物品的多个度量;
将所述可穿戴物品的虚拟化形式附着到所述化身;以及
将具有附着的所述可穿戴物品的虚拟化形式的化身提供到显示器组件以用于所述用户审视。
2.根据权利要求1所述的方法,其中接收所述图像包括接收一个或多个深度图,其中构建所述化身包括基于所述一个或多个深度图来构建所述用户的头部和身体模型,并且其中所述头部和身体模型准确地表示所述用户的身体的大小和形状。
3.根据权利要求1所述的方法,其中经由来自另一人的输入来将所述可穿戴物品选择用于所述用户。
4.根据权利要求3所述的方法,还包括将所述另一人选择为关于可穿戴物品展示出与所述用户的购买行为类似的购买行为的人。
5.根据权利要求1所述的方法,其中通过所述可穿戴物品的供应商的自动化服务来选择所述可穿戴物品。
6.根据权利要求1所述的方法,其中经由所述计算***的选择引擎来选择所述可穿戴物品,所述选择引擎被配置成从所述用户可访问的物品的库存来选择所述可穿戴物品。
7.根据权利要求6所述的方法,其中所述可穿戴物品是第一可穿戴物品,并且其中所述选择引擎被配置成基于颜色、样式和/或品牌中的一个或多个来选择关于第二可穿戴物品匹配的第一可穿戴物品。
8.根据权利要求7所述的方法,其中所述第二可穿戴物品是已经由所述用户选择以用于穿戴和/或购买的物品。
9.根据权利要求1所述的方法,其中将所述化身提供到所述显示器组件包括提供所述用户的化身连同另一人的化身。
10.根据权利要求1所述的方法,还包括在穿戴所述可穿戴物品时接收所述用户的图像并且保存所述图像以用于所述用户审视。
CN201380040978.4A 2012-08-02 2013-08-01 基于化身的虚拟试衣室 Pending CN104854623A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/565586 2012-08-02
US13/565,586 US9646340B2 (en) 2010-04-01 2012-08-02 Avatar-based virtual dressing room
PCT/US2013/053115 WO2014022608A2 (en) 2012-08-02 2013-08-01 Avatar-based virtual dressing room

Publications (1)

Publication Number Publication Date
CN104854623A true CN104854623A (zh) 2015-08-19

Family

ID=48948553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380040978.4A Pending CN104854623A (zh) 2012-08-02 2013-08-01 基于化身的虚拟试衣室

Country Status (3)

Country Link
EP (1) EP2880637A2 (zh)
CN (1) CN104854623A (zh)
WO (1) WO2014022608A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097442A (zh) * 2016-08-24 2016-11-09 广东华邦云计算股份有限公司 一种智能仿真试衣***及其应用方法
TWI625687B (zh) * 2016-11-01 2018-06-01 緯創資通股份有限公司 互動式服飾試穿方法及其顯示系統與電腦可讀取記錄媒體
CN111837152A (zh) * 2018-01-24 2020-10-27 耐克创新有限合伙公司 使用虚拟购物助手进行个性化购物的***、平台和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336005B (zh) 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
US9754410B2 (en) 2017-02-15 2017-09-05 StyleMe Limited System and method for three-dimensional garment mesh deformation and layering for garment fit visualization
US10373373B2 (en) 2017-11-07 2019-08-06 StyleMe Limited Systems and methods for reducing the stimulation time of physics based garment simulations
US10242498B1 (en) 2017-11-07 2019-03-26 StyleMe Limited Physics based garment simulation systems and methods
US10776979B2 (en) * 2018-05-31 2020-09-15 Microsoft Technology Licensing, Llc Virtual skeleton based on computing device capability profile
EP4334880A1 (en) * 2021-05-05 2024-03-13 Retail Social Limited Systems and methods for the display of virtual clothing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901379B1 (en) * 2000-07-07 2005-05-31 4-D Networks, Inc. Online shopping with virtual modeling and peer review
US20100030578A1 (en) * 2008-03-21 2010-02-04 Siddique M A Sami System and method for collaborative shopping, business and entertainment
US20110022965A1 (en) * 2009-07-23 2011-01-27 Apple Inc. Personalized shopping avatar
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194428B2 (en) * 2001-03-02 2007-03-20 Accenture Global Services Gmbh Online wardrobe

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901379B1 (en) * 2000-07-07 2005-05-31 4-D Networks, Inc. Online shopping with virtual modeling and peer review
US20100030578A1 (en) * 2008-03-21 2010-02-04 Siddique M A Sami System and method for collaborative shopping, business and entertainment
US20110022965A1 (en) * 2009-07-23 2011-01-27 Apple Inc. Personalized shopping avatar
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAUSWIESNER S, STRAKA M, REITMAYR G: "Free viewpoint virtual try-on with commodity depth cameras", 《PROCEEDINGS OF THE 10TH INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS IN INDUSTRY》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097442A (zh) * 2016-08-24 2016-11-09 广东华邦云计算股份有限公司 一种智能仿真试衣***及其应用方法
TWI625687B (zh) * 2016-11-01 2018-06-01 緯創資通股份有限公司 互動式服飾試穿方法及其顯示系統與電腦可讀取記錄媒體
US10373333B2 (en) 2016-11-01 2019-08-06 Wistron Corporation Interactive clothes and accessories fitting method and display system thereof
CN111837152A (zh) * 2018-01-24 2020-10-27 耐克创新有限合伙公司 使用虚拟购物助手进行个性化购物的***、平台和方法

Also Published As

Publication number Publication date
WO2014022608A2 (en) 2014-02-06
EP2880637A2 (en) 2015-06-10
WO2014022608A3 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
KR101911133B1 (ko) 깊이 카메라를 이용한 아바타 구성
US9646340B2 (en) Avatar-based virtual dressing room
CN104854623A (zh) 基于化身的虚拟试衣室
US9098873B2 (en) Motion-based interactive shopping environment
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
CN102470274B (zh) 自动生成视觉表示
JP2015531098A5 (zh)
Asteriadis et al. Estimating human motion from multiple kinect sensors
CN104508709B (zh) 使用人体对对象进行动画化
Chen et al. KinÊtre: animating the world with the human body
US11557076B2 (en) Computer generated hair groom transfer tool
JP5865357B2 (ja) アバター・ジェスチャーの表示制限
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
CN102622774A (zh) 起居室电影创建
CN115244495A (zh) 针对虚拟环境运动的实时式样
US20200013232A1 (en) Method and apparatus for converting 3d scanned objects to avatars
Parger et al. UNOC: Understanding occlusion for embodied presence in virtual reality
Thalmann A new generation of synthetic actors: the real-time and interactive perceptive actors
US11386615B2 (en) Creating a custom three-dimensional body shape model
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of eyo
Vladimirov et al. Overview of Methods for 3D Reconstruction of Human Models with Applications in Fashion E-Commerce
Makled et al. Investigating user embodiment of inverse-kinematic avatars in smartphone augmented reality
CN116452601A (zh) 虚拟试衣方法、装置、电子设备及存储介质
Treepong et al. The development of an augmented virtuality for interactive face makeup system
Shen et al. Automatic pose tracking and motion transfer to arbitrary 3d characters

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150819