CN110363867A - 虚拟装扮***、方法、设备及介质 - Google Patents
虚拟装扮***、方法、设备及介质 Download PDFInfo
- Publication number
- CN110363867A CN110363867A CN201910640937.8A CN201910640937A CN110363867A CN 110363867 A CN110363867 A CN 110363867A CN 201910640937 A CN201910640937 A CN 201910640937A CN 110363867 A CN110363867 A CN 110363867A
- Authority
- CN
- China
- Prior art keywords
- dress ornament
- dress
- key point
- posture
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000009877 rendering Methods 0.000 claims abstract description 131
- 239000011521 glass Substances 0.000 claims abstract description 47
- 230000015654 memory Effects 0.000 claims abstract description 22
- 230000003190 augmentative effect Effects 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims description 36
- 238000005286 illumination Methods 0.000 claims description 26
- 210000002414 leg Anatomy 0.000 claims description 15
- 210000000245 forearm Anatomy 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 210000000689 upper leg Anatomy 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 210000001699 lower leg Anatomy 0.000 claims description 8
- 210000001015 abdomen Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 230000003252 repetitive effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005034 decoration Methods 0.000 claims description 5
- 230000001550 time effect Effects 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 210000000887 face Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种虚拟装扮***、方法、设备及介质，该***包括：眼镜，该眼镜包含存储器和处理器，用于：提供服饰选择界面，接收用户所选择的选定服饰；采集视觉数据，包含由镜子反射出的人体影像；根据视觉数据得到当前人体姿态；获取选定服饰的服饰模型，获取选定服饰的服饰关键点与人体关键点的匹配信息；根据当前人体姿态、以及选定服饰的服饰模型和匹配信息来得到选定服饰的已匹配当前人体姿态的服饰模型；根据已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果；显示服饰渲染结果。利用本发明的虚拟装扮***、方法、设备及介质，用户仅需佩戴增强现实眼镜并使用身边的任意的普通镜子，就能实现虚拟装扮体验，灵活方便，用户体验好。
Description
技术领域
本发明涉及增强现实技术领域，特别是涉及一种虚拟装扮***、方法、设备及介质。
背景技术
虚拟装扮(virtual dressing)也称为虚拟试穿，指的是用户选择一件、一类、多件或多类时尚服饰后，将该时尚服饰的二维或三维图像叠加在用户身上，这样用户就能够观察到装扮上这些时尚服饰的自己是什么样子了。
现有多种实现虚拟装扮的方法。在这些方法中，有的利用了增强现实技术和动作跟踪技术来生成视频，使得在该视频中用户看起来像是穿着虚拟服饰。该方法需要利用特殊设计的虚拟试衣镜，包括屏幕、摄像头以及用于渲染虚拟服饰的处理单元，用于捕捉用户的姿势以在该用户上呈现时尚服饰，并利用该屏幕上显示出来。从用户使用角度来说，这种***不够灵活，用户体验较差。如果用户将这种***置于家中，就不能在外使用该***。
发明内容
本发明的目的在于提供一种新的虚拟装扮***、方法、设备及介质，在使用过程中，用户仅需佩戴增强现实眼镜并使用身边的任意的普通镜子，就能实现虚拟装扮体验，灵活方便，用户体验好。
本发明的目的采用以下技术方案来实现。依据本发明提出的虚拟装扮***，所述***包括：眼镜，包含存储器和处理器；服饰选择模块，用于提供服饰选择界面，接收用户所选择的服饰作为选定服饰；视觉数据采集模块，用于采集视觉数据，所述视觉数据包含由镜子反射出的人体影像；姿势识别与定位模块，用于根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态；其中，所述当前人体姿态包括多个人体关键点的当前姿态信息；服饰数据获取模块，用于获取所述选定服饰的服饰模型，所述服饰模型包括多个服饰关键点，获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息；服饰与人体姿态融合模块，用于根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息，来确定所述选定服饰的所述服饰关键点的当前姿态信息，以得到所述选定服饰的已匹配当前人体姿态的服饰模型；渲染模块，用于根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果；服饰显示模块，用于通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果，用以采用增强现实形式展示装扮效果；
其中，所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块、所述服饰显示模块之中的一个或多个设置于所述眼镜的存储器上。
本发明的目的还可以采用以下的技术措施来进一步实现。
前述的虚拟装扮***，所述姿势识别与定位模块包括镜子识别定位单元和姿势识别与定位单元；所述镜子识别定位单元用于将所述视觉数据中的镜子的区域分割出来得到镜内视觉数据，所述镜内视觉数据包含所述人体影像；所述姿势识别与定位单元用于根据所述镜内视觉数据来得到所述当前人体姿态。
前述的虚拟装扮***，所述视觉数据采集模块具体用于采集二维视觉数据；所述姿势识别与定位模块具体用于：利用DensePose方式，根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态，包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。
前述的虚拟装扮***，所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。
前述的虚拟装扮***，所述服饰数据获取模块具体用于：获取所述选定服饰的服饰三维模型，获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息；所述渲染模块具体用于：根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像；所述服饰显示模块具体用于：通过将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。
前述的虚拟装扮***，所述服饰渲染模块包括光照模拟单元，用于：获取当前的光照条件；在根据所述已匹配当前人体姿态的服饰模型进行渲染时，根据所述光照条件动态设定虚拟世界的光源。
前述的虚拟装扮***，所述***还包括校准模块，用于通过将人脸信息作为校准的标记，来对所述服饰渲染结果的待展示位置进行校准；所述服饰显示模块具体用于：根据校准后的所述待展示位置，将校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。
前述的虚拟装扮***，所述校准模块包括：人脸关键点识别单元，用于识别所述人体影像的面部关键点；标准人脸展示单元，用于利用所述眼镜展示预设的标准人脸图像，并提示用户进行移动以将用户面部与所述标准人脸图像对齐；人脸对齐判断单元，用于根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐；校准单元，用于在所述用户面部与所述标准人脸图像对齐时，确定相机坐标系与显示坐标系的坐标映射关系，用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。
前述的虚拟装扮***，所述***还包括数据库，用于存储多个可选服饰的服饰模型、以及所述可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息；所述服饰数据获取模块具体用于：从所述数据库中调出所述选定服饰的所述服饰模型、和所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息；所述***还包括数据库录入模块，用于：预先接收所述可选服饰的服饰模型，将所述可选服饰的服饰模型中的一个或多个服饰关键点与人体关键点相匹配得到匹配信息，并录入所述数据库。
前述的虚拟装扮***，还包括服饰效果备忘录模块，用于：每隔一个预设的时间间隔，利用所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块和所述服饰显示模块，重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤，以实时地显示装扮效果；对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。
前述的虚拟装扮***，所述***还包括显示模式判断模块，用于根据当前处于在线状态或离线状态、和/或根据用户的选择，来判断显示模式；所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个；所述服饰显示模块包括第一显示单元、第二显示单元、第三显示单元中的一个或多个；所述第一显示单元用于：若所述显示模式是所述第一显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上，以便用户从所述镜子中看到虚拟装扮的自己；所述第二显示单元用于：若所述显示模式是所述第二显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据；所述第三显示单元用于：若所述显示模式是所述第三显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
本发明的目的还采用以下的技术方案来实现。依据本发明提出的虚拟装扮方法，包括以下步骤：提供服饰选择界面，接收用户所选择的服饰作为选定服饰；采集视觉数据，所述视觉数据包含由镜子反射出的人体影像；根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态；其中，所述当前人体姿态包括多个人体关键点的当前姿态信息；获取所述选定服饰的服饰模型，所述服饰模型包括多个服饰关键点，获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息；根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息，来确定所述选定服饰的所述服饰关键点的当前姿态信息，以得到所述选定服饰的已匹配当前人体姿态的服饰模型；根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果；通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果，用以采用增强现实形式展示装扮效果。
本发明的目的还可以采用以下的技术措施来进一步实现。
前述的虚拟装扮方法，所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括：将所述视觉数据中的镜子区域分割出来得到镜内视觉数据，所述镜内视觉数据包含所述人体影像；根据所述镜内视觉数据来得到所述当前人体姿态。
前述的虚拟装扮方法，所述采集视觉数据包括采集二维视觉数据；所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括：利用DensePose方式，根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态，包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。
前述的虚拟装扮方法，所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。
前述的虚拟装扮方法，所述获取所述选定服饰的服饰模型包括：获取所述选定服饰的服饰三维模型；所述获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息包括：获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息；所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括：根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像；所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括：将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。
前述的虚拟装扮方法，所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括：获取当前的光照条件；在根据所述已匹配当前人体姿态的服饰模型进行渲染时，根据所述光照条件动态设定虚拟世界的光源。
前述的虚拟装扮方法，在所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的步骤之前，还包括：通过将人脸信息作为校准的标记，来对所述服饰渲染结果的待展示位置进行校准；所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括：根据校准后的所述待展示位置，将所述校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。
前述的虚拟装扮方法，所述通过将人脸信息作为校准的标记，来对所述服饰渲染结果的待展示位置进行校准包括：识别所述人体影像的面部关键点；展示预设的标准人脸图像，并提示用户进行移动以将用户面部与所述标准人脸图像对齐；根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐；在所述用户面部与所述标准人脸图像对齐时，确定相机坐标系与显示坐标系的坐标映射关系，用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。
前述的虚拟装扮方法，还包括：每隔一个预设的时间间隔，重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤，以实时地显示装扮效果；对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。
前述的虚拟装扮方法，所述方法还包括：根据当前处于在线状态或离线状态、和/或根据用户的选择，来判断显示模式，所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个；所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果，包括以下的一个或多个步骤：若所述显示模式是所述第一显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上，以便用户从所述镜子中看到虚拟装扮的自己；若所述显示模式是所述第二显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据；若所述显示模式是所述第三显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现前述的虚拟装扮方法的步骤。
本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种计算机可读存储介质，用于存储计算机程序，所述程序在由计算机或处理器执行时实现前述方法实施例的步骤。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提出的虚拟装扮***、方法、设备及介质至少具有下列优点及有益效果：
(1)本发明利用增强现实眼镜和一个普通的镜子来实现虚拟装扮体验，在使用过程中，用户仅需佩戴增强现实眼镜，身边的每一面普通镜子都会变成“虚拟试衣镜”，虚拟试衣体验不受特别设计的大屏幕的限制，灵活方便，用户体验好；
(2)本发明通过先将视觉数据中的镜子区域分割出来，再利用得到的镜内视觉数据进行人体姿态识别，能够去除视觉数据中的非镜子区域存在人员时对虚拟装扮的干扰，有利于更准确地识别到用户；
(3)本发明通过利用DensePose方式估计SMPL模型来得到当前人体姿态，能够准确地确定当前人体姿态数据；
(4)本发明通过在人体模型中设置头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚、右脚等18个人体关键点，有助于提升人体姿态识别的速度，并能够在提升人体姿态识别速度的同时准确地进行虚拟装扮；
(5)本发明通过将三维的服饰建模成形变物体，服饰会跟随人体姿态的变化发生形变，产生较好的体验效果；
(6)本发明根据光照条件动态设定虚拟世界的光源，能够反映服饰在真实场景中的颜色，产生真实的渲染效果，便于用户进行颜色搭配；
(7)本发明通过利用人脸信息进行标定来实现校准，能够在展现虚拟服饰时更准确地将虚拟服饰叠加到用户身上；
(8)本发明通过设置多种显示模式，能够根据在线、离线的不同状态、或根据用户的选择，采用多种方式展示虚拟装扮效果，灵活方便，用户体验好。
上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明一个实施例的虚拟装扮***的结构示意图；
图2是本发明另一实施例的虚拟装扮***的结构示意图；
图3是本发明一个实施例的虚拟装扮方法的流程框图；
图4是本发明一个实施例的设备的结构框图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的虚拟装扮***、方法、设备及介质的具体实施方式、结构、特征及其功效，详细说明如后。
图1为本发明的虚拟装扮***100一个实施例的示意性结构图，图2为本发明的虚拟装扮***100另一个实施例的示意性结构图。请参阅图1或图2，本发明示例的虚拟装扮***100主要包括：眼镜110。眼镜110包括服饰选择模块111、视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116、服饰显示模块117之中的一个或多个。在一些示例中，该眼镜110是智能眼镜。可选地，该眼镜110是增强现实眼镜(也称为AR眼镜，augmented reality goggles)。该眼镜110包含存储器和处理器，前述的服饰选择模块111、视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116、服饰显示模块117之中的一个或多个设置于眼镜110的存储器上。在使用过程中，需要用户佩戴眼镜110并站在镜子前。该镜子包含能够反射事物的镜面。一般来说，该镜子为普通镜子即可。这是由于AR眼镜上的摄像头无法拍摄用户自身的图像，需要一个镜子以使得AR眼镜上的摄像头能够采集到用户的姿态。
该服饰选择模块111用于：提供服饰选择界面，接收用户所选择的一件、一类、多件或多类待试穿的服饰作为选定服饰，输出该选定服饰。需注意，对服饰的类型不做限制，可以是包、上衣、裙子等。在一些示例中，利用眼镜110的屏幕来实现前述的提供服饰选择界面。
该视觉数据采集模块112用于：采集视觉数据，输出该视觉数据。其中，该视觉数据包含由镜子反射出的人体的影像。在一些实施例中，该视觉数据包括RGB图像，该RGB图像包含由镜子反射出的用户人体RGB信息；该视觉数据采集模块112包括RGB图像捕捉器，用于采集含有由镜子反射出的用户人体RGB信息的RGB图像。可选地，该视觉数据采集模块112包括设置于眼镜110的摄像头。
该姿势识别与定位模块113用于：接收视觉数据，根据该视觉数据得到由镜子反射出的人体的当前人体姿态，输出该当前人体姿态。其中，该当前人体姿态包括多个人体关键点的当前姿态信息。人体关键点也可以称为人体部位关键点、或人体关键部位。一般来说，由镜子反射出的人体即为用户本人。
该服饰数据获取模块114用于：接收选定服饰；获取该选定服饰的服饰模型，该服饰模型包括多个服饰关键点；获取选定服饰的服饰关键点与人体关键点的匹配信息。在一个可选示例中，该服饰模型预先储存在服务端中，眼镜110的服饰数据获取模块114获取服务端所提供的选定服饰的服饰模型；在另一个可选示例中，该服饰模型预先储存在眼镜110的存储单元中，眼镜110的服饰数据获取模块114通过读取该存储单元来获取选定服饰的服饰模型。
该服饰与人体姿态融合模块115用于：接收当前人体姿态、以及选定服饰的服饰模型和匹配信息，根据人体关键点的当前姿态信息、以及选定服饰的服饰模型和匹配信息，来确定选定服饰的服饰关键点的当前姿态信息，以得到选定服饰的已匹配当前人体姿态的服饰模型。
该渲染模块116用于：根据已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果。可选地，该服饰渲染结果包括已匹配当前人体姿态的服饰图像。
该服饰显示模块117用于：显示服饰渲染结果。具体地，通过将服饰渲染结果叠加到用户看到的人体影像上来显示该服饰渲染结果，用以采用增强现实形式展示装扮效果。不妨将由镜子反射出的人体影像称为虚像。在一些示例中，利用眼镜110的屏幕来实现前述的展示该服饰渲染结果，将该服饰渲染结果叠加到由镜子反射出的人体影像上。
本发明示例的虚拟装扮***100，利用增强现实眼镜和一个普通的镜子来实现虚拟装扮体验，在使用过程中，用户仅需佩戴增强现实眼镜，身边的每一面普通镜子都会变成“虚拟试衣镜”，灵活方便，用户体验好。
在一些实施例中，姿势识别与定位模块113包括镜子识别定位单元和姿势识别与定位单元。该镜子识别定位单元用于：接收视觉数据，利用镜子识别定位模型，将视觉数据中的镜子的区域分割出来得到镜内视觉数据。其中，镜内视觉数据包含由镜子反射出的人体影像。该姿势识别与定位单元用于：根据镜内视觉数据来得到当前人体姿态。利用本发明示例的虚拟装扮***100，能够去除视觉数据中的非镜子区域存在人员时对虚拟装扮的干扰，有利于更准确地识别到用户。
在一些实施例中，采集到的视觉数据是二维图像，例如二维的RGB图像，并根据该二维图像识别出三维的人体姿态。可选地，视觉数据采集模块112具体用于采集二维视觉数据。姿势识别与定位模块113具体用于：利用密集姿态(DensePose)方式，根据该二维视觉数据估计得到有蒙皮的多人线性模型(A Skinned Multi-Person Linear Model，简称为SMPL模型)，作为当前人体姿态。可选地，前述的得到SMPL模型包括：得到SMPL模型中的多个三维的人体关键点的当前姿态信息。
其中，前述的DensePose是一种人体姿态估计技术，其将二维图像中的人类像素映射到三维人体表面，并以每秒多帧的速度处理密集坐标，最后实现动态人物的精确定位和姿态估计。前述的SMPL模型是一种参数化人体模型，包含多种用于描述人体的参数。具体包括用于表示个人体高矮胖瘦、头身比例等多个参数，以及用于表示代表人体整体运动位姿和24个人体关键点的相对角度等多个参数。
本发明通过利用DensePose方式估计SMPL模型来得到当前人体姿态，能够准确地得到当前人体姿态数据。
需注意，本发明并非仅限采用DensePose方式进行姿态识别，也并非仅限采用SMPL人体模型来表征人体，本发明提出的虚拟装扮***100也可以采用其他的姿态识别方式、或使用其他的人体模型来实现。
需注意，本发明对人体关键点的姿态信息的类型不做限制，可以采用多种方式来表现人体关键点的姿态信息，例如，可以利用平面直角坐标系下的位置坐标来表现人体关键点的姿态信息，也可以是多个关键点之间的相对角度和相对距离来表现人体关键点的姿态信息。
在一些实施例中，不采用SMPL模型所常用的24个人体关键点，而是采用较少的人体关键点，以提升利用DensePose方式进行人体姿态估计的速度。同时，还需要考虑虚拟装扮的特点，不能将人体关键点减得过少而影响虚拟装扮效果。具体地，本发明的人体关键点包括：头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚、右脚。本发明示例的虚拟装扮***100，通过在人体模型中设置前述的18个人体关键点，有助于提升利用DensePose模型进行姿态识别的速度，并能够在提升人体姿态估计速度的同时准确地进行虚拟装扮。
需注意，本发明提出的前述的18个人体关键点的方式并非仅限于前述的SMPL模型，也可以将该方式应用于本发明的采用其他人体模型的虚拟装扮***100的实施例之中。
在一些实施例中，服饰数据获取模块114具体用于：获取选定服饰的服饰三维模型，获取选定服饰的三维的服饰关键点与三维的人体关键点的匹配信息。同时，服饰与人体姿态融合模块115所生成的已匹配当前人体姿态的服饰模型也是三维的。渲染模块116具体用于：根据三维的已匹配当前人体姿态的服饰模型进行渲染，得到选定服饰的服饰二维图像。服饰显示模块117具体用于：通过将服饰二维图像叠加到用户看到的自身虚像中来显示该服饰二维图像。本发明示例的虚拟装扮***100，将三维的服饰建模成形变物体，这样服饰会跟随人体姿态的变化发生形变，产生较好的体验效果。
在一些实施例中，服饰渲染模块116包括光照模拟单元。该光照模拟单元用于：获取当前的光照条件；以及，在根据已匹配当前人体姿态的服饰模型进行渲染时，根据光照条件动态设定虚拟世界的光源，以便反映服饰在真实场景中的颜色，产生真实的渲染效果，便于用户进行颜色搭配。需注意，可以采用多种方式来实现前述的获取当前的光照条件。在一个实施例中，利用传感器实时采集当前的光照条件；在另一实施例中，获取当前时间，根据预先设定的时间与光照的对应关系来确定当前时间的光照条件；在又一实施例中，同时采用多种方式获取光照条件，并综合考虑多种方式得到的光照条件来确定当前的光照条件。
在一些实施例中，本发明的虚拟装扮***100还包括校准模块118。校准模块118用于校准由服饰渲染模块116生成的服饰二维图像，以供服饰显示模块117展示校准后的服饰二维图像。该校准具体指的是：统一用户所在的真实世界坐标系，和眼镜110的相机坐标系。一般的校准方式包括使用一个2d的标记(marker)来进行校准。
进一步地，在一些实施例中，校准模块118具体用于：利用人脸信息进行标定，通过将人脸信息作为校准的标记(marker)，来对服饰渲染结果的待展示位置进行校准。而服饰显示模块117具体用于：根据服饰渲染结果的校准后的待展示位置，将校准后的服饰渲染结果叠加到用户看到的人体影像上。
作为一个可选的具体实施例，校准模块118具体包括以下单元：
人脸关键点识别单元，用于识别视觉数据中的人体影像的面部关键点，例如眉毛、鼻子、嘴巴；
标准人脸展示单元，用于利用眼镜110展示预设的标准人脸图像，例如在AR眼镜屏幕上显示一个标准人脸图像，并提示用户进行移动以将用户面部(即镜中的人脸)与标准人脸图像对齐；
人脸对齐判断单元，用于根据识别出的面部关键点判断用户面部是否与标准人脸图像对齐；需注意，并非必须完全对齐，误差在预设的阈值内即可；
校准单元，用于在用户面部与标准人脸图像对齐时，确定相机坐标系与显示坐标系的坐标映射关系，用以根据坐标映射关系来校准服饰渲染结果的待展示位置。从而能够将眼镜110屏幕上的服饰渲染结果准确地叠加到由镜子反射出的人体影像上。
本发明示例的虚拟装扮***100，通过利用利用人脸信息进行标定来实现校准，能够将眼镜110屏幕上的虚拟信息准确地叠加到用户看到的真实世界，以让用户产生AR感。
在一些实施例中，本发明示例的虚拟装扮***100还包括数据库120，利用数据库120来获取服饰数据。具体地，数据库120用于存储有多个可供用户选择的可选服饰的服饰模型、以及这些可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息。服饰数据获取模块114具体用于：从数据库120中调出选定服饰的服饰模型、和选定服饰的服饰关键点与人体关键点的匹配信息。
需要注意的是，数据库120可以通过设置于眼镜110中的存储器来实现。或者，如图2所示，数据库120也可以不设置于眼镜110中，而是设置于服务端，并且通过服饰数据获取模块114与服务端的交互来获取服饰数据。
进一步地，本发明示例的虚拟装扮***100还包括数据库录入模块121。该数据库录入模块121用于：预先接收可供用户选择的可选服饰的服饰模型，将可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点相匹配得到匹配信息，并录入数据库120。
在一些实施例中，本发明示例的虚拟装扮***100还包括服饰效果备忘录模块119。服饰效果备忘录模块119用于：每隔一个预设的时间间隔，启动虚拟装扮***100的前述的多个模块和单元，例如启动视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116和服饰显示模块117，用以重复进行前述的采集视觉数据至显示服饰渲染结果的多个步骤，以实时地显示装扮效果。
进一步地，在一些实施例中，服饰效果备忘录模块119还用于：对每次重复过程中的虚拟装扮信息进行记录，以生成用户历史装扮记录。该虚拟试衣信息包括视觉数据、选定服饰的服饰关键点与人体关键点的匹配信息、已匹配当前人体姿态的服饰模型中的一个或多个。以便用户同时比较不同服饰效果。
在一些实施例中，本发明示例的虚拟装扮***100还包括显示模式判断模块(图中未示出)，用于根据当前处于在线状态或离线状态、和/或根据用户的选择，来判断显示模式。该显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个。服饰显示模块117包括第一显示单元、第二显示单元、第三显示单元中的一个或多个。
该第一显示单元用于：若显示模式是第一显示模式，则在显示服饰渲染结果时，将服饰渲染结果叠加到由镜子反射出的人体影像上，以便用户从镜子中看到虚拟装扮的自己。
该第二显示单元用于：若显示模式是第二显示模式，则在显示服饰渲染结果时，将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
该第三显示单元用于：若显示模式是第三显示模式，则在显示服饰渲染结果时，将服饰渲染结果叠加到实时采集到的视觉数据中的人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
作为一个可选的具体示例，显示模式判断模块具体用于：根据当前处于在线状态或离线状态来判断显示模式是第一显示模式、还是第二显示模式；服饰显示模块117包括前述的第一显示单元和第二显示单元。该第一显示单元用于：若处于在线状态，则采用第一显示模式，在显示服饰渲染结果时，将服饰渲染结果叠加到由镜子反射出的人体影像上。在线的体验中，用户看到的是：镜子中的自己以及眼镜110显示的渲染的服饰。该第二显示单元用于：若处于离线状态，则采用第二显示模式，在显示服饰渲染结果时，将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行显示。离线的体验中，用户看到的是：眼镜110中摄像头拍摄的试衣的用户的视频以及眼镜110显示的渲染的服饰。
需注意，在一些实施例中，眼镜110不必包括服饰选择模块111、视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116、服饰显示模块117之中的全部，也可以仅包括其中的一些。而另一些模块可以设置于服务端，或者可以设置于另一设备中。例如，本发明示例的虚拟装扮***100还包括前述的镜子，该镜子是包含存储器和处理器的智能镜子，前述的另一些模块设置于该镜子中。
图3为本发明的虚拟装扮方法一个实施例的示意性流程框图。请参阅图3，本发明示例的虚拟装扮方法主要包括以下步骤：
步骤S11，提供服饰选择界面，接收用户所选择的一件、一类、多件或多类待试穿的服饰作为选定服饰。需注意，对服饰的类型不做限制，可以是包、上衣、裙子等。
步骤S12，采集视觉数据。其中，该视觉数据包含由镜子反射出的人体的影像。该镜子包含能够反射事物的镜面。一般来说，该镜子为普通镜子即可。可选地，该视觉数据包括RGB图像，该RGB图像包含由镜子反射出的用户人体RGB信息。
步骤S13，根据该视觉数据得到由镜子反射出的人体的当前人体姿态。其中，当前人体姿态包括多个人体关键点的当前姿态信息。人体关键点也可以称为人体部位关键点、或人体关键部位。
步骤S14，获取选定服饰的服饰模型，其中，服饰模型包括多个服饰关键点。获取选定服饰的服饰关键点与人体关键点的匹配信息。
步骤S15，根据该选定服饰的该服饰模型、该匹配信息、以及人体关键点的该当前姿态信息，来确定该选定服饰的服饰关键点的当前姿态信息，以得到该选定服饰的已匹配当前人体姿态的服饰模型。
步骤S16，根据已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果。可选地，该服饰渲染结果包括已匹配当前人体姿态的服饰图像。
步骤S17，显示服饰渲染结果。具体地，通过将服饰渲染结果叠加到用户看到的人体影像上来显示该服饰渲染结果，用以采用增强现实形式展示装扮效果。
在一些实施例中，前述的步骤S13具体包括：利用镜子识别定位模型，将视觉数据中的镜子区域分割出来得到镜内视觉数据，其中，该镜内视觉数据包含由镜子反射出的人体影像；以及，根据镜内视觉数据来得到当前人体姿态。利用本发明示例的虚拟装扮方法，能够去除视觉数据中的非镜子区域存在人员时对虚拟装扮的干扰，有利于更准确地识别到用户。
在一些实施例中，采集到的视觉数据是二维图像，例如二维的RGB图像，并根据该二维图像识别出三维的人体姿态。可选地，前述的步骤S12包括：采集二维视觉数据。前述的步骤S13包括：利用密集姿态(DensePose)方式，根据该二维视觉数据估计得到有蒙皮的多人线性模型(A Skinned Multi-Person Linear Model，简称为SMPL模型)作为当前人体姿态。可选地，前述的得到SMPL模型包括：得到SMPL模型中的多个三维的人体关键点的当前姿态信息。
其中，前述的DensePose是一种人体姿态估计技术，其将二维图像中的人类像素映射到三维人体表面，再加上以每秒多帧的速度处理密集坐标，最后实现动态人物的精确定位和姿态估计。前述的SMPL模型是一种参数化人体模型，包含多种用于描述人体的参数。具体包括用于表示个人体高矮胖瘦、头身比例等多个参数，以及用于表示代表人体整体运动位姿和24个人体关键点的相对角度等多个参数。
需注意，本发明并非仅限采用DensePose方式进行姿态识别，也并非仅限采用SMPL人体模型来表征人体，也可以采用其他的姿态识别方式、或使用其他的人体模型来进行本发明提出的虚拟装扮方法。
在一些实施例中，不采用SMPL模型所常用的24个人体关键点，而是采用较少的人体关键点，以提升利用DensePose方式进行人体姿态估计的速度。同时，还需要考虑虚拟装扮的特点，不能将人体关键点减得过少而影响虚拟装扮效果。具体地，本发明的人体关键点包括：头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚、右脚。本发明示例的虚拟装扮方法，通过在人体模型中设置前述的18个人体关键点，有助于提升利用DensePose模型进行姿态识别的速度，并能够在提升人体姿态估计速度的同时准确地进行虚拟装扮。
需注意，本发明提出的前述的18个人体关键点的方式并非仅限于前述的SMPL模型，也可以将该方式应用于本发明的采用其他人体模型的虚拟装扮方法的实施例之中。
在一些实施例中，前述的步骤S14中的获取选定服饰的服饰模型具体包括：获取选定服饰的服饰三维模型。该步骤S14中的获取选定服饰的服饰关键点与人体关键点的匹配信息具体包括：获取选定服饰的三维的服饰关键点与三维的人体关键点的匹配信息。同时，步骤S15中所生成的已匹配当前人体姿态的服饰模型也是三维的。前述的步骤S16具体包括：根据三维的已匹配当前人体姿态的服饰模型进行渲染，得到选定服饰的服饰二维图像。并且，前述的步骤S17具体包括：通过将服饰二维图像叠加到用户看到的人体影像上来显示该服饰二维图像。本发明示例的虚拟装扮方法，将三维的服饰建模成形变物体，这样服饰会跟随人体姿态的变化发生形变，产生较好的体验效果。
在一些实施例中，前述的步骤S16具体包括：获取当前的光照条件；以及，在根据已匹配当前人体姿态的服饰模型进行渲染时，根据该光照条件来动态设定虚拟世界的光源，以便反映服饰在真实场景中的颜色，产生真实的渲染效果，便于用户进行颜色搭配。需注意，可以采用多种方式来实现前述的获取当前的光照条件。在一个实施例中，利用传感器实时采集当前的光照条件；在另一实施例中，获取当前时间，根据预先设定的时间与光照的对应关系来确定当前时间的光照条件；在又一实施例中，同时采用多种方式获取光照条件，并综合考虑多种方式得到的光照条件来确定当前的光照条件。
在一些实施例中，在前述的步骤S17之前，还包括：利用人脸信息进行标定，通过将人脸信息作为校准的标记(marker)，来对服饰渲染结果的待展示位置进行校准。而该步骤S17具体包括：根据服饰渲染结果的校准后的待展示位置，将校准后的服饰渲染结果叠加到用户看到的人体影像上。
作为一个可选的具体实施例，前述的通过将人脸信息作为校准的标记，来对服饰渲染结果的待展示位置进行校准具体包括以下步骤：
识别视觉数据中的人体影像的面部关键点；
展示预设的标准人脸图像，并提示用户进行移动以将用户面部与标准人脸图像对齐；
根据识别出的面部关键点判断用户面部是否与标准人脸图像对齐；
以及在用户面部与标准人脸图像对齐时，确定相机坐标系与显示坐标系的坐标映射关系，用以根据坐标映射关系来校准服饰渲染结果的待展示位置。
在一些实施例中，利用数据库来获取服饰数据。具体地，前述的步骤S14具体包括：从数据库中调出选定服饰的服饰模型、和选定服饰的服饰关键点与人体关键点的匹配信息。其中，该数据库记录有多个可供用户选择的可选服饰的服饰模型、以及可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息。
进一步地，本发明示例的虚拟装扮方法还包括：预先接收可供用户选择的可选服饰的服饰模型，将可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点相匹配得到匹配信息，并录入数据库。
在一些实施例中，本发明示例的虚拟装扮方法还包括：每隔一个预设的时间间隔，重复前述步骤S12至前述步骤S17的多个步骤，以实时地显示装扮效果。
进一步地，在一些实施例中，本发明示例的虚拟装扮方法还包括：在前述的重复步骤S12至步骤S17的过程中，对每次重复过程中的虚拟装扮信息进行记录，以生成用户历史装扮记录。该虚拟试衣信息包括视觉数据、选定服饰的服饰关键点与人体关键点的匹配信息，、已匹配当前人体姿态的服饰模型中的一个或多个。以便用户同时比较不同服饰效果。
在一些实施例中，本发明示例的虚拟装扮方法还包括：根据当前处于在线状态或离线状态、和/或根据用户的选择，来判断显示模式。该显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个。前述的步骤S17包括以下的一个或多个步骤：
若显示模式是第一显示模式，则在显示服饰渲染结果时，将服饰渲染结果叠加到由镜子反射出的人体影像上，以便用户从镜子中看到虚拟装扮的自己；
若显示模式是第二显示模式，则在显示服饰渲染结果时，将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据；
若显示模式是第三显示模式，则在显示服饰渲染结果时，将服饰渲染结果叠加到实时采集到的视觉数据中的人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
作为一个可选的具体示例，前述的判断显示模式的步骤具体包括：根据当前处于在线状态或离线状态来判断显示模式是第一显示模式、还是第二显示模式。前述的步骤S17具体包括：若处于在线状态，则采用第一显示模式，在显示服饰渲染结果时，将服饰渲染结果叠加到由镜子反射出的人体影像上；若处于离线状态，则采用第二显示模式，在显示服饰渲染结果时，将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行展示。在线的体验中，用户看到的是：镜子中的自己以及AR眼镜显示的渲染的服饰。离线的体验中，用户看到的是：AR眼镜中摄像头拍摄的试衣的用户的视频以及AR眼镜显示中的渲染的服饰。
图4是图示根据本发明的一个实施例的设备的硬件框图。如图4所示，根据本发明实施例的设备200包括存储器201和处理器202。该设备200中的各组件通过总线***和/或其它形式的连接机构(未示出)互连。本发明的设备200可以以各种形式来实施，包括但不限于诸如增强现实眼镜(或称为AR眼镜、智能眼镜)或其他的增强现实设备(或称为AR设备)、虚拟现实设备(或称为VR设备)、智能手表、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
该存储器201用于存储非暂时性计算机可读指令。具体地，存储器201可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器202可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制该设备200中的其它组件以执行期望的功能。在本发明的一个实施例中，该处理器202用于运行该存储器201中存储的该计算机可读指令，使得该设备200执行前述的本发明各实施例的虚拟装扮方法的全部或部分步骤。
在一些实施例中，本发明实施例的设备200是增强现实眼镜。
本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述虚拟装扮方法的步骤。
以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (23)
1.一种虚拟装扮***，其特征在于，所述***包括：
眼镜，包含存储器和处理器；
服饰选择模块，用于提供服饰选择界面，接收用户所选择的服饰作为选定服饰；
视觉数据采集模块，用于采集视觉数据，所述视觉数据包含由镜子反射出的人体影像；
姿势识别与定位模块，用于根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态；其中，所述当前人体姿态包括多个人体关键点的当前姿态信息；
服饰数据获取模块，用于获取所述选定服饰的服饰模型，所述服饰模型包括多个服饰关键点，获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息；
服饰与人体姿态融合模块，用于根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息，来确定所述选定服饰的所述服饰关键点的当前姿态信息，以得到所述选定服饰的已匹配当前人体姿态的服饰模型；
渲染模块，用于根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果；
服饰显示模块，用于通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果，用以采用增强现实形式展示装扮效果；
其中，所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块、所述服饰显示模块之中的一个或多个设置于所述眼镜的存储器上。
2.根据权利要求1所述的虚拟装扮***，其特征在于，
所述姿势识别与定位模块包括镜子识别定位单元和姿势识别与定位单元；
所述镜子识别定位单元用于将所述视觉数据中的镜子的区域分割出来得到镜内视觉数据，所述镜内视觉数据包含所述人体影像；
所述姿势识别与定位单元用于根据所述镜内视觉数据来得到所述当前人体姿态。
3.根据权利要求1所述的虚拟装扮***，其特征在于，
所述视觉数据采集模块具体用于采集二维视觉数据；
所述姿势识别与定位模块具体用于：利用DensePose方式，根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态，包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。
4.根据权利要求1所述的虚拟装扮***，其特征在于，所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。
5.根据权利要求3所述的虚拟装扮***，其特征在于：
所述服饰数据获取模块具体用于：获取所述选定服饰的服饰三维模型，获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息；
所述渲染模块具体用于：根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像；
所述服饰显示模块具体用于：通过将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。
6.根据权利要求1所述的虚拟装扮***，其特征在于，所述服饰渲染模块包括光照模拟单元，用于：
获取当前的光照条件；
在根据所述已匹配当前人体姿态的服饰模型进行渲染时，根据所述光照条件动态设定虚拟世界的光源。
7.根据权利要求1所述的虚拟装扮***，其特征在于，
所述***还包括校准模块，用于通过将人脸信息作为校准的标记，来对所述服饰渲染结果的待展示位置进行校准；
所述服饰显示模块具体用于：根据校准后的所述待展示位置，将校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。
8.根据权利要求7所述的虚拟装扮***，其特征在于，所述校准模块包括：
人脸关键点识别单元，用于识别所述人体影像的面部关键点；
标准人脸展示单元，用于利用所述眼镜展示预设的标准人脸图像，并提示用户进行移动以将用户面部与所述标准人脸图像对齐；
人脸对齐判断单元，用于根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐；
校准单元，用于在所述用户面部与所述标准人脸图像对齐时，确定相机坐标系与显示坐标系的坐标映射关系，用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。
9.根据权利要求1所述的虚拟装扮***，其特征在于，
所述***还包括数据库，用于存储多个可选服饰的服饰模型、以及所述可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息；
所述服饰数据获取模块具体用于：从所述数据库中调出所述选定服饰的所述服饰模型、和所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息；
所述***还包括数据库录入模块，用于：预先接收所述可选服饰的服饰模型，将所述可选服饰的服饰模型中的一个或多个服饰关键点与人体关键点相匹配得到匹配信息，并录入所述数据库。
10.根据权利要求1到9中任意一项所述的虚拟装扮***，其特征在于，还包括服饰效果备忘录模块，用于：
每隔一个预设的时间间隔，利用所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块和所述服饰显示模块，重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤，以实时地显示装扮效果；
对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。
11.根据权利要求10所述的虚拟装扮***，其特征在于：
所述***还包括显示模式判断模块，用于根据当前处于在线状态或离线状态、和/或根据用户的选择，来判断显示模式；所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个；
所述服饰显示模块包括第一显示单元、第二显示单元、第三显示单元中的一个或多个；
所述第一显示单元用于：若所述显示模式是所述第一显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上，以便用户从所述镜子中看到虚拟装扮的自己；
所述第二显示单元用于：若所述显示模式是所述第二显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据；
所述第三显示单元用于：若所述显示模式是所述第三显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
12.一种虚拟装扮方法，其特征在于，所述方法包括以下步骤：
提供服饰选择界面，接收用户所选择的服饰作为选定服饰；
采集视觉数据，所述视觉数据包含由镜子反射出的人体影像；
根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态；其中，所述当前人体姿态包括多个人体关键点的当前姿态信息；
获取所述选定服饰的服饰模型，所述服饰模型包括多个服饰关键点，获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息；
根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息，来确定所述选定服饰的所述服饰关键点的当前姿态信息，以得到所述选定服饰的已匹配当前人体姿态的服饰模型；
根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果；
通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果，用以采用增强现实形式展示装扮效果。
13.根据权利要求12所述的虚拟装扮方法，其特征在于，所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括：
将所述视觉数据中的镜子区域分割出来得到镜内视觉数据，所述镜内视觉数据包含所述人体影像；
根据所述镜内视觉数据来得到所述当前人体姿态。
14.根据权利要求12所述的虚拟装扮方法，其特征在于，
所述采集视觉数据包括采集二维视觉数据；
所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括：利用DensePose方式，根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态，包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。
15.根据权利要求12所述的虚拟装扮方法，其特征在于，所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。
16.根据权利要求14所述的虚拟装扮方法，其特征在于，
所述获取所述选定服饰的服饰模型包括：获取所述选定服饰的服饰三维模型；
所述获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息包括：获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息；
所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括：根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像；
所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括：将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。
17.根据权利要求12所述的虚拟装扮方法，其特征在于，所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括：
获取当前的光照条件；
在根据所述已匹配当前人体姿态的服饰模型进行渲染时，根据所述光照条件动态设定虚拟世界的光源。
18.根据权利要求12所述的虚拟装扮方法，其特征在于，
在所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的步骤之前，还包括：通过将人脸信息作为校准的标记，来对所述服饰渲染结果的待展示位置进行校准；
所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括：根据校准后的所述待展示位置，将所述校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。
19.根据权利要求18所述的虚拟装扮方法，其特征在于，所述通过将人脸信息作为校准的标记，来对所述服饰渲染结果的待展示位置进行校准包括：
识别所述人体影像的面部关键点；
展示预设的标准人脸图像，并提示用户进行移动以将用户面部与所述标准人脸图像对齐；
根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐；
在所述用户面部与所述标准人脸图像对齐时，确定相机坐标系与显示坐标系的坐标映射关系，用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。
20.根据权利要求12到19中任意一项所述的虚拟装扮方法，其特征在于，还包括：
每隔一个预设的时间间隔，重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤，以实时地显示装扮效果；
对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。
21.根据权利要求20所述的虚拟装扮方法，其特征在于，
所述方法还包括：根据当前处于在线状态或离线状态、和/或根据用户的选择，来判断显示模式，所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个；
所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果，包括以下的一个或多个步骤：
若所述显示模式是所述第一显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上，以便用户从所述镜子中看到虚拟装扮的自己；
若所述显示模式是所述第二显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据；
若所述显示模式是所述第三显示模式，则在显示所述服饰渲染结果时，将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示，以展示叠加了虚拟装扮效果的视觉数据。
22.一种设备，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现权利要求12到21中任意一项所述的虚拟装扮方法。
23.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述程序在由一计算机或处理器执行时实现如权利要求12至21中任意一项权利要求所述的虚拟装扮方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640937.8A CN110363867B (zh) | 2019-07-16 | 2019-07-16 | 虚拟装扮***、方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640937.8A CN110363867B (zh) | 2019-07-16 | 2019-07-16 | 虚拟装扮***、方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363867A true CN110363867A (zh) | 2019-10-22 |
| CN110363867B CN110363867B (zh) | 2022-11-29 |
Family
ID=68219602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910640937.8A Active CN110363867B (zh) | 2019-07-16 | 2019-07-16 | 虚拟装扮***、方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363867B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070573A (zh) * | 2020-07-30 | 2020-12-11 | 象其形(浙江)智能科技有限公司 | 一种基于ar技术的购鞋方法及购鞋*** |
| CN112232183A (zh) * | 2020-10-14 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质 |
| CN113066125A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
| CN113129450A (zh) * | 2021-04-21 | 2021-07-16 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
| CN113140046A (zh) * | 2021-04-21 | 2021-07-20 | 上海电机学院 | 基于三维重建的ar穿搭控制方法、***和计算机可读介质 |
| CN113269072A (zh) * | 2021-05-18 | 2021-08-17 | 咪咕文化科技有限公司 | 图片处理方法、装置、设备及计算机程序 |
| US11195341B1 (en) | 2020-06-29 | 2021-12-07 | Snap Inc. | Augmented reality eyewear with 3D costumes |
| WO2021258971A1 (zh) * | 2020-06-24 | 2021-12-30 | 北京字节跳动网络技术有限公司 | 虚拟换服饰的方法和装置、设备和介质 |
| CN114299264A (zh) * | 2020-09-23 | 2022-04-08 | 秀铺菲公司 | 用于基于扭曲的三维模型生成增强现实内容的***和方法 |
| CN114445271A (zh) * | 2022-04-01 | 2022-05-06 | 杭州华鲤智能科技有限公司 | 一种生成虚拟试穿3d图像的方法 |
| CN114565505A (zh) * | 2022-01-17 | 2022-05-31 | 北京新氧科技有限公司 | 基于虚拟换装的服装变形方法、装置、设备及存储介质 |
| CN114723517A (zh) * | 2022-03-18 | 2022-07-08 | 唯品会(广州)软件有限公司 | 一种虚拟试衣方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006331131A (ja) * | 2005-05-26 | 2006-12-07 | Matsushita Electric Works Ltd | ドレッシングシステム |
| US20120127199A1 (en) * | 2010-11-24 | 2012-05-24 | Parham Aarabi | Method and system for simulating superimposition of a non-linearly stretchable object upon a base object using representative images |
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
| CN108681956A (zh) * | 2018-07-17 | 2018-10-19 | 深圳市艾贝比品牌管理咨询有限公司 | 基于虚拟现实的服饰筛选方法、终端及存储介质 |
-
2019
- 2019-07-16 CN CN201910640937.8A patent/CN110363867B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006331131A (ja) * | 2005-05-26 | 2006-12-07 | Matsushita Electric Works Ltd | ドレッシングシステム |
| US20120127199A1 (en) * | 2010-11-24 | 2012-05-24 | Parham Aarabi | Method and system for simulating superimposition of a non-linearly stretchable object upon a base object using representative images |
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
| CN108681956A (zh) * | 2018-07-17 | 2018-10-19 | 深圳市艾贝比品牌管理咨询有限公司 | 基于虚拟现实的服饰筛选方法、终端及存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021258971A1 (zh) * | 2020-06-24 | 2021-12-30 | 北京字节跳动网络技术有限公司 | 虚拟换服饰的方法和装置、设备和介质 |
| US11195341B1 (en) | 2020-06-29 | 2021-12-07 | Snap Inc. | Augmented reality eyewear with 3D costumes |
| WO2022005715A1 (en) * | 2020-06-29 | 2022-01-06 | Snap Inc. | Augmented reality eyewear with 3d costumes |
| CN112070573A (zh) * | 2020-07-30 | 2020-12-11 | 象其形(浙江)智能科技有限公司 | 一种基于ar技术的购鞋方法及购鞋*** |
| CN114299264A (zh) * | 2020-09-23 | 2022-04-08 | 秀铺菲公司 | 用于基于扭曲的三维模型生成增强现实内容的***和方法 |
| CN112232183A (zh) * | 2020-10-14 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质 |
| CN112232183B (zh) * | 2020-10-14 | 2023-04-28 | 抖音视界有限公司 | 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质 |
| CN113066125A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
| WO2022179603A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
| CN113140046A (zh) * | 2021-04-21 | 2021-07-20 | 上海电机学院 | 基于三维重建的ar穿搭控制方法、***和计算机可读介质 |
| CN113129450A (zh) * | 2021-04-21 | 2021-07-16 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
| CN113129450B (zh) * | 2021-04-21 | 2024-04-05 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
| CN113269072A (zh) * | 2021-05-18 | 2021-08-17 | 咪咕文化科技有限公司 | 图片处理方法、装置、设备及计算机程序 |
| CN113269072B (zh) * | 2021-05-18 | 2024-06-07 | 咪咕文化科技有限公司 | 图片处理方法、装置、设备及计算机程序 |
| CN114565505A (zh) * | 2022-01-17 | 2022-05-31 | 北京新氧科技有限公司 | 基于虚拟换装的服装变形方法、装置、设备及存储介质 |
| CN114723517A (zh) * | 2022-03-18 | 2022-07-08 | 唯品会(广州)软件有限公司 | 一种虚拟试衣方法、装置及存储介质 |
| CN114445271A (zh) * | 2022-04-01 | 2022-05-06 | 杭州华鲤智能科技有限公司 | 一种生成虚拟试穿3d图像的方法 |
| CN114445271B (zh) * | 2022-04-01 | 2022-06-28 | 杭州华鲤智能科技有限公司 | 一种生成虚拟试穿3d图像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363867B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363867A (zh) | 虚拟装扮***、方法、设备及介质 | |
| US20210177124A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| US20210365492A1 (en) | Method and apparatus for identifying input features for later recognition | |
| Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
| CN108875633B (zh) | 表情检测与表情驱动方法、装置和***及存储介质 | |
| JP4435809B2 (ja) | 仮想化粧装置及びその方法 | |
| CN105391970B (zh) | 提供由车辆的场景相机捕获的至少一个图像的方法和*** | |
| JP3984191B2 (ja) | 仮想化粧装置及びその方法 | |
| CN105404392B (zh) | 基于单目摄像头的虚拟穿戴方法及*** | |
| US6552729B1 (en) | Automatic generation of animation of synthetic characters | |
| CN108140105A (zh) | 具有脸部表情检测能力的头戴式显示器 | |
| CN107688391A (zh) | 一种基于单目视觉的手势识别方法和装置 | |
| CN107871098B (zh) | 人脸特征点的获取方法和装置 | |
| CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
| CN108629248A (zh) | 一种实现增强现实的方法及设备 | |
| US20220044311A1 (en) | Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale | |
| CN110717391A (zh) | 一种基于视频图像的身高测量方法、***、装置和介质 | |
| CN108537126A (zh) | 一种人脸图像处理***及方法 | |
| CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
| JP2020177620A (ja) | アバター用の３ｄ顔モデルを生成する方法及び関連デバイス | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
| CN110533773A (zh) | 一种三维人脸重建方法、装置及相关设备 | |
| CN106570747A (zh) | 结合手势识别的眼镜在线适配方法及*** | |
| CN115904191A (zh) | 一种模拟化妆方法、模拟化妆***及智能化妆台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |