CN116309005A - 虚拟换装方法、装置、电子设备及可读介质 - Google Patents

虚拟换装方法、装置、电子设备及可读介质 Download PDF

Info

Publication number
CN116309005A
CN116309005A CN202111539373.2A CN202111539373A CN116309005A CN 116309005 A CN116309005 A CN 116309005A CN 202111539373 A CN202111539373 A CN 202111539373A CN 116309005 A CN116309005 A CN 116309005A
Authority
CN
China
Prior art keywords
image
information
reloading
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111539373.2A
Other languages
English (en)
Inventor
董欣
张惜今
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111539373.2A priority Critical patent/CN116309005A/zh
Priority to PCT/CN2022/137802 priority patent/WO2023109666A1/zh
Publication of CN116309005A publication Critical patent/CN116309005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开公开了一种虚拟换装方法、装置、电子设备及可读介质，所述方法包括：获取源图像和目标图像，源图像中包括关联于第一人物实例的目标服装，目标图像中包括第二人物实例；对源图像和目标图像进行处理，分别得到源图像的第一人像信息和第一姿态信息，以及目标图像的第二姿态信息；根据第一人像信息、第一姿态信息和第二姿态信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装图像。该方法利用源图像和目标图像的人像信息和姿态信息，能够实现目标服装在不同人物之间的变换，在此基础上，还可根据不同人物实例的姿态，实现对任意姿态的人物的换装，从而提高了虚拟换装的灵活性和准确性。

Description

虚拟换装方法、装置、电子设备及可读介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种虚拟换装方法、装置、电子设备及可读介质。
背景技术
现在，越来越多的人通过线上的方式挑选服装，但是由于不能实际试穿，人们往往不知道这个服装是否真的适合自己；或者，一些人在看到其他人穿着的服装时，也想知道自己穿上这种服装的效果；此外，一些场景下需要对照片进行换装处理，使得照片更美观、更有趣味性，或者使得照片可用于特定用途，例如，给日常生活中拍摄的照片中的人物换上正装，将换装后的照片放进个人资料中等。因此，虚拟换装具有广泛的应用。
然而，现有的虚拟换装方法只是简单的服装替换，即，将指定图像中的服装区域分割出来并迁移到另一图像中的人物身上，在此过程中服装区域可能被简单的缩放或旋转等。但是，不同人物的体型或姿态复杂多样，将同一件服装迁移到不同体型或姿态的人身上，会存在较大的误差，导致服装区域和人物姿态不匹配、和人物身体部位的衔接部分的处理较为粗糙等，具有很强的局限性。
发明内容
本公开提供了一种虚拟换装方法、装置、电子设备及可读介质，以提高虚拟换装的灵活性和准确性。
第一方面，本公开实施例提供了一种虚拟换装方法，包括：
获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例；
对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
第二方面，本公开实施例还提供了一种虚拟换装方法，包括：
获取待换装图像；
通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；
其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。
第三方面，本公开实施例还提供了一种虚拟换装装置，包括：
第一获取模块，用于获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例；
处理模块，用于对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
第一换装模块，用于根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
第四方面，本公开实施例还提供了一种虚拟换装装置，包括：
第二确定模块，用于获取目标图像并确定目标服装；
第二换装模块，用于通过预设网络将所述目标图像中的人物实例的服装变换为所述目标服装，得到换装图像。
第五方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例提供的虚拟换装方法。
第六方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例提供的虚拟换装方法。
本公开实施例提供了一种虚拟换装方法、装置、电子设备及可读介质，首先获取源图像和目标图像，源图像中包括关联于第一人物实例的目标服装，目标图像中包括第二人物实例；然后对源图像和目标图像进行处理，分别得到源图像的第一人像信息和第一姿态信息，以及目标图像的第二姿态信息；最后根据第一人像信息、第一姿态信息和第二姿态信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装图像。利用上述技术方案，通过利用源图像和目标图像的人像信息和姿态信息，能够实现目标服装在不同人物之间的变换，在此基础上，还可根据不同人物实例的姿态，实现对任意姿态的人物的换装，从而提高了虚拟换装的灵活性和准确性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一提供的一种虚拟换装方法的流程示意图；
图2为本公开实施例二提供的一种虚拟换装方法的流程示意图；
图3为本发明实施例二提供的一种分割辅助网络的输入分支的示意图；
图4为本发明实施例二提供的一种基于分割辅助网络生成分割辅助信息的实现示意图；
图5为本发明实施例二提供的一种服装位移辅助网络的输入分支的示意图；
图6为本发明实施例二提供的一种基于服装位移辅助网络生成像素位移通道图的实现示意图；
图7为本公开实施例三提供的一种虚拟换装方法的流程示意图；
图8为本发明实施例三提供的一种基于背景补全网络实现背景补全的示意图；
图9为本发明实施例三提供的一种基于换装网络生成换装图像的实现示意图；
图10为本公开实施例四提供的一种训练换装网络的流程示意图；
图11为本发明实施例四提供的一种基于重建网络重建样本源图像的实现示意图；
图12为本发明实施例四提供的一种训练换装网络的实现示意图；
图13为本公开实施例五提供的一种虚拟换装方法的流程示意图；
图14为本公开实施例六提供的一种虚拟换装装置的结构示意图；
图15为本公开实施例七提供的一种虚拟换装装置的结构示意图；
图16为本公开实施例八提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本公开实施例一提供的一种虚拟换装方法的流程示意图，该方法可适用于根据不同图像的人像信息和姿态信息对目标服装进行变换，以实现不同人物之间的虚拟换装的情况。该方法可以由虚拟换装装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在具备图像处理能力的电子设备上，在本实施例中电子设备包括但不限于：台式计算机、笔记本电脑、服务器、平板电脑或智能手机等设备。
如图1所示，本公开实施例一提供的一种虚拟换装方法，包括如下步骤：
S110、获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例。
在本实施例中，源图像可以指提供目标服装且包含第一人物实例的图像，例如穿有目标服装的模特的图像，该模特即为第一人物实例。可以通过预设数据库获取源图像，其中预设数据库可以指预先存储有大量穿着相同或不同服装的模特图像的数据库。目标图像可以指包含待换装的第二人物实例的图像，例如想要进行换装的用户可上传一张自己的照片，将用户上传的照片作为所获取的目标图像。其中，人物实例可以认为是指图像中所包含的人物对象。目标服装可以认为是源图像所提供的、用于变换至目标图像中的人物实例上的服装。源图像和目标图像中不仅可以包含对应的人物实例和其对应的服装(如模特和用户的本身和其所穿的服装)的特征，还可以包含对应的人物实例所处的背景的特征。
第一人物实例可以指源图像中所包含的人物对象。第二人物实例可以指目标图像中所包含的人物对象。
S120、对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息。
在本实施例中，处理可以指对源图像和目标图像进行相应的图像处理操作，以得到对应的人像信息和姿态信息。例如，可以对提取源图像和目标图像进行实例分割或语义分割、识别源图像和目标图像中人物实例的姿态、提取源图像和目标图像中人物实例的人体关键点，以及对源图像和目标图像中人物实例进行解析，确定不同的身体部位和服装特征等。
其中，人像信息可以指对源图像和目标图像中所包含的人物实例和服装进行特征提取后所得到的图像，主要目的是确定人物实例的轮廓、裸露的身体部位以及被服装遮盖的身体部位等。人像信息可以包括人像分割信息和人像解析信息。人像分割信息可以指根据图像中所包含的人物实例和服装的整体轮廓对其进行分割后所得到的图像，主要目的是确定人物实例的轮廓。需要说明的是，对于源图像中的第一人物实例，人像分割信息主要指第一人物实例在穿着目标服装的情况下的轮廓，即，该轮廓需要考虑目标服装的轮廓确定，也可以理解为，该轮廓为第一人物实例的轮廓与目标服装轮廓的并集。人像解析信息可以指对图像中包含的人物实例和服装进行轮廓分割和部位解析所得到的图像，如对人物实例的四肢、头部和脚部等裸露的身体部位进行解析和区分，对服装的整体、上衣和下衣等部位进行解析和区分等；人像解析信息中的不同部位可以通过不同的颜色或纹理来表征。
姿态信息可以指对源图像和目标图像中所包含的人物实例进行人体关节点定位处理后得到相应的像素点信息，各个像素点信息可构成的表征姿态的图像。姿态信息可以包括三维(3-Dimension，3D)姿态信息和二维(2-Dimension，2D)姿态信息。3D姿态信息可以指由上述像素点信息中的3D像素点坐标所构成的表征人物实例的立体姿态的图像，可利用具备相应姿态的人体示意图表征；2D姿态信息可以指由上述像素点信息中的2D像素点坐标信息所构成的表征姿态的图像，可利用符合相应姿态的关键点或关键点的连线表征。
第一人像信息和第一姿态信息可以分别认为是指对源图像进行处理后所得到的人像信息和姿态信息。第二姿态信息可以认为是指对目标图像进行处理后所得到的姿态信息。
需要说明的是，本实施例对源图像和目标图像进行处理的具体方法不作限定，可根据实际需求灵活选择相应的图像处理算法。
S130、根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
在本实施例中，第二人物实例的服装可以认为是指目标图像中人物实例所穿的服装。需要说明的是，变换并不是指通过抠图的方式将第二人物实例的服装抠掉，替换为关联于第一人物实例的目标服装。变换的原理主要是，根据第一人像信息、第一姿态信息和第二姿态信息分析得到第一人物实例与第二人物实例之间的姿态变化，从而得到第一人物实例所关联的目标服装变换到第二人物实例的姿态上所需的位移量，相应的将源图像中的目标服装按照上述所需的位移量发生对应的位移变化，以在替换目标图像中第二人物实例的服装的同时，能够融合到第二人物实例的姿态上，以得到目标服装在第二人物实例姿态下的图像。在此基础上，通过将目标图像中第二人物实例的服装变换为源图像中的目标服装，可以得到对应的换装图像。
可选的，在变换过程中，还可根据目标图像的第二人像信息确定第二人物实例的保护区域，在将目标图像中第二人物实例的服装变换为源图像中的目标服装的过程中，保护区域内的特征保持不变。
其中，第二人像信息可以指对目标图像进行处理后所得到的人像信息。保护区域可以指目标图像中第二人物实例的脸部、手部以及脚部等裸露的身体部位。本实施例中，在将目标图像中第二人物实例的服装变换为源图像中的目标服装的过程中，为保证目标图像中第二人物实例(即用户)的脸部、手部以及脚部等部位不会被影响，可以利用第二人像信息，对第二人物实例进行分割和部位的解析，确定第二人物实例的保护区域，并使得保护区域内的特征保持不变，从而保证用户能够准确地看到被换装的人穿上目标服装后的完整效果。
可选的，经过换装后的第二人物实例可以显示在指定背景上，如白色背景；也可以融合在目标图像的原背景中。需要说明的是，若将换装后的第二人物实例融合在目标图像的原背景中，则可以对目标图像进行抠图以及背景补全等操作；具体的，首先可以通过抠图的方法将目标图像中的原第二人物实例抠掉，然后通过相应的图像处理方法将抠图后的目标图像中的背景补全，最后可以将换装后的第二人物实例融合到背景补全后的目标图像中，以得到对应的换装图像。在此基础上，通过还原第二人物实例换装后所处的背景和环境，使换装图像更真实、更准确。
本公开实施例一提供的一种虚拟换装方法，首先获取源图像和目标图像，源图像中包括关联于第一人物实例的目标服装，目标图像中包括第二人物实例；然后对源图像和目标图像进行处理，分别得到源图像的第一人像信息和第一姿态信息，以及目标图像的第二姿态信息；最后根据第一人像信息、第一姿态信息和第二姿态信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装图像。上述方法通过利用源图像和目标图像的人像信息和姿态信息，能够实现目标服装在不同人物之间的变换，在此基础上，还可根据不同人物实例的姿态，实现对任意姿态的人物的换装，从而提高了虚拟换装的灵活性和准确性。
实施例二
图2为本公开实施例二提供的一种虚拟换装方法的流程示意图，本实施例二在上述各实施例中各个可选方案为基础进行具体化。在本实施例中，对根据第一人像信息、第一姿态信息和第二姿态信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，以得到换装图像的过程进行了具体描述。本实施例尚未详尽的内容请参考实施例一。
如图2所示，本公开实施例二提供的一种虚拟换装方法，包括如下步骤：
S210、获取源图像和目标图像，源图像中包括关联于第一人物实例的目标服装，目标图像中包括第二人物实例。
S220、对源图像和目标图像进行处理，分别得到源图像的第一人像信息和第一姿态信息，以及目标图像的第二姿态信息。
S230、将第一人像信息、第一姿态信息和第二姿态信息输入至分割辅助网络，得到目标服装在第二人物实例的姿态下的分割辅助信息。
在本实施例中，分割辅助网络可以指一种对图像中人物实例和服装的轮廓特征信息进行分割的神经网络，例如为UNet网络。分割辅助信息可以指分割辅助网络根据第一人像信息、第一姿态信息和第二姿态信息得到的、用于反映目标服装的轮廓在第二人物实例的姿态下的特征的输出，输出的结果可以通过掩码(Mask)表征，因此分割辅助网络也可以理解为Mask辅助网络。分割辅助信息可以包括目标服装在第二人物实例的姿态下的人像分割信息和人像解析信息，也就是说，分割辅助信息可以认为是通过Mask辅助网络，根据第一人像信息，以及根据第一姿态信息和第二姿态信息所分析得到的第一和第二人物实例之间的姿态位移变化，所得到的姿态位移变化可使得目标服装的轮廓按照上述姿态变化位移发生相应的位移后，能够融合于第二人物实例的姿态。需要说明的是，在此之前获得的人像信息和姿态信息均是考虑了人物实例本身以及目标服装的轮廓的，因此在得到姿态位移变化的情况下，目标服装的轮廓也可变化为与第二人物实例的姿态相适应。
可选的，分割辅助网络为包括双分支输入的神经网络，第一个分支的输入包括第一人像信息和第一姿态信息，其中，第一人像信息包括第一人像分割信息和第一人像解析信息，第一姿态信息包括第一人物实例的三维人体姿态信息和人体关键点信息；第二个分支的输入包括第二姿态信息，第二姿态信息包括第二人物实例的三维人体姿态信息和人体关键点信息。
其中，双分支输入可以认为是两个输入分支，即分割辅助网络可以为包括两个输入分支的神经网络。第一个分支可以认为是指源图像所对应的输入分支，第二个分支可以认为是指目标图像所对应的输入分支。
第一人像分割信息和第一人像解析信息可以分别指对源图像进行处理后所得到的人像分割信息和人像解析信息。
三维人体姿态信息可以指根据图像中人物实例的人体关节点所对应的3D像素点坐标信息所得到的表征立体姿态的图像。人体关键点信息可以指根据图像中人物实例的人体关节点所对应的2D像素点坐标信息所构成的表征姿态的图像。每个人物实例都可以具备对应的三维人体姿态信息和人体关键点信息。
可选的，在通过分割辅助网络得到对应的分割辅助信息的过程中，第一个分支的输入可以包括第一人像信息和第一姿态信息，第二个分支的输入至少包括第二姿态信息，也可以包括第二人像信息和第二姿态信息，此处对此不作限定。
图3为本发明实施例二提供的一种分割辅助网络的输入分支的示意图。如图3所示，第一输入分支表示源图像所对应的输入分支，其中s1和s2分别表示第一人像分割信息和第一人像解析信息，s3和s4分别表示第一人物实例的三维人体姿态信息和人体关键点信息；第二输入分支表示目标图像所对应的输入分支，其中d1和d2分别表示第二人物实例的三维人体姿态信息和人体关键点信息。
图4为本发明实施例二提供的一种基于分割辅助网络生成分割辅助信息的实现示意图。如图4所示，src表示源图像对应的输入分支，即第一输入分支，dst表示目标图像对应的输入分支，即第二输入分支。编码器部分可以用于对输入分支的信息进行特征提取并进行相应的编码；解码器部分可以用于对经过残差块处理的编码信息进行相应的解码；编码器和解码器部分包括多个不同尺寸的卷积核，如通常可以为1×1，3×3，5×5和7×7等。残差块可以用于对编码器所传输的信息进行相应的图像处理。图中第一输入分支中，
Figure BDA0003413474060000091
和/>
Figure BDA0003413474060000092
分别表示第一人像分割信息和第一人像解析信息；/>
Figure BDA0003413474060000093
和/>
Figure BDA0003413474060000094
分别表示第一人物实例的三维人体姿态信息和人体关键点信息。第二输入分支中，Dt和Jt分别表示第二人物实例的三维人体姿态信息和人体关键点信息。在Mask辅助网络的输出结果，即分割辅助信息中，Mt表示目标服装在所述第二人物实例的姿态下的人像分割信息，St表示目标服装在所述第二人物实例的姿态下的人像解析信息。
S240、将第一人像信息、第一姿态信息、第二姿态信息以及分割辅助信息输入至服装位移辅助网络，得到目标服装由第一人物实例变换到第二人物实例的像素位移通道图。
在本实施例中，服装位移(Clothflow)辅助网络可以指一种对服装像素点进行位移变化预测的神经网络，例如为UNet网络。其原理主要是，通过分析根据第一人物实例和第二人物实例之间的姿态位移变化，通过对目标服装进行像素点位移变化可使目标服装融合于目标图像第二人物实例姿态。像素位移通道图可以指通过Clothflow辅助网络，根据第一人像信息、第一姿态信息、第二姿态信息以及分割辅助信息预测得到的输出，用于反映为了使目标服装融合于目标图像中第二人物实例姿态所需的位移量，其形式上可以为2通道图像。2通道图像可以认为是表征目标服装的每个像素点坐标(x，y)位移变化的图像。
可选的，服装位移辅助网络为包括双分支输入的神经网络，第一个分支的输入包括第一人像信息和第一姿态信息，其中，第一人像信息包括第一人像分割信息和第一人像解析信息，第一姿态信息包括第一人物实例的三维人体姿态信息和人体关键点信息；第二个分支的输入包括分割辅助信息和第二姿态信息，其中，分割辅助信息包括目标服装在第二人物实例的姿态下的第二人像分割信息和第二人像解析信息，第二姿态信息包括第二人物实例的三维人体姿态信息和人体关键点信息。
其中，第二人像分割信息和第二人像解析信息可以分别指对目标图像进行处理后所得到的人像分割信息和人像解析信息。
图5为本发明实施例二提供的一种服装位移辅助网络的输入分支的示意图。如图5所示，第一输入分支表示源图像所对应的输入分支，第二输入分支表示目标图像所对应的输入分支。在第二输入分支中，第二人像分割信息和第二人像解析信息为Mask辅助模块输出的分割辅助信息。需要说明的是，人体关键线信息是一种参数化人体模型(SkinnedMulti-Person Linear Model)，可以形象地理解成人体关键点信息中关键点连线所构成的一种姿态信息。可选的，服装位移辅助网络的两个输入分支中，也可以分别添加人体关键线信息作为输入，以提高人体姿态分析的准确性。
图6为本发明实施例二提供的一种基于服装位移辅助网络生成像素位移通道图的实现示意图。如图6所示，将第一人像信息和第一姿态信息输入至第一个分支，将Mask分割辅助网络的输出结果(即分割辅助信息)和第二姿态信息输入至第二个分支，通过Clothflow辅助网络的相应处理，得到的输出结果为目标服装由第一人物实例变换到第二人物实例的像素位移通道图Fp。此处对Clothflow辅助网络对各个输入信息的处理方法不作具体描述。
S250、根据第一姿态信息和第二姿态信息之间的姿态位移通道图、像素位移通道图以及分割辅助信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装图像。
在本实施例中，姿态位移通道图可以指用于反映第一和第二人物实例之间的姿态位移变化的2通道图像。可选的，姿态信息可以包括三维人体姿态信息、人体关键点信息和/或人体关键线信息。在此基础上，根据姿态位移通道图、像素位移通道图以及分割辅助信息，可以综合姿态位移变化、目标服装的像素位移变化以及目标服装在第二人物实例的姿态下的特征，将目标图像中第二人物实例的服装变换为源图像中的目标服装，以得到换装图像，此换装过程也可以通过神经网络实现。
本公开实施例二提供的一种虚拟换装方法，具体化了根据人像信息和姿态信息以得到换装图像的过程。利用该方法，通过分割辅助网络和服装位移辅助网络对人像信息和姿态信息进行了相应的分割和位移变化预测，根据处理后得到的姿态位移通道图、像素位移通道图以及分割辅助信息进行换装变化，以实现目标服装在不同人物实例姿态变化下的位移变化和姿态融合，提高了虚拟换装的灵活性和准确性。
实施例三
图7为本公开实施例三提供的一种虚拟换装方法的流程示意图，本实施例三在上述各实施例中各个可选方案为基础进行具体化。在本实施例中，对根据姿态位移通道图、像素位移通道图以及分割辅助信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装图像的过程进行了具体描述。本实施例尚未详尽的内容请参考上述任意实施例。
如图7所示，本公开实施例三提供的一种虚拟换装方法，包括如下步骤：
S310、通过实例分割算法得到目标图像的背景分割图。
在本实施例中，实例分割算法可以指一种对图像中某些类别的对象实例进行像素级别分割的算法。目标图像的背景分割图可以认为是通过实例分割算法，将目标图像中的人物实例去除后所得到的剩下的图像。
S320、通过背景补全网络对目标图像的背景分割图进行背景补全，得到第一背景图。
在本实施例中，背景补全网络可以指一种将背景分割图中被去除的空白区域进行背景补全的神经网络。具体的，背景补全的原理主要指，根据背景分割图中空白区域周围的纹理或特征填充该空白区域。示例性的，对于目标图像的背景分割图中人物实例所处的空白区域，通过背景补全网络生成对应的区域背景，然后将生成的区域背景填充到目标图像的背景分割图中口空白位置处，以对空白区域进行补全，得到完整的背景。在此基础上，经过背景补全后的目标图像的背景分割图为第一背景图。
图8为本发明实施例三提供的一种基于背景补全网络实现背景补全的示意图。如图8所示，GB表示背景补全网络，
Figure BDA0003413474060000121
表示目标图像的背景分割图，/>
Figure BDA0003413474060000122
表示背景补全后的第一背景图。
S330、根据第一姿态信息和第二姿态信息之间的姿态位移通道图、像素位移通道图以及分割辅助信息，通过换装网络将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装后的第二人物实例。
在本实施例中，换装网络可以指一种具备对不同人物实例之间的服装进行变换的能力的神经网络。根据第一姿态信息和第二姿态信息之间的姿态位移通道图、像素位移通道图以及分割辅助信息，通过换装网络，能够将目标图像中所述第二人物实例的服装按照第二人物实例的姿态产生相对位移变化，以在将目标图像中第二人物实例的服装变换为目标服装的过程中，使得位移变化后的目标服装融合到第二人物实例姿态上，以得到换装后的第二人物实例。
可选的，根据第一姿态信息和第二姿态信息之间的姿态位移通道图、像素位移通道图以及分割辅助信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装后的第二人物实例，包括：根据第一姿态信息和第二姿态信息确定姿态位移通道图；将姿态位移通道图与像素位移通道图叠加，得到组合位移通道图；将分割辅助信息以及组合位移通道图输入至换装网络，以通过换装网络将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装后的第二人物实例。
其中，叠加可以指将姿态位移通道图的特征信息与像素位移通道图的特征信息相融合。在此基础上，通过将姿态位移通道图与像素位移通道图叠加，能够得到特征信息相组合后的组合位移通道图。
具体的，首先将通过Mask辅助网络所得到的分割辅助信息以及叠加所得到的组合位移通道图输入至换装网络中，此外，也可以将第二人物实例的保护区域的特征信息输入至换装网络中，以保证换装后的第二人物实例的保护区域的特征保持不变；然后通过换装网络对所输入的信息进行相应的处理；最后将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装后的第二人物实例。
S340、将换装后的第二人物实例图像融合在第一背景图中，得到换装图像。
在本实施例中，通过图像处理的相应算法，将换装后的第二人物实例融合到第一背景图中的相应位置，得到换装图像。
图9为本发明实施例三提供的一种基于换装网络生成换装图像的实现示意图。如图9所示，Is表示源图像，It表示目标图像，Ds表示源图像中第一人物实例的三维人体姿态信息，Dt表示目标图像中第二人物实例的三维人体姿态信息；Fv表示根据Ds和Dt所确定的姿态位移通道图，Fp表示像素位移通道图。在换装网络的输入分支中，
Figure BDA0003413474060000131
表示分割辅助信息，Pt表示第二人物实例的保护区域的特征图，Fvp表示根据Fv和Fp叠加生成的组合位移通道图，
Figure BDA0003413474060000132
表示目标图像对应的第一背景图。GT表示换装网络，Ot表示换装网络的输出结果，即将换装后的第二人物实例图像融合在第一背景图中所得到的换装图像。
本公开实施例三提供的一种虚拟换装方法，具体化了通过换装网路进行服装变换的过程。利用该方法，通过背景补全网络对目标图像进行背景补全，并将换装后的第二人物实例融合进补全后的目标图像背景图中，换装背景特征的保持能够进一步提高虚拟换装的精细程度，提升了用户虚拟换装的使用体验。
实施例四
图10为本公开实施例四提供的一种训练换装网络的流程示意图，本实施例四在上述各实施例中各个可选方案为基础进行具体化。在本实施例中，对换装网络的训练和测试的过程进行了具体描述。本实施例尚未详尽的内容请参考上述任意实施例。
如图10所示，本公开实施例四提供的一种虚拟换装方法，包括如下步骤：
S410、通过实例分割算法得到样本目标图像的背景分割图。
在本实施例中，样本目标图像可以指包含待换服装和对应人物实例的样本图像。样本目标图像可以为多个，例如可以是多个具有不同人物实例姿态的样本图像。在本步骤中，在将样本目标图像输入至换装网络之前，通过实例分割算法得到样本目标图像的背景分割图。
S420、通过背景补全网络对样本目标图像的背景分割图进行背景补全，得到第二背景图。
在本实施例中，通过背景补全网络对上述所得到的样本目标图像的背景分割图进行背景补全，得到对应的第二背景图。
S430、通过换装网络将样本目标图像中的服装变换为样本源图像中的目标服装，得到换装后的人物实例。
在本实施例中，样本源图像可以认为是用于提供目标服装且包含人物实例的样本图像。根据样本源图像和样本目标图像所对应的人像信息和姿态信息，通过换装网络将样本目标图像中的服装变换为样本源图像中的目标服装，得到换装后的人物实例。
S440、将换装后的人物实例图像融合在第二背景图中，得到换装结果。
在本实施例中，换装结果可以指换装后的人物实例图像融合在第二背景图中后所得到的换装图像。
S450、判断换装结果与样本换装图像之间的损失函数是否满足第一条件？若是，则执行S460；若否，则返回执行S410，继续进行迭代训练。
在本实施例中，样本换装图像可以认为是样本源图像中的目标服装变换到样本目标图像中的人物实例上的标准图像。样本源图像、样本目标图像以及样本换装图像都是已知的，可以从样本数据库中下载，也可以是来源于真实采集的图像，例如通过对不同人物进行实际换装的场景进行拍照得到。
可以理解的是，换装结果可以认为是换装网络所述的一个换装后的预测值，样本换装图像可以认为是一个换装后的真实值。损失函数可以用于表征换装网络所输出的换装结果(即预测值)与样本换装图像(即真实值)之间的差距程度。例如，损失函数越大，则表明换装结果与样本换装图像之间的差距程度越大；损失函数越小，则表明换装结果与样本换装图像之间的差距程度越小，越接近真实值，则说明换装网络的鲁棒性越好。
第一条件可以为所设定的损失阈值范围，例如，在该设定阈值范围内的损失函数，所对应的换装结果与样本换装图像的差距程度较小，满足换装网络的训练要求。
在本实施例中，换装网络基于样本源图像、样本目标图像和样本换装图像训练得到，在每次训练迭代过程中，若换装结果与样本换装图像之间的损失函数满足第一条件，则表明换装网络的训练结束；反之，若不满足第一条件，则返回执行S410，继续进行换装网络的迭代训练，直至损失函数满足第一条件为止。
S460、基于样本源图像和样本目标图像对换装网络进行测试。
本实施例中，在测试的过程中，在换装网络的输入端输入任意的两个图像，其中，两个图像可以是原来样本中的样本源图像和样本目标图像，也可以是所获取的任意两个图像。
可选的，S460包括：将样本源图像中的服装变换到样本目标图像中的人物实例上，得到中间图像，并将中间图像的服装变换到样本源图像中的人物实例上，得到结果图像；根据结果图像与样本源图像的误差确定测试结果。
其中，误差可以为表征结果图像与源图像的特征信息差异程度的值，若误差很大，则表明换装网络的测试结果不好，换装网络需要进一步的训练；若误差很小，或者小于某一个设定阈值，则表明换装网络的测试效果良好，换装网络的训练和测试结束。
具体的，用于测试的输入图像可以是样本源图像和样本目标图像，将样本源图像中人物实例A的服装变换到样本目标图像中人物实例B上，得到中间图像，中间图像中的人物实例记为B’，然后再将中间图像中人物实例B’的服装变换到样本源图像中人物实例A上，得到结果图像，结果图像中的人物实例记为A’。在此基础上，判断结果图像与样本源图像之间的误差(主要是人物实例A与A’的误差)，即可确定测试结果。
可选的，换装网络还可以共享重建网络的参数。重建网络可以认为是根据人像信息和姿态信息，对去掉人物实例的背景补全图像进行重建的神经网络。本实施例中利用重建网络对源图像进行重建，并将重建网络中学习到的特征变换规律以网络参数的形式提供给换装网络，辅助换装网络的训练学习，在提高换装网络训练效率的基础上，还可以提高换装网络的性能。
具体的，重建网络用于在换装网络的训练过程中，在每次迭代过程中，执行以下操作，直至重建的图像与样本源图像之间的损失函数满足第二条件时，将重建网络的网络参数共享给换装网络：通过实例分割算法得到样本源图像的背景分割图；通过背景补全网络对样本源图像的背景分割图进行背景补全，得到第三背景图；通过重建网络，根据样本源图像的人像信息、样本源图像与样本源图像的姿态信息的交集、以及第三背景图进行图像重建，得到重建的图像。
其中，第二条件可以为所设定的一个损失阈值范围，例如，在该设定阈值范围内的损失函数，所对应的重建的图像与样本源图像之间的差距程度较小，表明重建网络的重建效果良好。在此基础上，当重建的图像与样本源图像之间的损失函数满足第二条件时，说明重建网络的重建效果良好，对应的网络参数具备可靠性，此时可以将重建网络的网络参数共享给换装网络。
图11为本发明实施例四提供的一种基于重建网络重建样本源图像的实现示意图。如图11所示，GS表示重建网络，
Figure BDA0003413474060000161
表示样本源图像对应的第三背景图，/>
Figure BDA0003413474060000162
表示样本源图像的人像信息中的人像分割信息，/>
Figure BDA0003413474060000163
表示将样本源图像与样本源图像的三维人体姿态信息叠加后的图像(叠加的目的是，利用样本源图像的三维人体姿态信息对样本源图像取交集，使其范围缩小，服装特征有缺失；在与样本源图像的人像分割信息融合时，再恢复出完整的服装特征，从而实现重建)。在重建网络的输出端，Os表示输出结果，即根据/>
Figure BDA0003413474060000164
和/>
Figure BDA0003413474060000165
进行图像重建，所得到的重建图像。Is表示样本源图像，ζ表示重建的图像与样本源图像之间的损失函数。/>
图12为本发明实施例四提供的一种训练换装网络的实现示意图。如图12所示，在换装网络的训练过程中，重建网络将自身训练完成并满足第二条件的网络参数共享给换装网络，在此基础上，换装网络利用重建网络的网络参数继续进行迭代训练。其中，ζ1表示重建的图像与样本源图像之间的损失函数，ζ2表示换装网络的换装结果与样本换装图像之间的损失函数。
本公开实施例四提供的一种虚拟换装方法，具体化了通过对换装网路进行训练和测试的过程。利用该方法，在换装网络的训练过程中，通过将重建网络训练完成的可靠网络参数共享给换装网络，能够辅助换装网络的训练学习，并且在提高换装网络的训练效率的基础上还可以有效提高换装网络的性能。此外，通过对训练完成的换装网络进行测试，能够进一步保证换装网络的性能效果，从而提高虚拟换装的准确性。
实施例五
图13为本公开实施例五提供的一种虚拟换装方法的流程示意图，该方法可适用于对任意输入图像中的人物实例进行换装的情况的情况，该方法可以由虚拟换装装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：台式计算机、笔记本电脑、服务器、平板电脑或智能手机等设备。需要说明的是，本实施例的虚拟换装方法，可针对指定服装，实现对任意一张输入图像的快速换装，而不需要用户提供源图像。因此可具体适用于简化的移动应用设备，例如手机或平板电脑等。本实施例尚未详尽的内容请参考上述任意实施例。
如图13所示，本公开实施例三提供的一种虚拟换装方法，包括如下步骤：
S510、获取待换装图像。
在本实施例中，待换装图像可以认为是包含等待虚拟换装的人物实例的图像，例如，待换装图像可以是由用户拍摄或导入到电子设备的图像，也可以是从电子设备本地相册中所读取的图像，该图像中包含了待换装的人物实例。
S520、通过预设网络将待换装图像中人物实例的服装变换为指定服装。
其中，预设网络基于样本图像对训练得到，样本图像对包括样本目标图像和对应的样本换装图像，样本换装图像根据样本目标图像的姿态信息得到。
在本实施例中，预设网络可以认为是指所预先训练好的一个可进行服装虚拟变换的网络。指定服装可以认为是目标服装。样本目标图像可以指包含待换装的人物实例的样本图像，样本换装图像可以指根据样本目标图像的姿态信息将待换装的人物实例的服装变换为指定服装后所得到的图像。样本图像对可以指由大量的样本目标图像和对应的样本换装图像所构成的多个样本对。
需要说明的是，预设网络具备对任意输入图像中的人物实例进行指定服装的换装的能力，其不需要用户提供源图像。不同于换装网络，预设网络的训练过程只需要用到样本目标图像和样本换装图像即可，将样本目标图像作为输入，样本换装图像作为输出。其中，样本目标图像和对应的样本换装图像分别对应于待换装的人物实例换装前后的状态。
本实施例中，样本换装图像根据样本目标图像的姿态信息得到的。对于指定服装，目标图像中的人物实例的姿态不同，则换装过程中指定服装所需的位移变化量不同。需要说明的是，样本目标图像和样本换装图像可以来自于上述实施例中换装网络的训练样本；或者，样本目标图像可以是任意的包含人物实例的图像，而其对应的样本换装图像可以通过上述实施例中的换装网络生成，这种情况下，对于任意的包含人物实例的图像，根据提供目标服装的源图像，生成对应的换装图像的过程可参见上述任意实施例，此处对此不作详细的展开描述。
本实施例中，指定服装可以为一种默认的固定服装，在这种情况下，预设网络经过训练，可以专门用于将待换装图像中人物实例的服装变换为这个默认的固定服装。对于不同的服装，可以分别训练的一个专用的预设网络。在通过预设网络进行服装变换时所占用的计算资源少，所得到的换装结果更专业、更准确。
预设网络也可以用于多种服装的换装，指定服装也可以由用户(如待换装的用户)从服装图库中任意指定，在这种情况下，预设网络需要学习不同的服装变换到待换装的人物实例上的特征变换规律，因此在进行服装变换时对预设网络的性能要求有所提高，据此可以针对于不同的指定服装灵活的实现服装变换。
示例性的，预设网络可以是一种生成式对抗网络(Generative AdversarialNetworks，GAN)，例如基于GAN的图像到图像的翻译(pix2pix)模型算法网络。需要说明的是，预设网络是一个已训练好的单独的网络，可直接进行服装的变换，例如，对于指定的服装，给预设网络一个输入，如待换装图像，就能直接在预设网络的输出端得到对应的换装图像。
可选的，根据样本目标图像的姿态信息得到样本换装图像的方法，可以根据上述实施例中任一项的虚拟换装方法确定。
具体的，可以通过上述任意实施例中的虚拟换装方法，根据样本目标图像生成对应的样本换装图像，在此基础上，将样本目标图像和对应样本换装图像所构成的多个样本图像对作为预设网络的训练数据，以训练预设网络，使得预设网络可以通过训练学习到服装变换过程中特征变换的规律，具备相应的换装能力，从而可以根据一个输入，如待换装图像，得到相应的换装结果，以实现虚拟换装的实际应用。
可选的，预设网络包括生成器和判别器；预设网络的训练过程包括：针对指定服装，通过生成器根据样本目标图像生成合成图像；通过判别器根据样本换装图像判别合成图像的真实性；重复上述生成合成图像以及判别合成图像的真实性的操作，直至判别结果满足训练停止条件。
其中，生成器可以指预设网络中用于通过学习真实图像的特征分布以生成特定图像的模块；例如针对指定服装，通过生成器根据样本目标图像的特征分布信息，以学习生成指定服装变换到样本目标图像中人物实例上的合成图像，该合成图像可以认为是通过生成器所生成的换装图像。判别器可以指预设网络中用于根据真实图像对生成器所生成的图像进行真假判别的模块；例如，通过判别器根据样本换装图像判别合成图像的真实性。
训练停止条件可以指根据判别器对合成图像真实性的判别结果所确定的停止训练的条件。例如训练停止条件可以是所有合成图像的判别结果都为真，或者也可以是判别结果为真的合成图像所占比例满足一个设定阈值，如百分之九十的合成图像的判别结果为真，此处对阈值的设定不做限定。
在预设网络训练的过程中，通过生成器和判别器去执行重复生成合成图像以及判别合成图像的真实性的操作，直至判别结果满足训练停止条件为止，预设网络训练完成。
本公开实施例五提供的一种虚拟换装方法，该方法首先获取待换装图像，然后通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。利用该方法，通过一个独立的预设网络，根据一个输入即可实现服装的虚拟变换，为用户在实际应用中提供了便利。此外，利用上述实施例中虚拟换装方法生成的样本图像对作为训练数据，为预设网络的训练提供了可靠依据，使得训练完成后的预设网络能够保证换装后的图像质量，并在此基础上实现了快速、准确的虚拟换装。
实施例六
图14为本公开实施例六提供的一种虚拟换装装置的结构示意图，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上。
如图14所示，该装置包括：第一获取模块610、处理模块620以及第一换装模块630；
其中，第一获取模块610，用于获取源图像和目标图像，所述源图像中包括关联于所述第一人物实例的目标服装，所述目标图像中包括第二人物实例；
处理模块620，用于对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
第一换装模块630，用于根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
在本实施例中，该装置首先通过第一获取模块610获取源图像和目标图像，源图像中包括关联于第一人物实例的目标服装，目标图像中包括第二人物实例；然后通过处理模块620对源图像和目标图像进行处理，分别得到源图像的第一人像信息和第一姿态信息，以及目标图像的第二姿态信息；最后通过第一换装模块630根据第一人像信息、第一姿态信息和第二姿态信息，将目标图像中第二人物实例的服装变换为源图像中的目标服装，得到换装图像。利用上述装置，通过利用源图像和目标图像的人像信息和姿态信息，能够实现目标服装在不同人物之间的变换，在此基础上，还可根据不同人物实例的姿态，实现对任意姿态的人物的换装，从而提高了虚拟换装的灵活性和准确性。
可选的，第一换装模块630包括：
分割辅助信息确定单元，用于将所述第一人像信息、所述第一姿态信息和所述第二姿态信息输入至分割辅助网络，得到所述目标服装在所述第二人物实例的姿态下的分割辅助信息；
像素位移通道图确定单元，用于将所述第一人像信息、所述第一姿态信息、所述第二姿态信息以及所述分割辅助信息输入至服装位移辅助网络，得到所述目标服装由所述第一人物实例变换到所述第二人物实例的像素位移通道图；
换装图像确定单元，用于根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
可选的，所述分割辅助网络为包括双分支输入的神经网络，
第一个分支的输入包括所述第一人像信息和所述第一姿态信息，其中，所述第一人像信息包括第一人像分割信息和第一人像解析信息，所述第一姿态信息包括所述第一人物实例的三维人体姿态信息和人体关键点信息；
第二个分支的输入包括所述第二姿态信息，所述第二姿态信息包括所述第二人物实例的三维人体姿态信息和人体关键点信息。
可选的，所述服装位移辅助网络为包括双分支输入的神经网络，
第一个分支的输入包括所述第一人像信息和所述第一姿态信息，其中，所述第一人像信息包括第一人像分割信息和第一人像解析信息，所述第一姿态信息包括所述第一人物实例的三维人体姿态信息和人体关键点信息；
第二个分支的输入包括所述分割辅助信息和所述第二姿态信息，其中，所述分割辅助信息包括所述目标服装在所述第二人物实例的姿态下的第二人像分割信息和第二人像解析信息，所述第二姿态信息包括所述第二人物实例的三维人体姿态信息和人体关键点信息。
可选的，所述换装图像确定单元包括：
分割图确定子单元，用于通过实例分割算法得到所述目标图像的背景分割图；
第一背景图确定子单元，用于通过背景补全网络对所述目标图像的背景分割图进行背景补全，得到第一背景图；
第二人物实例确定子单元，用于根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，通过换装网络将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例；
换装图像确定子单元，用于将所述换装后的第二人物实例图像融合在所述第一背景图中，得到换装图像。
可选的，所述第二人物实例确定子单元包括：
根据所述第一姿态信息和所述第二姿态信息确定所述姿态位移通道图；
将所述姿态位移通道图与所述像素位移通道图叠加，得到组合位移通道图；
将所述分割辅助信息以及所述组合位移通道图输入至所述换装网络，以通过所述换装网络将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例。
可选的，所述装置还包括：根据所述第二人像信息确定所述第二人物实例的保护区域，在将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装的过程中，所述保护区域内的特征保持不变。
可选的，所述换装网络基于样本源图像、样本目标图像和样本换装图像训练得到；
在上述实施例的基础上，所述换装网络的训练过程包括：在每次迭代过程中，执行以下操作，直至所述换装结果与所述样本换装图像之间的损失函数满足第一条件：
通过实例分割算法得到所述样本目标图像的背景分割图；
通过背景补全网络对所述样本目标图像的背景分割图进行背景补全，得到第二背景图；
通过所述换装网络将所述样本目标图像中的服装变换为所述样本源图像中的目标服装，得到换装后的人物实例；
将所述换装后的人物实例图像融合在所述第二背景图中，得到换装结果。
可选的，所述换装网络共享重建网络的网络参数；
其中，所述重建网络用于在所述换装网络的训练过程中，在每次迭代过程中，执行以下操作，直至重建的图像与样本所述源图像之间的损失函数满足第二条件时，将所述重建网络的网络参数共享给所述换装网络：
通过实例分割算法得到所述样本源图像的背景分割图；
通过所述背景补全网络对所述样本源图像的背景分割图进行背景补全，得到第三背景图；
通过重建网络，根据所述样本源图像的人像信息、所述样本源图像与所述样本源图像的姿态信息的交集、以及所述第三背景图进行图像重建，得到重建的图像。
可选的，在所述装置中还包括：
测试模块，用于基于样本源图像和样本目标图像对所述换装网络进行测试。
在上述实施例的基础上，所述对所述换装网络进行测试，包括：
将所述样本源图像中的服装变换到所述样本目标图像中的人物实例上，得到中间图像，并将所述中间图像的服装变换到所述样本源图像中的人物实例上，得到结果图像；
根据所述结果图像与所述样本源图像的误差确定测试结果。
上述虚拟换装装置可执行本公开实施例一至四所提供的虚拟换装方法，具备执行方法相应的功能模块和有益效果。
实施例七
图15为本公开实施例七提供的一种虚拟换装装置的结构示意图，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上。
如图15所示，该装置包括：第二确定模块710以及第二换装模块720；
其中，第二确定模块710，用于获取待换装图像；
第二换装模块720，用于通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。
在本实施例中，该装置首先通过第二确定模块710获取待换装图像，然后第二换装模块720通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。利用该装置，通过一个独立的预设网络，根据一个输入即可实现服装的虚拟变换，为用户在实际应用中提供了便利。此外，利用上述实施例中虚拟换装方法生成的样本图像对作为训练数据，为预设网络的训练提供了可靠依据，使得训练完成后的预设网络能够保证换装后的图像质量，并在此基础上实现了快速、准确的虚拟换装。
可选的，所述预设网络包括生成器和判别器；
所述预设网络的训练过程包括：针对所述指定服装，
通过所述生成器根据所述样本目标图像生成合成图像；
通过所述判别器根据所述样本换装图像判别所述合成图像的真实性；
重复上述生成合成图像以及判别所述合成图像的真实性的操作，直至判别结果满足训练停止条件。
可选的，根据所述样本目标图像的姿态信息得到所述样本换装图像的方法，根据上述任意实施例任一项所述的虚拟换装方法得到。
上述虚拟换装装置可执行本公开实施例五所提供的虚拟换装方法，具备执行方法相应的功能模块和有益效果。
实施例八
图16为本公开实施例八提供的一种电子设备的结构示意图。图16示出了适于用来实现本公开实施例的电子设备400的结构示意图。图16示出的电子设备400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，电子设备400可以包括一个或多个处理器(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(Read-Only Memory，ROM)402中的程序或者从存储装置408加载到随机访问存储器(Random Access Memory，RAM)403中的程序而执行各种适当的动作和处理。一个或多个处理器401实现如本公开提供的虚拟换装方法。在RAM403中，还存储有电子设备400操作所需的各种程序和数据。处理器401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(Input/Output，I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(Liquid CrystalDisplay，LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408，存储装置408用于存储一个或多个程序；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图16示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM402被安装。在该计算机程序被处理器401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如超文本传输协议(Hyper TextTransfer Protocol，HTTP)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(LAN)，广域网(WAN)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备400中所包含的；也可以是单独存在，而未装配入该电子设备400中。
上述计算机可读介质存储有一个或者多个计算机程序，当上述一个或者多个程序被处理器执行时实现如下方法：上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备400：可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、片上***(System on Chip，SOC)、复杂可编程逻辑设备(Complex Programming logic device，CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种虚拟换装方法，包括：
获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例；
对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
根据本公开的一个或多个实施例，示例2根据示例1所述的方法，
根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像，包括：
将所述第一人像信息、所述第一姿态信息和所述第二姿态信息输入至分割辅助网络，得到所述目标服装在所述第二人物实例的姿态下的分割辅助信息；
将所述第一人像信息、所述第一姿态信息、所述第二姿态信息以及所述分割辅助信息输入至服装位移辅助网络，得到所述目标服装由所述第一人物实例变换到所述第二人物实例的像素位移通道图；
根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
根据本公开的一个或多个实施例，示例3根据示例2所述的方法，
所述分割辅助网络为包括双分支输入的神经网络，
第一个分支的输入包括所述第一人像信息和所述第一姿态信息，其中，所述第一人像信息包括第一人像分割信息和第一人像解析信息，所述第一姿态信息包括所述第一人物实例的三维人体姿态信息和人体关键点信息；
第二个分支的输入包括所述第二姿态信息，所述第二姿态信息包括所述第二人物实例的三维人体姿态信息和人体关键点信息。
根据本公开的一个或多个实施例，示例4根据示例2所述的方法，
所述服装位移辅助网络为包括双分支输入的神经网络，
第一个分支的输入包括所述第一人像信息和所述第一姿态信息，其中，所述第一人像信息包括第一人像分割信息和第一人像解析信息，所述第一姿态信息包括所述第一人物实例的三维人体姿态信息和人体关键点信息；
第二个分支的输入包括所述分割辅助信息和所述第二姿态信息，其中，所述分割辅助信息包括所述目标服装在所述第二人物实例的姿态下的第二人像分割信息和第二人像解析信息，所述第二姿态信息包括所述第二人物实例的三维人体姿态信息和人体关键点信息。
根据本公开的一个或多个实施例，示例5根据示例2所述的方法，
根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像，包括：
通过实例分割算法得到所述目标图像的背景分割图；
通过背景补全网络对所述目标图像的背景分割图进行背景补全，得到第一背景图；
根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，通过换装网络将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例；
将所述换装后的第二人物实例图像融合在所述第一背景图中，得到换装图像。
根据本公开的一个或多个实施例，示例6根据示例5所述的方法，
根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例，包括：
根据所述第一姿态信息和所述第二姿态信息确定所述姿态位移通道图；
将所述姿态位移通道图与所述像素位移通道图叠加，得到组合位移通道图；
将所述分割辅助信息以及所述组合位移通道图输入至所述换装网络，以通过所述换装网络将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例。
根据本公开的一个或多个实施例，示例7根据示例1所述的方法，还包括：
根据所述第二人像信息确定所述第二人物实例的保护区域，在将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装的过程中，所述保护区域内的特征保持不变。
根据本公开的一个或多个实施例，示例8根据示例5所述的方法，
所述换装网络基于样本源图像、样本目标图像和样本换装图像训练得到；
所述换装网络的训练过程包括：在每次迭代过程中，执行以下操作，直至所述换装结果与所述样本换装图像之间的损失函数满足第一条件：
通过实例分割算法得到所述样本目标图像的背景分割图；
通过背景补全网络对所述样本目标图像的背景分割图进行背景补全，得到第二背景图；
通过所述换装网络将所述样本目标图像中的服装变换为所述样本源图像中的目标服装，得到换装后的人物实例；
将所述换装后的人物实例图像融合在所述第二背景图中，得到换装结果。
根据本公开的一个或多个实施例，示例9根据示例8所述的方法，
所述换装网络共享重建网络的网络参数；
其中，所述重建网络用于在所述换装网络的训练过程中，在每次迭代过程中，执行以下操作，直至重建的图像与所述样本源图像之间的损失函数满足第二条件时，将所述重建网络的网络参数共享给所述换装网络：
通过实例分割算法得到所述样本源图像的背景分割图；
通过所述背景补全网络对所述样本源图像的背景分割图进行背景补全，得到第三背景图；
通过重建网络，根据所述样本源图像的人像信息、所述样本源图像与所述样本源图像的姿态信息的交集、以及所述第三背景图进行图像重建，得到重建的图像。
根据本公开的一个或多个实施例，示例10根据示例5所述的方法，还包括：基于样本源图像和样本目标图像对所述换装网络进行测试；
所述对所述换装网络进行测试，包括：
将所述样本源图像中的服装变换到所述样本目标图像中的人物实例上，得到中间图像，并将所述中间图像的服装变换到所述样本源图像中的人物实例上，得到结果图像；
根据所述结果图像与所述样本源图像的误差确定测试结果。
根据本公开的一个或多个实施例，示例11提供了一种虚拟换装方法，包括：
获取待换装图像；
通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；
其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。
根据本公开的一个或多个实施例，示例12根据示例11所述的方法，
所述预设网络包括生成器和判别器；
所述预设网络的训练过程包括：针对所述指定服装，
通过所述生成器根据所述样本目标图像生成合成图像；
通过所述判别器根据所述样本换装图像判别所述合成图像的真实性；
重复上述生成合成图像以及判别所述合成图像的真实性的操作，直至判别结果满足训练停止条件。
根据本公开的一个或多个实施例，示例13根据示例12所述的方法，根据所述样本目标图像的姿态信息得到所述样本换装图像的方法，根据示例1-10任一项所述的虚拟换装方法得到。
根据本公开的一个或多个实施例，示例14提供了一种虚拟换装装置，包括：
第一获取模块，用于获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例；
处理模块，用于对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
第一换装模块，用于根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
根据本公开的一个或多个实施例，示例15提供了一种虚拟换装装置，包括：
第二确定模块，用于获取待换装图像；
第二换装模块，用于通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。
根据本公开的一个或多个实施例，示例16提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如示例1-13中任一所述的方法。
根据本公开的一个或多个实施例，示例17提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如示例1-13中任一所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (17)

1.一种虚拟换装方法，其特征在于，包括：
获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例；
对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
2.根据权利要求1所述的方法，其特征在于，根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像，包括：
将所述第一人像信息、所述第一姿态信息和所述第二姿态信息输入至分割辅助网络，得到所述目标服装在所述第二人物实例的姿态下的分割辅助信息；
将所述第一人像信息、所述第一姿态信息、所述第二姿态信息以及所述分割辅助信息输入至服装位移辅助网络，得到所述目标服装由所述第一人物实例变换到所述第二人物实例的像素位移通道图；
根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
3.根据权利要求2所述的方法，其特征在于，所述分割辅助网络为包括双分支输入的神经网络，
第一个分支的输入包括所述第一人像信息和所述第一姿态信息，其中，所述第一人像信息包括第一人像分割信息和第一人像解析信息，所述第一姿态信息包括所述第一人物实例的三维人体姿态信息和人体关键点信息；
第二个分支的输入包括所述第二姿态信息，所述第二姿态信息包括所述第二人物实例的三维人体姿态信息和人体关键点信息。
4.根据权利要求2所述的方法，其特征在于，所述服装位移辅助网络为包括双分支输入的神经网络，
第一个分支的输入包括所述第一人像信息和所述第一姿态信息，其中，所述第一人像信息包括第一人像分割信息和第一人像解析信息，所述第一姿态信息包括所述第一人物实例的三维人体姿态信息和人体关键点信息；
第二个分支的输入包括所述分割辅助信息和所述第二姿态信息，其中，所述分割辅助信息包括所述目标服装在所述第二人物实例的姿态下的第二人像分割信息和第二人像解析信息，所述第二姿态信息包括所述第二人物实例的三维人体姿态信息和人体关键点信息。
5.根据权利要求2所述的方法，其特征在于，根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像，包括：
通过实例分割算法得到所述目标图像的背景分割图；
通过背景补全网络对所述目标图像的背景分割图进行背景补全，得到第一背景图；
根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，通过换装网络将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例；
将所述换装后的第二人物实例图像融合在所述第一背景图中，得到换装图像。
6.根据权利要求5所述的方法，其特征在于，根据所述第一姿态信息和所述第二姿态信息之间的姿态位移通道图、所述像素位移通道图以及所述分割辅助信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例，包括：
根据所述第一姿态信息和所述第二姿态信息确定所述姿态位移通道图；
将所述姿态位移通道图与所述像素位移通道图叠加，得到组合位移通道图；
将所述分割辅助信息以及所述组合位移通道图输入至所述换装网络，以通过所述换装网络将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装后的第二人物实例。
7.根据权利要求1所述的方法，其特征在于，还包括：
根据所述第二人像信息确定所述第二人物实例的保护区域，在将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装的过程中，所述保护区域内的特征保持不变。
8.根据权利要求5所述的方法，其特征在于，所述换装网络基于样本源图像、样本目标图像和样本换装图像训练得到；
所述换装网络的训练过程包括：在每次迭代过程中，执行以下操作，直至所述换装结果与所述样本换装图像之间的损失函数满足第一条件：
通过实例分割算法得到所述样本目标图像的背景分割图；
通过背景补全网络对所述样本目标图像的背景分割图进行背景补全，得到第二背景图；
通过所述换装网络将所述样本目标图像中的服装变换为所述样本源图像中的目标服装，得到换装后的人物实例；
将所述换装后的人物实例图像融合在所述第二背景图中，得到换装结果。
9.根据权利要求8所述的方法，其特征在于，所述换装网络共享重建网络的网络参数；
其中，所述重建网络用于在所述换装网络的训练过程中，在每次迭代过程中，执行以下操作，直至重建的图像与所述样本源图像之间的损失函数满足第二条件时，将所述重建网络的网络参数共享给所述换装网络：
通过实例分割算法得到所述样本源图像的背景分割图；
通过所述背景补全网络对所述样本源图像的背景分割图进行背景补全，得到第三背景图；
通过重建网络，根据所述样本源图像的人像信息、所述样本源图像与所述样本源图像的姿态信息的交集、以及所述第三背景图进行图像重建，得到重建的图像。
10.根据权利要求5所述的方法，其特征在于，还包括：基于样本源图像和样本目标图像对所述换装网络进行测试；
所述对所述换装网络进行测试，包括：
将所述样本源图像中的服装变换到所述样本目标图像中的人物实例上，得到中间图像，并将所述中间图像的服装变换到所述样本源图像中的人物实例上，得到结果图像；
根据所述结果图像与所述样本源图像的误差确定测试结果。
11.一种虚拟换装方法，其特征在于，包括：
获取待换装图像；
通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；
其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。
12.根据权利要求11所述的方法，其特征在于，
所述预设网络包括生成器和判别器；
所述预设网络的训练过程包括：针对所述指定服装，
通过所述生成器根据所述样本目标图像生成合成图像；
通过所述判别器根据所述样本换装图像判别所述合成图像的真实性；
重复上述生成合成图像以及判别所述合成图像的真实性的操作，直至判别结果满足训练停止条件。
13.根据权利要求12所述的方法，其特征在于，根据所述样本目标图像的姿态信息得到所述样本换装图像的方法，根据权利要求1-10任一项所述的虚拟换装方法确定。
14.一种虚拟换装装置，其特征在于，包括：
第一获取模块，用于获取源图像和目标图像，所述源图像中包括关联于第一人物实例的目标服装，所述目标图像中包括第二人物实例；
处理模块，用于对所述源图像和所述目标图像进行处理，分别得到所述源图像的第一人像信息和第一姿态信息，以及所述目标图像的第二姿态信息；
第一换装模块，用于根据所述第一人像信息、所述第一姿态信息和所述第二姿态信息，将所述目标图像中所述第二人物实例的服装变换为所述源图像中的目标服装，得到换装图像。
15.一种虚拟换装装置，其特征在于，包括：
第二确定模块，用于获取待换装图像；
第二换装模块，用于通过预设网络将所述待换装图像中人物实例的服装变换为指定服装；其中，所述预设网络基于样本图像对训练得到，所述样本图像对包括样本目标图像和对应的样本换装图像，所述样本换装图像根据所述样本目标图像的姿态信息得到。
16.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的虚拟换装方法。
17.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-13中任一所述的虚拟换装方法。
CN202111539373.2A 2021-12-15 2021-12-15 虚拟换装方法、装置、电子设备及可读介质 Pending CN116309005A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111539373.2A CN116309005A (zh) 2021-12-15 2021-12-15 虚拟换装方法、装置、电子设备及可读介质
PCT/CN2022/137802 WO2023109666A1 (zh) 2021-12-15 2022-12-09 虚拟换装方法、装置、电子设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111539373.2A CN116309005A (zh) 2021-12-15 2021-12-15 虚拟换装方法、装置、电子设备及可读介质

Publications (1)

Publication Number Publication Date
CN116309005A true CN116309005A (zh) 2023-06-23

Family

ID=86774897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111539373.2A Pending CN116309005A (zh) 2021-12-15 2021-12-15 虚拟换装方法、装置、电子设备及可读介质

Country Status (2)

Country Link
CN (1) CN116309005A (zh)
WO (1) WO2023109666A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067299A (zh) * 2017-03-29 2017-08-18 深圳奥比中光科技有限公司 虚拟试衣方法和***
JP2018113060A (ja) * 2018-03-14 2018-07-19 株式会社東芝 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device

Also Published As

Publication number Publication date
WO2023109666A1 (zh) 2023-06-22

Similar Documents

Publication Publication Date Title
CN109902659B (zh) 用于处理人体图像的方法和装置
CN109508681A (zh) 生成人体关键点检测模型的方法和装置
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN112967212A (zh) 一种虚拟人物的合成方法、装置、设备及存储介质
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN106462572A (zh) 用于分布式光学字符识别和分布式机器语言翻译的技术
CN109754464B (zh) 用于生成信息的方法和装置
CN110866977A (zh) 增强现实处理方法及装置、***、存储介质和电子设备
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN113034648A (zh) 图像处理方法、装置、设备和存储介质
CN113689372A (zh) 图像处理方法、设备、存储介质及程序产品
CN111246196B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
Kim et al. Real-time panorama canvas of natural images
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN115731341A (zh) 三维人头重建方法、装置、设备及介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN109816791B (zh) 用于生成信息的方法和装置
JP7479507B2 (ja) 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
CN116309005A (zh) 虚拟换装方法、装置、电子设备及可读介质
CN114299598A (zh) 确定注视位置的方法及相关装置
CN115187497A (zh) 吸烟检测方法、***、设备及介质
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination