CN116452601A - 虚拟试衣方法、装置、电子设备及存储介质 - Google Patents
虚拟试衣方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116452601A CN116452601A CN202210015099.7A CN202210015099A CN116452601A CN 116452601 A CN116452601 A CN 116452601A CN 202210015099 A CN202210015099 A CN 202210015099A CN 116452601 A CN116452601 A CN 116452601A
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- dressing
- clothing
- virtual fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 abstract description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种虚拟试衣方法、装置、电子设备及存储介质，虚拟试衣方法，包括：获取人体图像和目标衣物图像；对所述人体图像进行图像分割，确定至少一个人体穿衣区域；基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。本发明提供的虚拟试衣方法、装置、电子设备及存储介质，用以解决现有技术中虚拟试衣成本高的缺陷，实现降低虚拟试衣的成本。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种虚拟试衣方法、装置、电子设备及存储介质。
背景技术
随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于衣柜而言，作为每天需要使用的家具用品，其智能化发展是至关重要的，而智能化的关键问题，就在于为日常生活提供便利，比如对衣柜内的衣物进行记录及虚拟试穿。
现有技术采用3D摄像头来采集人体姿态数据，进而构建人体模型，但是使用3D摄像头会大大提高成本，因而不太适合家用，通常使用于大型的商场，通过3D摄像头可以对顾客身形进行实时获取。但是在家用场景下，没有过多的空间存放体积较大的3D试衣镜，而且3D摄像头对于家庭而言成本较高，不太适用。
发明内容
本发明提供一种虚拟试衣方法、装置、电子设备及存储介质，用以解决现有技术中虚拟试衣成本高的缺陷，实现降低虚拟试衣的成本。
本发明提供一种虚拟试衣方法，包括：
获取人体图像和目标衣物图像；
对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
根据本发明提供的虚拟试衣方法，所述基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像，包括：
基于所述人体关键点，通过插值算法对所述目标衣物图像进行扭曲处理，得到所述待试穿衣物图像，所述待试穿衣物图像与所述人体穿衣区域的姿态对应。
根据本发明提供的虚拟试衣方法，所述基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像，包括：
基于所述人体穿衣区域对应的人体关键点和所述目标衣物图像，生成初始合成图像；
基于所述初始合成图像和所述待试穿衣物图像，生成所述人体穿衣图像。
根据本发明提供的虚拟试衣方法，基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像，包括：
将所述人体穿衣区域和所述待试穿衣物图像输入试穿模型，生成所述人体穿衣图像；
其中，所述匹配模型通过下述步骤训练得到：
将样本穿衣区域和样本试穿衣物图像输入至初始模型，得到样本穿衣图像；所述样本穿衣区域是根据样本人物图像得到的，所述样本试穿衣物图像是根据样本衣物图像得到的；
基于所述样本试穿衣物图像和所述样本穿衣图像，计算总损失值；
基于所述总损失值对所述初始模型的参数进行迭代更新，直到满足训练结束条件，得到所述试穿模型。
根据本发明提供的虚拟试衣方法，还包括：
根据所述样本试穿衣物图像和样本衣物图像，得到第一损失值；
根据样本人物图像和所述样本穿衣图像，得到第二损失值；
根据所述第一损失值和所述第二损失值，确定所述总损失值。
根据本发明提供的虚拟试衣方法，获取人体图像和目标衣物图像，包括：
从终端设备获取所述人体图像；以及，
从所述终端设备或智能衣柜获取的所述目标衣物图像。
根据本发明提供的虚拟试衣方法，还包括：
将所述人体穿衣图像投屏至目标家电设备进行显示。
本发明还提供一种虚拟试衣装置，包括：
获取模块，用于从终端设备获取人体图像，以及目标衣物图像；
分割模块，用于对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
初步处理模块，用于基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；
合成模块，用于基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟试衣方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟试衣方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述虚拟试衣方法的步骤。
本发明提供的虚拟试衣方法、装置、电子设备及存储介质，直接获取人体图像以及目标衣物图像，不需要使用三维摄像头对人体进行拍摄，降低试衣成本，而且还可以保护用户隐私。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的虚拟试衣方法的流程示意图之一；
图2是本发明提供的虚拟试衣方法的流程示意图之二；
图3是本发明提供的虚拟试衣装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的虚拟试衣方法、装置、电子设备及存储介质。
如图1所示，本发明提供的虚拟试衣方法，该虚拟试衣方法应用于终端设备，例如虚拟试衣镜，也可以应用于云端服务器，该虚拟试衣方法包括：
步骤110、获取人体图像和目标衣物图像。
可以理解的是，可用从终端设备获取人体图像和目标衣物图像，终端设备可以是手机或者平板电脑等设备，也可以是虚拟试衣镜。例如，手机或者平板电脑上存储有人体图像以及目标衣物图像，虚拟试衣镜可以从手机或者平板电脑获取人体图像以及目标衣物图像后，再执行后续的图像处理操作。
或者，虚拟试衣镜的存储空间内，存储有人体图像以及目标衣物图像，虚拟试衣镜可以直接从自身存储空间内获取人体图像以及目标衣物图像，再执行后续的图像处理操作。
或者，云端服务器从手机或者平板电脑等终端设备获取人体图像以及目标衣物图像后，执行后续的图像处理操作。
目标衣物图像可以是用户需要试穿的衣物图像。终端设备所上传的人体图像，以及目标衣物图像，可以是预先拍摄存入终端设备中的。
需要说明的是，人体图像以及目标衣物图像均是二维图像。
其中，人体图像除了包含有用户身形的图形特征，还包含有用户身形各个部位的尺寸，例如：手臂长度、肩膀宽度、腿部长度等尺寸；目标衣物图像除了包含有用户需要更换的衣物的图形特征，还包含有需要更换的衣物的各个部位的尺寸，例如衣物的袖子长度、衣物的宽度、裤子的长度及宽度等尺寸。
步骤120、对所述人体图像进行图像分割，确定至少一个人体穿衣区域。可以理解的是，可以将人体图像进行图像分割处理，得到用户身形分割图像，对用户身形分割图像的每一块区域进行识别，确定该区域是否是属于需要穿衣的区域。
人体穿衣区域也即是人体穿上衣物的区域，例如可以是上身区域，也可以是下身区域。
人体姿态可以包括人体的各个关键点的位置和身体姿态，例如行走的姿态，也可以是站立的姿态，还可以是坐姿等，本发明实施例对此不作限定。
步骤130、基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像。
可以理解的是，可以通过对人体图像进行处理，确定人体的多个关键点和多个关键点之间的相对位置关系，该相对位置关系可表征人体姿态。
步骤140、基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
可以理解的是，人体穿衣图像，也即是用户将目标衣物穿在身上后对应的实际图像。本实施例中，只需要将目标衣物图像按照人体姿态对应的人体关键点进行处理后，与人体穿衣区域进行合成，即可得到人体穿衣图像，而不需要用户自己将目标衣物穿在身上，再通过拍摄获取，极大方便了用户试穿目标衣物。
将人体穿衣区域与目标衣物图像合成为符合各种人体姿态的人体穿衣图像，例如将人体穿衣区域与目标衣物图像合成行走姿态的人体穿衣图像，或者将人体穿衣区域与目标衣物图像合成站立姿态的人体穿衣图像，或者将人体穿衣区域与目标衣物图像合成坐立姿态的人体穿衣图像。
在一些实施例中，所述对所述人体图像进行图像分割，确定至少一个人体穿衣区域，包括：
将所述人体图像输入至训练好的图像分割算法模型中，对所述人体图像进行图像分割，得到所述人体穿衣区域。
进一步，将所述人体图像输入至训练好的人体姿态估计模型中，得到人体姿态。
可以理解的是，训练好的图像分割算法模型，以及训练好的人体姿态估计模型，可以均是一个神经网络算法模型，均是在云端服务器训练完成后，下发至各终端设备。
图像分割算法模型可以是部分分组网络(PGN)模型，图算法(Graph Algorithms)模型、JPPNet网络模型、SSL(Self-supervised Structure sensitive Learning)网络模型以及SCHP(Self-Correction for Human Parsing)网络模型中一种。
其中，部分分组网络模型将实例级人体解析重新定义为，两个可以通过统一网络共同学习和相互完善的孪生子任务：1、将每个像素指定为人类部分(如面部、手臂)的语义部分分割；2、实例感知边缘检测，将语义部分划分给不同的人物实例。
SSL网络模型是一种新的自监督结构敏感学习框架，直接从解析标注中产生近似的人体关节信息，并用这两个标注作为结构敏感损失函数的监督信号，因此称为自监督学习策略。
SCHP网络模型设计了一个循环学习调度程序，通过以在线方式迭代地将当前学习的模型与前一个最佳模型进行聚合来推断更可靠的标签，进而提高网络模型的性能。
在一些实施例中，所述人体姿态估计模型，是以预设的人体图像为样本，以预设的人体图像对应的人体姿态为样本标签，对openpose算法模型、DeepCut算法模型以及RMPE(Regional Multi-Person Pose Estimation)算法模型中的一种进行训练得到。
可以理解的是，openpose算法是一种自底向上的算法，openpose算法模型基于卷积神经网络和监督学习并以Caffe(Convolutional Architecture for Fast FeatureEmbedding)为框架开发的开源库。openpose算法可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性，是基于深度学习的实时多人二维姿态估计应用。
其中，Caffe框架中的数据结构是以Blobs-layers-Net形式存在。其中，Blobs是通过4维向量形式(num，channel，height，width)存储网络中所有权重，激活值以及正向反向的数据。作为Caffe的标准数据格式，Blobs提供了统一内存接口。Layers表示的是神经网络中具体层，例如卷积层等，是Caffe框架的本质内容和执行计算的基本单元。layer层接收底层输入的Blobs，向高层输出Blobs。在每层会实现前向传播，后向传播。Net是由多个层连接在一起，组成的有向无环图。一个网络将最初的data数据层加载数据开始到最后的loss层组合为整体。
openpose算法原理如下：
1、输入一幅图像，经过VGG(Visual Geometry Group)卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用CNN网络(卷积神经网络)提取两个岔路的置信度(Part Confidence Maps)和关联度(Part Affinity Fields)；
2、得到这置信度和关联度两个信息后，再使用图论中的偶匹配(BipartiteMatching)求出关键点(Part Association)，将同一个人的关键点连接起来，由于关联度自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；
3、最后基于人体关键点亲和场(PAFs)求Multi-Person Parsing，把Multi-personparsing问题转换成图形(graphs)问题，再采用匈牙利算法(Hungarian Algorithm)，匈牙利算法是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。
在一些实施例中，所述基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像，包括：
基于所述人体关键点，通过插值算法对所述目标衣物图像进行扭曲处理，得到所述待试穿衣物图像，所述待试穿衣物图像与所述人体穿衣区域的姿态对应。
可以理解的是，目标衣物穿到人体上时，会导致目标衣物出现扭曲，因此，在将目标衣物图像与人体穿衣区域进行合成时，需要先将目标衣物图像进行扭曲处理，使得目标衣物图像的形状符合对应的人体姿态。
可以通过插值算法将目标衣物图像扭曲，使得目标衣物图像满足人体行走姿态，也可以通过插值算法将目标衣物图像扭曲，使得目标衣物图像满足人体站立姿态，也可以通过插值算法将目标衣物图像扭曲，使得目标衣物图像满足人体坐立姿态。
进一步，将扭曲后的目标衣物图像，与所述人体穿衣区域进行合成一张人体穿衣图像，也即是人体穿上目标衣物后所呈现出的效果图片。
在一些实施例中，所述基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像，包括：
基于所述人体穿衣区域对应的人体关键点和所述目标衣物图像，生成初始合成图像；
基于所述初始合成图像和所述待试穿衣物图像，生成所述人体穿衣图像。
可用理解的是，待试穿衣物图像，也即是目标衣物图像按照人体穿衣区域对应的人体关键点进行扭曲处理后，得到的图像。
先将人体穿衣区域对应的人体关键点与目标衣物图像进行合成，所得到的初始合成图像，没有基于人体关键点进行扭曲，因此，还需要将初始合成图像，与待试穿衣物图像进行再次合成，所得到的人体穿衣图像才是最贴近现实的。
在一些实施例中，基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像，包括：
将所述人体穿衣区域和所述待试穿衣物图像输入试穿模型，生成所述人体穿衣图像；
其中，所述匹配模型通过下述步骤训练得到：
将样本穿衣区域和样本试穿衣物图像输入至初始模型，得到样本穿衣图像；所述样本穿衣区域是根据样本人物图像得到的，所述样本试穿衣物图像是根据样本衣物图像得到的；
基于所述样本试穿衣物图像和所述样本穿衣图像，计算总损失值；
基于所述总损失值对所述初始模型的参数进行迭代更新，直到满足训练结束条件，得到所述试穿模型。
可以理解的是，样本试穿衣物图像是进行扭曲处理后的衣物图像。初始模型和试穿模型可以是基于相同神经网络算法的模型，两个模型的参数不相同。
在一些实施例中，虚拟试衣方法，还包括：
根据所述样本试穿衣物图像和样本衣物图像，得到第一损失值；
根据样本人物图像和所述样本穿衣图像，得到第二损失值；
根据所述第一损失值和所述第二损失值，确定所述总损失值。
可以理解的是，损失值，也即是基于求解损失函数得到的值。损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
本实施例中采用的损失函数，可以是绝对值损失函数、平方损失函数、log对数损失函数、指数损失函数、感知损失函数，或者交叉熵损失函数。
在一些实施例中，获取人体图像和目标衣物图像，包括：
从终端设备获取所述人体图像；以及，
从所述终端设备或智能衣柜获取的所述目标衣物图像。
可以理解的是，终端设备可以是手机或者电脑，替代了现有技术方案中的摄像头。智能衣柜内存储有，该衣柜内衣服对应的图像。
在一些实施例中，所述基于所述初始合成图像和所述待试穿衣物图像，生成所述人体穿衣图像，包括：
将所述初始合成图像和所述待试穿衣物图像，输入至训练好的虚拟试穿网络模型进行合成，得到所述人体穿衣图像。
可以理解的是，虚拟试穿网络模型可以是CP-VTON算法模型、CP-VTON+算法模型、VITON(基于图像的虚拟试穿网络)算法模型以及ACGPN(自适应内容生成保留网络)算法模型中的一种。CP-VTON+算法模型是对CP-VTON算法模型中的损失函数的设置进行改进后的模型。
CP-VTON算法模型是在云端服务器训练完成之后，再下发至各虚拟试衣镜，不需要虚拟试衣镜在本地训练CP-VTON算法模型，进而可以降低CP-VTON算法模型的生产成本。
进一步，CP-VTON算法包括两个主要的功能模块：
几何匹配模块(Geometric Matching Module)：使用卷积神经网络对衣物进行可学习的扭曲，使扭曲后的衣物与人体对齐。
试穿模块(Try-on Module)：将扭曲后的衣物与目标人融合，并合成最终试穿结果。
整个CP-VTON算法的流程按照上面的两个功能模块，分为两个阶段：
阶段1：首先提取参考图像中人体的特征，然后利用两个卷积神经网络分别提取人体的特征和更换的衣物的高维特征，通过一个相关的网络层将它们合并在一起，输入到回归网络中，得到一套转换参数，利用这个学习到的转换参数，对初始的衣物进行薄板样条变换得到扭曲后的衣物。
阶段2：利用U-Net结构生成一个初始的合成图像和衣物的掩模(mask)，然后利用掩模将扭曲后的衣物图像合在一起即为CP-VTON算法模型的最终结果。
在一些实施例中，人体图像和所述目标衣物图像均为二维图像。处理二维图像，相对于处理三维图像，效率更高，更加方便。
在一些实施例中，所述差值算法为薄板样条插值算法(Thin Plate Spline，TPS)。
可以理解的是，薄板样条插值算法是插值方法的一种，是常用的二维插值方法。
薄板样条插值算法是一种以可变样条来作出一条经过一系列点的光滑曲线的数学方法。插值样条是由一些多项式组成的，每一个多项式都是由相邻的两个数据点决定的，这样，任意的两个相邻的多项式以及它们的导数(不包括九阶导数)在连接点处都是连续的。
在一些实施例中，虚拟试衣方法，还包括：
将所述人体穿衣图像投屏至目标家电设备进行显示。
可以理解的是，目标家电设备可以是电视机或者带有显示屏的电冰箱。进一步，试衣镜将人体穿衣图像投屏至电视机或者带有显示屏的电冰箱上进行显示。
在一些实施例中，虚拟试衣方法，还包括：
在得到人体穿衣图像后，基于输入的删除指令，删除所述人体图像和/或所述人体穿衣图像。
可以理解的是，本发明提供的虚拟试衣方法，需要从终端设备获取人体图像以及目标衣物图像，并对人体图像以及目标衣物图像进行处理，最后得到人体穿衣图像。其中，人体图像以及人体穿衣图像均涉及到用户的隐私，因此，在接收到用户输入的删除指令之后，将人体图像和/或人体穿衣图像，以保护用户的隐私不被泄露。
在另一些实施例中，虚拟试衣方法的流程如图2所示，手机终端设备上传人体图像之后，基于人体图像确定人体穿衣区域，以及确定人体姿态，得到人体关键点，再结合手机终端设备上传的目标衣物图像，利用插值算法对目标衣物进行扭曲，与人体穿衣区域合成人体穿衣图像。
综上所述，本发明提供的虚拟试衣方法，包括：获取用户身形图像人体图像，以及目标衣物图像；对所述人体图像进行图像分割，确定至少一个人体穿衣区域；基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
在本发明提供的虚拟试衣方法中，直接获取人体图像以及目标衣物图像，不需要使用三维摄像头对人体进行拍摄，降低试衣成本，而且还可以保护用户隐私。
下面对本发明提供的虚拟试衣装置进行描述，下文描述的虚拟试衣装置与上文描述的虚拟试衣方法可相互对应参照。
如图3所示，本发明提供的虚拟试衣装置300，包括：获取模块310、分割模块320、初步处理模块330和合成模块340。
获取模块310用于获取人体图像和目标衣物图像。
可以理解的是，获取模块310可以从终端设备获取人体图像和目标衣物图像，终端设备可以是手机或者平板电脑等设备，也可以是虚拟试衣镜，例如，手机或者平板电脑上存储有人体图像以及目标衣物图像，虚拟试衣镜可以从手机或者平板电脑获取人体图像以及目标衣物图像后，再执行后续的图像处理操作。
或者，虚拟试衣镜的存储空间内，存储有人体图像以及目标衣物图像，虚拟试衣镜可以直接从自身存储空间内获取人体图像以及目标衣物图像，再执行后续的图像处理操作。
或者，云端服务器从手机或者平板电脑等终端设备获取人体图像以及目标衣物图像后，执行后续的图像处理操作。
目标衣物图像可以是用户需要试穿的衣物图像。终端设备所上传的人体图像，以及目标衣物图像，可以是预先拍摄存入终端设备中的。
需要说明的是，人体图像以及目标衣物图像均是二维图像。
其中，人体图像除了包含有用户身形的图形特征，还包含有用户身形各个部位的尺寸，例如：手臂长度、肩膀宽度、腿部长度等尺寸；目标衣物图像除了包含有用户需要更换的衣物的图形特征，还包含有需要更换的衣物的各个部位的尺寸，例如衣物的袖子长度、衣物的宽度、裤子的长度及宽度等尺寸。
分割模块320用于对所述人体图像进行图像分割，确定至少一个人体穿衣区域。
可以理解的是，可以将人体图像进行图像分割处理，得到用户身形分割图像，对用户身形分割图像的每一块区域进行识别，确定该区域是否是属于需要穿衣的区域。
人体穿衣区域也即是人体穿上衣物的区域，例如可以是上身区域，也可以是下身区域。
人体姿态可以是人行走的姿态，也可以是人站立的姿态，还可以是人的坐姿。
初步处理模块330用于基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；
可以理解的是，人体图像对应有不同的人体姿态，每种人体姿态，可以对应提取若干个关键点进行表示。
合成模块340用于基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
可以理解的是，人体穿衣图像，也即是用户将目标衣物穿在身上后对应的实际图像。本实施例中，只需要将目标衣物图像按照人体姿态对应的人体关键点进行处理后，与人体穿衣区域进行合成，即可得到人体穿衣图像，而不需要用户自己将目标衣物穿在身上，再通过拍摄获取，极大方便了用户试穿目标衣物。
在一些实施例中，分割模块320进一步用于将所述人体图像输入至训练好的图像分割算法模型中，对所述人体图像进行图像分割，得到所述人体穿衣区域。
进一步，将所述人体图像输入至训练好的人体姿态估计模型中，得到人体姿态。
可以理解的是，训练好的图像分割算法模型，以及训练好的人体姿态估计模型，可以均是一个神经网络算法模型，均是在云端服务器训练完成后，下发至各终端设备。
图像分割算法模型可以是部分分组网络模型，图算法模型、JPPNet网络模型、SSL网络模型以及SCHP网络模型中一种。
其中，部分分组网络模型将实例级人体解析重新定义为，两个可以通过统一网络共同学习和相互完善的孪生子任务：1、将每个像素指定为人类部分(如面部、手臂)的语义部分分割；2、实例感知边缘检测，将语义部分划分给不同的人物实例。
在一些实施例中，所述人体姿态估计模型，是以预设的人体图像为样本，以预设的人体图像对应的人体姿态为样本标签，对openpose算法模型、DeepCut算法模型以及RMPE算法模型中的一种进行训练得到。
在一些实施例中，初步处理模块330进一步用于基于所述人体关键点，通过插值算法对所述目标衣物图像进行扭曲处理，得到所述待试穿衣物图像，所述待试穿衣物图像与所述人体穿衣区域的姿态对应。
可以理解的是，目标衣物穿到人体上时，会导致目标衣物出现扭曲，因此，在将目标衣物图像与人体穿衣区域进行合成时，需要先将目标衣物图像进行扭曲处理，使得目标衣物图像的形状符合对应的人体姿态。
可以通过插值算法将目标衣物图像扭曲，使得目标衣物图像满足人体行走姿态，也可以通过插值算法将目标衣物图像扭曲，使得目标衣物图像满足人体站立姿态，也可以通过插值算法将目标衣物图像扭曲，使得目标衣物图像满足人体坐立姿态。
进一步，将扭曲后的目标衣物图像，与所述人体穿衣区域进行合成一张人体穿衣图像，也即是人体穿上目标衣物后所呈现出的效果图片。
在一些实施例中，合成模块340包括：第一合成单元和第二合成单元。
第一合成单元用于基于所述人体穿衣区域对应的人体关键点和所述目标衣物图像，生成初始合成图像。
第二合成单元用于基于所述初始合成图像和所述待试穿衣物图像，生成所述人体穿衣图像。
可用理解的是，待试穿衣物图像，也即是目标衣物图像按照人体穿衣区域对应的人体关键点进行扭曲处理后，得到的图像。
先将人体穿衣区域对应的人体关键点与目标衣物图像进行合成，所得到的初始合成图像，没有基于人体关键点进行扭曲，因此，还需要将初始合成图像，与待试穿衣物图像进行再次合成，所得到的人体穿衣图像才是最贴近现实的。
在一些实施例中，合成模块340进一步用于将所述人体穿衣区域和所述待试穿衣物图像输入试穿模型，生成所述人体穿衣图像。
其中，所述匹配模型通过下述步骤训练得到：
将样本穿衣区域和样本试穿衣物图像输入至初始模型，得到样本穿衣图像；所述样本穿衣区域是根据样本人物图像得到的，所述样本试穿衣物图像是根据样本衣物图像得到的；
基于所述样本试穿衣物图像和所述样本穿衣图像，计算总损失值；基于所述总损失值对所述初始模型的参数进行迭代更新，直到满足训练结束条件，得到所述试穿模型。
在一些实施例中，虚拟试衣装置，还包括：第一损失值计算模块、第二损失值计算模块和总损失值计算模块。
第一损失值计算模块用于根据所述样本试穿衣物图像和样本衣物图像，得到第一损失值；
第二损失值计算模块用于根据样本人物图像和所述样本穿衣图像，得到第二损失值；
总损失值计算模块用于根据所述第一损失值和所述第二损失值，确定所述总损失值。
在一些实施例中，获取模块310包括：
第一获取单元用于从终端设备获取所述人体图像；以及，
第二获取单元用于从所述终端设备或智能衣柜获取的所述目标衣物图像。
可以理解的是，终端设备可以是手机或者电脑，替代了现有技术方案中的摄像头。智能衣柜内存储有，该衣柜内衣服对应的图像。
在一些实施例中，第二合成单元进一步用于将所述初始合成图像和所述待试穿衣物图像，输入至训练好的虚拟试穿网络模型进行合成，得到所述人体穿衣图像。
在一些实施例中，人体图像和所述目标衣物图像均为二维图像。处理二维图像，相对于处理三维图像，效率更高，更加方便。
在一些实施例中，所述差值算法为薄板样条插值算法。
可以理解的是，薄板样条插值算法是插值方法的一种，是常用的二维插值方法。
薄板样条插值算法是一种以可变样条来作出一条经过一系列点的光滑曲线的数学方法。插值样条是由一些多项式组成的，每一个多项式都是由相邻的两个数据点决定的，这样，任意的两个相邻的多项式以及它们的导数(不包括九阶导数)在连接点处都是连续的。
在一些实施例中，虚拟试衣装置，还包括：投屏模块。
投屏模块用于将所述人体穿衣图像投屏至目标家电设备进行显示。
可以理解的是，目标家电设备可以是电视机或者带有显示屏的电冰箱。进一步，试衣镜将人体穿衣图像投屏至电视机或者带有显示屏的电冰箱上进行显示。
在一些实施例中，虚拟试衣装置，还包括：删除模块。
删除模块用于在得到人体穿衣图像后，基于输入的删除指令，删除所述人体图像和/或所述人体穿衣图像。
可以理解的是，本发明提供的虚拟试衣方法，需要从终端设备获取人体图像以及目标衣物图像，并对人体图像以及目标衣物图像进行处理，最后得到人体穿衣图像。其中，人体图像以及人体穿衣图像均涉及到用户的隐私，因此，在接收到用户输入的删除指令之后，将人体图像和/或人体穿衣图像，以保护用户的隐私不被泄露。综上所述，本发明提供的虚拟试衣装置，包括：获取模块310用于获取人体图像和目标衣物图像；分割模块320用于对所述人体图像进行图像分割，确定至少一个人体穿衣区域；初步处理模块330用于基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；合成模块340用于基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
在本发明提供的虚拟试衣装置中，直接获取人体图像以及目标衣物图像，不需要使用三维摄像头对人体进行拍摄，降低试衣成本，而且还可以保护用户隐私。
下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的虚拟试衣方法可相互对应参照。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行虚拟试衣方法，该方法包括：
步骤110、获取用户身形图像人体图像和目标衣物图像；
步骤120、对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
步骤130、基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；
步骤140、基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的虚拟试衣方法，该方法包括：
步骤110、获取用户身形图像人体图像和目标衣物图像；
步骤120、对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
步骤130、基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；
步骤140、基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的虚拟试衣方法，该方法包括：
步骤110、获取用户身形图像人体图像和目标衣物图像；
步骤120、对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
步骤130、基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；
步骤140、基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种虚拟试衣方法，其特征在于，包括：
获取人体图像和目标衣物图像；
对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
2.根据权利要求1所述的虚拟试衣方法，其特征在于，所述基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像，包括：
基于所述人体关键点，通过插值算法对所述目标衣物图像进行扭曲处理，得到所述待试穿衣物图像，所述待试穿衣物图像与所述人体穿衣区域的姿态对应。
3.根据权利要求2所述的虚拟试衣方法，其特征在于，所述基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像，包括：
基于所述人体穿衣区域对应的人体关键点和所述目标衣物图像，生成初始合成图像；
基于所述初始合成图像和所述待试穿衣物图像，生成所述人体穿衣图像。
4.根据权利要求1-3任一项所述的虚拟试衣方法，其特征在于，基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像，包括：
将所述人体穿衣区域和所述待试穿衣物图像输入试穿模型，生成所述人体穿衣图像；
其中，所述试穿模型通过下述步骤训练得到：
将样本穿衣区域和样本试穿衣物图像输入至初始模型，得到样本穿衣图像；所述样本穿衣区域是根据样本人物图像得到的，所述样本试穿衣物图像是根据样本衣物图像得到的；
基于所述样本试穿衣物图像和所述样本穿衣图像，计算总损失值；
基于所述总损失值对所述初始模型的参数进行迭代更新，直到满足训练结束条件，得到所述试穿模型。
5.根据权利要求4所述的虚拟试衣方法，其特征在于，还包括：
根据所述样本试穿衣物图像和样本衣物图像，得到第一损失值；
根据样本人物图像和所述样本穿衣图像，得到第二损失值；
根据所述第一损失值和所述第二损失值，确定所述总损失值。
6.根据权利要求1-4任一项所述的虚拟试衣方法，其特征在于，获取人体图像和目标衣物图像，包括：
从终端设备获取所述人体图像；以及，
从所述终端设备或智能衣柜获取所述目标衣物图像。
7.根据权利要求1-4任一项所述的虚拟试衣方法，其特征在于，还包括：
将所述人体穿衣图像投屏至目标家电设备进行显示。
8.一种虚拟试衣装置，其特征在于，包括：
获取模块，用于从终端设备获取人体图像，以及目标衣物图像；
分割模块，用于对所述人体图像进行图像分割，确定至少一个人体穿衣区域；
初步处理模块，用于基于所述人体图像进行姿态估计，得到多个人体关键点，并基于所述人体关键点对所述目标衣物图像进行处理，得到待试穿衣物图像；
合成模块，用于基于所述人体穿衣区域和所述待试穿衣物图像，生成人体穿衣图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述虚拟试衣方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虚拟试衣方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虚拟试衣方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210015099.7A CN116452601A (zh) | 2022-01-07 | 2022-01-07 | 虚拟试衣方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210015099.7A CN116452601A (zh) | 2022-01-07 | 2022-01-07 | 虚拟试衣方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116452601A true CN116452601A (zh) | 2023-07-18 |
Family
ID=87126051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210015099.7A Pending CN116452601A (zh) | 2022-01-07 | 2022-01-07 | 虚拟试衣方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452601A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523142A (zh) * | 2023-11-13 | 2024-02-06 | 书行科技(北京)有限公司 | 虚拟试穿方法、装置、电子设备和计算机可读存储介质 |
-
2022
- 2022-01-07 CN CN202210015099.7A patent/CN116452601A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523142A (zh) * | 2023-11-13 | 2024-02-06 | 书行科技(北京)有限公司 | 虚拟试穿方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11030782B2 (en) | Accurately generating virtual try-on images utilizing a unified neural network framework | |
| US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| US11055888B2 (en) | Appearance-flow-based image generation | |
| US9646340B2 (en) | Avatar-based virtual dressing room | |
| US9001118B2 (en) | Avatar construction using depth camera | |
| KR20220066366A (ko) | 예측적 개인별 3차원 신체 모델 | |
| CN113496507A (zh) | 一种人体三维模型重建方法 | |
| CN110033505A (zh) | 一种基于深度学习的人体动作捕捉与虚拟动画生成方法 | |
| US20220245911A1 (en) | Methods of estimating a bare body shape from a concealed scan of the body | |
| Liu et al. | 3D real human reconstruction via multiple low-cost depth cameras | |
| WO2014022608A2 (en) | Avatar-based virtual dressing room | |
| US12026843B2 (en) | Systems and methods for using machine learning models to effect virtual try-on and styling on actual users | |
| Korosteleva et al. | Neuraltailor: Reconstructing sewing pattern structures from 3d point clouds of garments | |
| CN117635897B (zh) | 三维对象的姿态补全方法、装置、设备、存储介质及产品 | |
| Xu et al. | CP3: Unifying point cloud completion by pretrain-prompt-predict paradigm | |
| US11188790B1 (en) | Generation of synthetic datasets for machine learning models | |
| CN116452601A (zh) | 虚拟试衣方法、装置、电子设备及存储介质 | |
| CN114270402A (zh) | 用于构建三维扫描人体模型的方法和装置 | |
| Li et al. | SwinGar: Spectrum-Inspired Neural Dynamic Deformation for Free-Swinging Garments | |
| CN116266408A (zh) | 体型估计方法、装置、存储介质及电子设备 | |
| Wang et al. | Evaluation of hybrid deep learning and optimization method for 3D human pose and shape reconstruction in simulated depth images | |
| Beacco et al. | Automatic 3D avatar generation from a single RBG frontal image | |
| WO2024149294A1 (zh) | 虚拟试衣及试衣模型训练的方法、装置和设备 | |
| CN110838042B (zh) | 一种商品展示方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |