CN115908663A - 一种虚拟形象的衣物渲染方法、装置、设备及介质 - Google Patents
一种虚拟形象的衣物渲染方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115908663A CN115908663A CN202211635465.5A CN202211635465A CN115908663A CN 115908663 A CN115908663 A CN 115908663A CN 202211635465 A CN202211635465 A CN 202211635465A CN 115908663 A CN115908663 A CN 115908663A
- Authority
- CN
- China
- Prior art keywords
- image
- rendering
- user
- clothes
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 279
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 31
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例公开了一种虚拟形象的衣物渲染方法,包括:获取第一时间段采集到的包含衣物信息的第一用户图像;根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
Description
技术领域
本申请涉及计算机信息处理技术领域,尤其涉及一种虚拟形象的衣物渲染方法、装置、设备及介质。
背景技术
近年来,元宇宙和数字孪生成为了学术界以及工业界最热门的课题之一。这两个课题旨在建立一个与物理世界平行的数字世界,而用户可以在数字世界中完成各种各样的事儿,例如面对面的社交等。而建立这个数字世界最关键的技术点之一就是对人的数字化。这涉及到如何将人体和相关的衣物进行数字化和渲染展示。因此,如何对虚拟形象的衣服渲染是亟待解决的技术问题。
发明内容
本说明书实施例提供一种虚拟形象的衣物渲染方法、装置、设备及介质,以解决现有的方法存在的无法进行实时渲染虚拟形象衣物的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种虚拟形象的衣物渲染方法,包括:
获取第一时间段采集到的包含衣物信息的第一用户图像;
根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
本说明书实施例提供的一种虚拟形象的衣物渲染装置,包括:
第一用户图像获取模块,用于获取第一时间段采集到的包含衣物信息的第一用户图像;
第一渲染模块,用于根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
目标模型训练模块,用于根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
第二用户图像获取模块,用于获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
第二渲染模块,用于根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
本说明书实施例提供的一种虚拟形象的衣物渲染设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取第一时间段采集到的包含衣物信息的第一用户图像;
根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
本说明书实施例提供的一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现一种虚拟形象的衣物渲染方法。
本说明书一个实施例实现了能够达到以下有益效果:通过在第一时间段采用第一渲染方式根据采集到的用户图像得到精度降低的虚拟形象的衣物渲染图像,同时在第一时间段利用采集到的用户图像对目标模型进行训练,当目标模型训练完成后,在第二时间段,采用目标模型根据采集到的用户图像进行渲染,得到较高精度的衣物渲染图像。如此,当用户进入图像采集区后,无需用户等待即可在相应的虚拟形象上生成衣物渲染图像,可以保证衣物图像渲染的实时性,满足用户进行实时***互的需求,并在一段时间后提高衣物图像渲染的精度,满足用户对清晰度的需求。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种虚拟形象的衣物渲染方法应用场景示意图;
图2是本说明书实施例提供的一种虚拟形象的衣物渲染方法流程示意图;
图3是本说明书实施例提供的一种虚拟形象的衣物渲染方法泳道图;
图4是本说明书实施例提供的一种虚拟形象的衣物渲染装置示意图;
图5是本说明书实施例提供的一种虚拟形象的衣物渲染设备示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
现有技术中虚拟形象的衣物的生成方法为:事先设计好多种衣物,然后根据用户选择来更换虚拟形象的衣物。这种方法不能根据用户实际穿着的衣物,以及根据用户的所处的姿态实时改变虚拟形象的衣物。这类方法也就不能满足用户要进行实时***互的需求。
为了解决现有技术中的缺陷,本方案给出了以下实施例:
图1是本说明书实施例中一种虚拟形象的衣物渲染方法应用场景示意图;
如图1所示,该方案可以包括图像处理设备1、图像采集设备2、与图像处理设备1相关联的显示设备3以及位于图像采集设备2的采集区域内的用户4,当用户4位于图像采集设备2的采集区域内时,图像采集设备2可以采集用户4的图像,图像处理设备1可以根据采集到的用户图像将用户的衣物信息渲染至图像处理设备1关联的显示设备3中,显示设备3上可以显示虚拟形象5,图像处理设备1可以根据用户4的用户图像在虚拟形象5上渲染出用户对应的衣物渲染图像。
接下来,将针对说明书实施例提供的一种虚拟形象的衣物渲染方法结合附图进行具体说明:
图2是本说明书实施例提供的一种虚拟形象的衣物渲染方法流程示意图。从程序角度而言,流程的执行主体可以为搭载于应用服务器的程序或应用客户端,从硬件角度而言,该流程的执行主体可以为具有图像处理功能的图像处理设备。
如图2所示,该流程可以包括以下步骤:
步骤202:获取第一时间段采集到的包含衣物信息的第一用户图像。
本说明书实施例中可以通过图像采集设备对用户进行图像采集。可以将第一时间段采集到的用户图像称为第一用户图像。
其中,图像采集设备可以采集RGB图像和深度图像,例如,图像采集设备可以为3D摄像头。图像采集设备可以以固定的时间间隔对用户进行图像采集,也可以以变化的时间间隔对用户进行图像采集。当为固定时间间隔时,图像采集的时间间隔可以为100ms或者其他值,此处不作具体限定。当为变化的时间间隔时,可以根据用户的运动状态对采集频率进行调整,例如,可以根据用户的姿势的变化的快慢对采集频率进行调整,也可根据用户相对图像采集设备或显示虚拟象形的显示设备的角度的变化的快慢对采集频率进行调整。当变化快时,可以采用较大的采集频率,当变化慢时,可以采用较小的采集频率。
步骤204:根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像。
在第一时间段,根据采集到的第一用户图像,采用第一渲染方式进行渲染,将衣物渲染图像渲染至虚拟形象上。第一渲染方式可以为能够根据第一用户图像快速渲染出衣物的方式,如每采集一张图像,或者每采集少数几张图像,即可根据采集到的图像渲染出相对应的衣物渲染图像。
其中,第一用户图像包括从用户进入图像采集区域开始,图像采集设备实时采集到的包含用户的图像;第一时间段的起始时间可以为用户开始进入图像采集区域的时间。
如此,当用户刚进入图像采集区域后,第一渲染方式可快速根据采集到图像渲染出的衣物渲染图像,使得用户无需等待,即可进行人机交互。
步骤206:根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型。
其中,目标模型可以为能够渲染出较高精度的衣物渲染图像的模型。本说明书实施例中在第一时间段采用第一渲染方式对虚拟形象进行衣物渲染的过程中,可以同时通过采集到的第一用户图像对目标模型进行训练。目标模型在通过多张第一用户图像完成训练后,对于同一用户,可生成相对于第一渲染方式精度更高的衣物渲染图像。
步骤208:获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔。
步骤210:根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
第二时间段可以是第一时间段之后的时间段,也可以是与第一时间段相邻的时间段。目标模型训练完成后,在第二时间段,图像采集设备采集到的用户图像可以称为第二用户图像。采用目标模型代替第一渲染方式,根据采集到的第二用户图像渲染出衣物渲染图像。目标模型渲染的第二衣物渲染图像的精度高于采用第一渲染方式渲染出的第一衣物渲染图像。
应当理解,本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。
图2中的方法,在第一时间段采用第一渲染方式根据采集到的用户图像得到精度降低的虚拟形象的衣物渲染图像,同时在第一时间段利用采集到的用户图像对目标模型进行训练,当目标模型训练完成后,在第二时间段,采用目标模型根据采集到的用户图像进行渲染,得到较高精度的衣物渲染图像。如此,当用户进入图像采集区后,无需用户等待即可在相应的虚拟形象上生成衣物渲染图像,可以保证衣物图像渲染的实时性,满足用户进行实时***互的需求,并在一段时间后提高衣物图像渲染的精度,满足用户对清晰度的需求。
基于图2的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
本说明书实施例中采集到的用户图像可以包括RGB图像和深度图像,可选的,步骤202中的所述第一用户图像可以包括RGB特征信息和深度特征信息。
步骤204中所述根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像,具体可以包括:
将所述第一用户图像对应的RGB特征信息按照所述第一用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像。
其中,RGB特征信息可以表示色彩以及纹理特征信息等二维特征信息,深度特征信息可以表示第三维度的特征信息。
第一渲染方式可以将第一用户图像对应的RGB特征信息按照第一用户图像对应深度特征信息进行拉伸、移动或者投影等处理得到三维的第一衣物渲染图像。实际应用中,可以采用uvmap等图像处理方法将RGB特征信息和深度特征信息进行融合,得到三维的第一衣物渲染图像。
第一渲染方式可以根据单帧用户图像的RGB特征信息和深度特征信息生成对应的三维的第一衣物渲染图像。当用户进入图像采集区域后,图像采集设备采集单帧用户图像后,第一渲染方式即可根据该单帧用户图像渲染出衣物图像,并在显示设备上显示,使得用户无需等待即可在显示设备上看到衣物渲染图像,进行交互。
本说明书实施例中第一渲染方式虽然渲染出的图像的精度较低,但不需要进行模型训练,渲染速度快,可实时根据采集到的用户图像实时的将用户的衣着信息渲染至虚拟形象上。可以填补在目标模型训练时无法进行衣物渲染产生的空白期。
实际应用中,当用户的姿态改变时,用户姿态的改变包括用户姿势的改变或者角度的改变,如用户以某一姿态位于图像采集区时,图像采集设备采集该姿态下用户的图像,第一渲染方式即可通过采集到的单张图像,渲染出此姿态下的衣物渲染图像。当用户变换姿态时,采集到的用户图像也会发生改变,第一渲染方式可快速生成新姿态的衣物渲染图像,并在屏幕上显示。如此,当用户改变姿态时,可以保证随用户姿态的改变,实时生成相应姿态的衣物渲染图像。保证渲染衣物的显示的连贯性。
为了保证更好的渲染效果,可选地,第一渲染方式中可以先采用预先训练好的图像深度质量增强模型对第一用户图像的深度特征信息进行精度增强处理,基于增强后的深度特征信息和采集到的RGB特征信息生成第一衣物渲染图像。其中,所述根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像,具体可以包括:
利用预先训练的图像深度质量增强模型,对所述第一用户图像的深度特征信息进行精度增强处理;
基于增强后的深度特征信息和所述第一用户图像的RGB特征信息,生成所述第一衣物渲染图像;
采用所述第一衣物渲染图像对所述虚拟形象进行衣物渲染。
如此,由于第一用户图像的深度特征信息经过精度增强处理后,精度得到提高,使得第一衣物渲染图像的精度变高,提高用户的体验性。
为实现较好的渲染效果同时兼顾衣物渲染的实时性,可选的,所述第一时间段可以包括相邻的第一子时间段和第二子时间段;所述第一子时间段的起始时间为所述第一时间段的起始时间;
所述方法还可以包括:
利用预先训练的图像深度质量增强模型,对所述第二子时间段内图像采集设备采集到的第三用户图像的深度特征信息进行精度增强处理;
基于增强后的深度特征信息和所述第三用户图像的RGB特征信息生成第三衣物渲染图像;所述第三衣物渲染图像的深度精度为第三精度,所述第三精度高于所述第一精度;
所述根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像,具体包括:
在所述第一子时间段,将图像采集设备在所述第一子时间段采集到第四用户图像对应的RGB特征信息按照所述第四用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像;
采用所述三维的第一衣物渲染图像对所述虚拟形象进行衣物渲染;
在所述第二子时间段,采用所述第三衣物渲染图像对所述虚拟形象进行衣物渲染。
其中,第一时间段采集的用户图像可以统称为第一用户图像,第一子时间段和第二子时间段可以包含于第一时间段中,第一子时间段可以为第一时间段开始的一段时间,第二子时间段可以为第一子时间段之后的一段时间。为便于清楚的说明本说明书实施例中提供的方法,这里将第一子时间段采集的用户图像被称为第四用户图像,第二子时间段采集的用户图像被称为第三用户图像。第三用户图像和第四用户图像都可以是第一用户图像中的一部分。
图像深度质量增强模型可以为预先训练好的具有深度质量增强功能的模型,至少能够对图像的深度特征信息进行精度增强处理。当然,图像深度质量增强模型也可以能够对图像的RGB特征信息进行精度增强处理。当将采集设备采集到图像信息输入图像深度质量增强模型后,图像深度质量增强模型可以输出该图像更高精度的深度特征信息。实际应用中图像深度质量增强模型可以为神经网络模型,例如可以为hourglass深度学习模型。
第一渲染方式中,通过对图像的深度特征信息进行精度增强处理,基于增强后的深度特征信息和第三用户图像的RGB特征信息生成第三衣物渲染图像。由于图像的深度特征信息的精度提高,得到的第三衣物渲染图像的精度也会提高,第三衣物渲染图像的精度为第三精度,第三精度高于第一精度。图像深度质量增强模型也可以对RGB特征信息的精度进行增强处理时,第一渲染方式中,可以基于增强后的第三用户图像的深度特征信息和增强后的第三用户图像的RGB特征信息生成第三衣物渲染图像。
由于加载图像深度质量增强模型需要时间,为了保证实时渲染,在第一子时间段,直接将图像采集设备采集到的第四用户图像的RGB特征信息按照第四用户对应的深度特征信息进行调整,得到三维的第一衣物渲染图像。在第二子时间段,图像深度质量增强模型已经加载完成,可以启用,对图像的深度特征信息进行精度增强处理。先采用图像深度质量增强模型对第三用户图像的深度特征信息进行增强处理,再基于增强后的深度特征信息生成第三衣物渲染图像对虚拟形象进行衣物渲染,来提高衣物渲染图像的精度。
其中,第二子时间段的起始时刻可以为启用所述预先训练的图像深度质量增强模型所的时刻。
上述方法,在第一渲染方式中增加了图像深度质量增强模型对采集设备采集到的用户图像进行深度特征信息精度增强处理这一步骤,从而使得第一渲染方式可以基于更高精度的深度特征信息进行衣物图像渲染,使得衣物渲染图像的精度变高。
本说明书实施例中,图像采集设备的精度可以降低,通过图像深度质量增强模型对图像进行精度增强,也可降低图像采集设备的成本。本说明书实施例中可采用低成本的图像采集设备渲染出高精度的虚拟人衣物信息。
为了提供更好的渲染效果,可选地,从第一时间段的起始时间开始加载所述预先训练的图像深度质量增强模型。
由于图像深度质量增强模型的加载需要时间,加载完成后才能够启用,从第一时间段的起始时间开始加载,可以使得图像深度质量增强模型尽快加载完成,投入使用。使得精度较高的衣物渲染图像的时间占比变大,精度较低的衣物渲染图像的时间占比变小。
本说明书实施例中的图像深度质量增强模型可以是预先训练完成的,可以根据已知样本对模型进行训练,可选地,所述方法还可以包括:
获取训练样本,所述训练样本包括将高精度的第一图像经过降采样后得到的低精度的第二图像;
利用所述训练样本,训练图像深度质量增强模型;
计算所述图像深度质量增强模型的损失函数值;所述损失函数值用于表示深度特征损失;
当所述损失函数值满足预设条件时,得到训练后的图像深度质量增强模型。
此处的高精度和低精度是相对而言的,指的是第一图像的精度高于第二图像的精度。图像精度包括RGB特征信息的精度和深度特征信息的精度,第一图像至少深度特征信息的精度要高于第二图像。以便将第一图像作为对照,对模型进行训练。当然,第一图像的RGB特征信息也可以高于第二图像。
将低精度的第二图像作为输入,对图像深度质量增强模型进行训练,图像深度质量增强模型输出与第二图像对应的深度特征信息。
实际应用中,可以将图像深度质量增强模型输出的第二图像的深度特征信息,与第二图像相对应的第一图像的深度特征信息进行比较,计算出损失函数值,可以通过迭代训练的方式,将损失函数值反传至训练模型,使得模型通过自学习的方式更新模型的参数,使得模型输出的深度特征信息向第一图像的深度特征信息靠拢,逐渐减小损失函数值的值,当损失函数值满足预设条件,训练完成,得到训练后的图像深度质量增强模型。预设条件可以为损失函数值的值小于某一预设值。训练完成后,当输入的图像具有较低精度的深度特征信息时,图像深度质量增强模型可进行精度增强处理,输出精度较高的深度特征信息。其中,损失函数值可以根据现有的模型损失函数进行计算,具体的计算函数这里不作具体限定。
需要说明的是,训练模型的执行主体可以是当前的执行主体,如显示设备、图像处理设备、渲染设备等。也可以是云端,若在云端完成图像深度质量增强模型的训练,在完成训练后,可以将图像深度质量增强模型下发至当前的执行主体或者当前的执行主体从云端获取。
本说明书实施例中训练后的目标模型可以生成当前用户的全方位图像,可进一步提高衣物渲染的3D效果,可给用户更好的视觉享受。可选地,步骤210中,所述采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像,具体可以包括:
根据所述第二用户图像,确定所述用户的角度信息;所述用户角度信息可以表示用户相对于图像采集设备或屏幕的角度,也可以用于显示所述虚拟形象的图像渲染载体的角度;
基于所述用户角度,确定所述第二衣物渲染图像的渲染角度信息;所述渲染角度信息用于表示衣物渲染图像在图像渲染载体上的呈现角度;
采用训练后的目标模型根据所述渲染角度,生成符合所述渲染角度的第二衣物渲染图像;
将所述符合所述渲染角度的第二衣物渲染图像渲染至所述虚拟形象上。
本说明书实施例中在第二时间段目标模型可以已经训练完成。其中,目标模型可以为NeRF(NeuralRadianceFields,神经辐射场)模型。第二衣物渲染图像在渲染效果上更优,渲染出的图像精度可以更高,同时边缘化处理会更圆滑,三维效果更好。
本说明书实施例中可以将第一时间段内用户相对于屏幕或图像采集设备处于不同的角度时采集到的用户图像作为输入,对目标模型进行训练后,目标模型可以得到其他角度的衣物渲染图像。如将用户以前侧、后侧、左侧或右侧等角度面对屏幕或图像采集设备时,图像采集设备采集到的用户图像输入目标模型进行训练后,目标模型可以得到用户左前侧、右前侧、左后侧或右后侧等其他角度的衣物渲染图像,且目标模型输出的衣物渲染图像的精度高于采用第一渲染方式根据图像采集设备采集到的用户图像生成的衣物渲染图像的精度。目标模型可以根据第二用户图像的角度信息,生成该角度信息对应的衣物渲染图像,如图像采集设备采集到的用户图像的角度信息为左前,目标模型可直接生成用户的左前角度的衣物渲染图像。
生成衣物渲染图像后将衣物渲染图像渲染在虚拟形象上,以便所述图像渲染载体中显示的虚拟衣物满足预设呈现条件。预设呈现条件可以包括:第二衣物渲染图像与用户的实际衣物相一致,如用户实际衣物的左袖与第二渲染图像的左袖相一致。或者,第二衣物渲染图像与用户实际衣物呈镜像显示,如用户实际衣物的左袖与第二渲染图像的右袖相一致。
当然,在实际应用中,第二衣物渲染图像的角度,也可由用户自主选择,按照用户选择的角度进行显示,不必跟用户的实际角度相一致。接收用户输入的角度信息后,目标模型可以生成对应的衣物渲染图像,在虚拟形象上渲染出该输入角度的衣物渲染图像。接收用户输入角度信息的方式可以为接收用户的数值输入,如屏幕上包含供用户输入角度值的填写框,用户在填写框输入角度值后,基于该角度值,目标模型输出对应角度的衣物渲染图像;也可以为接收用户对虚拟形象的转动操作,基于转动操作,确定虚拟形象的转动角度,目标模型输出对应角度的衣物渲染图像。
上述方法中,为保证目标模型的渲染效果,可以采用包括用户不同角度的、一定数量的图像对目标模型进行训练。当训练完成后,可以代替第一渲染方式基于新采集的用户图像,实时渲染衣物图像。而且生成的衣物渲染图像的精度较高,渲染效果更好。
可选地,所述第一用户图像可以包括多帧不同视角的用户图像;步骤206中,所述根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型,具体可以包括:
将所述第一时间段内采集到的多帧不同视角的用户图像输入所述目标模型,进行迭代训练;
获取迭代训练的训练结果;
根据损失函数值,确定所述训练结果是否满足预设条件;所述损失函数值用于表示图像多视角渲染损失;
若所述训练结果满足所述预设条件时,则结束迭代训练,得到所述训练后的模型。
不同视角的用户图像可以表示用户相对于屏幕或图像采集设备等为不同角度时,图像采集设备采集到的用户图像。如用户以前侧、后侧、左侧、右侧等角度面对屏幕或图像采集设备等时,图像采集设备采集到的用户图像。
预设条件可以为:损失函数值的值小于预设值,或者迭代次数达到预设次数。
当训练结果满足预设条件时,如当损失函数值的值小于预设值时,结束迭代训练,或者当迭代次数达到预设次数时,结束迭代训练,得到训练后的目标模型。
训练后的模型可以生成用户任意角度的衣物渲染图像,目标模型可以从采集到的用户图像中确认用户的信息,如该用户为哪个用户,然后生成该用户任意角度下的衣物渲染图像。例如,当用户以左前侧面对屏幕或图像采集设备时,此时不再是以第一渲染方式进行渲染,而是目标模型从采集到的用户图像中获得用户的角度信息,然后直接生成该角度的衣物渲染图像。
需要说明的是,当用户的姿态发生变化时,如在角度发生变化的同时伴随有姿势的变化时,目标模型需要对不同的姿势中每个姿势的多个视角的图像进行分别训练。在用户由一个旧姿势变为一个新姿势后,目标模型需要将新姿势的多个视角的图像作为输入进行训练,在训练过程中,采用第一渲染方式根据图像采集设备采集到的新姿势的用户图像的RGB特征信息和深度特征信息进行渲染。待到新姿势训练完成后,再采用目标模型进行渲染。也就是采用高精度但需要样本训练后才能启用的目标模型和无需训练即可根据用户图像快速生成衣物渲染图像的低精度的第一渲染方式相结合的方式对虚拟形象进行衣物图像渲染。新姿势,可以指图像采集设备未曾采集过的用户的姿势。如果用户在各种旧姿势中进行变换,目标模型不再需要重复训练,可实时生成衣物渲染图像。当然,在目标模型实时生成渲染图像的同时,也对可参数进行相应改进,达到实时训练的效果。此时,目标模型需要进行训练、采用第一渲染方式进行渲染的时间段称为第一时间段;目标模型不需要进行训练,可以直接根据采集到的图像的角度信息生成衣物渲染图像的时间段称为第二时间段。
为提高模型的训练效果,本说明书实施例中可采用质量高的用户图像进行模型训练,可选地,所述第一用户图像包括多帧用户图像,步骤206中,所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型,具体包括:
利用质量评估模型,确定所述第一用户图像中的单帧用户图像的质量分数;
将所述质量分数大于或等于预设分数的单帧用户图像确定为实时训练样本;
利用所述实时训练样本,训练所述目标模型,得到训练后的目标模型。
由于第一时间段会采集到多个图像,图像的质量有高有低,图像的质量高低指的是图像的清晰度的高低、图像中是否包含衣物信息或图像是否重复等。本实施例中的质量评估模型为预先训练好的网络模型,质量评估模型可以根据图像的清晰度、是否包含衣物信息、图像是否重复等指标对图像进行评分。筛选出质量较高的、大于预设分数的图像作为实时训练样本。可以提高实时训练样本的质量,使得经过训练后的目标模型的输出衣物渲染图像的精度较高。
实际应用中,位于图像采集设备的采集区域中的用户可能有多个,本说明书实施例中可以从采集的图像中确定出一个或多个目标用户,作为渲染对象。可选地,所述第一衣物渲染图像和所述第二衣物渲染图像是目标用户的衣服信息的渲染图像;
所述方法还包括:
根据所述第一用户图像,确定所述目标用户;所述目标用户与图像采集设备的距离满足预设距离。
在有两个以上的用户位于图像采集设备前时,将满足预设距离的用户作为目标用户。针对目标用户的衣物对虚拟人物进行衣物图像渲染。满足预设距离会形成一个预设范围,位于预设范围内的用户被确定为目标用户。满足预设距离可以为用户与图像采集设备的距离小于某一预设值,也可以为用户与图像采集设备的距离在某两个预设值之间等。
屏幕上可以显示特定数量的虚拟人物,如可以显示1个或2个等。此时当预设范围内的用户多于该特定数量时,会对用户进行进一步筛选,只筛选出特定数量的用户作为目标用户。与图像采集设备的距离从小到大排名靠前的特定数量个用户会被确定为目标用户。
屏幕上也可显示非特定数量的虚拟人物,屏幕上显示的虚拟人物的数量根据位于预设范围内的用户的数量而改变。也就是将所有位于预设范围内的用户均确定为目标用户。
一种具体的应用场景,类似穿衣镜,用户位于屏幕或图像采集设备前。图像采集设备可以为深度摄像头,或者普通摄像头和红外传感器的组合。当用户进入预设范围时,可自动触发程序运行,屏幕上显示虚拟人物,图像采集设备实时采集用户的图像,用户的图像包括RGB特征信息和深度特征信息,采用第一渲染方式,实时根据用户的图像的RGB特征信息和深度特征信息进行渲染,将衣物渲染图像渲染至虚拟形象上,在屏幕上进行显示。此时为第一时间段,衣物渲染图像的精度较低但第一渲染方式渲染速度较快,可以保证采集到图像信息后,实时对虚拟人物进行衣物图像渲染。同时,在第一时间段,通过采集的的用户图像对目标模型进行训练,直至目标模型可以生成精度较高的衣物渲染图像。目标模型训练完成,进入第二时间段,此时,采集到用户的图像后,通过目标模型代替第一渲染方式对用户图像进行处理,得到第二衣物渲染图像,在屏幕上进行显示。此时,显示的衣物渲染图像的精度较高。
另一种具体的应用场景,对元宇宙中的虚拟形象进行衣物渲染,用户与虚拟形象相对应,当用户更换新的衣物后,采用第一渲染方式根据图像采集设备采集到的穿着新的衣物的用户的图像,对虚拟形象进行衣物渲染,同时对目标模型进行训练,当目标模型训练完成后,采用目标模型对虚拟形象进行衣物渲染。实际应用中,也可以基于用户的面部图像,通过第一渲染方式以及目标模型将用户的面部图像渲染至虚拟形象的面部,使得虚拟形象更好的与用户真实形象相吻合。
为了更清楚地说明本说明书提供的虚拟形象的衣物渲染方法,图3是本说明书实施例提供的一种虚拟形象的衣物渲染方法泳道图。如图3所示,该方案可以包括第一渲染阶段和第二渲染阶段。具体可以包括:
步骤301:在第一时间段,图像采集设备采集第一用户图像。
步骤303:图像采集设备将第一用户图像发送至图像处理设备。
步骤305:图像处理设备获取第一时间段采集到的包含衣物信息的第一用户图像。
步骤307:图像处理设备采用第一渲染方式渲染衣物图像,得到第一精度的第一衣物渲染图像。第一渲染方式可以包括直接渲染图像的方式,可实时的将用户图像的衣物信息渲染至虚拟形象上。
步骤309:图像处理设备将第一衣物图像发送至显示设备。
步骤311:显示设备接收第一衣物渲染图像。
步骤313:显示设备在虚拟形象上显示第一衣物渲染图像。
步骤315:在步骤305后,图像处理设备还通过第一用户图像对目标模型进行训练。实际应用中,图像处理设备还可以将第一用户图像发送至云端,在云端进行目标模型的训练。
步骤317:目标模型已经训练完成,在第二时间段,图像采集设备采集第二用户图像。
步骤319:图像采集设备将第二用户图像发送至图像处理设备。
步骤321:图像处理设备获取第二时间段采集到的包含衣物信息的第二用户图像。
步骤323:图像处理设备根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像。
步骤325:图像处理设备将第二衣物渲染图像发送至显示设备。
步骤327:显示设备接收第二衣物渲染图像。
步骤329:显示设备在虚拟形象上显示第二衣物渲染图像。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图4是本说明书实施例提供的一种虚拟形象的衣物渲染装置示意图。如图4所示,该装置可以包括:
第一用户图像获取模块,用于获取第一时间段采集到的包含衣物信息的第一用户图像;
第一渲染模块,用于根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
目标模型训练模块,用于根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
第二用户图像获取模块,用于获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
第二渲染模块,用于根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
基于图4的装置,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
可选地,所述第一用户图像包括RGB特征信息和深度特征信息;所述第一渲染模块具体用于:将所述第一用户图像对应的RGB特征信息按照所述第一用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像。
可选地,还包括图像深度质量增强模块,所述图像深度质量增强模块用于利用预先训练的图像深度质量增强模型对所述第二子时间段内图像采集设备采集到的第三用户图像的深度特征信息进行精度增强处理;
所述第一渲染模块基于增强后的深度特征信息和所述第三用户图像的RGB特征信息,生成第三衣物渲染图像;所述第三衣物渲染图像的深度精度为第三精度;所述第三精度高于所述第一精度;
所述第一渲染模块根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像,具体包括:
所述第一渲染模块在所述第一子时间段,将图像采集设备在所述第一子时间段采集到第四用户图像对应的RGB特征信息按照所述第四用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像;
采用所述三维的第一衣物渲染图像对所述虚拟形象进行衣物渲染;
所述第一渲染模块在所述第二子时间段,采用所述第三衣物渲染图像对所述虚拟形象进行衣物渲染。
可选地,还包括质量评估模块,所述质量评估模块用于利用质量评估模型,确定所述第一用户图像中的单帧用户图像的质量分数;
将所述质量分数大于或等于预设分数的单帧用户图像确定为实时训练样本;
所述第二渲染模块利用所述实时训练样本,训练所述目标模型,得到训练后的目标模型。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。
图5是本说明书实施例提供的一种虚拟形象的衣物渲染设备示意图。如图5所示,设备500可以包括:
至少一个处理器510;以及,
与所述至少一个处理器通信连接的存储器530;其中,
所述存储器530存储有可被所述至少一个处理器510执行的指令520,所述指令被所述至少一个处理器510执行,以使所述至少一个处理器510能够:
获取第一时间段采集到的包含衣物信息的第一用户图像;
根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
基于同样的思路,本说明书实施例还提供了上述方法对应的计算机可读介质。计算机可读介质上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现上述虚拟形象的衣物渲染方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图5所示的虚拟形象的衣物渲染设备而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(ProgrammableLogicDevice,PLD)(例如现场可编程门阵列(FieldProgrammableGateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(HardwareDescriptionLanguage,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(AdvancedBooleanExpressionLanguage)、AHDL(AlteraHardwareDescription Language)、Confluence、CUPL(CornellUniversityProgrammingLanguage)、HDCal、JHDL(JavaHardwareDescriptionLanguage)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardwareDescriptionLanguage)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated CircuitHardwareDescriptionLanguage)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、AtmelAT91SAM、MicrochipPIC18F26K20以及SiliconeLabsC8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种虚拟形象的衣物渲染方法,包括:
获取第一时间段采集到的包含衣物信息的第一用户图像;
根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
2.根据权利要求1所述的方法,所述第一用户图像包括RGB特征信息和深度特征信息;
所述根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像,具体包括:
将所述第一用户图像对应的RGB特征信息按照所述第一用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像。
3.根据权利要求1所述的方法,所述第一时间段包括相邻的第一子时间段和第二子时间段;所述第一子时间段的起始时间为所述第一时间段的起始时间;
所述方法还包括:
利用预先训练的图像深度质量增强模型,对所述第二子时间段内图像采集设备采集到的第三用户图像的深度特征信息进行精度增强处理;
基于增强后的深度特征信息和所述第三用户图像的RGB特征信息,生成第三衣物渲染图像;所述第三衣物渲染图像的深度精度为第三精度;所述第三精度高于所述第一精度;
所述根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像,具体包括:
在所述第一子时间段,将图像采集设备在所述第一子时间段采集到第四用户图像对应的RGB特征信息按照所述第四用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像;
采用所述三维的第一衣物渲染图像对所述虚拟形象进行衣物渲染;
在所述第二子时间段,采用所述第三衣物渲染图像对所述虚拟形象进行衣物渲染。
4.根据权利要求3所述的方法,所述方法还包括:
从所述第一时间段的起始时间开始加载所述预先训练的图像深度质量增强模型。
5.根据权利要求3所述的方法,所述方法还包括:
获取训练样本,所述训练样本包括将高精度的第一图像经过降采样后得到的低精度的第二图像;
利用所述训练样本,训练图像深度质量增强模型;
计算所述图像深度质量增强模型的损失函数值;所述损失函数值用于表示深度特征损失;
当所述损失函数值满足预设条件时,得到训练后的图像深度质量增强模型。
6.根据权利要求1所述的方法,所述采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像,具体包括:
根据所述第二用户图像,确定所述用户的用户角度信息;所述用户角度信息用户表示用户相对于图像采集设备或用于显示所述虚拟形象的图像渲染载体的角度;
基于所述用户角度,确定所述第二衣物渲染图像的渲染角度信息;所述渲染角度信息用于表示衣物渲染图像在图像渲染载体上的呈现角度;
采用训练后的目标模型根据所述渲染角度,生成符合所述渲染角度的第二衣物渲染图像;
将所述符合所述渲染角度的第二衣物渲染图像渲染至虚拟形象上。
7.根据权利要求1所述的方法,所述第一用户图像包括多帧不同视角的用户图像;
所述根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型,具体包括:
将所述第一时间段内采集到的多帧不同视角的用户图像输入所述目标模型,进行迭代训练;
获取迭代训练的训练结果;
根据损失函数值,确定所述训练结果是否满足预设条件;所述损失函数值用于表示图像多视角渲染损失;
若所述训练结果满足所述预设条件时,则结束迭代训练,得到所述训练后的目标模型。
8.根据权利要求1所述的方法,所述第一用户图像包括多帧用户图像;
根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型,具体包括:
利用质量评估模型,确定所述第一用户图像中的单帧用户图像的质量分数;
将所述质量分数大于或等于预设分数的单帧用户图像确定为实时训练样本;
利用所述实时训练样本,训练所述目标模型,得到训练后的目标模型。
9.根据权利要求1所述的方法,所述第一衣物渲染图像和所述第二衣物渲染图像是目标用户的衣服信息的渲染图像;
所述方法还包括:
根据所述第一用户图像,确定所述目标用户;所述目标用户与图像采集设备的距离满足预设距离。
10.一种虚拟形象的衣物渲染装置,包括:
第一用户图像获取模块,用于获取第一时间段采集到的包含衣物信息的第一用户图像;
第一渲染模块,用于根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
目标模型训练模块,用于根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
第二用户图像获取模块,用于获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
第二渲染模块,用于根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
11.根据权利要求10所述的装置,所述第一用户图像包括RGB特征信息和深度特征信息;所述第一渲染模块具体用于:
将所述第一用户图像对应的RGB特征信息按照所述第一用户图像对应的深度特征信息进行调整,得到三维的第一衣物渲染图像。
12.一种虚拟形象的衣物渲染设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取第一时间段采集到的包含衣物信息的第一用户图像;
根据所述第一用户图像,采用第一渲染方式得到渲染至虚拟形象上的第一精度的第一衣物渲染图像;
根据所述第一用户图像,在所述第一时间段内训练目标模型,得到训练后的目标模型;
获取第二时间段采集到的包含衣物信息的第二用户图像;所述第二时间段的起始时刻与所述第一时间段的结束时刻的时间间隔小于特定时间间隔;
根据所述第二用户图像,采用训练后的目标模型得到渲染至虚拟形象上的第二精度的第二衣物渲染图像;所述第二精度高于所述第一精度。
13.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现权利要求1至9中任一项所述的虚拟形象的衣物渲染方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211635465.5A CN115908663B (zh) | 2022-12-19 | 2022-12-19 | 一种虚拟形象的衣物渲染方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211635465.5A CN115908663B (zh) | 2022-12-19 | 2022-12-19 | 一种虚拟形象的衣物渲染方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115908663A true CN115908663A (zh) | 2023-04-04 |
CN115908663B CN115908663B (zh) | 2024-03-12 |
Family
ID=86481630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211635465.5A Active CN115908663B (zh) | 2022-12-19 | 2022-12-19 | 一种虚拟形象的衣物渲染方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115908663B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021101527A1 (en) * | 2019-11-19 | 2021-05-27 | Google Llc | Ar-assisted synthetic data generation for training machine learning models |
CN113052980A (zh) * | 2021-04-27 | 2021-06-29 | 云南大学 | 一种虚拟试衣方法及*** |
WO2021231612A1 (en) * | 2020-05-13 | 2021-11-18 | Sin Emerging Technologies, Llc | Systems and methods for augmented reality-based interactive physical therapy or training |
CN114067042A (zh) * | 2021-11-08 | 2022-02-18 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置、设备、存储介质及程序产品 |
CN114202630A (zh) * | 2020-08-27 | 2022-03-18 | 北京陌陌信息技术有限公司 | 一种光照匹配的虚拟试衣方法、设备和存储介质 |
WO2022095757A1 (zh) * | 2020-11-09 | 2022-05-12 | 华为技术有限公司 | 图像渲染方法和装置 |
CN114792359A (zh) * | 2022-06-24 | 2022-07-26 | 北京百度网讯科技有限公司 | 渲染网络训练和虚拟对象渲染方法、装置、设备及介质 |
CN115222862A (zh) * | 2022-06-29 | 2022-10-21 | 支付宝(杭州)信息技术有限公司 | 虚拟人衣物生成方法、装置、设备、介质及程序产品 |
CN115272548A (zh) * | 2022-07-29 | 2022-11-01 | 商汤国际私人有限公司 | 渲染参数调整方法、装置、电子设备及存储介质 |
US20220358735A1 (en) * | 2021-09-29 | 2022-11-10 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for processing image, device and storage medium |
-
2022
- 2022-12-19 CN CN202211635465.5A patent/CN115908663B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021101527A1 (en) * | 2019-11-19 | 2021-05-27 | Google Llc | Ar-assisted synthetic data generation for training machine learning models |
WO2021231612A1 (en) * | 2020-05-13 | 2021-11-18 | Sin Emerging Technologies, Llc | Systems and methods for augmented reality-based interactive physical therapy or training |
CN114202630A (zh) * | 2020-08-27 | 2022-03-18 | 北京陌陌信息技术有限公司 | 一种光照匹配的虚拟试衣方法、设备和存储介质 |
WO2022095757A1 (zh) * | 2020-11-09 | 2022-05-12 | 华为技术有限公司 | 图像渲染方法和装置 |
CN113052980A (zh) * | 2021-04-27 | 2021-06-29 | 云南大学 | 一种虚拟试衣方法及*** |
US20220358735A1 (en) * | 2021-09-29 | 2022-11-10 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for processing image, device and storage medium |
CN114067042A (zh) * | 2021-11-08 | 2022-02-18 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置、设备、存储介质及程序产品 |
CN114792359A (zh) * | 2022-06-24 | 2022-07-26 | 北京百度网讯科技有限公司 | 渲染网络训练和虚拟对象渲染方法、装置、设备及介质 |
CN115222862A (zh) * | 2022-06-29 | 2022-10-21 | 支付宝(杭州)信息技术有限公司 | 虚拟人衣物生成方法、装置、设备、介质及程序产品 |
CN115272548A (zh) * | 2022-07-29 | 2022-11-01 | 商汤国际私人有限公司 | 渲染参数调整方法、装置、电子设备及存储介质 |
Non-Patent Citations (5)
Title |
---|
YANRU LIU 等;: "A deep-shallow and global–local multi-feature fusion network for photometric stereo", IMAGE AND VISION COMPUTING, 28 February 2022 (2022-02-28) * |
崔萌;: "基于VR技术的虚拟仿真生活体验馆设计与实现", 电子技术与软件工程, no. 03, 1 February 2020 (2020-02-01) * |
李晓璇;伍新华;刘钢;: "基于体模型优化的虚拟试衣算法", 传感器与微***, no. 05, 8 May 2019 (2019-05-08) * |
罗德宁;张建伟;: "基于延迟着色技术的大场景反走样渲染架构设计", 工程科学与技术, no. 04, 20 July 2017 (2017-07-20) * |
覃海宁;: "基于真实感约束的VR虚拟人物图形生成方法改进研究", 无线互联科技, no. 10, 25 May 2017 (2017-05-25) * |
Also Published As
Publication number | Publication date |
---|---|
CN115908663B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884881B (zh) | 三维人脸模型重建方法、装置、电子设备及存储介质 | |
JP2024522287A (ja) | 三次元人体再構成方法、装置、デバイスおよび記憶媒体 | |
CN112819944A (zh) | 三维人体模型重建方法、装置、电子设备及存储介质 | |
CN112967212A (zh) | 一种虚拟人物的合成方法、装置、设备及存储介质 | |
CN101414383B (zh) | 图像处理设备和图像处理方法 | |
CN111294665A (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
CN107291222B (zh) | 虚拟现实设备的交互处理方法、装置、***及虚拟现实设备 | |
CN109254650A (zh) | 一种人机交互方法和装置 | |
CN114677386A (zh) | 特效图像处理方法、装置、电子设备及存储介质 | |
CN114401443B (zh) | 特效视频处理方法、装置、电子设备及存储介质 | |
WO2023071801A1 (zh) | 动画生成方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品 | |
CN110505406A (zh) | 背景虚化方法、装置、存储介质及终端 | |
CN116977525A (zh) | 一种图像渲染方法、装置、存储介质及电子设备 | |
CN114531553A (zh) | 生成特效视频的方法、装置、电子设备及存储介质 | |
JP7467780B2 (ja) | 画像処理方法、装置、デバイス及び媒体 | |
CN115272608A (zh) | 一种人手重建方法及设备 | |
CN109167989A (zh) | 一种vr视频处理方法及*** | |
CN111866493B (zh) | 基于头戴显示设备的图像校正方法、装置及设备 | |
CN103093416A (zh) | 一种基于图形处理器分区模糊的实时景深模拟方法 | |
CN116245961B (zh) | 一种基于多类传感器信息的融合感知方法及*** | |
Liu et al. | Stereo-based bokeh effects for photography | |
CN112613374A (zh) | 人脸可见区域解析与分割方法、人脸上妆方法及移动终端 | |
CN111866492A (zh) | 基于头戴显示设备的图像处理方法、装置及设备 | |
CN115908663A (zh) | 一种虚拟形象的衣物渲染方法、装置、设备及介质 | |
CN115048954A (zh) | 一种仿视网膜的目标检测方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |