CN116485983A - 虚拟对象的纹理生成方法、电子设备以及存储介质 - Google Patents
虚拟对象的纹理生成方法、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN116485983A CN116485983A CN202310398448.2A CN202310398448A CN116485983A CN 116485983 A CN116485983 A CN 116485983A CN 202310398448 A CN202310398448 A CN 202310398448A CN 116485983 A CN116485983 A CN 116485983A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- training
- text
- rendering
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 238000009877 rendering Methods 0.000 claims abstract description 201
- 238000012549 training Methods 0.000 claims description 158
- 238000005070 sampling Methods 0.000 claims description 33
- 238000009792 diffusion process Methods 0.000 claims description 25
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 32
- 238000013507 mapping Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000004579 marble Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000014653 Carica parviflora Nutrition 0.000 description 2
- 241000243321 Cnidaria Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 229910052573 porcelain Inorganic materials 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 235000002245 Penicillium camembertii Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- IXSZQYVWNJNRAL-UHFFFAOYSA-N etoxazole Chemical compound CCOC1=CC(C(C)(C)C)=CC=C1C1N=C(C=2C(=CC=CC=2F)F)OC1 IXSZQYVWNJNRAL-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟对象的纹理生成方法、电子设备以及存储介质。其中，该方法包括：读取在虚拟场景中预先构建的虚拟对象；捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染。本申请解决了相关技术中虚拟对象的渲染效率较低的技术问题。
Description
技术领域
本申请涉及数据处理领域，具体而言，涉及一种虚拟对象的纹理生成方法、电子设备以及存储介质。
背景技术
目前，通过高质量低成本的方式对虚拟对象进行渲染一直是视觉行业探索的热门方法，在电商场景中，店铺和店铺内的商品置物台在三维模型的集合上通常会有较强的个性化风格，商品置物台可以为虚拟对象，一般需要专业建模师使用专业建模软件通过人工的方式对虚拟对象进行渲染，整体制作流程不仅成本高，而且耗时较长。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种虚拟对象的纹理生成方法、电子设备以及存储介质，以至少解决相关技术中虚拟对象的渲染效率较低的技术问题。
根据本申请实施例的一个方面，提供了一种虚拟对象的纹理生成方法，包括：读取在虚拟场景中预先构建的虚拟对象；捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染。
根据本申请实施例的另一方面，还提供了一种虚拟对象的纹理生成方法，包括：读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台，其中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品；捕获用于表述覆盖在虚拟置物台表面的纹理的描述信息；基于描述信息对虚拟置物台表面的纹理进行无监督学习，得到虚拟置物台对应的目标纹理贴图；基于目标纹理贴图对虚拟置物台进行渲染。
根据本申请实施例的另一方面，还提供了一种虚拟对象的纹理生成方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；响应作用于操作界面上的纹理生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标纹理贴图对虚拟对象进行渲染得到的，目标纹理贴图是基于描述信息对虚拟对象表面的纹理进行无监督学习得到的。
根据本申请实施例的另一方面，还提供了一种虚拟对象的纹理生成方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；驱动VR设备或AR设备展示渲染结果。
根据本申请实施例的另一方面，还提供了一种虚拟对象的纹理生成方法，包括：通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述实施例中任意一项的方法。
根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项的方法。
通过上述步骤，首先读取在虚拟场景中预先构建的虚拟对象，捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，基于目标纹理贴图对虚拟对象进行渲染，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种虚拟对象的纹理生成方法的虚拟现实设备的硬件环境的示意图；
图2是根据本申请实施例的一种虚拟对象的纹理生成方法的计算环境的结构框图；
图3是根据本申请实施例1的虚拟对象的纹理生成方法的流程图；
图4是根据本申请实施例的一种算法流程框架图；
图5是根据本申请实施例的一种基于文本-三维模型纹理生成的结构框图；
图6是根据本申请实施例的另一种基于文本-三维模型纹理生成的结构框图；
图7是根据本申请实施例的一种效果对比示意图；
图8是根据本申请实施例的另一种效果对比示意图；
图9是根据本申请实施例的另一种基于文本-三维模型纹理生成的结构框图；
图10据本申请实施例的一种三维模型示意图；
图11是根据本申请实施例2的一种虚拟对象的纹理生成方法的流程图；
图12是根据本申请实施例3的一种虚拟对象的纹理生成方法的流程图；
图13是根据本申请实施例4的一种虚拟对象的纹理生成方法的流程图；
图14是根据本申请实施例5的一种虚拟对象的纹理生成方法的流程图；
图15是根据本申请实施例6的一种虚拟对象的纹理生成装置的示意图；
图16是根据本申请实施例7的一种虚拟对象的纹理生成装置的示意图；
图17是根据本申请实施例8的一种虚拟对象的纹理生成装置的示意图；
图18是根据本申请实施例9的一种虚拟对象的纹理生成装置的示意图；
图19是根据本申请实施例10种虚拟对象的纹理生成装置的示意图；
图20是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
可微渲染(Differentiable Rendering)：依托于传统渲染模型，是微分可导的渲染过程，分为正向和逆向两个过程，其中正向过程与传统渲染一致，而逆向过程则是微分可导的，即使渲染图像中的像素相对于模型场景参数可导；
纹理贴图(Texture)：在渲染中用于表现模型表面和自身材质信息，通常包含漫反射贴图(diffuse)，法线贴图(normal),高光贴图(specular),粗糙度贴图(roughness)，置换贴图(displacement)；
扩散模型(Diffusion Model)：是一种生成模型，本申请中指的是由文本生成图像的模型；
一种为图像和文本建立关系的深度神经网络模型(Contrastive Language-ImagePre-Training，简称为CLIP模型):用于匹配图像和文本的预训练模型；
零样本学习：使用预先训练的深度学习模型来泛化新类别的样本，思路是将训练实例中已经包含的知识迁移到测试实例分类的任务中；
无监督学习：训练数据未包含标签，并将训练数据映射到不同标签。
实施例1
根据本申请实施例，提供了一种虚拟对象的纹理生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种虚拟对象的纹理生成方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端104并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：读取在虚拟场景中预先构建的虚拟对象；捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，从而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
该实施例的终端可以用于执行在虚拟现实(Virtual Reality，简称为VR)设备或增强现实(Augmented Reality，简称为AR)设备的呈现画面上展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，并向虚拟现实设备104发送渲染结果，虚拟现实设备104在接收到渲染结果之后在目标投放位置显示出来。
可选地，该实施例的虚拟现实设备104带有的眼球追踪的HMD(Head MountDisplay，头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪***获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。
图1示出的硬件结构框图，不仅可以作为上述AR/VR设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的AR/VR设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例的一种虚拟对象的纹理生成方法的计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。不同计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境201中的多个服务220-1，220-2，220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。
服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(Virtual Machine，VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作***(Operating System，OS)，以便多个工作负载可以在单个操作***实例上运行。
在基于容器虚拟化的一个实施例中，服务的若干容器可以被组装成一个Pod(例如，Kubernetes Pod)。举例来说，如图2所示，服务220-2可以配备一个或多个Pod 240-1，240-2，…，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1，242-2，…，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务也可以配备类似的Pod。
在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务，执行一个服务的一个或多个功能需要调用另一个服务的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。
在上述运行环境下，本申请提供了如图3所示的虚拟对象的纹理生成方法。需要说明的是，该实施例的虚拟对象的纹理生成方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例1的虚拟对象的纹理生成方法的流程图。如图3所示，该方法可以包括如下步骤：
步骤S302，读取在虚拟场景中预先构建的虚拟对象。
上述的虚拟场景可以为虚拟的游戏场景、购物场景、聊天场景等，此处对虚拟场景不做限定，可以是线上的任意虚拟化的场景。本申请以虚拟场景为电商场景下的虚拟店铺为例进行说明，但不限于此。
上述的虚拟对象可以为虚拟场景中所放置的虚拟物体。在虚拟场景为虚拟的游戏场景的情况下，虚拟对象可以为游戏场景中的虚拟游戏道具、虚拟游戏摆件、虚拟游戏建筑等，此处不做限定；在虚拟场景为虚拟店铺场景的情况下，虚拟对象可以为虚拟店铺场景下的虚拟商品、虚拟柜台、虚拟置物台等，此处不做限定。
上述的虚拟对象用于表示待进行渲染的虚拟对象，其中，虚拟对象可以为虚拟场景中预先构建的白模容器，也即，还未进行渲染的容器。虚拟对象可以二维对象、三维对象等，此处不做限定。
在一种可选的实施例中，可以读取在虚拟场景中预先构建的虚拟对象，以便根据展示需求对虚拟对象进行渲染，得到最终的渲染效果。
步骤S304，捕获用于表述覆盖在虚拟对象表面的纹理的描述信息。
上述的描述信息包括但不限于图像、文本、视频、音频，此处对描述信息不做限定，可以为图像、文本、视频、音频中的任意一项。
在一种可选的实施例中，可以捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，以便根据该描述信息对虚拟对象进行渲染，得到虚拟对象最终的渲染效果。
上述的描述信息主要用于描述虚拟对象最终的呈现形态，例如，虚拟对象最终的呈现风格、纹理、质感、状态、色彩、标识等。例如，描述信息可以为巴洛克式桌子、大理石左面、生锈的烛台、珊瑚纹理的烛台等，
通过上述描述信息可以确定虚拟对象表面最终呈现的纹理的效果，因此，需要先对关于虚拟对象表面的纹理的描述信息进行捕获，以便于根据该描述信息对虚拟对象进行渲染，使得虚拟对象可以呈现出描述信息所描述的效果。
步骤S306，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图。
上述的无监督学习是指没有标签的一种学习方法。
上述的目标纹理贴图可以为虚拟对象在一个或多个视角下的纹理贴图。
在一种可选的实施例中，可以将虚拟对象和描述信息输入至设计多层感知器中(Multilayer Perceptron，简称为MLP)，输出虚拟对象的顶点颜色和顶点偏移量，通过可微渲染可以得到虚拟对象在不同视角下的纹理贴图，可以通过算法对虚拟对象表面的纹理进行无监督学习，达到即使输入相同的描述信息也能够生成不同纹理贴图的效果。
步骤S308，基于目标纹理贴图对虚拟对象进行渲染。
在一种可选的实施例中，可以将目标纹理贴图附着在虚拟对象的表面以便实现根据目标纹理贴图对虚拟对象进行渲染的目的。
在另一种可选的实施例中，目标纹理贴图可以通过接入到传统渲染管线直接施加到虚拟对象的表面，无需进行在线推理，提高对虚拟对象的渲染效率。
目前，用户原创内容(User Generated Content，简称为UGC)的三维内容生成主要采用基于图像的三维模型重建等算法生成，三维模型的网格质量与纹理质量容易受到图像采集的相机轨迹、照明条件、图像质量的影响，且主要重建创造出的是真实场景中存在的物体，因此内容生成的多样性和创新性具有较大的局限性。
利用人工智能模型生成内容(AI-Generated Content，简称为AIGC)，可以通过目前的人工智能模型使用人工智能技术生成内容，一般是以文本、图像等描述作为模型生成的输入条件，通过深度神经网络模型直接学习得到三维模型，并同时生成模型的表面纹理；依据算法对内容生成的差异性，目前的方法可以大致分为多模态三维白模生成、多模态带纹理的三维模型生成和纯纹理生成三种。对于纯纹理生成的方法，即不生成也不改变输入的三维模型，一般为三维模型生成表面颜色、法线和顶点位移等特征，从而实现多模态个性化纹理的生成。
基于电商场景、店铺和店铺内的商品置物台在三维模型的几何上通常会具有较强的个性化风格，因此并不适合直接生成三维模型。另外，目前的流行算法倾向于生成光滑紧密0亏格的3D模型，因此在几何上会缺失高频的细节，其中，流行算法可以为文字生成三维模型(CLIP-Mesh)、三维纹理网格模型(magic3D)、扩散模型(magic3D)、生成显性纹理三维模型(Generate Explicit Textured 3D，简称为GET3D)。
目前的算法难以保证生成三维模型的网格质量，例如三维模型的网格是否流型、是否正则等，这会影响后续UV坐标的生成质量，从而影响最终模型表面纹理的生成质量，其中，UV坐标是指图片的百分比坐标，水平方向叫做U，垂直方向叫做V。而现有的纯纹理生成方法通常采用目标纹理或者基于图像作为输入条件，并未采用文本作为纹理描述的输入条件。
本申请可以应用在电商场景下的三维店铺中，依据用户对三维店铺的特征描述，为店铺和店铺内盛放商品的三维置物台实现个性化纹理生成，从而实现店铺整体风格的多样性，以及商品置屋台对其展示商品的烘托能力，考虑到电商场景放置模型的特殊性，可以减少对模型的几何特征的修改过程，而是通过文本作为约束条件直接为三维模型生成相应的纹理。
通过上述步骤，首先读取在虚拟场景中预先构建的虚拟对象，捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，基于目标纹理贴图对虚拟对象进行渲染，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
本申请上述实施例中，在描述信息包含描述文本的情况下，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，包括：利用纹理生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本。
上述的纹理生成模型可以为多层感知机、神经网络，此处仅作示例描述，不做任何限定。
上述的训练样本中包含的训练对象可以无纹理的虚拟对象，例如无纹理的白模容器、训练文本可以为描述文本、描述图像、描述视频、描述音频等，此处不做限定。
在一种可选的实施例中，可以利用纹理生成模型基于描述信息对虚拟对象表面的纹理进行学习，以便得到纹理贴图，可以通过纹理贴图对虚拟对象进行渲染，将渲染后的虚拟对象与描述信息进行相似度比对，若两者之间的相似度大于或等于预设相似度，则说明渲染后的虚拟对象符合描述信息，若两者之间的相似度小于预设相似度，则说明渲染后的虚拟对象与描述信息之间的差异较大，此时需要重新利用纹理生成模型根据训练对象和训练文本生成目标纹理贴图，直至根据目标纹理贴图渲染后的虚拟对象与描述信息之间的相似度大于或等于预设相似度。
本申请上述实施例中，该方法还包括：利用初始生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到训练纹理贴图；基于训练纹理贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的第一图像特征；基于文本特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
在一种可选的实施例中，可以将描述文本和虚拟对象输入至初始生成模型中，得到训练纹理贴图，可以利用训练纹理贴图对训练对象进行渲染，得到渲染图像，可以通过CLIP模型对训练文本和渲染图像进行特征提取，得到文本特征和第一图像特征，并基于文本特征和第一图像特征之间的余弦相似度对初始生成模型的参数进行调整，得到纹理生成模型。
本申请上述实施例中，分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征，包括：利用大规模图文预训练模型分别对训练文本和渲染图像进行特征提取，得到文本特征和第一图像特征。
上述的大规模图文预训练模型可以指CLIP模型，可以通过大规模图文预训练模型为图像和文本建立关系。
在一种可选的实施例中，可以利用大规模图文预训练模型分别对训练文本进行编码，得到文本特征和第一图像特征。
本申请上述实施例中，基于文本特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型，包括：利用扩散模型对文本特征进行特征采样，得到采样特征；确定采样特征与第一图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到纹理生成模型。
在一种可选的实施例中，可以利用扩散模型对文本特征进行特征采样，得到采样特征，可以通过扩散模型的先验知识对CLIP编码的文本特征进行采样，以使得文本描述的特征与经过CLIP编码后进行可微渲染得到第一图像特征在隐空间分布尽可能相似，从而提升纹理生成模型的生成质量。
在另一种可选的实施例中，可以确定采样特征和第一图像特征之间的相似度，在相似度小于预设相似度时，可以对初始生成模型的参数进行调整，直至相似度大于或等于预设相似度，得到纹理生成模型。
本申请上述实施例中，在描述信息包含描述文本和预设纹理贴图的情况下，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，包括：利用纹理生成模型基于描述文本和预设纹理贴图对虚拟对象表面的纹理进行无监督学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象、训练文本和训练图像。
上述的预设纹理贴图可以为预先设置的与描述信息对应的纹理贴图。
在一种可选的实施例中，在描述信息包含描述文本和预设纹理贴图的情况下，可以利用纹理生成模型基于描述文本和预设纹理贴图对虚拟对象表面的纹理进行无监督学习，由于增加了预设纹理贴图，可以使目标纹理贴图的效果更符合用户的预期，通过目标纹理贴图对虚拟对象进行渲染，可以提高对虚拟对象的渲染效果。本申请具有良好的拓展性，除了可以支持纯文本输入，也可以支持图像和文本的双重条件输入，用于生成风格更加明确的目标纹理贴图，从而提高对虚拟对象的渲染效果。
本申请上述实施例中，该方法还包括：利用初始生成模型基于描述文本和训练图像对虚拟对象表面的纹理进行学习，得到训练纹理贴图；基于训练纹理贴图对训练对象进行渲染，得到渲染图像；分别对训练文本、渲染图像和训练图像进行特征提取，得到训练文本的文本特征、渲染图像的第一图像特征和训练图像的第二图像特征；对文本特征和第二图像特征进行聚合，得到多模态特征；基于多模态特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
在一种可选的实施例中，可以利用初始生成模型基于描述文本和训练图像对虚拟对象表面的纹理进行学习，得到训练纹理贴图，可以利用训练纹理贴图对训练对象进行渲染，得到渲染图像，可以通过CLIP对渲染图像和训练图像在隐空间中进行编码，得到文本特征、第一图像特征和第二图像特征，可以对文本特征和第二图像特征进行聚合，得到多模态特征，即以不同形式存在的特征，可以确定多模态特征和第一图像特征之间的相似度，若相似度较小，则可以对初始生成模型的参数进行调整，得到纹理生成模型，若相似度较大，则直接可以得到纹理生成模型。
本申请上述实施例中，对文本特征和第二图像特征进行聚合，得到多模态特征，包括：利用扩散模型对文本特征进行特征采样，得到采样特征；对采样特征和第二图像特征进行聚合，得到多模态特征。
在另一种可选的实施例中，基于CLIP的描述，描述文本会被编码成一种概率分布，而该分布中并非是所有区间都能够对应到有意义和高质量的图像编码概率分布，因此可以增加扩散模型，将文本特征的概率分布作为先验知识对文本特征进行特征采样，得到采样特征，可以对采样特征和第二图像特征进行聚合，得到多模态特征，从而实现多模态个性化纹理的生成。
图4是根据本申请实施例的一种算法流程框架图，如图4所示，可以通过零样本的无监督学习方法对模型进行训练，以带纹理坐标的三维模型和表面纹理的描述文本以及参考图像作为算法输入，通过深度神经网络模型学习模型顶点表面的颜色、法线和顶点偏移量等信息，并通过在线可微渲染算法渲染得到三维模型在多个视角下的图像，随后基于CLIP和扩散模型分别将渲染得到的图像和输入的文本描述编码到共同的隐空间中，通过更新隐空间中向量的余弦相似度，可以保证深度神经网络模型学习到的三维模型表面的属性与文本描述的属性一致性，实现基于文本生成三维模型纹理。
图5是根据本申请实施例的一种基于文本-三维模型纹理生成的结构框图，如图5所示，模型的输入为三维容器白模和文本描述，可以设计多层感知器输出模型顶点的颜色和顶点的偏移量，通过可微渲染得到多视角渲染图，并将多视角渲染图与输入文本描述通过CLIP模型编码到CLIP的隐空间中，得到文本特征和图像特征，可以计算文本特征和图像特征的余弦相似度，从而实现零样本纹理生成的目标。
图6是根据本申请实施例的另一种基于文本-三维模型纹理生成的结构框图，如图6所示，结合对图5的描述可知，根据CLIP的描述，文本会被编码成一种概率分布，而在该分布中并非是所有区间都能够对应到有意义和高质量的图像编码概率分布，因此，可以根据多模态预训练模型(DALL-E)中对于扩散模型(Diffusion Prior)的使用，图6中的方法为对图5中的方法进行了更新之后的升级方法，即，新增了扩散模型，将文本特征作为扩散模型先验知识对CLIP编码的文本特征进行采样，保证文本描述的特征与经过CLIP编码的可微渲染得到的图像特征在隐空间分布尽可能相似，从而提升最终模型的生成质量。
图7是根据本申请实施例的一种效果对比示意图，如图7所示左侧图为根据图6中的方法生成的桌子的三维模型，即处理过程中带有扩散模型，如图7所示右侧图为根据图5中的方法生成的桌子的三维模型，即处理过程中不带有扩散模型；图8是根据本申请实施例的另一种效果对比示意图，如图8所示左侧图为根据图6中的方法生成的烛台的三维模型，即处理过程中带有扩散模型，如图8所示右侧图为根据图5中的方法生成的烛台的三维模型，即处理过程中不带有扩散模型；通过对比可知，通过图6中的方法生成的三维模型花纹更加丰富，三维模型结构更为复杂。
图9是根据本申请实施例的另一种基于文本-三维模型纹理生成的结构框图，如图9所示，结合对图5和图6中的内容说明，本申请可以利用CLIP模型对文本-图像成对的编码能力，对图6中的算法进行进一步的拓展，以便于可以支持纹理图像作为三维模型纹理生成参考描述，得到最终的生成方法。
图10据本申请实施例的一种三维模型示意图，如图10示，左侧可以为三维容器，右侧可以为根据文本描述和三维容器生成的三维模型，其中，输入可以为桌子的容器和文本描述，文本描述可以为巴洛克式桌子、大理石桌面、青花瓷桌面、木纹桌面，输出的三维模型可以为巴洛克式桌子模型、大理石桌面模型、青花瓷桌面模型、木纹桌面模型；输入可以为烛台的容器和文本描述，文本描述可以为生锈的烛台、粉蓝波点纹理烛台、珊瑚纹理的烛台、五彩织锦烛台，输出的三维模型可以为生锈的烛台模型、粉蓝波点纹理烛台模型、珊瑚纹理的烛台模型、五彩织锦烛台模型。
在电商场景中，本申请中可以针对电商场景下的三维店铺以及其内部置物台等的风格个性化需求，可以提出一种零样本基于文本的三维模型纹理生成的完整方法；根据算法生成纹理颜色、法线和偏移量可以直接施加到原始模型的表面，可以直接接入到传统渲染管线，无需在线推理；根据算法生成的纹理具有多样性，即使输入相同文本描述也能够生成不同的纹理；本申请提出的流程框架具有良好的拓展性，除了可以支持纯文本输入，也可以支持图像和文本的双重条件输入，用于生成目标风格更明确的三维模型纹理。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
实施例2
根据本申请实施例，还提供了一种虚拟对象的纹理生成的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图11是根据本申请实施例2的一种虚拟对象的纹理生成方法的流程图，如图11所示，该方法包括如下步骤：
步骤S1102，读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台。
其中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品。
上述的在线购物平台可以为线上购物的平台，用户可以在线上实现购物的目的。
上述的虚拟置物台用于展示虚拟商品，其中，虚拟置物台的风格可以与虚拟商品的风格一致。上述的虚拟商品可以为待销售的虚拟商品。
步骤S1104，捕获用于表述覆盖在虚拟置物台表面的纹理的描述信息。
步骤S1106，基于描述信息对虚拟置物台表面的纹理进行无监督学习，得到虚拟置物台对应的目标纹理贴图。
步骤S1108，基于目标纹理贴图对虚拟置物台进行渲染。
通过上述步骤，首先读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台，其中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品；捕获用于表述覆盖在虚拟置物台表面的纹理的描述信息；基于描述信息对虚拟置物台表面的纹理进行无监督学习，得到虚拟置物台对应的目标纹理贴图；基于目标纹理贴图对虚拟置物台进行渲染，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例，还提供了一种虚拟对象的纹理生成的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图12是根据本申请实施例3的一种虚拟对象的纹理生成方法的流程图，如图12所示，该方法包括如下步骤：
步骤S1202，响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述信息。
其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理。
上述的操作界面可以为能够显示虚拟对象和描述信息的显示界面，通过在显示界面上进行输入虚拟对象和描述信息，可以生成输入指令。
步骤S1204，响应作用于操作界面上的纹理生成指令，在操作界面上显示渲染结果。
其中，渲染结果是基于虚拟对象对应的目标纹理贴图对虚拟对象进行渲染得到的，目标纹理贴图是基于描述信息对虚拟对象表面的纹理进行无监督学习得到的。
上述的纹理生成指令可以为在需要对虚拟对象进行渲染时通过对操作界面进行触控生成的纹理生成指令，根据该纹理生成指令可以在操作界面上显示渲染结果。
通过上述步骤，首先响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理，响应作用于操作界面上的纹理生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标纹理贴图对虚拟对象进行渲染得到的，目标纹理贴图是基于描述信息对虚拟对象表面的纹理进行无监督学习得到的，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例，还提供了一种可以应用于虚拟现实VR设备、增强现实AR设备等虚拟现实场景下的虚拟对象的纹理生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图13是根据本申请实施例4的一种虚拟对象的纹理生成方法的流程图，如图13所示，该方法包括如下步骤：
步骤S1302，在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息。
其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理。
步骤S1304，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图。
步骤S1306，基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果。
步骤S1308，驱动VR设备或AR设备展示渲染结果。
通过上述步骤，首先在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果，驱动VR设备或AR设备展示渲染结果，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
可选地，在本实施例中，上述虚拟对象的纹理生成方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实VR设备或增强现实AR设备的呈现画面上展示渲染结果，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
可选地，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；驱动VR设备或AR设备展示渲染结果。
需要说明的是，该实施例的上述应用在VR设备或AR设备中的虚拟对象的纹理生成方法可以包括图13所示实施例的方法，以实现驱动VR设备或AR设备展示渲染结果的目的。
可选地，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。
可选地，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该HMD头显中的屏幕，用于显示展示的视频画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹，跟踪***，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪***中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。
在本申请实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于PC、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
实施例5
根据本申请实施例，还提供了一种虚拟对象的纹理生成方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图14是根据本申请实施例5的一种虚拟对象的纹理生成方法的流程图，如图14所示，该方法包括如下步骤：
步骤S1402，通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在虚拟对象表面的纹理的描述信息。
其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述信息。
上述的第一接口可以是服务器与客户端之间进行数据交互的接口，客户端可以将虚拟对象和描述信息传入接口函数，作为接口函数的第一参数，实现将虚拟对象和描述信息上传至云服务器的目的。
步骤S1404，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图。
步骤S1406，基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果。
步骤S1408，通过调用第二接口输出渲染结果。
其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
上述步骤中的第二接口可以是云服务器和客户端之间进行数据交换的接口，云服务器可以将渲染结果传入接口函数，作为接口函数的第二参数，实现将渲染结果下发至客户端的目的。
通过上述步骤，通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述信息，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果，通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施上述虚拟对象的纹理生成方法的虚拟对象的纹理生成装置，图15是根据本申请实施例6的一种虚拟对象的纹理生成装置的示意图，如图15所示，该装置1500包括：读取模块1502、捕获模块1504、监督模块1506、渲染模块1508。
其中，读取模块用于读取在虚拟场景中预先构建的虚拟对象；捕获模块用于捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；监督模块用于基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；渲染模块用于基于目标纹理贴图对虚拟对象进行渲染。
此处需要说明的是，上述读取模块1502、捕获模块1504、监督模块1506、渲染模块1508对应于实施例1中的步骤S302至步骤S308，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中，监督模块还用于利用纹理生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本。
本申请上述实施例中，该装置还包括：学习模块、提取模块、调整模块。
其中，学习模块用于利用初始生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到训练纹理贴图；渲染模块还用于基于训练纹理贴图对训练对象进行渲染，得到渲染图像；提取模块用于分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的第一图像特征；调整模块用于基于文本特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
本申请上述实施例中，提取模块还用于利用大规模图文预训练模型分别对训练文本和渲染图像进行特征提取，得到文本特征和第一图像特征。
本申请上述实施例中，调整模块还用于利用扩散模型对文本特征进行特征采样，得到采样特征，确定采样特征与第一图像特征的相似度，基于相似度对初始生成模型的参数进行调整，得到纹理生成模型。
本申请上述实施例中，监督模块还用于利用纹理生成模型基于描述文本和预设纹理贴图对虚拟对象表面的纹理进行无监督学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象、训练文本和训练图像。
本申请上述实施例中，该装置还包括：聚合模块。
其中，学习模块还用于利用初始生成模型基于描述文本和训练图像对虚拟对象表面的纹理进行学习，得到训练纹理贴图；渲染模块还用于基于训练纹理贴图对训练对象进行渲染，得到渲染图像；提取模块还用于分别对训练文本、渲染图像和训练图像进行特征提取，得到训练文本的文本特征、渲染图像的第一图像特征和训练图像的第二图像特征；聚合模块还用于对文本特征和第二图像特征进行聚合，得到多模态特征；调整模块还用于基于多模态特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
本申请上述实施例中，聚合模块还用于利用扩散模型对文本特征进行特征采样，得到采样特征，对采样特征和第二图像特征进行聚合，得到多模态特征。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例，还提供了一种用于实施上述虚拟对象的纹理生成方法的虚拟对象的纹理生成装置，图16是根据本申请实施例7的一种虚拟对象的纹理生成装置的示意图，如图16所示，该装置1600包括：读取模块1602、捕获模块1604、监督模块1606、渲染模块1608。
其中，读取模块用于读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台，其中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品；捕获模块用于捕获用于表述覆盖在虚拟置物台表面的纹理的描述信息；监督模块用于基于描述信息对虚拟置物台表面的纹理进行无监督学习，得到虚拟置物台对应的目标纹理贴图；渲染模块用于基于目标纹理贴图对虚拟置物台进行渲染。
此处需要说明的是，上述读取模块1602、捕获模块1604、监督模块1606、渲染模块1608对应于实施例2中的步骤S1102至步骤S1108，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例，还提供了一种用于实施上述虚拟对象的纹理生成方法的虚拟对象的纹理生成装置，图17是根据本申请实施例8的一种虚拟对象的纹理生成装置的示意图，如图17所示，该装置1700包括：第一显示模块1702、第二显示模块1704。
其中，第一显示模块用于响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；第二显示模块用于响应作用于操作界面上的纹理生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标纹理贴图对虚拟对象进行渲染得到的，目标纹理贴图是基于描述信息对虚拟对象表面的纹理进行无监督学习得到的。
此处需要说明的是，上述第一显示模块1702、第二显示模块1704对应于实施例3中的步骤S1202至步骤S1204，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例9
根据本申请实施例，还提供了一种用于实施上述虚拟对象的纹理生成方法的虚拟对象的纹理生成装置，图18是根据本申请实施例9的一种虚拟对象的纹理生成装置的示意图，如图18所示，该装置1800包括：展示模块1802、学习模块1804、渲染模块1806、驱动模块1808。
其中，展示模块用于在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；学习模块用于基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；渲染模块用于基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；驱动模块用于驱动VR设备或AR设备展示渲染结果。
此处需要说明的是，上述展示模块1802、学习模块1804、渲染模块1806、驱动模块1808对应于实施例4中的步骤S1302至步骤S1308，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例10
根据本申请实施例，还提供了一种用于实施上述虚拟对象的纹理生成方法的虚拟对象的纹理生成装置，图19是根据本申请实施例10种虚拟对象的纹理生成装置的示意图，如图19所示，该装置1900包括：读取模块1902、学习模块1904、渲染模块1906、输出模块1908。
其中，读取模块用于通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述信息；学习模块用于基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；渲染模块用于基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；输出模块用于通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
此处需要说明的是，上述读取模块1902、学习模块1904、渲染模块1906、输出模块1908对应于实施例5中的步骤S1402至步骤S1408，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例11
本申请的实施例可以提供一种电子设备，该电子设备可以为AR/VR设备，该AR/VR设备可以是AR/VR设备群中的任意一个AR/VR设备。可选地，在本实施例中，上述AR/VR设备也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述AR/VR设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述AR/VR设备可以执行虚拟对象的纹理生成方法中以下步骤的程序代码：读取在虚拟场景中预先构建的虚拟对象；捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染。
可选地，图20是根据本申请实施例的一种计算机终端的结构框图。如图20所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器102、存储器104、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的虚拟对象的纹理生成方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的虚拟对象的纹理生成方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：读取在虚拟场景中预先构建的虚拟对象；捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染。
可选的，上述处理器还可以执行如下步骤的程序代码：利用纹理生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本。
可选的，上述处理器还可以执行如下步骤的程序代码：利用初始生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到训练纹理贴图；基于训练纹理贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的第一图像特征；基于文本特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
可选的，上述处理器还可以执行如下步骤的程序代码：利用大规模图文预训练模型分别对训练文本和渲染图像进行特征提取，得到文本特征和第一图像特征。
可选的，上述处理器还可以执行如下步骤的程序代码：利用扩散模型对文本特征进行特征采样，得到采样特征；确定采样特征与第一图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到纹理生成模型。
可选的，上述处理器还可以执行如下步骤的程序代码：利用纹理生成模型基于描述文本和预设纹理贴图对虚拟对象表面的纹理进行无监督学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象、训练文本和训练图像。
可选的，上述处理器还可以执行如下步骤的程序代码：利用初始生成模型基于描述文本和训练图像对虚拟对象表面的纹理进行学习，得到训练纹理贴图；基于训练纹理贴图对训练对象进行渲染，得到渲染图像；分别对训练文本、渲染图像和训练图像进行特征提取，得到训练文本的文本特征、渲染图像的第一图像特征和训练图像的第二图像特征；对文本特征和第二图像特征进行聚合，得到多模态特征；基于多模态特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
可选的，上述处理器还可以执行如下步骤的程序代码：利用扩散模型对文本特征进行特征采样，得到采样特征；对采样特征和第二图像特征进行聚合，得到多模态特征。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台，其中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品；捕获用于表述覆盖在虚拟置物台表面的纹理的描述信息；基于描述信息对虚拟置物台表面的纹理进行无监督学习，得到虚拟置物台对应的目标纹理贴图；基于目标纹理贴图对虚拟置物台进行渲染。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；响应作用于操作界面上的纹理生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标纹理贴图对虚拟对象进行渲染得到的，目标纹理贴图是基于描述信息对虚拟对象表面的纹理进行无监督学习得到的。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；驱动VR设备或AR设备展示渲染结果。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
采用本申请实施例，首先读取在虚拟场景中预先构建的虚拟对象，捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，基于目标纹理贴图对虚拟对象进行渲染，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
本领域普通技术人员可以理解，图20所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图20并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图20中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图20所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例12
本申请的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的虚拟对象的纹理生成方法所执行的程序代码。
可选地，在本实施例中，上述计算机可读存储介质可以位于AR/VR设备网络中AR/VR设备终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：读取在虚拟场景中预先构建的虚拟对象；捕获用于表述覆盖在虚拟对象表面的纹理的描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用纹理生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用初始生成模型基于描述文本对虚拟对象表面的纹理进行学习，得到训练纹理贴图；基于训练纹理贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的第一图像特征；基于文本特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用大规模图文预训练模型分别对训练文本和渲染图像进行特征提取，得到文本特征和第一图像特征。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用扩散模型对文本特征进行特征采样，得到采样特征；确定采样特征与第一图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到纹理生成模型。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用纹理生成模型基于描述文本和预设纹理贴图对虚拟对象表面的纹理进行无监督学习，得到目标纹理贴图，其中，纹理生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象、训练文本和训练图像。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用初始生成模型基于描述文本和训练图像对虚拟对象表面的纹理进行学习，得到训练纹理贴图；基于训练纹理贴图对训练对象进行渲染，得到渲染图像；分别对训练文本、渲染图像和训练图像进行特征提取，得到训练文本的文本特征、渲染图像的第一图像特征和训练图像的第二图像特征；对文本特征和第二图像特征进行聚合，得到多模态特征；基于多模态特征和第一图像特征对初始生成模型的参数进行调整，得到纹理生成模型。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用扩散模型对文本特征进行特征采样，得到采样特征；对采样特征和第二图像特征进行聚合，得到多模态特征。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台，其中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品；捕获用于表述覆盖在虚拟置物台表面的纹理的描述信息；基于描述信息对虚拟置物台表面的纹理进行无监督学习，得到虚拟置物台对应的目标纹理贴图；基于目标纹理贴图对虚拟置物台进行渲染。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；响应作用于操作界面上的纹理生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标纹理贴图对虚拟对象进行渲染得到的，目标纹理贴图是基于描述信息对虚拟对象表面的纹理进行无监督学习得到的。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，虚拟对象是在虚拟场景中预先构建的对象，描述信息用于表述覆盖在虚拟对象表面的纹理；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；驱动VR设备或AR设备展示渲染结果。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述信息；基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图；基于目标纹理贴图对虚拟对象进行渲染，得到渲染结果；通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
采用本申请实施例，首先读取在虚拟场景中预先构建的虚拟对象，捕获用于表述覆盖在虚拟对象表面的纹理的描述信息，基于描述信息对虚拟对象表面的纹理进行无监督学习，得到虚拟对象对应的目标纹理贴图，基于目标纹理贴图对虚拟对象进行渲染，实现了提高虚拟对象的渲染效率的目的。容易注意到的是，可以根据描述信息对虚拟对象表面的纹理进行无监督学习，以便根据用户需求自定义生成虚拟对象对应目标纹理贴图，从而提高虚拟对象的渲染效率，并且将描述信息作为输入条件生成目标纹理贴图，可以使得到的目标纹理贴图更符合用户的需求，从而提高虚拟对象的渲染质量，进而解决了相关技术中虚拟对象的渲染效率较低的技术问题。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种虚拟对象的纹理生成方法，其特征在于，包括：
读取在虚拟场景中预先构建的虚拟对象；
捕获用于表述覆盖在所述虚拟对象表面的纹理的描述信息；
基于所述描述信息对所述虚拟对象表面的纹理进行无监督学习，得到所述虚拟对象对应的目标纹理贴图；
基于所述目标纹理贴图对所述虚拟对象进行渲染。
2.根据权利要求1所述的方法，其特征在于，在所述描述信息包含描述文本的情况下，基于所述描述信息对所述虚拟对象表面的纹理进行无监督学习，得到所述虚拟对象对应的目标纹理贴图，包括：
利用纹理生成模型基于所述描述文本对所述虚拟对象表面的纹理进行学习，得到所述目标纹理贴图，其中，所述纹理生成模型是基于未进行标注的训练样本进行训练得到的，所述训练样本包括：训练对象和训练文本。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用初始生成模型基于所述描述文本对所述虚拟对象表面的纹理进行学习，得到训练纹理贴图；
基于所述训练纹理贴图对所述训练对象进行渲染，得到渲染图像；
分别对所述训练文本和所述渲染图像进行特征提取，得到所述训练文本的文本特征和所述渲染图像的第一图像特征；
基于所述文本特征和所述第一图像特征对所述初始生成模型的参数进行调整，得到所述纹理生成模型。
4.根据权利要求3所述的方法，其特征在于，分别对所述训练文本和所述渲染图像进行特征提取，得到所述训练文本的文本特征和所述渲染图像的图像特征，包括：
利用大规模图文预训练模型分别对所述训练文本和所述渲染图像进行特征提取，得到所述文本特征和所述第一图像特征。
5.根据权利要求3所述的方法，其特征在于，基于所述文本特征和所述第一图像特征对所述初始生成模型的参数进行调整，得到所述纹理生成模型，包括：
利用扩散模型对所述文本特征进行特征采样，得到采样特征；
确定所述采样特征与所述第一图像特征的相似度；
基于所述相似度对所述初始生成模型的参数进行调整，得到所述纹理生成模型。
6.根据权利要求1所述的方法，其特征在于，在所述描述信息包含描述文本和预设纹理贴图的情况下，基于所述描述信息对所述虚拟对象表面的纹理进行无监督学习，得到所述虚拟对象对应的目标纹理贴图，包括：
利用纹理生成模型基于所述描述文本和所述预设纹理贴图对所述虚拟对象表面的纹理进行无监督学习，得到所述目标纹理贴图，其中，所述纹理生成模型是基于未进行标注的训练样本进行训练得到的，所述训练样本包括：训练对象、训练文本和训练图像。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
利用初始生成模型基于所述描述文本和所述训练图像对所述虚拟对象表面的纹理进行学习，得到训练纹理贴图；
基于所述训练纹理贴图对所述训练对象进行渲染，得到渲染图像；
分别对所述训练文本、所述渲染图像和所述训练图像进行特征提取，得到所述训练文本的文本特征、所述渲染图像的第一图像特征和所述训练图像的第二图像特征；
对所述文本特征和所述第二图像特征进行聚合，得到多模态特征；
基于所述多模态特征和所述第一图像特征对所述初始生成模型的参数进行调整，得到所述纹理生成模型。
8.根据权利要求7所述的方法，其特征在于，对所述文本特征和所述第二图像特征进行聚合，得到多模态特征，包括：
利用扩散模型对所述文本特征进行特征采样，得到采样特征；
对所述采样特征和所述第二图像特征进行聚合，得到所述多模态特征。
9.一种虚拟对象的纹理生成方法，其特征在于，包括：
读取在线购物平台上的三维虚拟店铺中预先构建的虚拟置物台，其中，所述虚拟置物台用于展示放置在所述三维虚拟店铺中的虚拟商品；
捕获用于表述覆盖在所述虚拟置物台表面的纹理的描述信息；
基于所述描述信息对所述虚拟置物台表面的纹理进行无监督学习，得到所述虚拟置物台对应的目标纹理贴图；
基于所述目标纹理贴图对所述虚拟置物台进行渲染。
10.一种虚拟对象的纹理生成方法，其特征在于，包括：
响应作用于操作界面上的输入指令，在所述操作界面上显示虚拟对象和描述信息，其中，所述虚拟对象是在虚拟场景中预先构建的对象，所述描述信息用于表述覆盖在所述虚拟对象表面的纹理；
响应作用于所述操作界面上的纹理生成指令，在所述操作界面上显示渲染结果，其中，所述渲染结果是基于所述虚拟对象对应的目标纹理贴图对所述虚拟对象进行渲染得到的，所述目标纹理贴图是基于所述描述信息对所述虚拟对象表面的纹理进行无监督学习得到的。
11.一种虚拟对象的纹理生成方法，其特征在于，包括：
在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述信息，其中，所述虚拟对象是在虚拟场景中预先构建的对象，所述描述信息用于表述覆盖在所述虚拟对象表面的纹理；
基于所述描述信息对所述虚拟对象表面的纹理进行无监督学习，得到所述虚拟对象对应的目标纹理贴图；
基于所述目标纹理贴图对所述虚拟对象进行渲染，得到渲染结果；
驱动所述VR设备或所述AR设备展示所述渲染结果。
12.一种虚拟对象的纹理生成方法，其特征在于，包括：
通过调用第一接口读取在虚拟场景中预先构建的虚拟对象，并捕获用于表述覆盖在所述虚拟对象表面的纹理的描述信息，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述虚拟对象和所述描述信息；
基于所述描述信息对所述虚拟对象表面的纹理进行无监督学习，得到所述虚拟对象对应的目标纹理贴图；
基于所述目标纹理贴图对所述虚拟对象进行渲染，得到渲染结果；
通过调用第二接口输出所述渲染结果，其中，所述第二接口包括第二参数，所述第二参数的参数值为所述渲染结果。
13.一种电子设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310398448.2A CN116485983A (zh) | 2023-04-04 | 2023-04-04 | 虚拟对象的纹理生成方法、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310398448.2A CN116485983A (zh) | 2023-04-04 | 2023-04-04 | 虚拟对象的纹理生成方法、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116485983A true CN116485983A (zh) | 2023-07-25 |
Family
ID=87222525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310398448.2A Pending CN116485983A (zh) | 2023-04-04 | 2023-04-04 | 虚拟对象的纹理生成方法、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485983A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117272491A (zh) * | 2023-11-21 | 2023-12-22 | 广东广宇科技发展有限公司 | 一种基于ai绘图模型的快速建模方法、设备及介质 |
-
2023
- 2023-04-04 CN CN202310398448.2A patent/CN116485983A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117272491A (zh) * | 2023-11-21 | 2023-12-22 | 广东广宇科技发展有限公司 | 一种基于ai绘图模型的快速建模方法、设备及介质 |
| CN117272491B (zh) * | 2023-11-21 | 2024-05-31 | 广东广宇科技发展有限公司 | 一种基于ai绘图模型的快速建模方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109861948B (zh) | 虚拟现实数据处理方法、装置、存储介质和计算机设备 | |
| KR101536501B1 (ko) | 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템 | |
| EP3660663B1 (en) | Delivering virtualized content | |
| CN106713988A (zh) | 一种对虚拟场景直播进行美颜处理的方法及*** | |
| CN111901598B (zh) | 视频解码与编码的方法、装置、介质及电子设备 | |
| CN105556574A (zh) | 渲染设备、其渲染方法、程序和记录介质 | |
| WO2022089166A1 (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
| Ebner et al. | Multi‐view reconstruction of dynamic real‐world objects and their integration in augmented and virtual reality applications | |
| CN116485973A (zh) | 虚拟对象的材质生成方法、电子设备和存储介质 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| CN117390322A (zh) | 虚拟空间构建方法、装置、电子设备及非易失性存储介质 | |
| CN116485983A (zh) | 虚拟对象的纹理生成方法、电子设备以及存储介质 | |
| JP7425196B2 (ja) | ハイブリッドストリーミング | |
| CN111142967B (zh) | 一种增强现实显示的方法、装置、电子设备和存储介质 | |
| US9305373B2 (en) | Customized real-time media system and method | |
| CN116664726B (zh) | 视频获取方法、装置和存储介质及电子设备 | |
| CN116071551A (zh) | 图像处理方法、计算机可读存储介质及电子设备 | |
| CN116630485A (zh) | 虚拟形象的驱动方法、虚拟形象的渲染方法以及电子设备 | |
| JP2004178036A (ja) | 遠隔者の映像を伴う仮想空間の提示装置 | |
| CN117011417A (zh) | 图像处理方法、装置及计算机设备 | |
| CN116630508A (zh) | 3d模型处理方法、装置及电子设备 | |
| CN116233532A (zh) | 视频播放方法、装置、计算机设备及计算机可读存储介质 | |
| CN114998514A (zh) | 一种虚拟角色的生成方法及设备 | |
| CN117437342B (zh) | 一种三维场景渲染方法和存储介质 | |
| CN116484967A (zh) | 图像识别模型的训练方法、图像识别方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |