CN116485973A - 虚拟对象的材质生成方法、电子设备和存储介质 - Google Patents
虚拟对象的材质生成方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116485973A CN116485973A CN202310363279.9A CN202310363279A CN116485973A CN 116485973 A CN116485973 A CN 116485973A CN 202310363279 A CN202310363279 A CN 202310363279A CN 116485973 A CN116485973 A CN 116485973A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- text
- training
- target
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000005286 illumination Methods 0.000 claims abstract description 230
- 238000009877 rendering Methods 0.000 claims abstract description 159
- 239000013077 target material Substances 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims description 198
- 230000008569 process Effects 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 26
- 238000009792 diffusion process Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 14
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 12
- 239000002023 wood Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟对象的材质生成方法、电子设备和存储介质。其中，该方法包括：获取虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。本申请解决了相关技术中的生成虚拟模型的材质的效率低的技术问题。
Description
技术领域
本申请涉及数据处理领域，具体而言，涉及一种虚拟对象的材质生成方法、电子设备和存储介质。
背景技术
随着AR(Virtual Reality，虚拟现实技术)、VR(Augmented Reality，增强现实技术)等技术的发展，3维(Three-Dimensional，简称为3D)虚拟店铺成为了电商行业中的一大热点。在3D虚拟店铺中，通常会以虚拟的3D模型来表现店铺内的不同商品，并且以3D模型的材质、纹理等信息来表现不同商品的个性化设计风格，以表现出店铺和商品的特点，从而吸引客户浏览或购买店铺内商品。
而为了能够更好的展示店铺内的商品，用户通常会对不同风格的商品配置不同的置物台，例如对牛仔帽，可以配置牛仔风格的置物台，从而实现店铺整体风格的多样性，提高置物台对展示商品的烘托能力，以吸引客户的注意力。但是一个店铺内不同商品的风格可能较多，对应需要配置的置物台的类型也就较多，若以人工的方式，单独的制作每个置物台的3D模型，会导致工作人员的压力大，对应确定置物台的模型材质、生成置物台的3D模型的效率低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种虚拟对象的材质生成方法、电子设备和存储介质，以至少解决相关技术中的生成虚拟模型的材质的效率低的技术问题。
根据本申请实施例的一个方面，提供了一种虚拟对象的材质生成方法，包括：获取虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
根据本申请实施例的另一方面，还提供了一种虚拟对象的材质生成方法，包括：获取虚拟置物台和描述文本，其中，虚拟置物台为放置于在线购物平台上的三维虚拟店铺中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品，描述文本用于表征对虚拟置物台的材质进行描述的文本；基于描述文本，生成虚拟置物台对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟置物台进行渲染，得到渲染结果。
根据本申请实施例的另一方面，还提供了一种虚拟对象的材质生成方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；响应作用于操作界面上的材质生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标材质参数和目标照明贴图对虚拟对象进行渲染得到的，目标材质参数和目标照明贴图是基于描述文本生成的。
根据本申请实施例的另一方面，还提供了一种虚拟对象的材质生成方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果；驱动VR设备或AR设备展示渲染结果。
根据本申请实施例的另一方面，还提供了一种虚拟对象的材质生成方法，包括：通过调用第一接口获取虚拟对象和描述文本，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果；通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述任意一项的虚拟对象的材质生成方法。
根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述任意一项的虚拟对象的材质生成方法。
在本申请实施例中，采用获取虚拟对象和描述文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果的方式，通过根据用于表示虚拟对象材质的描述文本，自动的生成虚拟对象的材质参数和照明贴图，生成过程的复杂度较低，并且生成的材质参数和照明贴图不受固定的材质图像的限制，这使得虚拟对象的材质生成***可以根据描述文本，快速的生成大量不同的材质参数和照明贴图，从而实现提高了虚拟模型的材质生成的效率的技术效果，进而解决了相关技术中的生成虚拟模型的材质的效率低的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例1的一种虚拟对象的材质生成方法的虚拟现实设备的硬件环境的示意图；
图2是根据本申请实施例1的一种虚拟对象的材质生成方法的计算环境的结构框图；
图3是根据本申请实施例1的虚拟对象的材质生成方法的流程图；
图4是根据本申请实施例1的一种虚拟对象的材质生成过程的框架示意图；
图5是根据本申请实施例1的一种目标材质参数和目标照明贴图的生成过程的示意图；
图6是根据本申请实施例1的一种材质生成模型的训练过程的示意图；
图7是根据本申请实施例2的一种虚拟对象的材质生成方法的流程图；
图8是根据本申请实施例3的一种虚拟对象的材质生成方法的流程图；
图9是根据本申请实施例3的一种操作界面的示意图；
图10是根据本申请实施例4的一种虚拟对象的材质生成方法的流程图；
图11是根据本申请实施例5的一种虚拟对象的材质生成方法的流程图；
图12是根据本申请实施例6的一种虚拟对象的材质生成装置的结构框图；
图13是根据本申请实施例7的一种虚拟对象的材质生成装置的结构框图；
图14是根据本申请实施例8的一种虚拟对象的材质生成装置的结构框图；
图15是根据本申请实施例9的一种虚拟对象的材质生成装置的结构框图；
图16是根据本申请实施例9的一种虚拟对象的材质生成装置的结构框图；
图17是根据本申请实施例11的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
可微渲染：Differentiable Rendering，一种依托于传统渲染模型的微分可导的渲染方法，可分为正向渲染和逆向渲染两个过程，其中正向渲染过程与传统渲染一致，而逆向渲染过程则是微分可导的，即使渲染图像中的像素相对于模型场景参数可导。
BRDF材质：Bidirectional Reflectance Distribution Function材质，双向反射分布函数材质，定义了场景中的光照射到材质表面反射到视点的光亮度计算方法，是基于物理的渲染(PBR，Physically-Based Rendering)方程中的重要参数，常用于全局光照模型。
全局照明：Global Illumination，在一个场景中，根据照明中光能的来源，可将光照分为直接光照和间接光照，直接光照是由光源所发出的光能直接照射到场景中物体上所形成的照明效果，间接光照是光源发射的光能由场景中其他物体表面反弹后照射在某些物体表面所形成的光照现象(间接照明中的光能来自于直接照明中被照射物体表面所反射的光能)。全局光照是由直接光照和间接光照一起形成的光照，全局照明更加符合现实中真实的光照。
扩散模型：Diffusion Model，是一种生成模型，本方案中指的是由文本生成图像的模型。
CLIP模型：Contrastive Language-Image Pre-Training模型，一种为图像和文本建立关系的深度神经网络模型，用于匹配图像和文本的预训练模型。
零样本学习：使用预先训练的深度学习模型来泛化新类别的样本，思路是将训练实例中已经包含的知识迁移到测试实例分类的任务中。
无监督学习：训练数据未包含标签，并将训练数据映射到不同标签。
实施例1
根据本申请实施例，提供了一种虚拟对象的材质生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例1的一种虚拟对象的材质生成方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端104并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
在本申请上述实施例中，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：获取虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。达到了提高生成虚拟模型材质的效率的目的，从而解决了相关技术中的生成虚拟模型的材质的效率低的技术问题。
该实施例的终端可以用于执行在VR设备或AR设备的呈现画面上展示虚拟对象的目标材质参数、目标照明贴图、渲染结果等信息，并向虚拟现实设备104发送基于描述语言对虚拟模型进行渲染后的渲染结果，虚拟现实设备104在接收到渲染结果之后在目标投放位置显示出来。
在本申请上述实施例中，该实施例的虚拟现实设备104带有的眼球追踪的HMD(Head Mount Display，头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪***获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。
图1示出的硬件结构框图，不仅可以作为上述AR/VR设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的AR/VR设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例1的一种虚拟对象的材质生成方法的计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。不同计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境201中的多个服务220-1，220-2，220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。
服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(Virtual Machine，VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作***(Operating System，OS)，以便多个工作负载可以在单个操作***实例上运行。
在基于容器虚拟化的一个实施例中，服务的若干容器可以被组装成一个Pod(例如，Kubernetes Pod)。举例来说，如图2所示，服务220-2可以配备一个或多个Pod 240-1，240-2，…，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1，242-2，…，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务也可以配备类似的Pod。
在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务，执行一个服务的一个或多个功能需要调用另一个服务的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。
在上述运行环境下，本申请提供了如图3所示的虚拟对象的材质生成方法。需要说明的是，该实施例的虚拟对象的材质生成方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例1的虚拟对象的材质生成方法的流程图。如图3所示，该方法可以包括如下步骤：
步骤S302，获取虚拟对象和描述文本。
其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本。
上述实体对象可以是指在真实场景中具有实体的物体，例如店铺中的桌子、椅子、杯子、置物台等，对应的虚拟对象可以是指在虚拟环境中，根据实体对象建立的虚拟网格(mesh)，该虚拟网格上没有纹理图像，例如UV贴图。该虚拟模型可以是由用户根据实体对象手动生成的模型，也可以是从模型库中选取的与实体对象对应的模型。
上述描述文本所描述的材质可以与实体对象的材质不同。举例来说，若实体对象是一个置物台，该置物台的材质是红衫木，则上述描述文本可以是描述实体对象的材质相关的文本，例如“一个置物台的制作材料是红衫木，在置物台表面上有花状图案”；也可以是与实体对象的材质不同的文本，例如“一个置物台的制作材料是铝合金，在置物台上有火焰状图案”。
目前，在生成虚拟对象的材质时，通常是根据用户提供的预设图像来生成虚拟对象的材质图像，从而表现出虚拟对象的材质，例如预设图像是一张条纹较少的红衫木的切面图，则生成的虚拟对象的纹理包含的就是该条纹较少的红衫木的切面图，对应表现出的虚拟对象的材质就可以是红衫木。但是一张预设图像通常只能生成出一种材质，若当前需要生成虚拟对象的材质的数量较多，对应生成材质的时间会很长，若预设材质图像的数量较少，则还需要花费时间寻找预设图像，导致生成材质的效率很慢。
而考虑到描述文本内容并不会向图像一样受到明显的图案限制，例如上述描述文本“一个置物台的制作材料是红衫木，在置物台表面上有花状图案”所示的内容，其中的红衫木的表面粗糙度、光照反射强度、条纹数量、条纹位置、花状图案的数量、花状图案的位置等参数，没有受到具体的限制，因此，可以选择利用描述文本来代替预设材质图像和实体对象的图像，来生成虚拟对象的材质。所以在需要生成虚拟对象的材质时，可以首先获取虚拟对象，以及用于描述虚拟对象的材质的描述文本。
在本实施例的一种可选方案中，为了避免因描述文本不清晰导致生成的虚拟对象的材质不符合用户的预期要求，在获取虚拟对象和描述文本的同时，还可以进一步的获取与描述文本相近的，满足用户预期要求的预设图像，并将该预设图像作为描述文本所呈现出的图像模板。
步骤S304，基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图。
上述目标材质参数可以是指BRDF材质参数，可以包括但不限于：扩散(diffusion)参数、粗糙(roughness)参数、反射(specular)参数、坐标参数、法线参数等。上述目标照明贴图可以是指在全局照明的情况下，虚拟对象的材质能够呈现出的光照效果对应的UV贴图。
在本实施例的一种可选方案中，在获取到描述文本之后，可以从描述文本中获取与材质参数和照明贴图相关的内容，然后根据这些内容来生成上述虚拟对象对应的目标材质参数和目标照明贴图。
举例来说，若描述文本为“一个置物台的制作材料是红衫木，在置物台表面上有花状图案”，则可以首先从描述内容中获取与材质参数相关的关键词，例如：置物台、红衫木、表面、花状图案等，然后可以从预设的材质参数数据库和贴图数据库中，寻找与上述关键词相关的目标材质参数和目标照明贴图，从而保证获取目标材质参数和目标照明贴图的效率，例如可以确定红衫木的粗糙程度、光线反射强度、颜色、条纹规律、条纹数量、花状图案类型、花状图案数量，在单光源或多光源下红衫木所呈现出的照明贴图等。
在本实施例的一种可选方案中，由于预设数据库中的材质参数和照明贴图的数量和类型是有限的，因此，还可以利用训练出的用于生成材质参数和照明贴图的神经网络模型，根据描述文本实时生成目标材质参数和目标照明贴图，从而保证生成的目标材质参数和目标照明贴图的多样性。例如描述文本为“红色背景上有黄色花状图案”，则可以利用上述的生成模型，以红色色域内的颜色作为背景颜色、黄色色域内的颜色作为图案颜色、任意花朵的形状作为的花状图案，按照随机的材质参数，来生成目标材质参数和目标照明贴图。
步骤S306，基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
上述渲染结果可以是指对虚拟对象进行渲染后，能够表现出虚拟对象的材质的结果，可以是与实体对象相关联的3D模型在二维平面，例如预设屏幕上所展示出的二维图像，但是该二维图像所呈现出的视觉效果，例如质感、亮度、纹理等，可以与实体对象不同。
在本实施例的一种可选方案中，在得到目标材质参数和目标照明贴图之后，便可以利用该目标材质参数和目标照明贴图，对虚拟对象进行渲染，以得到上述的渲染结果。
在本实施例的一种可选方案中，可以利用传统的模型渲染方法，例如DOM渲染方式，基于目标材质参数和目标照明贴图来对虚拟对象进行渲染，从而提高渲染效率；也可以利用可微渲染的方式，基于目标材质参数和目标照明贴图来对虚拟对象进行渲染，从而提高渲染结果的精度。
为了便于理解的虚拟对象的材质生成过程，图4是根据本申请实施例1的一种虚拟对象的材质生成过程的框架示意图，如图4所示，虚拟对象的材质生成***(以下简称为生成***)可以首先获取虚拟对象，以及用于描述虚拟对象的材质的描述文本，然后利用预设的材质生成模型对描述文本和虚拟对象进行处理，便可以得到虚拟对象对应的目标材质参数和目标照明贴图。生成***不会主动的生成虚拟对象或对现有的虚拟对象进行修改，降低了生成过程的复杂度，从而提高了生成虚拟对象的材质的效率。
目前，常见的虚拟模型生成算法，例如，CLIP-Mesh(一种文本-图像模型生成算法)、Magic3D(一种基于文本描述的模型自动生成算法)、Dream diffusion(一种图像-文本对的扩散模型)、GET3D(一种3D模型生成方法)等，都倾向于生成低亏格，例如0亏格的3D模型，这种模型的精度较低，在几何层面上会缺失较多高频上的细节，无法保证生成的3D模型的网格质量，模型UV坐标不准确，从而导致最终根据UV坐标生成的虚拟模型对应的材质、纹理等信息的质量较差。但是在本申请中，不需要根据实体对象生成虚拟对象，不需要考虑生成的3D模型的亏格数量，能够避免因实时生成的3D模型的亏格数量少，导致模型网格质量差，进而导致生成的3D模型的材质、纹理等信息的质量差的问题。
下面以生成电商中常见的置物台的材质为例，说明上述的材质生成过程。首先，生成***可以从预设是模型库中，获取与置物台相关的虚拟对象，以及用户根据需求输入的一段用于描述置物台的文本，例如“置物台的制作材料是红衫木，在置物台表面上有花状图案”。然后生成***可以从该文本中提取与置物台的材质相关的关键词，例如：红衫木、置物台表面、花状图案等，并根据这些关键词，生成置物台的虚拟对象对应的目标材质参数和目标照明贴图。例如生成***可以从预设的图库中筛选取红衫木制品的表面图像，以及花状的雕刻图像，并将该表面图像和雕刻图像进行组装，以生成上述的目标材质参数和目标照明贴图。最后，生成***可以根据该目标材质参数和目标照明贴图，对虚拟对象进行渲染，得到上述的渲染结果，即按照用户给出的描述文本，置物台在二维平面中所呈现出的二维图像。
在本申请实施例中，采用获取虚拟对象和描述文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果的方式，通过根据用于表示虚拟对象材质的描述文本，自动的生成虚拟对象的材质参数和照明贴图，生成过程的复杂度较低，并且生成的材质参数和照明贴图不受固定的材质图像的限制，这使得虚拟对象的生成***可以根据描述文本，快速的生成大量不同的材质参数和照明贴图，从而实现提高了虚拟模型的材质生成的效率的技术效果，进而解决了相关技术中的生成虚拟模型的材质的效率低的技术问题。
在本申请上述实施例中，基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图，包括：将描述文本和虚拟对象输入至材质生成模型，并获取材质生成模型输出的初始材质参数和初始照明贴图，其中，材质生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本；对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图。
上述材质生成模型可以是指前述的用于生成材质参数和照明贴图的神经网络模型，可以通过利用未进行标注的训练样本对初始生成模型训练得到的，该初始生成模型可以是基于零样本学习的无监督生成模型，训练样本可以包括训练对象和训练文本，其中，训练对象可以是指预设的虚拟对象，例如一个球形虚拟网格、人形虚拟网格等，训练文本可以是指预设的描述文本，例如与球形虚拟网格的材料、颜色、亮度相关的文本内容。
上述初始材质参数和初始照明贴图可以是指通过材质生成模型，按照指定角度，例如用户视线角度，生成的材质参数和照明贴图，举例来说，若描述文本为“从置物台顶部观测，可以看到红黑相间的花纹，和亮度较高的光斑”，则上述的初始材质参数和初始照明贴图，可以是指将虚拟摄像机移动至虚拟对象正上方时，生成***利用上述材质生成模型，根据描述文本和虚拟对象生成的初始材质参数和初始照明贴图，例如较高的扩散参数和反射参数、红黑相间的花纹等。
在本实施例的一种可选方案中，在生成目标材质参数和目标照明贴图时，可以首先将描述文本和虚拟对象输入至材质生成模型中，得到初始材质参数和初始照明贴图。而考虑到初始材质参数和初始照明贴图是利用材质生成模型，按照指定角度预测得到的材质属性，无法直接应用到传统渲染模型中，因此，还可以进一步的将初始材质参数和初始照明贴图进行转换，得到渲染管线中常用的渲染参数，例如前述的BRDF材质参数、全局照明贴图等，进而生成能够反映虚拟对象在各个视线角度下所呈现出的目标材质参数和目标照明贴图。
在本申请上述实施例中，将描述文本和虚拟对象输入至材质生成模型，包括：对虚拟对象上的面片进行采样，得到密集点云，其中，虚拟对象由多个面片构成，密集点云至少包含面片上的顶点和法线方向；按照与法线方向相反的方向对密集点云进行光影投射，确定屏幕空间的像素点与密集点云的对应关系；将屏幕空间的像素点和描述文本输入至材质生成模型。
上述面片的数量可以由虚拟对象的精度决定的，用户所要求的虚拟对象的精度越高，虚拟对象上对应的面片的数量越多。
在本实施例的一种可选方案中，用户可以通过模型精度控制器，手动降低虚拟对象的精度，生成***可以根据降低后的精度，减少虚拟对象的面片的数量，从而提高生成初始材质参数和初始照明贴图的效率；也可以通过模型精度控制器，手动提高虚拟对象的精度，生成***可以根据降低后的精度，增加虚拟对象的面片的数量，从而提高生成的初始材质参数和初始照明贴图的精度。考虑到生成***根据调整后的精度来增加或减少面片数量时，可能不能满足用户预期，例如只减少模型背面的面片数量，因此，用户还可以手动的删除或添加面片。
在本实施例的一种可选方案中，考虑到生成的初始材质参数和初始照明贴图，会受到前述指定角度的限制，因此，为了提高生成的初始材质参数和初始照明贴图的精度，可以在将描述文本和虚拟对象输入至材质生成模型时，根据虚拟摄像机与虚拟对象的位置，利用光线投射(ray casting)算法，对可见面，即通过屏幕能够观测到的虚拟对象的可见区域，进行光栅化处理，建立上述可见区域与屏幕的位置对应关系，从而保证在根据描述文本生成初始材质参数和初始照明贴图时，不会受到不可见面，即通过屏幕不能观测到的虚拟对象的不可见区域的影响，进而提高生成的初始材质参数和初始照明贴图的精度。
具体的，可以首先对虚拟对象上的面片进行采样，得到多个面片的顶点和法线方向，来构建上述的密集点云，然后按照法线方向的反方向，将密集点云进行光影投射至屏幕上，从而确定出屏幕空间的像素点与密集点云的对应关系，由于屏幕空间的像素点可以根据对应关系直接确定出对应的密集点云，即确定出虚拟对象的可见面，因此，可以直接将屏幕空间的像素点和描述文本输入至材质生成模型中，材质生成模型可以利用预设的空间渲染网络，例如SVBRDF(Spatially Varying Bidirectional Reflectance DistributionFunction，空间变化双向反射分布函数)网络，和光照估计网络，对屏幕空间的像素点以及对应的密集点云进行处理，并利用预设的文本处理模型，对描述文本进行处理，以生成上述的初始材质参数和初始照明贴图。
由于建立了密集点云和屏幕空间的像素点的对应关系，因此可以直接根据屏幕空间的像素点来确定对应的可见密集点云，以及可见密集点云对应的可见面，能够很大程度上降低将虚拟对象和对应的描述文本输入至材质生成模型的复杂度，从而提高生成初始材质参数和初始照明贴图的效率。同时不需要担心不可见面对生成的初始材质参数和初始照明贴图的影响，还提高了生成的初始材质参数和初始照明贴图的精度。
在本实施例的一种可选方案中，在将虚拟对象输入至材质生成模型前，还可以对虚拟对象进行归一化处理，将虚拟对象缩小至单位球体的大小，从而使前述的可见面扩展至半个单位球体，即环虚拟对象半球对应的区域，从而提高建立密集点云和屏幕空间的像素点的对应关系的效率，进而提高生成的初始材质参数和初始照明贴图的效率。
在本申请上述实施例中，密集点云还包括：纹理坐标，其中，对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图，包括：基于纹理坐标对初始材质参数和初始照明贴图进行纹理映射的逆过程，得到目标材质参数和目标照明贴图。
上述纹理坐标可以是指与虚拟对象相关联的，用于表现在二维平面中虚拟对象表面上每个点的位置的坐标，例如UV坐标。
在本实施例的一种可选方案中，在得到初始材质参数和初始照明贴图之后，可以进一步的根据纹理映射的逆过程，将初始材质参数和初始照明贴图按照纹理坐标展开，形成能够以空间坐标表示的目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，若虚拟对象中没有具体的纹理坐标，则可以通过三维集合处理***(Meshlab)中的纹理坐标确定算法(比如，UV二值寻找UV Triangle算法，Xlatas算法)对虚拟对象进行处理，自动生成对应的纹理坐标。
图5是根据本申请实施例1的一种目标材质参数和目标照明贴图的生成过程的示意图，如图5所示，生成***在获取到虚拟对象后，可以首先对虚拟对象进行点云采样，得到前述的密集点云，然后根据虚拟摄像机的位置，建立屏幕空间像素点与密集电源之间的对应关系，例如将密集点云中的点P和屏幕空间的像素点进行映射，然后将描述文本和屏幕空间像素点输入至材质生成模型中，得到初始材质参数和初始照明贴图，最后根据密集点云中的纹理坐标，对初始材质参数和初始照明贴图进行纹理映射的逆过程，以得到目标数据，即目标材质参数和目标纹理贴图。
在本申请上述实施例中，该方法还包括：将训练对象和训练文本输入至初始生成模型，并获取初始生成模型输出的训练材质参数和训练照明贴图；基于训练材质参数和训练照明贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征；基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型。
为了便于理解材质生成模型，利用训练样本对初始生成模型进行训练得到材质生成模型的过程如下所示：
可以首先将未标注的训练对象和训练文本输入至初始生成模型中，得到训练材质参数和训练照明贴图，然后利用训练材质参数和训练照明贴图，按照传统渲染方式或者可微渲染方式，对训练对象进行渲染得到渲染图像。由于渲染图像是与训练文本相对应的图像，例如训练文本中有“红黑相间的区域”，则对应的渲染图像中也会有红黑相间的区域，因此，可以进一步的分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征，例如训练文本中的关键词，渲染图像的图像特征，例如渲染图像中明显的图像区域位置、颜色、亮度等。最后可以利用该文本特征和图像特征对初始生成模型进行反向训练，调整初始生成模型的参数，然后重复上述过程。当训练过程中产生的损失值小于一定预设阈值时，可以认为模型训练成功，从而得到材质生成模型，其中，上述损失值可以是指文本特征和图像特征之间的相似度。
在本实施例的一种可选方案中，为了避免模型训练时间过长，可以预先设置训练的最大周期，例如1500次。
在本申请上述实施例中，将训练对象和训练文本输入至初始生成模型，包括：基于预设位置对训练对象进行光线投影，确定屏幕空间的像素点与训练对象表面的对应关系；将屏幕空间的像素点和训练文本输入至初始生成模型。
与前述将虚拟对象和描述文本输入至材质生成模型相同，可以首先根据预设位置，即虚拟摄像机的位置，对训练对象进行光线投影，将训练对象的可见面进行光栅化，确定出屏幕空间的像素点与训练对象表面的密集点云的对应关系，然后根据该对应关系，将屏幕空间的像素点和训练文本输入值初始生成模型中，从而提高生成训练材质参数和训练照明贴图的效率和精度。具体过程可参考前文所示，在此不再赘述。
在本申请上述实施例中，分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征，包括：分别将训练文本和渲染图像输入至大规模图文预训练模型，并获取大规模图文预训练模型分别输出的文本特征和图像特征。
上述大规模图文预训练模型(CLIP模型)可以是指能够根据上述训练文本和渲染图像，生成对应的文本特征和图像特征的模型。
在本实施例的一种可选方案中，考虑到CLIP模型是一种多模态预训练的模型，数据处理的效率很高，因此，可以利用上述的CLIP模型中的文本编码器和图像编码器将上述的训练文本和渲染图像编码到隐空间中，提取出训练文本和渲染图像各自对应的文本特征和图像特征，来提高获取文本特征和图像特征的效率。
在本申请上述实施例中，基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型，包括：将文本特征输入至扩散模型，并获取扩散模型输出的采样特征；确定采样特征与图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到材质生成模型。
在本实施例的一种可选方案中，在得到文本特征和图像特征之后，可以首先将文本特征输入值扩散模型(diffusion model)，以从文本特征中能够对应生成高质量图像的采样特征，然后将该采样特征与图像特征进行比对，计算出这两个特征之间的相似度，并利用相似度来对初始生成模型进行调整，以得到材质生成模型。
在本实施例的一种可选方案中，上述相似度可以是指利用CLIP模型确定出的采样特征与图像特征之间的余弦(cosine)相似度。
在本实施例的一种可选方案中，若相似度较大，例如大于一定的预设阈值，则说明采样特征和图像特征足够接近，此时可以将训练后的初始生成模型确定出材质生成模型；若相似度较小，例如小于上述预设阈值，则说明采样特征与图像特征相差较大，则可以继续调整初始生成模型的参数，继续进行训练。
图6是根据本申请实施例1的一种材质生成模型的训练过程的示意图，如图6所示，生成***可以首先获取训练对象和训练文本，并对训练对象进行点云处理，即建立屏幕空间的像素点和训练对象的密集点云之间的对应关系，接着可以将上述的像素点和训练对象输入至初始生成模型中，利用预设的SVBRDF网络和光照估计网络，来生成训练对象对应的训练材质参数和训练照明贴图，并根据该训练材质参数和训练照明贴图对训练对象进行渲染，生成渲染图像，然后可以利用预设的文本编码器和图像编码器，分别对训练文本和渲染图像进行特征提取，并利用扩散模型从提取到的文本特征中确定出采样特征，最后可以根据采样特征和图像特征之间的特征相似度，来判断初始生成模型是否需要继续训练。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
实施例2
根据本申请实施例，还提供了一种虚拟对象的材质生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图7是根据本申请实施例2的一种虚拟对象的材质生成方法的流程图，如图7所示，该方法可以包括如下步骤：
步骤S702，获取虚拟置物台和描述文本。
其中，虚拟置物台为放置于在线购物平台上的三维虚拟店铺中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品，描述文本用于表征对虚拟置物台的材质进行描述的文本。
在本实施例的一种可选方案中，在生成虚拟置物台的材质时，可以首先获取虚拟置物台的网格(mesh)数据，以及用于描述虚拟置物台的材质的描述文本。
步骤S704，基于描述文本，生成虚拟置物台对应的目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，在获取到描述文本之后，可以从描述文本中获取与材质参数和照明贴图相关的内容，然后根据这些内容来生成上述虚拟置物台对应的目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，可以根据描述文本与材质参数和照明贴图相关的内容，从预设的材质参数数据库和贴图数据库中，确定目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，由于预设数据库中的材质参数和照明贴图的数量和类型是有限的，因此，还可以利用训练出的用于生成材质参数和照明贴图的神经网络模型，根据描述文本实时生成目标材质参数和目标照明贴图，从而保证生成的目标材质参数和目标照明贴图的多样性。
步骤S706，基于目标材质参数和目标照明贴图对虚拟置物台进行渲染，得到渲染结果。
在本实施例的一种可选方案中，在得到目标材质参数和目标照明贴图之后，便可以利用该目标材质参数和目标照明贴图，对虚拟置物台进行渲染，以得到上述的渲染结果。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例，还提供了一种虚拟对象的材质生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图8是根据本申请实施例3的一种虚拟对象的材质生成方法的流程图，如图8所示，该方法可以包括如下步骤：
步骤S802，响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述文本。
其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；
上述输入指令可以是指显示虚拟对象和描述文本的指令。
在本实施例的一种可选方案中，当生成***接收到上述的输入指令之后，可以获取上述的虚拟对象，以及用于描述虚拟对象材质的描述文本，并在预设从操作界面上显示该虚拟对象和描述文本，以方便用户查看。
步骤S804，响应作用于操作界面上的材质生成指令，在操作界面上显示渲染结果。
其中，渲染结果是基于虚拟对象对应的目标材质参数和目标照明贴图对虚拟对象进行渲染得到的，目标材质参数和目标照明贴图是基于描述文本生成的。
上述材质生成指令可以是指根据描述文本对虚拟对象进行渲染的指令，可以由用户在操作界面中输入。
在本实施例的一种可选方案中，当生成***接收到材质生成指令之后，可以根据描述文本，确定出虚拟对象的目标材质参数和目标照明贴图，然后再利用目标材质参数和目标照明对虚拟对象进行渲染，便可以得到上述的渲染结果。在得到渲染结果之后，生成***可以进一步的在操作界面上展示该渲染结果，以方便用户查看和修改。
图9是根据本申请实施例3的一种操作界面的示意图，如图9所示，该操作界面900中至少包括指令输入界面902、结果显示界面904，在输入界面902中，还可以包括多个用于输入指令的多个控件，例如图中的按钮9022、9024等，以及用于输入指令信息的区域9026。生成***可以在结果显示界面904中显示上述的虚拟对象、描述文本和渲染结果，用户可以通过输入界面902输入上述的输入指令和材质生成指令。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例，还提供了一种可以应用于虚拟现实VR设备、增强现实AR设备等虚拟现实场景下的虚拟对象的材质生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图10是根据本申请实施例4的一种虚拟对象的材质生成方法的流程图。如图10所示，该方法可以包括如下步骤：
步骤S1002，在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述文本。
其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；
在本实施例的一种可选方案中，可以通过虚拟现实VR设备或增强现实AR设备，来获取虚拟对象以及用户描述虚拟对象材质的描述文本，并在VR或AR设备中展示该虚拟对象和描述文本，以使用户能够更好的查看。
步骤S1004，基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；
在本实施例的一种可选方案中，在获取到描述文本之后，可以从描述文本中获取与材质参数和照明贴图相关的内容，然后根据这些内容来生成上述虚拟置物台对应的目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，可以根据描述文本与材质参数和照明贴图相关的内容，从预设的材质参数数据库和贴图数据库中，确定目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，由于预设数据库中的材质参数和照明贴图的数量和类型是有限的，因此，还可以利用训练出的用于生成材质参数和照明贴图的神经网络模型，根据描述文本实时生成目标材质参数和目标照明贴图，从而保证生成的目标材质参数和目标照明贴图的多样性。
步骤S1006，基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
在本实施例的一种可选方案中，在得到目标材质参数和目标照明贴图之后，便可以利用该目标材质参数和目标照明贴图，对虚拟置物台进行渲染，以得到上述的渲染结果。
步骤S1008，驱动VR设备或AR设备展示渲染结果。
在本实施例的一种可选方案中，可以直接驱动VR设备或AR设备，利用前述的目标材质参数和目标照明贴图对虚拟对象进行渲染并展示渲染结果，以方便用户查看和修改。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
在本申请上述实施例中，在本实施例中，上述虚拟对象的材质生成方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实VR设备或增强现实AR设备的呈现画面上展示渲染结果，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
在本申请上述实施例中，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图，包括：将描述文本和虚拟对象输入至材质生成模型，并获取材质生成模型输出的初始材质参数和初始照明贴图，其中，材质生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本；对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图。
该应用程序可以还用于执行：将描述文本和虚拟对象输入至材质生成模型，包括：对虚拟对象上的面片进行采样，得到密集点云，其中，虚拟对象由多个面片构成，密集点云至少包含面片上的顶点和法线方向；按照与法线方向相反的方向对密集点云进行光影投射，确定屏幕空间的像素点与密集点云的对应关系；将屏幕空间的像素点和描述文本输入至材质生成模型。
该应用程序可以还用于执行：密集点云还包括：纹理坐标，其中，对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图，包括：基于纹理坐标对初始材质参数和初始照明贴图进行纹理映射的逆过程，得到目标材质参数和目标照明贴图。
该应用程序可以还用于执行：该方法还包括：将训练对象和训练文本输入至初始生成模型，并获取初始生成模型输出的训练材质参数和训练照明贴图；基于训练材质参数和训练照明贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征；基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型。
该应用程序可以还用于执行：将训练对象和训练文本输入至初始生成模型，包括：基于预设位置对训练对象进行光线投影，确定屏幕空间的像素点与训练对象表面的对应关系；将屏幕空间的像素点和训练文本输入至初始生成模型。
该应用程序可以还用于执行：分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征，包括：分别将训练文本和渲染图像输入至大规模图文预训练模型，并获取大规模图文预训练模型分别输出的文本特征和图像特征。
该应用程序可以还用于执行：基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型，包括：将文本特征输入至扩散模型，并获取扩散模型输出的采样特征；确定采样特征与图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到材质生成模型。
在本申请上述实施例中，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。
在本申请上述实施例中，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该HMD头显中的屏幕，用于显示展示的视频画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹，跟踪***，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪***中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。
在本申请实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于PC、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
实施例5
根据本申请实施例，还提供了一种虚拟对象的材质生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图11是根据本申请实施例5的一种虚拟对象的材质生成方法的流程图，如图11所示，该方法可以包括如下步骤：
步骤S1102，通过调用第一接口获取虚拟对象和描述文本。
其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述文本，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本。
上述第一接口可以是指用于跳用虚拟对象和描述文本的接口。
在本实施例的一种可选方案中，生成***可以通过第一接口，来调用上述的第一参数，即调用在虚拟环境中创建的与实体对象关联的虚拟对象，以及用于描述虚拟对象的材质的描述文本。
步骤S1104，基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，在获取到描述文本之后，可以从描述文本中获取与材质参数和照明贴图相关的内容，然后根据这些内容来生成上述虚拟置物台对应的目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，可以根据描述文本与材质参数和照明贴图相关的内容，从预设的材质参数数据库和贴图数据库中，确定目标材质参数和目标照明贴图。
在本实施例的一种可选方案中，由于预设数据库中的材质参数和照明贴图的数量和类型是有限的，因此，还可以利用训练出的用于生成材质参数和照明贴图的神经网络模型，根据描述文本实时生成目标材质参数和目标照明贴图，从而保证生成的目标材质参数和目标照明贴图的多样性。
步骤S1106，基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
在本实施例的一种可选方案中，在得到目标材质参数和目标照明贴图之后，便可以利用该目标材质参数和目标照明贴图，对虚拟置物台进行渲染，以得到上述的渲染结果。
步骤S1108，通过调用第二接口输出渲染结果。
其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
上述第二接口可以是指用于输出渲染结果的接口。
当生成***根据上述的目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果之后，便可以通过调用第二接口，输出上述的第二参数，即输出渲染结果，以方便用户查看和修改。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施与上述虚拟对象的材质生成方法对应的虚拟对象的材质生成装置，该装置可以部署在目标客户端中。图12是根据本申请实施例6的一种虚拟对象的材质生成装置的结构框图，如图12所示，该装置1200包括：第一获取模块1202，生成模块1204，第一渲染模块1206。
其中，第一获取模块1202，用于获取虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；生成模块1204，用于基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；渲染模块1206，用于基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
此处需要说明的是，上述第一获取模块1202，生成模块1204，第一渲染模块1206，对应于实施例1中的步骤S302至步骤S306，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
本申请上述实施例中，生成模块1204包括：生成单元，用于将描述文本和虚拟对象输入至材质生成模型，并获取材质生成模型输出的初始材质参数和初始照明贴图，其中，材质生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本；转换单元，用于对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图。
本申请上述实施例中，生成单元还用于：对虚拟对象上的面片进行采样，得到密集点云，其中，虚拟对象由多个面片构成，密集点云至少包含面片上的顶点和法线方向；按照与法线方向相反的方向对密集点云进行光影投射，确定屏幕空间的像素点与密集点云的对应关系；将屏幕空间的像素点和描述文本输入至材质生成模型。
本申请上述实施例中，密集点云还包括：纹理坐标，转换单元还用于：基于纹理坐标对初始材质参数和初始照明贴图进行纹理映射的逆过程，得到目标材质参数和目标照明贴图。
本申请上述实施例中，该装置还包括：第二获取模块，用于将训练对象和训练文本输入至初始生成模型，并获取初始生成模型输出的训练材质参数和训练照明贴图；第二渲染模块，用于基于训练材质参数和训练照明贴图对训练对象进行渲染，得到渲染图像；特征提取模块，用于分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征；模型调整模块，用于基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型。
本申请上述实施例中，第二获取模块包括：关系确定单元，用于基于预设位置对训练对象进行光线投影，确定屏幕空间的像素点与训练对象表面的对应关系；参数输入单元，用于将屏幕空间的像素点和训练文本输入至初始生成模型。
本申请上述实施例中，特征提取模块包括：特征获取单元，用于分别将训练文本和渲染图像输入至大规模图文预训练模型，并获取大规模图文预训练模型分别输出的文本特征和图像特征。
本申请上述实施例中，模型调整模块包括：采样调整获取单元，用于将文本特征输入至扩散模型，并获取扩散模型输出的采样特征；相似度确定单元，用于确定采样特征与图像特征的相似度；模型调整单元，用于基于相似度对初始生成模型的参数进行调整，得到材质生成模型。
实施例7
根据本申请实施例，还提供了一种用于实施与上述虚拟对象的材质生成方法对应的虚拟对象的材质生成装置，该装置可以部署在目标客户端中。图13是根据本申请实施例7的一种虚拟对象的材质生成装置的结构框图，如图13所示，该装置1300包括：获取模块1302，生成模块1304，渲染模块1306。
其中，获取模块1202，用于获取虚拟置物台和描述文本，其中，虚拟置物台为放置于在线购物平台上的三维虚拟店铺中，虚拟置物台用于展示放置在三维虚拟店铺中的虚拟商品，描述文本用于表征对虚拟置物台的材质进行描述的文本；生成模块1304，用于基于描述文本，生成虚拟置物台对应的目标材质参数和目标照明贴图；渲染模块1306，用于基于目标材质参数和目标照明贴图对虚拟置物台进行渲染，得到渲染结果。
此处需要说明的是，上述获取模块1302，生成模块1304，渲染模块1306，对应于实施例2中的步骤S702至步骤S706，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。
实施例8
根据本申请实施例，还提供了一种用于实施与上述虚拟对象的材质生成方法对应的虚拟对象的材质生成装置，该装置可以部署在目标客户端中。图14是根据本申请实施例8的一种虚拟对象的材质生成装置的结构框图，如图14所示，该装置1400包括：第一显示模块1402和第二显示模块1404。
其中，第一显示模块1402，用于响应作用于操作界面上的输入指令，在操作界面上显示虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；第二显示模块1404，用于响应作用于操作界面上的材质生成指令，在操作界面上显示渲染结果，其中，渲染结果是基于虚拟对象对应的目标材质参数和目标照明贴图对虚拟对象进行渲染得到的，目标材质参数和目标照明贴图是基于描述文本生成的。
此处需要说明的是，上述第一显示模块1402和第二显示模块1404，对应于实施例3中的步骤S802至步骤S804，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例3所公开的内容。
实施例9
根据本申请实施例，还提供了一种用于实施与上述虚拟对象的材质生成方法对应的虚拟对象的材质生成装置，该装置可以部署在目标客户端中。图15是根据本申请实施例9的一种虚拟对象的材质生成装置的结构框图，如图15所示，该装置1500包括：第一展示模块1502、生成模块1504、渲染模块1506和第二展示模块1508。
其中，第一展示模块1502，用于在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；生成模块1504，用于基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；渲染模块1506，用于基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果；第二展示模块1508，用于驱动VR设备或AR设备展示渲染结果。
此处需要说明的是，第一展示模块1502、生成模块1504、渲染模块1506和第二展示模块1508，对应于实施例4中的步骤S1002至步骤S1008，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例4所公开的内容。
实施例10
根据本申请实施例，还提供了一种用于实施与上述虚拟对象的材质生成方法对应的虚拟对象的材质生成装置，该装置可以部署在目标客户端中。图16是根据本申请实施例9的一种虚拟对象的材质生成装置的结构框图，如图16所示，该装置1600包括：第一调用模块1602、生成模块1604、渲染模块1606和第二调用模块1608。
其中，第一调用模块1602，用于通过调用第一接口获取虚拟对象和描述文本，其中，第一接口包括第一参数，第一参数的参数值为虚拟对象和描述文本，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；成模块1604，用于基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；渲染模块1606，用于基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果；第二调用模块1608，用于通过调用第二接口输出渲染结果，其中，第二接口包括第二参数，第二参数的参数值为渲染结果。
此处需要说明的是，第一调用模块1602、生成模块1604、渲染模块1606和第二调用模块1608，对应于实施例5中的步骤S11002至步骤S1108，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例5所公开的内容。
实施例11
本申请的实施例可以提供一种电子设备，该电子设备可以是电子设备群中的任意一个电子设备。可选地，在本实施例中，上述电子设备也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述电子设备可以位于计算机网格的多个网格设备中的至少一个网格设备。
在本实施例中，上述电子设备可以执行设计参数调整方法中以下步骤的程序代码：获取虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
可选地，图17是根据本申请实施例11的一种电子设备的结构框图。如图所示，该电子设备A可以包括：处理器1702和存储器1704，其中，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行实施例1中所示的虚拟皮肤的生成方法。
可选地，如图17所示，在电子设备A中还可以包括：存储控制器和外设接口，其中，外设接口与射频模块、音频模块和显示器连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的虚拟对象的材质生成方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的虚拟对象的材质生成方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网格连接至终端A。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图，包括：将描述文本和虚拟对象输入至材质生成模型，并获取材质生成模型输出的初始材质参数和初始照明贴图，其中，材质生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本；对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：将描述文本和虚拟对象输入至材质生成模型，包括：对虚拟对象上的面片进行采样，得到密集点云，其中，虚拟对象由多个面片构成，密集点云至少包含面片上的顶点和法线方向；按照与法线方向相反的方向对密集点云进行光影投射，确定屏幕空间的像素点与密集点云的对应关系；将屏幕空间的像素点和描述文本输入至材质生成模型。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：密集点云还包括：纹理坐标，其中，对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图，包括：基于纹理坐标对初始材质参数和初始照明贴图进行纹理映射的逆过程，得到目标材质参数和目标照明贴图。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：该方法还包括：将训练对象和训练文本输入至初始生成模型，并获取初始生成模型输出的训练材质参数和训练照明贴图；基于训练材质参数和训练照明贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征；基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：将训练对象和训练文本输入至初始生成模型，包括：基于预设位置对训练对象进行光线投影，确定屏幕空间的像素点与训练对象表面的对应关系；将屏幕空间的像素点和训练文本输入至初始生成模型。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征，包括：分别将训练文本和渲染图像输入至大规模图文预训练模型，并获取大规模图文预训练模型分别输出的文本特征和图像特征。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型，包括：将文本特征输入至扩散模型，并获取扩散模型输出的采样特征；确定采样特征与图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到材质生成模型。
在本申请实施例中，采用获取虚拟对象和描述文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果的方式，通过根据用于表示虚拟对象材质的描述文本，自动的生成虚拟对象的材质参数和照明贴图，生成过程的复杂度较低，并且生成的材质参数和照明贴图不受固定的材质图像的限制，这使得虚拟对象的材质生成***可以根据描述文本，快速的生成大量不同的材质参数和照明贴图，从而实现提高了虚拟模型的材质生成的效率的技术效果，进而解决了相关技术中的生成虚拟模型的材质的效率低的技术问题。
本领域普通技术人员可以理解，图17所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图17其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图17中所示更多或者更少的组件(如网格接口、显示装置等)，或者具有与图17所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例12
本申请的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的虚拟皮肤的生成方法所执行的程序代码。
在本实施例中，上述存储介质可以位于计算机网格中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取虚拟对象和描述文本，其中，虚拟对象为在虚拟环境中创建的与实体对象关联的对象，描述文本用于表征对虚拟对象的材质进行描述的文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果。
存储介质被设置为存储用于执行以下步骤的程序代码：基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图，包括：将描述文本和虚拟对象输入至材质生成模型，并获取材质生成模型输出的初始材质参数和初始照明贴图，其中，材质生成模型是基于未进行标注的训练样本进行训练得到的，训练样本包括：训练对象和训练文本；对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图。
存储介质被设置为存储用于执行以下步骤的程序代码：将描述文本和虚拟对象输入至材质生成模型，包括：对虚拟对象上的面片进行采样，得到密集点云，其中，虚拟对象由多个面片构成，密集点云至少包含面片上的顶点和法线方向；按照与法线方向相反的方向对密集点云进行光影投射，确定屏幕空间的像素点与密集点云的对应关系；将屏幕空间的像素点和描述文本输入至材质生成模型。
存储介质被设置为存储用于执行以下步骤的程序代码：密集点云还包括：纹理坐标，其中，对初始材质参数和初始照明贴图进行转换，得到目标材质参数和目标照明贴图，包括：基于纹理坐标对初始材质参数和初始照明贴图进行纹理映射的逆过程，得到目标材质参数和目标照明贴图。
存储介质被设置为存储用于执行以下步骤的程序代码：该方法还包括：将训练对象和训练文本输入至初始生成模型，并获取初始生成模型输出的训练材质参数和训练照明贴图；基于训练材质参数和训练照明贴图对训练对象进行渲染，得到渲染图像；分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征；基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型。
存储介质被设置为存储用于执行以下步骤的程序代码：将训练对象和训练文本输入至初始生成模型，包括：基于预设位置对训练对象进行光线投影，确定屏幕空间的像素点与训练对象表面的对应关系；将屏幕空间的像素点和训练文本输入至初始生成模型。
存储介质被设置为存储用于执行以下步骤的程序代码：分别对训练文本和渲染图像进行特征提取，得到训练文本的文本特征和渲染图像的图像特征，包括：分别将训练文本和渲染图像输入至大规模图文预训练模型，并获取大规模图文预训练模型分别输出的文本特征和图像特征。
存储介质被设置为存储用于执行以下步骤的程序代码：基于文本特征和图像特征对初始生成模型的参数进行调整，得到材质生成模型，包括：将文本特征输入至扩散模型，并获取扩散模型输出的采样特征；确定采样特征与图像特征的相似度；基于相似度对初始生成模型的参数进行调整，得到材质生成模型。
在本申请实施例中，采用获取虚拟对象和描述文本；基于描述文本，生成虚拟对象对应的目标材质参数和目标照明贴图；基于目标材质参数和目标照明贴图对虚拟对象进行渲染，得到渲染结果的方式，通过根据用于表示虚拟对象材质的描述文本，自动的生成虚拟对象的材质参数和照明贴图，生成过程的复杂度较低，并且生成的材质参数和照明贴图不受固定的材质图像的限制，这使得虚拟对象的材质生成***可以根据描述文本，快速的生成大量不同的材质参数和照明贴图，从而实现提高了虚拟模型的材质生成的效率的技术效果，进而解决了相关技术中的生成虚拟模型的材质的效率低的技术问题。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种虚拟对象的材质生成方法，其特征在于，包括：
获取虚拟对象和描述文本，其中，所述虚拟对象为在虚拟环境中创建的与实体对象关联的对象，所述描述文本用于表征对所述虚拟对象的材质进行描述的文本；
基于所述描述文本，生成所述虚拟对象对应的目标材质参数和目标照明贴图；
基于所述目标材质参数和所述目标照明贴图对所述虚拟对象进行渲染，得到渲染结果。
2.根据权利要求1所述的方法，其特征在于，基于所述描述文本，生成所述虚拟对象对应的目标材质参数和目标照明贴图，包括：
将所述描述文本和所述虚拟对象输入至材质生成模型，并获取所述材质生成模型输出的初始材质参数和初始照明贴图，其中，材质生成模型是基于未进行标注的训练样本进行训练得到的，所述训练样本包括：训练对象和训练文本；
对所述初始材质参数和所述初始照明贴图进行转换，得到所述目标材质参数和所述目标照明贴图。
3.根据权利要求2所述的方法，其特征在于，将所述描述文本和所述虚拟对象输入至材质生成模型，包括：
对所述虚拟对象上的面片进行采样，得到密集点云，其中，所述虚拟对象由多个面片构成，所述密集点云至少包含所述面片上的顶点和法线方向；
按照与所述法线方向相反的方向对所述密集点云进行光影投射，确定屏幕空间的像素点与所述密集点云的对应关系；
将所述屏幕空间的像素点和所述描述文本输入至所述材质生成模型。
4.根据权利要求3所述的方法，其特征在于，所述密集点云还包括：纹理坐标，其中，对所述初始材质参数和所述初始照明贴图进行转换，得到目标材质参数和目标照明贴图，包括：
基于所述纹理坐标对所述初始材质参数和所述初始照明贴图进行纹理映射的逆过程，得到所述目标材质参数和所述目标照明贴图。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述训练对象和所述训练文本输入至初始生成模型，并获取所述初始生成模型输出的训练材质参数和训练照明贴图；
基于所述训练材质参数和所述训练照明贴图对所述训练对象进行渲染，得到渲染图像；
分别对所述训练文本和所述渲染图像进行特征提取，得到所述训练文本的文本特征和所述渲染图像的图像特征；
基于所述文本特征和所述图像特征对所述初始生成模型的参数进行调整，得到所述材质生成模型。
6.根据权利要求5所述的方法，其特征在于，将所述训练对象和所述训练文本输入至初始生成模型，包括：
基于预设位置对所述训练对象进行光线投影，确定屏幕空间的像素点与所述训练对象表面的对应关系；
将所述屏幕空间的像素点和所述训练文本输入至所述初始生成模型。
7.根据权利要求5所述的方法，其特征在于，分别对所述训练文本和所述渲染图像进行特征提取，得到所述训练文本的文本特征和所述渲染图像的图像特征，包括：
分别将所述训练文本和所述渲染图像输入至大规模图文预训练模型，并获取所述大规模图文预训练模型分别输出的文本特征和所述图像特征。
8.根据权利要求5所述的方法，其特征在于，基于所述文本特征和所述图像特征对所述初始生成模型的参数进行调整，得到所述材质生成模型，包括：
将所述文本特征输入至扩散模型，并获取所述扩散模型输出的采样特征；
确定所述采样特征与所述图像特征的相似度；
基于所述相似度对所述初始生成模型的参数进行调整，得到所述材质生成模型。
9.一种虚拟对象的材质生成方法，其特征在于，包括：
获取虚拟置物台和描述文本，其中，所述虚拟置物台为放置于在线购物平台上的三维虚拟店铺中，所述虚拟置物台用于展示放置在所述三维虚拟店铺中的虚拟商品，所述描述文本用于表征对所述虚拟置物台的材质进行描述的文本；
基于所述描述文本，生成所述虚拟置物台对应的目标材质参数和目标照明贴图；
基于所述目标材质参数和所述目标照明贴图对所述虚拟置物台进行渲染，得到渲染结果。
10.一种虚拟对象的材质生成方法，其特征在于，包括：
响应作用于操作界面上的输入指令，在所述操作界面上显示虚拟对象和描述文本，其中，所述虚拟对象为在虚拟环境中创建的与实体对象关联的对象，所述描述文本用于表征对所述虚拟对象的材质进行描述的文本；
响应作用于所述操作界面上的材质生成指令，在所述操作界面上显示渲染结果，其中，所述渲染结果是基于所述虚拟对象对应的目标材质参数和目标照明贴图对所述虚拟对象进行渲染得到的，所述目标材质参数和所述目标照明贴图是基于所述描述文本生成的。
11.一种虚拟对象的材质生成方法，其特征在于，包括：
在虚拟现实VR设备或增强现实AR设备的呈现画面上渲染展示虚拟对象和描述文本，其中，所述虚拟对象为在虚拟环境中创建的与实体对象关联的对象，所述描述文本用于表征对所述虚拟对象的材质进行描述的文本；
基于所述描述文本，生成所述虚拟对象对应的目标材质参数和目标照明贴图；
基于所述目标材质参数和所述目标照明贴图对所述虚拟对象进行渲染，得到渲染结果；
驱动所述VR设备或所述AR设备展示所述渲染结果。
12.一种虚拟对象的材质生成方法，其特征在于，包括：
通过调用第一接口获取虚拟对象和描述文本，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述虚拟对象和所述描述文本，所述虚拟对象为在虚拟环境中创建的与实体对象关联的对象，所述描述文本用于表征对所述虚拟对象的材质进行描述的文本；
基于所述描述文本，生成所述虚拟对象对应的目标材质参数和目标照明贴图；
基于所述目标材质参数和所述目标照明贴图对所述虚拟对象进行渲染，得到渲染结果；
通过调用第二接口输出所述渲染结果，其中，所述第二接口包括第二参数，所述第二参数的参数值为所述渲染结果。
13.一种电子设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310363279.9A CN116485973A (zh) | 2023-04-04 | 2023-04-04 | 虚拟对象的材质生成方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310363279.9A CN116485973A (zh) | 2023-04-04 | 2023-04-04 | 虚拟对象的材质生成方法、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116485973A true CN116485973A (zh) | 2023-07-25 |
Family
ID=87214778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310363279.9A Pending CN116485973A (zh) | 2023-04-04 | 2023-04-04 | 虚拟对象的材质生成方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485973A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315072A (zh) * | 2023-11-29 | 2023-12-29 | 阿里健康科技(杭州)有限公司 | 商品展示图的生成方法、设备和介质 |
| CN117456077A (zh) * | 2023-10-30 | 2024-01-26 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
-
2023
- 2023-04-04 CN CN202310363279.9A patent/CN116485973A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456077A (zh) * | 2023-10-30 | 2024-01-26 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
| CN117315072A (zh) * | 2023-11-29 | 2023-12-29 | 阿里健康科技(杭州)有限公司 | 商品展示图的生成方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220004765A1 (en) | Image processing method and apparatus, and storage medium | |
| KR102120046B1 (ko) | 오브젝트를 표시하는 방법 | |
| US11839820B2 (en) | Method and apparatus for generating game character model, processor, and terminal | |
| CN116485973A (zh) | 虚拟对象的材质生成方法、电子设备和存储介质 | |
| CN112784621B (zh) | 图像显示方法及设备 | |
| CN111476851B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111127624A (zh) | 一种基于ar场景的光照渲染方法及装置 | |
| CN111199573B (zh) | 一种基于增强现实的虚实互反射方法、装置、介质及设备 | |
| CN108230434B (zh) | 图像纹理的处理方法、装置、存储介质和电子装置 | |
| CN115496845A (zh) | 图像渲染方法、装置、电子设备及存储介质 | |
| CN113298924A (zh) | 一种场景的渲染方法、计算设备及存储介质 | |
| CN113648652B (zh) | 对象渲染方法和装置、存储介质及电子设备 | |
| CN113127126B (zh) | 对象展示方法及装置 | |
| CN116485983A (zh) | 虚拟对象的纹理生成方法、电子设备以及存储介质 | |
| CN116486018A (zh) | 三维重建方法、设备和存储介质 | |
| Liu et al. | Stereo-based bokeh effects for photography | |
| KR102388773B1 (ko) | 3차원 모델링 서비스 제공 방법 및 이를 위한 장치 | |
| CN116071551A (zh) | 图像处理方法、计算机可读存储介质及电子设备 | |
| CN116630508A (zh) | 3d模型处理方法、装置及电子设备 | |
| CN114779948B (zh) | 基于面部识别的动画人物即时交互控制方法、装置及设备 | |
| KR102617789B1 (ko) | 픽처 처리 방법 및 디바이스, 저장 매체 그리고 전자 장치 | |
| CN115311395A (zh) | 三维场景渲染方法、装置及设备 | |
| US20240096041A1 (en) | Avatar generation based on driving views | |
| CN117934690B (zh) | 家居软装管理方法、装置、设备及存储介质 | |
| KR102467295B1 (ko) | 얼굴 적용 기반의 의류착용 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |