CN116843811A - 三维模型渲染方法、装置、设备及存储介质 - Google Patents
三维模型渲染方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116843811A CN116843811A CN202210291953.2A CN202210291953A CN116843811A CN 116843811 A CN116843811 A CN 116843811A CN 202210291953 A CN202210291953 A CN 202210291953A CN 116843811 A CN116843811 A CN 116843811A
- Authority
- CN
- China
- Prior art keywords
- rendering
- dimensional model
- grid
- parameters
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 71
- 239000000463 material Substances 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 20
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本申请公开了一种三维模型渲染方法、装置、设备及存储介质,属于人工智能技术领域。所述方法包括:获取三维模型中各个三角形图元的材质信息,存在至少两个三角形图元具有不同的材质信息;根据角形图元的材质信息,生成三维模型的模型参数;以栅格为基本单位,基于各个栅格的渲染参数对三维模型进行渲染,生成三维模型的二维图像。本申请中,在渲染过程中,以栅格为单位进行渲染,考虑了不同材质对渲染过程的影响,将材质信息作为渲染参数的一部分生成依据,使得三维模型中包含有不同材质的部分能够一次性渲染出来,提高三维模型的渲染效率。
Description
技术领域
本申请涉及人工智能技术领域,特别涉及一种三维模型渲染方法、装置、设备及存储介质。
背景技术
目前,通过管线渲染可以将三维模型渲染形成二维图像。
在相关技术中,由于三维模型中包含不同材质的子模型,在进行模型渲染时,以子模型为单位,每个子模型采用不同的渲染管线进行渲染,进而将各个子模型的渲染结果拼接形成三维模型对应的二维图像。
然而,在上述相关技术中,一次管线渲染仅仅能够针对单一材质的子模型进行渲染,在三维模型中包括不同材质的子模型的情况下,需要多次管线渲染才能完成针对三维模型的渲染,渲染效率低。
发明内容
本申请实施例提供了一种三维模型渲染方法、装置、设备及存储介质,能够提高三维模型的渲染效率。所述技术方案如下。
根据本申请实施例的一个方面,提供了一种三维模型渲染方法,所述方法包括以下步骤:
获取三维模型中各个三角形图元的材质信息,存在至少两个所述三角形图元具有不同的材质信息;
根据所述三角形图元的材质信息,生成所述三维模型的模型参数;其中,所述模型参数包括所述三维模型中各个栅格的渲染参数;
以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的二维图像。
根据本申请实施例的一个方面,提供了一种三维模型渲染装置,所述装置包括以下模块:
材质获取模块,用于获取三维模型中各个三角形图元的材质信息,存在至少两个所述三角形图元具有不同的材质信息;
参数生成模块,用于根据所述三角形图元的材质信息,生成所述三维模型的模型参数;其中,所述模型参数包括所述三维模型中各个栅格的渲染参数;
图像渲染模块,用于以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的二维图像。
根据本申请实施例的一个方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述三维模型渲染方法,或实现上述回复文本生成模型的训练方法。
根据本申请实施例的一个方面,本申请实施例提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述三维模型渲染方法,或实现上述回复文本生成模型的训练方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述三维模型渲染方法,或实现上述回复文本生成模型的训练方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过各个栅格的渲染参数对三维模型进行渲染,且栅格的渲染参数是基于三角形图元的材质信息获取的,即在渲染过程中,以栅格为单位进行渲染,考虑了不同材质对渲染过程的影响,将材质信息作为渲染参数的一部分生成依据,使得三维模型中包含有不同材质的部分能够一次性渲染出来,提高三维模型的渲染效率。
附图说明
图1是本申请一个实施例提供的三维模型渲染***的示意图;
图2示例性示出了一种三维模型渲染***的示意图;
图3是本申请一个实施例提供的三维模型渲染方法的流程图;
图4示例性示出了一种纹理采样方式的示意图;
图5是本申请另一个实施例提供的三维模型渲染方法的流程图;
图6示例性示出了一种渲染模型迭代训练效果的示意图;
图7是本申请一个实施例提供的三维模型渲染装置的框图;
图8是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的模型渲染***的示意图。该模型渲染***可以包括:终端10和服务器20。
终端10可以为诸如手机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、PC(Personal Computer,个人计算机)、智能语音交互设备、智能家电、车载终端和飞行器等电子设备,本申请实施例对此不作限定。可选地,终端10中包括应用程序的客户端。其中,该应用程序可以为任意具有模型渲染功能的应用程序,如建模应用程序、游戏应用程序、视频应用程序等。可选地,上述应用程序可以为需要下载安装的应用程序,也可以为即点即用的应用程序,本申请实施例对此不作限定。
服务器20用于为终端10提供后台服务。服务器20可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。可选地,服务器20可以是上述应用程序的客户端的后台服务器。在示例性实施例中,服务器20为多个终端10提供后台服务。
上述终端10与上述服务器20之间通过网络进行数据传输。
可选地,在本申请实施例中,上述服务器20用于对终端10提供的三维模型进行渲染,以生成二维图像。示例性地,如图2所示,用户通过终端10构建三维模型,并为该三维模型配置对应的配置参数。其中,该配置参数中包括三维模型的属性参数和处理参数,该属性参数用于指示三维模型的属性,如材质数据、颜色数据、深度数据、纹理数据和顶点数据等,该处理参数用于指示渲染过程中针对三维模型的处理方式,如渲染时所使用的着色器配置数据。之后,服务器20在获取上述三维模型,以及三维模型的配置参数之后,基于该配置参数对三维模型进行渲染。如图2所示,服务器20对配置参数中的顶点数据进行空间转换处理,将顶点数据由模型空间转换为世界空间,再由世界空间转换为裁剪空间,进而对空间转换后的顶点数据进行图元装配和光栅化,获取三维模型的三角形图元,以及三角形图元中包括的多个栅格。之后,服务器20对每个栅格进行插值处理,将material index tensor(材质参数和配置参数)***到各个栅格中,并将颜色数据、深度数据、纹理数据***到各个栅格中,以此生成各个栅格的渲染参数;进一步地,服务器20基于各个栅格的渲染参数,以栅格为基本单位进行渲染,生成三维模型的初始图像,并对该初始图像进行矫正以生成三维模型的二维图像,如色调映射(tone mapping)、gamma矫正和抗锯齿矫正等。可选地,在获取上述二维图像之后,由终端10向用户展示该二维图像。
需要说明的一点是,上述图2的介绍只是示例性和解释性的,在示例性实施例,可以对终端10和服务器20的功能进行灵活设置和调整,本申请实施例对此不作限定;示例性地,由终端10通过上述图2介绍的流程进行图像渲染,服务器20仅仅为该终端10提供数据存储服务。
请参考图3,其示出了本申请一个实施例提供的三维模型渲染方法的流程图。该方法可应用于图1所示的模型渲染***的服务器20和/或终端10,如各步骤的执行主体可以是服务器20和/或终端10中应用程序的客户端(以下统称为“计算机设备”)。该方法可以包括以下几个步骤(301~303)中的至少一个步骤:
步骤301,获取三维模型中各个三角形图元的材质信息。
可选地,在本申请实施例中,上述三维模型是指由多个子模型拼接而成的模型。示例性地,若三维模型为虚拟对象模型,则该三维模型对应的子模型可以包括:脸部模型、躯干模型、服装模型等。
三角形图元是指三维模型的最小组成单位。在本申请实施例中,计算机设备在对三维模型进行渲染之前,获取三维模型中各个三角形图元的材质信息。需要说明的一点是,在本申请实施例中,由于不同的子模型可能具有不同的材质,因此,存在至少两个三角形图元具有不同的材质信息。
可选地,上述材质信息通过三维模型的配置参数获取,该配置参数为三维模型创建时所配置的参数。
在一种可能的实施方式中,上述配置参数是以子模型为单位配置的。可选地,计算机设备在获取三角形图元的材质信息时,基于该三角形图元所属的子模型,获取该子模型的配置参数,进而从该配置参数获取三角形图元的材质信息。
在另一种可能的实施方式中,上述配置参数是以三角形图元为单位配置的。可选地,计算机设备在获取三角形图元的材质信息时,直接基于该三角形图元的配置参数,获取该三角形图元的材质信息。
可选地,在本申请实施例中,上述配置参数中还包括处理参数。其中,该处理参数用于指示渲染过程中针对三维模型的处理方式,如渲染时所使用的着色器配置数据。
步骤302,根据三角形图元的材质信息,生成三维模型的模型参数。
在本申请实施例中,计算机设备在获取上述三角形图元的材质信息之后,根据三角形图元的材质信息,生成三维模型的模型参数。其中,该模型参数包括三维模型中各个栅格的渲染参数。
上述栅格是指三维模型的最小渲染范围,可选地,三角形图元中包括多个栅格。可选地,计算机设备在获取上述三角形图元之后,确定该三角形图元中包含的栅格,进而根据三角形图元的材质信息,生成该三角形图元中各个栅格的渲染参数。
可选地,上述栅格的渲染参数包括第一渲染参数和第二渲染参数。其中,对于同一三角形图元来说,第一渲染参数是指各个栅格的通用渲染参数,第二渲染参数是指各个栅格的非通用渲染参数。示例性地,上述第一渲染参数包括材质参数、处理参数等,上述第二渲染参数包括颜色参数、纹理参数、深度参数等。可选地,在本申请实施例中,计算机设备在获取栅格的渲染参数时,基于三角形图元的配置参数,确定栅格的第一渲染参数,并且,基于三角形图元中顶点栅格与非顶点栅格之间的位置关系,根据顶点栅格的第二渲染参数,确定非顶点栅格的第二渲染参数。可选地,上述第二渲染参数也可称为“其它渲染参数”。
步骤303,以栅格为基本单位,基于各个栅格的渲染参数对三维模型进行渲染,生成三维模型的二维图像。
在本申请实施例中,计算机设备在获取上述模型参数之后,以栅格为基本单位,基于各个栅格的渲染参数对三维模型进行渲染,生成三维模型的二维图像。
在示例性实施例中,上述步骤303包括以下至少一个步骤:
1、以栅格为基本单位,基于各个栅格的渲染参数对三维模型进行渲染,生成三维模型的初始图像;
在本申请实施例中,计算机设备在获取上述模型参数之后,以栅格为基本单位,基于栅格的渲染参数进行渲染,得到栅格的渲染结果,进而由多个栅格的渲染结果组成三维模型的初始图像。
可选地,上述渲染参数中包括但不限于以下至少一项:材质参数、颜色参数、深度参数和纹理参数。可选地,进行渲染时,基于栅格的渲染数据中的材质参数,对栅格进行材质渲染;基于栅格的渲染数据中的颜色参数,对栅格进行颜色渲染;基于栅格的渲染数据中的深度参数,对栅格进行深度渲染;基于栅格的渲染数据中的纹理参数,对栅格进行纹理渲染,示例性地,如图4所示,在进行纹理渲染时,基于纹理参数从纹理贴图41中采样获取该栅格对应的纹理贴图进行渲染。
可选地,在本申请实施例中,在以栅格为基本单位进行渲染时,可以按照栅格排序逐行或逐列渲染,也可以先渲染中心部位再渲染边缘部位,本申请实施例对此不作限定。
2、对三维模型的初始图像进行矫正,生成三维模型的二维图像。
在本申请实施例中,计算机设备在获取上述初始图像之后,为了提高二维图像的呈像效果,对该初始图像进行矫正,以生成三维模型的二维图像。示例性地,针对初始图像的矫正方式包括但不限于以下至少一项:色调映射(tone mapping)、gamma矫正和抗锯齿矫正等。
综上所述,本申请实施例提供的技术方案中,通过各个栅格的渲染参数对三维模型进行渲染,且栅格的渲染参数是基于三角形图元的材质信息获取的,即在渲染过程中,以栅格为单位进行渲染,考虑了不同材质对渲染过程的影响,将材质信息作为渲染参数的一部分生成依据,使得三维模型中包含有不同材质的部分能够一次性渲染出来,提高三维模型的渲染效率。
下面,以上述第一渲染参数包括材质参数为例,对渲染参数的获取方式进行介绍。
在示例性实施例中,上述步骤302包括以下至少一个步骤:
1、对三维模型进行光栅化处理,得到三维模型中的至少一个栅格,以及三维模型中各个三角形图元的重心坐标系。
在本申请实施例中,计算机设备在获取上述渲染参数之前,对三维模型进行光栅化处理,以得到三维模型中的至少一个栅格,以及三维模型中的各个三角形图元的重心坐标系。
可选地,计算机设备在对三维模型进行光栅化处理时,获取三维模型的第一顶点数据,对第一顶点数据进行第一空间转换,得到第二顶点数据,进而对第二顶点数据进行第二空间转换,得到第三顶点数据,之后,在第三顶点数据中去除深度信息,得到第四顶点数据,并基于第四顶点数据,确定三维模型在屏幕空间中的轮廓图像,对轮廓图像进行光栅化处理,得到三维模型中的至少一个栅格。其中,上述第一顶点数据用于指示三维模型在模型坐标系中的顶点信息,上述第二顶点数据用于指示三维模型在世界坐标系中的顶点信息,上述第三顶点数据用于指示三维模型在裁剪坐标系中的顶点信息,上述第四顶点数据用于指示三维模型在屏幕坐标系中的顶点信息。
需要说明的一点是,在本申请实施例中,由于上述三维模型是由多个子模型组成的模型,因此,在获取上述第一顶点数据时,计算机设备获取三维模型的多个子模型,进而将多个子模型的顶点数据进行合并处理,获取三维模型的第一顶点数据。
还需要说明的一点是,在多个子模型合并生成三维模型时,还包括骨骼数据的合并,以及蒙皮数据的合并。
2、基于栅格的位置以及三角形图元的位置,在栅格中***材质信息,生成栅格的材质参数。
在本申请实施例中,计算机设备在获取上述栅格之后,基于栅格位置以及三角形图元的位置,在栅格中***材质信息,生成栅格的材质参数。
可选地,计算机设备在插值时,确定栅格所属的三角形图元,进而将该三角形图元的材质信息***至栅格中,以生成栅格的材质参数。
3、基于三角形图元的重心坐标系以及三角形图元的顶点栅格的其它渲染参数,生成非顶点栅格的其它渲染参数。
在本申请实施例中,计算机设备在获取上述重心坐标系之后,基于三角形图元的重心坐标系以及三角形图元的顶点栅格的其它渲染参数,生成非顶点栅格的其它渲染参数。其中,该其它渲染参数即为上述第二渲染参数。
可选地,在本申请实施例中,计算机设备获取三角形图元的顶点栅格的其它渲染参数,进而根据三角形图元的顶点栅格在重心坐标系中的位置关系,确定三角形图元的变化函数,进而基于非顶点栅格与顶点栅格之间的位置关系,采用变化函数对顶点栅格的其它渲染参数进行处理,生成非顶点栅格的其它渲染参数。其中,上述变化函数用于指示不同栅格中其它渲染参数的变化规律;可选地,该变化函数为线性变化函数。
需要说明的一点是,在本申请实施例中,上述栅格的渲染参数包括栅格的材质参数,以及栅格的其它渲染参数。示例性地,上述其它渲染参数包括但不限于以下至少一项:颜色参数、深度参数、纹理参数。
综上,本申请实施例提供的技术方案中,通过在栅格中***三角形图像的材质信息生成栅格的材质参数,在后续渲染过程中,基于该材质参数能够对栅格的材质进行渲染,即在三维模型的渲染过程中,通过栅格渲染即可实现不同材质的渲染,提高渲染效率。
可选地,在本申请实施例中,上述三维模型的二维图像,也可用于渲染模型的训练过程。请参考图5其示出了本申请另一个实施例提供的三维模型渲染方法的流程图。该方法可应用于图1所示的模型渲染***的服务器20和/或终端10,如各步骤的执行主体可以是服务器20和/或终端10中应用程序的客户端(以下统称为“计算机设备”)。该方法可以包括以下几个步骤(501~505)中的至少一个步骤:
步骤501,获取三维模型中各个三角形图元的材质信息。
步骤502,根据三角形图元的材质信息,生成三维模型的模型参数。
步骤503,以栅格为基本单位,基于各个栅格的渲染参数对三维模型进行渲染,生成三维模型的二维图像。
上述步骤501-503与图3实施例中的步骤301-303相同,具体参见图3实施例,在此不作赘述。
步骤504,采用渲染模型基于三维模型的配置参数,得到渲染模型的输出图像。
在本申请实施例中,采用渲染模型基于三维模型的配置参数,得到渲染模型的输出图像。其中,该渲染模型为深度学习模型。
可选地,上述配置参数中包括三维模型的属性参数和处理参数,该属性参数用于指示三维模型的属性,如材质数据、颜色数据、深度数据、纹理数据和顶点数据等。
步骤505,根据输出图像和二维图像对渲染模型进行训练。
在本申请实施例中,计算机设备在获取上述输出图像之后,以上述二维图像为标签图像,根据输出图像和二维图像对渲染模型进行训练。
可选地,在训练模型的训练过程中,计算机设备从输出图像中提取输出图像的模型数据,从二维图像中获取二维图像的模型数据,进而基于输出图像的模型数据和二维图像的模型数据,确定渲染模型的损失,并根据该损失对渲染模型的参数进行调整。
另外,如图参考图6,渲染模型在训练过程中,通过多次迭代的逆向渲染过程,实现渲染模型的训练。
综上所述,本申请实施例提供的技术方案中,通过二维图像对渲染模型进行训练,使得训练完成后的渲染模型能够通过三维模型的配置参数渲染得到二维图像,提高图像渲染效率。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图7,其示出了本申请一个实施例提供的三维模型渲染装置的框图。该装置具有实现上述三维模型渲染方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是计算机设备,也可以设置计算机设备中。该装置700可以包括:
材质获取模块710,用于获取三维模型中各个三角形图元的材质信息,存在至少两个所述三角形图元具有不同的材质信息;
参数生成模块720,用于根据所述三角形图元的材质信息,生成所述三维模型的模型参数;其中,所述模型参数包括所述三维模型中各个栅格的渲染参数;
图像渲染模块730,用于以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的二维图像。
在示例性实施例中,所述参数生成模块720,用于:
对所述三维模型进行光栅化处理,得到所述三维模型中的至少一个栅格,以及所述三维模型中各个三角形图元的重心坐标系;
基于所述栅格的位置以及所述三角形图元的位置,在所述栅格中***材质信息,生成所述栅格的材质参数;
基于所述三角形图元的重心坐标系以及所述三角形图元的顶点栅格的其它渲染参数,生成非顶点栅格的其它渲染参数;
其中,所述栅格的渲染参数包括所述栅格的材质参数,以及所述栅格的其它渲染参数。
在示例性实施例中,所述参数生成模块720,用于:
根据所述三角形图元的顶点栅格在所述重心坐标系中的位置关系,确定所述三角形图元的变化函数;其中,所述变化函数用于指示不同栅格中其它渲染参数的变化规律;
基于所述非顶点栅格与所述顶点栅格之间的位置关系,采用所述变化函数对所述顶点栅格的其它渲染参数进行处理,生成所述非顶点栅格的其它渲染参数。
在示例性实施例中,所述其它渲染参数包括以下至少一项:颜色参数、深度参数、纹理参数。
在示例性实施例中,所述参数生成模块720,用于:
获取所述三维模型的第一顶点数据,所述第一顶点数据用于指示所述三维模型在模型坐标系中的顶点信息;
对所述第一顶点数据进行第一空间转换,得到第二顶点数据,所述第二顶点数据用于指示所述三维模型在世界坐标系中的顶点信息;
对所述第二顶点数据进行第二空间转换,得到第三顶点数据,所述第三顶点数据用于指示所述三维模型在裁剪坐标系中的顶点信息;
在所述第三顶点数据中去除深度信息,得到第四顶点数据,所述第四顶点数据用于指示所述三维模型在屏幕坐标系中的顶点信息;
基于所述第四顶点数据,确定所述三维模型在屏幕空间中的轮廓图像;
对所述轮廓图像进行光栅化处理,得到所述三维模型中的至少一个栅格。
在示例性实施例中,所述参数生成模块720,用于:
获取所述三维模型的多个子模型;
将所述多个子模型的顶点数据进行合并处理,获取所述三维模型的第一顶点数据。
在示例性实施例中,所述图像渲染模块730,用于:
以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的初始图像;
对所述三维模型的初始图像进行矫正,生成所述三维模型的二维图像。
在示例性实施例中,所述图像渲染模块730,用于:
基于所述栅格的渲染数据中的材质参数,对所述栅格进行材质渲染;
基于所述栅格的渲染数据中的颜色参数,对所述栅格进行颜色渲染;
基于所述栅格的渲染数据中的深度参数,对所述栅格进行深度渲染;
基于所述栅格的渲染数据中的纹理参数,对所述栅格进行纹理渲染。
在示例性实施例中,所述装置700,用于:
采用渲染模型基于三维模型的配置参数,得到所述渲染模型的输出图像;
根据所述输出图像和所述二维图像对所述渲染模型进行训练。
在示例性实施例中,所述装置700,用于:
从所述输出图像中提取所述输出图像的模型数据;
获取所述二维图像的模型数据;
基于所述输出图像的模型数据和所述二维图像的模型数据,确定所述渲染模型的损失;
根据所述损失对所述渲染模型的参数进行调整。
综上所述,本申请实施例提供的技术方案中,通过各个栅格的渲染参数对三维模型进行渲染,且栅格的渲染参数是基于三角形图元的材质信息获取的,即在渲染过程中,以栅格为单位进行渲染,考虑了不同材质对渲染过程的影响,将材质信息作为渲染参数的一部分生成依据,使得三维模型中包含有不同材质的部分能够一次性渲染出来,提高三维模型的渲染效率。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图8,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可用于实现上述三维模型渲染方法或回复文本生成模型的训练方法的功能。具体来讲:
计算机设备800包括中央处理单元(Central Processing Unit,CPU)801、包括随机存取存储器(Random Access Memory,RAM)802和只读存储器(Read Only Memory,ROM)803的***存储器804,以及连接***存储器804和中央处理单元801的***总线805。计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(Input/Output,I/O***)806,和用于存储操作***813、应用程序814和其他程序模块815的大容量存储设备807。
基本输入/输出***806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到***总线805的输入输出控制器810连接到中央处理单元801。基本输入/输出***806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备807通过连接到***总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说,大容量存储设备807可以包括诸如硬盘或者CD-ROM(CompactDisc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory,电可擦可编程只读存储器)、闪存或其他固态存储设备,CD-ROM、DVD(Digital Video Disc,高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器804和大容量存储设备807可以统称为存储器。
根据本申请的各种实施例,计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在***总线805上的网络接口单元811连接到网络812,或者说,也可以使用网络接口单元811来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括计算机程序,该计算机程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,以实现上述三维模型渲染方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述三维模型渲染方法。
可选地,该计算机可读存储介质可以包括:ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取记忆体)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述三维模型渲染方法,或执行上述回复文本生成模型的训练方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种三维模型渲染方法,其特征在于,所述方法包括:
获取三维模型中各个三角形图元的材质信息,存在至少两个所述三角形图元具有不同的材质信息;
根据所述三角形图元的材质信息,生成所述三维模型的模型参数;其中,所述模型参数包括所述三维模型中各个栅格的渲染参数;
以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的二维图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述三角形图元的材质信息,生成所述三维模型的模型参数,包括:
对所述三维模型进行光栅化处理,得到所述三维模型中的至少一个栅格,以及所述三维模型中各个三角形图元的重心坐标系;
基于所述栅格的位置以及所述三角形图元的位置,在所述栅格中***材质信息,生成所述栅格的材质参数;
基于所述三角形图元的重心坐标系以及所述三角形图元的顶点栅格的其它渲染参数,生成非顶点栅格的其它渲染参数;
其中,所述栅格的渲染参数包括所述栅格的材质参数,以及所述栅格的其它渲染参数。
3.根据权利要求2所述的方法,其特征在于,所述基于所述三角形图元的重心坐标系以及所述三角形图元的顶点栅格的其它渲染参数,生成非顶点栅格的其它渲染参数,包括:
根据所述三角形图元的顶点栅格在所述重心坐标系中的位置关系,确定所述三角形图元的变化函数;其中,所述变化函数用于指示不同栅格中其它渲染参数的变化规律;
基于所述非顶点栅格与所述顶点栅格之间的位置关系,采用所述变化函数对所述顶点栅格的其它渲染参数进行处理,生成所述非顶点栅格的其它渲染参数。
4.根据权利要求2所述的方法,其特征在于,所述其它渲染参数包括以下至少一项:颜色参数、深度参数、纹理参数。
5.根据权利要求2所述的方法,其特征在于,所述对所述三维模型进行光栅化处理,得到所述三维模型中的至少一个栅格,包括:
获取所述三维模型的第一顶点数据,所述第一顶点数据用于指示所述三维模型在模型坐标系中的顶点信息;
对所述第一顶点数据进行第一空间转换,得到第二顶点数据,所述第二顶点数据用于指示所述三维模型在世界坐标系中的顶点信息;
对所述第二顶点数据进行第二空间转换,得到第三顶点数据,所述第三顶点数据用于指示所述三维模型在裁剪坐标系中的顶点信息;
在所述第三顶点数据中去除深度信息,得到第四顶点数据,所述第四顶点数据用于指示所述三维模型在屏幕坐标系中的顶点信息;
基于所述第四顶点数据,确定所述三维模型在屏幕空间中的轮廓图像;
对所述轮廓图像进行光栅化处理,得到所述三维模型中的至少一个栅格。
6.根据权利要求5所述的方法,其特征在于,所述获取所述三维模型的第一顶点数据,包括:
获取所述三维模型的多个子模型;
将所述多个子模型的顶点数据进行合并处理,获取所述三维模型的第一顶点数据。
7.根据权利要求1所述的方法,其特征在于,所述以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,包括:
以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的初始图像;
对所述三维模型的初始图像进行矫正,生成所述三维模型的二维图像。
8.根据权利要求7所述的方法,其特征在于,所述以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的初始图像,包括;
基于所述栅格的渲染数据中的材质参数,对所述栅格进行材质渲染;
基于所述栅格的渲染数据中的颜色参数,对所述栅格进行颜色渲染;
基于所述栅格的渲染数据中的深度参数,对所述栅格进行深度渲染;
基于所述栅格的渲染数据中的纹理参数,对所述栅格进行纹理渲染。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
采用渲染模型基于三维模型的配置参数,得到所述渲染模型的输出图像;
根据所述输出图像和所述二维图像对所述渲染模型进行训练。
10.根据权利要求9所述的方法,其特征在于,所述根据所述输出图像和所述二维图像对所述渲染模型进行训练,包括:
从所述输出图像中提取所述输出图像的模型数据;
获取所述二维图像的模型数据;
基于所述输出图像的模型数据和所述二维图像的模型数据,确定所述渲染模型的损失;
根据所述损失对所述渲染模型的参数进行调整。
11.一种三维模型渲染装置,其特征在于,所述装置包括:
材质获取模块,用于获取三维模型中各个三角形图元的材质信息,存在至少两个所述三角形图元具有不同的材质信息;
参数生成模块,用于根据所述三角形图元的材质信息,生成所述三维模型的模型参数;其中,所述模型参数包括所述三维模型中各个栅格的渲染参数;
图像渲染模块,用于以所述栅格为基本单位,基于各个所述栅格的渲染参数对所述三维模型进行渲染,生成所述三维模型的二维图像。
12.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的三维模型渲染方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一项所述的三维模型渲染方法。
14.一种计算机程序产品或计算机程序,其特征在于,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机指令,以实现如权利要求1至10任一项所述的三维模型渲染方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210291953.2A CN116843811A (zh) | 2022-03-23 | 2022-03-23 | 三维模型渲染方法、装置、设备及存储介质 |
PCT/CN2022/137127 WO2023179091A1 (zh) | 2022-03-23 | 2022-12-07 | 三维模型渲染方法、装置、设备、存储介质及程序产品 |
US18/243,027 US20230419561A1 (en) | 2022-03-23 | 2023-09-06 | Three-dimensional model rendering method and apparatus, device, storage medium, and program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210291953.2A CN116843811A (zh) | 2022-03-23 | 2022-03-23 | 三维模型渲染方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116843811A true CN116843811A (zh) | 2023-10-03 |
Family
ID=88099757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210291953.2A Pending CN116843811A (zh) | 2022-03-23 | 2022-03-23 | 三维模型渲染方法、装置、设备及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230419561A1 (zh) |
CN (1) | CN116843811A (zh) |
WO (1) | WO2023179091A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7391418B2 (en) * | 2002-10-15 | 2008-06-24 | Nokia Corporation | Three dimensional image processing |
CN109961498B (zh) * | 2019-03-28 | 2022-12-13 | 腾讯科技(深圳)有限公司 | 图像渲染方法、装置、终端及存储介质 |
CN111932664B (zh) * | 2020-08-27 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 图像渲染方法、装置、电子设备及存储介质 |
CN112933599B (zh) * | 2021-04-08 | 2022-07-26 | 腾讯科技(深圳)有限公司 | 三维模型渲染方法、装置、设备及存储介质 |
CN114219886A (zh) * | 2021-12-29 | 2022-03-22 | 天津亚克互动科技有限公司 | 一种虚拟场景渲染方法、装置、电子设备及存储介质 |
-
2022
- 2022-03-23 CN CN202210291953.2A patent/CN116843811A/zh active Pending
- 2022-12-07 WO PCT/CN2022/137127 patent/WO2023179091A1/zh unknown
-
2023
- 2023-09-06 US US18/243,027 patent/US20230419561A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023179091A1 (zh) | 2023-09-28 |
US20230419561A1 (en) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255830B (zh) | 三维人脸重建方法和装置 | |
CN111369681B (zh) | 三维模型的重构方法、装置、设备及存储介质 | |
US20220036636A1 (en) | Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium | |
CN108961369B (zh) | 生成3d动画的方法和装置 | |
CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
CN109754464B (zh) | 用于生成信息的方法和装置 | |
CN114820905B (zh) | 虚拟形象生成方法、装置、电子设备及可读存储介质 | |
US11941737B2 (en) | Artificial intelligence-based animation character control and drive method and apparatus | |
CN111524216B (zh) | 生成三维人脸数据的方法和装置 | |
CN114067057A (zh) | 一种基于注意力机制的人体重建方法、模型、装置 | |
JP7418370B2 (ja) | 髪型を変換するための方法、装置、デバイス及び記憶媒体 | |
CN111932438B (zh) | 图像风格迁移方法、设备及存储装置 | |
US11995771B2 (en) | Automated weighting generation for three-dimensional models | |
CN115861498A (zh) | 动作捕捉的重定向方法和装置 | |
CN110288523B (zh) | 图像生成方法和装置 | |
CN115965735B (zh) | 纹理贴图的生成方法和装置 | |
CN115775300A (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
CN116843811A (zh) | 三维模型渲染方法、装置、设备及存储介质 | |
CN113592990A (zh) | 针对二维图像的三维效果生成方法、装置、设备及介质 | |
CN112419459A (zh) | 烘焙模型ao贴图的方法、装置、计算机设备和存储介质 | |
CN111311712A (zh) | 视频帧处理方法和装置 | |
CN113223128A (zh) | 用于生成图像的方法和装置 | |
CN111524062B (zh) | 图像生成方法和装置 | |
CN115471613A (zh) | 人脸模型的生成方法、装置、设备及存储介质 | |
CN116958397A (zh) | 模型阴影的渲染方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40099900 Country of ref document: HK |