CN116168141A - 图像绘制方法、装置、电子设备和存储介质 - Google Patents

图像绘制方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116168141A
CN116168141A CN202111389280.6A CN202111389280A CN116168141A CN 116168141 A CN116168141 A CN 116168141A CN 202111389280 A CN202111389280 A CN 202111389280A CN 116168141 A CN116168141 A CN 116168141A
Authority
CN
China
Prior art keywords
target
information
voxel
trained
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111389280.6A
Other languages
English (en)
Inventor
王光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111389280.6A priority Critical patent/CN116168141A/zh
Priority to PCT/CN2022/133161 priority patent/WO2023088458A1/zh
Publication of CN116168141A publication Critical patent/CN116168141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供了一种图像绘制方法、装置、电子设备和存储介质。获取目标相机关联信息和目标光源关联信息;根据目标相机关联信息、目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。本公开实施例提供的技术方案,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。

Description

图像绘制方法、装置、电子设备和存储介质
技术领域
本公开实施例涉及计算机技术领域,尤其涉及一种图像绘制方法、装置、电子设备和存储介质。
背景技术
图像绘制是图形学中比较重要的研究方向之一,传统的图像绘制方法一般是基于多视角技术进行虚拟视角的合成,通过获取物体的纹理图像和和深度图像,利用已有视角的纹理图像和深度图像来合成物体新的视角图像。
然而,在对物体进行绘制的过程中,存在绘制的图像与实际物体的图像不相符,导致绘制出的图像准确性不高,从而引起用户使用体验较差的技术问题。
发明内容
本公开实施例提供一种图像绘制方法、装置、电子设备和存储介质,以实现对半透明物体内部结构的精准绘制,使绘制出来的图像与物体在实际中呈现的效果最适配,提高物体图像绘制的准确性。
第一方面,本公开实施例提供了一种图像绘制方法,该方法包括:
获取目标相机关联信息和目标光源关联信息;
根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
第二方面,本公开实施例还提供了一种图像绘制装置,该装置包括:
目标关联信息获取模块,用于获取目标相机关联信息和目标光源关联信息;
目标体素关联信息确定模块,用于根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
目标结构图像绘制模块,用于根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
第三方面,本公开实施例还提供了电子设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像绘制方法。
第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开实施例任一所述的图像绘制方法。
本公开实施例的技术方案,通过获取目标物体在不同光照角度下的目标光源关联信息,以及在不同相机拍摄角度下的目标相机关联信息,根据预先训练好的目标物体属性确定模型对目标相机关联信息和目标光源关联信息进行处理,得到目标物体中各体素的目标体素关联信息,最后基于目标物体中各体素的目标体素关联信息,绘制与目标物体相对应的目标结构图像,解决了现有技术采用的图像绘制方法无法确定物体内部结构,导致绘制出的示意图仅仅是外部结构示意图,同时,也无法得到其具体内容结构示意图,导致绘制出的图像与实际的图像存在较大的差异,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种图像绘制方法的流程图;
图2是本公开实施例二所提供的一种图像绘制方法的流程图;
图3是本公开实施例三所提供的一种图像绘制方法的流程图;
图4是本公开实施例四所提供的一种图像绘制方法的流程图;
图5是本公开实施例五所提供的一种图像绘制装置的结构框图;
图6是本公开实施例六所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
在介绍本技术方案之前,可以先对应用场景进行示例性说明。本技术方案可以应用在绘制任意半透明物体的三维视图的场景中,例如,现实生活中存在一块玉石,需要将其展示在计算机设备上,则可以基于本公开技术方案,确定玉石的内部构造信息,进而绘制出相应的三维视图。为了清楚的介绍本技术方案,可以以绘制其中一个物体的结构视图为例来介绍,相应的,可以将绘制目标结构视图所对应的物体作为目标物体。
还需要说明的是,如果需要绘制不同物体在的目标结构图,可以训练得到与每个物体相对应的物体属性确定模型,进而基于该模型处理得到相应的目标提速关联信息。
实施例一
图1为本公开实施例一所提供的一种图像绘制方法的流程示意图,本实施例可适用于对半透明材质的物体进行视图绘制的情形,该方法可以由图像绘制装置来执行,该装置可以通过软件和/或硬件的形式实现,该硬件可以是电子设备,如移动终端、PC端或服务器等。
如图1,本实施例的方法包括:
S110、获取目标相机关联信息和目标光源关联信息。
其中,目标相机关联信息可以理解为在目标相机为某个特定物体拍摄图像时,拍摄装置与目标物体之间的相对距离以及相对角度等。目标光源可以是照射物体的光源,即只要能够实现照射物体的任意光束都可以作为目标光源。在本实施例中,目标光源是当前所使用的光源。相应的,目标光源关联信息为目标光源照射目标物体时光源与目标物体之间的相对角度信息、光源色彩信息、色温信息和/或光强信息中的至少一种。
需要说明的是,为了获取相机关联信息和光源关联信息,可以将相机和光源与计算机设备相连接,以基于计算机设备获取相机关联信息,同时,可以基于计算机设备控制光源发出相应的光线,进而获取光源关联信息。
具体的,在想要绘制某个半透明物体的视图,并将视图展现在某个计算机设备上,以便用户进行查看时,可以基于本方案绘制出目标物体的视图,此时,需要获取相机关联信息和光源关联信息。
S120、根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息。
其中,目标物体属性确定模型可以是预先训练得到的深度学习模型,可以对目标相机关联信息和目标光源关联信息进行处理,并输出对应的目标物体中某种特定元素的属性信息。目标物体可以理解为现实中某种特定物体,如,玉石、蜡烛以及植物的树叶等物体,属性信息可以为物体中各体素的材质信息、形状信息(几何信息)、颜色、纹理、光滑度以及透明度等信息。体素可以理解为是物体的体积信息于三维空间分割上的最小单位信息,可以用一个具有相应值的三维阵列来描述,体素可以由三维空间数据场中的最小单位来表示,例如,该物体可以为半透明玉石,三维空间则可以是玉石对应的一个三维数据场,可以根据计算机程序进行编译获得一系列的玉石图像的切片数据,把这些切片数据按照位置和角度等信息进行规则化处理,然后就形成一个三维空间中由均匀网格组成的规则的数据场,网格上的每个节点描述了玉石中某个结构对象的密度等属性信息,可以将相邻层之间的对应的八个节点包围的小立方体作为三维数据场中的最小单位,即表示为体素,相应的,物体中所有的体素信息可以描述物体的内部结构。目标体素关联信息可以为用于描述目标物体的内部结构所对应的体素信息,如,透明度信息和色彩信息。基于上述可知,一个物体可以由多个体素构成,可以将每个体素的关联信息作为目标关联信息。
需要说明的是,在本实施例中,目标物体为采用半透明材质的物体,原因在于,当光源发射光线时,光线可以穿过物体的表面,进入物体内部,进而确定各个位置点的体素关联信息,从而基于体素关联信息绘制出其内部结构示意图。其得到的内部结构示意图,可以准确的表征现实中的半透明物体。
还需要说明的是,当光源发射光线,光线穿过半透明物体结构时,如果遇到物体中不透明结构部分可以将光源进行反射,反射的光线可以进入相机,如果遇到半透明结构部分可以将光源进行反射/折射,且折射的光线可以根据物体中各体素的材质、纹理以及透明度等关联信息的不同,光线衰减的程度不同,相应的,在物体内部会产生不同衰减度的折射/反射光线,进一步的,可以通过获取物体中每个位置点的光线折射/反射信息,使用光线折射/反射角度以及衰减度信息来表示对应位置点的体素关联信息,确定物体中各体素的体素关联信息,进而,可以根据各体素关联信息将该物体内部结构示意图绘制出来。
具体的,在本实施例中,对于目标物体属性确定模型来说,可以将目标物体的目标相机关联信息和与目标光源关联信息输入至模型,基于该模型可以输出该物体中各体素的目标体素关联信息。
S130、根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
其中,目标结构图像可以理解为与目标物体内部结构相对应的三维模型图像,即目标结构图像可以以立体的方式如实反映目标物体的内部结构在现实中呈现出的效果。
根据目标物体中各体素的目标体素关联信息,可以对物体的内部结构进行绘制,绘制出目标结构图像,示例性的,为了绘制半透明物体的结构示意图,可以将物体划分为多个体素,在基于模型确定物体中各体素的目标体素关联信息后,可以利用某种渲染技术将各体素的目标体素关联信息进行表示,进而,可以绘制出每个体素对应的体素图像,再利用某种计算机软件将各体素进行整合,即可以得到物体对应的目标结构图像;还可以利用某种建模技术将各体素进行三维重建,绘制物体结构的框架图。进一步的,再使用渲染技术将各体素的材质、纹理以及透明度等关联信息对框架图进行渲染,渲染出一个有色彩、纹理且含有不同透明度的结构图像,即作为物体对应的目标结构图像。
本公开实施例的技术方案,通过获取目标物体在不同光照角度下的目标光源关联信息,以及在不同相机拍摄角度下的目标相机关联信息,根据预先训练好的目标物体属性确定模型对目标相机关联信息和目标光源关联信息进行处理,得到目标物体中各体素的目标体素关联信息,最后基于目标物体中各体素的目标体素关联信息,绘制与目标物体相对应的目标结构图像,解决了现有技术采用的图像绘制方法无法确定物体内部结构,导致绘制出的示意图仅仅是外部结构示意图,同时,也无法得到其具体内容结构示意图,导致绘制出的图像与实际的图像存在较大的差异,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。
实施例二
图2为本公开实施例二所提供的一种图像绘制方法的流程示意图,在前述实施例的基础上,对S110作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示,该方法具体包括如下步骤:
S210、获取目标相机关联信息和目标光源关联信息。
在本实施例中,所述相机关联信息包括相机位置和朝向信息,所述光源关联信息包括光源位置和光源的光照方向。
其中,相机位置可以理解为相机拍摄目标物体时所处的位置信息。朝向信息可以理解为相机在对目标物体进行拍摄,发出的光线与目标物体相交时的夹角信息。相机关联信息可以是至少三个维度的参数来表示,优选的,可以采用六个维度的参数,其中,3个三维用于表示相机位置信息,3个参数用于表示朝向信息。光源位置可以理解为光源发出光线照射物体时的光线起点位置信息。光照方向可以理解为由光源发出的光线方向。光源关联信息也可以是至少三个维度的参数来表示,优选的,可以采用六个维度的参数,其中,3个三维用于表示光源位置信息,3个参数用于表示光照方向信息。需要说明的是,可以将相机和光源与计算机设备相连接,以基于计算机设备获取相机位置和朝向信息,同时,可以基于计算机设备控制光源发出相应的光线,进而获取光源位置和光源的光照方向。
具体的,在想要绘制某个半透明物体的视图时,可以将相机位置和朝向信息,以及光源位置和光源的光照方向,进而使训练得到的目标物体属性确定模型,对上述信息进行处理,以得到目标物体中各个体素的目标体素关联信息,进而基于目标体素关联信息,确定光源下目标物体的目标结构示意图。
S220、基于预设采样点确定程序,对所述目标相机关联信息以及所述目标光源关联信息进行处理,确定每条光线上的至少一个待处理采样点。
其中,采样点确定程序可以理解为技术人员预设好的程序代码,该程序代码可以将光线划分为多个采样点。待处理采样点是采样点确定程序处理得到的每个光线上的采样点。
需要说明的是,当光源发射光线时,光线可以穿过物体的表面,进入物体内部,即光线中的各待处理采样点可以在物体内部,对应于物体内部各个位置点,由此,各待处理采样点信息可以用于确定物体内部各个位置点的体素关联信息,从而后续可以基于体素关联信息绘制出物体的内部结构示意图。
S230、基于所述目标物体属性确定模型对所述至少一个待处理采样点进行处理,得到与每个采样点相对应的待选择体素关联信息。
其中,待选择体素关联信息可以理解为与待处理采样点对应的体素关联信息,如,可以将至少待处理采样点信息输入到目标物体属性确定模型中,进而,输出与各待处理采样点对应的体素关联信息,可以将输出的体素关联信息作为待选择体素关联信息。
需要说明的是,为了后续更快的找到光线上的每个采样点具体与模型输出各体素关联信息中哪一个体素关联信息相对应,可选的,可以在将采样点信息输入到模型之前,对采样点按照某种编号标记规则进行标记,示例性的,以对一条光线上的各采样点为例进行说明,编号标记规则可以为各采样点离光源位置的距离越近,编号越小的规则。具体的,可以确定每个采样点离光源位置的距离,将距离进行升序排序,进而,可以将排序后的距离对应的采样点从1开始进行编号,可以是从1到k,k为一个正常数,由采样点个数确定,如,假设A为光线上的一个采样点,B为光线上的另一个采样点,A距光源位置为1m,B距光源位置为1.1m,将距离进行升序排序,进而,根据距离的顺序将距离对应的采样点进行标记,可以将A标记为1,B标记为2,依次可以根据每个采样点离光源位置的距离,对每个采样点进行编号。示例性的,当获取到光源照射进半透明物体内部的光线后,可以获取每条光线上的待处理采样点并将其作为目标物体属性确定模型的输入,经过模型处理后,可以输出每个待处理采样点对应的体素关联信息,可以将获取的体素关联信息作为每个采样点对应的体素关联信息。
可以理解为,每个体素只有一个颜色,即体素的本色,这一颜色与入射光线的角度无关,因此可以使用渲染的方式确定最终体素的颜色。在确定体素的最终颜色时,可以基于光源发出一系列光束照射目标物体,照射物体的光束可以反射进入到相机视野,从而使相机拍摄目标物体。在光束照射到目标物体时,即,光束与体素相交后,可以计算每个体素的透明度信息和颜色信息。
具体的,从光源发出光线把物体照亮,当光线遇到不透明的体素则表明打到了物体上,此时,可以确定当前体素的折射光量和反射光量。同时,在光线打到物体上时,反射的光线可以进入相机,此时,可以确定对图像中的各个像素的亮度贡献值。如,首先可以计算光源从外部对像素的亮度贡献,然后,可以计算光源从内部对像素的亮度贡献,即像素点的亮度值。在确定被照亮物体的各个体素对当前体素的亮度贡献,可以是,从当前体素被照亮的各个体素连线,通过网格获取路径上各个体素的不透明度,根据不透明度确定各个体素对当前体素的亮度贡献,即,可以将每个体素作为当前体素,进而确定当前体素的亮度值。
S240、根据各待选择体素关联信息,确定目标体素关联信息。
其中,目标体素关联信息可以理解为待选择体素关联信息中的体素关联信息,可以基于某种预设条件,获取待选择体素关联信息中满足条件的体素关联信息作为目标体素关联信息,如,可以判断待选择体素关联信息值是否为空,若是,则为目标体素关联信息,若否,则摒弃。
需要说明的是,当光源发射光线,光线打到半透明物体内部各个位置点的体素关联信息时,可能出现光线偏移体素所在位置点的情况,即光线打中的位置点为空体素关联信息,此时,为了提高图像绘制的效率,可以不需对空体素关联信息进行绘制或渲染,可选的,可以将空体素关联信息进行摒弃,即在各待选择体素关联信息中将空体素关联信息进行摒弃,进而,获取目标体素关联信息。
S250、根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
在本实施例中,目标体素关联信息至少包括体素的颜色信息以及光量信息。
其中,颜色信息可以理解为目标物体在光线照射下各体素的颜色,可以用RGB颜色对各体素的颜色信息进行表示,如,可以利用计算机设备提取光线路径上的各个体素的RGB值。光量信息可以理解为目标物体中各体素的亮度值,或者是,物体中每个体素点在图像中所对应的像素点的亮度值。可选的,光量信息包括光线打在体素上的反射亮度值,以及所述光线从内部折射出的折射亮度值。如,当光源发出光线照射半透明物体时,物体中某个位置点可能出现光线反射的情况,此时可以计算光线从物体外部对该位置点的体素的亮度贡献,还可能出现光线折射的情况,此时可以计算光线从物体内部对该位置点的体素的亮度贡献,从该体素到被照亮的各个体素之间连线,可以通过网络获取路径上各个体素的不透明度,根据不透明度可以得到各个体素对该体素的亮度贡献,即该体素的亮度值,将该亮度值作为光量信息。
在本实施例中,在基于目标体素关联信息绘制图像时,可以了解到物体内部各个体素的相关信息,进而基于相关信息绘制三维视图时,可以提高图像绘制的准确性。
本公开实施例的技术方案,通过获取目标物体在不同光照角度下的目标光源关联信息,以及在不同相机拍摄角度下的目标相机关联信息,根据预先训练好的目标物体属性确定模型对目标相机关联信息和目标光源关联信息进行处理,得到目标物体中各体素的目标体素关联信息,最后基于目标物体中各体素的目标体素关联信息,绘制与目标物体相对应的目标结构图像,解决了现有技术采用的图像绘制方法无法确定物体内部结构,导致绘制出的示意图仅仅是外部结构示意图,同时,也无法得到其具体内容结构示意图,导致绘制出的图像与实际的图像存在较大的差异,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。
实施例三
图3为本公开实施例三所提供的一种图像绘制方法的流程示意图,在前述实施例的基础上,可以对S130作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示,该方法具体包括如下步骤:
S310、获取目标相机关联信息和目标光源关联信息。
S320、根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息。
S330、根据各体素的目标体素关联信息,确定与目标物体相对应的内部结构信息。
其中,内部结构信息可以理解为目标物体内部中的不同部位的结构信息,可以为内部结构的材质信息、光滑度信息、光量信息或者颜色信息。
需要说明的是,目标物体的几何形式表示可以转换成该物体的体素表示形式,即构成目标物体的各体素信息。可以将所有体素数据的集合作为体素数据集。体素数据集不仅包含目标物体的表面信息,还包括目标物体的内部信息,即内部各个体素的相关信息。在确定体素关联信息后,可以利用某种渲染技术对各体素的体素关联信息进行渲染,从而得到目标物体的目标结构示意图。
示例性的,当获取到半透明玉石中的各体素的目标体素关联信息,可以利用某种渲染技术将各体素的目标体素关联信息进行表示,可以绘制出每个体素对应的体素图像,相应的,基于各体素的体素图像可以得到整个目标物体的目标结构图。由于物体属性信息确定模型是对某个特定的相机参数和光源参数进行处理后得到的,因此得到的可以是某个视角下目标物体的目标结构图像。
S340、基于所述内部结构信息,绘制与所述目标物体相对应的目标结构图像。
具体的,根据目标物体的内部结构信息,渲染器可以绘制出相应的目标结构图像。
本公开实施例的技术方案,通过获取目标物体在不同光照角度下的目标光源关联信息,以及在不同相机拍摄角度下的目标相机关联信息,根据预先训练好的目标物体属性确定模型对目标相机关联信息和目标光源关联信息进行处理,得到目标物体中各体素的目标体素关联信息,最后基于目标物体中各体素的目标体素关联信息,绘制与目标物体相对应的目标结构图像,解决了现有技术采用的图像绘制方法无法确定物体内部结构,导致绘制出的示意图仅仅是外部结构示意图,同时,也无法得到其具体内容结构示意图,导致绘制出的图像与实际的图像存在较大的差异,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。
实施例四
图4为本公开实施例三所提供的一种图像绘制方法的流程示意图,在前述实施例的基础上,在获取目标相机关联信息和目标光源关联信息之前,可以预先训练待训练物体属性确定模型,得到目标物体属性确定模型,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图4所示,该方法具体包括如下步骤:
S410、获取多个训练样本,其中,每个训练样本中包括待训练关联参数,以及与所述待训练关联参数相对应的理论绘制图像,所述训练关联参数中包括待训练相机参数和待训练光源参数。
其中,训练样本用于参与模型训练。为了要得到某个物体所对应的目标物体属性确定模型,可以获取与该与目标物体相对应的训练关联参数。如,训练关联参数可以是拍摄目标物体时的待训练相机参数、待训练光源参数。此时的待训练光源参数和待训练相机参数均是用七维参数来表示,即获取待训练关联参数的目的是为了将其转换为七维参数,进而将其作为待训练物体属性确定模型的输入,来训练得到目标物体属性确定模型。相应的,为了对模型中的模型参数进行修正,还需要获取待训练关联参数下拍摄的图像,并将其作为理论绘制图像。
为了使得到的目标物体属性确定模型存在较高的准确度,可以尽可能多而丰富的获取训练样本,从而得到目标物体属性确定模型。
具体的,可以获取多个待训练相机参数和待训练光源参数,并在待训练光源参数照射物体时,基于待训练相机参数拍摄得到包括目标物体的理论绘制图像。为了提高得到的目标物体属性确定模型的准确性,可以尽可能多的获取训练样本,以基于获取到训练样本,训练得到目标物体属性确定模型。
S420、针对各训练样本,将当前训练样本中的待训练关联参数输入至待训练物体属性确定模型中,得到与所述待训练关联参数相对应的实际绘制图像。
在本实施例中,待训练模型可以为MLP(multi layer perceptron,多层感知器)模型,可以输入一个7维的参数。待训练物体属性确定模型的模型参数为默认值。可以基于每个训练样本对待训练物体属性确定模型进行训练,以得到目标物体属性确定模型。待训练物体属性确定模型的输出结果,可以为相应的属性信息,将基于属性信息绘制出的图像作为实际绘制图像。
需要说明的是,由于待训练物体属性确定模型的模型参数为初始值,或者是未完成修正完成的参数,因此此时得到的属性信息是不准确的,相应的,基于属性信息绘制出的实际绘制图像与训练样本中的理论绘制图像是存在一定差异的。
也就是说,针对每一个训练样本,可以将每个训练样本中的待训练关联参数输入至待训练物体属性确定模型中,该待训练物体属性确定模型可以输出实际属性信息,基于实际属性信息可以绘制出实际绘制图像。
在本实施例中,所述将当前训练样本中的待训练关联参数输入至待训练物体属性确定模型中,得到与所述待训练关联参数相对应的实际绘制图像,包括:确定与所述待训练关联参数相对应的至少一个待训练采样点信息;将所述至少一个待训练采样点信息输入至所述待训练物体属性确定模型中,得到与所述至少一个待训练采样点相对应的待训练颜色信息和待训练光量信息;基于所述待训练颜色信息和所述待训练光量信息,绘制与目标物体相对应的实际绘制图像。
其中,待训练采样点可以理解为根据待训练关联参数将光线划分为多个采样点。待训练采样点信息可各待训练采样点相对于光源的长度信息等。待训练颜色信息可以理解为与待训练采样点对应的体素的颜色信息,待训练光量信息可以理解为与待训练采样点对应的体素的光量信息。例如,待训练采样点位于光线上,当光线打到物体上时,可以确定相应采样点所对应的体素颜色信息和光量信息。其具体的原理以在上述做了具体阐述,在此不再赘述。
S430、基于所述实际绘制图像和所述当前训练样本中的理论绘制图像,确定误差值。
其中,误差值是指实际绘制图像与理论绘制图像之间的误差。
S440、基于误差值所述待训练物体属性确定模型中的预设损失函数,对所述待训练物体属性确定模型进行参数修正。可以采用反向传递法修正待训练物体属性确定模型中的模型参数,以使最终得到的目标物体属性确定模型,可以对目标光源关联信息和目标相机关联信息进行处理,以得到较为准确的属性信息,进而基于属性信息绘制图像时,可以提高绘制出的图像的准确性。
S450、将所述预设损失函数收敛作为训练目标,得到所述目标物体属性确定模型。
其中,目标物体属性确定模型为最终训练得到的,用于确定与相机关联参数和光源关联参数相对应的目标物体的目标结构图的模型。
具体的,可以将损失函数的训练误差,即损失参数作为检测损失函数当前是否达到收敛的条件,比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定,或者当前的迭代次数是否等于预设次数。若检测达到收敛条件,比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定,表明待训练物体属性确定模型训练完成,此时可以停止迭代训练。若检测到当前未达到收敛条件,可以进一步获取训练样本对待训练物体属性确定模型进行训练,直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时,可以将待训练物体属性确定模型作为目标物体属性确定模型。
需要说明的是,针对每一个训练样本,在第一个训练样本执行完成S420至S440之后,可以再将第二个训练样本执行S420至S440,直至待训练物体属性确定模型中的损失函数收敛。S460、获取目标相机关联信息和目标光源关联信息。
S470、根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息。
S480、根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
本公开实施例的技术方案,通过获取目标物体在不同光照角度下的目标光源关联信息,以及在不同相机拍摄角度下的目标相机关联信息,根据预先训练好的目标物体属性确定模型对目标相机关联信息和目标光源关联信息进行处理,得到目标物体中各体素的目标体素关联信息,最后基于目标物体中各体素的目标体素关联信息,绘制与目标物体相对应的目标结构图像,解决了现有技术采用的图像绘制方法无法确定物体内部结构,导致绘制出的示意图仅仅是外部结构示意图,同时,也无法得到其具体内容结构示意图,导致绘制出的图像与实际的图像存在较大的差异,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。
实施例五
图5为本公开实施例五所提供的一种图像绘制装置的结构框图,可执行本公开任意实施例所提供的图像绘制方法,具备执行方法相应的功能模块和有益效果。如图5所示,该装置具体包括:目标关联信息获取模块510、目标体素关联信息确定模块520以及目标结构图像绘制模块530。
目标关联信息获取模块510,用于获取目标相机关联信息和目标光源关联信息;目标体素关联信息确定模块520,用于根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;目标结构图像绘制模块530,用于根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
可选的,目标关联信息获取模块510,还用于所述相机关联信息包括相机位置和朝向信息,所述光源关联信息包括光源位置和光源的光照方向。
在上述各技术方案的基础上,所述目标体素关联信息确定模型中包括待处理采样点确定子模型、待选择体素关联信息确定子模型和目标体素关联信息确定子模型,目标体素关联信息确定模块520包括待处理采样点确定单元、待选择体素关联信息确定单元和目标体素关联信息确定单元。待处理采样点确定单元,用于基于预设采样点确定程序,对所述目标相机关联信息以及所述目标光源关联信息进行处理,确定每条光线上的至少一个待处理采样点;待选择体素关联信息确定单元,用于基于所述目标物体属性确定模型对所述至少一个待处理采样点进行处理,得到与每个采样点相对应的待选择体素关联信息;目标体素关联信息确定单元,用于根据各待选择体素关联信息,确定目标体素关联信息。
可选的,目标体素关联信息确定单元,还用于所述目标体素关联信息至少包括体素的颜色信息以及光量信息。其中,所述光量信息包括光线打在体素上的反射亮度值,以及所述光线从内部折射出的折射亮度值。
在上述各技术方案的基础上,所述目标结构图像绘制模型中包括内部结构信息确定子模型和目标结构图像确定子模型,目标结构图像绘制模块430包括内部结构信息确定单元和目标结构图像确定单元。内部结构信息确定单元,用于根据各体素的目标体素关联信息,确定与目标物体相对应的内部结构信息;目标结构图像确定单元,用于基于所述内部结构信息,绘制与所述目标物体相对应的目标结构图像。
在上述各技术方案的基础上,绘制图像的装置还包括目标物体属性确定模型训练模块。
在上述各技术方案的基础上,所述目标物体属性确定模型训练模块包括训练样本获取单元、实际绘制图像获取单元、误差值确定单元、参数修正单元和目标物体属性确定模型确定单元。训练样本获取单元,用于获取多个训练样本,其中,每个训练样本中包括待训练关联参数,以及与所述待训练关联参数相对应的理论绘制图像,所述训练关联参数中包括待训练相机参数和待训练光源参数;实际绘制图像获取单元,用于实际绘制图像获取单元针对各训练样本,将当前训练样本中的待训练关联参数输入至待训练物体属性确定模型中,得到与所述待训练关联参数相对应的实际绘制图像;误差值确定单元,用于基于所述实际绘制图像和所述当前训练样本中的理论绘制图像,确定误差值;参数修正单元,用于基于误差值所述待训练物体属性确定模型中的预设损失函数,对所述待训练物体属性确定模型进行参数修正;目标物体属性确定模型确定单元,用于将所述预设损失函数收敛作为训练目标,得到所述目标物体属性确定模型。
在上述各技术方案的基础上,所述实际绘制图像获取单元包括待训练采样点信息子单元、待训练颜色信息和待训练光量信息获取子单元和实际绘制图像确定子单元。待训练采样点信息子单元,用于确定与所述待训练关联参数相对应的至少一个待训练采样点信息;待训练颜色信息和待训练光量信息获取子单元,用于将所述至少一个待训练采样点信息输入至所述待训练物体属性确定模型中,得到与所述至少一个待训练采样点相对应的待训练颜色信息和待训练光量信息;实际绘制图像确定子单元,用于基于所述待训练颜色信息和所述待训练光量信息,绘制与目标物体相对应的实际绘制图像。
本公开实施例的技术方案,通过获取目标物体在不同光照角度下的目标光源关联信息,以及在不同相机拍摄角度下的目标相机关联信息,根据预先训练好的目标物体属性确定模型对目标相机关联信息和目标光源关联信息进行处理,得到目标物体中各体素的目标体素关联信息,最后基于目标物体中各体素的目标体素关联信息,绘制与目标物体相对应的目标结构图像,解决了现有技术采用的图像绘制方法无法确定物体内部结构,导致绘制出的示意图仅仅是外部结构示意图,同时,也无法得到其具体内容结构示意图,导致绘制出的图像与实际的图像存在较大的差异,实现了在绘制图像的过程中将光源信息和相机位置信息确定出物体内部结构,从而绘制出的目标物内部结构示意图与目标物体实际结构相匹配,提高了绘制出的图像与实际物体所对应的图像的准确度,进而将其显示在显示界面上时,使显示的图像更为逼真,从而提高了用户使用体验的技术效果。
本公开实施例所提供的绘制图像装置可执行本公开任意实施例所提供的绘制图像方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
实施例六
图6为本公开实施例六所提供的一种电子设备的结构示意图。下面参考图6,其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置606;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置606被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的图像绘制方法属于同一公开构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
实施例七
本公开实施例七提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的图像绘制方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
获取目标相机关联信息和目标光源关联信息;
根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种图像绘制方法,该方法包括:
获取目标相机关联信息和目标光源关联信息;
根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
根据本公开的一个或多个实施例,【示例二】提供了一种图像绘制方法,还包括:
可选的,所述相机关联信息包括相机位置和朝向信息,所述光源关联信息包括光源位置和光源的光照方向。
根据本公开的一个或多个实施例,【示例三】提供了一种图像绘制方法,还包括:
基于预设采样点确定程序,对所述目标相机关联信息以及所述目标光源关联信息进行处理,确定每条光线上的至少一个待处理采样点;
基于所述目标物体属性确定模型对所述至少一个待处理采样点进行处理,得到与每个采样点相对应的待选择体素关联信息;
根据各待选择体素关联信息,确定目标体素关联信息。
根据本公开的一个或多个实施例,【示例四】提供了一种图像绘制方法,还包括:
可选的,所述目标体素关联信息至少包括体素的颜色信息以及光量信息。
根据本公开的一个或多个实施例,【示例五】提供了一种图像绘制方法,还包括:
可选的,所述光量信息包括光线打在体素上的反射亮度值,以及所述光线从内部折射出的折射亮度值。
根据本公开的一个或多个实施例,【示例六】提供了一种图像绘制方法,还包括:
根据各体素的目标体素关联信息,确定与目标物体相对应的内部结构信息;
基于所述内部结构信息,绘制与所述目标物体相对应的目标结构图像。
根据本公开的一个或多个实施例,【示例七】提供了一种图像绘制方法,还包括:
训练得到所述目标物体属性确定模型;
可选的,获取多个训练样本,其中,每个训练样本中包括待训练关联参数,以及与所述待训练关联参数相对应的理论绘制图像,所述训练关联参数中包括待训练相机参数和待训练光源参数;
针对各训练样本,将当前训练样本中的待训练关联参数输入至待训练物体属性确定模型中,得到与所述待训练关联参数相对应的实际绘制图像;
基于所述实际绘制图像和所述当前训练样本中的理论绘制图像,确定误差值;
基于误差值所述待训练物体属性确定模型中的预设损失函数,对所述待训练物体属性确定模型进行参数修正;
将所述预设损失函数收敛作为训练目标,得到所述目标物体属性确定模型。
根据本公开的一个或多个实施例,【示例八】提供了一种图像绘制方法,还包括:
确定与所述待训练关联参数相对应的至少一个待训练采样点信息;
将所述至少一个待训练采样点信息输入至所述待训练物体属性确定模型中,得到与所述至少一个待训练采样点相对应的待训练颜色信息和待训练光量信息;
基于所述待训练颜色信息和所述待训练光量信息,绘制与目标物体相对应的实际绘制图像。
根据本公开的一个或多个实施例,【示例九】提供了一种图像绘制装置,包括:
目标关联信息获取模块,用于获取目标相机关联信息和目标光源关联信息;
目标体素关联信息确定模块,用于根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
目标结构图像绘制模块,用于根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (11)

1.一种图像绘制方法,其特征在于,包括:
获取目标相机关联信息和目标光源关联信息;
根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
2.根据权利要求1所述的方法,其特征在于,所述相机关联信息包括相机位置和朝向信息,所述光源关联信息包括光源位置和光源的光照方向。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息,包括:
基于预设采样点确定程序,对所述目标相机关联信息以及所述目标光源关联信息进行处理,确定每条光线上的至少一个待处理采样点;
基于所述目标物体属性确定模型对所述至少一个待处理采样点进行处理,得到与每个采样点相对应的待选择体素关联信息;
根据各待选择体素关联信息,确定目标体素关联信息。
4.根据权利要求1-3中任一所述的方法,其特征在于,所述目标体素关联信息至少包括体素的颜色信息以及光量信息。
5.根据权利要求4所述的方法,其特征在于,所述光量信息包括光线打在体素上的反射亮度值,以及所述光线从内部折射出的折射亮度值。
6.根据权利要求1所述的方法,其特征在于,所述根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像,包括:
根据各体素的目标体素关联信息,确定与目标物体相对应的内部结构信息;
基于所述内部结构信息,绘制与所述目标物体相对应的目标结构图像。
7.根据权利要求1所述的方法,其特征在于,还包括:
训练得到所述目标物体属性确定模型;
所述训练得到所述目标物体属性确定模型,包括:
获取多个训练样本,其中,每个训练样本中包括待训练关联参数,以及与所述待训练关联参数相对应的理论绘制图像,所述训练关联参数中包括待训练相机参数和待训练光源参数;
针对各训练样本,将当前训练样本中的待训练关联参数输入至待训练物体属性确定模型中,得到与所述待训练关联参数相对应的实际绘制图像;
基于所述实际绘制图像和所述当前训练样本中的理论绘制图像,确定误差值;
基于误差值所述待训练物体属性确定模型中的预设损失函数,对所述待训练物体属性确定模型进行参数修正;
将所述预设损失函数收敛作为训练目标,得到所述目标物体属性确定模型。
8.根据权利要求7所述的方法,其特征在于,所述将当前训练样本中的待训练关联参数输入至待训练物体属性确定模型中,得到与所述待训练关联参数相对应的实际绘制图像,包括:
确定与所述待训练关联参数相对应的至少一个待训练采样点信息;
将所述至少一个待训练采样点信息输入至所述待训练物体属性确定模型中,得到与所述至少一个待训练采样点相对应的待训练颜色信息和待训练光量信息;
基于所述待训练颜色信息和所述待训练光量信息,绘制与目标物体相对应的实际绘制图像。
9.一种图像绘制装置,其特征在于,包括:
目标关联信息获取模块,用于获取目标相机关联信息和目标光源关联信息;
目标体素关联信息确定模块,用于根据所述目标相机关联信息、所述目标光源关联信息以及预先训练好的目标物体属性确定模型,确定目标物体中各体素的目标体素关联信息;
目标结构图像绘制模块,用于根据各目标体素关联信息,绘制与目标物体相对应的目标结构图像。
10.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像绘制方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的图像绘制方法。
CN202111389280.6A 2021-11-22 2021-11-22 图像绘制方法、装置、电子设备和存储介质 Pending CN116168141A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111389280.6A CN116168141A (zh) 2021-11-22 2021-11-22 图像绘制方法、装置、电子设备和存储介质
PCT/CN2022/133161 WO2023088458A1 (zh) 2021-11-22 2022-11-21 图像绘制方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389280.6A CN116168141A (zh) 2021-11-22 2021-11-22 图像绘制方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116168141A true CN116168141A (zh) 2023-05-26

Family

ID=86396302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389280.6A Pending CN116168141A (zh) 2021-11-22 2021-11-22 图像绘制方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN116168141A (zh)
WO (1) WO2023088458A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781194A (en) * 1996-08-29 1998-07-14 Animatek International, Inc. Real-time projection of voxel-based object
CN106023300B (zh) * 2016-05-09 2018-08-17 深圳市瑞恩宁电子技术有限公司 一种半透明材质的体渲染方法和***
CN112927363B (zh) * 2021-04-07 2024-06-18 Oppo广东移动通信有限公司 体素地图构建方法及装置、计算机可读介质和电子设备
CN113643416A (zh) * 2021-08-13 2021-11-12 重庆中烟工业有限责任公司 三维图像体绘制方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023088458A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
US10347042B2 (en) Importance sampling of sparse voxel octrees
US11276244B2 (en) Fixing holes in a computer generated model of a real-world environment
CN111753698A (zh) 一种多模态三维点云分割***和方法
CN108010118A (zh) 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备
CN110084873B (zh) 用于渲染三维模型的方法和装置
CN111292406B (zh) 模型渲染方法、装置、电子设备及介质
US9626791B2 (en) Method for representing a participating media in a scene and corresponding device
CN115656189B (zh) 基于光度立体与深度学习算法的缺陷检测方法及装置
CN109816791B (zh) 用于生成信息的方法和装置
CN115082628B (zh) 一种基于隐式光传输函数的动态绘制方法和装置
CN116168141A (zh) 图像绘制方法、装置、电子设备和存储介质
CN116258756A (zh) 一种自监督单目深度估计方法及***
CN115695685A (zh) 特效处理方法、装置、电子设备及存储介质
CN114245907A (zh) 自动曝光的光线追踪
WO2023088348A1 (zh) 绘制图像的方法、装置、电子设备及存储介质
CN116152426A (zh) 绘制图像的方法、装置、电子设备及存储介质
CN116168142A (zh) 绘制三维视图的方法、装置、电子设备及存储介质
CN117173314B (zh) 一种图像处理方法、装置、设备、介质及程序产品
Helmrich et al. A scalable pipeline to create synthetic datasets from functional–structural plant models for deep learning
CN117274473B (zh) 一种多重散射实时渲染的方法、装置及电子设备
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置
US20240177401A1 (en) Ray tracing with shared traversal
CN114972613A (zh) 虚拟角色的瞳孔处理方法、装置、设备及存储介质
WO2024118175A1 (en) Ray tracing with shared traversal
CN117876565A (zh) 一种路面三维重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination