CN116168142A - 绘制三维视图的方法、装置、电子设备及存储介质 - Google Patents

绘制三维视图的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116168142A
CN116168142A CN202111389308.6A CN202111389308A CN116168142A CN 116168142 A CN116168142 A CN 116168142A CN 202111389308 A CN202111389308 A CN 202111389308A CN 116168142 A CN116168142 A CN 116168142A
Authority
CN
China
Prior art keywords
processed
target
image
information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111389308.6A
Other languages
English (en)
Inventor
王光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111389308.6A priority Critical patent/CN116168142A/zh
Priority to PCT/CN2022/133088 priority patent/WO2023088453A1/zh
Publication of CN116168142A publication Critical patent/CN116168142A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供了一种绘制三维视图的方法、装置、电子设备及存储介质，该方法包括：获取多幅待处理图像以及所述待处理图像的拍摄属性信息；针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。本公开实施例实现了基于物体属性和相机信息，提高物体三维视图绘制的准确性。

Description

绘制三维视图的方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及计算机技术领域，尤其涉及一种绘制三维视图的方法、装置、电子设备及存储介质。
背景技术
图像绘制是图形学中比较重要的研究方向之一，传统的图像绘制方法一般是基于多视角技术进行虚拟视角的合成，通过获取物体的纹理图像和和深度图像，利用已有视角的纹理图像和深度图像来合成物体新的视角图像。
然而，在对物体进行绘制的过程中，存在绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题。
发明内容
本公开实施例提供一种绘制三维视图的方法、装置、电子设备及存储介质，以实现了绘制出的视图与实际物体的视图较为统一，从而提高图像绘制准确性的技术效果。
第一方面，本公开实施例提供了一种绘制三维视图的方法，该方法包括：
获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
第二方面，本公开实施例还提供了一种绘制三维视图的装置，该装置包括：
拍摄属性信息获取模块，用于获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
目标球谐光照获取模块，用于针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
目标物体属性信息获取模块，用于针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
目标三维视图确定模块，用于根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
第三方面，本公开实施例还提供了一种电子设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的绘制三维视图的方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例任一所述的绘制三维视图的方法。
本公开实施例通过先获取多幅待处理图像以及待处理图像的拍摄属性信息，根据目标光照估计模型对待处理图像进行处理得到目标球谐光照信息，再根据目标物体属性确定模型对拍摄属性信息进行处理，得到目标物体的物体属性信息，最后基于各待处理图像的目标球谐光照以及物体属性信息，可以绘制出相应的目标图像，进而基于各目标图像绘制出相应的三维视图，解决了现有技术中绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题，实现了在绘制图像的过程中，不仅考虑光源信息还考虑相机位置信息，从而确定出相应为光源位置以及目标物体的材质参数信息，进而基于上述信息准确的绘制出与目标物体相对应的三维视图，提高了视图绘制的准确性，在将较为准确的三维视图展示在显示界面上，可以提高用户体验的技术效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种绘制三维视图的方法的流程示意图；
图2为本公开实施例二所提供的一种绘制三维视图的方法的流程示意图；
图3为本公开实施例三所提供的一种绘制三维视图的方法的流程示意图；
图4为本公开实施例四所提供的一种绘制三维视图的方法的流程示意图；
图5为本公开实施例五所提供的一种绘制三维视图的装置的结构框图；
图6为本公开实施例六所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
实施例一
图1为本公开实施例一所提供的一种绘制三维视图的方法的流程示意图，本实施例可适用于绘制与目标物体相对应的三维视图的情形，该方法可以由绘制三维视图装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，如移动终端、PC端或服务器等。
如图1，本实施例的方法包括：
S110、获取多幅待处理图像以及所述待处理图像的拍摄属性信息。
其中，待处理图像可以有一幅也可以有多幅。待处理图像的数量与绘制出的三维视图的准确性存在相应的关系。可选的，待处理图像的数量包括多幅。每幅待处理图像均可以是从某个特定的视角对特定的物体进行拍摄后得到的图像。同时，待处理图像可以反映目标物体在不同环境状态下的形状、纹理以及结构信息。可以将待处理图像中包括的物体作为目标物体。拍摄属性信息可以理解对目标物体拍摄时的拍摄视角信息和位置信息。
还需要说明的是，拍摄属性信息可以是拍摄视角，拍摄视角可以是至少三个维度的参数来表示，优选的，可以采用六个维度的参数，其中，3个三维用于表示拍摄相机的位置信息，3个参数用于表示拍摄相机的旋转角度信息。
还需要说明的是，为了实现拍摄图像的便捷性，可以将摄像装置固定设置在旋转球体上，旋转中心放置目标物体，通过转动旋转球体，可以得到不同视角下目标物体的图像。
在本实施例中，获取多幅待处理图像以及待处理图像的拍摄属性信息的方式有多种。第一种方式可以是：每拍摄得到一个视角下的待处理图像后，将其存储至缓存空间中。在得到多个视角下的待处理图像后，依次对缓存空间中的各个待处理图像进行处理，以得到相应的目标图像，进而得到相应的目标三维示意图。另一种处理方式可以是摄像装置与相应的电子设备相通信，电子设备可以执行本公开实施例所提供的方案，将摄像装置拍摄的待处理图像发送至电子设备，进而基于电子设备对待处理图像处理，以得到每一幅待处理图像所对应的目标图像。
在本实施例中，对待处理图像进行处理的具体处理方式在此不做限定，只需要能够实现本公开实施例的技术方案即可。
在本实施例中，所述获取多幅待处理图像以及所述待处理图像的拍摄属性信息，包括：确定与所述待处理图像相对应的相机视角，并将所述相机视角作为所述待处理图像的拍摄属性信息。
其中，相机视角可以理解为拍摄属性信息，可以利用摄像装置在不同拍摄角度下对目标物体进行拍摄，可以将拍摄角度可以作为拍摄的属性信息，即相机视角。如，当利用摄像装置对目标物体进行拍摄时，可以将目标物体固定，同时以目标物体为圆心以一定长度为半径做圆，并将摄像装置作为半径的终点，调整各摄像装置拍摄目标物体的拍摄角度，以得到包括目标无图的待处理图像。在得到每一幅待处理图像的同时，可以基于与待处理图像所对应的拍摄属性信息，即将待处理图像和拍摄属性信息作为一组数对，以便后续用于确定与待处理图像相对应的目标图像。
S120、针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照。
其中，目标光照估计模型可以是预先训练好的，用于确定每个待处理图像的球谐光照信息。球谐光照信息可以理解为目标物体周围环境光的信息，如，可以对目标物体周围的环境光进行采样，将采样信息划分为预设数量的系数，进而通过图像渲染技术，使用预设数量的系数信息对光照进行表示，可以将获取的系数表示信息作为目标物体的球谐光照。球谐光照信息可以包括光的几何信息、颜色、能量以及速度等信息。
需要说明的是，可以将每个待处理图像依次输入至目标光照估计模型中，得到与每个待处理图像相对应的球谐光照，将每个待处理图像的球谐光照均作为目标球谐光照。为了清楚的介绍本技术方案，后续可以以对其中一幅待处理图像处理为例来介绍。相应的，将当前正在对其处理的图像作为当前待处理图像。
在实际应用中，基于目标光照估计模型对待处理图像进行处理可以是，将当前待处理图像作为目标光照估计模型的输入，目标光照估计模型可以输出与当前待处理图像相对应的光照估计信息，此时的光照估计信息可以为目标球谐光照信息。
可选的，所述基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照，包括：将所述当前待处理图像作为所述目标光照估计模型的输入参数，得到与所述当前待处理图像相对应的目标球谐光照。
其中，输入参数可以理解为从***外部向目标光照估计模型中输入光照估计信息的一组变量参数。在本提案中，输入参数为当前待处理图像。将当前待处理图像作为目标光照估计模型的输入参数，模型可以输出当前待处理图像中对应的光照的几何信息、颜色、能量或者速度等信息，可以将这些光照信息作为目标球谐光照。
示例性的，将玉石在三种光照效果下的待处理图像，依次输入至目标光照估计模型中，可以得到与待处理图像对应光照的几何信息、颜色、能量和/或速度等，即目标球谐光照信息。
S130、针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息。
需要说明的是，对每一幅待处理图像的处理方式都可以采用上述方式，为了清楚的介绍本技术方案，可以以对其中一幅图像处理为例来介绍。相应的，将当前正在对其进行处理的图像作为当前待处理图像。
其中，目标物体属性确定模型可以是预先训练得到的深度学习模型，用于对待处理图像进行处理，并输出对应的结果。输出的结果可以是目标物体属性信息。
在本实施例中，目标物体属性信息可以从多个维度反应目标物体在现实中所呈现效果的参数信息，包括目标物体的材质信息、形状信息(几何信息)、颜色、纹理、光滑度以及透明度等参数信息。继续以上述示例进行说明，如，目标物体可以是玉石，当确定出与玉石相对应的至少三幅待处理图像，并记录每张待处理图像的拍摄参数信息。可以将当前待处理图像对应的拍摄属性信息作为目标物体属性确定模型的输入参数，目标物体属性确定模型可以输出与当前待处理图像中玉石的材质信息、颜色、纹理以及透明度等信息。
需要说明的是，在确定与各待处理图像相对应的目标物体属性信息后，可以将这些信息存储在特定的存储库中，并打上对应的标记，从而在后续的图像处理过程中直接调用，提高了数据调用便捷性的技术效果。
在本实施例中，所述目标物体属性信息中至少包括体素位置信息、色彩信息以及材质参数信息，所述基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息，包括：将当前待处理图像的拍摄属性信息中的相机视角作为所述目标物体属性确定模型的输入参数，至少得到当前待处理图像中目标物体的体素位置信息、色彩信息以及材质参数信息。
其中，体素可以理解为是目标物体的体积信息于三维空间分割上的最小单位，可以用一个具有相应值的三维阵列来描述，体素位置信息可以理解为目标物体的体素在三维空间中的位置信息，如，目标物体可以为半透明玉石，三维空间可以是半透明玉石对应的一个三维数据场，可以根据计算机程序进行编译获得一系列的玉石图像的切片数据，把这些切片数据按照位置和角度等信息进行规则化处理，然后就形成一个三维空间中由均匀网格组成的规则的数据场，网格上的每个节点描述了玉石中某个结构对象的密度等属性信息，可以将相邻层之间的对应的八个节点包围的小立方体作为三维数据场中的最小单位，即表示为体素，该小立方体的位置为体素位置，各体素信息可以用来表征半透明玉石中的各结构对象，相应的，对象的所有的体素信息可以描述对象的内部结构。色彩信息可以理解为目标物体在光线照射下各体素的颜色信息，如，可以用RGB颜色对各体素的颜色信息进行表示，如，通过红(R)、绿(G)、蓝(B)三个颜色通道的变化以及三个颜色相互之间的叠加来得到各体素的颜色信息，并作为目标物体属性信息中的色彩信息，材质参数信息是指目标物体中结构的粗糙度、金属度以及各向异性度。需要说明的是，可以将目标物体的体素位置信息、色彩信息以及材质参数信息作为目标物体属性信息，但目标物体属性信息中可以包括但不限于这些属性信息。
S140、根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
其中，目标图像可以理解为通过目标球谐光照和目标物体属性信息绘制出来的图像，如，可以基于目标物体属性信息中的体素位置信息、色彩信息和材质参数信息以及目标球谐光照，并利用某种建模技术将目标物体中各体素结构绘制出来，进而得到目标物体对应的目标图像。目标三维视图可以理解为用户看到的目标物体的图像，通常，用户看到真实世界中的物体多为立体的，相应的，为了使显示在显示界面上的图像与用户所看到的图像是相一致的，可以绘制出三维视图。
在本实施例中，可以在将当前待处理图像输入至目标光照估计模型，得到目标球谐光照之后，可以将当前待处理图像输入至目标物体属性确定模型中，以得到与待处理图像相对应的目标物体属性信息。当然，也可以是在的得到所有待处理图像的球谐光照后，再确定各待处理图像的目标物体属性信息。其具体的处理顺序和处理方式在此不做限定，只要能够得到每一幅待处理图像的目标球谐光照和物体属性信息即可。
还需要说明的是，在确定与每一幅待处理图像相对应的目标图像时，需要对同一幅待处理图像的目标球谐光照和目标物体属性信息进行处理，以得到相应的目标图像。
具体的，基于渲染器对每一幅待处理图像的目标球谐光照和目标物体属性信息进行处理，以得到与该待处理图像相对应的目标图像。为了得到与目标物体相对应的三维视图，可以对各目标图像进行融合处理，得到与目标物体相对应的目标三维视图。
本公开实施例通过先获取多幅待处理图像以及待处理图像的拍摄属性信息，根据目标光照估计模型对待处理图像进行处理得到目标球谐光照信息，再根据目标物体属性确定模型对拍摄属性信息进行处理，得到目标物体的物体属性信息，最后基于各待处理图像的目标球谐光照以及物体属性信息，可以绘制出相应的目标图像，进而基于各目标图像绘制出相应的三维视图，解决了现有技术中绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题，实现了在绘制图像的过程中，不仅考虑光源信息还考虑相机位置信息，从而确定出相应为光源位置以及目标物体的材质参数信息，进而基于上述信息准确的绘制出与目标物体相对应的三维视图，提高了视图绘制的准确性，在将较为准确的三维视图展示在显示界面上，可以提高用户体验的技术效果。
实施例二
图2为本公开实施例二所提供的一种绘制三维视图的方法的流程示意图，在前述实施例的基础上，对S140做进一步的细化。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示，该方法具体包括如下步骤：
S210、获取多幅待处理图像以及所述待处理图像的拍摄属性信息。
S220、针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照。
S230、针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息。
S240、针对各待处理图像，根据与当前待处理图像相对应的目标物体属性信息中的体素位置信息，确定与每个体素位置信息相对应的目标法向信息。
其中，目标法向信息可以理解为目标物体中每个点的法线方向信息，可以通过在物体凹凸表面的每个点上作法线，通过RGB颜色通道来标记法线的方向，可以将这些法向方向信息作为物体的目标法向信息。在实际应用的过程中，法向信息可以生成法向图，法向图可以用来表示物体的高细节结构的精确光照方向和反射效果等信息，由此，为了利用法向信息，使绘制的目标三维视图更准确，可以获取每个体素位置信息对应的法向信息，示例性的，当获取到各待处理图像的拍摄属性信息时，可以取任意一幅待处理图像作为当前待处理图像进行说明，如，将当前待处理图像的拍摄属性信息中的相机视角作为目标物体属性确定模型的输入参数，得到当前待处理图像中目标物体的体素位置信息，进而，可以与将目标物体通过映射烘焙出法向信息的法向图进行匹配查找，确定每个体素位置信息对应的法向信息，将确定的法向信息作为目标法向信息，后续可以利用目标法向信息对目标物体进行高精度的渲染表示，可以使其表面拥有光影分布的渲染效果。
在本实施例中，确定每个体素位置所对应的目标法向信息，可以通过对相邻的体素位置信息求微信，以得到与每个体素位置信息相对应的目标法向信息，从而基于每个体素位置信息所对应的目标法向信息，确定与相应的法向图。
S250、根据各待处理图像的目标球谐光照、目标法向信息、色彩信息以及材质参数信息，绘制相应待处理图像的目标图像。
在得到每一幅待处理图像的上述信息后，可以基于上述信息和相应待处理图像的目标球谐光照，绘制出与每一幅待处理图像相对应的目标图像。
也就是说，可以对每一幅待处理图像相对应的目标球谐光照、目标法向信息、材质参数信息以及色彩信息，来确定出与每一幅待处理图像相对应的目标图像。
S260、通过对各目标图像融合处理，得到与所述待处理图像中目标物体的目标三维视图。
其中，融合处理可以包括图像的法向信息融合、色彩信息融合以及材质参数信息融合，在确定出待处理图像对应的各目标图像后，即可执行图像融合操作。
具体的，可以将各目标图像经过图像融合算法将各目标图像进行融合，图像融合算法可以为PCA算法，也可以为小波变换算法，此处对图像融合算法不做限定，进而，可以通过某种建模技术生成待处理图像中目标物体的目标三维视图，再连接计算机服务器将目标三维视图进行展示。
本公开实施例通过先获取多幅待处理图像以及待处理图像的拍摄属性信息，根据目标光照估计模型对待处理图像进行处理得到目标球谐光照信息，再根据目标物体属性确定模型对拍摄属性信息进行处理，得到目标物体的物体属性信息，最后基于各待处理图像的目标球谐光照以及物体属性信息，可以绘制出相应的目标图像，进而基于各目标图像绘制出相应的三维视图，解决了现有技术中绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题，实现了在绘制图像的过程中，不仅考虑光源信息还考虑相机位置信息，从而确定出相应为光源位置以及目标物体的材质参数信息，进而基于上述信息准确的绘制出与目标物体相对应的三维视图，提高了视图绘制的准确性，在将较为准确的三维视图展示在显示界面上，可以提高用户体验的技术效果。
实施例三
图3为本公开实施例三所提供的一种绘制三维视图的方法的流程示意图，在前述实施例的基础上，在获取多幅待处理图像以及待处理图像的拍摄属性信息之前，可以预先训练待训练光照估计模型，得到目标光照估计模型。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示，该方法具体包括如下步骤：
S310、根据至少一个三维模型，确定各相机视角下的第一待训练图像，并基于所述第一待训练图像和相应的相机视角，得到训练样本集中的各第一训练样本。
其中，三维模型可以理解为任意特定物体的多边形立体表示模型。模型可以包括网格和纹理，网格可以由物体的众多点云表示，通过点云形成三维模型网格，点云可以包括三维坐标、激光反射强度和颜色信息，纹理可以包括物体表面的纹理即使物体表面呈现凹凸不平的沟纹，同时也包括在物体的光滑表面上的彩色图案。示例性的，在实际应用中，特定物体可以为半透明玉石，可以通过利用某种建模技术扫描玉石表面上的纹理信息，再将纹理映射到模型的网格中，得到各个网格上的纹理映射，最终形成玉石的三维模型，后续可以利用三维模型获取待训练光照估计模型的训练样本。
为了提高模型训练的准确性，可以获取不同相机视角下拍摄的三维模型的图像，将拍摄获取的图像作为第一待训练图像。所有第一待训练图像的总和构成了训练样本集。即训练样本集中包括多个第一待训练图像。第一待训练图像只是相对而言的，并不是对其做的具体限定。同时记录拍摄每幅第一待训练图像时的相机视角信息。为了提高训练得到的模型的准确性，可以尽可能多而丰富的获取第一待训练图像。每一个第一训练样本中包括第一待训练图像以及拍摄第一待训练图像所对应的相机视角。相应的，训练样本集中可以包括多个第一训练样本。
S320、针对各第一训练样本，将当前第一训练样本中的第一待训练图像输入至待训练光照估计模型中，得到与所述当前第一训练样本相对应的实际球谐光照。
需要说明的是，针对每个第一训练样本，都可以采用S320此种方式对其进行训练，从而得到所需要的目标光照估计模型。
其中，待训练光照估计模型为模型中的模型参数为初始参数，或者默认参数的模型。实际球谐光照是将当前第一训练样本中的第一训练图像输入至待训练光照估计模型后，输出的球谐光照。
需要说明的，待训练光照估计模型中的模型参数并不符合预期要求，因此，基于此时的模型参数输出的实际球谐光照与理论球谐光照是存在一定的差异的，因此可以基于每一幅待处理图像所对应的实际球谐光照和理论球谐光照，可以确定出相应的误差损失值。
在本实施例中，该待训练光照估计模型可以为resnet网络模型。需要说明的是，主要可以得到与待处理图像相对应的球谐光照即可，即具体的模型类型不做具体限定。
S330、基于所述待训练光照估计模型中的第一预设损失函数对所述当前第一训练样本的实际球谐光照和相机视角进行损失处理，以根据得到的损失值对所述待训练光照估计模型中的模型参数进行修正。
需要说明的是，在对待训练光照估计模型进行训练之前可以将训练参数设置为默认值。在对待训练光照估计模型训练时，可以基于待训练光照估计模型的输出结果修正模型中的训练参数，也就是说，可以通过对待训练光照估计模型中的损失函数进行修正，来得到目标光照估计模型。每一幅待处理图像都存在一个与其相对应的损失值，该损失值是基于各待处理图像的实际球谐光照和相机视角确定的。
具体的，在将第一训练样本中的第一待训练图像输入至待训练光照估计模型中之后，待训练光照估计模型可以得到与第一待训练图像相对应的实际球谐光照。根据该实际球谐光照和相机视角，可以确定该第一待训练图像所对应的损失值，可以采用反向传递法修正待训练光照估计模型中的模型参数。
S340、将所述第一预设损失函数收敛作为训练目标，得到所述目标光照估计模型。
其中，目标光照估计模型为最终训练得到的，用于确定待处理图像的目标球谐光照的模型。
具体的，可以将损失函数的训练误差，即损失参数作为检测损失函数当前是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定，表明待训练光照估计模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取第一训练样本对待训练光照估计模型进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，可以将待训练光照估计模型作为目标光照估计模型。
S350、获取多幅待处理图像以及所述待处理图像的拍摄属性信息。
S360、针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照。
S370、针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息。
S380、根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
本公开实施例的技术方案，可以预先训练得到目标光照估计模型，进而基于目标光照估计模型对各待处理图像进行处理，以得到各待处理图像所对应的目标球谐光照，进而基于目标球谐光照，和相应待处理图像的目标物体属性信息，确定与待处理图像所对应的目标图像，提高了确定出目标图像的准确性和便捷性的技术效果。
实施例四
图4为本公开实施例四所提供的一种绘制三维视图的方法的流程示意图，在前述实施例的基础上，可以基于训练得到目标光照估计模型，训练得到目标物体属性信息确定模型，其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图4所示，该方法具体包括如下步骤：
S410、获取多幅相机视角的第二待训练图像，并基于所述第二待训练图像和相应的相机视角确定各第二训练样本。
需要说明的是，第一训练样本中的第一待训练图像和第二训练样本中的第二待训练图像可以相同也可以不同，在本实施例中不做具体限定，主要可以参与模型训练，并最终得到想要的模型即可。
其中，第二待训练图像是不同相机视角下拍摄目标物体时所得到的图像。同时，可以记录拍摄第二待训练图像的相机视角。可以将第二待训练图像和相应的相机视角作为第二训练样本。第二训练样本和第一训练样本是相对而言的，只是将参与不同模型训练的样本进行了区分。为了提高训练得到的模型的准确性，可以尽可能多而丰富的获取多个第二训练样本。
S420、针对各第二训练样本，将当前第二训练样本中的相机视角作为待训练物体属性确定模型的输入参数，得到与所述当前第二训练样本相对应的实际体素位置信息、实际色彩信息以及实际材质参数信息。
需要说明的是，针对每个第二练样本，都可以采用S420此种方式对其进行训练，从而得到所需要的目标属性信息确定模型。
其中，待训练物体属性确定模型为模型中的模型参数为初始参数，或者默认参数的模型。实际体素位置信息、实际色彩信息以及实际材质参数信息是将第二训练样本中的第二训练图像输入至待训练光照估计模型后，实际输出的参数信息。
需要说明的，待训练物体属性确定模型中的模型参数并不符合预期要求，因此，基于此时的模型参数输出的实际体素位置信息、实际色彩信息以及实际材质参数信息，与第二待训练图像所对应的理论属性信息是存在一定的差异的，因此可以基于每一幅待处理图像所对应的实际属性信息和理论属性信息，可以确定出相应的误差损失值。
在本实施例中，待训练物体属性确定模型可以为MLP(multi layer perceptron，多层感知器)模型。
其中，实际体素位置信息是指待训练物体属性确定模型输出的目标物体的体素位置信息，实际色彩信息是指待训练物体属性确定模型输出的目标物体的体素色彩信息，实际材质参数信息是指待训练物体属性确定模型输出的目标物体的材质参数信息，示例性的，获取半透明玉石的多幅第二待训练图像以及相应的相机参数信息。
针对各第二待训练图像，可以将当前第二待训练图像的相机视角信息输入至待训练物体属性确定模型中，模型可以输出为当前第二待训练图像对应的玉石的体素位置信息、色彩信息以及材质参数信息，可以将体素位置信息作为实际体素位置信息，将色彩信息作为实际色彩信息，以及将材质参数信息作为实际材质参数信息。由于此时待训练物体属性确定模型中的模型参数并不是最佳参数，因此模型输出的信息与玉石的理论属性信息是存在一定的差异的。
S430、将所述当前第二训练样本中的第二待训练图像输入至所述目标光照估计模型中，得到与所述当前第二训练样本相对应的待使用球谐光照。
为了后续确定待训练物体属性确定模型的准确性，可以先确定与第二待训练图像所对应的球谐光照。进而基于球谐光照和待训练物体属性确定模型输出的实际属性信息，确定绘制出相应的图像，进而基于绘制的图像和相应的第二待训练图像对模型的模型参数进行修正。
其中，目标光照估计模型是预先训练好的模型，相应的，将基于目标光照估计模型度第二待训练图像处理后得到的球谐光照作为待使用球谐光照。
S440、根据当前第二训练样本的第二待训练图像、待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，对所述待训练物体属性确定模型中的模型参数进行修正。
在本实施例中，可以基于当前第二训练样本对应的待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，利用建模技术将这些信息进行处理，可以绘制出与当前第二训练样本对应的实际图像。由于待训练物体属性确定模型中的模型参数是未完全修正的，那么，绘制出的实际图像与相应的第二待训练图像也是存在相应差异的。基于实际绘制出的图像和相应的第二待训练图像，可以确定出误差值，进而基于误差值可以修正待训练物体属性确定模型中的模型参数。
示例性的，当前第二训练样本中的相机视角输入待训练物体属性确定模型中，得到当前第二训练样本相对应的实际体素位置信息、实际色彩信息以及实际材质参数信息，再将当前第二训练样本中的第二待训练图像输入目标光照估计模型中，得到当前第二训练样本相对应的待使用球谐光照，利用获取的当前第二训练样本对应的待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息可以绘制出一幅图像，与当前第二训练样本中的第二待训练图像进行比较，计算出误差值，进而基于误差值调整模型中的模型参数。。
可选的，根据当前第二训练样本的待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，绘制与所述当前第二训练样本相对应的实际图像；基于所述待训练物体属性确定模型中的第二预设损失函数对当前第二训练样本的第二待训练绘制图像和所述实际图像进行损失处理，以根据得到的损失结果对所述待训练物体属性确定模型的模型参数进行修正。
其中，实际图像为基于模型的实际输出绘制出的图像。
S450、将所述待训练物体属性确定模型中的第二预设损失函数收敛作为训练目标，得到所述目标物体属性确定模型。
其中，目标物体属性确定模型为最终训练得到的，用于确定待处理图像的物体属性信息。
具体的，可以将损失函数的训练误差，即损失参数作为检测损失函数当前是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定，表明待训练物体属性确定模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取第一训练样本对待训练物体属性确定模型进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，可以将待训练物体属性确定模型作为目标物体属性确定模型。
S460、获取多幅待处理图像以及所述待处理图像的拍摄属性信息。
S470、针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照。
S480、针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息。
S490、根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
本公开实施例的技术方案，可以预先训练得到目标物体属性确定模型，进而基于目标物体属性确定模型对各待处理图像的相机视角进行处理，以得到各待处理图像所对应的物体属性信息，进而基于目标球谐光照，和相应待处理图像的目标物体属性信息，确定与待处理图像所对应的目标图像，提高了确定出目标图像的准确性和便捷性的技术效果。
实施例五
图5为本公开实施例五所提供的一种绘制三维视图的装置的结构框图，可执行本公开任意实施例所提供的图像绘制方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置具体包括：拍摄属性信息获取模块510、目标球谐光照获取模块520、目标物体属性信息获取模块530以及目标三维视图确定模块540。
拍摄属性信息获取模块510，用于获取多幅待处理图像以及所述待处理图像的拍摄属性信息；目标球谐光照获取模块520，用于针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；目标物体属性信息获取模块530，用于针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；目标三维视图确定模块540，用于根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
在上述装置的基础上，所述拍摄属性信息获取模块510包括拍摄属性信息确定单元。
拍摄属性信息确定单元，用于确定与所述待处理图像相对应的相机视角，并将所述相机视角作为所述待处理图像的拍摄属性信息。
在上述装置的基础上，所述目标球谐光照获取模块520具体用于，将所述当前待处理图像作为所述目标光照估计模型的输入参数，得到与所述当前待处理图像相对应的目标球谐光照。
在上述装置的基础上，可选的，所述目标物体属性信息获取模块530具体用于，所述目标物体属性信息中包括体素位置信息、色彩信息以及材质参数信息，将当前待处理图像的拍摄属性信息中的相机视角作为所述目标物体属性确定模型的输入参数，至少得到当前待处理图像中目标物体的体素位置信息、色彩信息以及材质参数信息。
在上述装置的基础上，所述目标三维视图确定模块540包括目标法向信息确定单元以及目标图像确定单元。
目标法向信息确定单元，用于针对各待处理图像，根据与当前待处理图像相对应的目标物体属性信息中的体素位置信息，确定与每个体素位置信息相对应的目标法向信息；
目标图像确定单元，用于根据各待处理图像的目标球谐光照、目标法向信息、色彩信息以及材质参数信息，绘制相应待处理图像的目标图像。
在上述装置的基础上，可选的，所述目标三维视图确定模块540还包括目标三维视图获取单元。
目标三维视图获取单元，用于通过对各目标图像融合处理，得到与所述待处理图像中目标物体的目标三维视图。
在上述装置的基础上，所述装置还包括目标光照估计模型训练模块，其中，所述目标光照估计模型训练模块包括第一训练样本确定单元、实际球谐光照确定单元、模型参数修正单元以及目标光照估计模型确定单元。
第一训练样本确定单元，用于根据至少一个三维模型，确定各相机视角下的第一待训练图像，并基于所述第一待训练图像和相应的相机视角，得到训练样本集中的各第一训练样本；
实际球谐光照确定单元，用于针对各第一训练样本，将当前第一训练样本中的第一待训练图像输入至待训练光照估计模型中，得到与所述当前第一训练样本相对应的实际球谐光照；
模型参数修正单元，用于基于所述待训练光照估计模型中的第一预设损失函数对所述当前第一训练样本的实际球谐光照和相机视角进行损失处理，以根据得到的损失值对所述待训练光照估计模型中的模型参数进行修正；
目标光照估计模型确定单元，用于将所述第一预设损失函数收敛作为训练目标，得到所述目标光照估计模型。
在上述装置的基础上，所述装置还包括目标物体属性确定模型训练模块，其中，所述目标物体属性确定模型训练模块包括第二训练样本确定单元、参数信息获取单元、待使用球谐光照获取单元、模型参数修正单元以及目标物体属性确定模型确定单元。第二训练样本确定单元，用于获取多幅相机视角的第二待训练图像，并基于所述第二待训练图像和相应的相机视角确定各第二训练样本；参数信息获取单元，用于针对各第二训练样本，将当前第二训练样本中的相机视角作为待训练物体属性确定模型的输入参数，得到与所述当前第二训练样本相对应的实际体素位置信息、实际色彩信息以及实际材质参数信息；待使用球谐光照获取单元，用于将所述当前第二训练样本中的第二待训练图像输入至所述目标光照估计模型中，得到与所述当前第二训练样本相对应的待使用球谐光照；模型参数修正单元，用于根据当前第二训练样本的第二待训练图像、待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，对所述待训练物体属性确定模型中的模型参数进行修正；目标物体属性确定模型确定单元，用于将所述待训练物体属性确定模型中的第二预设损失函数收敛作为训练目标，得到所述目标物体属性确定模型。
在上述装置的基础上，可选的，所述模型参数修正单元包括实际图像绘制子单元以及模型参数修正子单元。实际图像绘制子单元，用于根据当前第二训练样本的待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，绘制与所述当前第二训练样本相对应的实际图像；模型参数修正子单元，用于基于所述待训练物体属性确定模型中的第二预设损失函数对当前第二训练样本的第二待训练绘制图像和所述实际图像进行损失处理，以根据得到的损失结果对所述待训练物体属性确定模型的模型参数进行修正。
本公开实施例通过先获取多幅待处理图像以及待处理图像的拍摄属性信息，根据目标光照估计模型对待处理图像进行处理得到目标球谐光照信息，再根据目标物体属性确定模型对拍摄属性信息进行处理，得到目标物体的物体属性信息，最后基于各待处理图像的目标球谐光照以及物体属性信息，可以绘制出相应的目标图像，进而基于各目标图像绘制出相应的三维视图，解决了现有技术中绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题，实现了在绘制图像的过程中，不仅考虑光源信息还考虑相机位置信息，从而确定出相应为光源位置以及目标物体的材质参数信息，进而基于上述信息准确的绘制出与目标物体相对应的三维视图，提高了视图绘制的准确性，在将较为准确的三维视图展示在显示界面上，可以提高用户体验的技术效果。本公开实施例所提供的绘制图像装置可执行本公开任意实施例所提供的绘制三维视图的方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
实施例六
下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置606；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置606被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的绘制三维视图的方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例七
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的绘制三维视图的方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种绘制三维视图的方法，该方法包括：
获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
根据本公开的一个或多个实施例，【示例二】提供了一种绘制三维视图的方法，还包括：
确定与所述待处理图像相对应的相机视角，并将所述相机视角作为所述待处理图像的拍摄属性信息。
根据本公开的一个或多个实施例，【示例三】提供了一种绘制三维视图的方法，还包括：
可选的，将所述当前待处理图像作为所述目标光照估计模型的输入参数，得到与所述当前待处理图像相对应的目标球谐光照。
根据本公开的一个或多个实施例，【示例四】提供了一种绘制三维视图的方法，还包括：
其中，所述目标物体属性信息中包括体素位置信息、色彩信息以及材质参数信息，将当前待处理图像的拍摄属性信息中的相机视角作为所述目标物体属性确定模型的输入参数，至少得到当前待处理图像中目标物体的体素位置信息、色彩信息以及材质参数信息。
根据本公开的一个或多个实施例，【示例五】提供了一种绘制三维视图的方法，还包括：
针对各待处理图像，根据与当前待处理图像相对应的目标物体属性信息中的体素位置信息，确定与每个体素位置信息相对应的目标法向信息；
根据各待处理图像的目标球谐光照、目标法向信息、色彩信息以及材质参数信息，绘制相应待处理图像的目标图像。
根据本公开的一个或多个实施例，【示例六】提供了一种绘制三维视图的方法，还包括：
通过对各目标图像融合处理，得到与所述待处理图像中目标物体的目标三维视图。
根据本公开的一个或多个实施例，【示例七】提供了一种绘制三维视图的方法，还包括：
训练得到所述目标光照估计模型；
所述训练得到所述目标光照估计模型，包括：
根据至少一个三维模型，确定各相机视角下的第一待训练图像，并基于所述第一待训练图像和相应的相机视角，得到训练样本集中的各第一训练样本；
针对各第一训练样本，将当前第一训练样本中的第一待训练图像输入至待训练光照估计模型中，得到与所述当前第一训练样本相对应的实际球谐光照；
基于所述待训练光照估计模型中的第一预设损失函数对所述当前第一训练样本的实际球谐光照和相机视角进行损失处理，以根据得到的损失值对所述待训练光照估计模型中的模型参数进行修正；
将所述第一预设损失函数收敛作为训练目标，得到所述目标光照估计模型。
根据本公开的一个或多个实施例，【示例八】提供了一种绘制三维视图的方法，还包括：
所述训练得到所述目标物体属性确定模型，包括：
获取多幅相机视角的第二待训练图像，并基于所述第二待训练图像和相应的相机视角确定各第二训练样本；
针对各第二训练样本，将当前第二训练样本中的相机视角作为待训练物体属性确定模型的输入参数，得到与所述当前第二训练样本相对应的实际体素位置信息、实际色彩信息以及实际材质参数信息；
将所述当前第二训练样本中的第二待训练图像输入至所述目标光照估计模型中，得到与所述当前第二训练样本相对应的待使用球谐光照；
根据当前第二训练样本的第二待训练图像、待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，对所述待训练物体属性确定模型中的模型参数进行修正；
将所述待训练物体属性确定模型中的第二预设损失函数收敛作为训练目标，得到所述目标物体属性确定模型。
根据本公开的一个或多个实施例，【示例九】提供了一种绘制三维视图的方法，还包括：
根据当前第二训练样本的待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，绘制与所述当前第二训练样本相对应的实际图像；
基于所述待训练物体属性确定模型中的第二预设损失函数对当前第二训练样本的第二待训练绘制图像和所述实际图像进行损失处理，以根据得到的损失结果对所述待训练物体属性确定模型的模型参数进行修正。
根据本公开的一个或多个实施例，【示例十】提供了一种绘制三维视图的装置，包括：
拍摄属性信息获取模块，用于获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
目标球谐光照获取模块，用于针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
目标物体属性信息获取模块，用于针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
目标三维视图确定模块，用于根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种绘制三维视图的方法，其特征在于，包括：
获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
2.根据权利要求1所述的方法，其特征在于，所述获取多幅待处理图像以及所述待处理图像的拍摄属性信息，包括：
确定与所述待处理图像相对应的相机视角，并将所述相机视角作为所述待处理图像的拍摄属性信息。
3.根据权利要求1所述的方法，其特征在于，所述基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照，包括：
将所述当前待处理图像作为所述目标光照估计模型的输入参数，得到与所述当前待处理图像相对应的目标球谐光照。
4.根据权利要求1所述的方法，其特征在于，所述目标物体属性信息至少包括体素位置信息、色彩信息以及材质参数信息，所述基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息，包括：
将当前待处理图像的拍摄属性信息中的相机视角作为所述目标物体属性确定模型的输入参数，至少得到当前待处理图像中目标物体的体素位置信息、色彩信息以及材质参数信息。
5.根据权利要求1所述的方法，其特征在于，所述根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，包括：
针对各待处理图像，根据与当前待处理图像相对应的目标物体属性信息中的体素位置信息，确定与每个体素位置信息相对应的目标法向信息；
根据各待处理图像的目标球谐光照、目标法向信息、色彩信息以及材质参数信息，绘制相应待处理图像的目标图像。
6.根据权利要求1所述的方法，其特征在于，所述基于各目标图像确定目标三维视图，包括：
通过对各目标图像融合处理，得到与所述待处理图像中目标物体的目标三维视图。
7.根据权利要求1所述的方法，其特征在于，还包括：
训练得到所述目标光照估计模型；
所述训练得到所述目标光照估计模型，包括：
根据至少一个三维模型，确定各相机视角下的第一待训练图像，并基于所述第一待训练图像和相应的相机视角，得到训练样本集中的各第一训练样本；
针对各第一训练样本，将当前第一训练样本中的第一待训练图像输入至待训练光照估计模型中，得到与所述当前第一训练样本相对应的实际球谐光照；
基于所述待训练光照估计模型中的第一预设损失函数对所述当前第一训练样本的实际球谐光照和相机视角进行损失处理，以根据得到的损失值对所述待训练光照估计模型中的模型参数进行修正；
将所述第一预设损失函数收敛作为训练目标，得到所述目标光照估计模型。
8.根据权利要求1所述的方法，其特征在于，还包括：训练得到所述目标物体属性确定模型；
所述训练得到所述目标物体属性确定模型，包括：
获取多幅相机视角的第二待训练图像，并基于所述第二待训练图像和相应的相机视角确定各第二训练样本；
针对各第二训练样本，将当前第二训练样本中的相机视角作为待训练物体属性确定模型的输入参数，得到与所述当前第二训练样本相对应的实际体素位置信息、实际色彩信息以及实际材质参数信息；
将所述当前第二训练样本中的第二待训练图像输入至所述目标光照估计模型中，得到与所述当前第二训练样本相对应的待使用球谐光照；
根据当前第二训练样本的第二待训练图像、待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，对所述待训练物体属性确定模型中的模型参数进行修正；
将所述待训练物体属性确定模型中的第二预设损失函数收敛作为训练目标，得到所述目标物体属性确定模型。
9.根据权利要求8所述的方法，其特征在于，所述根据当前第二训练样本的第二待训练图像、待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，对所述待训练物体属性确定模型中的模型参数进行修正，包括：
根据当前第二训练样本的待使用球谐光照、实际体素位置信息、实际色彩信息以及实际材质参数信息，绘制与所述当前第二训练样本相对应的实际图像；
基于所述待训练物体属性确定模型中的第二预设损失函数对当前第二训练样本的第二待训练绘制图像和所述实际图像进行损失处理，以根据得到的损失结果对所述待训练物体属性确定模型的模型参数进行修正。
10.一种绘制三维视图的装置，其特征在于，包括：
拍摄属性信息获取模块，用于获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
目标球谐光照获取模块，用于针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
目标物体属性信息获取模块，用于针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
目标三维视图确定模块，用于根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
11.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的绘制三维视图的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的绘制三维视图的方法。
CN202111389308.6A 2021-11-22 2021-11-22 绘制三维视图的方法、装置、电子设备及存储介质 Pending CN116168142A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111389308.6A CN116168142A (zh) 2021-11-22 2021-11-22 绘制三维视图的方法、装置、电子设备及存储介质
PCT/CN2022/133088 WO2023088453A1 (zh) 2021-11-22 2022-11-21 绘制三维视图的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389308.6A CN116168142A (zh) 2021-11-22 2021-11-22 绘制三维视图的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116168142A true CN116168142A (zh) 2023-05-26

Family

ID=86396284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389308.6A Pending CN116168142A (zh) 2021-11-22 2021-11-22 绘制三维视图的方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN116168142A (zh)
WO (1) WO2023088453A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658365B (zh) * 2017-10-11 2022-12-06 阿里巴巴(深圳)技术有限公司 图像处理方法、装置、***和存储介质
CN111951372B (zh) * 2020-06-30 2024-01-05 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN111815508A (zh) * 2020-07-23 2020-10-23 北京字节跳动网络技术有限公司 图像生成方法、装置、设备和计算机可读介质
CN112330788A (zh) * 2020-11-26 2021-02-05 北京字跳网络技术有限公司 图像处理方法、装置、可读介质及电子设备
CN112489144A (zh) * 2020-12-14 2021-03-12 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置、终端设备及存储介质

Also Published As

Publication number Publication date
WO2023088453A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
CN112288853B (zh) 三维重建方法、三维重建装置、存储介质
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
WO2021228031A1 (zh) 渲染方法、设备以及***
WO2021169404A1 (zh) 深度图像生成方法、装置及存储介质
US8803880B2 (en) Image-based lighting simulation for objects
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN109754464B (zh) 用于生成信息的方法和装置
CN112258512A (zh) 点云分割方法、装置、设备和存储介质
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN115578515B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN114677386A (zh) 特效图像处理方法、装置、电子设备及存储介质
WO2023029893A1 (zh) 纹理映射方法、装置、设备及存储介质
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN115810101A (zh) 三维模型风格化方法、装置、电子设备及存储介质
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN117132652A (zh) 基于三维网格的目标点云标记方法、装置、设备及介质
CN111292406A (zh) 模型渲染方法、装置、电子设备及介质
CN116168142A (zh) 绘制三维视图的方法、装置、电子设备及存储介质
CN117745928A (zh) 一种图像处理方法、装置、设备及介质
CN112132909B (zh) 参数获取方法及装置、媒体数据处理方法和存储介质
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质
CN117333560B (zh) 场景自适应的条纹结构光解码方法、装置、设备和介质
CN116168141A (zh) 图像绘制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination