CN117333637B - 三维场景的建模及渲染方法、装置及设备 - Google Patents

三维场景的建模及渲染方法、装置及设备 Download PDF

Info

Publication number
CN117333637B
CN117333637B CN202311631762.7A CN202311631762A CN117333637B CN 117333637 B CN117333637 B CN 117333637B CN 202311631762 A CN202311631762 A CN 202311631762A CN 117333637 B CN117333637 B CN 117333637B
Authority
CN
China
Prior art keywords
sampling point
modeled
scene
information
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311631762.7A
Other languages
English (en)
Other versions
CN117333637A (zh
Inventor
方顺
崔铭
冯星
张志恒
张亚男
吕艳娜
李荣华
傅晨阳
刘娟娟
刘晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xuanguang Technology Co ltd
Original Assignee
Beijing Xuanguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xuanguang Technology Co ltd filed Critical Beijing Xuanguang Technology Co ltd
Priority to CN202311631762.7A priority Critical patent/CN117333637B/zh
Publication of CN117333637A publication Critical patent/CN117333637A/zh
Application granted granted Critical
Publication of CN117333637B publication Critical patent/CN117333637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种三维场景的建模及渲染方法、装置及设备，涉及三维建模技术领域，能够实现三维场景的准确建模，高质量还原3D模型的形状、外观和光照。其中方法包括：获取待建模场景图片经过3D空间采样得到的第一采样点，根据第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，根据第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，根据第二采样点的体密度、第二采样点在不同材质维度上的参数信息以及第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。

Description

三维场景的建模及渲染方法、装置及设备
技术领域
本申请涉及三维建模技术领域，尤其是涉及到一种三维场景的建模及渲染方法、装置及设备。
背景技术
三维场景的建模指的是使用计算机软件创建和设计三维环境的过程，通过构建虚拟的三维场景，可模拟真实世界中的地理环境、建筑物、景观等，以创造出想象中的场景。
相关技术中，可通过计算机图形学来实现三维场景的建模，该过程相当于严格数学模型或经验模型，例如，基于双向反射分布函数和全局光照模型。具体是通过相机屏幕每个像素发射的射线与场景中的物体发生多次反弹折射，从而还原出真实的三维场景，然后进行后续建模，所以计算机图形学的方法能够足够精确的计算，但实际使用时也是近似计算，尤其对于复杂的多物体场景和多光源的情况，仍需要较大的计算量。
发明内容
有鉴于此，本申请提供了一种三维场景的建模及渲染方法、装置及设备，主要目的在于解决现有技术中基于计算机图形学进行三维场景的建模方式需要计算量较大的问题。
根据本申请的第一个方面，提供了一种三维场景的建模方法，包括：
获取待建模场景图片经过3D空间采样得到的第一采样点；
根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的；
根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息；
根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。
根据本申请的第二个方面，提供了一种三维场景的渲染方法，包括：
从三维场景模型数据中提取第二采样点的体密度以及第二采样点的颜色信息；
根据所述第二采样点的体密度以及所述第二采样点的颜色信息，对待建模场景图片进行屏幕像素体渲染和光源体渲染，所述屏幕像素体渲染用于对3D模型进行颜色渲染，所述光源体渲染用于对3D模型进行阴影渲染；
其中，所述三维场景模型数据为使用所述三维场景的建模方法得到的。
根据本申请的第三个方面，提供了一种三维场景的建模装置，包括：
第一获取单元，用于获取待建模场景图片经过3D空间采样得到的第一采样点；
第一提取单元，用于根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的；
第二提取单元，用于根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息；
确定单元，用于根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。
根据本申请的第四个方面，提供了一种三维场景的渲染装置，包括：
提取单元，用于从三维场景模型数据中提取第二采样点的体密度以及第二采样点的颜色信息；
渲染单元，用于根据所述第二采样点的体密度以及所述第二采样点的颜色信息，对待建模场景图片进行屏幕像素体渲染和光源体渲染，所述屏幕像素体渲染用于对3D模型进行颜色渲染，所述光源体渲染用于对3D模型进行阴影渲染；
其中，所述三维场景模型数据为使用所述三维场景的建模方法得到的。
根据本申请的第五个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
根据本申请的第六个方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
借由上述技术方案，本申请提供的一种三维场景的建模及渲染方法、装置及设备，与目前现有技术通过计算机图形学来实现三维场景的建模方式相比，本申请通过获取待建模场景图片经过3D空间采样得到的第一采样点，根据第一采样点的属性信息，先利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，这里第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，然后根据第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，根据第二采样点的体密度、第二采样点在不同材质维度上的参数信息以及第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。整个过程先通过模型网络对待建模场景图片进行不同材质维度上属性信息的估算，然后通过颜色生成网络对待建模场景图片进行颜色信息的估算，结合不同材质维度上的属性信息和颜色信息来获取待建模的场景信息，由于场景信息融合有待建模场景中的多维属性，无需经过大量计算，即可实现三维场景的准确建模，从而高质量还原3D 模型的形状、外观和光照。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一实施例中三维场景的建模方法的流程示意图；
图2是图2中步骤201的一具体实施方式流程示意图；
图3是本申请另一实施例中三维场景的建模方法的流程示意图；
图4为本申请另一实施例中三维场景的建模方法的流程示意图；
图5为本申请一实施例中三维场景的建模框架的结构示意图；
图6为本申请一实施例中形状网络的结构示意图；
图7A为本申请一实施例中材质网络的结构示意图；
图7B为本申请一实施例中几何材质子网络的结构示意图；
图7C为本申请一实施例中粗糙度材质子网络的结构示意图；
图7D为本申请一实施例中镜反射材质子网络的结构示意图；
图7E为本申请一实施例中漫反射材质子网络的结构示意图；
图8为本申请一实施例中颜色生成网络的结构示意图；
图9是本申请一实施例中三维场景的渲染方法的流程示意图
图10是本申请一实施例中三维场景的建模装置的结构示意图；
图11是本申请一实施例中三维场景的渲染装置的结构示意图；
图12是本发明实施例提供的一种计算机设备的装置结构示意图。
具体实施方式
现在将参照若干示例性实施例来论述本发明的内容。应当理解，论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。
相关技术中，可通过计算机图形学来实现三维场景的建模，该过程相当于严格数学模型或经验模型，例如，基于双向反射分布函数和全局光照模型。具体是通过相机屏幕每个像素发射的射线与场景中的物体发生多次反弹折射，从而还原出真实的三维场景，然后进行后续建模，所以计算机图形学的方法能够足够精确的计算，但实际使用时也是近似计算，尤其对于复杂的多物体场景和多光源的情况，仍需要较大的计算量。随着机器学习方法的不断涌现，基于逆向渲染思路的建模方法能够对待建模场景中的信息进行单要素还原，但单要素还原的场景信息无法全方位描述待建模场景中的物体属性。为了解决该问题，本申请基于逆向渲染的思路将待建模场景图片输入至模型网络中，通过模型网络提取待建模场景中的物理属性，根据物理属性信息确定待建模场景图片的三维场景模型数据，从而高质量还原待建模场景对应3D模型的形状、外观和光照信息。
具体来说，本实施例提供了一种三维场景的建模方法，如图1所示，该方法应用于三维建模对应的服务端，包括如下步骤：
101、获取待建模场景图片经过3D空间采样得到的第一采样点。
其中，待建模场景图片可以是待建模场景中通过相机设备在任一视角拍摄得到的二维图片。这里的3D空间采样相当于是对待建模场景图片对应的三维体素空间进行采样，采样得到的第一采样点是体素而不是像素。
在本实施例中，3D空间采样可以包括相机射线采样和光源光线采样。相机射线采样用于确定每个采样点的颜色，以便通过体渲染获得屏幕像素的权重累加颜色，对于相机射线的获取过程，可在输入视图中选择一个视角的视图，将此视图看作待建模场景中相应视角位置的相机屏幕，视图像素即为相机的屏幕像素，相机的每个像素均向待建模场景中发射一条射线，一个相机的一个像素发出来一条相机射线。光线光源采样用于确定每个采样点的亮度，以便产生阴影效果，对于光源光线的获取过程，可给定相机设备的位置和朝向后，可确定出当前的成像平面，然后将相机的位置坐标和平面上的某个像素相连得到光源光线。应说明的是，这里的光源是待建模场景中的额外光源，相当于场景创建好之后，新加入的光源。具体对相机射线和光源射线进行采样可使用两种采样方法，一种是均匀采样，另一种是重要性采样，采样策略可先执行均匀采样，然后在均匀采样的基础上执行重要性采样，还可在执行均匀采样之前，先确定物体的包围盒，然后求出相机射线与包围盒的焦点，通过焦点的奇偶数来确定物体的里面或外面，射线与包围盒的交点为奇数，则说明此射线是穿入包围盒，反之偶数则为穿出包围盒，奇数和偶数之间为包围盒内部区域，然后执行均匀采样，在射线与包围盒的交点附近和内部使用相对稀疏的采样点，均匀分布在一条直线上，再通过神经网络求出每个均匀采样点的体密度和颜色，在均匀采样求出每个采样点的体密度之后，体密度高的地方对最终颜色或亮度的贡献最大，在体密度较高的地方再次进行相对密集的重要性采样。本实施例针对相机射线采样和光源光线采样均使用上述两种采样策略，通过上述两种采样策略，可以大幅减少采样点的数量，提升整体性能和准确性。
在实际应用中，对待建模场景图片进行3D空间采样的过程中，可通过在不同尺度上进行采样来提高三维场景的建模效果，先在粗粒度的尺度上进行全局采样，获取整体场景信息，然后在细粒度的尺度上进行局部采样，以获取更多的细节信息，这样多尺度的采样策略可以有效平衡图像质量和计算复杂度。
示例性的，在3D空间采样过程中先使用均匀采样在一条射线上均匀采样64个点，获取整体场景信息，然后通过体密度确定哪个地方的体密度突然变大，在体密度变大位置的前后两个均匀采样得到的采样点之间再次分配32个采样点进行随机采样。
对于本实施例的执行主体可以为三维场景的建模装置或设备，可以配置在三维建模对应的服务端，对于不透明的物体，可以进一步简化采样过程，只需要求出相机射线与物体表面的交点，这个交点与光源连线，计算这个点的亮度，其他所有采样点的亮度使用这一个采样点即可，对于透明的物体，也可以简化采样流程，只需要在相机射线密度高的区域选出有限个采样点，然后这几个采样点与光源相连，对光源方向采样，计算这有限个采样点的亮度信息，然后其他点的亮度信息使用这有限个采样点亮度的平均值。
102、根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息。
其中，第一采样点的属性信息为采样点在3D空间中的位置，预先训练的模型网络包括形状网络和材质网络两部分，第一采样在3D空间中的位置是xyz三维向量，首先要进行编码，这里可使用三角函数编码方式对三维向量进行编码，通过三角函数编码方式可以让输出的图像更锐利，不模糊，有利于高频信号的训练。
具体形状网络的结构可以设置8个隐藏层，每层256个点，在第4层结束后与输入编码位置进行跳跃连接，共同输入第5层，每层使用Softplus作为激活函数，通过形状网络部分对待建模场景图片进行形状信息的提取，得到SDF表示的模型。
作为形状网络与材质网络之间的信息过渡，需要通过SDF表示的模型来获取第二采样点，第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，预设视角可使用摄像机的视角，即对待建模场景图片经过第二次3D空间采样得到，预设视角还可使用3D空间中的任一视角，即对待建模场景发出的任意射线进行3D采样。
这里的SDF指的是有符号距离场，在空间中的一个有限区域上确定一个点到区域边界的距离并同时对距离的符号进行定义：点在区域边界内部为正，外部为负，位于边界上时为0，通过SDF表示的模型能够区分待建模场景中图提醒、内部和外部的数值变化。
具体材质网络的结构可以设置用于提取不同材质信息的多个材质子网络，各个材质子网络在材质信息的提取过程中相互独立，多个材质子网络可输出第二采样点在不同材质维度上的参数信息，以及第二采样点的体密度。
例如，通过几何材质维度的材质子网络可获取到第二采样点的体密度、SDF值和法线，通过粗糙度材质维度的材质子网络可获取到第二采样点的粗糙度，通过镜面反射材质维度的材质子网络可获取到第二采样点的镜面反射颜色，通过漫反射材质维度的材质子网络可获取到第二采样点的反照率和漫反射颜色。
103、根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
可以理解的是，第二采样点在不同材质维度上的参数信息作为预先训练的颜色生成网络对应的输入参数，可在待建模场景图片对应3D模型中添加多维度的材质信息，这里材质信息有的是为了当前环境光的漫反射和镜面反射，有的是为了产生阴影和高光，有的是为了解决3D模型某一个3D点在不同角度看到的颜色不同问题，以使得颜色生成网络能够多个材质维度上的参数信息对应输出待建模场景中具有环境效果的颜色信息。
104、根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。
可以理解的是，第二采样点的体密度、第二采样点在不同材质维度上的参数信息以及第二采样点的颜色信息能够全方位反映待建模场景图对应3D模型的形状、外观以及颜色等属性，通过待建模场景图片的三维场景模型数据可实现待建模场景图片进行3D建模和体渲染等，进而准确还原待建模场景的画面信息。
进一步地，在获取待建模场景图片的三维场景模型数据之后，可通过三维场景模型数据实现3D建模，具体在第二采样点在不同材质维度上的参数信息中获取第二采样点在形状维度上的SDF值，根据第二采样点在形状维度上的SDF值对待建模场景图片进行3D建模。
进一步地，在获取待建模场景图片的三维场景模型数据之后，可通过三维场景模型数据实现彩色3D建模，具体根据第二采样点的体密度、第二采样点在形状维度上的SDF值、以及第二采样点的颜色信息，对待建模场景图片进行彩色3D建模。
本申请实施例提供的三维场景的建模方法，与目前现有技术通过计算机图形学来实现三维场景的建模方式相比，本申请通过获取待建模场景图片经过3D空间采样得到的第一采样点，根据第一采样点的属性信息，先利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，这里第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，然后根据第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，根据第二采样点的体密度、第二采样点在不同材质维度上的参数信息以及第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。整个过程先通过模型网络对待建模场景图片进行不同材质维度上属性信息的估算，然后通过颜色生成网络对待建模场景图片进行颜色信息的估算，结合不同材质维度上的属性信息和颜色信息来获取待建模的场景信息，由于场景信息融合有待建模场景中的多维属性，无需经过大量计算，即可实现三维场景的准确建模，从而高质量还原3D 模型的形状、外观和光照。
在上述实施例中，预先训练的模型网络包括形状网络和材质网络，通过形状网络可实现形状信息的提取，通过材质网络可实现不同材质信息的提取，具体地，如图2所示，步骤102包括如下步骤：
201、根据所述第一采样点的属性信息，利用所述形状网络对待建模场景图片进行形状信息的提取，得到SDF表示的模型。
202、将所述SDF表示的模型生成3D模型网格，根据所述3D模型网格的顶点数据估计第二采样点的属性信息。
203、根据所述第二采样点的属性信息，利用所述材质网络对待建模场景图片进行材质信息的提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息。
可以理解的是，形状网络输出的SDF表示的模型本质上存储了第一每个采样点到图形的最近距离，即将模型划出一个表面，在模型表面外侧的点数值大于0，在模型表面内侧的点数值小于0。
具体在将SDF表示的模型生成3D模型网格的过程中，可以将SDF表示的模型经过行立方体渲染，得到3D模型网格，该3D模型网格具有网格表示的3D数据格式，然后考虑到形状网络到材质网络是需要对3D模型网格进行采样，获取3D模型网格经过3D空间采样得到的第二采样点，根据3D模型网格的顶点数据，估计第二采样点的属性信息。
具体在获取3D模型网格经过3D空间采样得到的第二采样点的过程中，可根据3D模型网格，选取待建模场景中射线经过所述3D模型网格作为预设视角，对预设视角的射线进行3D空间采样，得到第二采样点。
应说明的是，这里3D模型网格的顶点数据与第二采样点是两种不同用途的点，3D模型网格的顶点数据是构成模型的3D形状，而第二采样点则是用于体渲染的，通过累加一条相机射线上所有采样点的颜色得到相机的当前像素颜色，而第二采样点的属性信息可根据3D模型网格的顶点数据进行估计。具体根据3D模型网格的顶点数据，估计第二采样点的属性信息的过程中，可以获取3D模型网格中与第二采样点相邻的多个目标网格顶点，根据3D模型网格的顶点数据，确定多个目标网格顶点的属性信息，通过预设估计算法对多个目标网格顶点的属性信息进行加权求和，得到第二采样点的属性信息。
上述第二采样点的估算过程相当于是利用第二采样点邻近的几个网格顶点的属性信息，然后通过预设估算方法来估计第二采样点的属性信息。具体来说，3D模型网格中预设每个三角形顶点存储着几何信息、漫反射信息/>、镜面反射信息/>和粗糙度信息/>，通过网格顶点存储的这些信息来估计第二采样点的/>、/>、/>和/>。
这里预设估算方法使用K-近邻算法，使得，/>，，/>。然后通过K-近邻算法估算第二采样点的属性信息为：
其中，表示几何/>、漫反射/>、镜面反射/>、粗糙度的插值特征，权重/>。
在上述实施例中，材质网络包括用于提取不同材质信息的多个材质子网络，每个材质子网络可以提取不同材质维度的属性信息，具体地，步骤203包括如下步骤：
203-1、根据所述第二采样点的属性信息，利用第一材质子网络对待建模场景图片进行几何信息的提取，得到第二采样点在形状维度上的SDF值、法线以及体密度。
203-2、根据所述第二采样点的属性信息，利用第二材质子网络对待建模场景图片进行粗糙度信息的提取，得到第二采样点在外观维度上的粗糙度信息。
203-3、根据所述第二采样点的属性信息，利用第三材质子网络对待建模场景图片进行镜面反射信息的提取，得到第二采样点在光照维度上的镜面反射信息。
203-4、根据所述第二采样点的属性信息，利用第是材质子网络对待建模场景图片进行漫反射信息的提取，得到第二采样点在外观维度和光照维度上的漫反射信息。
在本实施例中，材质子网络包括第一材质子网络、第二材质子网络、第三材质子网络以及第四材质子网络，不同材质子网络提取不同材质维度的属性信息，其中，第一材质子网络作为几何网络，用于提取第二采样点在形状维度上的SDF值、法线以及体密度，第二材质子网络作为粗糙度网络，用于提取第二采样点在外观维度上的粗糙度信息，第三材质子网络作为镜面反射网络，用于提取第二采样点在光照维度上的镜面反射信息，第四材质子网络作为漫反射网络，用于提取第二采样点在外观维度和光照维度上的漫反射信息。这里多个材质子网络都需要输入第二采样点的属性信息，这里使用的是第二采样点的采样距离，第二采样点的采样距离相当于第二采样点到3D模型网格的距离，该距离可通过第二采样点到邻近3D模型网格顶点的距离进行估算，具体可使用K-近邻算法来估算第二采样点的采样距离，与上文K-近邻算法的公式相同，第二采样点的采样距离可表示如下：
，其中，权重/>。
具体在几何网络中，输入参数包括几何信息，以及采样点到重建网格距离，几何信息主要是第二采样点的三维位置，而位置信息可通过相机射线进行计算，公式为/>，其中/>是相机中心，/>是观测方向，t是行进距离。几何网络包括多层感知机，在输入至多层感知机之前，可采用三角函数编码方式进行编码，以便获得更清晰的几何特征。这里多层感知机具有4个隐藏层，每层256个节点，每层采用ReLU激活函数，网络公式为：/>，几何网络的输出层有第二采样点的SDF值、法线以及体密度。SDF值就是多层感知机的输出，表示第二采样点的SDF值，法线是通过SDF值进行梯度求出的，公式为：/>，其中，/>就是生成SDF值的几何网络，体密度也是通过SDF值求出的，公式为：
其中，， s表示可训练的偏差参数，
应说明的是，几何网络输出第二采样点的SDF值，形状网络输出SDF表示的模型，两者虽然都会输出SDF值，但是形状网络是通过SDF值生成3D模型网格，以使用3D模型网格来估算第二采样点的属性信息，而几何网络是为了生成第二采样点的 SDF值，以便与生成的颜色信息相匹配，这样不仅可以建模得到3D模型形状，还可以建模得到3D模型形状对应的颜色，并且几何网络生成的SDF值和法线均作为颜色生成网络的输入，几何网络生成的体密度也是体渲染需要用到的参数，用于计算屏幕最终的颜色。通过几何网络可解决3D模型生成的形状。
具体在粗糙度网络中，输入参数为可学习的粗糙度信息，以及采样点到重建网格距离/>，该粗糙度信息可以是随机值，通过粗糙度网络输出粗糙度信息，这里粗糙度网络的多层感知机有4个隐藏层，每层256个点，每层采用ReLU激活函数，网络公式为：，通过粗糙度网络可解决3D模型生成外观中的粗糙度信息。
具体在镜面反射网络中，输入参数为可学习的镜面反射信息，以及采样点到重建网格距离/>，该镜面反射信息可以是随机值，通过镜面反射网络输出镜面反射颜色，这里镜面反射网络的层感知机有4个隐藏层，每层256个点，每层采用ReLU激活函数，网络公式为/>，通过镜面反射网络可解决3D模型生成光照中的镜面反射颜色。
具体在漫反射网络中，输入参数为可学习的漫反射信息，以及采样点到重建网格距离/>，该漫反射信息可以是随机值，通过漫反射网络输出反照率，然后反照率通过环境贴图，将反照率转换为漫反射颜色，环境贴图的每个像素表示为一个点光源，漫反射颜色/>对所有点光源发出的光进行计算求和，网络公式为：
其中，符号表示点积，/>是第i条入射光，/>是/>的入射方向，n是采样点x的法线方向。
这里漫反射网络的层感知机有4个隐藏层，每层256个点，每层采用ReLU激活函数，漫反射网络的公式为，通过漫反射网络可解决3D模型外观的反照率以及3D模型光照的漫反射颜色。
相应地，在步骤103中，根据所述第二采样点在形状维度上的SDF值、法线、所述第二采样点在外观维度上的粗糙度信息、所述第二采样点在光照维度上的镜面反射信息、所述第二采样点在外观维度和光照维度上的漫反射信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
考虑到待建模场景中其他环境因素的影响，进一步地，在上述实施例中，如图3所示，在步骤103之前，方法还包括如下步骤：
105、获取待建模场景中不同环境因素对颜色信息产生的影响因子，根据所述影响因子设置适用于添加至颜色生成网络中的附加参数信息，以使得所述颜色生成网络在环境因素的影响下输出的第二采样点的颜色信息具有不同的颜色表现效果。
其中，不同环境因素对颜色信息产生的影响因子可以包括但不局限于相机信息、额外添加的光源信息以及额外添加光源产生的光照信息，对于相机信息，附加参数信息可以包括相机方向，对于额外添加的光源信息，对于额外添加光源产生的光照信息，附加参数信息可以包括高光信息和阴影信息。
相应地，在步骤103中，根据所述第二采样点在不同材质维度上的参数信息以及所述附加参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
具体在颜色生成网络中，输入参数为第二采样点在不同维度上的参数信息和附加参数信息，通过第二采样点在不同维度上的参数信息来反映3D模型的几何信息、外观信息和光照信息，通过附加参数信息来反映待建模场景中相机信息、额外添加的光源信息和额外添加光源产生的光照信息。这里颜色生成网络包括多层感知机，对输入参数进行编码的方式还是采用三角函数编码方式，多层感知机由8层隐藏层，每层256个神经元构成，每层采用ReLU激活函数，网络公式为：
表示相机射线从相机位置/>，沿射线方向/>的预测像素颜色，相机射线，其中，t是射线行进距离，/>是相机射线方向，/>表示颜色生成网络的函数形式，为归一化SDF梯度后的法线，即/>。具体当前采样位置/>、从SDF导出的法线/>、相机方向/>、点光源位置/>，SDF值/>、粗糙度r、漫反射颜色/>、镜面反射颜色/>、光源颜色/>、阴影信息/>和高光信息/>，下标i表示第i个采样点，一共N个采样点。
进一步地，为了求出阴影信息，需要对光源进行采样，具体采样过程可参考上文中针对第一采样点和第二采样点进行3D空间采样的过程，对于不呕透明物体，可通过深度求出相机射线与物体表面的焦点，即物体表面是SDF为0的水平集，所求深度，其中/>是无偏密度权重。
进一步地，对于高光信息，可使用已求出的法线信息输入到微表面反射光照模型中，采用5个粗糙度数值，从而得到5个高光颜色值。
在实际应用过程中，预先训练的模型网络以及预先训练的颜色生成网络需要使用待建模场景中大量不同视角的样本图片进行训练，在训练的过程中，网络预测得到的颜色值与真实值通过损失函数进行计算，并根据计算得到的损失值来不断调整网络参数，以使得网络预测得到的颜色值接近于真实值，当误差小于预设数值时结束训练过程。这里整体损失函数可由多部分损失函数组成，具体为，其中，/>是颜色重建损失函数，/>是正则化损失函数，/>是SDF重建损失函数、/>是平滑度损失函数，/>是一致性损失函数。
具体颜色重建损失函数的公式为：
其中，表示一条射线，/>表示每个Batch训练集中的射线集合，/>是粗粒度采样预测的屏幕像素颜色值，/>是精细采样预测的屏幕像素颜色值，/>是真实的屏幕像素颜色值，用预测值与真实值进行损失值计算，然后所有屏幕射线损失之和。
考虑到采样过程主要分为粗粒度均匀采样和细粒度重要形成采样，需要通过粗粒度采样来为精细采样提供分配样本的权重，由于粗粒度采样需要输出阴影贡献度，而阴影贡献度如果不准确的话，会影响第二层采样分配，所以需要分别计算粗粒度采样的损失函数和细粒度采样的损失函数。
具体正则化损失函数的公式为：其中，在/>点处的梯度。
具体SDF重建损失函数的公式为：，其中，/>是采样点的SDF真实值，/>是/>网络的预测值。
具体平滑度损失函数的公式为：，其中/>表示第i个顶点的邻接顶点的索引，平滑度损失是用来惩罚相邻顶点几何特征的差异。
具体一致性损失函数的公式为：，其中，P是环境图/>的像素数，r是粗糙度，/>是从相机原点到环境图/>第j个像素位置（天空球或球形天空盒）的单位向量，环境图一致性是确保环境图/>与/>网络产生的镜面反射光一致。
进一步地，为了便于对待建模场景中属性信息进行灵活修改，在上述实施例中，如图4所示，在步骤104之后，方法还包括如下步骤：
106、响应于待建模场景的编辑指令，获取待建模场景图片在材质信息提取过程中具有可编辑性的网络输入参数。
107、根据所述编辑指令对所述具有可编辑性的网络输入参数进行调整，以根据调整后的网络输入参数对待建模场景图片进行信息提取和颜色提取，获取更新后待建模场景图片的三维场景模型数据。
在本实施例中，待建模场景的编辑指令可针对待建模场景进行形状、外观以及光照信息进行编辑，从而改变3D模型的建模和/或渲染效果。形状编辑可采用刚性变形，以便重建3D模型网格，外光编辑可对漫反射、静默反射和粗糙度等外观信息进行编辑，考虑到外观相关的材质信息是作为颜色生成网络的输入参数，具有可编辑性，每次只改变一个特征，例如，改变漫反射特征，而其他镜面反射特征和粗糙度特征保持不变，可通过设置损失函数优化，公式表示为：/>，其中，/>，/>表示被绘制像素的所有相机射线，/>表示被绘制像素的颜色，表示体渲染后渲染组件的像素颜色，渲染组件比如漫反射颜色/>。
进一步地，考虑到待建模场景中其他环境因素对待建模场景中属性信息的影响，在使用待建模场景中属性信息对待建模场进行编辑的基础上，还可以针对适用于添加至颜色生成网络中的附加参数信息进行编辑。
具体地，在根据编辑指令对具有可编辑性的网络输入参数进行调整之后，获取待建模场景中适用于添加至颜色生成网络中的附加参数信息，根据待建模场景中更新的贴图信息和/或新增的光照信息对附加参数信息进行调整，以根据调整后的网络输入参数对待建模场景图片进行信息提取之后，结合调整后的附加属性参数对待建模场景图片进行颜色提取，获取更新后待建模场景图片的三维场景模型数据。
在本实施例中，附加参数信息包括贴图方式得到的重新照明和额外光源方式得到的重新照明，对于贴图方式得到的重新照明，可通过获取待建模场景中的漫反射照明和镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，确定待建模场景中更新的贴图信息；对于额外光源方式得到的重新照明，可通过获取待建模场景中的光源信息，通过对所述光源信息进行修改，确定待建模场景中新增的光照信息。
具体来说，贴图方式得到的重新照明可分为使用显示环境贴图表示的漫反射照明和使用多层感知机网络表示的镜面反射照明。对于漫反射照明，可使用环境贴图表示待建模场景中的漫反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的漫反射照明进行直接更改，这样即可轻松更改漫反射照明。对于镜面反射照明，无法直接修改，可使用多层感知机的网络表示待建模场景中的镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，根据更改后待建模场景中的漫反射照明和镜面反射照明，确定待建模场景中更新的贴图信息，即通过损失函数按照目标环境贴图进行优化，让镜面照明网络适应目标环境图，损失函数公式为/>，其中，S表示网格表面的采样数，P是目标环境图/>中的像素数，/>表示第i个采样点的粗糙度值，/>从相机原点到目标环境图/>第j个像素位置（天空球或球形天空盒）的单位向量。需要注意的是，这里也是假设法线方向n与相机方向/>是相同的。
应说明的是，上述镜面反射照明进行编辑的方式仅适用于采样点的粗糙度较小时，如果采样点的粗糙度较大，则被重照明为镜面效果，这不是正确的照明效果。为了解决粗糙度较大的镜面反射效果，可在对待建模场景中的镜面反射照明进行间接更改之前，获取待建模场景中第二采样点的粗糙度信息，若第二采样点的粗糙度信息小于预设阈值，则通过将待建模场景中的环境贴图更换为目标环境贴图，按照目标环境贴图对多层感知机的网络进行优化，在优化过程中对待建模场景中的镜面反射照明进行间接更改，若第二采样点的粗糙度信息大于或等于预设阈值，则通过将待建模场景中的环境贴图更换为目标环境贴图，根据蒙特卡洛采样生成目标环境贴图的多层纹理映射，根据目标环境贴图的多层纹理映射，对待建模场景中的镜面反射照明进行间接更改。
具体来说，通过蒙特卡洛采样得到不同粗糙度水平下的预过滤环境图，即生成目标环境贴图的多层纹理映射，公式表示如下：
其中，表示来自/>方向的光，J是入射光方向的采样数。
可以理解的是，不同粗糙度级别对应不同的采样数，对不同粗糙度级别的输入光进行积分后，就可以得到环境贴图的多层纹理映射，该多层纹理映射在每个纹理级别具有固定的粗糙度值，可以根据每个采样点的粗糙度r和相机方向，从多层纹理映射中查找对应级别的镜面照明，此时重新照明损失函数可变为如下：
其中，M是预计算的环境多层纹理铁图，是从相机方向/>看的粗糙度为采样点的光的颜色。
具体来说，额外光源方式得到的重新照明可以新加一个点光源，通过修改光源点的位置和颜色，从而改变待建模场景中的渲染效果，如果需要添加多个点光源，则在颜色生成网络中加入更多的光源位置和颜色，有几个光源和颜色，对应新增几个可学习输入参数即可。
在实际应用场景中，三维场景的建模的框架结构如图5所示，在图5中三维场景的建模过程可根据输入的待建模场景图片，利用预先训练的网络模型输出3D模型的SDF表示、体密度以及颜色信息，通过对网络输入参数进行调整可相应调整3D模型的SDF表示、体密度以及颜色信息，进而调节3D模型的形状、外观和光照信息。
这里预先训练的网络模型包括形状网络、材质网络和颜色生成网络，在形状网络中，如图6所示，形状网络的输入参数为第一采样点的属性信息，输出参数为SDF表示的模型，进一步通过Marching Cubes算法渲染，将SDF表示的模型生成3D模型网格，在材质网络中，如图7A所示，材质网络包括几何材质子网络、粗糙度材质子网络、镜反射材质子网络以及漫反射材质子网络，材质网络的输入参数为第二采样点的属性信息，输出参数为第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，具体材质网络包括的多个材质子网络如图7B-7E所示，在几何材质子网络中，如图7B所示，输入参数为第二采样点的属性信息，通过第二采样点的几何信息输出第二采样点的SDF值、法线以及体密度，在粗糙度材质子网络中，如图7C所示，输入参数为第二采样点的属性信息，通过第二采样点的粗糙度输出第二采样点的粗糙度信息，在镜面反射网络中，如图7D所示，输入参数为第二采样点的属性信息，通过第二采样点的镜反射输出第二采样点的镜面反射色调，在漫反射网络中，如图7E所示，输入参数为第二采样点的属性信息，通过第二采样点的漫反射输出第二采样点的反照率，然后通过环境贴图，将反照率转换为漫反射颜色。在颜色生成网络中，如图8所示，颜色生成网络的输入参数为第二采样点在不同材质维度上的参数信息和附加参数信息，具体包括法线、SDF值、粗糙度、高光信息、阴影信息、相机方向、采样位置、光源位置、光源颜色、镜面反射颜色、漫反射颜色，输出参数为第二采样点的颜色信息。
进一步地，作为上述三维场景模型数据的应用，本申请还提供了一种三维场景的渲染方法，如图9所示，该方法可应用于三维渲染对应的服务端，包括如下步骤：
301、从三维场景模型数据中提取第二采样点的体密度以及第二采样点的颜色信息；
302、根据所述第二采样点的体密度以及所述第二采样点的颜色信息，对待建模场景图片进行屏幕像素体渲染和光源体渲染。
其中，三维场景模型数据为使用上文中三维场景的建模方法得到的，屏幕像素体渲染用于对3D模型进行颜色渲染，光源体渲染用于对3D模型进行阴影渲染
具体针对屏幕像素渲染，相机每个像素发射射线，其中/>是相机中心，/>是观测方向，t是行进距离。相机射线上某一粒子的颜色乘以其体密度和其累计透射率，就是这个粒子对屏幕像素点颜色的贡献值。这条射线上所有粒子的贡献值之和，就是相机屏幕像素的颜色，公式为/>，其中N是采样点总数，/>是当前颜色的贡献系数，/>为其体密度，/>表示相邻两个采样点的距离。表示累计透射率。/>是第i个粒子的颜色，该颜色可通过颜色生成网络预估得到。具体在颜色生成网络的训练过程中，可使用待建模场景图片的每个像素作为真值来验证颜色生成网络预估得到第二采样点的颜色信息。
具体针对光源体渲染，光源发射光线：，其中/>是光源位置，/>是光线方向，t是行进距离。光线上某一粒子的颜色乘以其体密度和其累计透射率，就是这个粒子对光源颜色的贡献值。这条光线上所有粒子的贡献值之和，就是光源颜色，公式为，其中N是采样点总数，/>是当前颜色的贡献系数，/>为其体密度，/>表示相邻两个采样点的距离。/>表示累计透射率。是第i个粒子的颜色，该颜色可通过颜色生成网络预估得到。具体在颜色生成网络的训练过程中，光源颜色额可以是白色，也可以是其他编辑颜色，可使用光源颜色作为真值来验证颜色生成网络预估得到第二采样点的颜色信息。
进一步的，作为图1-4方法的具体实现，本申请实施例提供了一种三维场景的建模装置，如图10所示，该装置包括：第一获取单元41、第一提取单元42、第二提取单元43、确定单元44。
第一获取单元41，用于获取待建模场景图片经过3D空间采样得到的第一采样点；
第一提取单元42，用于根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的；
第二提取单元43，用于根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息；
确定单元44，用于根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。
本发明实施例提供的三维场景的建模装置，与目前现有技术通过计算机图形学来实现三维场景的建模方式相比，本申请通过获取待建模场景图片经过3D空间采样得到的第一采样点，根据第一采样点的属性信息，先利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，这里第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，然后根据第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，根据第二采样点的体密度、第二采样点在不同材质维度上的参数信息以及第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据。整个过程先通过模型网络对待建模场景图片进行不同材质维度上属性信息的估算，然后通过颜色生成网络对待建模场景图片进行颜色信息的估算，结合不同材质维度上的属性信息和颜色信息来获取待建模的场景信息，由于场景信息融合有待建模场景中的多维属性，无需经过大量计算，即可实现三维场景的准确建模，从而高质量还原3D 模型的形状、外观和光照。
在具体的应用场景中，所述预先训练的模型网络包括形状网络和材质网络，所述第一提取单元包括：
第一提取模块，用于根据所述第一采样点的属性信息，利用所述形状网络对待建模场景图片进行形状信息的提取，得到SDF表示的模型；
估计模块，用于将所述SDF表示的模型生成3D模型网格，根据所述3D模型网格的顶点数据估计第二采样点的属性信息；
第二提取模块，用于根据所述第二采样点的属性信息，利用所述材质网络对待建模场景图片进行材质信息的提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息。
在具体的应用场景中，所述估计模块，具体用于将所述SDF表示的模型经过行立方体渲染，得到3D模型网格；获取所述3D模型网格经过3D空间采样得到的第二采样点；根据所述3D模型网格的顶点数据，估计第二采样点的属性信息。
在具体的应用场景中，所述估计模块，具体还用于根据所述3D模型网格，选取待建模场景中射线经过所述3D模型网格作为预设视角；对所述预设视角的射线进行3D空间采样，得到第二采样点。
在具体的应用场景中，所述估计模块，具体还用于获取3D模型网格中与所述第二采样点相邻的多个目标网格顶点，根据所述3D模型网格的顶点数据，确定多个目标网格顶点的属性信息；通过预设估计算法对所述多个目标网格顶点的属性信息进行加权求和，得到第二采样点的属性信息。
在具体的应用场景中，所述材质网络包括用于提取不同材质信息的多个材质子网络，所述第二提取模块，具体用于根据所述第二采样点的属性信息，利用第一材质子网络对待建模场景图片进行几何信息的提取，得到第二采样点在形状维度上的SDF值、法线以及体密度；根据所述第二采样点的属性信息，利用第二材质子网络对待建模场景图片进行粗糙度信息的提取，得到第二采样点在外观维度上的粗糙度信息；根据所述第二采样点的属性信息，利用第三材质子网络对待建模场景图片进行镜面反射信息的提取，得到第二采样点在光照维度上的镜面反射信息；根据所述第二采样点的属性信息，利用第是材质子网络对待建模场景图片进行漫反射信息的提取，得到第二采样点在外观维度和光照维度上的漫反射信息；
相应的，所述第二提取单元，具体用于根据所述第二采样点在形状维度上的SDF值、法线、所述第二采样点在外观维度上的粗糙度信息、所述第二采样点在光照维度上的镜面反射信息、所述第二采样点在外观维度和光照维度上的漫反射信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
在具体的应用场景中，所述装置还包括：
设置单元，用于在所述根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息之前，获取待建模场景中不同环境因素对颜色信息产生的影响因子，根据所述影响因子设置适用于添加至颜色生成网络中的附加参数信息，以使得所述颜色生成网络在环境因素的影响下输出的第二采样点的颜色信息具有不同的颜色表现效果；
相应的，所述第二提取单元，具体还用于根据所述第二采样点在不同材质维度上的参数信息以及所述附加参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
在具体的应用场景中，所述装置还包括：
第二获取单元，用于在所述根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据之后，响应于待建模场景的编辑指令，获取待建模场景图片在材质信息提取过程中具有可编辑性的网络输入参数；
调整单元，用于根据所述编辑指令对所述具有可编辑性的网络输入参数进行调整，以根据调整后的网络输入参数对待建模场景图片进行信息提取和颜色提取，获取更新后待建模场景图片的三维场景模型数据。
在具体的应用场景中，所述装置还包括：
第三获取单元，用于在所述根据所述编辑指令对所述具有可编辑性的网络输入参数进行调整之后，获取待建模场景中适用于添加至颜色生成网络中的附加参数信息；
所述调整单元，还用于根据待建模场景中更新的贴图信息和/或新增的光照信息对所述附加参数信息进行调整，以根据调整后的网络输入参数对待建模场景图片进行信息提取之后，结合调整后的附加属性参数对待建模场景图片进行颜色提取，获取更新后待建模场景图片的三维场景模型数据。
在具体的应用场景中，所述装置还包括：
确定单元，用于在所述获取待建模场景中适用于添加至颜色生成网络中的附加参数信息之后，获取待建模场景中的漫反射照明和镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，确定待建模场景中更新的贴图信息；获取待建模场景中的光源信息，通过对所述光源信息进行修改，确定待建模场景中新增的光照信息。
在具体的应用场景中，所述确定单元，具体用于使用环境贴图表示待建模场景中的漫反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的漫反射照明进行直接更改；使用多层感知机的网络表示待建模场景中的镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改；根据更改后待建模场景中的漫反射照明和镜面反射照明，确定待建模场景中更新的贴图信息。
在具体的应用场景中，所述确定单元，具体还用于在所述使用多层感知机的网络表示待建模场景中的镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改之前，获取待建模场景中第二采样点的粗糙度信息；若所述第二采样点的粗糙度信息小于预设阈值，则通过将待建模场景中的环境贴图更换为目标环境贴图，按照所述目标环境贴图对多层感知机的网络进行优化，在优化过程中对待建模场景中的镜面反射照明进行间接更改；若所述第二采样点的粗糙度信息大于或等于预设阈值，则通过将待建模场景中的环境贴图更换为目标环境贴图，根据蒙特卡洛采样生成目标环境贴图的多层纹理映射，根据所述目标环境贴图的多层纹理映射，对待建模场景中的镜面反射照明进行间接更改。
在具体的应用场景中，所述装置还包括：
第一建模单元，用于在所述根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据之后，在所述第二采样点在不同材质维度上的参数信息中获取第二采样点在形状维度上的SDF值，根据所述第二采样点在形状维度上的SDF值对待建模场景图片进行3D建模；
第二建模单元，用于根据所述第二采样点的体密度、所述第二采样点在形状维度上的SDF值、以及所述第二采样点的颜色信息，对待建模场景图片进行彩色3D建模。
需要说明的是，本实施例提供的一种三维场景的建模装置所涉及各功能单元的其它相应描述，可以参考图1-图4中的对应描述，在此不再赘述。
进一步的，作为图9方法的具体实现，本申请实施例提供了一种三维场景的渲染装置，如图11所示，该装置包括：第四获取单元51、渲染单元52。
第四获取单元51，用于从三维场景模型数据中提取第二采样点的体密度以及第二采样点的颜色信息；
渲染单元52，用于根据所述第二采样点的体密度以及所述第二采样点的颜色信息，对待建模场景图片进行屏幕像素体渲染和光源体渲染，所述屏幕像素体渲染用于对3D模型进行颜色渲染，所述光源体渲染用于对3D模型进行阴影渲染；
其中，所述三维场景模型数据为使用上述三维场景的建模方法得到的。
需要说明的是，本实施例提供的一种三维场景的渲染装置所涉及各功能单元的其它相应描述，可以参考图9中的对应描述，在此不再赘述。
基于上述如图1-图4所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-图4所示的三维场景的建模方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。
基于上述如图1-图4所示的方法，以及图10所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种三维场景的建模的实体设备，具体可以为计算机，智能手机，平板电脑，智能手表，服务器，或者网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1-图4所示的三维场景的建模方法。
基于上述如图9所示的方法，以及图11所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种三维场景的渲染的实体设备，具体可以为计算机，智能手机，平板电脑，智能手表，服务器，或者网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图9所示的三维场景的建模方法。
可选的，上述两个实体设备还可以包括用户接口、网络接口、摄像头、射频（RadioFrequency，RF）电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard）等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）等。
在示例性实施例中，参见图12，上述实体设备包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的三维场景的建模方法。
本领域技术人员可以理解，本实施例提供的一种三维场景的建模的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作***、网络通信模块。操作***是管理上述三维场景的建模的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有方式相比，本申请先通过模型网络对待建模场景图片进行不同材质维度上属性信息的估算，然后通过颜色生成网络对待建模场景图片进行颜色信息的估算，结合不同材质维度上的属性信息和颜色信息来获取待建模的场景信息，由于场景信息融合有待建模场景中的多维属性，无需经过大量计算，即可实现三维场景的准确建模，从而高质量还原3D 模型的形状、外观和光照。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (13)

1.一种三维场景的建模方法，其特征在于，包括：
获取待建模场景图片经过3D空间采样得到的第一采样点；
根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，所述预先训练的模型网络包括形状网络和材质网络，具体根据所述第一采样点的属性信息，利用所述形状网络对待建模场景图片进行形状信息的提取，得到SDF表示的模型；将所述SDF表示的模型生成3D模型网格，根据所述3D模型网格的顶点数据估计第二采样点的属性信息；根据所述第二采样点的属性信息，利用所述材质网络对待建模场景图片进行材质信息的提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点的体密度为利用材质网络中第一材质子网络进行几何信息提取得到的；
根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，所述第二采样点在不同材质维度上的参数信息作为预先训练的颜色生成网络对应的输入参数；
根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据；
使用环境贴图表示待建模场景中的漫反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的漫反射照明进行直接更改；使用多层感知机的网络表示待建模场景中的镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改；根据更改后待建模场景中的漫反射照明和镜面反射照明，确定待建模场景中更新的贴图信息；通过损失函数按照目标环境贴图进行优化，让镜面照明网络适应目标环境图/>，所述损失函数公式为：
其中，S表示网格表面的采样数，P表示目标环境贴图中的像素数，/>表示镜像照明网络，/>表示第i个采样点的粗糙度值，/>为从相机原点到目标环境贴图/>第j个像素位置的单位向量，这里假设法线方向n与相机方向/>是相同的；
获取待建模场景中第二采样点的粗糙度信息；若所述第二采样点的粗糙度信息小于预设阈值，则所述通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，包括：通过将待建模场景中的环境贴图更换为目标环境贴图，按照所述目标环境贴图对多层感知机的网络进行优化，在优化过程中对待建模场景中的镜面反射照明进行间接更改；若所述第二采样点的粗糙度信息大于或等于预设阈值，则所述通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，包括：通过将待建模场景中的环境贴图更换为目标环境贴图，根据蒙特卡洛采样生成目标环境贴图的多层纹理映射，根据所述目标环境贴图的多层纹理映射，对待建模场景中的镜面反射照明进行间接更改；
具体通过蒙特卡洛采样得到不同粗糙度水平下的预过滤环境图，生成目标环境贴图的多层纹理映射，公式表示如下：
其中，表示来自/>方向的光，/>表示入射光方向，n表示入射点所在表面的法线，J是入射光方向的采样数；
所述多层纹理映射在每个纹理级别具有固定的粗糙度值，根据每个采样点的粗糙度r和相机方向，从多层纹理映射中查找对应级别的镜面照明，此时重新照明损失函数变为如下：
其中，M是预计算的环境多层纹理贴图，是从相机方向/>看的粗糙度为/>采样点的光的颜色。
2.根据权利要求1所述的方法，其特征在于，所述将所述SDF表示的模型生成3D模型网格，根据所述3D模型网格的顶点数据估计第二采样点的属性信息，具体包括：
将所述SDF表示的模型经过行进立方体渲染，得到3D模型网格；
获取所述3D模型网格经过3D空间采样得到的第二采样点；
根据所述3D模型网格的顶点数据，估计第二采样点的属性信息；
所述获取所述3D模型网格经过3D空间采样得到的第二采样点，包括：根据所述3D模型网格，选取待建模场景中射线经过所述3D模型网格作为预设视角；对所述预设视角的射线进行3D空间采样，得到第二采样点；
所述根据所述3D模型网格的顶点数据，估计第二采样点的属性信息，包括：获取3D模型网格中与所述第二采样点相邻的多个目标网格顶点，根据所述3D模型网格的顶点数据，确定多个目标网格顶点的属性信息；通过预设估计算法对所述多个目标网格顶点的属性信息进行加权求和，得到第二采样点的属性信息。
3.根据权利要求1所述的方法，其特征在于，所述材质网络包括用于提取不同材质信息的多个材质子网络，所述根据所述第二采样点的属性信息，利用所述材质网络对待建模场景图片进行材质信息的提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，包括：
根据所述第二采样点的属性信息，利用第一材质子网络对待建模场景图片进行几何信息的提取，得到第二采样点在形状维度上的SDF值、法线以及体密度；
根据所述第二采样点的属性信息，利用第二材质子网络对待建模场景图片进行粗糙度信息的提取，得到第二采样点在外观维度上的粗糙度信息；
根据所述第二采样点的属性信息，利用第三材质子网络对待建模场景图片进行镜面反射信息的提取，得到第二采样点在光照维度上的镜面反射信息；
根据所述第二采样点的属性信息，利用第四材质子网络对待建模场景图片进行漫反射信息的提取，得到第二采样点在外观维度和光照维度上的漫反射信息；
相应的，所述根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，包括：
根据所述第二采样点在形状维度上的SDF值、法线、所述第二采样点在外观维度上的粗糙度信息、所述第二采样点在光照维度上的镜面反射信息、所述第二采样点在外观维度和光照维度上的漫反射信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
4.根据权利要求1所述的方法，其特征在于，在所述根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息之前，所述方法还包括：
获取待建模场景中不同环境因素对颜色信息产生的影响因子，根据所述影响因子设置适用于添加至颜色生成网络中的附加参数信息，以使得所述颜色生成网络在环境因素的影响下输出的第二采样点的颜色信息具有不同的颜色表现效果；
相应的，所述根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，包括：
根据所述第二采样点在不同材质维度上的参数信息以及所述附加参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据之后，所述方法还包括：
响应于待建模场景的编辑指令，获取待建模场景图片在材质信息提取过程中具有可编辑性的网络输入参数；
根据所述编辑指令对所述具有可编辑性的网络输入参数进行调整，以根据调整后的网络输入参数对待建模场景图片进行材质信息的提取和颜色信息的提取，获取更新后待建模场景图片的三维场景模型数据。
6.根据权利要求5所述的方法，其特征在于，在所述根据所述编辑指令对所述具有可编辑性的网络输入参数进行调整之后，所述方法还包括：
获取待建模场景中适用于添加至颜色生成网络中的附加参数信息，所述附加参数信息包括贴图方式得到的重新照明和额外光源方式得到的重新照明；
根据待建模场景中更新的贴图信息和/或新增的光照信息对所述附加参数信息进行调整，以根据调整后的网络输入参数对待建模场景图片进行信息提取之后，结合调整后的附加属性参数对待建模场景图片进行颜色提取，获取更新后待建模场景图片的三维场景模型数据。
7.根据权利要求6所述的方法，其特征在于，在所述获取待建模场景中适用于添加至颜色生成网络中的附加参数信息之后，所述方法还包括：
获取待建模场景中的光源信息，通过对所述光源信息进行修改，确定待建模场景中新增的光照信息。
8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据之后，所述方法还包括：
在所述第二采样点在不同材质维度上的参数信息中获取第二采样点在形状维度上的SDF值，根据所述第二采样点在形状维度上的SDF值对待建模场景图片进行3D建模；
根据所述第二采样点的体密度、所述第二采样点在形状维度上的SDF值、以及所述第二采样点的颜色信息，对待建模场景图片进行彩色3D建模。
9.一种三维场景的渲染方法，其特征在于， 包括：
从三维场景模型数据中提取第二采样点的体密度以及第二采样点的颜色信息；
根据所述第二采样点的体密度以及所述第二采样点的颜色信息，对待建模场景图片进行屏幕像素体渲染和光源体渲染，所述屏幕像素体渲染用于对3D模型进行颜色渲染，所述光源体渲染用于对3D模型进行阴影渲染；
其中，所述三维场景模型数据为使用权利要求1-8中任一项所述三维场景的建模方法得到的。
10.一种三维场景的建模装置，其特征在于，包括：
第一获取单元，用于获取待建模场景图片经过3D空间采样得到的第一采样点；
第一提取单元，用于根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，所述预先训练的模型网络包括形状网络和材质网络，具体根据所述第一采样点的属性信息，利用所述形状网络对待建模场景图片进行形状信息的提取，得到SDF表示的模型；将所述SDF表示的模型生成3D模型网格，根据所述3D模型网格的顶点数据估计第二采样点的属性信息；根据所述第二采样点的属性信息，利用所述材质网络对待建模场景图片进行材质信息的提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点的体密度为利用材质网络中第一材质子网络进行几何信息提取得到的；
第二提取单元，用于根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，所述第二采样点在不同材质维度上的参数信息作为预先训练的颜色生成网络对应的输入参数；
确定单元，用于根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据；
更改单元，用于使用环境贴图表示待建模场景中的漫反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的漫反射照明进行直接更改；使用多层感知机的网络表示待建模场景中的镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改；根据更改后待建模场景中的漫反射照明和镜面反射照明，确定待建模场景中更新的贴图信息；通过损失函数按照目标环境贴图进行优化，让镜面照明网络适应目标环境图/>，所述损失函数公式为：
其中，S表示网格表面的采样数，P表示目标环境贴图中的像素数，/>表示镜像照明网络，/>表示第i个采样点的粗糙度值，/>为从相机原点到目标环境贴图/>第j个像素位置的单位向量，这里假设法线方向n与相机方向/>是相同的；
更改单元，具体用于获取待建模场景中第二采样点的粗糙度信息；若所述第二采样点的粗糙度信息小于预设阈值，则所述通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，包括：通过将待建模场景中的环境贴图更换为目标环境贴图，按照所述目标环境贴图对多层感知机的网络进行优化，在优化过程中对待建模场景中的镜面反射照明进行间接更改；若所述第二采样点的粗糙度信息大于或等于预设阈值，则所述通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，包括：通过将待建模场景中的环境贴图更换为目标环境贴图，根据蒙特卡洛采样生成目标环境贴图的多层纹理映射，根据所述目标环境贴图的多层纹理映射，对待建模场景中的镜面反射照明进行间接更改；
具体通过蒙特卡洛采样得到不同粗糙度水平下的预过滤环境图，生成目标环境贴图的多层纹理映射，公式表示如下：
其中，表示来自/>方向的光，/>表示入射光方向，n表示入射点所在表面的法线，J是入射光方向的采样数；
所述多层纹理映射在每个纹理级别具有固定的粗糙度值，根据每个采样点的粗糙度r和相机方向，从多层纹理映射中查找对应级别的镜面照明，此时重新照明损失函数变为如下：
其中，M是预计算的环境多层纹理贴图，是从相机方向/>看的粗糙度为/>采样点的光的颜色。
11.一种三维场景的渲染装置，其特征在于，包括：
第四获取单元，用于从三维场景模型数据中提取第二采样点的体密度以及第二采样点的颜色信息；
渲染单元，用于根据所述第二采样点的体密度以及所述第二采样点的颜色信息，对待建模场景图片进行屏幕像素体渲染和光源体渲染，所述屏幕像素体渲染用于对3D模型进行颜色渲染，所述光源体渲染用于对3D模型进行阴影渲染；
其中，所述三维场景模型数据为使用权利要求1-8中任一项所述三维场景的建模方法得到的。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202311631762.7A 2023-12-01 2023-12-01 三维场景的建模及渲染方法、装置及设备 Active CN117333637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311631762.7A CN117333637B (zh) 2023-12-01 2023-12-01 三维场景的建模及渲染方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311631762.7A CN117333637B (zh) 2023-12-01 2023-12-01 三维场景的建模及渲染方法、装置及设备

Publications (2)

Publication Number Publication Date
CN117333637A CN117333637A (zh) 2024-01-02
CN117333637B true CN117333637B (zh) 2024-03-08

Family

ID=89283431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311631762.7A Active CN117333637B (zh) 2023-12-01 2023-12-01 三维场景的建模及渲染方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117333637B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746069B (zh) * 2024-02-18 2024-05-14 浙江啄云智能科技有限公司 以图搜图的模型训练方法、和以图搜图方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004941A (zh) * 2022-01-04 2022-02-01 苏州浪潮智能科技有限公司 一种基于神经辐射场的室内场景三维重建***及方法
CN114863037A (zh) * 2022-07-06 2022-08-05 杭州像衍科技有限公司 基于单手机的人体三维建模数据采集与重建方法及***
CN114972632A (zh) * 2022-04-21 2022-08-30 阿里巴巴达摩院(杭州)科技有限公司 基于神经辐射场的图像处理方法及装置
CN114972558A (zh) * 2021-02-25 2022-08-30 广州视源电子科技股份有限公司 书写笔迹绘制方法、装置、介质以及交互平板
CN115115688A (zh) * 2022-05-31 2022-09-27 荣耀终端有限公司 一种图像处理方法及电子设备
CN116246023A (zh) * 2023-03-03 2023-06-09 网易（杭州）网络有限公司 三维模型重建方法、装置、设备、存储介质及程序产品
CN116580161A (zh) * 2023-07-13 2023-08-11 湖南省建筑设计院集团股份有限公司 基于图像及NeRF模型的建筑三维模型构建方法及***
CN116721210A (zh) * 2023-06-09 2023-09-08 浙江大学 基于神经有符号距离场的实时高效三维重建方法及装置
CN116883565A (zh) * 2023-06-12 2023-10-13 华中科技大学 一种数字孪生场景的显隐式模型融合渲染方法及应用
CN116958492A (zh) * 2023-07-12 2023-10-27 数元科技(广州)有限公司 一种基于NeRf重建三维底座场景渲染的VR编辑应用
CN116958362A (zh) * 2023-02-27 2023-10-27 腾讯科技（深圳）有限公司 图像渲染方法、装置、设备和存储介质
CN116977431A (zh) * 2023-06-28 2023-10-31 中国科学院计算技术研究所 一种三维场景几何、材质与光照解耦和编辑***
CN116993826A (zh) * 2023-07-31 2023-11-03 杭州电子科技大学 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN117036612A (zh) * 2023-08-18 2023-11-10 武汉创升无限数字科技有限公司 一种基于神经辐射场的三维重建方法
CN117036569A (zh) * 2023-10-08 2023-11-10 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CA3199390A1 (en) * 2022-05-12 2023-11-12 Technologies Depix Inc. Systems and methods for rendering virtual objects using editable light-source parameter estimation
CN117095132A (zh) * 2023-10-18 2023-11-21 北京渲光科技有限公司 基于隐式函数的三维重建方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220335636A1 (en) * 2021-04-15 2022-10-20 Adobe Inc. Scene reconstruction using geometry and reflectance volume representation of scene

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972558A (zh) * 2021-02-25 2022-08-30 广州视源电子科技股份有限公司 书写笔迹绘制方法、装置、介质以及交互平板
CN114004941A (zh) * 2022-01-04 2022-02-01 苏州浪潮智能科技有限公司 一种基于神经辐射场的室内场景三维重建***及方法
CN114972632A (zh) * 2022-04-21 2022-08-30 阿里巴巴达摩院(杭州)科技有限公司 基于神经辐射场的图像处理方法及装置
CA3199390A1 (en) * 2022-05-12 2023-11-12 Technologies Depix Inc. Systems and methods for rendering virtual objects using editable light-source parameter estimation
CN115115688A (zh) * 2022-05-31 2022-09-27 荣耀终端有限公司 一种图像处理方法及电子设备
CN114863037A (zh) * 2022-07-06 2022-08-05 杭州像衍科技有限公司 基于单手机的人体三维建模数据采集与重建方法及***
CN116958362A (zh) * 2023-02-27 2023-10-27 腾讯科技（深圳）有限公司 图像渲染方法、装置、设备和存储介质
CN116246023A (zh) * 2023-03-03 2023-06-09 网易（杭州）网络有限公司 三维模型重建方法、装置、设备、存储介质及程序产品
CN116721210A (zh) * 2023-06-09 2023-09-08 浙江大学 基于神经有符号距离场的实时高效三维重建方法及装置
CN116883565A (zh) * 2023-06-12 2023-10-13 华中科技大学 一种数字孪生场景的显隐式模型融合渲染方法及应用
CN116977431A (zh) * 2023-06-28 2023-10-31 中国科学院计算技术研究所 一种三维场景几何、材质与光照解耦和编辑***
CN116958492A (zh) * 2023-07-12 2023-10-27 数元科技(广州)有限公司 一种基于NeRf重建三维底座场景渲染的VR编辑应用
CN116580161A (zh) * 2023-07-13 2023-08-11 湖南省建筑设计院集团股份有限公司 基于图像及NeRF模型的建筑三维模型构建方法及***
CN116993826A (zh) * 2023-07-31 2023-11-03 杭州电子科技大学 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN117036612A (zh) * 2023-08-18 2023-11-10 武汉创升无限数字科技有限公司 一种基于神经辐射场的三维重建方法
CN117036569A (zh) * 2023-10-08 2023-11-10 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117095132A (zh) * 2023-10-18 2023-11-21 北京渲光科技有限公司 基于隐式函数的三维重建方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction;Zehao Yu;《36th Conference on Neural Information Processing Systems》;20221231(第2022期);1-15 *

Also Published As

Publication number Publication date
CN117333637A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
JP2024522287A (ja) 三次元人体再構成方法、装置、デバイスおよび記憶媒体
US10163247B2 (en) Context-adaptive allocation of render model resources
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
CN102136156B (zh) 用于介观几何结构调制的***和方法
CN112950769A (zh) 三维人体重建方法、装置、设备及存储介质
CN114119853B (zh) 图像渲染方法、装置、设备和介质
CN116228943B (zh) 虚拟对象面部重建方法、面部重建网络训练方法及装置
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN116416376A (zh) 一种三维头发的重建方法、***、电子设备及存储介质
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
Yu et al. Learning object-centric neural scattering functions for free-viewpoint relighting and scene composition
Yang et al. Reconstructing objects in-the-wild for realistic sensor simulation
CN116363320B (zh) 重建模型的训练和三维模型重建方法、装置、设备及介质
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
CN115984440B (zh) 对象渲染方法、装置、计算机设备和存储介质
JP2023178274A (ja) メッシュ頂点位置についての求根および反復を用いて表面を近似するポリゴンメッシュを生成する方法およびシステム
CN112785494B (zh) 一种三维模型构建方法、装置、电子设备和存储介质
CN114529648A (zh) 模型展示方法、设备、装置、电子设备及存储介质
CN114119923A (zh) 三维人脸重建方法、装置以及电子设备
JP2017010508A (ja) プログラム、記録媒体、輝度演算装置及び輝度演算方法
Gao et al. EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices
Galea et al. Gpu-based selective sparse sampling for interactive high-fidelity rendering
CN115797226B (zh) 图像降噪方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant