CN116883565A - 一种数字孪生场景的显隐式模型融合渲染方法及应用 - Google Patents
一种数字孪生场景的显隐式模型融合渲染方法及应用 Download PDFInfo
- Publication number
- CN116883565A CN116883565A CN202310690300.6A CN202310690300A CN116883565A CN 116883565 A CN116883565 A CN 116883565A CN 202310690300 A CN202310690300 A CN 202310690300A CN 116883565 A CN116883565 A CN 116883565A
- Authority
- CN
- China
- Prior art keywords
- model
- rendering
- scene
- implicit
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 77
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000004508 fractional distillation Methods 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 230000005855 radiation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000002834 transmittance Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 210000005036 nerve Anatomy 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 210000004460 N cell Anatomy 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 claims description 3
- 238000012549 training Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Generation (AREA)
Abstract
本发明属于数字孪生三维场景重建相关技术领域，其公开了一种数字孪生场景的显隐式模型融合渲染方法及应用，包括以下步骤：S1，构建JAXNeRF+的神经网络模型；S2，基于获得的采样点及其对应的2D视角方向，采用神经网络模型计算得到每个采样点对应的颜色和密度；S3，构建预渲染稀疏体素网格；S4，使用预渲染体素网格进行像素射线采样体渲染，并采用分数蒸馏采样损失对场景构建时产生的伪影进行去除；S5，构建模型位姿可视化和对齐工具，进而将获取显示模型的实时位姿与相机平面间的深度信息***隐式场景模型的像素射线体渲染路径之中，使得渲染图像能够分辨显隐式模型的前后景信息。本发明提高了质量和灵活性。
Description
技术领域
本发明属于数字孪生三维场景重建相关技术领域，更具体地，涉及一种数字孪生场景的显隐式模型融合渲染方法及应用。
背景技术
数字孪生五维模型包括物理实体、虚拟模型、服务、孪生数据以及它们之间的连接交互。反映物理对象的孪生模型是数字孪生五维模型中最为关键的维度之一，是数字孪生***构建的第一个步骤，其性能将直接影响到数字孪生***中对物理实体反映的准确程度，进而影响对物理实体的判断与决策。随着各领域对智能化数字孪生***需求的增加，在部分场合下需要数字孪生***有快速构建虚拟场景的能力，对三维虚拟场景的时效性和准确性都有很高的要求。针对于物理场景准确、高效地构建其虚拟数字化模型的问题已经成为制约数字孪生***发展的关键因素之一。
对数字孪生场景而言，模型构建的层次、规则、复杂程度都会影响到***的运行可靠性。目前的数字孪生虚拟模型的构建方法基本都是基于传统三维建模技术，需要三维建模工作者根据实际的物理场景的几何尺寸，从“几何-物理-行为-规则”多维度构建出数字孪生虚拟模型。该方法具有适用范围广，流程直观等优点，是目前构建数字孪生虚拟模型的主流方法。
然而现有的通过人工场景建模的数字孪生虚拟模型的构建方法，非常繁琐，且效率极低，当孪生场景过大时或者出现难以人工构建的复杂场景时，人工场景建模就会严重影响数字孪生模型搭建进度甚至导致建模失败。与此同时，传统场景构建方法，大都只是简单构建场景要素，很难从视觉上还原真实场景，无法满足数字孪生***对高保真场景的需求。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种数字孪生场景的显隐式模型融合渲染方法及应用，该方法应用神经辐射场(NeRF：Neural Radiance Fields)对场景进行高保真隐式模型构建，其利用了深度神经网络来对三维场景进行建模，神经网络接收从不同视角观察场景的二位图像作为输入，然后通过训练来学习场景中的三维几何结构和光照属性，并且能够通过训练好的模型快速推断出高质量的三维场景渲染。为了保证场景的可编辑能力，将显示模型与NeRF隐式模型进行联合体渲染，使得重建的数字孪生场景兼具NeRF隐式模型的高保真与高质量的渲染效果以及显示模型的灵活编辑性能。
为实现上述目的，按照本发明的一个方面，提供了一种数字孪生场景的显隐式模型融合渲染方法，该方法包括以下步骤：
S1，采用增量处理方式对采集得到的待重建场景的图像进行预处理，基于预处理后的图像生成采样射线，并对采样射线进行采样，以得到采样点，继而构建JAXNeRF+的神经网络模型；
S2，基于获得的采样点及其对应的2D视角方向，采用神经网络模型计算得到每个采样点对应的颜色和密度，并利用体素渲染技术将得到的颜色和密度生成所需的任意视角图像；
S3，构建预渲染稀疏体素网格，实现神经网络隐式模型向半显示的体素特征模型的转换，所述神经网络模型是神经网络隐式模型，所述预渲染稀疏体素网格是半显示的体素特征模型；
S4，使用预渲染体素网格进行像素射线采样体渲染，并采用分数蒸馏采样损失对场景构建时产生的伪影进行去除；
S5，构建模型位姿可视化和对齐工具，以提供对齐显示模型与隐式模型所需的位姿变换操作和相应的数据输出功能；进而将获取显示模型的实时位姿与相机平面间的深度信息***隐式场景模型的像素射线体渲染路径之中，使得渲染图像能够分辨显隐式模型的前后景信息，模糊显隐式表达式的界限，从而获得显隐式融合的渲染视图。
进一步地，增量式处理方式包括数据分割与融合过程，数据分割与融合过程包括以下子步骤：首先将整个图像数据库按照顺序分割为小型局部数据块，分别对每个数据块使用非线性优化技术进行运动结构重建，最后通过图优化技术对全局进行BA优化从而将每个数据块的运动结构信息融合为全局运动结构模型。
进一步地，步骤S1中，将采样射线从相机位置向前延伸，沿着每个采样射线分别使用Uniform采样器和SDF采样器采样一些离散点，然后将这些离散点映射到每个点在3D场景中所对应的位置。
进一步地，神经网络模型引入了一个自适应激活函数，自适应激活函数将多个采样点的特征信息聚合到一个全局特征中。
进一步地，神经网络模型引入了多域逼近和分层采样策略。
进一步地，使用神经网络模型来建模辐射场；渲染过程中，把射线平均分成N个小区间，每个区间随机采样一个点，对采样所得颜色进行某种加权求和：
其中，δi＝ti+1-ti为两个采样点之间的距离；i为采样点序号；ti为第i个采样点的位置；u为均匀分布；ts为起始采样位置；te为终止采样位置；Ti为第i处采样点的累计透光率；σi为采样点i处的体素密度；ci为采样点i处的颜色信息。
进一步地，设定一个密度阈值ξ，基于采样得到的每个体素的信息来比较体素的采样密度σ(t)与ξ的大小，若σ(t)小于阈值，则舍弃该体素；对剩下的体素进行八叉树划分后，进而获得构建完全的预渲染稀疏体素网格。
进一步地，将显示模型信息通过变换矩阵Te2i对齐到PRNeRF的预渲染稀疏网格坐标***中；再根据输入的渲染视角信息确定每个像素的体渲染射线：r＝o+tD；之后，根据渲染视觉信息，将体渲染射线路径上的显示模型信息进行神经辐射场参数转换；接着，根据显式模型的深度信息，将显式模型的神经辐射场参数添加进体素渲染的路径之中。
本发明还提供了一种数字孪生场景的显隐式模型融合渲染***，所述***包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的数字孪生场景的显隐式模型融合渲染方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的数字孪生场景的显隐式模型融合渲染方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的数字孪生场景的显隐式模型融合渲染方法及应用主要具有以下有益效果：
1.本发明使用重构的PRNeRF(Pre-Rendered Neural Radiance Fields)作为场景环境建模方法，极大地提升了孪生场景视觉拟真效果，同时将模型的训练和渲染管线分割，通过构建预渲染系数网格以增加对实时性要求不高的训练过程的计算复杂度为代价，显著提高了对实时性要求很高的渲染过程的速度。
2.本发明将数字孪生场景的构建划分为显示场景及隐式场景，对于低动态的背景等场景通过NeRF构建其高保真的隐式模型，而对于高动态的场景物体则构建其具有高可编辑性能的显示模型，这种分而治之的场景模型构建思想使得场景兼具高质量的渲染效果和灵活的编辑性能。
3.本发明的显隐式混合渲染方法打破了显隐式三维模型之间的数据表达壁垒，不需要显隐式模型之间的相互转换，直接将显示模型参与进NeRF的体渲染过程，使得渲染过程能够分辨两种表达方式的前后景关系，从而达到两种表达式之间无隔阂的融合渲染效果。
附图说明
图1是本发明提供的一种数字孪生场景的显隐式模型融合渲染方法的流程示意图；
图2是本发明涉及的PRNeRF隐式场景渲染示意图；
图3是本发明涉及的显隐式场景融合渲染的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
数字孪生是一种基于虚拟现实技术的、将实际场景与数字模型相结合的技术。它通过实时监测、模拟和预测现实场景，为企业和组织提供了全新的、更加真实的交互式体验。数字孪生的出现为现实场景的数字化转型提供了一个新的思路和方式。数字孪生场景主要功能是对物理场景或者复杂***全要素进行多维、多时空尺度和多领域描述与刻画。反映物理对象的孪生模型是数字孪生五维模型中最为关键的维度之一，是数字孪生***构建的第一个步骤，其性能将直接影响到数字孪生***中对物理实体反映的准确程度，进而影响对物理实体的判断与决策。
请参阅图1及图2，本实施方式以塔吊施工场景的数字孪生场景重建为例，详述本发明提供的一种数字孪生场景的显隐式模型融合渲染方法。该方法包括对时间实时性要求不高的训练阶段、加速渲染的预渲染阶段和高实时性要求的显隐式模型融合渲染的渲染阶段。
所述方法主要包括以下步骤：
S1，训练阶段。
训练阶段构建了一个JAXNeRF+的神经网络，用以训练和储存尽可能详细的物理场景信息，是预渲染阶段及渲染阶段的所用场景信息的获取来源。
训练阶段主要包括以下步骤：
S11，采集待重建场景的图像。
图像获取过程中需要注意环境光照均匀，图像之间至少有三分之一的视野重叠区，并且尽可能的获取到待重建场景的所有视野。
S12，采用增量处理方式对采集到的图像进行预处理。
图像预处理过程采用增量式处理方式，大型场景下，获取的图像数据极其庞大，传统全局优化方式会因为内存开销过大而无法胜任大型场景的图像预处理过程。增量式处理方式包括数据分割与融合过程，需要知道拍摄图像数据的顺序。
数据分割与融合过程包括以下子步骤：首先将整个图像数据库按照顺序分割为小型局部数据块，分别对每个数据块使用非线性优化技术进行运动结构重建，最后通过图优化技术对全局进行BA优化从而将每个数据块的运动结构信息融合为全局运动结构模型。
S13，基于预处理后的图像生成采样射线，并对采样射线进行采样，以得到采样点。
将采样射线从相机位置向前延伸，沿着每个采样射线分别使用Uniform采样器和SDF采样器采样一些离散点，然后将这些离散点映射到每个点在3D场景中所对应的位置。
S14，构建JAXNeRF+的神经网络模型。
神经网络模型与标准的NeRF相似，引入了一个自适应激活函数。自适应激活函数将多个采样点的特征信息聚合到一个全局特征中，以减少噪声和改善模型的鲁棒性。此外，神经网络模型引入了多域逼近(Multi-field Approximation)技术和分层采样策略(Hierarchical Sampling)，以提高了模型的训练效率和场景重建精度。
S15，基于获得的采样点及其对应的2D视角方向，采用神经网络模型计算得到每个采样点对应的颜色和密度。
将获得的采样点及其对应的2D视角方向作为输入，来输出一组颜色和密度。如果从一个角度向一个静态空间发射一条射线，可以查询这条射线在空间中每个点(x,y,z)的密度σ，以及该位置在射线角度(θ,φ)下呈现出来的颜色c(c＝(R,G,B))，即F:(x,y,z,θ,φ)→(R,G,B,σ)。其中，密度用作计算权重，对射线上的采样点的(R,G,B)值做加权累计求和即可得到像素颜色，像素颜色的公式为：
其中，T(t)表示累计透光率，C(r)为体渲染得到的颜色信息；σ(r(t))为体素密度；c(r(t),d)为颜色信息；r(t)为体渲染射线；D为射线方向。
S16，利用体素渲染技术将得到的颜色和密度生成所需的任意视角图像。
所谓体素渲染是相机焦点和像素的连线形成一条射线，对这条射线上所有的采样点的颜色做加权累计求和就可以得到这个像素的颜色值。
其中，使用神经网络模型来建模辐射场，由于神经网络模型是可微分的，所以体素渲染方式是可微分的，于是使用体素渲染得到的图像和原图计算均方误差MSE Loss，从而构建出损失函数：
整个过程可以端到端地用梯度回传进行场景优化。
在实际渲染过程中，把射线平均分成N个小区间，每个区间随机采样一个点，对采样所得颜色进行某种加权求和：
其中，δi＝ti+1-ti为两个采样点之间的距离；i为采样点序号；ti为第i个采样点的位置；u为均匀分布；ts为起始采样位置；te为终止采样位置；Ti为第i处采样点的累计透光率；σi为采样点i处的体素密度；ci为采样点i处的颜色信息。
S2，预渲染阶段。
请参阅图2，PRNeRF的渲染过程需要基于训练神经网络模型，构建一个预渲染稀疏体素网格，然后通过预渲染稀疏网格采样以得到体渲染采样点，获取采样点底色、密度和方向特征向量。一方面通过底色和密度信息进行累计体渲染获取场景底色模型；另一方面通过密度和方向特征向量沿射线累计，再通过解码器获取修正颜色信息，最后将两者结合获得最终渲染结果。
预渲染阶段主要包括以下步骤：
S21，构建预渲染稀疏体素网格，实现神经网络隐式模型向半显示的体素特征模型的转换，所述神经网络模型是神经网络隐式模型，所述预渲染稀疏体素网格是半显示的体素特征模型。具体包括以下子步骤：
S211，构建初始体素网格，覆盖整个有效场景。鉴于施工场景为无边界场景，构建两层体素网格，第一层网格正常比例存放场景信息，而第二层网格存放压缩后的背景场景信息：
式中，xj为采样点的位置。
S212，对每个体素进行NeRF渲染，从训练完成的神经网络隐式模型中采样：
σ(t),co(t),v(t)＝MLPΘ(r(t))
式中，σ(t)为采样密度，co(t)为采样点的底色，而v(t)为一个与方向有关的特征向量；MLPΘ(r(t))表示沿r(t)从隐式神经网络采样。
S213，设定一个密度阈值ξ，基于采样得到的每个体素的信息来比较体素的采样密度σ(t)与ξ的大小，若σ(t)小于阈值，则舍弃该体素。
S214，对剩下的体素进行八叉树划分，将每个体素划分为更小的区域，提高体素分辨率。
S215，重复步骤S212～S214直到分辨率达到所设定的上限Rn，或者分割层次达到上限Fn，获得构建完全的预渲染稀疏体素网格。
S22，使用预渲染体素网格进行像素射线采样体渲染。具体包括以下子步骤：
S221，通过采样器采样获得每个采样点的密度、底色和方向特征向量：
S222，利用采样点密度和底色/>沿射线积累进行体渲染，获得模型底色图像：
式中，tk为采样点；T(tk)为累计透光率；为采样点tk处的密度；/>为采样点tk处的颜色信息。
S223，利用采样点密度和方向特征向量/>沿射线积累进行体渲染，获得像素的累计方向特征：
S224，对于像素的累计方向特征进行解码，获取像素修正信息：
其中，d是方向向量编码，MLPΦ为解码神经网络。
S225，将模型底色图像加上像素修正信息，获得该视角下的模型渲染图像：
S23，采用分数蒸馏采样损失对场景构建时产生的伪影进行去除。其中，针对施工场景的辅助场景的隐式NeRF场景构建容易产生伪影的问题，采用3D扩散法利用局部3D先验和一种基于密度的分数蒸馏采样损失来阻止NeRF优化过程中的伪影。伪影的去除包括以下步骤：首先，训练一个扩散模型来学习三维表面块的分布，然后在NeRF重建真实三维场景时，通过查询预渲染稀疏体素网格对应的场景中局部三维块中的密度，并使用密度分数蒸馏损失来规范采样密度。使用以上本地先验可以改善在稀疏监督信号区域的重建，并消除伪影。
S3，渲染阶段。
请参阅图3，利用显隐式融合渲染方法结合了隐式模型高效表达复杂集合形状、大型场景等三维场景的能力和显示模型灵活的编辑性能，使得所构建的数字孪生塔吊的施工场景兼具极高的视觉拟真效果和可灵活编辑的能力。
其中，隐式模型PRNeRF提供了一个由神经辐射场向显示三维网格粗模mesh转换的解决方案，用于对齐显示模型与隐式模型之间的位置、姿态与尺寸关系。
渲染阶段主要包括以下步骤：
S31，构建模型位姿可视化和对齐工具，以提供对齐显示模型与隐式模型所需的位姿变换操作和相应的数据输出功能。
按照实际场景需求和物理空间位姿数据，对齐显隐式模型并获得显隐式模型之间的位姿变换矩阵Te2i，构建起融合渲染的场景映射桥梁。
S32，将获取显示模型的实时位姿与相机平面间的深度信息***隐式场景模型的像素射线体渲染路径之中，使得渲染图像能够分辨显隐式模型的前后景信息，模糊显隐式表达式的界限。具体包括以下子步骤：
S321，将显示模型信息通过变换矩阵Te2i对齐到PRNeRF的预渲染稀疏网格坐标***中。
S322，根据输入的渲染视角信息确定每个像素的体渲染射线：r＝o+tD。
S323，根据渲染视觉信息，将体渲染射线路径上的显示模型信息进行神经辐射场参数转换。具体来说，设置一个Transformer将路径上的显式模型材料和颜色信息以及方向特征作为输入，获得密度和颜色信息：
其中，主要和材质透明度有关；/>为显式模型颜色信息；/>为显式模型密度信息；/>为显式模型方向向量。
S324，根据显式模型的深度信息，将显式模型的神经辐射场参数添加进体素渲染的路径之中：
然后根据PRNeRF的渲染后续流程获得显隐式融合的渲染视图；
式中，T(ti)为累计透光率；为体素密度信息；/>为采样点颜色信息；Ted为采样射线到显式模型处的累计透光率；/>为显式模型处的体素密度信息；T′(ti)为***了显式模型的累计透光率；/>为采样点处的方向特征向量。
本发明综合了神经辐射场、体渲染、神经网络等技术，使用PRNeRF框架进行数字孪生场景重建，重构了传统NeRF训练和渲染结构，在训练阶段引入预渲染稀疏体素网格，显著加速渲染过程达到实时运行，并在渲染阶段设计了显隐式模型融合渲染方法，使得渲染场景结合了隐式模型高效表达复杂集合形状、大型场景等三维场景的能力，以及显式模型灵活的编辑性能，使得所构建的数字孪生场景兼具极高的视觉拟真效果和可灵活编辑的能力。
本发明还提供了一种数字孪生场景的显隐式模型融合渲染***，所述***包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的数字孪生场景的显隐式模型融合渲染方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的数字孪生场景的显隐式模型融合渲染方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数字孪生场景的显隐式模型融合渲染方法，其特征在于，该方法包括以下步骤：
S1，采用增量处理方式对采集得到的待重建场景的图像进行预处理，基于预处理后的图像生成采样射线，并对采样射线进行采样，以得到采样点，继而构建JAXNeRF+的神经网络模型；
S2，基于获得的采样点及其对应的2D视角方向，采用神经网络模型计算得到每个采样点对应的颜色和密度，并利用体素渲染技术将得到的颜色和密度生成所需的任意视角图像；
S3，构建预渲染稀疏体素网格，实现神经网络隐式模型向半显示的体素特征模型的转换，所述神经网络模型是神经网络隐式模型，所述预渲染稀疏体素网格是半显示的体素特征模型；
S4，使用预渲染体素网格进行像素射线采样体渲染，并采用分数蒸馏采样损失对场景构建时产生的伪影进行去除；
S5，构建模型位姿可视化和对齐工具，以提供对齐显示模型与隐式模型所需的位姿变换操作和相应的数据输出功能；进而将获取显示模型的实时位姿与相机平面间的深度信息***隐式场景模型的像素射线体渲染路径之中，使得渲染图像能够分辨显隐式模型的前后景信息，模糊显隐式表达式的界限，从而获得显隐式融合的渲染视图。
2.如权利要求1所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：增量式处理方式包括数据分割与融合过程，数据分割与融合过程包括以下子步骤：首先将整个图像数据库按照顺序分割为小型局部数据块，分别对每个数据块使用非线性优化技术进行运动结构重建，最后通过图优化技术对全局进行BA优化从而将每个数据块的运动结构信息融合为全局运动结构模型。
3.如权利要求1所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：步骤S1中，将采样射线从相机位置向前延伸，沿着每个采样射线分别使用Uniform采样器和SDF采样器采样一些离散点，然后将这些离散点映射到每个点在3D场景中所对应的位置。
4.如权利要求1所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：神经网络模型引入了一个自适应激活函数，自适应激活函数将多个采样点的特征信息聚合到一个全局特征中。
5.如权利要求4所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：神经网络模型引入了多域逼近和分层采样策略。
6.如权利要求1所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：使用神经网络模型来建模辐射场；渲染过程中，把射线平均分成N个小区间，每个区间随机采样一个点，对采样所得颜色进行某种加权求和：
其中，δi＝ti+1-ti为两个采样点之间的距离；i为采样点序号；ti为第i个采样点的位置；u为均匀分布；ts为起始采样位置；te为终止采样位置；Ti为第i处采样点的累计透光率；σi为采样点i处的体素密度；ci为采样点i处的颜色信息。
7.如权利要求1所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：设定一个密度阈值，基于采样得到的每个体素的信息来比较体素的采样密度σ(t)与ξ的大小，若σ(t)小于阈值，则舍弃该体素；对剩下的体素进行八叉树划分后，进而获得构建完全的预渲染稀疏体素网格。
8.如权利要求1-7任一项所述的数字孪生场景的显隐式模型融合渲染方法，其特征在于：将显示模型信息通过变换矩阵Te2i对齐到PRNeRF的预渲染稀疏网格坐标***中；再根据输入的渲染视角信息确定每个像素的体渲染射线：r＝o+td；之后，根据渲染视觉信息，将体渲染射线路径上的显示模型信息进行神经辐射场参数转换；接着，根据显式模型的深度信息，将显式模型的神经辐射场参数添加进体素渲染的路径之中。
9.一种数字孪生场景的显隐式模型融合渲染***，其特征在于：所述***包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行权利要求1-8任一项所述的数字孪生场景的显隐式模型融合渲染方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-8任一项所述的数字孪生场景的显隐式模型融合渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310690300.6A CN116883565A (zh) | 2023-06-12 | 2023-06-12 | 一种数字孪生场景的显隐式模型融合渲染方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310690300.6A CN116883565A (zh) | 2023-06-12 | 2023-06-12 | 一种数字孪生场景的显隐式模型融合渲染方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883565A true CN116883565A (zh) | 2023-10-13 |
Family
ID=88265114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310690300.6A Pending CN116883565A (zh) | 2023-06-12 | 2023-06-12 | 一种数字孪生场景的显隐式模型融合渲染方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883565A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333637A (zh) * | 2023-12-01 | 2024-01-02 | 北京渲光科技有限公司 | 三维场景的建模及渲染方法、装置及设备 |
-
2023
- 2023-06-12 CN CN202310690300.6A patent/CN116883565A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333637A (zh) * | 2023-12-01 | 2024-01-02 | 北京渲光科技有限公司 | 三维场景的建模及渲染方法、装置及设备 |
| CN117333637B (zh) * | 2023-12-01 | 2024-03-08 | 北京渲光科技有限公司 | 三维场景的建模及渲染方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Hf-neus: Improved surface reconstruction using high-frequency details | |
| CN110782490B (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
| CN115082639A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN115115797B (zh) | 大场景稀疏光场语义驱动智能重建方法、***与装置 | |
| CN113450396A (zh) | 基于骨骼特征的三维/二维图像配准方法及装置 | |
| CN115761178A (zh) | 基于隐式神经表示的多视图三维重建方法 | |
| Cheng et al. | Gaussianpro: 3d gaussian splatting with progressive propagation | |
| CN116883565A (zh) | 一种数字孪生场景的显隐式模型融合渲染方法及应用 | |
| Zuo et al. | View synthesis with sculpted neural points | |
| CN116721210A (zh) | 基于神经有符号距离场的实时高效三维重建方法及装置 | |
| CN117422829A (zh) | 一种基于神经辐射场的人脸图像合成优化方法 | |
| Ge et al. | 3D Reconstruction of Ancient Buildings Using UAV Images and Neural Radiation Field with Depth Supervision | |
| Zhang et al. | MFFE: multi-scale feature fusion enhanced net for image dehazing | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| CN114972619A (zh) | 一种基于自对齐双重回归的单图像人脸三维重建方法 | |
| Fan et al. | Non-aligned supervision for real image dehazing | |
| CN116863053A (zh) | 一种基于知识蒸馏的点云渲染增强方法 | |
| CN116597112A (zh) | 基于几何先验网络的三维重建方法及装置 | |
| CN116467948A (zh) | 一种数字孪生模型机理和外观联合参数学习方法 | |
| Chen et al. | Recovering fine details for neural implicit surface reconstruction | |
| Wei et al. | LiDeNeRF: Neural radiance field reconstruction with depth prior provided by LiDAR point cloud | |
| Li et al. | Intelligent combination of discrete LoD model for 3D visualization based on visual perception and information entropy fusion | |
| He et al. | MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending | |
| CN117541755B (zh) | 一种基于rgb-d三维重建的刚性物体虚实遮挡方法 | |
| KR102648938B1 (ko) | 기하학적 일관성을 이용한 소수 샷 신경 방사장 기반 3차원 이미지 재구성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |