CN116310228A - 一种针对遥感场景的表面重建与新视图合成方法 - Google Patents
一种针对遥感场景的表面重建与新视图合成方法 Download PDFInfo
- Publication number
- CN116310228A CN116310228A CN202310205663.6A CN202310205663A CN116310228A CN 116310228 A CN116310228 A CN 116310228A CN 202310205663 A CN202310205663 A CN 202310205663A CN 116310228 A CN116310228 A CN 116310228A
- Authority
- CN
- China
- Prior art keywords
- rendering
- color
- ray
- loss
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000009877 rendering Methods 0.000 claims description 80
- 238000005070 sampling Methods 0.000 claims description 30
- GJJFMKBJSRMPLA-HIFRSBDPSA-N (1R,2S)-2-(aminomethyl)-N,N-diethyl-1-phenyl-1-cyclopropanecarboxamide Chemical compound C=1C=CC=CC=1[C@@]1(C(=O)N(CC)CC)C[C@@H]1CN GJJFMKBJSRMPLA-HIFRSBDPSA-N 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 230000000149 penetrating effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 45
- 238000005457 optimization Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Image Generation (AREA)
Abstract
一种针对遥感场景的表面重建与新视图合成方法,涉及遥感图像处理技术领域,针对现有技术中由于颜色偏差及权重偏差的存在,导致合成的图像不准确的问题,本申请不仅能够拥有神经渲染对场景的逼真再呈现能力,还能兼顾表面渲染的无偏性与体渲染的感受野,以准确重建场景的曲面表示,进而提升了合成图像的准确率。同时,本申请还能针对遥感场景做出优化,以适应遥感场景视图稀疏、地物复杂的特性。
Description
技术领域
本申请涉及遥感图像处理技术领域,具体为一种针对遥感场景的表面重建与新视图合成方法。
背景技术
自然场景的三维空间建模,以及基于空间建模先验的场景视图合成一直是信息技术围绕人类交互体验的重要努力方向。在过去的几十年里面,研究者们一直尝试将自然真实场景转化为有效的数字资产,但这并非一件易事,尤其对于遥感图像而言。
传统三维重建方法的核心是立体匹配技术,即通过跨视图匹配特征点来重现深度信息,其重建管道主要由特征检测与匹配、稀疏点云重建、密集点云重建、泊松曲面重建几个阶段构成,而每个阶段都有可能引入误差,因此存在误差累积的问题。此外,仅对重建出的网格模型进行渲染无法对场景进行逼真的还原。
相较于基于显式表示(如体素、点云、网格)的传统方法,最近,神经渲染领域的研究基于使用隐式函数来表示场景,并通过优化像素颜色与相机射线颜色的差异(即可微分渲染),来从图像中重构场景的三维表示,并在视图合成任务上取得了极好的表现。我们按照渲染方式将这些研究分为两类:表面渲染与体渲染。表面渲染将相机射线与物体表面交点处的颜色定义为射线的颜色,即表面渲染直接优化的是表面颜色,因此这种方式中不存在颜色与权重估计的偏差,但反向传播时,梯度只存在于射线上的一点,空间感受野过于局部,难以正确重建场景的曲面表示;体渲染则将沿摄像机射线的颜色积分作为射线的颜色,相较于表面渲染,体渲染通过颜色积分的方式扩大了空间感受野,但是由于颜色偏差与权重偏差的存在,它所依赖的颜色损失不能够提供精确的几何约束。
所谓颜色偏差,是指体渲染颜色积分的结果与表面颜色之间存在的差异,对于依靠颜色来优化几何的可微分渲染技术来说,这种颜色偏差将不可避免地对重建精确表面造成影响。当前的体渲染方法都假设射线的颜色权重在射线与曲面的第一个交点处达到最大值,然而在实际的优化过程中,权重最大值并不一定出现在射线与曲面的交点处,这种情况即为权重偏差。权重偏差不仅会阻碍体渲染对于准确表面的感知,还会诱发表面颜色与颜色积分的差异。
综上,传统的场景重构技术在视图合成方面表现不佳;基于表面渲染的场景重构技术对空间的感受野过小,容易陷入局部最小值点;基于体渲染的场景重构技术则由于颜色偏差及权重偏差的存在,无法提供精确的几何约束,进而导致合成的图像不准确。
发明内容
本申请的目的是:针对现有技术中由于颜色偏差及权重偏差的存在,导致合成的图像不准确的问题,提出一种针对遥感场景的表面重建与新视图合成方法。
本申请为了解决上述技术问题采取的技术方案是:
一种针对遥感场景的表面重建与新视图合成方法,包括以下步骤:
步骤一:由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数,根据相机内外参数,并利用多视图立体匹配算法重建点云pmvs;
步骤二:随机抽选一张遥感图像作为参考视图Ir,同时抽取L张与Ir相邻的遥感图像作为源视图Is={Iis|i=1,...,L},并得到Ir与Is对应的灰度图I′r和I′s={I′is|i=1,...,L},而后从参考视图Ir中随机选取一个像素Pixel,并根据相机内外参数构造射线p(t,v)对像素Pixel进行穿透,最后在射线p(t,v)上进行N点采样,得到像素Pixel对应的采样点集合P={p(ti,v)|i=0,1,2...,N-1},其中,射线p(t,v)是一个三维矢量函数,即p(t,v)=o+tv,其中,o表示摄像机的空间坐标,v表示射线的单位方向矢量,即射线方向,t表示射线的深度;
步骤三:将采样点集合P送入MLP网络Fθ,得到对应的SDF值,然后根据SDF值对采样点集合P进行线性插值,得到令MLP网络Fθ输出的SDF值为零时对应的空间点P*,及P*对应的射线深度t*,即有P*=o+t*v;
步骤四:将采样点集合P与P*取并集,得到点集P′;
步骤五:对点集P′进行权重估计,得到点集P′对应的颜色权重{w(ti)|i=0,1,2...,N};
步骤六:将点集P′、射线的单位方向矢量v送入MLP网络得到点集P′沿射线方向v对应的颜色值{c(ti,v)|i=0,1,2...,N},然后根据颜色权重对颜色值进行加权求和,并将求和结果作为像素Pixel对应的重建颜色cvolume_renderin,q;
步骤八:由相机内外参数计算空间点P*在参考视图及源视图的灰度图I′r与I′s={I′is|i=1,...,L}中所对应的图像块I′r(q)及I′s(q)={I′is(qis)|i=1,...,L};
步骤九:由重建颜色cvolume_rendering构造损失函数Lossvolume_rendering、由重建颜色csurface_rendering构造损失函数Losssurface_rendering、由点云Pmvs构造损失函数Losssdf、由图像块I′r(q)及I′s(q)构造损失函数Lossphoto,然后基于上述损失函数利用反向传播优化MLP网络Fθ及
进一步的,所述步骤六中的重建颜色cvolume_rendering表示为:
其中,c(ti,v)、w(ti)分别表示空间点o+tiv沿射线方向v的颜色值及颜色权重。
进一步的,所述步骤七中的重建颜色csurface_rendering表示为:
csurface_rendering=c(t*,v)
其中,c(t*,v)表示空间点P*沿射线方向v的颜色值。
进一步的,所述线性插值表示为:
其中,f表示MLP网络Fθ所代表的SDF函数,p(ti,v)和p(ti+1,v)表示射线p(t,v)上两个相邻且满足关系f(p(ti,v))·f(p(ti+1,v))<0的采样点,ti和ti+1表示p(ti,v)和p(ti+1,v)沿射线方向v所对应的深度。
进一步的,所述损失函数Lossvolume_rendering表示为:
lossvolume_rendering=|cvolume_rendering-cpixel|
其中,cpixel表示像素pixel对应的真实颜色。
进一步的,所述损失函数Losssurface_rendering表示为:
losssuface_rendering=|csurface_rendering-cpixel|
进一步的,所述损失函数Losssdf表示为:
进一步的,所述损失函数lossweight表示为:
其中,ti表示采样点p(ti,v)沿射线方向v对应的深度,t*表示空间点P*沿射线方向v对应的深度,w(ti)表示采样点p(ti,v)对应的颜色权重。
进一步的,所述损失函数Lossphoto表示为:
其中,NCC(I′r(qi),I′s(qis))表示图像块I′r(qi)与I′s(qis)之间的归一化互相关。
进一步的,所述NCC(I′r(qi),I′s(qis))表示为:
其中,Cov表示协方差,Var表示方差。
本申请的有益效果是:
本申请不仅能够拥有神经渲染对场景的逼真再呈现能力,还能兼顾表面渲染的无偏性与体渲染的感受野,以准确重建场景的曲面表示,进而提升了合成图像的准确率。同时,本申请还能针对遥感场景做出优化,以适应遥感场景视图稀疏、地物复杂的特性。
附图说明
图1为消除了颜色偏差与权重偏差的效果图;
图2为步骤三——优化三维场景隐式表征的流程图;
图3为由隐式表征中导出Mesh模型的流程图;
图4为本申请在优化完成后,由两种不同方式渲染新视图的流程图;
图5为本申请表面重建能力效果图;
图6为本申请表面重建及视图合成能力效果图。
具体实施方式
需要特别说明的是,在不冲突的情况下,本申请公开的各个实施方式之间可以相互组合。
具体实施方式一:参照图1具体说明本实施方式,本实施方式所述的一种针对遥感场景的表面重建与新视图合成方法,包括以下步骤:
步骤一:由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数,根据相机内外参数,并利用多视图立体匹配算法重建点云pmnvs;
步骤二:随机抽选一张遥感图像作为参考视图Ir,同时抽取L张与Ir相邻的遥感图像作为源视图Is={Iis|i=1,...,L},并得到Ir与Is对应的灰度图I′r和I′s={I′is|i=1,...,L},而后从参考视图Ir中随机选取一个像素Pixel,并根据相机内外参数构造射线p(t,v)对像素Pixel进行穿透,最后在射线p(t,v)上进行N点采样,得到像素Pixel对应的采样点集合P={p(ti,v)|i=0,1,2...,N-1},其中,射线p(t,v)是一个三维矢量函数,即p(t,v)=o+tv,其中,o表示摄像机的空间坐标,v表示射线的单位方向矢量,也即射线方向,t表示射线的深度,L的取值根据视图的密集程度设定,一般取5到10之间,N的取值根据GPU内存大小设定,一般取32或64或128;
步骤三:将采样点集合P送入MLP网络Fθ,得到对应的SDF值,然后根据SDF值对采样点集合P进行线性插值,得到令MLP网络Fθ输出的SDF值为零时对应的空间点P*,及P*对应的射线深度t*,即有P*=o+t*v;
步骤四:将采样点集合P与P*取并集,得到点集P′;
步骤五:对点集P′进行权重估计,得到点集P′对应的颜色权重{w(ti)|i=0,1,2...,N};
步骤六:将点集P′、射线的单位方向矢量v送入MLP网络得到点集P′沿射线方向v对应的颜色值{c(ti,v)|i=0,1,2...,N},然后根据颜色权重对颜色值进行加权求和,并将求和结果作为像素Pixel对应的重建颜色cvolume_rendering;
步骤八:由相机内外参数计算空间点P*在参考视图及源视图的灰度图I′r与I′s={I′is|i=1,...,L}中所对应的图像块I′r(q)及I′s(q)={I′is(qis)|i=1,...,L};
步骤九:由重建颜色cvolume_rendering构造损失函数Lossvolume_rendering、由重建颜色csurface_rendering构造损失函数Losssurface_rendering、由点云Pmvs构造损失函数Losssdf、由图像块I′r(q)及I′s(q)构造损失函数Lossphoto,然后基于上述损失函数利用反向传播优化MLP网络Fθ及
具体实施方式二:本实施方式是对具体实施方式一的进一步说明,本实施方式与具体实施方式一的区别是所述步骤六中的重建颜色cvolume_rendering表示为:
其中,c(ti,v)、w(ti)分别表示空间点o+tiv沿射线方向v的颜色值及颜色权重。
具体实施方式三:本实施方式是对具体实施方式二的进一步说明,本实施方式与具体实施方式二的区别是所述步骤七中的重建颜色csurface_rendering表示为:
csurface_rendering=c(t*,v)
其中,c(t*,v)表示空间点P*沿射线方向v的颜色值。
具体实施方式四:本实施方式是对具体实施方式三的进一步说明,本实施方式与具体实施方式三的区别是所述线性插值表示为:
其中,f表示MLP网络Fθ所代表的SDF函数,p(ti,v)和p(ti+1,v)表示射线p(t,v)上两个相邻且满足关系f(p(ti,v))·f(p(ti+1,v))<0的采样点,ti和ti+1表示p(ti,v)和p(ti+1,v)沿射线方向v所对应的深度。
具体实施方式五:本实施方式是对具体实施方式四的进一步说明,本实施方式与具体实施方式四的区别是所述损失函数Lossvolume_rendering表示为:
lossvolume_rendering=|cvolume_rendering-cpixel|
其中,cpixel表示像素pixel对应的真实颜色。
具体实施方式六:本实施方式是对具体实施方式五的进一步说明,本实施方式与具体实施方式五的区别是所述损失函数Losssurface_rendering表示为:
losssufacerendering=|csurface_rendering-cpixel|
具体实施方式七:本实施方式是对具体实施方式六的进一步说明,本实施方式与具体实施方式六的区别是所述损失函数Losssdf表示为:
具体实施方式八:本实施方式是对具体实施方式七的进一步说明,本实施方式与具体实施方式七的区别是所述损失函数lossweight表示为:
其中,ti表示采样点p(ti,v)沿射线方向v对应的深度,t*表示空间点P*沿射线方向v对应的深度,w(ti)表示采样点p(ti,v)对应的颜色权重。
具体实施方式九:本实施方式是对具体实施方式八的进一步说明,本实施方式与具体实施方式八的区别是所述损失函数Lossphoto表示为:
其中,NCC(I′r(qi),I′s(qis))表示图像块I′r(qi)与I′s(qis)之间的归一化互相关。
具体实施方式十:本实施方式是对具体实施方式九的进一步说明,本实施方式与具体实施方式九的区别是所述NCC(I′r(qi),I′s(qis))表示为:
其中,Cov表示协方差,Var表示方差。
本申请使用COLMAP算法来恢复相机的位姿并重建点云。
优化三维场景的隐式表征,整个优化过程如图2所示。分三个部分对具体实施过程展开叙述:
1、场景表示方法
本申请使用两个函数f与c对重建目标进行表示,其中f:R3→R将空间位置x∈R3映射为该点到重建对象的SDF(Signed Distance Function,符号距离函数)值,c:R3×S2→R3则将一个空间位置x∈R3与一个单位方向矢量vc∈R3映射为一个RGB值。而目标的曲面S则由SDF的零级集表示,即:
S={p∈R3|f(p)=0}#(1)
给定一个像素Pixel,假设由相机发出并穿过该像素的射线为{p(t,v)=o+tv|t≥0}。其中,o是摄像机的中心,v是射线的单位方向向量,也表示射线的方向。由此,体渲染沿射线方向v的颜色积分结果c(o,v)可以表示为:
其中,w(t)则表示空间点p(t,v)处的颜色权重,而积分变量t则表示深度:
其中,ρ(t)是空间点p(t,v)处的密度。因为w(t)需要由密度p(t)导出,因此,本申请将密度p(t)建模为SDF函数f的函数:
其中,s是一个可训练的参数,随着网络收敛,s-1将趋于0。
2、体渲染与表面渲染的统一方法
为分析方便,假设射线仅与单一平面相交,且有交点p(t*,v),由于交点p(t*,v)是一个表面点,所以交点p(t*,v)处的颜色即为表面颜色。而平面附近的SDF值沿射线p(t,v)呈线性,即有f(p(t,v))=-|cos(θ)|(t-t*)与f(p(t*,v))=0,θ则是射线方向与平面法线之间的局部恒定角。借由(3)到(5)式,可以得到参数s与w(t)的关系:
w(t)=|cosθ|φs(f(p(t,v)))#(6)
(6)、(7)式说明s-1越小,权重w(t)将愈趋于一个冲击函数δ(t-t*),而密度p(t)将愈趋于一个阶跃函数。当w(t)完全成为一个冲击函数时,此时体渲染沿射线方向v的颜色积分结果c(o,v),将与MLP网络在空间点p(t*,v)处沿射线方向v的颜色,也即表面颜色c(t*,v)一致,即:
由此,权重偏差与颜色偏差也将趋于零。因此,本申请的核心在于通过让网络自适应地优化参数s,使s-1逐渐趋于0,这样一来,便能够在保留体渲染的空间感受能力的同时,逐渐获得表面渲染的无偏性,并实现体渲染与表面渲染的统一。
具体地,本申请通过采样点插值、颜色约束、权重约束三个部分来使网络完成这种优化。
采样点插值:假设已经构造了射线p(t,v),并得到了由N个采样点构成的集合P={p(ti,v)|i=0,1,2...,N-1}。首先,通过插值找到令SDF函数f输出为零的空间点P*所对应的射线深度t*。具体地,假设射线p(t,v)与物体表面相交,则在射线p(t,v)上将有相邻两个的采样点p(ti,v)与p(ti+1,v)满足条件:
f(p(ti,v))·f(p(ti+1,v))<0#(9)
其中,ti,ti+1表示采样点p(ti,v)与p(ti+1,v)在射线方向v上所对应的深度。进而可通过插值得到所有射线与表面交点对应的深度t*:
于是可以得到射线与表面的交点P*=p(t*,v),然后将表面点P*加入到原有的采样点集合P中,即有:
P′:=P∪P*#(11)
最后,由点集P′构造体渲染,并使用与射线相交的像素颜色Cpixel监督来体渲染的颜色积分结果,即有:
颜色约束:为了提高网络对表面颜色估计的正确性,本申请提出利用表面渲染损失函数对表面渲染色进行监督,即:
losssuface rendering=|c(t*,v)-Cpixel|#(13)
其中,c(t*,v)是空间点o+t*v处沿射线方向v的颜色值,该项约束旨在缩小体渲染颜色积分与表面颜色的偏差。
权重约束:假设在一次优化迭代过程中,相机只发出一条射线p(t,v),而每条射线上有N个采样点,本申请提出一项权重正则化损失:
其中,ti表示采样点p(ti,v)在射线方向上对应的深度,t*表示空间点P*=p(t*,v)在射线方向上对应的深度,w(ti)表示采样点p(ti,v)对应的颜色权重。
若在一次优化迭代过程中,相机发出M条射线{p(t,vj),j=0,1,2,...M-1},而每条射线上有N个采样点,则权重正则化损失为:
3、多视图几何约束方法
在体渲染的优化过程中,每一次迭代,潜在几何仅受到来自一张图像的颜色约束,这并不能保证每一张视图对于潜在几何的优化方向是一致的,即优化过程中存在歧义。当输入的视图越稀疏,歧义的空间就越大,恢复出正确潜在几何的可能性就越小。毫无疑问,这将严重影响体渲染在遥感场景中的应用。为了减轻这种歧义,本申请在体渲染过程中引入传统的多视图几何约束。具体地,本申请引入的传统多视图几何约束包含两项内容:点云约束与图像块一致性约束。
点云约束:在经典的三维重建管道中,首先,由SFM算法计算每个输入图像的相机姿势和校准参数,以及一组稀疏关键点;接着,由MVS算法估计每个校准图像的像素深度与法线;其次,对估计出的深度图进行反向投影即可获得稠密点云。考虑到稠密点云对场景的表示是较为准确的,因此,本申请利用稠密点云来显式地引导符号距离函数f的优化。基于稠密点云pmvs的SDF值f(pmvs)应为零的近似值的观点,本申请提出基于稠密点云的SDF损失函数:
光度一致性约束:假设符号距离函数f捕获了正确的隐式表面,那么其几何结构应该在不同视图之间保持一致。基于这种观点,本申请使用光度一致性约束来约束函数f捕获的隐式表面。
对于隐式表面上的一个小面积s,假设s在参考视图的灰度图I′r中的投影为图像块I′r(q),而在源视图IS={Iis,i=1,...,L}的灰度图I′s={I′is,i=1,...,L}中的投影为图像块I′s(q)={I′is(qis),i=1,...,L},其中L表示源视图数量,为一个预先设定参数。那么,I′r(q)与I′s(qis)之间应该具有光度一致性。因此,本申请使用I′r(q)及I′is(qis)之间的归一化互相关(NCC)来测量光度一致性:
其中,Cov表示协方差,Var表示方差。在一次迭代优化过程中,本申请计算每张源图像的NCC得分,并利用其来构造损失函数:
该项损失函数,旨在通过光度一致性保证多个视图之间隐式表面的几何一致性。
经过上述优化后,SDF网络Fθ与颜色网络已经捕获到重建目标的几何与外观。此时,如需导出场景的Mesh模型,只需先在立方体空间中进行均匀采样;然后,由SDF网络判断每个采样点坐标的SDF值;最后,由MarchingCubes算法根据采样点的坐标及其SDF值恢复出Mesh模型,整个过程如图3所示。
如需生成新的视图,只需给出新的相机位置o′及对应的射线方向集合{vx,y|x=1,...,img_width,y=1,...,img_height},然后令SDF网络与颜色网络进行前向推理即可,前向推理的结果即为由新视点合成的视图,其中img_width与img_height分别表示视图的宽与高,整个过程如图4所示。
如需生成场景的漫游视频,只需输入一个视角方向序列,然后不断重复生成新视图的过程即可。
需要注意的是,具体实施方式仅仅是对本申请技术方案的解释和说明,不能以此限定权利保护范围。凡根据本申请权利要求书和说明书所做的仅仅是局部改变的,仍应落入本申请的保护范围内。
Claims (10)
1.一种针对遥感场景的表面重建与新视图合成方法,其特征在于包括以下步骤:
步骤一:由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数,根据相机内外参数,并利用多视图立体匹配算法重建点云pmvs;
步骤二:随机抽选一张遥感图像作为参考视图Ir,同时抽取L张与Ir相邻的遥感图像作为源视图Is={Iis|i=1,...,L},并得到Ir与Is对应的灰度图I′r和I′s={I′is|i=1,...,L},而后从参考视图Ir中随机选取一个像素Pixel,并根据相机内外参数构造射线p(t,v)对像素Pixel进行穿透,最后在射线p(t,v)上进行N点采样,得到像素Pixel对应的采样点集合P={p(ti,v)|i=0,1,2...,N-1},其中,射线p(t,v)是一个三维矢量函数,即p(t,v)=o+tv,其中,o表示摄像机的空间坐标,v表示射线的单位方向矢量,也即射线方向,t表示射线的深度;
步骤三:将采样点集合P送入MLP网络Fθ,得到对应的SDF值,然后根据SDF值对采样点集合P进行线性插值,得到令MLP网络Fθ输出的SDF值为零时对应的空间点P*,及P*对应的射线深度t*,即有P*=o+t*v;
步骤四:将采样点集合P与P*取并集,得到点集P′;
步骤五:对点集P′进行权重估计,得到点集P′对应的颜色权重{w(ti)|i=0,1,2...,N};
步骤六:将点集P′、射线的单位方向矢量v送入MLP网络得到点集P′沿射线方向v对应的颜色值{c(ti,v)|i=0,1,2...,N},然后根据颜色权重对颜色值进行加权求和,并将求和结果作为像素Pixel对应的重建颜色cvolume_rendering;
步骤八:由相机内外参数计算空间点P*在参考视图及源视图的灰度图I′r与I′s={I′is|u=1,...,L}中所对应的图像块I′r(q)及I′s(q)={I′is(qis)|i=1,...,L};
步骤九:由重建颜色cvolume_rendering构造损失函数Lossvolume_rendering、由重建颜色csurface_rendering构造损失函数Losssurface_rendering、由点云Pmvs构造损失函数Losssdf、由图像块I′r(q)及I′s(q)构造损失函数Lossphoto,然后基于上述损失函数利用反向传播优化MLP网络Fθ及
3.根据权利要求2所述的一种针对遥感场景的表面重建与新视图合成方法,其特征在于,所述步骤七中的重建颜色csurface_rendering表示为:
csurface_rendering=c(t*,v)
其中,c(t*,v)表示空间点P*沿射线方向v的颜色值。
5.根据权利要求4所述的一种针对遥感场景的表面重建与新视图合成方法,其特征在于,所述损失函数Lossvolume_rendering表示为:
lossvolume_rendering=|cvolume_rendering-cpixel|
其中,cpixel表示像素pixel对应的真实颜色。
6.根据权利要求5所述的一种针对遥感场景的表面重建与新视图合成方法,其特征在于,所述损失函数Losssurface_rendering表示为:
losssufacerendering=|csurface_rendering-cpixel|。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310205663.6A CN116310228A (zh) | 2023-03-06 | 2023-03-06 | 一种针对遥感场景的表面重建与新视图合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310205663.6A CN116310228A (zh) | 2023-03-06 | 2023-03-06 | 一种针对遥感场景的表面重建与新视图合成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116310228A true CN116310228A (zh) | 2023-06-23 |
Family
ID=86795517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310205663.6A Pending CN116310228A (zh) | 2023-03-06 | 2023-03-06 | 一种针对遥感场景的表面重建与新视图合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116310228A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117745924A (zh) * | 2024-02-19 | 2024-03-22 | 北京渲光科技有限公司 | 基于深度无偏估计的神经渲染方法、***及设备 |
-
2023
- 2023-03-06 CN CN202310205663.6A patent/CN116310228A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117745924A (zh) * | 2024-02-19 | 2024-03-22 | 北京渲光科技有限公司 | 基于深度无偏估计的神经渲染方法、***及设备 |
CN117745924B (zh) * | 2024-02-19 | 2024-05-14 | 北京渲光科技有限公司 | 基于深度无偏估计的神经渲染方法、***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325794B (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
Süßmuth et al. | Reconstructing animated meshes from time‐varying point clouds | |
Knyaz et al. | Image-to-voxel model translation with conditional adversarial networks | |
CN111899328B (zh) | 一种基于rgb数据与生成对抗网络的点云三维重建方法 | |
CN111340944A (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
CN113962858A (zh) | 一种多视角深度获取方法 | |
JP7119023B2 (ja) | オブジェクトの3dイメージングを実施するためのシステムおよび方法 | |
WO2022198684A1 (en) | Methods and systems for training quantized neural radiance field | |
Condorelli et al. | A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images | |
US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
Poullis et al. | 3d reconstruction of urban areas | |
Liu et al. | High-quality textured 3D shape reconstruction with cascaded fully convolutional networks | |
WO2024148732A1 (zh) | 一种可重光照的人体隐式模型的重建方法和装置 | |
Kang et al. | Competitive learning of facial fitting and synthesis using uv energy | |
CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计*** | |
CN115830241A (zh) | 一种基于神经网络的真实感三维人脸纹理重建方法 | |
Nakashima et al. | Learning to drop points for lidar scan synthesis | |
CN116310228A (zh) | 一种针对遥感场景的表面重建与新视图合成方法 | |
CN117557714A (zh) | 三维重建方法、电子设备及可读存储介质 | |
EP4292059A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
CN117830520A (zh) | 基于深度残差和神经隐式表面学习的多视图三维重建方法 | |
CN116681839B (zh) | 一种基于改进NeRF的实景三维目标重建与单体化方法 | |
Li et al. | Three-dimensional motion estimation via matrix completion | |
CN116758219A (zh) | 基于神经网络的区域感知多视角立体匹配三维重建方法 | |
CN111932670B (zh) | 基于单个rgbd相机的三维人体自画像重建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |