CN116310228A - 一种针对遥感场景的表面重建与新视图合成方法 - Google Patents

Abstract

一种针对遥感场景的表面重建与新视图合成方法，涉及遥感图像处理技术领域，针对现有技术中由于颜色偏差及权重偏差的存在，导致合成的图像不准确的问题，本申请不仅能够拥有神经渲染对场景的逼真再呈现能力，还能兼顾表面渲染的无偏性与体渲染的感受野，以准确重建场景的曲面表示，进而提升了合成图像的准确率。同时，本申请还能针对遥感场景做出优化，以适应遥感场景视图稀疏、地物复杂的特性。

Description

一种针对遥感场景的表面重建与新视图合成方法

技术领域

本申请涉及遥感图像处理技术领域，具体为一种针对遥感场景的表面重建与新视图合成方法。

背景技术

自然场景的三维空间建模，以及基于空间建模先验的场景视图合成一直是信息技术围绕人类交互体验的重要努力方向。在过去的几十年里面，研究者们一直尝试将自然真实场景转化为有效的数字资产，但这并非一件易事，尤其对于遥感图像而言。

传统三维重建方法的核心是立体匹配技术，即通过跨视图匹配特征点来重现深度信息，其重建管道主要由特征检测与匹配、稀疏点云重建、密集点云重建、泊松曲面重建几个阶段构成，而每个阶段都有可能引入误差，因此存在误差累积的问题。此外，仅对重建出的网格模型进行渲染无法对场景进行逼真的还原。

相较于基于显式表示(如体素、点云、网格)的传统方法，最近，神经渲染领域的研究基于使用隐式函数来表示场景，并通过优化像素颜色与相机射线颜色的差异(即可微分渲染)，来从图像中重构场景的三维表示，并在视图合成任务上取得了极好的表现。我们按照渲染方式将这些研究分为两类：表面渲染与体渲染。表面渲染将相机射线与物体表面交点处的颜色定义为射线的颜色，即表面渲染直接优化的是表面颜色，因此这种方式中不存在颜色与权重估计的偏差，但反向传播时，梯度只存在于射线上的一点，空间感受野过于局部，难以正确重建场景的曲面表示；体渲染则将沿摄像机射线的颜色积分作为射线的颜色，相较于表面渲染，体渲染通过颜色积分的方式扩大了空间感受野，但是由于颜色偏差与权重偏差的存在，它所依赖的颜色损失不能够提供精确的几何约束。

所谓颜色偏差，是指体渲染颜色积分的结果与表面颜色之间存在的差异，对于依靠颜色来优化几何的可微分渲染技术来说，这种颜色偏差将不可避免地对重建精确表面造成影响。当前的体渲染方法都假设射线的颜色权重在射线与曲面的第一个交点处达到最大值，然而在实际的优化过程中，权重最大值并不一定出现在射线与曲面的交点处，这种情况即为权重偏差。权重偏差不仅会阻碍体渲染对于准确表面的感知，还会诱发表面颜色与颜色积分的差异。

综上，传统的场景重构技术在视图合成方面表现不佳；基于表面渲染的场景重构技术对空间的感受野过小，容易陷入局部最小值点；基于体渲染的场景重构技术则由于颜色偏差及权重偏差的存在，无法提供精确的几何约束，进而导致合成的图像不准确。

发明内容

本申请的目的是：针对现有技术中由于颜色偏差及权重偏差的存在，导致合成的图像不准确的问题，提出一种针对遥感场景的表面重建与新视图合成方法。

本申请为了解决上述技术问题采取的技术方案是：

一种针对遥感场景的表面重建与新视图合成方法，包括以下步骤：

步骤一：由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数，根据相机内外参数，并利用多视图立体匹配算法重建点云p_mvs；

步骤二：随机抽选一张遥感图像作为参考视图I_r，同时抽取L张与I_r相邻的遥感图像作为源视图I_s＝{I_is|i＝1，...，L}，并得到I_r与I_s对应的灰度图I′_r和I′_s＝{I′_is|i＝1，...，L}，而后从参考视图I_r中随机选取一个像素P_ixel，并根据相机内外参数构造射线p(t，v)对像素P_ixel进行穿透，最后在射线p(t，v)上进行N点采样，得到像素P_ixel对应的采样点集合P＝{p(t_i，v)|i＝0，1，2...，N-1}，其中，射线p(t，v)是一个三维矢量函数，即p(t，v)＝o+tv，其中，o表示摄像机的空间坐标，v表示射线的单位方向矢量，即射线方向，t表示射线的深度；

步骤三：将采样点集合P送入MLP网络F_θ，得到对应的SDF值，然后根据SDF值对采样点集合P进行线性插值，得到令MLP网络F_θ输出的SDF值为零时对应的空间点P^*，及P^*对应的射线深度t^*，即有P^*＝o+t^*v；

步骤四：将采样点集合P与P^*取并集，得到点集P′；

步骤五：对点集P′进行权重估计，得到点集P′对应的颜色权重{w(t_i)|i＝0，1，2...，N}；

步骤六：将点集P′、射线的单位方向矢量v送入MLP网络

得到点集P′沿射线方向v对应的颜色值{c(t_i，v)|i＝0，1，2...，N}，然后根据颜色权重对颜色值进行加权求和，并将求和结果作为像素P_ixel对应的重建颜色c_{volume_renderin，q}；

步骤七：将空间点P^*和射线的单位方向矢量v送入MLP网络

得到P^*沿射线方向v对应的颜色值c(t^*，v)，并将其作为像素P_ixel对应的重建颜色c_{surface_rendering}；

步骤八：由相机内外参数计算空间点P^*在参考视图及源视图的灰度图I′_r与I′_s＝{I′_is|i＝1，...，L}中所对应的图像块I′_r(q)及I′_s(q)＝{I′_is(q_is)|i＝1，...，L}；

步骤九：由重建颜色c_{volume_rendering}构造损失函数Loss_{volume_rendering}、由重建颜色c_{surface_rendering}构造损失函数Loss_{surface_rendering}、由点云P_mvs构造损失函数Loss_sdf、由图像块I′_r(q)及I′_s(q)构造损失函数Loss_photo，然后基于上述损失函数利用反向传播优化MLP网络F_θ及

步骤十：重复步骤二至步骤九K次，对MLP网络F_θ及

进行优化，其中K为一个预先设定的超参数；

步骤十一：利用优化后的MLP网络F_θ及

完成表面重建与新视图合成任务。

进一步的，所述步骤六中的重建颜色c_{volume_rendering}表示为：

其中，c(t_i，v)、w(t_i)分别表示空间点o+t_iv沿射线方向v的颜色值及颜色权重。

进一步的，所述步骤七中的重建颜色c_{surface_rendering}表示为：

c_{surface_rendering}＝c(t^*，v)

其中，c(t^*，v)表示空间点P^*沿射线方向v的颜色值。

进一步的，所述线性插值表示为：

其中，f表示MLP网络F_θ所代表的SDF函数，p(t_i，v)和p(t_i+1，v)表示射线p(t，v)上两个相邻且满足关系f(p(t_i，v))·f(p(t_i+1，v))＜0的采样点，t_i和t_i+1表示p(t_i，v)和p(t_i+1，v)沿射线方向v所对应的深度。

进一步的，所述损失函数Loss_{volume_rendering}表示为：

loss_{volume_rendering}＝|c_{volume_rendering}-c_pixel|

其中，c_pixel表示像素p_ixel对应的真实颜色。

进一步的，所述损失函数Loss_{surface_rendering}表示为：

loss_{suface_rendering}＝|c_{surface_rendering}-c_pixel|

进一步的，所述损失函数Loss_sdf表示为：

其中，

表示p_mvs中的空间点数目，p_i表示来自p_mvs中的任一空间点。

进一步的，所述损失函数loss_weight表示为：

其中，t_i表示采样点p(t_i，v)沿射线方向v对应的深度，t^*表示空间点P^*沿射线方向v对应的深度，w(t_i)表示采样点p(t_i，v)对应的颜色权重。

进一步的，所述损失函数Loss_photo表示为：

其中，NCC(I′_r(q_i)，I′_s(q_is))表示图像块I′_r(q_i)与I′_s(q_is)之间的归一化互相关。

进一步的，所述NCC(I′_r(q_i)，I′_s(q_is))表示为：

其中，Cov表示协方差，Var表示方差。

本申请的有益效果是：

本申请不仅能够拥有神经渲染对场景的逼真再呈现能力，还能兼顾表面渲染的无偏性与体渲染的感受野，以准确重建场景的曲面表示，进而提升了合成图像的准确率。同时，本申请还能针对遥感场景做出优化，以适应遥感场景视图稀疏、地物复杂的特性。

附图说明

图1为消除了颜色偏差与权重偏差的效果图；

图2为步骤三——优化三维场景隐式表征的流程图；

图3为由隐式表征中导出Mesh模型的流程图；

图4为本申请在优化完成后，由两种不同方式渲染新视图的流程图；

图5为本申请表面重建能力效果图；

图6为本申请表面重建及视图合成能力效果图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种针对遥感场景的表面重建与新视图合成方法，包括以下步骤：

步骤一：由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数，根据相机内外参数，并利用多视图立体匹配算法重建点云p_mnvs；

步骤二：随机抽选一张遥感图像作为参考视图I_r，同时抽取L张与I_r相邻的遥感图像作为源视图I_s＝{I_is|i＝1，...，L}，并得到I_r与I_s对应的灰度图I′_r和I′_s＝{I′_is|i＝1，...，L}，而后从参考视图I_r中随机选取一个像素P_ixel，并根据相机内外参数构造射线p(t，v)对像素P_ixel进行穿透，最后在射线p(t，v)上进行N点采样，得到像素P_ixel对应的采样点集合P＝{p(t_i，v)|i＝0，1，2...，N-1}，其中，射线p(t，v)是一个三维矢量函数，即p(t，v)＝o+tv，其中，o表示摄像机的空间坐标，v表示射线的单位方向矢量，也即射线方向，t表示射线的深度，L的取值根据视图的密集程度设定，一般取5到10之间，N的取值根据GPU内存大小设定，一般取32或64或128；

步骤三：将采样点集合P送入MLP网络F_θ，得到对应的SDF值，然后根据SDF值对采样点集合P进行线性插值，得到令MLP网络F_θ输出的SDF值为零时对应的空间点P^*，及P^*对应的射线深度t^*，即有P^*＝o+t^*v；

步骤四：将采样点集合P与P^*取并集，得到点集P′；

步骤五：对点集P′进行权重估计，得到点集P′对应的颜色权重{w(t_i)|i＝0，1，2...，N}；

步骤六：将点集P′、射线的单位方向矢量v送入MLP网络

得到点集P′沿射线方向v对应的颜色值{c(t_i，v)|i＝0，1，2...，N}，然后根据颜色权重对颜色值进行加权求和，并将求和结果作为像素P_ixel对应的重建颜色c_{volume_rendering}；

步骤七：将空间点P^*和射线的单位方向矢量v送入MLP网络

得到P^*沿射线方向v对应的颜色值c(t^*，v)，并将其作为像素P_ixel对应的重建颜色c_{surface_rendering}；

步骤八：由相机内外参数计算空间点P^*在参考视图及源视图的灰度图I′_r与I′_s＝{I′_is|i＝1，...，L}中所对应的图像块I′_r(q)及I′_s(q)＝{I′_is(q_is)|i＝1，...，L}；

步骤九：由重建颜色c_{volume_rendering}构造损失函数Loss_{volume_rendering}、由重建颜色c_{surface_rendering}构造损失函数Loss_{surface_rendering}、由点云P_mvs构造损失函数Loss_sdf、由图像块I′_r(q)及I′_s(q)构造损失函数Loss_photo，然后基于上述损失函数利用反向传播优化MLP网络F_θ及

步骤十：重复步骤二至步骤八K次，对MLP网络F_θ及

进行优化，其中K为一个预先设定的超参数；

步骤十一：利用优化后的MLP网络F_θ及

完成表面重建与新视图合成任务。

具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述步骤六中的重建颜色c_{volume_rendering}表示为：

其中，c(t_i，v)、w(t_i)分别表示空间点o+t_iv沿射线方向v的颜色值及颜色权重。

具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是所述步骤七中的重建颜色c_{surface_rendering}表示为：

c_{surface_rendering}＝c(t^*，v)

其中，c(t^*，v)表示空间点P^*沿射线方向v的颜色值。

具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是所述线性插值表示为：

其中，f表示MLP网络F_θ所代表的SDF函数，p(t_i，v)和p(t_i+1，v)表示射线p(t，v)上两个相邻且满足关系f(p(t_i，v))·f(p(t_i+1，v))＜0的采样点，t_i和t_i+1表示p(t_i，v)和p(t_i+1，v)沿射线方向v所对应的深度。

具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是所述损失函数Loss_{volume_rendering}表示为：

loss_{volume_rendering}＝|c_{volume_rendering}-c_pixel|

其中，c_pixel表示像素p_ixel对应的真实颜色。

具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是所述损失函数Loss_{surface_rendering}表示为：

loss_{sufacerendering}＝|c_{surface_rendering}-c_pixel|

具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是所述损失函数Loss_sdf表示为：

其中，

表示p_mvs中的空间点数目，p_i表示来自p_mvs中的任一空间点。

具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是所述损失函数loss_weight表示为：

其中，t_i表示采样点p(t_i，v)沿射线方向v对应的深度，t^*表示空间点P^*沿射线方向v对应的深度，w(t_i)表示采样点p(t_i，v)对应的颜色权重。

具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是所述损失函数Loss_photo表示为：

其中，NCC(I′_r(q_i)，I′_s(q_is))表示图像块I′_r(q_i)与I′_s(q_is)之间的归一化互相关。

具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与具体实施方式九的区别是所述NCC(I′_r(q_i)，I′_s(q_is))表示为：

其中，Cov表示协方差，Var表示方差。

本申请使用COLMAP算法来恢复相机的位姿并重建点云。

优化三维场景的隐式表征，整个优化过程如图2所示。分三个部分对具体实施过程展开叙述：

1、场景表示方法

本申请使用两个函数f与c对重建目标进行表示，其中f：R³→R将空间位置x∈R³映射为该点到重建对象的SDF(Signed Distance Function，符号距离函数)值，c：R³×S²→R³则将一个空间位置x∈R³与一个单位方向矢量v_c∈R³映射为一个RGB值。而目标的曲面S则由SDF的零级集表示，即：

S＝{p∈R³|f(p)＝0}#(1)

本申请使用两个MLP(Multi-Layer Perceptron)网络F_θ与

来分别估计函数f与c，即f＝/>

给定一个像素P_ixel，假设由相机发出并穿过该像素的射线为{p(t，v)＝o+tv|t≥0}。其中，o是摄像机的中心，v是射线的单位方向向量，也表示射线的方向。由此，体渲染沿射线方向v的颜色积分结果c(o，v)可以表示为：

其中，w(t)则表示空间点p(t，v)处的颜色权重，而积分变量t则表示深度：

其中，ρ(t)是空间点p(t，v)处的密度。因为w(t)需要由密度p(t)导出，因此，本申请将密度p(t)建模为SDF函数f的函数：

其中，s是一个可训练的参数，随着网络收敛，s^-1将趋于0。

2、体渲染与表面渲染的统一方法

为分析方便，假设射线仅与单一平面相交，且有交点p(t^*，v)，由于交点p(t^*，v)是一个表面点，所以交点p(t^*，v)处的颜色即为表面颜色。而平面附近的SDF值沿射线p(t，v)呈线性，即有f(p(t，v))＝-|cos(θ)|(t-t^*)与f(p(t^*，v))＝0，θ则是射线方向与平面法线之间的局部恒定角。借由(3)到(5)式，可以得到参数s与w(t)的关系：

w(t)＝|cosθ|φ_s(f(p(t，v)))#(6)

(6)、(7)式说明s^-1越小，权重w(t)将愈趋于一个冲击函数δ(t-t^*)，而密度p(t)将愈趋于一个阶跃函数。当w(t)完全成为一个冲击函数时，此时体渲染沿射线方向v的颜色积分结果c(o，v)，将与MLP网络

在空间点p(t^*，v)处沿射线方向v的颜色，也即表面颜色c(t^*，v)一致，即：

由此，权重偏差与颜色偏差也将趋于零。因此，本申请的核心在于通过让网络自适应地优化参数s，使s^-1逐渐趋于0，这样一来，便能够在保留体渲染的空间感受能力的同时，逐渐获得表面渲染的无偏性，并实现体渲染与表面渲染的统一。

具体地，本申请通过采样点插值、颜色约束、权重约束三个部分来使网络完成这种优化。

采样点插值：假设已经构造了射线p(t，v)，并得到了由N个采样点构成的集合P＝{p(t_i，v)|i＝0，1，2...，N-1}。首先，通过插值找到令SDF函数f输出为零的空间点P^*所对应的射线深度t^*。具体地，假设射线p(t，v)与物体表面相交，则在射线p(t，v)上将有相邻两个的采样点p(t_i，v)与p(t_i+1，v)满足条件：

f(p(t_i，v))·f(p(t_i+1，v))＜0#(9)

其中，t_i，t_i+1表示采样点p(t_i，v)与p(t_i+1，v)在射线方向v上所对应的深度。进而可通过插值得到所有射线与表面交点对应的深度t^*：

于是可以得到射线与表面的交点P^*＝p(t^*，v)，然后将表面点P^*加入到原有的采样点集合P中，即有：

P′：＝P∪P^*#(11)

最后，由点集P′构造体渲染，并使用与射线相交的像素颜色C_pixel监督来体渲染的颜色积分结果，即有：

其中，

是体渲染沿射线方向的颜色积分结果c(o，v)，也即(2)式的离散化表示。

颜色约束：为了提高网络对表面颜色估计的正确性，本申请提出利用表面渲染损失函数对表面渲染色进行监督，即：

loss_{suface rendering}＝|c(t^*，v)-C_pixel|#(13)

其中，c(t^*，v)是空间点o+t^*v处沿射线方向v的颜色值，该项约束旨在缩小体渲染颜色积分与表面颜色的偏差。

权重约束：假设在一次优化迭代过程中，相机只发出一条射线p(t，v)，而每条射线上有N个采样点，本申请提出一项权重正则化损失：

其中，t_i表示采样点p(t_i，v)在射线方向上对应的深度，t^*表示空间点P^*＝p(t^*，v)在射线方向上对应的深度，w(t_i)表示采样点p(t_i，v)对应的颜色权重。

若在一次优化迭代过程中，相机发出M条射线{p(t，v_j)，j＝0，1，2，...M-1}，而每条射线上有N个采样点，则权重正则化损失为：

其中，t_i，j为第j条光线上，第i个采样点p(t_i，j，v_j)对应的深度；

为第j条光线与表面交点/>

对应的深度，即有/>

w_j(t_i，j)则为点p(t_i，j，v_j)处对应的颜色权重。

3、多视图几何约束方法

在体渲染的优化过程中，每一次迭代，潜在几何仅受到来自一张图像的颜色约束，这并不能保证每一张视图对于潜在几何的优化方向是一致的，即优化过程中存在歧义。当输入的视图越稀疏，歧义的空间就越大，恢复出正确潜在几何的可能性就越小。毫无疑问，这将严重影响体渲染在遥感场景中的应用。为了减轻这种歧义，本申请在体渲染过程中引入传统的多视图几何约束。具体地，本申请引入的传统多视图几何约束包含两项内容：点云约束与图像块一致性约束。

点云约束：在经典的三维重建管道中，首先，由SFM算法计算每个输入图像的相机姿势和校准参数，以及一组稀疏关键点；接着，由MVS算法估计每个校准图像的像素深度与法线；其次，对估计出的深度图进行反向投影即可获得稠密点云。考虑到稠密点云对场景的表示是较为准确的，因此，本申请利用稠密点云来显式地引导符号距离函数f的优化。基于稠密点云p_mvs的SDF值f(p_mvs)应为零的近似值的观点，本申请提出基于稠密点云的SDF损失函数：

其中，

表示P_mvs中的空间点数目，p_i表示来自p_mvs中的任一空间点，|·|表示L1距离。该项损失函数旨在通过强制函数f拟合稠密点云p_mvs来引导函数f的优化。

光度一致性约束：假设符号距离函数f捕获了正确的隐式表面，那么其几何结构应该在不同视图之间保持一致。基于这种观点，本申请使用光度一致性约束来约束函数f捕获的隐式表面。

对于隐式表面上的一个小面积s，假设s在参考视图的灰度图I′_r中的投影为图像块I′_r(q)，而在源视图I_S＝{I_is，i＝1，...，L}的灰度图I′_s＝{I′_is，i＝1，...，L}中的投影为图像块I′_s(q)＝{I′_is(q_is)，i＝1，...，L}，其中L表示源视图数量，为一个预先设定参数。那么，I′_r(q)与I′_s(q_is)之间应该具有光度一致性。因此，本申请使用I′_r(q)及I′_is(q_is)之间的归一化互相关(NCC)来测量光度一致性：

其中，Cov表示协方差，Var表示方差。在一次迭代优化过程中，本申请计算每张源图像的NCC得分，并利用其来构造损失函数：

该项损失函数，旨在通过光度一致性保证多个视图之间隐式表面的几何一致性。

经过上述优化后，SDF网络F_θ与颜色网络

已经捕获到重建目标的几何与外观。此时，如需导出场景的Mesh模型，只需先在立方体空间中进行均匀采样；然后，由SDF网络判断每个采样点坐标的SDF值；最后，由MarchingCubes算法根据采样点的坐标及其SDF值恢复出Mesh模型，整个过程如图3所示。

如需生成新的视图，只需给出新的相机位置o′及对应的射线方向集合{v_x，y|x＝1，...，img_width，y＝1，...，img_height}，然后令SDF网络与颜色网络进行前向推理即可，前向推理的结果即为由新视点合成的视图，其中img_width与img_height分别表示视图的宽与高，整个过程如图4所示。

如需生成场景的漫游视频，只需输入一个视角方向序列，然后不断重复生成新视图的过程即可。

需要注意的是，具体实施方式仅仅是对本申请技术方案的解释和说明，不能以此限定权利保护范围。凡根据本申请权利要求书和说明书所做的仅仅是局部改变的，仍应落入本申请的保护范围内。

Claims (10)

1.一种针对遥感场景的表面重建与新视图合成方法，其特征在于包括以下步骤：

步骤一：由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数，根据相机内外参数，并利用多视图立体匹配算法重建点云p_mvs；

步骤二：随机抽选一张遥感图像作为参考视图I_r，同时抽取L张与I_r相邻的遥感图像作为源视图I_s＝{I_is|i＝1，...，L}，并得到I_r与I_s对应的灰度图I′_r和I′_s＝{I′_is|i＝1，...，L}，而后从参考视图Ｉ_r中随机选取一个像素P_ixel，并根据相机内外参数构造射线p(t，v)对像素P_ixel进行穿透，最后在射线p(t，v)上进行N点采样，得到像素P_ixel对应的采样点集合P＝{p(t_i，v)|i＝0，1，2...，N-1}，其中，射线p(t，v)是一个三维矢量函数，即p(t，v)＝o+tv，其中，o表示摄像机的空间坐标，v表示射线的单位方向矢量，也即射线方向，t表示射线的深度；

步骤三：将采样点集合P送入MLP网络F_θ，得到对应的SDF值，然后根据SDF值对采样点集合P进行线性插值，得到令MLP网络F_θ输出的SDF值为零时对应的空间点P^*，及P^*对应的射线深度t^*，即有P^*＝o+t^*v；

步骤四：将采样点集合P与P^*取并集，得到点集P′；

步骤五：对点集P′进行权重估计，得到点集P′对应的颜色权重{w(t_i)|i＝0，1，2...，N}；

步骤六：将点集P′、射线的单位方向矢量v送入MLP网络

得到点集P′沿射线方向v对应的颜色值{c(t_i，v)|i＝0，1，2...，N}，然后根据颜色权重对颜色值进行加权求和，并将求和结果作为像素P_ixel对应的重建颜色c_{volume_rendering}；

步骤七：将空间点P^*和射线的单位方向矢量v送入MLP网络

得到P^*沿射线方向v对应的颜色值c(t^*，v)，并将其作为像素P_ixel对应的重建颜色c_{surface_rendering}；

步骤八：由相机内外参数计算空间点P^*在参考视图及源视图的灰度图I′_r与I′_s＝{I′_is|u＝1，...，L}中所对应的图像块I′_r(q)及I′_s(q)＝{I′_is(q_is)|i＝1，...，L}；

步骤九：由重建颜色c_{volume_rendering}构造损失函数Loss_{volume_rendering}、由重建颜色c_{surface_rendering}构造损失函数Loss_{surface_rendering}、由点云P_mvs构造损失函数Loss_sdf、由图像块I′_r(q)及I′_s(q)构造损失函数Loss_photo，然后基于上述损失函数利用反向传播优化MLP网络F_θ及

步骤十：重复步骤二至步骤九K次，对MLP网络F_θ及

进行优化，其中，K为一个预先设定的超参数；

步骤十一：利用优化后的MLP网络F_θ及

完成表面重建与新视图合成任务。

2.根据权利要求1所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述步骤六中的重建颜色c_{volume_rendering}表示为：

其中，c(t_i，v)、w(t_i)分别表示空间点o+t_iv沿射线方向v的颜色值及颜色权重。

3.根据权利要求2所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述步骤七中的重建颜色c_{surface_rendering}表示为：

c_{surface_rendering}＝c(t^*，v)

其中，c(t^*，v)表示空间点P^*沿射线方向v的颜色值。

4.根据权利要求3所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述线性插值表示为：

其中，f表示MLP网络F_θ所代表的SDF函数，p(t_i，v)和p(t_i+1，v)表示射线p(t，v)上两个相邻且满足关系f(p(t_i，v))·f(p(t_i+1，v))＜0的采样点，t_i和t_i+1表示p(t_i，v)和p(t_i+1，v)沿射线方向v所对应的深度。

5.根据权利要求4所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述损失函数Loss_{volume_rendering}表示为：

loss_{volume_rendering}＝|c_{volume_rendering}-c_pixel|

其中，c_pixel表示像素p_ixel对应的真实颜色。

6.根据权利要求5所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述损失函数Loss_{surface_rendering}表示为：

loss_{sufacerendering}＝|c_{surface_rendering}-c_pixel|。

7.根据权利要求6所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述损失函数Loss_sdf表示为：

其中，

表示P_mvs中的空间点数目，p_i表示来自p_mvs中的任一空间点。

8.根据权利要求7所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述损失函数loss_weight表示为：

其中，t_i表示采样点p(t_i，v)沿射线方向v对应的深度，t^*表示空间点P^*沿射线方向v对应的深度，w(t_i)表示采样点p(t_i，v)对应的颜色权重。

9.根据权利要求8所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述损失函数Loss_photo表示为：

其中，NCC(I′_r(q_i)，I′_s(q_is))表示图像块I′_r(q_i)与′(q_is)之间的归一化互相关。

10.根据权利要求9所述的一种针对遥感场景的表面重建与新视图合成方法，其特征在于，所述NCC(I′_r(q_i)，I′_s(q_is))表示为：

其中，Cov表示协方差，Var表示方差。

Images