CN116051766A - 一种基于神经辐射场地外行星表面环境重建方法 - Google Patents

Abstract

本发明公开一种基于神经辐射场地外行星表面环境重建方法，其中，地外行星表面环境重建方法包括：利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；根据所述地外行星表面图片的共视点匹配关系计算其成像时相机内、外参数；以所述地外行星表面图片及其成像时的相机内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；将需要合成的新视角图像对应的内、外参数作为所述神经辐射场模型的输入，实现地外行星表面环境新视角图像或虚拟现实图像的合成。该方法克服了地外行星表面图片纹理特征单一重复、视角稀疏分散、视场重叠区域低等不利特点，实现了视觉效果优秀、几何结构正确的地外行星表面环境重建。

Description

一种基于神经辐射场地外行星表面环境重建方法

技术领域

本发明属于深空探测技术领域，具体涉及一种基于神经辐射场地外行星表面环境重建方法。

背景技术

以火星、月球表面探测为代表的地外行星表面巡视探测任务，是开展地外行星表面科学研究的最直接途径。按照我国深空探测整体规划，2030年前我国还将继续开展探月工程四期、探火工程二期，计划在地外行星表面开展无人驾驶的远距离探测实验，这对巡视探测的地面规划效率提出了新的要求。

以“祝融号”火星车巡视探测任务为例，为保证巡视器安全行驶，主要采用“Move-Wait”的方式进行控制：巡视器采用定点定位的图像采集模式，利用双目导航相机采集图像并下传至地面，在地面遥操作中心进行地形重建、视觉定位和路径规划，生成指令序列上传至器上控制其行驶。遥操作过程中存在众多规划和决策的环节，需要科学家、工程师和操作者共同参与对导航相机图像的判读，工作周期往往长达数个小时，是制约巡视探测任务实施效率的主要因素。

将虚拟现实技术引入到遥操作过程中，为地面团队重建地外行星表面环境是提高遥操作过程感知和决策效率的重要方式和发展方向。而虚拟现实遥操作中的关键技术，是通过融合巡视器导航相机获取的有限视角图像，构建支持从任意视角进行观测，同时满足遥操作规划与决策的精度要求的地外行星表面场景。

地外行星表面场景重建，主要包括稠密三维重建结合图形绘制和基于图像的新视角合成两类方法。由于星际通信带宽窄、地外行星表面贫瘠等因素限制，巡视器下传的导航相机图像具有纹理特征单一重复、视角稀疏分散、视场重叠区域低等不利特点。依赖数据局部相似性的稠密三维重建方法，难以适用于单一重复纹理、低重叠视场的严苛条件，因此无法满足遥操作团队进行判读、规划与决策过程中对重建精度和视觉效果的要求。而基于图像的新视角合成方法，无需构造三维模型，直接利用不同视角图像之间的投影关系，合成高质量视景图像，最具代表性的方法有全景视图法、视点变形法、同心拼图法等，但也需求稠密的输入图像视角和纹理特征的严密对齐，否则会导致合成图像的纹理模糊、跳变和图像失真。

随着深度学***滑拟合，具有纹理连续性好、精度高等优势，取得了当前最高质量的新视图合成结果。但是，神经辐射场模型的建立过程仅考虑了在有边界场景或前视无边界场景，且具备较为稠密的输入视角的情况。面向巡视器导航相机所拍摄的环视无边界、视角稀疏的地外行星表面图像，神经辐射场模型仍然有以下问题和挑战需要解决。

首先是环视无边界场景中三维坐标的参数化问题。由于未进行参数化的数据分布上下限大，造成模型参数收敛难，因此神经辐射场对有边界场景和前视无边界场景中的空间位置分别采用欧氏坐标系和归一化设备坐标系表示，保证神经网络的输入具有上下界。而巡视器导航相机向外环拍的图像采集模式属于典型的环视无边界场景，无论是使用欧式坐标系还是归一化设备坐标系的参数化方法，都会出现神经网络的输入接近无穷大量的情况，导致梯度的不稳定，进而造成模式崩溃。

其次是稀疏视角输入缺乏几何一致性约束的问题。神经辐射场模型假设物体的颜色可以随观察视角产生变化，同时仅基于体渲染产生的光度重构误差进行自监督训练。训练过程完全依赖于场景的光度信息，因此可能会对场景的几何结构产生错误的估计，尤其在输入视角稀疏时，模型会对场景的几何结构产生过于平滑的估计。受星地通信带宽限制，我国巡视探测中采用定点定位的图像采集模式，双目导航相机两次采集图像的视角相差30°，通常每站点仅下传6-24张图像，属于非常稀疏的输入视角，因此需要设计基于场景几何一致性的正则化约束方法，避免模型对几何结构的错误估计，提高地外行星表面环境场景重建的质量和精度。

发明内容

面向巡视器导航相机所拍摄的环视无边界、视角稀疏的地外行星表面图像，现有方法场景重建的质量和精度低。针对上述问题，本发明中提供了一种基于神经辐射场地外行星表面环境重建方法，解决了目前方法不适用于环视无边界场景和缺乏几何一致性约束的问题，并以支持未来结合虚拟现实技术遥操作模式为目的，设计了具有良好视觉效果的地外行星表面环境重建和虚拟现实图像合成流程。

为达到上述目的，本发明提供了一种基于神经辐射场地外行星表面环境重建方法，可以包括如下步骤：

第一步，利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；

第二步，根据所述地外行星表面图片的共视点匹配关系计算其成像时的地外行星巡视器导航相机第一内、外参数；

第三步，以所述地外行星表面图片及其成像时的地外行星巡视器导航相机第一内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；

第四步，将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现新视角图像或虚拟现实图像的合成。

在本发明的一些可选实施例中，所述第二步包括：

识别所述地外行星表面图片中的具有匹配关系的共视特征点，可以包括SIFT、SUFT、ORB、SuperPoint等类型的特征点；

利用光束法平差计算所述第一内、外参数。

在本发明的一些可选实施例中，所述第三步的神经辐射场模型是通过下述方法构建的：

根据所述输入地外行星表面图片及第一内、外参数，计算地外行星表面图片中像素对应第一光线方程；

对所述第一光线方程进行采样获得采样点，将采样点在欧氏坐标系中的三维坐标映射到具有上下界的倒球面坐标系，获得采样点的参数化坐标；

将所述第一光线上采样点的参数化坐标作为输入，其对应像素的颜色值作为监督，使用反向传播算法调整所述神经辐射场模型参数；

利用导航相机成像的主光轴平行的特性，计算所述第一光线终止位置的期望值作为监督，使用反向传播算法调整所述神经辐射场模型参数。

在本发明的一些可选实施例中，所述第四步包括：

根据输入的第二内、外参数计算待合成的新视角图像所包含像素对应的第二光线方程；

根据所述第二光线方程在所述神经辐射场模型中查询第二光线上的颜色、不透明度分布，利用体渲染公式计算所述新视角图像的像素颜色；

根据所述输入第二内、外参数和预设的观测者瞳距计算第三内、外参数，计算待合成的虚拟现实图像所包含像素对应的第三光线方程；

根据所述第三光线方程在所述神经辐射场模型中查询第三光线上的颜色、不透明度分布，利用体渲染公式计算所述虚拟现实图像的像素颜色。

本发明的上述技术方案克服了地外行星表面图片纹理特征单一重复、视角稀疏分散、视场重叠区域低等不利特点，实现了视觉效果优秀、几何结构正确的地外行星表面环境重建，具有如下有益的技术效果：

(1)通过倒球面坐标系参数化的方式限制神经辐射场输入范围，增强了训练过程中模型参数的稳定性，同时提升了对地外行星表面环境中受到重点关注的巡视车附近区域的重建效果；

(2)针对巡视器左、右目导航相机的主光轴平行的成像关系设计了正则化方法，充分利用了场景的几何一致性作为神经辐射场参数训练过程的约束。

附图说明

图1为本发明的基于神经辐射场地外行星表面环境重建方法总体流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在附图中示出了根据本发明实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的地外行星表面环境重建方法进行详细地说明。

如图1所示，本发明实施例提供了一种基于神经辐射场地外行星表面环境重建方法，可以包括如下步骤：

S110：利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；

S120：根据所述地外行星表面图片的共视点匹配关系计算其成像时的地外行星巡视器导航相机第一内、外参数；

S130：以所述地外行星表面图片及其成像时的地外行星巡视器导航相机第一内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；

S140：将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现新视角图像或虚拟现实图像的合成。

实施例方法是基于神经辐射场的地外行星表面环境重建方法，针对定点定位、双目导航相机环拍的探测模式特点，提出了环视无边界场景坐标的参数化方法和双目相机窄基线成像的几何一致性约束，解决了目前方法不适用于环视无边界场景和缺乏几何一致性约束的问题。实施例方法以支持未来结合虚拟现实技术遥操作模式为目的，设计了具有良好视觉效果的地外行星表面环境重建和虚拟现实图像合成流程。在“祝融号”火星车巡视探测数据上的实验验证结果表明，实施例方法相对于现有方法在地外行星表面环境重建的视觉效果和几何结构正确性上有明显提升。

在一些实施例中，S120中包括：

识别所述地外行星表面图片I_l,i,I_r,i(i＝1,2,3,...,N)中的具有匹配关系的共视特征点，其中所述地外行星表面图片I_l,i,I_r,i(i＝1,2,3,...,N)是巡视器在同一站点双目导航相机环拍图像组，其中I_l,i和I_r,i分别表示图像由巡视器的左、右目导航相机拍摄，l表示左，r表示右，所述特征点可以包括尺度不变特征变换(Scale-Invariant FeatureTransform,SIFT)、加速稳健特征(SpeededUp Robust Features,SURF)等类型的特征点；

利用光束法平差计算所述第一内、外参数，所述第一内参数记为K，第一外参数记为(R,t)_l,i或(R,t)_r,i，其下标表示了对应的图像。其中(R,t)_l,i和(R,t)_r,i满足如下约束：

记巡视器的左、右导航相机之间的基线长度为B，由于巡视器的左、右目导航相机主光轴平行，则：

在一些实施例中，S130中，神经辐射场是通过下述方法构建的：

根据所述输入地外行星表面图片I_l,i,I_r,i(i＝1,2,3,...,N)及第一内参数K和第一外参数(R,t)_l,i或(R,t)_r,i，计算地外行星表面图片中像素(u,v)对应第一光线方程r(t)＝o+td，其中光线上所有点(x,y,z)均满足：

其中，z_c为该点在相机坐标系下的z坐标，K、(R,t)为所述第一内、外参数，R为旋转矩阵，t为平移向量，o为相机光心，d为光线方向。上式中字母l均表示左，数字1表示数字1。

对所述第一光线方程进行采样获得采样点，将采样点在欧氏坐标系中的三维坐标映射到具有上下界的倒球面坐标系，获得采样点的参数化坐标的具体实施如下：

基于实测环拍图像特点，定义原点为固定轴与双目相机主光轴所处平面交点的北东地坐标系(NED坐标系)为地外行星表面环境的世界坐标系。所述世界坐标系属于欧氏坐标系。提出使用倒球面的参数化方法中将所述世界坐标系中的三维坐标(x,y,z)映射为

其中径向距离r、方位角θ、极角

按球面坐标系的一般定义方法，即：

满足1/r∈(0,1/r_camsystem]，θ∈[0,π]，

在获取采样点的过程中，采用沿逆深度均匀分布的采样策略利用倒球面坐标系“近密远疏”的优点。即对于欧氏坐标系下从相机光心o出发，沿光线方向d行进的第一光线r(t)＝o+td，若共采集n个采样点，则光线上第i个采样点的逆深度1/r_i在区间((i-1)/nr_camsystem,i/nr_camsystem]内的概率密度为1/nr_camsystem。其中r_camsystem表示双目导航相机所构成的相机***成像的最近距离，其值可以取左、右导航相机的光心连线长度的1/2。

对于逆深度为1/r_i的采样点，确定其第一光线方程中t的方法为计算第一光线r(t)＝o+td与以原点为球心、r_i为半径的球的交点：

倒球面坐标系中，当极角θ＝0或θ＝π时，方位角

失效，即

无论

的取值，总对应欧式坐标系中的(0,0,1/r)。但在向外环拍的采样策略下，双目导航相机绕一固定轴拍摄，由于相机视场角有限，并不会出现极角θ＝0或θ＝π的情况。因此，在所提出的参数化方法中，倒球面坐标系到欧式坐标系的变换中不会出现一对多的映射关系，且参数化后的坐标总是有界的。此外，倒球面坐标系的参数化方法中利用了场景的逆深度，具备“近密远疏”特点，改善了环视无边界场景中神经辐射场模型收敛困难、远景模糊和重建区域受角度限制的问题。

将所述第一光线上采样点的参数化坐标作为输入，其对应像素的颜色值作为监督，使用反向传播算法调整所述神经辐射场模型参数，具体实施方法为：

神经辐射场模型使用权重参数为Θ的多层感知机F_Θ拟合地外行星表面环境的中每个三维位置x＝(x,y,z)沿所述第一光线方向d＝(θ,φ)观测到的观测颜色c＝(r,g,b)和体密度σ。其中，θ,φ表示光线方向在坐标系内的方位角和极角，r,g,b表示颜色在红(R)、绿(G)、蓝(B)三个通道上的强度。多层感知机F_Θ可以记为：

(r,g,b,σ)＝F_Θ(x,y,z,θ,φ)  (5)

神经辐射场模型将已知第一内、外参数的地外行星表面图像的颜色值作为监督信息，优化多层感知机F_Θ的权重参数Θ，使得多层感知机F_Θ能够正确地表示三维位置x在光线方向d和观测颜色c、体密度σ之间的映射关系。为形成空间点颜色和体密度的观测值与图像上的颜色值的对应关系，神经辐射场模型使用体绘制的方法，结合多层感知机F_Θ产生对像素颜色的估计值。

在体绘制理论中，所述第一光线r(t)＝o+td从o出发，沿光线方向d行进。三维位置x的体密度σ表示了的第一光线r(t)在该处终止的概率，则具有近边界t_n和远边界t_f的第一光线r(t)对应的观测颜色C(r)为：

其中，T(t)表示第一光线r(t)从近边界上的点o+t_fd到三维点o+td之间累积透射率，即光线从近边界上的点o+t_fd行进到三维点o+td而不中止的概率，表示为：

其中，exp()表示以自然常数e为底的对数，r(s)中积分变量为s，被积函数为第一光线r(t)。由于多层感知机F_Θ查询的是离散x(x,y,z)处的颜色和透明度，如公式(5)所示，神经辐射场采用抽样的方法对颜色C(r)进行估计。通过将近边界t_n和远边界t_f之间划分出N个区间，在每个区间随机抽取采样点t_i(i＝1,2,3,...,N)，利用这些样本产生颜色的估计

其中，公式(8)中的δ_i＝t_i+1-t_i，是相邻的两个采样点之间的距离，c_i表示采样点t_i处颜色的查询值。T_i为从光线从近边界行进至采样点t_i的累积透射率的估计：

其中，j表示求和运算中对求和变量的取值。神经辐射场模型的参数调优过程采用反向传播和随机梯度下降法，在输入的训练集图像中随机抽取一批次像素，计算这些像素对应的第一光线集合R，按公式(5)(8)(9)计算得到这些第一光线集合对应像素颜色估计值

和真实像素颜色C(r)之间的残差的二阶矩作为MLP网络多层感知机F_Θ的损失函数：

其中，

表示求二范数。利用导航相机成像的主光轴平行的特性，计算所述第一光线终止位置的期望值作为监督，使用反向传播算法调整所述神经辐射场模型参数，具体实施如下：

对于具备主光轴平行、相机内参相同特点的所述巡视器双目相机图像，可以容易地将基于双目视差估计几何一致性约束引入到所述神经辐射场构建过程中，做为神经辐射场几何结构的先验知识：

对于基线长度为B，第一内参数K的矩阵相同的的一对巡视器的左、右目导航相机，设坐标系的原点为左、右目相机光心连线的中点，对于所述左、右目导航相机拍摄的地外行星表面图像中的匹配点对(u,v)和(u+Δu,v)，其对应的三维点(x,y,z):

其中，Δu表示匹配点对的视差，c_x、c_y表示内参矩阵中的光心坐标，f表示内参矩阵中的焦距在特征点仅在左、右目图像内的情况下，无法通过计算重投影误差的方法估计视差和深度的不确定度，针对具备主光轴平行的特点的所述巡视器的左、右目相机所构成的视觉***基于光学***传递函数的误差值标准差的解析解为：

其中，ω₁＝arctan[(u-x_c)/f]，ω₂＝arctan[(u+Δu-x_c)/f]，Δx、Δy、Δz表示在x、y、z轴方向上误差值标准差的分量。由于神经辐射场中不透明度的物理含义为光线在该点终止的概率，与该像素对应深度的概率密度分布是相同的。因此，对深度估计结果的误差视为高斯分布时，神经辐射场模型恢复场景正确几何结构的条件是这两个分布之间的KL散度最小化，即对于采样过程中一个像素对应的所有采样深度t_i(i＝1,2,3,...,N)最小化损失函数：

公式(13)中，

表示t_i处不透明度的计算值。

在一些实施例中，S140中，地外行星表面环境重建的结果以所述将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现新视角图像或虚拟现实图像的合成，实现的方法包括：

根据输入第二内、外参数计算待合成的新视角图像所包含像素对应的第二光线方程，具体实施如下；

输入第二内、外参数K2和(R₂,t₂)，计算第二地外行星表面图片中像素(u,v)对应第二光线方程r₂(t)＝o₂+td₂，其中第二光线上所有点(x,y,z)均满足：

根据所述第二光线方程在所述神经辐射场模型中查询第二光线上的颜色、不透明度分布，利用体渲染公式计算所述新视角图像的像素颜色，具体实施如下：

对于欧氏坐标系下从相机光心o₂出发，沿方向d₂行进的第二光线r₂(t)＝o₂+td₂，采集n个采样点，则光线上第i个采样点的逆深度1/r_i在区间((i-1)/nr_camsystem,i/nr_camsystem]内的概率密度为1/nr_camsystem。

对于逆深度为1/r_i的采样点，确定其第二光线方程中t的方法为计算第二光线r₂(t)＝o₂+td₂与以原点为球心、r_i为半径的球的交点：

利用所述多层感知机F_Θ查询第二光线上采样点沿所述第二光线方向d₂＝(θ,φ)观测到的观测颜色c＝(r,g,b)和体密度σ，用所述采样点产生对第二光线颜色的估计

根据所述输入第二内、外参数和预设的观测者瞳距计算第三内、外参数，具体实施如下：

输入第二内、外参数K₂和(R₂,t₂)，预设观测者瞳距为L_eye，第三内、外参数K3和(R₃,t₃)为：

计算待合成的虚拟现实图像所包含像素对应的第三光线方程，以及根据所述第三光线方程在所述神经辐射场模型中查询第三光线上的颜色、不透明度分布，利用体渲染公式计算所述虚拟现实图像的像素颜色，其实施方式与计算第二光线方程、根据第二光线方程实现合成新视角图像的方式相同。

上述实施例利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；根据所述地外行星表面图片的共视点匹配关系计算其成像时相机第一内、外参数；以所述地外行星表面图片及相机第一内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现地外行星表面环境新视角图像或虚拟现实图像的合成。该方法克服了地外行星表面图片纹理特征单一重复、视角稀疏分散、视场重叠区域低等不利特点，实现了视觉效果优秀、几何结构正确的地外行星表面环境重建。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本发明实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (3)

1.一种基于神经辐射场地外行星表面环境重建方法，其特征在于，包括以下步骤：

第一步，利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；

第二步，根据所述地外行星表面图片的共视点匹配关系计算其成像时的地外行星巡视器导航相机第一内、外参数；

第三步，以所述地外行星表面图片及其成像时的地外行星巡视器导航相机第一内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；

第四步，将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现新视角图像或虚拟现实图像的合成。

2.根据权利要求1所述的基于神经辐射场地外行星表面环境重建方法，其特征在于：所述第三步包括：

根据所述输入地外行星表面图片及其相机位姿，计算地外行星表面图片中像素对应第一光线方程；

对所述第一光线方程进行采样获得采样点，将采样点在欧氏坐标系中的三维坐标映射到具有上下界的倒球面坐标系，获得采样点的参数化坐标；

将所述第一光线上采样点的参数化坐标作为输入，其对应像素的颜色值作为监督，使用反向传播算法调整所述神经辐射场模型参数；

利用导航相机成像的主光轴平行的特性，计算所述第一光线终止位置的期望值作为监督，使用反向传播算法调整所述神经辐射场模型参数。

3.根据权利要求2所述的基于神经辐射场地外行星表面环境重建方法，其特征在于：所述第四步包括：

根据输入的第二内、外参数计算待合成的新视角图像所包含像素对应的第二光线方程；

根据所述第二光线方程在所述神经辐射场模型中查询第二光线上的颜色、不透明度分布，利用体渲染公式计算所述新视角图像的像素颜色；

根据所述输入第二内、外参数和预设的观测者瞳距计算第三内、外参数，计算待合成的虚拟现实图像所包含像素对应的第三光线方程；

根据所述第三光线方程在所述神经辐射场模型中查询第三光线上的颜色、不透明度分布，利用体渲染公式计算所述虚拟现实图像的像素颜色。

Images