CN115457188A - 一种基于注视点的3d渲染显示方法及*** - Google Patents

Abstract

本发明涉及3D显示渲染技术领域，具体公开了一种基于注视点的3D渲染显示方法及***，所述方法包括根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；将所述3D场景向VR头显设备发送；在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。本发明技术方案使用神经辐射场生成Mesh模型场景，实现了用户注视图像预测功能，解决了神经辐射场推理及渲染3D场景图像速度较慢以及清度较低的问题。

Description

一种基于注视点的3D渲染显示方法及***

技术领域

本发明涉及3D显示渲染技术领域，具体是一种基于注视点的3D渲染显示方法及***。

背景技术

神经辐射场即NeRF（Neural Radiance Field）是一种深度渲染方法，其主要特点是场景隐式表达和图像的容积渲染。不同于传统的三维重建方法把场景表示为点云、网格、体素等显式的表达，NeRF将场景建模成一个连续的5D辐射场隐式存储在神经网络中，输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型，根据这个模型可以渲染出任意视角下的清晰的照片。通俗来讲，就是构造一个隐式的渲染流程，其输入是某个视角下发射的光线的位置o，方向d以及对应的坐标（x,y,z），送入神经辐射场，得到体积密度和颜色，最后再通过体渲染得到最终的图像。

传统三维重建大致流程为：稀疏点云重建、稠密点云重建、网格重建、纹理贴图、材质贴图。经验表明，以Photogrammetry为基础的建模工具强依赖于拍摄环境，对弱纹理和平滑区域的表面还原较差，通常依赖人工修复模型网格与纹理并赋予材质。传统三维建模工程通过摄影测量，采用Mesh网格模型加贴图方法，建模工程量大，建模出来的场景视觉效果差，实时渲染效果依赖于硬件。

NeRF效果好的主要原因，在于采用隐式表示3D场景。隐式表示（implicit scenerepresentation）通常用一个函数来描述场景几何，可以理解为将复杂的三维场景表达信息存储在函数的参数中。因为往往是学习一种3D场景的描述函数，因此在表达大分辨率场景的时候它的参数量相对于“显示表示”（explicit scene representation）是较少的，并且隐式表示函数是种连续化的表达，对于场景的表达会更为精细。NeRF做到了利用“隐式表示”实现了照片级的视角合成效果，它选择了Volume作为中间3D场景表征，然后再通过体积渲染Volume rendering实现了特定视角照片合成效果。可以说NeRF实现了从离散的照片集中学习出了一种隐式的Volume表达，然后在某个特定视角，利用该隐式Volume表达和体渲染得到该视角下的照片。

目前市面上的VR头显设备中都内置了用于注视点渲染的眼动追踪技术，通过计算机视觉算法和光学传感器等硬件设备，注视点渲染技术可将显示效果提高一半以上。

发明内容

本发明的目的在于提供一种基于注视点的3D渲染显示方法及***，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于注视点的3D渲染显示方法，所述方法包括：

根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；

提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；

将所述3D场景向VR头显设备发送；

在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。

作为本发明进一步的方案：所述根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型的步骤包括：

在预设的位置点拍摄含有拍摄参数的图像信息，得到训练集；所述拍摄参数包括相机位姿、相机内参和场景的范围信息；

依次读取训练集中的图像，将图像输入预设的多层感知器，得到体积密度和RGB颜色值；

根据体积渲染技术将所述体积密度和所述RGB颜色值投影至图像中，得到完整图像；

基于完整图像训练神经辐射场模型。

作为本发明进一步的方案：所述提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景的步骤包括：

根据神经辐射场模型中的体积密度提取Mesh网格；所述Mesh模型支持光栅化渲染；

将生成的Mesh网格导入到3D引擎Unity工程，接收用户输入的贴图和光照参数，渲染输出3D场景。

作为本发明进一步的方案：所述在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像的步骤包括：

基于眼动追踪技术在VR头显设备中获取用户的注视点信息，确定注视点区域；

获取注视点区域的坐标信息，将所述坐标信息输入到神经辐射场神经网络模型的多层感知层中；

基于神经辐射场模型预测注视点区域的图像；

在VR头显设备中将预测到的图像渲染到用户视野内的注视点区域中。

本发明技术方案还提供了一种基于注视点的3D渲染显示***，所述***包括：

模型训练模块，用于根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；

场景渲染模块，用于提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；

场景发送模块，用于将所述3D场景向VR头显设备发送；

图像渲染模块，用于在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。

作为本发明进一步的方案：所述模型训练模块包括：

训练集生成单元，用于在预设的位置点拍摄含有拍摄参数的图像信息，得到训练集；所述拍摄参数包括相机位姿、相机内参和场景的范围信息；

参数确定单元，用于依次读取训练集中的图像，将图像输入预设的多层感知器，得到体积密度和RGB颜色值；

投影单元，用于根据体积渲染技术将所述体积密度和所述RGB颜色值投影至图像中，得到完整图像；

第一执行单元，用于基于完整图像训练神经辐射场模型。

作为本发明进一步的方案：所述场景渲染模块包括：

网格提取单元，用于根据神经辐射场模型中的体积密度提取Mesh网格；所述Mesh模型支持光栅化渲染；

输出单元，用于将生成的Mesh网格导入到3D引擎Unity工程，接收用户输入的贴图和光照参数，渲染输出3D场景。

作为本发明进一步的方案：所述图像渲染模块包括：

区域定位单元，用于基于眼动追踪技术在VR头显设备中获取用户的注视点信息，确定注视点区域；

坐标获取单元，用于获取注视点区域的坐标信息，将所述坐标信息输入到神经辐射场神经网络模型的多层感知层中；

图像预测单元，用于基于神经辐射场模型预测注视点区域的图像；

第二执行单元，用于在VR头显设备中将预测到的图像渲染到用户视野内的注视点区域中。

与现有技术相比，本发明的有益效果是：本发明技术方案使用神经辐射场生成Mesh模型场景，实现了用户注视图像预测功能，解决了神经辐射场推理及渲染3D场景图像速度较慢以及清度较低的问题。关键在于结合Mesh模型和注视预测图像，在VR设备中渲染生成3D场景图像，让用户在VR头显设备中观看到高清度的实时渲染的3D图像。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为基于注视点的3D渲染显示方法的流程框图。

图2为基于注视点的3D渲染显示方法的第一子流程框图。

图3为基于注视点的3D渲染显示方法的第二子流程框图。

图4为基于注视点的3D渲染显示方法的第三子流程框图。

图5为基于注视点的3D渲染显示***的组成结构框图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

图1为基于注视点的3D渲染显示方法的流程框图，本发明实施例中，一种基于注视点的3D渲染显示方法，所述方法包括：

步骤S100：根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；

步骤S200：提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；

步骤S300：将所述3D场景向VR头显设备发送；

步骤S400：在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。

在本发明技术方案的一个实例中，本发明通过使用神经辐射场NeRF生成Mesh模型场景，结合注视点图像预测的方法改进了基于神经渲染的3D建模和渲染技术，创新性的改进了NeRF图像的渲染速度以及图像的清晰度。

针对NeRF渲染速度慢、模型过大的问题，本发明基于训练后的NeRF模型，提取NeRF模型的密度σ并预先提取出Mesh模型。在此之后，本发明将Mesh网格模型导入到Unity工程中配合贴图、光照生成完整的3D场景，用户在VR头显设备中可以观看到实时渲染的3D场景。本发明通过NeRF模型产生体积较小的Mesh模型，加速了3D场景图像的渲染速度。

针对NeRF渲染图片清晰度不足的问题，本发明基于VR眼动追踪的注视点渲染技术，获取用户的注视点信息，只将注视点区域的坐标输入到NeRF神经网络模型中，进而通过NeRF模型预测注视点图像。本发明在VR头显设备中将NeRF生成的图像渲染到用户的注视点区域，以保证了用户视野内渲染图像的清晰度。

进一步的，从三维重建的角度来看，NeRF有几个较为明显的不足：

1.训练及推理速度较慢，输出1920*1080分辨率的图像，NeRF的推理速度为50s/帧，而实用的要求要达到30帧/s以上，差距为1500倍，VR头显设备中更需要达到90帧/s以上。1张1080P图推理时间超过50s，一个物体的建模时间通常需要2天以上。

2.渲染图片清晰度不足，且无法恢复细节纹理。

3.隐式表达（implicit scene representation）无法直接导入图形学工具，不支持显式使用，例如CAD场景搭配设计。并且NeRF只能还原拍摄场景的光照，无法支持环境光照变化的场景应用。

NeRF速度慢的原因有几个方面，第一，有效像素少，生成得到的2D图像有效像素不到1/3，能够快速得到有效像素可以提升推理速度。第二，有效体素少，采样192个点，其中只有表面附近的点密度σ比较大，其他的点没必要进行推理。第三，网络推理速度慢，需要12层全连接网络推理，才能得到1个体像素的颜色和密度，优化这个性能也可以大大加快推理速度。通过空间换时间的方式，可以进行优化，包括FastNeRF、PlenOctree等方法，但是仅仅是单纯的记住NeRF输出结果，会使得存储空间过大，达到200M~1G的大小，这样的大的模型也是没法实用的。

NeRF目前还没有比较成功的商业化的应用，NeRF还存在训练速度慢、渲染速度慢、只能用于静态场景、泛化性能差、需要大量视角、难以与传统渲染管线融合等问题。

图2为基于注视点的3D渲染显示方法的第一子流程框图，所述根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型的步骤包括：

步骤S101：在预设的位置点拍摄含有拍摄参数的图像信息，得到训练集；所述拍摄参数包括相机位姿、相机内参和场景的范围信息；

本发明从不同位置拍摄同一场景的图片，同时记录拍摄这些图片的相机位姿、相机内参，以及场景的范围信息，作为训练神经辐射场的输入数据集。

步骤S102：依次读取训练集中的图像，将图像输入预设的多层感知器，得到体积密度和RGB颜色值；

本发明将所述图像数据集输入到多层感知器MLP（Multi-Layer Perception）中，输出体积密度Volume density和RGB颜色值。

步骤S103：根据体积渲染技术将所述体积密度和所述RGB颜色值投影至图像中，得到完整图像；

本发明取不同的位置，使用体积渲染技术（volume rendering），把输出的颜色和体积密度投影到图像上，从而将这些值合成为一张完整的图像。

步骤S104：基于完整图像训练神经辐射场模型；

本发明通过最小化渲染合成的、真实图像之间的差来训练优化神经辐射场场景表示。具体的说，本发明优化一个深度全连接的神经网络，全连接神经网络又称多层感知器（MLP），本发明通过所述多层感知器MLP来表示这样的函数：根据一个5D坐标回归输出一个体积密度和视角相关的RGB颜色。

本发明在神经辐射场训练完成后，得到一个以多层感知层的权重表示的模型。模型只含有该场景的信息，不具有生成别的场景的图片的能力。神经辐射场将场景表示为空间中任何点的体积密度σ和颜色值c。在有了以NeRF形式存在的场景表示后，可以对该场景进行渲染，生成新视角的模拟图片。本发明使用经典体积渲染原理，求解穿过场景的任何光线的颜色，从而渲染合成新的图像。

神经辐射场虽然是隐式表示了3D模型，但也可以采用一些方法将神经辐射场的模型显式提取，并进行可视化分析。

图3为基于注视点的3D渲染显示方法的第二子流程框图，所述提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景的步骤包括：

步骤S201：根据神经辐射场模型中的体积密度提取Mesh网格；所述Mesh模型支持光栅化渲染；

本发明从上述图1生成的神经辐射场模型的体积密度σ预先提取出Mesh模型。Mesh模型支持光栅化渲染，可以快速得到2D有效像素，只针对有效像素渲染可以大大提升渲染速度。

步骤S202：将生成的Mesh网格导入到3D引擎Unity工程，接收用户输入的贴图和光照参数，渲染输出3D场景；

本发明将生成的Mesh网格导入到3D引擎Unity工程中，配合贴图和光照，渲染输出形成具有明确形状的3D场景。

在本发明技术方案的一个实例中，在VR头显设备中实时渲染全部的3D场景，由于3D场景是由体积较小的Mesh网格模型生成，这大大加速了3D场景图像的渲染速度。

图4为基于注视点的3D渲染显示方法的第三子流程框图，所述在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像的步骤包括：

步骤S401：基于眼动追踪技术在VR头显设备中获取用户的注视点信息，确定注视点区域；

本发明在VR头显设备中通过眼动追踪技术获取用户的注视点信息。

步骤S402：获取注视点区域的坐标信息，将所述坐标信息输入到神经辐射场神经网络模型的多层感知层中；

本发明将注视点区域坐标信息输入到神经辐射场神经网络模型的多层感知层中。

步骤S403：基于神经辐射场模型预测注视点区域的图像；

本发明通过神经辐射场模型预测注视点区域的图像。

步骤S404：在VR头显设备中将预测到的图像渲染到用户视野内的注视点区域中；

本发明在VR头显设备中，将预测到的图像渲染到用户视野内的注视点区域中。

在本发明技术方案的一个实例中，通过使用体积相对较小的Mesh网格模型，渲染输出具有明确形状的3D场景。这一步在VR头显设备中渲染速度非常快，以保证用户能实时观看到3D图像。同时，本发明将通过神经场生成的图像渲染到用户的中，以保证用户在能观看到度的3D图像。

作为本发明技术方案的一个优选实施例，通过采样有效体素的方案来提高神经辐射场的采样效率。空间中大量的点不在物体表面附近，随机采

样的效率很低，利用Mesh模型，可以快速得到物体表面信息，从而只在表面附近进行采样，这样的

话，采样的效率可以大大提升，可以不需要粗采样，直接精采样，精采样也只需要32个点即可达到同样的效果。

作为本发明技术方案的一个优选实施例，采用网络优化的方案来优化神经辐射场的训练过程。神经辐射场通过12层神经网络来进行模型表

示，其中蕴含着大量冗余节点，可以通过网络剪枝或模型蒸馏来进行网络加速。使用网络剪枝的方法

在神经辐射场网络优化方面优于模型蒸馏。通过L1正则可以优化80%的节点，网络规模下降到原来的1/5，效果保持不变。

为了便于本领域技术人员更好地理解上述方案，对本发明中的专业技术术语进行描述，如下：

NeRF：Neural Radiance Field神经辐射场。是当前最为火热的研究领域之一，它要解决的问题就是给定一些拍摄的图，如何生成新的视角下的图，不同于传统的三维重建方法把场景表示为点云、网格、体素等显式的表达，NeRF场景建模成一个连续的5D辐射场隐式存储在神经网络中。通俗来讲，神经辐射场就是构造一个隐式的渲染流程，其输入是某个视角下发射的光线的位置。，方向d以及对应的坐标（x，y，z）。通过神经辐射场Fθ，得到体积密度和颜色，最后再通过渲染得到最终的图像。

Mesh模型：网格三维模型，主要用于三维重建。Mesh是Unity中的一个组件，称为网格组件。通俗地讲，Mesh是指模型的网格，3D模型是由多边形拼接而成，而一个复杂的多边形，实际上是由多个三角面拼接而成。所以一个3D模型的表面是由多个彼此相连的三角面构成。三维空间中，构成这些三角面的点以及三角形的边的集合就是Mesh。

隐式场景表示（implicitscene representation）：基于深度学习的渲染的先驱是使用神经网络隐式表示三维场景。许多3D-aware的图像生成方法使用体素、网格、点云等形式表示三维场景，通常基于卷积架构。而在CVPR 2019上，开始出现使用神经网络拟合标量函数来表示三维场景的工作。

MLP：Multi-Layer Perception多层感知器。是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。MLP是最为经典的神经网络模型，神经网络的变种还有概率神经网络、卷积神经网络、时间递归神经网络等。

VR：Virtual Reality虚拟现实。是20世纪发展起来的一项全新的实用技术，虚拟现实技术以计算机技术为主，利用三维图形技术、传感技术、仿真技术、显示技术包括人工智能等多种新技术并借助VR设备产生一个逼真的多感官体验的虚拟世界。

3D引擎Unity：实时3D互动内容创作和运营平台。包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者，借助Unity将创意变成现实。Unity平台提供一整套完善的软件解决方案，可用于创作、运营和变现任何实时互动的2D和3D内容，支持平台包括手机、平板电脑、PC、游戏主机、增强现实和虚拟现实设备。

实施例2

图5为基于注视点的3D渲染显示***的组成结构框图，本发明实施例中，一种基于注视点的3D渲染显示***，所述***10包括：

模型训练模块11，用于根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；

场景渲染模块12，用于提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；

场景发送模块13，用于将所述3D场景向VR头显设备发送；

图像渲染模块14，用于在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。

所述模型训练模块包括：

训练集生成单元，用于在预设的位置点拍摄含有拍摄参数的图像信息，得到训练集；所述拍摄参数包括相机位姿、相机内参和场景的范围信息；

参数确定单元，用于依次读取训练集中的图像，将图像输入预设的多层感知器，得到体积密度和RGB颜色值；

投影单元，用于根据体积渲染技术将所述体积密度和所述RGB颜色值投影至图像中，得到完整图像；

第一执行单元，用于基于完整图像训练神经辐射场模型。

所述场景渲染模块包括：

网格提取单元，用于根据神经辐射场模型中的体积密度提取Mesh网格；所述Mesh模型支持光栅化渲染；

输出单元，用于将生成的Mesh网格导入到3D引擎Unity工程，接收用户输入的贴图和光照参数，渲染输出3D场景。

8．根据权利要求5所述的基于注视点的3D渲染显示***，其特征在于，所述图像渲染模块包括：

区域定位单元，用于基于眼动追踪技术在VR头显设备中获取用户的注视点信息，确定注视点区域；

坐标获取单元，用于获取注视点区域的坐标信息，将所述坐标信息输入到神经辐射场神经网络模型的多层感知层中；

图像预测单元，用于基于神经辐射场模型预测注视点区域的图像；

第二执行单元，用于在VR头显设备中将预测到的图像渲染到用户视野内的注视点区域中。

所述基于注视点的3D渲染显示方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于注视点的3D渲染显示方法的功能。

处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（Read-Only Memory，ROM），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示***的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例***中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个***实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于注视点的3D渲染显示方法，其特征在于，所述方法包括：

根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；

提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；

将所述3D场景向VR头显设备发送；

在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。

2.根据权利要求1所述的基于注视点的3D渲染显示方法，其特征在于，所述根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型的步骤包括：

在预设的位置点拍摄含有拍摄参数的图像信息，得到训练集；所述拍摄参数包括相机位姿、相机内参和场景的范围信息；

依次读取训练集中的图像，将图像输入预设的多层感知器，得到体积密度和RGB颜色值；

根据体积渲染技术将所述体积密度和所述RGB颜色值投影至图像中，得到完整图像；

基于完整图像训练神经辐射场模型。

3.根据权利要求1所述的基于注视点的3D渲染显示方法，其特征在于，所述提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景的步骤包括：

根据神经辐射场模型中的体积密度提取Mesh网格；所述Mesh模型支持光栅化渲染；

将生成的Mesh网格导入到3D引擎Unity工程，接收用户输入的贴图和光照参数，渲染输出3D场景。

4.根据权利要求1所述的基于注视点的3D渲染显示方法，其特征在于，所述在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像的步骤包括：

基于眼动追踪技术在VR头显设备中获取用户的注视点信息，确定注视点区域；

获取注视点区域的坐标信息，将所述坐标信息输入到神经辐射场神经网络模型的多层感知层中；

基于神经辐射场模型预测注视点区域的图像；

在VR头显设备中将预测到的图像渲染到用户视野内的注视点区域中。

5.一种基于注视点的3D渲染显示***，其特征在于，所述***包括：

模型训练模块，用于根据预设的采样规则建立训练集，基于训练集训练神经辐射场模型；

场景渲染模块，用于提取神经辐射场模型中的Mesh模型，基于Mesh模型渲染输出3D场景；

场景发送模块，用于将所述3D场景向VR头显设备发送；

图像渲染模块，用于在所述VR头显设备中获取用户的注视点区域，基于所述神经辐射场模型在3D场景处渲染注视点区域的图像。

6.根据权利要求5所述的基于注视点的3D渲染显示***，其特征在于，所述模型训练模块包括：

训练集生成单元，用于在预设的位置点拍摄含有拍摄参数的图像信息，得到训练集；所述拍摄参数包括相机位姿、相机内参和场景的范围信息；

参数确定单元，用于依次读取训练集中的图像，将图像输入预设的多层感知器，得到体积密度和RGB颜色值；

投影单元，用于根据体积渲染技术将所述体积密度和所述RGB颜色值投影至图像中，得到完整图像；

第一执行单元，用于基于完整图像训练神经辐射场模型。

7.根据权利要求5所述的基于注视点的3D渲染显示***，其特征在于，所述场景渲染模块包括：

网格提取单元，用于根据神经辐射场模型中的体积密度提取Mesh网格；所述Mesh模型支持光栅化渲染；

输出单元，用于将生成的Mesh网格导入到3D引擎Unity工程，接收用户输入的贴图和光照参数，渲染输出3D场景。

8.根据权利要求5所述的基于注视点的3D渲染显示***，其特征在于，所述图像渲染模块包括：

区域定位单元，用于基于眼动追踪技术在VR头显设备中获取用户的注视点信息，确定注视点区域；

坐标获取单元，用于获取注视点区域的坐标信息，将所述坐标信息输入到神经辐射场神经网络模型的多层感知层中；

图像预测单元，用于基于神经辐射场模型预测注视点区域的图像；

第二执行单元，用于在VR头显设备中将预测到的图像渲染到用户视野内的注视点区域中。

Images