CN117011446A - 一种动态环境光照的实时渲染方法 - Google Patents

Abstract

本发明公开了一种实时环境光照的渲染方法，涉及计算机图像处理技术领域。包括：获取场景信息，场景信息包括实时动态环境全景信息和/或静态环境全景信息。动态环境光照重建，根据场景信息生成第一全景图像，并获取场景信息的环境光照参数，根据第一全景图像生成全景辐照图，并将环境光照参数映射至全景辐照图中，全景辐照图包括全方位动态光照信息。获取虚拟模型，通过虚拟三维数据建模，生成虚拟模型；真实感渲染，根据全景辐照图，对虚拟模型进行渲染并生成渲染结果，其中，渲染结果能够传输至MR设备中，并在MR设备内显示。通过采用本发明提供的技术，能够实现高精度MR的渲染质量的同时提供高效计算，满足MR相关应用的实时交互需求。

Description

一种动态环境光照的实时渲染方法

技术领域

本发明涉及计算机图像处理技术领域，具体地涉及一种动态环境光照的实时渲染方法。

背景技术

混合现实（Mixed Reality，MR）以及增强现实(Augmented Reality，AR）技术相关应用越来越广泛，其中，混合现实技术的关键是根据真实场景中的环境光影信息对虚拟模型实现真实感渲染，用户在佩戴MR显示设备后可以在任何时间和地点观察虚拟模型，并产生虚拟模型真实存在于现实环境中的虚实融合和身临其境的视觉效果。在MR应用中，逼真的渲染结果能够达到以假乱真的效果，进而提高用户在浏览时对于虚拟模型的视觉感知。

但现有技术中，受到当前硬件设备以及软件算法的限制，渲染质量和交互效率通常是矛盾的，二者均会影响MR应用中使用者的体验感受。为了避免用户在使用过程中出现眩晕等问题，MR应用通常会舍弃高渲染质量以保证高效的交互功能，因此视觉体验的真实感往往会受到限制和削弱。

为了提高MR渲染结果与用户周围真实环境的融合度，近年来，国内外的很多研究致力于此。例如在光照估计方面，一些研究专注于通过手机从有限视野的图像中推断全方位光照，但是这种方式获取的光照信息参数较少，基于较少信息参数所推断的光照进行渲染难以适用于场景复杂的情况，且显示效果的视觉真实度和合理性较弱。

另外在一些基于全景图像的光照估计相关研究中，通过对高动态图像分析获取其光照信息，这种方式虽然较为准确，但是计算难度较高、效率较低，无法满足实际的MR应用开发需求。

发明内容

本发明提供了一种动态光照环境光照的渲染方法，以解决现有技术无法在交互效率较高时光照根据周围场景实时光照渲染的问题。

为解决上述技术问题，本发明采用的技术方案是提供一种实时环境光照的渲染方法方法，包括：

获取场景信息，场景信息包括实时动态环境全景信息和/或静态环境全景信息。动态环境光照重建，根据场景信息生成第一全景图像，并获取场景信息的环境光照参数，其中，环境光照参数包括真实场景内的光源位置、类型和光照强度，根据第一全景图像生成全景辐照图，并将环境光照参数映射至全景辐照图中，全景辐照图包括全方位动态光照信息。

获取虚拟模型，通过虚拟三维数据建模，生成虚拟模型；真实感渲染，根据全景辐照图，对虚拟模型进行渲染并生成渲染结果，其中，渲染结果能够传输至MR设备中，并在MR设备内显示。

本发明提供的技术方案带来的有益效果是：

通过动态环境光照，将用户所在的真实环境场景中的信息进行拼接得到第一全景图像，并检测出第一全景图像中的环境光照参数，进而生成HDR（High-Dynamic Range，高动态范围）全景辐照图。相较于现有技术中的两种方式，即，通过算法推断全方位的光照信息和直接获取HDR图像，能够在获取全方位动态光照的同时降低计算压力。使其在硬件成本较低的情况下依旧能够适用多种类型的自然场景和模型数据，并保持高精度的真实感渲染质量。

此外，真实感渲染通过光线追踪的方法将虚拟三维数据建模中生成的任意虚拟模型进行渲染出与当前环境光照匹配的渲染结果，并与MR设备交互。即，真实感渲染用于对虚拟模型渲染出不同程度的光照面和阴影面，进而实现用户在观看虚拟物品甚至是与虚拟模型互动时，能够实时同步动态环境光照而产生的逼真的阴影和明暗效果，提高用户的真实感。从而实现高精度MR的渲染质量的同时提供高效计算，满足MR相关应用的实时交互需求。

在一些实施方案中，获取场景信息，包括：至少设置一个相机，相机能够按照设定视角连续拍摄相机周围的场景，其中，设定视角为多个预设相机视角；相机拍摄连续多张设定角度的图像；多张图像传输至图形工作站中。

采用上述技术方案，通过相机拍摄获取多张连续的多角度的LDR（Low DynamicRange，低动态范围）的图像，将其传输至图形工作站中，将其进行拼接计算生成第一全景图像。使其能够在获取真实场景全部信息的情况下降低直接获取HDR（High Dynamic Range，高动态范围）全景图像进行计算的计算难度。

在一些实施方案中，动态环境光照重建，还包括：全景重建，获取多张图像，并通过图像拼接技术，对每一时刻的多张图像进行全景拼接，并生成第一全景图像，其中，第一全景图像包括全方位环境信息；坐标系矫正，坐标系矫正用于将以相机为参考坐标系下的第一全景图像转化为世界空间坐标系下的第二全景图像；空间位置矫正，空间位置矫正用于模拟处于不同的世界空间坐标系下的光照变化。

采用上述技术方案，将相机拍摄的多张LDR图像拼接成第一场景图像，虽然第一场景图像具有全方位环境信息，但其是以拍摄的相机为中心的环境信息，而非虚拟模型。因此，当虚拟模型与相机处于不同位置时，若以相机为中心的第一全景图像直接计算虚拟模型的周围的光照信息是不够准确的。通过坐标系的矫正和空间位置矫正使得渲染所使用的环境光照参数是以虚拟模型为中心的。

在一些实施方案中，坐标系矫正具体步骤包括：获取第二全景图像上的每一个像素的UV坐标；将每一个像素的UV坐标/>转换为球面坐标/>，并将球面坐标/>转换为三维笛卡尔坐标/>；将三维笛卡尔坐标/>从相机坐标系转换到世界坐标系下，记为：

其中，为设定旋转矩阵/>，/>为世界坐标；遍历第二全景图像的每一个像素并生成第二全景图像，其中，每一个像素的UV坐标/>对应的像素值为世界坐标/>在第一全景图像对应的像素值。

采用上述技术方案，通过具体的步骤操作，使得以相机为中心的二维平面坐标的全景图像转化为以虚拟模型为中心的世界空间坐标系下的第二全景图像。此外，还能够有效地保证MR设备在移动过程中，转化其参考坐标系不会导致虚拟模型表面渲染的光影出现闪烁、晃动等情况。

在一些实施方案中，空间位置矫正的具体步骤包括：将世界空间坐标系下的第二全景图像映射至单位球面上，其中，预设虚拟模型的球面坐标为；旋转环境球直至虚拟模型与预设视线方向的水平角度一致，记为：

其中，为虚拟模型的角坐标；旋转后的环境球对应的全景图像为第三全景图像；以虚拟模型为中心进行采样的环境球上的像素可表示为：

，/>表示变量，/>表示预设距离；/>还满足：

其中，变量需保留正数解，第三全景图像上所有的像素根据变量/>映射至第四全景图像。

采用上述技术方案，当用户在不断移动时，虚拟物品会被用户移动到不同的世界空间位置，为了避免更改世界空间坐标内的所有其他物品的坐标来补偿用户的坐标矫正，通过建设所有坐标都能够可靠映射的世界坐标系。且设定稳定的变换来定义世界中用户与虚拟模型之间的深度关系，提高空间坐标的稳定性，使得其渲染结果对用户而言更加真实。

在一些实施方案中，动态环境光照重建还包括对全景辐照图进行光照分析，光照分析包括光照估计和相邻帧间的光照差异值计算；其中，基于第一全景图像进行光照估计获得环境辐照图；

其中，相邻帧间的光照差异值计算包括：对环境辐照图进行采样权重计算，记为：

其中，表示环境辐照图的高，/>表示纵坐标为/>的像素/>；将环境辐照图上的所有像素与采样权值/>相乘后得到全景辐照图；局部光照相似性计算，将全景辐照图划分为/>个图像块，其中，第/>个图像块的相邻帧之间的光照相似性根据SSIM指标计算，记为：

其中，表示图像块中的像素平均值，/>的取值范围是/>，当/>的值越接近1时，第/>个图像块在相邻帧之间越相似；全局光照差异性计算，根据局部光照相似性计算的结果，全景辐照图的全局光照差异性可记为：

其中，的取值范围是/>，当/>越小时，相邻帧间的环境照明差异越小。

采用上述技术方案，对于实际应用中而言，用户在佩戴MR设备时通常会不断移动且与虚拟模型互动，若仅依靠实时捕获用户周围不断变化的环境光照信息，其容错率以及计算算力要求较高。由于相邻视频帧之间的光照变化通常是比较小的，对坐标矫正后的第一全景图像（即，第四全景图像）进行光照估计，从而获得环境辐照图。由于越靠近全景图像顶部或底部的光源越具有较大的面积，因此也越容易被采样，通过对环境辐照图进行采样，从而有效地避免采样不均的问题。

此外，全景辐照图的局部光照性相似性以及全局光照差异性判断基于前一帧的渲染结果能否用于对当前帧进行进一步优化，通过上述分析当前一帧与当前帧差异较小时，能够将前一帧的渲染结果用于当前帧的渲染优化。

在一些实施方案中，真实感渲染包括基于光线追踪的渲染和实时去噪；实时去噪包括时域去噪和时空去噪，时域去噪通过前一帧的渲染结果对当前帧渲染进行去噪，时空去噪用于对邻域像素间的去噪和MR设备间的去噪，其中，MR设备包括第一屏幕和第二屏幕；实时去噪具体步骤为：重投影计算，重投影计算包括：通过投影矩阵获得第一屏幕的当前帧的像素的对应的第二屏幕的对应帧的像素/>；并结合第一屏幕的前一帧像素/>和第二屏幕上的前一帧像素/>，优化/>的像素值/>；第一步去噪，记为：

其中，为/>的第一步去噪的像素值，/>为/>的第二步去噪的像素值，为/>的第二步去噪的像素值，/>包括时域去噪和时空去噪；第二步去噪，记为：

其中，为/>第一步去噪的像素值，/>为/>第一步去噪的像素值；/>为/>对应的像素值为/>与/>的设定加权值，/>表示/>在三维空间中对应的虚拟模型的表面反射率。

采用上述技术方案，通过基于光线追踪的渲染，便于环境光照信息的采样以及当前虚拟模型更逼真的着色效果（例如添加光影面）。

此外，通过实时去噪的第一步和第二步去噪操作实现MR设备的去噪效果，即，时域去噪通过前一帧的渲染结果对当前帧渲染进行去噪；以及时空去噪通过邻域像素和第一屏幕、第二屏幕之间的图像去噪。

通过实时去噪后，图形工作站将每一帧的渲染结果保存至二维纹理图像，能够通过Unity或UE等渲染引擎自带的通讯协议按先后顺序连续实时传输至MR设备中，并在MR设备进行显示。

在一些实施方案中，根据相邻帧间的光照差异性确定上一帧渲染图像对当前帧渲染图像的贡献度为：

其中，为第二全景辐照图的全局光照差异性，/>表示/>函数，/>表示相邻帧间的双边权重计算因子；基于光线追踪的渲染包括：通过光线追踪在三维数据生成的三维虚拟空间内采样并着色，并获取渲染后的二维纹理图像；将实时去噪后的渲染结果保存至二维纹理图像。

采用上述技术方案，设置前一帧渲染图像对当前帧图像的贡献度计算，能够判定前一帧渲染图像用于当前帧去噪的占比权重。

在一些实施方案中，MR设备包括多个传感器，传感器能够获取MR设备的传感器参数，通过卡尔曼滤波获得时间序列上较稳定的传感器参数，并通过防抖算法，使得相邻帧间的图像内容能够平滑过度。

采用上述技术方案，现有技术中，MR设备上设置多个传感器，且传感器的参数较为敏感，若直接将该传感器参数用于与图形工作站进行交互，易导致渲染结果在时间序列上出现不稳定的抖动问题，因此，将防抖算法用于MR设备中的传感器参数过滤，能够有效地提高相邻帧间的图像平滑度。

在一些实施方案中，MR设备还包括全景相机，全景相机固定于MR设备，且，全景相机的镜头轴心线与MR设备的轴心保持一致。

采用上述技术方案，将全景相机固定于MR设备并与MR设备共用同一套相机坐标系，能够有效地保证用户的视野中心与经过环境光照重建后的多个全景图的中心对齐。

附图说明

为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本发明提供的一种实时环境光照的渲染方法方法的一实施例的流程示意图一；

图2是本发明提供的一种实时环境光照的渲染方法方法的一实施例的流程示意图二；

图3是本发明提供的一种动态环境光照重建的一实施例的流程示意图；

图4是本发明提供的一种实时环境光照的渲染方法方法的一实施例的流程示意图三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。

为了便于后续描述，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

参见图1至图2所示，图1示出了本申请提供的一种实时环境光照的渲染方法方法的一实施例的流程示意图一；图2示出了本申请提供的一种实时环境光照的渲染方法方法的一实施例的流程示意图二。

在一些实施方案中，一种实时环境光照的渲染方法方法，包括：

步骤S10，获取场景信息，场景信息包括实时动态环境全景信息和/或静态环境全景信息。

至少设置一个相机，示例性地，相机为鱼眼全景相机，相机能够按照设定视角连续拍摄相机周围的场景，其中，设定视角为多个预设相机视角，例如设定相机沿周向间隔200°设定三个拍摄视角，并同时刻拍摄相机顶部视角的图像。

相机拍摄连续多张设定角度的图像；并将多张图像传输至图形工作站中。其中，多个相机拍摄同一时刻得到静态周围场景的HDR全景图像及静态周围场景全景信息，多个相机在时间序列上（例如连续0.03S内不断拍摄同一视角）连续拍摄时，获得动态场景的HDR全景图像及动态周围场景全景信息。其中，本申请所表示场景为相机所在的周围环境

通过相机拍摄获取多张连续的多角度的LDR（Low Dynamic Range，低动态范围）的全景图像进行拼接计算生成第一全景图像。能够降低直接获取HDR图像进行计算的计算难度。其中，本申请所述场景为相机所处真实环境的空间场景，能够包括虚拟模型，且不限于虚拟模型的占比，例如室内游戏场景、室外游戏场景、室内三维模型场景。

步骤S20，动态环境光照重建，根据场景信息生成第一全景图像，并获取第一全景图像的环境光照参数，其中，环境光照参数包括真实场景内的光源位置、类型和光照强度，根据第一全景图像生成全景辐照图，并将环境光照参数映射至全景辐照图中，全景辐照图包括全方位动态光照信息。

通过现有技术中的全景拼接算法将相机所拍摄的多张多视角的图像实时重建出相机周围的连续的LDR全景图像序列图，即第一全景图像。再通过光照估计算法将连续的第一全景图像按照时间序列对应的真实场景（即，相机的周围场景）中动态变化的环境光照参数。其至少包括真实场景内的光源位置、类型和光照强度。例如真实场景为室内场景时，至少包括室内的光源位置（例如多个灯的坐标）、光源类型（例如灯光）和光照强度（例如获取多个灯光的光强），并将其映射至HDR全景辐照图中。

其中，全景辐照图为：采用多张不同曝光度的普通数字图像来计算实际的场景亮度的图像，并相较于HDR第一全景图像具备更高的亮度和更高的对比度。使得图形工作站在渲染时，全景辐照图能够包括全方位动态的光照信息，即光照参数在时间序列内（例如在0.01S内灯光的位置、类型和亮度）的动态变化值。

步骤S30，获取虚拟模型，通过虚拟三维数据建模生成虚拟模型。

现有技术中，MR设备能够接入图形工作站，并通过使用三维模型测量与重建技术得到三维网格面模型或使用三维影像获取技术得到三维体数据，进行三维模型重建或三维体数据渲染。例如各种建模软件能够通过三维模型重建或三维体数据渲染形成三维的虚拟模型。

步骤S40，真实感渲染，根据全景辐照图，对虚拟模型进行渲染并生成渲染结果，其中，渲染结果能够传输至MR设备中，并在MR设备内显示。

真实感渲染通过光线追踪的方法将虚拟三维数据建模中生成的任意虚拟模型（例如生成的虚拟模型为一个立方体）进行渲染出与当前环境光照匹配的渲染结果。其中，光线追踪为通过模拟物理中的光线和与虚拟模型相碰的效果来生成图像的渲染技术。示例性地，例如根据全景辐照图所获取的全方位动态光照信息对立方体进行渲染，使其呈现与环境光照同步的阴影和明暗效果，仿若素描图绘中通过不同灰度的阴影使得用户呈现一定的景深、明暗感觉，从而有效地提高用户的沉浸感。

还包括步骤S50，MR功能集成。将步骤S40中的真实感渲染结果通过连续图像帧的数据形式传输至MR设备中并显示，其中，传输方式不限于无线传输（例如WIFI）或有线传输方式。MR设备能够捕获多种交互参数，包括用户当前的姿态、虚拟模型的姿态、用户的手势、用户的声音等多种交互参数。这些交互参数能够以相同传输方式传输至图形工作站中。进而根据相应的更改的坐标、形态以及动态光照信息再继续步骤S40的真实感渲染。

例如MR设备检测到用户抓取虚拟的立方体时，图形工作站能够根据该立方体的状态变化和所受到光照变化进行相应的明暗效果的渲染。

本申请实施例中，步骤S20和步骤S40的计算复杂度高，为了同时满足渲染质量和交互速度的要求，将其部署于图形工作站中进行快速高质量的光照计算和渲染工作。但本申请对此不做限定，例如当MR设备具备足够算力时，也能够部署于MR设备中。图形工作站在每一帧渲染得到的渲染结果可通过Unity或UE(User Experience，用户体验)等渲染引擎（已经编写好的可实现图像渲染的核心组件或***，例如Unity引擎）自带的通讯协议按先后顺序连续实时通过WiFi或其它传输方式传输到MR头戴显示器的屏幕上。

在一些实施方案中，MR设备包括多个传感器，传感器能够获取MR设备的传感器参数，通过卡尔曼滤波获得时间序列上较稳定的传感器参数，并通过防抖算法，使得相邻帧间的图像内容能够平滑过度。

本申请实施例中，现有技术中，MR设备上设置多个传感器，且传感器的参数较为敏感，若直接将该传感器参数用于与图形工作站进行交互，易导致渲染结果在时间序列上出现不稳定的抖动问题，因此，本申请将防抖算法用于MR设备中的传感器参数过滤，能够有效地提高相邻帧间的图像平滑度。但本申请对防抖算法不做限定，例如现有技术中常见的视频防抖动算法。

在一些实施方案中，MR设备还包括全景相机，全景相机固定于MR设备，且，全景相机的镜头轴心线与MR设备的轴心保持一致。

本申请实施例中，将全景相机固定于MR设备并与MR设备共用同一套相机坐标系，能够有效地保证用户的视野中心与经过环境光照重建后的多个全景图的中心对齐。示例性地，步骤S500传感器参数记录与步骤S50功能集成进行交互。

使得

（1）图形工作站与MR设备上传输真实感渲染结果；

（2）MR设备向图形工作站传输用户位姿和MR设备的传感器参数。

需要说明的是，为了尽可能扩大用户的活动范围，由于不同设备执行任务和刷新速率不同，还需要设置数据同步传输模块保证MR设备的正常浏览，其数据更新与当前帧渲染任务执行不冲突。此外，本申请对传输方式不做限定，例如相机通过无线或有线传输方式传输至图形工作站，图形工作站与MR设备通过无线或有线的传输方式进行交互。

参见图3所示，图3示出了本申请步骤S20，动态环境光照重建的一实施例的流程示意图。

此外，在一些实施方案中，动态环境光照重建，还包括：

步骤S200，全景重建，获取多张图像，并通过图像拼接技术，对每一时刻的多张图像进行全景拼接，并生成第一全景图像，其中，第一全景图像包括全方位环境信息。

通过相机拍摄的多张多角度的LDR图像进行图像拼接为第一全景图像，示例性地，通过特征提取、图像变换融合等方式将多张照片中的冗余部分去除等。形成具备相机周围场景内所有光照参数的第一图像。

由于第一全景图像是以相机为中心的二维平面坐标的全景图像，与步骤S30建模出的虚拟模型间存在偏移。为了提高真实性，通过步骤S201，坐标系矫正，用于将以相机为参考坐标系下的第一全景图像转化为以虚拟模型为中心的世界空间坐标系下的第二全景图像。

步骤S201，坐标系矫正的具体步骤包括：

（1）获取第二全景图像上的每一个像素的UV坐标，其中，当前的第二图像为具备像素（如固定尺寸）的空图像。

（2）将每一个像素的UV坐标转换为球面坐标/>，并将球面坐标/>转换为三维笛卡尔坐标/>。

（3）将三维笛卡尔坐标从相机坐标系转换到世界坐标系下，记为：/>；其中，/>为设定旋转矩阵/>，/>为世界坐标；设定旋转矩阵为用户的头部的旋转矩阵，例如根据用户的视线方向，进行简化计算的一个/>的矩阵。

（4）遍历第二全景图像的每一个像素并生成第二全景图像，其中，每一个像素的UV坐标对应的像素值为世界坐标/>在第一全景图像对应的像素值。

通过步骤S201还能够有效地保证当用户佩戴MR设备移动时，所建造的虚拟模型（例如具备光影明灭变化的立方体）表面的光影不会发生闪烁、卡顿等情况。

为了模拟虚拟模型被用户移动到不同的世界空间位置时的光照情况，还包括步骤S202，空间位置矫正，空间位置矫正用于模拟处于不同的世界空间坐标系下的光照变化。

步骤S202，空间位置矫正的具体步骤包括：

将世界空间坐标系下的第二全景图像映射至单位球面上，其中，预设虚拟模型的球面坐标为。

旋转环境球直至虚拟模型与预设视线方向的水平角度一致，记为：；其中，/>为虚拟模型的角坐标；旋转后的环境球对应的全景图像为第三全景图像；预设实现方向为用户佩戴MR设备时，MR设备所检测的用户当前的视线方向。

以虚拟模型为中心进行采样的环境球上的像素可表示为：

；/>，/>表示变量，/>表示预设距离；/>还满足：

；其中，变量/>需保留正数解，第三全景图像上所有的像素根据变量/>映射至第四全景图像。

本申请实施例中，环境球(Env Ball) 可以表示在环境（真实世界或计算机生成的环境）中，使用高反射的铬球图像可以重新创建该环境。当用户在不断移动时，虚拟物品会被用户移动到不同的世界空间位置，为了避免更改世界空间坐标内的所有其他物品的坐标来补偿用户的坐标矫正，通过建设所有坐标都能够可靠映射的世界坐标系。且设定稳定的变换来定义世界中用户与虚拟模型之间的深度关系，提高空间坐标的稳定性，使得其渲染结果对用户而言更加真实。示例性地，例如虚拟模型立方体距离用户5米时，当用户移动至虚拟模型立方体处，并拿起立方体时，立方体与用户之前的距离发生改变，立方体的位姿也出现动态的变化。基于此变化，对空间场景进行空间划分，通过空间位置的矫正使得在空间内用户与虚拟模型之间的位姿变化能够实时与当前光照参数和用户的视线所感一致。

在一些实施方案中，动态环境光照重建还包括对全景辐照图进行步骤S210，光照分析，步骤S210包括步骤S211光照估计和步骤S212，相邻帧间的光照差异值计算。

其中，步骤S211，光照估计，基于第一全景图像进行光照估计获得环境辐照图。

由于坐标矫正后的第四全景图像为LDR图像，重要的光照信息已经丢失，若以第四全景图形作为渲染照明基础的话，虚拟模型表面无法渲染出逼真的阴影效果，因此，通过现有技术中的光照估计算法预测真实场景中的HDR光照，即，环境辐照图和全景辐照图，包括环境光照参数，即，场景内的光源位置、类型和光照强度。但本申请对光照估计算法不做限定，包括但不限于深度参数（Deep Parametric）估计，神经照明（Neural illumination）估计等方式，只要选择一种能够基于单张LDR全景图像的快速光照估计方法即可，即，对LDR图转换的HDR图进行光照估计直接预测处光源位置等信息。需要说明的是，步骤S211是相对于相机对全局光照以及每个光源相关的信息进行预测。

此外，步骤S212，相邻帧间的光照差异值计算包括：

对环境辐照图进行采样权重计算，记为：；其中，/>表示环境辐照图的高，/>表示纵坐标为/>的像素/>；

将环境辐照图上的所有像素与采样权值相乘后得到全景辐照图；局部光照相似性计算，将全景辐照图划分为/>个图像块，其中，第/>个图像块的相邻帧之间的光照相似性根据SSIM指标计算，记为：

其中，表示图像块中的像素平均值，/>的取值范围是/>，当/>的值越接近1时，第/>个图像块在相邻帧之间越相似；全局光照差异性计算，根据局部光照相似性计算的结果，全景辐照图的全局光照差异性可记为：

其中，的取值范围是/>，当/>越小时，相邻帧间的环境照明差异越小。

本申请实施例中，对于实际应用中而言，用户在佩戴MR设备时通常会不断移动且与虚拟模型互动，若仅依靠实时捕获用户周围不断变化的环境光照信息，其容错率以及计算算力要求较高。由于相邻视频帧之间的光照变化通常是比较小的，基于上述全景辐射图的采样权重、局部光照性相似性以及全局光照差异性判断基于前一帧的渲染结果能否用于对当前帧进行进一步优化，通过上述分析当前一帧与当前帧差异较小时，能够将前一帧的渲染结果用于当前帧的渲染优化。

参见图4所示，图4示出了本申请提供的一种实时环境光照的渲染方法方法的一实施例的流程示意图三。

在一些实施方案中，步骤S40，真实感渲染包括：步骤S41，基于光线追踪的渲染和步骤S42，实时去噪。

步骤S41，基于光线追踪的渲染包括：通过光线追踪在三维数据生成的三维虚拟空间内采样并着色，并获取渲染后的二维纹理图像；将实时去噪后的渲染结果保存至二维纹理图像。

步骤S41，基于光线追踪的渲染中，便于环境光照信息的采样以及当前虚拟模型更逼真的着色效果（例如添加光影面），获取渲染后的二维纹理，示例性地，采用现有技术中基于蒙特卡洛的光线追踪算法（例如蒙特卡洛的射线追踪和路径追踪）来生成渲染图像。

其中，渲染（Render）是指将三维场景中的模型，按照设定好光照、环境、材质和渲染参数，二维投影成数字图像的过程。本申请中指的是基于周围场景光照对三维物体进行光影渲染呈图像的过程，使其呈现更接近于现实世界，便于操纵和变换。

纹理（Texel）是指物体的某个特定表面特征，不同的物体表面会产生不同的纹理图像。应理解的是，纹理信息是指二维空间下的二维坐标，即，纹理坐标或UV坐标，其中，U表示水平方向，V表示垂直方向，UV坐标的水平方向和垂直方向的坐标取值范围均为[0，1]，与纹理尺寸无关，与纹理宽高比也无关，是一个相对坐标。

进一步地，步骤S41，基于光线追踪的渲染为了平衡渲染的质量与效率之间的矛盾，采样时采取较少数目的光线，从而得到初步噪声较多的渲染结果。

步骤S42实时去噪的具体操作包括时域去噪和时空去噪，时域去噪通过前一帧的渲染结果对当前帧渲染进行去噪，时空去噪用于对邻域像素间的去噪和MR设备间的去噪，其中，MR设备包括第一屏幕和第二屏幕。

步骤S42，实时去噪具体步骤为：

步骤S420，重投影计算，重投影计算包括：通过投影矩阵获得第一屏幕的当前帧的像素的对应的第二屏幕的对应帧的像素/>；并结合第一屏幕的前一帧像素/>和第二屏幕上的前一帧像素/>，优化/>的像素值/>。

通过特征匹配，并依据当前帧的投影，获得第一屏幕的前一帧像素、第一屏幕的当前帧像素和第二屏幕的前一帧的三角定位。从而实现计算重投影误差来构件代价函数，再最小化该代价函数，从而实现对的优化。

步骤S421，第一步去噪，记为：

；其中，/>为/>的第一步去噪的像素值，/>为/>的第二步去噪的像素值，/>为/>的第二步去噪的像素值，/>包括时域去噪和时空去噪。

对于当前帧的第一步去噪，由当前帧的映射的第二屏幕的对应帧、第一屏幕的前一帧两步去噪后的结果和第二屏幕的前一帧两步去噪后的结果对当前帧进行渲染去噪。

其中，根据步骤S212，相邻帧间的光照差异值计算确定上一帧渲染图像对当前帧渲染图像的贡献度为：；其中，/>为第二全景辐照图的全局光照差异性，/>表示/>函数，/>表示相邻帧间的双边权重计算因子。设置前一帧渲染图像对当前帧图像的贡献度计算，能够判定前一帧渲染图像用于当前帧去噪的占比权重。

通过时域去噪（即，图像像素邻域去噪）通过前一帧的渲染结果对当前帧渲染进行去噪；以及时空去噪通过邻域像素和第一屏幕和第二屏幕间去噪。从而实现相邻帧间去噪。

步骤S422，第二步去噪，记为：

其中，为/>第一步去噪的像素值，/>为/>第一步去噪的像素值；/>为/>对应的像素值为/>与/>的设定加权值，/>表示/>在三维空间中对应的虚拟模型的表面反射率。

通过实时去噪（即，第一屏幕与第二屏幕之间的图像去噪）后，图形工作站将每一帧的渲染结果保存至二维纹理图像，能够通过Unity或UE等渲染引擎自带的通讯协议按先后顺序连续实时传输至MR设备中，步骤S400，渲染结果显示在MR设备中。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均应携带在本发明的保护范围之内。

Claims (10)

1.一种动态环境光照的实时渲染方法，其特征在于，包括：

获取场景信息，所述场景信息包括实时动态环境全景信息和/或静态环境全景信息；

动态环境光照重建，根据所述场景信息生成第一全景图像，并获取所述第一全景图像的环境光照参数，其中，所述环境光照参数包括所述场景内的光源位置、类型和光照强度，根据所述第一全景图像生成全景辐照图，并将所述环境光照参数映射至所述全景辐照图中，所述全景辐照图包括全方位动态光照信息；

获取虚拟模型，通过虚拟三维数据建模，生成虚拟模型；

真实感渲染，根据所述全景辐照图，对所述虚拟模型进行渲染并生成渲染结果；

其中，所述渲染结果能够传输至MR设备中，并在所述MR设备内显示。

2.根据权利要求1所述的动态环境光照的实时渲染方法，其特征在于，所述获取场景信息，包括：

至少设置一个相机，所述相机能够按照设定视角连续拍摄所述相机周围的场景，其中，所述设定视角为多个预设相机视角；

所述相机拍摄连续多张设定角度的图像；

多张所述图像传输至图形工作站中。

3.根据权利要求2所述的动态环境光照的实时渲染方法，其特征在于，所述动态环境光照重建，还包括：

全景重建，获取多张所述图像，并通过图像拼接技术，对每一时刻的多张所述图像进行全景拼接，并生成所述第一全景图像，其中，所述第一全景图像包括全方位环境信息；

坐标系矫正，所述坐标系矫正用于将以所述相机为参考坐标系下的所述第一全景图像转化为世界空间坐标系下的第二全景图像；

空间位置矫正，所述空间位置矫正用于模拟处于不同的所述世界空间坐标系下的光照变化。

4.根据权利要求3所述的动态环境光照的实时渲染方法，其特征在于，所述坐标系矫正具体步骤包括：

获取所述第二全景图像上的每一个像素的UV坐标；

将所述每一个像素的所述UV坐标转换为球面坐标/>，并将所述球面坐标/>转换为三维笛卡尔坐标/>；

将所述三维笛卡尔坐标从相机坐标系转换到世界坐标系下，记为：

其中，为设定旋转矩阵/>，/>为世界坐标；

遍历所述第二全景图像的每一个像素并生成所述第二全景图像，其中，所述每一个像素的所述UV坐标对应的像素值为所述世界坐标/>在所述第一全景图像中对应的像素值。

5.根据权利要求3所述的动态环境光照的实时渲染方法，其特征在于，所述空间位置矫正的具体步骤包括：

将所述世界空间坐标系下的所述第二全景图像映射至单位球面上，其中，预设虚拟模型的球面坐标为；

旋转环境球直至所述虚拟模型与预设视线方向的水平角度一致，记为：

其中，为所述虚拟模型的角坐标；旋转后的所述环境球对应的全景图像为第三全景图像；

以所述虚拟模型为中心进行采样的所述环境球上的像素可表示为：

，/>表示变量，/>表示预设距离；

所述还满足：

其中，变量需保留正数解，所述第三全景图像上所有的像素根据所述变量/>映射至第四全景图像。

6.根据权利要求1所述的动态环境光照的实时渲染方法，其特征在于，所述动态环境光照重建还包括对所述全景辐照图进行光照分析，所述光照分析包括光照估计和相邻帧间的光照差异值计算；

其中，基于所述第一全景图像进行所述光照估计获得环境辐照图；

其中，所述相邻帧间的光照差异值计算包括：

对所述环境辐照图进行采样权重计算，记为：

其中，表示环境辐照图的高，/>表示纵坐标为/>的像素/>；

将所述环境辐照图上的所有像素与采样权值相乘后得到所述全景辐照图；

局部光照相似性计算，将所述全景辐照图划分为个图像块，其中，第/>个图像块的相邻帧之间的光照相似性根据SSIM指标计算，记为：

其中，表示图像块中的像素平均值，/>的取值范围是/>，当/>的值越接近1时，所述第/>个图像块在相邻帧之间越相似；

全局光照差异性计算，根据所述局部光照相似性计算的结果，所述全景辐照图的全局光照差异性可记为：

其中，的取值范围是/>，当/>越小时，相邻帧间的环境照明差异越小。

7.根据权利要求1所述的动态环境光照的实时渲染方法，其特征在于，所述真实感渲染包括基于光线追踪的渲染和实时去噪；

所述实时去噪包括时域去噪和时空去噪，所述时域去噪通过前一帧的渲染结果对当前帧渲染进行去噪，所述时空去噪用于对邻域像素间的去噪和所述MR设备间的去噪，其中，所述MR设备包括第一屏幕和第二屏幕；

所述实时去噪具体步骤为：

重投影计算，所述重投影计算包括：

通过投影矩阵获得所述第一屏幕的当前帧的像素的对应的所述第二屏幕的对应帧的像素/>；

结合所述第一屏幕的前一帧像素和所述第二屏幕上的前一帧像素/>，优化/>的像素值/>；

第一步去噪，记为：

其中，为/>的第一步去噪的像素值，/>为/>的第二步去噪的像素值，为/>的第二步去噪的像素值，/>包括所述时域去噪和所述时空去噪；

第二步去噪，记为：

其中，为/>第一步去噪的像素值，/>为/>第一步去噪的像素值；/>为/>对应的像素值为/>与/>的设定加权值，/>表示/>在三维空间中对应的所述虚拟模型的表面反射率。

8.根据权利要求6或7所述的动态环境光照的实时渲染方法，其特征在于，根据相邻帧间的光照差异性确定上一帧渲染图像对当前帧渲染图像的贡献度为：

其中，为所述全景辐照图的全局光照差异性，/>表示/>函数，/>表示相邻帧间的双边权重计算因子；

基于光线追踪的渲染包括：通过光线追踪在所述三维数据生成的三维虚拟空间内采样并着色，并获取渲染后的二维纹理图像；将所述实时去噪后的渲染结果保存至所述二维纹理图像。

9.根据权利要求1所述的动态环境光照的实时渲染方法，其特征在于，所述MR设备包括多个传感器，所述传感器能够获取所述MR设备的传感器参数，通过卡尔曼滤波获得时间序列上较稳定的所述传感器参数，并通过防抖算法，使得相邻帧间的图像内容能够平滑过度。

10.根据权利要求1所述的动态环境光照的实时渲染方法，其特征在于，所述MR设备还包括全景相机，所述全景相机固定于所述MR设备，且，所述全景相机的镜头轴心线与所述MR设备的轴心保持一致。