CN116485984B - 全景影像车辆模型全局光照模拟方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种全景影像车辆模型全局光照模拟方法、装置、设备及介质，所述方法包括：获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像；将所述局部光照渲染结果与所述环境图像进行叠加，生成车辆模型全局光照模拟结果。本发明能够在有限算力和局部场景情况下，对于全景影像中车辆模型进行全局光照模拟，以使得全景影像***显示的影像更加符合真实场景。

Description

全景影像车辆模型全局光照模拟方法、装置、设备及介质

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种全景影像车辆模型全局光照模拟方法、装置、设备及介质。

背景技术

在如今的车机***中，全景影像***（AVM）正在逐渐成为标配，并服务于泊车、行车、转弯等多个场景。其原理主要是通过多个摄像头捕获不同方向的影像，然后将这些影像拼接成一个完整的全景影像，并有一辆渲染出的车辆（用户当前驾驶的车辆）模型在拼接图像的正中。

现行的全景影像***中，由于全局光照存在计算复杂度高、内存占用高等问题，车机芯片往往难以满足其算力要求，因此渲染的车辆模型通常采用局部光照的技术，通过图形处理单元计算得出。但在实际生活中，光滑的车辆表面往往都会反射周围的环境光照，即拥有全局光照效果；而局部光照无法产生表面反射，因而大大降低了真实度。

发明内容

为了解决上述提出的至少一个技术问题，本发明提供一种全景影像车辆模型全局光照模拟方法、装置、设备及介质，能够在有限算力和局部场景情况下，对于全景影像中车辆模型进行全局光照模拟，以使全景影像***能够更加符合真实场景。

第一方面，本发明提供了一种全景影像车辆模型全局光照模拟方法，所述方法包括：

获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像；

将所述局部光照渲染结果与所述环境图像进行叠加，生成车辆模型全局光照模拟结果。

由于现有的车载计算单元，具体为图像处理单元的算力有限，因此通常只能够对局部光照进行模拟，若想要还原车辆所处的真实环境场景，需要采用全局光照模拟，必然会大大提高算力成本。因此在该种可能实施的方式中，通过局部光照渲染叠加车辆模型表面反射光产生的环境图像，能够在有限的算力情况下，提高全景影像***的模拟效果，使其更加贴合真实场景。

在一种可能实施的方式中，获取所述全景影像车辆模型的表面反射光产生的环境图像，包括：

构建三维环境模型，所述环境模型用于表征车辆模型的周围环境信息；

计算车辆模型表面反射光与所述三维环境模型的交点，采集交点处的环境图像。

在该种可能实施的方式中，为了获取车辆表面反射的环境信息，首先建立一个三维环境模型，可以先锁定在车辆表面由于环境光反射所形成的环境图像的范围，然后在这个范围内确定环境图像，如此可以提高仿真效率，避免模拟过多的车辆表面反射光产生的环境信息。

在一种可能实施的方式中，所述构建三维环境模型，包括：

获取车辆模型周围环境的环境贴图；

对所述环境贴图进行拼接，得到纹理信息；

根据所述纹理信息构建三维环境模型。

在该种可能实施的方式中，为了得到准确的三维环境模型，通常采用环境贴图的方法来构建，如此可以快速、准确地还原出车辆周围的真实环境，提高图像质量。

在一种可能实施的方式中，所述三维环境模型包括立体式三维环境模型或者具有弧形结构的三维环境模型。

通常可以采用立体式的三维环境模型，这种结构通常可以通过天空盒技术得到，但其在畸变处理环节和图像效果上还有待优化，因此在在该种可能实施的方式中，还提供了一种具有弧形结构的三维环境模型，称作“环境碗”模型，在该模型下来进行环境图像的采样，能够提升图像最终的显示效果。

在一种可能实施的方式中，所述的全景影像车辆模型全局光照模拟方法，还包括采用双线性插值采样采集交点处的环境图像。

双线性插值采样具有计算速度快，且精度较高，稳定性强等多个优点，双线性插值采样不仅考虑了当前像素的值，还考虑了周围多个像素的值，从而获得更加精确的结果。因此在该种可能实施的方式中，优先采用双线性插值采样来采集环境图像。

在一种可能实施的方式中，所述计算车辆模型表面反射光与所述三维环境模型的交点，包括：

根据局部光照渲染结果，得到入射光线与车辆模型表面的交点，作为反射起点；

确定反射起点对应片元的位置信息和法线方向，以计算出反射向量；

计算所述反射向量与所述三维环境模型的交点。

在该种可能实施的方式中，主要先获取局部光照渲染结果，以得到入射环境光与车辆模型表面的交点，确定出反射起点，然后根据反射起点对应的片元，确定片元位置信息和法线方向，通过逐片元计算得到多个车辆表面的反射向量。

在一种可能实施的方式中，所述的全景影像车辆模型全局光照模拟方法，还包括采用并行计算的方式计算所述反射向量。

在该种可能实施的方式中，为了提高计算效率，通过并行计算的方式计算每个片元处产生的反射向量，以进一步获取反射光所产生的环境图像。

第二方面，本发明还提供了一种全景影像车辆模型全局光照模拟装置，所述装置包括：

环境图像获取单元，用于获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像；

全局光照模拟单元，用于将所述局部光照渲染结果与所述环境图像进行叠加，生成车辆模型全局光照模拟结果。

第三方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的全景影像车辆模型全局光照模拟方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的全景影像车辆模型全局光照模拟方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本发明某一实施例提供的一种全景影像车辆模型全局光照模拟方法的流程示意图；

图2为本发明某一实施例提供的步骤S10的子步骤的流程示意图；

图3为本发明某一实施例提供的步骤S101的子步骤的流程示意图；

图4为本发明某一实施例提供的步骤S102的子步骤的流程示意图；

图5为本发明另一实施例提供的一种全景影像车辆模型全局光照模拟方法的流程示意图；

图6为本发明实施例提供的一种全景影像车辆模型全局光照模拟装置的结构示意图；

图7为本发明实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

另外，为了更好地说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样能够实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

在如今的车机***中，全景影像***（AVM）正在逐渐成为标配，并服务于泊车、行车转弯等多个场景。其原理主要是通过多个摄像头捕获不同方向的影像，然后将这些影像拼接成一个完整的全景影像，并有一辆渲染出的车辆（用户当前驾驶的主车）模型在拼接图像的正中。然而现有的全景影像***中，由于全局光照存在计算复杂度高、内存占用高等问题，车载芯片的计算单元往往难以满足算力要求，因此通常会采用局部光照模拟渲染车辆模型，但局部光照只是考虑了光源与车辆表面的点到点的光线，而没有考虑车辆表面的反射周围的环境光照，因此全景影像***中的影像真实度会大大降低。为此，本发明旨在提供一种全景影像车辆模型全局光照模拟方法，通过局部光照模拟叠加表面反射光产生的环境图像，能够在有限算力的情况下，大大提高模拟的真实度。

为了便于本领域技术人员理解本发明的具体实施例，首先对本发明涉及的相关术语进行解释：

全景影像***：全景影像***是一种可以捕捉360度全方位影像的技术。通常由多个相机组成，将各个相机捕获到的影像合成为全景影像。如此可以使得用户通过交互式应用程序以仿佛身临其境的方式浏览整个场景。广泛引用与地图、虚拟显示、车载***等。

局部光照：局部光照主要考虑物体表面上每个点的光照情况，即只考虑光源与物体相互作用时的光照效果。在此技术下，没有考虑光线和反射等多重光线路径。这种技术比较简单，容易实现，而且渲染速度比全局光照快，常用于实时渲染场景。

全局光照：全局光照考虑了相对复杂的光线路径，包括直接光照和间接光照，通过模拟光线在物体表面上的反射和折射等多种复杂光线路径，并进行复杂的光照计算。与局部光照相比，全局光照可以得到更真实的光照效果，但是渲染时间更长，通常用于高质量的静态图像或动画渲染。

环境贴图：通过主车上的摄像头所采集到的、包含周围环境信息的2d贴图。由于全局影像***是对车辆周围360度环境的完整模拟，因此可能存在多张环境贴图，由不同的相机获取生成。

纹理采样：纹理通常指物体表面的颜色、凹凸、光线反射与吸收情况等信息，包含这些信息以及与物体表面对应关系的图片被称之为纹理贴图。上述的“环境贴图”也在该场景中也是一种纹理贴图。当根据物体表面的坐标去对应的纹理坐标下采集对应的颜色、凹凸、光线反射与吸收信息并应用在物体的渲染流程中时，这一操作被称为纹理采样。

栅格化渲染：将三维模型按照一定的投影方式投射到屏幕上的二维图像平面中，然后将图像分成很多个小格子，即像素，每个像素都被赋予一个颜色值，由此生成最终的图像，这一过程被称为栅格化渲染。由于需要渲染的元素可以通过预处理得出并进行并行操作，因此，栅格化渲染具有效率高、易于实现和适用对象广泛等优点，是目前主流的计算机图形学渲染技术之一。

请参阅图1，图1为本发明实施例（一）提供的一种全景影像车辆模型全局光照模拟方法的流程示意图。根据图1可知，该全景影像车辆模型全局光照模拟方法，包括以下步骤：

S10、获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像。

全景影像通常由全景影像***生成，全景影像***通常包括独立相机全景***、特殊镜头全景***和云台全景***等。

本实施例中，全景影像***主要为车载端的***，具体可以由以下几个部分组成：

全景摄像头：全景摄像头可以在车辆上的多个方向上拍摄全景图像，以获取周围环境完整的影像信息，为驾驶者提供更加全面直观的视野。

处理器：车载全景影像***中的处理器是一个核心部件，主要负责实时处理全景相机拍摄的影像数据，并将处理后的图像信息传输给车辆上的显示器。处理器能够对全景图像进行数字滤波、单应性矩阵计算、图像校正等操作，以保证全景图像的准确性和清晰度。

显示器：车载全景影像***的显示器能够实时显示全景影像，为驾驶者提供更多的驾驶辅助信息。可以显示多个角度的影像，使驾驶员更好地感知车辆周围环境和障碍物，从而提高驾驶安全性。

控制器：控制器是车载全景影像***中的重要组成部分，能够对全景影像进行控制和管理，如选择和调整全景影像、调整相机参数和***设置等。

在步骤S10中，全景影像车辆模型的局部光照渲染结果是指利用全景影像***进行局部光照模拟的结果，相当于只考虑了环境光的入射光线所产生的效果，忽略其他反射、散射等情况所产生的情况。

在一个实施例中，局部光照渲染主要包括以下步骤：

1）拍摄全景影像并预处理：首先，需要在全场景范围内使用全景相机拍摄一系列全景图像。然后，对这些图像进行预处理和拼接，以生成全景图像。

2）确定需要进行光照渲染的区域：从全景图像中选取需要进行光照渲染的区域。

3）确定光源方向和光源强度：在所选区域内，确定光源方向和光源强度，这些信息可以根据场景特点手工设置，也可以通过自动算法计算得出。本实施例中优先根据算法得出；

4）计算区域的光照强度：根据确定的光源方向和光源强度，计算所选区域内各个像素点的光照强度，可以利用经验公式或者物理公式进行计算。

5）应用光照渲染：将计算出的光照强度应用到所选区域的像素点上，并进行光照渲染。

6）效果评估和调整：最后，根据需要进行光照渲染效果的评估和调整，以达到预期的视觉效果。

在一个实施例中，渲染物体表面颜色采用双边概率分布函数（BRDF）来进行计算，具体采用的分布函数为各项同性GGX（Trowbridge-Reitz）分布，以离散采样的方式代替积分的方式进行求解。

车辆模型表面反射光产生的环境图像通常是在全局光照模拟下才能够显示的，但是如果要进行全局光照渲染会对算力要求过高。在实际应用中，考虑反射光线的效果就能够在局部光照模拟的程度上有一个较大的视觉体验的提升。因此本实施例中不考虑其他散射等其他光学路径，只通过车辆模型表面反射光产生的环境图像来提高模拟的真实度。

进一步的，在进行反射光模拟时，对于车辆这种表面光滑的物体，反射效果主要通过镜面反射来体现，因此本实施例中暂时不考虑投射和折射等复杂的反射现象，只需要获取在车辆模型表面发生镜面反射的那部分的环境图像。

S20、将局部光照渲染结果与环境图像进行叠加，生成车辆模型全局光照模拟结果。

综上，本实施例通过局部光照渲染叠加车辆模型表面反射光产生的环境图像，能够在有限的算力情况下，提高全景影像***的模拟效果，使其更加贴合真实场景。

请参阅图2，在一种可能实施的方式中，步骤S10中获取全景影像车辆模型的表面反射光产生的环境图像，包括以下子步骤：

S101、构建三维环境模型，三维环境模型用于表征车辆模型的周围环境信息。

车辆表面反射光所产生的环境图像，通常是在车辆表面处发生的镜面反射。在计算机图形学中，实现镜面反射有多种方法，其中最常用的是基于光线追踪的方法，也称为光线跟踪。这种方法可以通过计算光线从相机出发到达物体表面，从而确定入射角和反射角，以生成反射图像，并且能够捕捉到反射中的诸多视觉效果，如镜面高光和反射模糊等。在计算机图形学中，常用的镜面反射模型有两种：

理想镜面反射：即完美反光，所有入射光线都沿着反射角的方向完全反射。这种反射只会产生一个镜面高光点，而且不会产生模糊或扩散的效果。

粗糙镜面反射：是一种更常见的反射模型，它在基本反射方向周围有一定的模糊和扩散效果。相比于理想镜面反射，它更符合现实中的物体表面特征，因此在计算机图形学中得到了广泛应用。

本实施例中，为了获取车辆表面由于反射光所产生的环境图像，首先要构建三维环境模型。

需要说明的是，三维环境模型是基于某种地图或者现实环境数据，通过计算机技术生成的虚拟三维环境模型。三维环境模型广泛应用于多个领域，如智能交通、虚拟现实、游戏开发、建筑设计、城市规划等，可以帮助人们更好地了解和模拟复杂立体空间环境。它主要由三维几何模型、纹理贴图和机器可读的语义信息等内容构成。通常，三维环境模型可以采用以下几种方式进行建模：

三维扫描：通过激光扫描等技术获取真实环境的三维点云数据，然后通过点云数据生成三维环境模型。

摄影测量：利用摄像机或者全景相机进行拍摄，获取不同角度的图像，然后通过计算机视觉算法生成三维环境模型。

数字高程模型：通过地图和卫星数据获取地面高程等信息，然后利用计算机算法生成三维环境模型。

手工建模：根据现实环境的图纸等信息，手工进行模型建模，也是制作三维环境模型的一种常见方式。

S102、计算车辆模型表面反射光与三维环境模型的交点，采集交点处的环境图像。

在上一步中，已经获取了三维环境模型。本步骤中，只需要计算车辆模型表面反射光与三维环境模型的交点，根据交点采集对应区域的环境图像，就可以得到车辆模型表面由于环境光反射所产生的图像。

本实施例中，由于获得了车辆周围一个三维环境模型，可以先锁定在车辆表面由于环境光反射所形成的环境图像的范围，然后在这个范围内确定环境图像，如此可以提高仿真效率，避免模拟过多的车辆表面反射光产生的环境信息。

在一种可能实施的方式中，所述三维环境模型包括立体式三维环境模型或者具有弧形结构的三维环境模型。

针对上述实施例所提供的三维环境模型的构建方式，为了进一步增强模拟效果，通常可以采用天空盒的技术构建三维环境模型。

天空盒技术是一种用来构建三维模型的技术，它可以为模型提供真实的天空背景，增强图像的立体感和真实感。天空盒的思想就是绘制一个大的立方体，然后将观察者放在立方体的中心，当相机移动时，这个立方体也跟着相机一起移动，这样相机就永远不会运动到场景的边缘。这与我们真实世界中的情况一样的，我们可以看见远处的天空接触到了地平线，但是不论我们怎么朝着那个方向移动，都不可能到达那个地方。

一个特殊类型的纹理会被映射到这个立方体上，这个纹理的创建是与其贴到立方体上的方式相关的，立方体上每个面的纹理与其相邻的面上的纹理的边缘都可以很好的贴合。

天空盒基于立方体贴图（Cube Map）模型来构建，这个立方体贴图由六个面组成：左、右、上、下、前、后。每个面都是一个平铺的全景图像，当这六个平面铺合在一起时，就可以形成一个完整的天空背景。

在计算机图形学中，可以通过天空盒技术将这个立方体贴图和3D模型结合起来，为模型的视线提供正确的天空背景。天空盒技术的实现步骤如下：

使用OpenGL或DirectX等图形库加载立方体贴图。

将3D场景设定在立方体贴图中间，让镜头位于立方体的中心。

将3D模型和天空盒纹理坐标结合，确保3D模型可以正确地在天空盒纹理中反射。

渲染3D模型时，根据用户视角的位置和方向，自动从相应的天空盒面上采样实现背景变换。

为了从立方体纹理中进行采样，需要使用 3D 纹理坐标而不是之前用到的 2D 纹理坐标，纹理采样器将 3D 纹理坐标看作一个向量，它会先确定需要的纹素是存在于立方体的哪一个面上，之后再从这个面上得到纹素的数据。

通过天空盒技术，可以轻松地为3D场景增加真实的天空背景，让观众在观看时更加沉浸在场景中，也可以用于游戏开发及虚拟现实等多个领域，提高3D模型的真实度和质感。

然而，在本实施例中，若采用天空盒技术构建三维环境模型，在进行图像拼接和矫正的过程中，其图像的效果并不十分理想，具体为在进行畸变矫正环节中的处理效果不佳。

因此在一个优选的实施例中，采用弧形结构的三维环境模型。

具体地，在图像矫正与拼接的过程中，实际上构造了一个环绕主车的环境贴图，该贴图上的每一个像素点均与实际中主车周围的一个方向上所捕捉到的信息之和存在一一对应关系。因此，可以在主车周围构造一个弧形结构的三维环境模型，简称为“环境碗（EnvironmentBowl）”，即一个包含了环境贴图的碗形结构，该碗的高度与环视相机可以捕捉的周围场景的最大角度有关。

全景影像***通常会从固定的高度和角度来观察车辆，当相机参数、车辆位置均已确定时，可以通过计算来确定该环境碗的大小与形状，使得从该角度观察车辆时，视角中捕捉到的环境碗的贴图构成了周围的环境图像，替代了传统全景影像***中对不同的相机做畸变矫正与变换的过程。

进一步地，环境碗的形状采用半球体，其球半径根据相机的实际成像效果与我们预期反射的周围环境范围来决定。在本方案中，采用全部相机图像的中点（通常认为是地平线的位置）的射线在某一个固定距离t上的最高者来决定所需反射的环境物体高度，该高度就是环境碗的半径。这一设定还有一个额外的好处，即鱼眼相机在中心线处无垂直方向的径向畸变，因此其高度对于该线上的任意一点都相同。

假设其中点的射线值在固定距离t上的坐标为P(x, y, z)，则在相机空间系下该点的坐标为：

Pc(xc, yc, zc) = RP + T

其中，R为旋转角度，T为位移。

进一步的，将其归一化至鱼眼相机的相机球面上：

a = xc / zc

b = yc / zc

球面可以根据下列公式算出：

r = sqrt(xc^2 + yc^2), theta = atan2(r, |zc|)

利用Kannala-brandt畸变模型，可以求出处理后的畸变角度：

theta_d = theta(1 + k1 * theta^2 + k2 * theta^4 + k3 * theta^6 + k4 *theta^8)其中，k1, k2, k3, k4为前期标定的鱼眼相机参数；在反推时可以通过牛顿迭代法来从theta_d求theta。

在相机的物理坐标系中，x' = (theta_d / r) * a, y' = (theta_d / r) * b，图像的uv值可以通过以下公式得出：

u = f_x * x' + c_x, v = f_y * y' + c_y

因此，用u = 0.5, v = 0.5反推该过程，即可得出该P点的世界坐标。在对环境碗进行贴图时，也可以采用该方法对鱼眼相机采集的带畸变图像进行逐像素计算，并通过和球面计算交点来得出纹理贴图的uv位置。通常，该计算过程只需要进行一次，因为GPU计算单元通常会采用并行化处理。

请参阅图3，图3提供了一种构建三维环境模型的流程示意图。在一种可能实施的方式中，构建三维环境模型，包括以下步骤：

S1010、获取车辆模型周围环境的环境贴图。

在计算机图形学中，纹理贴图（Texture Mapping）是一种广泛应用的技术，用于增强现实场景中物体表面的真实感和细节。在这种技术中，一个二维图像（纹理）被映射到一个三维物体表面上，以提供更丰富的细节和真实感。

环境贴图也是纹理贴图的一种，其具有以下优点：

细节丰富度高：环境贴图可以准确地呈现出细微的图案、纹理和色彩，让画面更加丰富、真实。

充分利用计算资源：环境贴图可以大幅减少计算机的计算负担，让计算资源更好地集中到复杂形状和纹理的场景绘制上。

节省工作时间：使用环境贴图可以减少场景制作的时间，因为环境贴图可以直接应用于物体表面，让图形设计师节省大量的工作时间和精力。

提高渲染速度：场景渲染所需的计算成本随着细节的增加而增加。使用环境贴图可以减少对CPU/GPU的需求，并提高渲染速度。

提高图像质量：环境贴图可以让场景更真实、更贴近自然，让观众更容易沉浸和感受到场景氛围。

因此本实施例中，需要通过全景影像***获取车辆模型周围环境的环境贴图。

S1011、对环境贴图进行拼接，得到纹理信息；

根据上述实施例可知，三维环境模型优先采用环境碗结构，本实施例中，环境贴图通常是为球形立方体贴图（cubemap），由于其形状的特殊性，一般需要将六张平面图组合起来作为一个整体来处理。

为了将这6张平面图组合成一张完整的环境贴图，可以使用一些工具或软件，比如Blender、Photoshop等。具体的步骤如下：

将六张平面图导入到软件中，按照空间坐标系的位置分别命名为"前"、“后”、“左”、“右”、“上”、“下”。

使用软件将这六张平面图拼接成一个球形立方体贴图。

将拼接后的球形立方体贴图导出为一张纹理贴图，即可得到纹理信息。

S1012、根据纹理信息构建三维环境模型。

可以理解的是，当三维环境模型为“环境碗”时，“环境碗”还可以帮助计算视角经过车辆模型的表面经过镜面反射后发出的射线所落在的点的位置。因为镜面反射的特性，反射后的方向射线固定而与距离无关，因此将对主车周围的三维信息获取转换为了在环境碗中特定方向的贴图上的纹理采样。该反射角度计算可以通过图像处理单元（GPU）来进行并行计算，因此速度非常快，而纹理采样本身也可以并行计算。通过该方式，在不进行深度计算的情况下，通过贴图纹理采样的方式快速模拟出了车辆模型表面的反射效果。

在一种可能实施的方式中，全景影像车辆模型全局光照模拟方法，还包括采用双线性插值采样采集交点处的环境图像。

在进行纹理贴图时，需要在三维物体表面上选择一个合适的纹理样本进行采样。双线性插值采样是纹理采样中常用的插值方法之一，在采样时，它使用了四个邻近的纹理样本，根据它们之间的距离和方向关系进行插值计算，得出所需的纹理样本值。这种插值方法基于线性插值和加权平均的概念，采样结果具有更高的精度和更好的平滑度，这使得它成为许多计算机图形学中的标准插值方法之一。在实时图形处理中，使用双线性插值采样方法对纹理进行采样，可以生成更加真实的图像，提高了渲染图像的效果质量。

双线性插值采样是一种将离散数据转化为连续数据的插值方法，具有以下优点：

采用了周围多个像素的信息：双线性插值采样不仅考虑了当前像素的值，还考虑了周围多个像素的值，从而获得更加精确的结果。

具有较高的计算速度：双线性插值采样的计算速度相对较快，即使在处理大量像素时也能够获得较好的效率。

精度较高：由于双线性插值采用了周围多个像素的信息，因此能够充分考虑到图像细节，从而获得更加准确的结果。

具有较好的稳定性：双线性插值采用了平滑的插值方式，因此具有较好的稳定性，不容易出现抖动或其他图像畸变。

适用范围广泛：双线性插值采样适用于各种图像处理任务，如图像缩放、旋转、变形等，因此被广泛应用于数字图像处理领域。

可以理解的是，双线性插值采样只是本实施例的一种优选的图像采样方式，在其他实施例中，还可以采用其他的方式替代，此处不进行任何限定。

请参阅图4，图4提供了一种计算车辆模型表面反射光与三维环境模型的交点的流程示意。根据图4可知，在一种可能实施的方式中，步骤S102中计算车辆模型表面反射光与三维环境模型的交点，还包括以下子步骤：

S1020、根据局部光照渲染结果，得到入射光线与车辆模型表面的交点，作为反射起点。

根据上述实施例可知，局部光照渲染结果具体采用的分布函数为各项同性GGX（Trowbridge-Reitz）分布，以离散采样的方式代替积分的方式进行求解后得到，通过局部光照渲染结果，可以确定处光源和入射光线，进一步地得到入射光线与车辆模型表面的交点。

其中，入射光线的入射方向可以是各个角度的，在同一角度的入射光线可以是同一光源，也可以是不同光源。

S1021、确定反射起点对应片元的位置信息和法线方向，以计算出反射向量；

在计算机图形学中，片元（fragment）是OpenGL和DirectX等图形API中的一个基本概念，它是图形渲染过程中的一个像素或纹素，是由着色器程序生成的。片元通常包括颜色、深度等信息。

法线是场景中物体表面的几何属性之一，它是垂直于表面的向量，记录了表面的方向。在计算机图形学中，法线用于计算光照和阴影等特效。在自动驾驶***中，某些计算诸如物体边缘侦测时，可以通过计算各个片元的法线方向来确定物体表面的特征，来对其进行上下文推断和定位。因此，"片元的法线方向"是指在自动驾驶中检测和分析以像素为单位的场景中物体表面的法线方向。

本实施例中，根据当前3D环视观察角度，对车辆模型表面进行逐片元计算，可以根据片元的法线方向与当前观察位置得到片元的方向，以计算出反射向量。

在一个实施例中，上述计算反射向量的过程为并行计算。由于并行计算，因此本实施例可以快速的进行渲染。

S1022、计算反射向量与三维环境模型的交点。

本步骤中，只需要计算出反射向量与三维环境模型的交点，最后根据所有的交点能够得到一个反射光线落入三维环境模型的区域，最终对改区域的环境图像进行采用即可。

请参阅图5，图5提供了本发明的全景影像车辆模型全局光照模拟的一种示例性地实施方式。根据图5可知，包括以下步骤：

1）进行预处理操作，根据车辆模型的大小、相机位置、相机内外参、3d全景环视的高度、距离等构建环境碗，该环境碗可对环视相机捕捉到的图像进行矫正和拼接，并在环视角度可直接观察并近似还原车辆模型周围的环境信息；

2）开启全景影像***时，环视相机工作并获取当前帧的环境贴图，并以这些贴图的拼接作为环境碗的纹理信息；

3）通过局部光照渲染流程预渲染车辆模型，该渲染过程仅通过车辆模型本身的属性进行计算，不包含对周围环境的反射计算；

4）根据当前3d环视观察角度，对车辆模型表面进行逐片元计算，并根据片元的法线方向与当前观察位置到片元的方向计算反射向量，该计算为并行计算。

5）根据某个点的反射向量计算出该向量与环境碗的交点，该计算可在预处理阶段进行并提前保存，实际使用时直接并行查询即可；

6）根据交点进行纹理贴图双线性插值采样，并将采样结果按照片元进行保存；将每个片元的采样结果并行地写回片元，与基础渲染结果进行叠加，当作该片元包含环境反射光反射后的结果；

7）输出完整的3d环视观察图像。

因此本实施例能够在有限算力和局部场景情况下，对于全景影像中车辆模型进行全局光照模拟，以使得全景影像***显示的影像更加符合真实场景。

根据上述实施例可知，在算力有限的情况下，只考虑了光线反射的情况，在另一个实施例中，为了进一步增强仿真效果，还可以考虑光线散射情况，将这部分的图像与局部光照模拟结果和表面反射光产生的环境图像一起叠加。

在一个实施例中，利用伴随勒让德公式，对局部光照中的光照积分方程进行投影并分解，得到每个像素的亮度值；

将每个像素的亮度值乘以溢出颜色值，得到背光面每个像素散射值；

获取各个散射值在三维环境模型中对应的环境图像，将该环境图像与局部光照模拟结果和表面反射光产生的环境图像进行叠加，得到最终的全局光照模拟结果。

进一步的，在车辆仿真场景中，把车辆场景的外部场景赋予天空包围盒中，或者构建环境碗，采用环境贴图进行映射：

将一个2D的图像即纹理上的一些点被附着到3D模型的顶点上，当渲染纹理时，图像会贴在几何模型的表面，模型表面上的每个像素都受周围环境的影响,周围环境发射无数个射线，然后这个射线经过反射再进入人眼睛,可以设想把模型的每个像素受到的光照是半个球面的无数个像素射入过来的亮度值；

同时，利用双向反射分布函数BRDF，计算反射光从每个入射方向得到的贡献值，然后累加在半球面上：

E＝∫L(ω)(n·ω)dω

其中L(ω)为反射光从每个入射光线在ω方向上的亮度，n·ω为法线在ω方向的投影；入射光能够通过环境贴图中近似得到，其中每个纹理像素对应一个入射方向，在图像中每个像素光照积分的大量积分运算时需要环境贴图的上千个像素与BRDF进行相乘并累加。

因此，通过叠加散射光的环境图像，能够更进一步的增加全景影像的真实度，提高用户体验。

请参阅图6，图6提供了一种全景影像车辆模型全局光照模拟装置的结构示意图。根据图6可知，全景影像车辆模型全局光照模拟装置包括：

环境图像获取单元100，用于获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像；

全局光照模拟单元200，用于将所述局部光照渲染结果与所述环境图像进行叠加，生成车辆模型全局光照模拟结果。

在一种可能的实施方式中，环境图像获取单元100，还用于：

构建三维环境模型，所述环境模型用于表征车辆模型的周围环境信息；

计算车辆模型表面反射光与所述三维环境模型的交点，采集交点处的环境图像。

在一种可能的实施方式中，环境图像获取单元100，还用于：

获取车辆模型周围环境的环境贴图；

对所述环境贴图进行拼接，得到纹理信息；

根据所述纹理信息构建三维环境模型。

在一种可能的实施方式中，三维环境模型包括立体式三维环境模型或者具有弧形结构的三维环境模型。

在一种可能的实施方式中，环境图像获取单元100，还用于采用双线性插值采样采集交点处的环境图像。

在一种可能的实施方式中，环境图像获取单元100，还用于：

根据局部光照渲染结果，得到入射光线与车辆模型表面的交点，作为反射起点；

确定反射起点对应片元的位置信息和法线方向，以计算出反射向量；

计算所述反射向量与所述三维环境模型的交点。

在一种可能的实施方式中，环境图像获取单元100，还用于采用并行计算的方式计算反射向量。

可以理解的是，本实施例公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，并能实现与上述方法实施例所能实现的相同效果。其具体实现可以参照上文方法实施例的描述，为了简洁，此处不再进一步赘述。

本发明还提供了一种处理器，所述处理器用于执行如上述任意一种可能实现的方式的全景影像车辆模型全局光照模拟方法。

本发明还提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述任意一种可能实现的方式的全景影像车辆模型全局光照模拟方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述任意一种可能实现的方式的全景影像车辆模型全局光照模拟方法。

请参阅图7，图7为本发明实施例提供的一种电子设备的硬件结构示意图。

该电子设备2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本发明实施例对此不作限定。应当理解，本发明的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器（graphics processing unit， GPU），在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本发明实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本发明方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体（random accessmemory，RAM）、只读存储器（read-only memory，ROM）、可擦除可编程只读存储器（erasableprogrammable read only memory，EPROM）、或便携式只读存储器（compact disc read-only memory，CD-ROM），该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件，也可以是一个整体的器件。

可理解，本发明实施例中，存储器22不仅可用于存储相关指令，本发明实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图7仅仅示出了一种电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本发明实施例的视频解析装置都在本发明的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本发明各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本发明所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriberline，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘（digital versatiledisc，DVD）)、或者半导体介质（例如固态硬盘（solid state disk ，SSD））等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器（read-only memory，ROM）或随机存储存储器（random access memory，RAM）、磁碟或者光盘等各种可存储程序代码的介质。

Claims (8)

1.一种全景影像车辆模型全局光照模拟方法，其特征在于，所述方法包括：

获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像；

将所述局部光照渲染结果与所述环境图像进行叠加，生成车辆模型全局光照模拟结果；

其中，获取所述全景影像车辆模型的表面反射光产生的环境图像，包括：

构建三维环境模型，所述环境模型用于表征车辆模型的周围环境信息，其中，所述三维环境模型包括立体式三维环境模型或者具有弧形结构的三维环境模型；

计算车辆模型表面反射光与所述三维环境模型的交点，采集交点处的环境图像；

其中，所述弧形结构的所述三维环境模型通过全景影像***的环视鱼眼相机获取；在采用所述弧形结构的所述三维环境模型时，所述计算车辆模型表面反射光与所述三维环境模型的交点，采集交点处的环境图像，包括：

获取所述环视鱼眼相机的相机参数f_x、f_y、c_x和c_y；

基于公式u = f_x * x’ + c_x和公式v = f_y * y’ + c_y，反推得到交点处的环境图像的中心点在环视鱼眼相机图像的像素坐标系中的坐标值x’和y’，并基于x’和y’的推算过程进行反推，以得到交点处的环境图像的中心点坐标P(x,y,z)，采集所述中心点坐标对应的环境图像；

其中，u和v的值均为0.5，x’和y’由对交点处的环境图像的中心点坐标由世界坐标系向相机空间坐标系进行坐标转换，并归一化至相机球面坐标系，及基于Kannala-brandt畸变模型的畸变角度处理至所述像素坐标系的推算过程得到。

2.根据权利要求1所述的全景影像车辆模型全局光照模拟方法，其特征在于，所述构建三维环境模型，包括：

获取车辆模型周围环境的环境贴图；

对所述环境贴图进行拼接，得到纹理信息；

根据所述纹理信息构建三维环境模型。

3.根据权利要求1所述的全景影像车辆模型全局光照模拟方法，其特征在于，还包括采用双线性插值采样采集交点处的环境图像。

4.根据权利要求1所述的全景影像车辆模型全局光照模拟方法，其特征在于，所述计算车辆模型表面反射光与所述三维环境模型的交点，包括：

根据局部光照渲染结果，得到入射光线与车辆模型表面的交点，作为反射起点；

确定反射起点对应片元的位置信息和法线方向，以计算出反射向量；

计算所述反射向量与所述三维环境模型的交点。

5.根据权利要求4所述的全景影像车辆模型全局光照模拟方法，其特征在于，还包括采用并行计算的方式计算所述反射向量。

6.一种全景影像车辆模型全局光照模拟装置，其特征在于，所述装置包括：

环境图像获取单元，用于获取全景影像车辆模型的局部光照渲染结果以及表面反射光产生的环境图像，所述环境图像获取单元还用于构建三维环境模型，计算车辆模型表面反射光与所述三维环境模型的交点和采集交点处的环境图像，其中，所述环境模型用于表征车辆模型的周围环境信息，所述三维环境模型包括立体式三维环境模型或者具有弧形结构的三维环境模型；

全局光照模拟单元，用于将所述局部光照渲染结果与所述环境图像进行叠加，生成车辆模型全局光照模拟结果；

其中，所述弧形结构的所述三维环境模型通过全景影像***的环视鱼眼相机获取；在采用所述弧形结构的所述三维环境模型时，所述计算车辆模型表面反射光与所述三维环境模型的交点，采集交点处的环境图像，包括：

获取所述环视鱼眼相机的相机参数f_x、f_y、c_x和c_y；

基于公式u = f_x * x’ + c_x和公式v = f_y * y’ + c_y，反推得到交点处的环境图像的中心点在环视鱼眼相机图像的像素坐标系中的坐标值x’和y’，并基于x’和y’的推算过程进行反推，以得到交点处的环境图像的中心点坐标P(x,y,z)，采集所述中心点坐标对应的环境图像；

其中，u和v的值均为0.5，x’和y’由对交点处的环境图像的中心点坐标由世界坐标系向相机空间坐标系进行坐标转换，并归一化至相机球面坐标系，及基于Kannala-brandt畸变模型的畸变角度处理至所述像素坐标系的推算过程得到。

7.一种电子设备，其特征在于，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至5中任一项所述全景影像车辆模型全局光照模拟的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至5中任意一项所述全景影像车辆模型全局光照模拟的方法。