CN115936986A - 全景图像生成方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种全景图像生成方法、装置、设备及存储介质，属于图像处理技术领域。本发明通过生成多个连续的三维鸟瞰图；获取车辆在行驶过程中的车辆信息；基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；获取车身周围环境的图像；将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境，利用三维鸟瞰图构建跟更加准确的底盘区域的图像，能够实现底盘区域的可视化，然后再通过融合的方式使得底盘区域与其他摄像头区域拍摄到的图像完美无缝且无差别的全景图像，消除了底盘区域的图像贴图感，使得整个全景图像更加真实。

Description

全景图像生成方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种全景图像生成方法、装置、设备及存储介质。

背景技术

目前供应商及主机厂商的3D环视***开发中，为了达到更宽的视野区域以提高驾驶的安全性，会开发3D透明底盘的功能，但是市面上现有的透明底盘功能大都存在以下几个缺点：由于3D透明底盘区域图像是采用其余四个摄像头采用前一帧的图像数据获取像素，当获取的大角度转弯时，车轮图像容易被提取到底盘区域。底盘区域与3D其他投影视图对比度明显，底盘区域显示比较突兀，有明显的矩形框，3D底盘区域存在明显不对齐问题，底盘区域矩形边缘会存在比较明显的锯齿，使得生成全景图像中，底盘区域的图像存在明显且突兀的贴图感，使得生成的全景图像不够真实。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种全景图像生成方法、装置、设备及存储介质，旨在解决现有技术获取的底盘区域的图像不够准确致使底盘区域的图像与其他投影视图在融合时存在明显且突兀的贴图感，使得生成的全景图像不够真实的技术问题。

为实现上述目的，本发明提供了一种全景图像生成方法，所述全景图像生成方法包括以下步骤：

生成多个连续的三维鸟瞰图；

获取车辆在行驶过程中的车辆信息；

基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；

获取车身周围环境的图像；

将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。

可选地，所述基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底5盘区域的图像，包括：

对多个连续的三维鸟瞰图进行光度对齐处理，得到处理后的多个连续的三维鸟瞰图；

基于所述车辆信息确定当前车辆姿态和当前位置；

根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三0维鸟瞰图对底盘区域进行像素填充，得到底盘区域的图像。

可选地，所述根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，包括：

基于各个三维鸟瞰图对应的时刻从所述处理后的多个连续的三维鸟瞰图选取出当前时刻的三维鸟瞰图；

5根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维

鸟瞰图选取出上一时刻的三维鸟瞰图；

根据所述当前时刻的三维鸟瞰图和所述上一时刻的三维鸟瞰图确定车辆底盘所覆盖的区域；

从所述上一时刻的三维鸟瞰图中提取出所述车辆底盘所覆盖的区域对应0的像素，并通过所述像素对底盘区域进行填充。

可选地，所述根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图，包括：

根据所述当前车辆姿态和所述当前位置确定车辆上一时刻所处的位置；

根据所述车辆上一时刻所处的位置从所述处理后的多个连续的三维鸟瞰5图选取出上一时刻的三维鸟瞰图。

可选地，所述生成多个连续的三维鸟瞰图，包括：

构建图像变换查找表；

通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像；

基于所述图像变换查找表以及预设投影模型将所述车身周围环境的二维0图像转换为多个连续的三维鸟瞰图。

可选地，所述构建图像变换查找表，包括：

对设置在车身四周的摄像头的内外参数进行标定；

根据标定后的内外参数确定各个摄像头拍摄到的二维图像与预设投影模型上的三维坐标点之间的对应关系；

根据所述对应关系构建图像变换查找表。

可选地，所述将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，包括：

通过纹理贴图的方式将所述底盘区域的图像与预设投影模型对应的底盘区域进行贴合，得到目标底盘区域图像；

将所述目标底盘区域图像与所述车身周围环境的图像进行融合，得到全景图像。

此外，为实现上述目的，本发明还提出一种全景图像生成装置，所述全景图像生成装置包括：

生成模块，用于生成多个连续的三维鸟瞰图；

读取模块，用于获取车辆在行驶过程中的车辆信息；

处理模块，用于基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；

拍摄模块，用于获取车身周围环境的图像；

融合模块，用于将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。

此外，为实现上述目的，本发明还提出一种全景图像生成设备，所述全景图像生成设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的全景图像生成程序，所述全景图像生成程序配置为实现如上文所述的全景图像生成方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有全景图像生成程序，所述全景图像生成程序被处理器执行时实现如上文所述的全景图像生成方法。

本发明通过生成多个连续的三维鸟瞰图；获取车辆在行驶过程中的车辆信息；基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；获取车身周围环境的图像；将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境，利用三维鸟瞰图构建跟更加准确的底盘区域的图像，能够实现底盘区域的可视化，然后再通过融合的方式使得底盘区域与其他摄像头区域拍摄到的图像完美无缝且无差别的全景图像，消除了底盘区域的图像贴图感，使得整个全景图像更加真实。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的全景图像生成设备的结构示意图；

图2为本发明全景图像生成方法第一实施例的流程示意图；

图3为本发明全景图像生成方法一实施例中全景图像生成的整体流程示意图；

图4为本发明全景图像生成方法第二实施例的流程示意图；

图5为本发明全景图像生成方法一实施例中三维鸟瞰图示意图；

图6为本发明全景图像生成方法一实施例中三维鸟瞰图示意图；

图7为本发明全景图像生成方法第三实施例的流程示意图；

图8为本发明全景图像生成装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的全景图像生成设备结构示意图。

如图1所示，该全景图像生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对全景图像生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及全景图像生成程序。

在图1所示的全景图像生成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明全景图像生成设备中的处理器1001、存储器1005可以设置在全景图像生成设备中，所述全景图像生成设备通过处理器1001调用存储器1005中存储的全景图像生成程序，并执行本发明实施例提供的全景图像生成方法。

本发明实施例提供了一种全景图像生成方法，参照图2，图2为本发明一种全景图像生成方法第一实施例的流程示意图。

本实施例中，所述全景图像生成方法包括以下步骤：

步骤S10：生成多个连续的三维鸟瞰图。

在本实施例中，本实施例的执行主体可为所述全景图像生成设备，该全景图像生成设备具有数据处理、数据通信及程序运行等功能，所述全景图像生成设备可以为车载终端。当然，还可为其他具有相似功能的设备，本实施条件对此不加以限制。为便于说明，本实施方式以全景图像生成设备为例进行说明。

需要说明的是，目前供应商及主机厂商的3D环视***开发中，为了达到更宽的视野区域以提高驾驶的安全性，会开发3D透明底盘的功能，但是市面上现有的透明底盘功能大都存在以下几个缺点：由于3D透明底盘区域图像是采用其余四个摄像头采用前一帧的图像数据获取像素，当获取的大角度转弯时，车轮图像容易被提取到底盘区域。底盘区域与3D其他投影视图对比度明显，底盘区域显示比较突兀，有明显的矩形框，3D底盘区域存在明显不对齐问题，底盘区域矩形边缘会存在比较明显的锯齿，在生成的全景图像中，由于底盘区域显示比较突兀且有明显的矩形框，这样会使得全景图像中底盘区域这一部分的图像存在明显且突兀的贴图感，会使得整个全景图像不够真实。

本实施例中为了解决上述问题，通过三维鸟瞰图生成车辆底盘区域的图像，然后再将车辆底盘区域的图像与其他区域，也即车辆上摄像头拍摄的其他区域的图像进行完美无缝且无差别的融合，从而得到全景图像，这样生成的全景图像中底盘区域这一部分的图像不会存在锯齿以及矩形框，不会让用户感觉到底盘区域这一部分的图像具有贴图感，保证整个全景图像更加的真实，具体地，可以按照如下方式实现。

在具体实现中，本实施例中先以图3为例，对本实施例的整体流程进行说明。

参照图3，本实施例中全景图像的生成包括三个部分：鸟瞰图(BirdEyeView，BEV)查找表(LookUpTable，LUT)生成阶段、透明底盘(TransparentChassis，TC)生成阶段以及融合阶段。其中，为了加速图像生成BEV的速度，本实施例会根据投影模型与BEV视图的变换关系，求解出3D BEV视图所需要的LUT，LUT中存储有二维图像和投影模型之间的对应关系，需要说明的是，车辆的摄像头所拍摄的单视图为二维图像，根据上述所构建的LUT可以将车辆的摄像头所拍摄的二维图像转换为三维鸟瞰图。进一步地，在生成BEV的LUT之前，需要先对摄像头的内外参数进行标定，然后通过标定后的内外参数与投影模型的BEV坐标，根据矩阵变换求出BEV的LUT。

本实施例中针对BEV的LUT求解过程提供一种实现方式，在具体实现中，投影模型可以采用BEV栅格，BEV栅格上设有BEV坐标，通过标定后的摄像机的内外参数可以确定摄像头所拍摄的二维图像与BEV栅格上的BEV坐标之间的对应关系，将这一对应存储得到LUT。

进一步参照图3所示，本实施例中在得到3D BEV之后，通过光度对齐的方式对得到的3D BEV先进行处理，然后结合车辆的运动状态生成3D的TC区域图像，具体地，可以通过车辆的惯性单元(Inertial Measurement Unit，IMU)获取车辆姿态数据，根据上一阶段生成的BEV视图，以及获取的车辆IMU姿态数据，可以生成实时的TC区域图像，也即从BEV视图上一时刻的图像中提取像素补充到底盘区域，在经过一段时间之后，即可将不可见的底盘区域填充为可见。在实现透明底盘之前，底盘区域不可见，得到透明图片区域的图像之后，需要将透明底盘的图像通过纹理贴图的方式贴在底盘区域，为了使底盘区域能与其他四个摄像头的投影图像无缝、无差别的融合在一起，需要使用图像融合技术将底盘区域与其他视图进行融合，得到最终无缝、无差别的3D包含透明底盘的全视角全景图像，其中，图像融合技术可以采用opengl，当然也可以根据实际情况选择其他方式进行图像融合，本实施例中对此不加以限制。

在具体实现中，本实施例中首先需要生成多个连续的三维鸟瞰图，多个连续的三维鸟瞰图也即车辆在行驶过程中，多个连续时刻的三维鸟瞰图，每一个时刻由于车辆周围环境的不同，因此每一个时刻所得到的三维鸟瞰图也是不同的。

步骤S20：获取车辆在行驶过程中的车辆信息。

在本实施例中，本实施例中是实时生成车辆底盘区域的图像，需要结合车辆的运动状态，车辆在行驶过程中的车辆信息可以通过设置在车辆上的惯性单元采集，例如通过惯性单元采集的车辆信息包括车辆的姿态或运动状态，还可以通过定位***获取车辆信息，例如通过定位***采集的车辆信息包括车辆所处的位置。

步骤S30：基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像。

在具体实现中，本实施例中基于所述车辆信息可以确定车辆的运动状态以及当前所处的位置，然后从多个连续的三维鸟瞰图中筛选出当前时刻的三维鸟瞰图以及上一时刻的三维鸟瞰图，然后通过比对当前时刻的三维鸟瞰图以及上一时刻的三维鸟瞰图可以确定由于车辆移动使得车辆底盘所覆盖的不可见区域，最后再通过像素填充的方式生成这一不可见区域的图像，通过多次像素填充，即可最终得到完整的底盘区域的图像。

步骤S40：获取车身周围环境的图像。

在本实施例中，本实施例中最终生成的全景图像可以显示车身周围和底盘区域的环境，上述步骤中得到的是车辆底盘的图像，用以实现透明底盘，在得到车辆底盘图像之后，本实施例中还需要进一步获取车身周围环境的图像，使得全景图像为全视角且包含透明底盘的全景图像。

需要说明的是，本实施例中车身四周安装有若干个摄像头，可以通过这些摄像头获取车身周围环境的图像。

步骤S50：将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。

在具体实现中，在得到底盘区域的图像与车身周围环境的图像之后，本实施例中通过图像融合的方式将底盘区域的图像与车身周围环境的图像进行融合，从而得到包含透明底盘的全景图像。

进一步地，为了使得底盘区域的图像能与其他摄像头的投影图像(也即车身周围环境的图像)无缝且无差别的融合在一起，本实施例中先通过纹理贴图的方式将所述底盘区域的图像与预设投影模型对应的底盘区域进行贴合，得到目标底盘区域图像，其中，预设投影模型可以采用BEV栅格，通过上述方式将底盘区域的图像与底盘区域更加贴合，然后再利用融合技术将目标底盘区域图像与车身周围环境的图像进行融合，得到全景图像，本实施例中可以采用opengl融合技术，还可以根据实际图像处理需求选择其他融合技术，本实施例中对此不加以限制。

本实施例通过生成多个连续的三维鸟瞰图；获取车辆在行驶过程中的车辆信息；基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；获取车身周围环境的图像；将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境，利用三维鸟瞰图构建跟更加准确的底盘区域的图像，能够实现底盘区域的可视化，然后再通过融合的方式使得底盘区域与其他摄像头区域拍摄到的图像完美无缝且无差别的全景图像，消除了底盘区域的图像贴图感，使得整个全景图像更加真实。

参考图4，图4为本发明一种全景图像生成方法第二实施例的流程示意图。

基于上述第一实施例，本实施例全景图像生成方法中，所述步骤S30具体包括：

步骤S301：对多个连续的三维鸟瞰图进行光度对齐处理，得到处理后的多个连续的三维鸟瞰图。

在本实施例中，在生成多个连续的三维鸟瞰图之后，本实施例中会进一步对多个连续的三维鸟瞰图进行对齐，可以采用光度对齐的方式对多个连续的三维鸟瞰图进行对齐。本实例中针对光度对齐提供一种实现方式，具体地，本实施例中可以基于所有高对比度像素的光度一致性来对图像进行对齐，这些像素包括角、边和高纹理区域。当然本实施例中还可以采取其他方式对多个连续的三维鸟瞰图进行光度对齐处理，可以基于图像处理需求选择合适的方式，本实施例中对此不加以限制。

步骤S302：基于所述车辆信息确定当前车辆姿态和当前位置。

在具体实现中，在得到车辆信息之后，本实施例中可以惯性单元采集的车辆确定当前车辆姿态以及根据定位***采集的车辆信息确定车辆所处的当前位置。

步骤S303：根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，得到底盘区域的图像。

在具体实现中，底盘区域是不可见的，车身上安装的摄像头无法直接获取到底盘区域的图像，因此本实施例中是通过像素填充的方式对底盘区域进行填充，从而得到最终底盘区域的图像。具体地，本实施例中可以基于当前车辆姿态、当前位置以及处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充。

需要说明的是，三维鸟瞰图中所显示的是车辆周围的环境，其中就包含车辆前方的道路环境，但是无法直接显示车辆底盘区域的环境，然而随着车辆的移动，每一个时刻的三维鸟瞰图中所显示的是车辆周围的环境是不同的，其中所包含的车辆前方的道路环境自然也是不同的，本实施例中可以通过不同时刻的三维鸟瞰图可以确定车辆在移动过程中底盘所覆盖的区域。

在具体实现中，本实施例中可以根据当前时刻的三维鸟瞰图和上一时刻的三维鸟瞰图确定车辆底盘所覆盖的区域，在确定车辆底盘所覆盖的区域之后，本实施例中进一步从上一时刻的三维鸟瞰图中提取出车辆底盘所覆盖的区域对应的像素，然后通过这些像素对底盘区域进行填充，在经过一段时间后，即可得到底盘区域的图像，如图5和图6所示，假设图5为T₀时刻所拍摄到的三维鸟瞰图，图6为T₁时间所拍摄到的三维鸟瞰图，T₀为T₁的上一时刻，图5中所示的a-b为T0时刻所拍摄到的三维鸟瞰图中的某一路段区域，当车辆继续向前运动到，也即下一个时刻T1时刻的三维鸟瞰图如图6所示时，a-b则变成了T1时刻车辆底盘所覆盖的区域，由此即可通过不同时刻的三维鸟瞰图得到底盘所覆盖的区域。其中，当前时刻的三维鸟瞰图可以基于各个三维鸟瞰图对应的时刻从处理后的多个连续的三维鸟瞰图选取出，上一时刻的三维鸟瞰图可以根据当前车辆姿态和当前位置从处理后的多个连续的三维鸟瞰图选取出，具体地，根据当前车辆姿态和当前位置确定车辆上一时刻所处的位置，然后根据车辆上一时刻所处的位置从处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图，例如当前车辆处于A位置并且根据当前车辆姿态可以确定车辆处于直行，因此可以确定车辆上一时刻所处的位置与A位置处于同一条直线上，基于这一条件即可从多个时刻连续的三维鸟瞰图中筛选出上一时刻的三维鸟瞰图。

本实施例通过基于各个三维鸟瞰图对应的时刻从所述处理后的多个连续的三维鸟瞰图选取出当前时刻的三维鸟瞰图；根据所述当前车辆姿态和所述当前位置确定车辆上一时刻所处的位置；根据所述车辆上一时刻所处的位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图；根据所述当前时刻的三维鸟瞰图和所述上一时刻的三维鸟瞰图确定车辆底盘所覆盖的区域；从所述上一时刻的三维鸟瞰图中提取出所述车辆底盘所覆盖的区域对应的像素，并通过所述像素对底盘区域进行填充，通过像素填充的方式能够获取更加真实准确的底盘区域图像，实现了透明底盘。

参考图7，图7为本发明一种全景图像生成方法第三实施例的流程示意图。

基于上述第一实施例，提出本发明一种全景图像生成方法的第三实施例。

在本实施例中，所述步骤S10具体包括：

步骤S101：构建图像变换查找表。

需要说明的是，本实施例中的摄像头所拍摄的单视图均为二维视图，需要将其变换为三维鸟瞰图，为了加速三维鸟瞰图的生成，本实施例中会预先对变换所需要的对应关系进行构建，也即构建图像变换查找表，通过该图像变换查找表即可加速三维鸟瞰图的生成。

进一步地，本实施例中针对构建图像变换查找表的过程提供一种实现方式，在具体实现中，预设投影模型可以采用鸟瞰图栅格，鸟瞰图栅格上设有三维鸟瞰图对应的坐标，通过标定后的摄像机的内外参数可以确定摄像头所拍摄的车身周围环境的二维图像与鸟瞰图栅格上的三维鸟瞰图对应的坐标之间的对应关系，基于这一对应关系构建得到图像变换查找表。

步骤S102：通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像。

在具体实施中，本实施例中的三维鸟瞰图是通过摄像头所拍摄的单视图(也即车身周围环境的二维图像)转换而来的，因此需要先通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像。

步骤S103：基于所述图像变换查找表以及预设投影模型将所述车身周围环境的二维图像转换为多个连续的三维鸟瞰图。

在具体实现中，预设投影模式可以采用鸟瞰图栅格，鸟瞰图栅格上设有三维鸟瞰图对应的坐标，而图像变换查找表存储有摄像头所拍摄的车身周围环境的二维图像与鸟瞰图栅格上的三维鸟瞰图对应的坐标之间的对应关系，因此可以将二维图像上每一个像素转换为三维鸟瞰图对应的坐标，这些坐标的集合最终可以得到三维鸟瞰图。

本实施例通过对设置在车身四周的摄像头的内外参数进行标定；根据标定后的内外参数确定各个摄像头拍摄到的二维图像与预设投影模型上的三维坐标点之间的对应关系；根据所述对应关系构建图像变换查找表，通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像；基于所述图像变换查找表以及预设投影模型将所述车身周围环境的二维图像转换为多个连续的三维鸟瞰图，通过构建图像变换查找表，加速了三维鸟瞰图的生成效率，从而保证了整个全景图像的生成效率。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有全景图像生成程序，所述全景图像生成程序被处理器执行时实现如上文所述的全景图像生成方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图8，图8为本发明全景图像生成装置第一实施例的结构框图。

如图8所示，本发明实施例提出的全景图像生成装置包括：

生成模块10，用于生成多个连续的三维鸟瞰图。

读取模块20，用于获取车辆在行驶过程中的车辆信息。

处理模块30，用于基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像。

拍摄模块40，用于获取车身周围环境的图像。

融合模块50，用于将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。

本实施例通过生成多个连续的三维鸟瞰图；获取车辆在行驶过程中的车辆信息；基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；获取车身周围环境的图像；将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境，利用三维鸟瞰图构建跟更加准确的底盘区域的图像，能够实现底盘区域的可视化，然后再通过融合的方式使得底盘区域与其他摄像头区域拍摄到的图像完美无缝且无差别的全景图像，消除了底盘区域的图像贴图感，使得整个全景图像更加真实。

在一实施例中，所述处理模块30，还用于对多个连续的三维鸟瞰图进行光度对齐处理，得到处理后的多个连续的三维鸟瞰图；基于所述车辆信息确定当前车辆姿态和当前位置；根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，得到底盘区域的图像。

在一实施例中，所述处理模块30，还用于基于各个三维鸟瞰图对应的时刻从所述处理后的多个连续的三维鸟瞰图选取出当前时刻的三维鸟瞰图；根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图；根据所述当前时刻的三维鸟瞰图和所述上一时刻的三维鸟瞰图确定车辆底盘所覆盖的区域；从所述上一时刻的三维鸟瞰图中提取出所述车辆底盘所覆盖的区域对应的像素，并通过所述像素对底盘区域进行填充。

在一实施例中，所述处理模块30，还用于根据所述当前车辆姿态和所述当前位置确定车辆上一时刻所处的位置；根据所述车辆上一时刻所处的位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图。

在一实施例中，所述生成模块10，还用于构建图像变换查找表；通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像；基于所述图像变换查找表以及预设投影模型将所述车身周围环境的二维图像转换为多个连续的三维鸟瞰图。

在一实施例中，所述生成模块10，还用于对设置在车身四周的摄像头的内外参数进行标定；根据标定后的内外参数确定各个摄像头拍摄到的二维图像与预设投影模型上的三维坐标点之间的对应关系；根据所述对应关系构建图像变换查找表。

在一实施例中，所述融合模块50，还用于通过纹理贴图的方式将所述底盘区域的图像与预设投影模型对应的底盘区域进行贴合，得到目标底盘区域图像；将所述目标底盘区域图像与所述车身周围环境的图像进行融合，得到全景图像。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的全景图像生成方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全景图像生成方法，其特征在于，所述全景图像生成方法包括：

生成多个连续的三维鸟瞰图；

获取车辆在行驶过程中的车辆信息；

基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；

获取车身周围环境的图像；

将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。

2.如权利要求1所述的全景图像生成方法，其特征在于，所述基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像，包括：

对多个连续的三维鸟瞰图进行光度对齐处理，得到处理后的多个连续的三维鸟瞰图；

基于所述车辆信息确定当前车辆姿态和当前位置；

根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，得到底盘区域的图像。

3.如权利要求2所述的全景图像生成方法，其特征在于，所述根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，包括：

基于各个三维鸟瞰图对应的时刻从所述处理后的多个连续的三维鸟瞰图选取出当前时刻的三维鸟瞰图；

根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图；

根据所述当前时刻的三维鸟瞰图和所述上一时刻的三维鸟瞰图确定车辆底盘所覆盖的区域；

从所述上一时刻的三维鸟瞰图中提取出所述车辆底盘所覆盖的区域对应的像素，并通过所述像素对底盘区域进行填充。

4.如权利要求3所述的全景图像生成方法，其特征在于，所述根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图，包括：

根据所述当前车辆姿态和所述当前位置确定车辆上一时刻所处的位置；

根据所述车辆上一时刻所处的位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图。

5.如权利要求1所述的全景图像生成方法，其特征在于，所述生成多个连续的三维鸟瞰图，包括：

构建图像变换查找表；

通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像；

基于所述图像变换查找表以及预设投影模型将所述车身周围环境的二维图像转换为多个连续的三维鸟瞰图。

6.如权利要求5所述的全景图像生成方法，其特征在于，所述构建图像变换查找表，包括：

对设置在车身四周的摄像头的内外参数进行标定；

根据标定后的内外参数确定各个摄像头拍摄到的二维图像与预设投影模型上的三维坐标点之间的对应关系；

根据所述对应关系构建图像变换查找表。

7.如权利要求1至6中任一项所述的全景图像生成方法，其特征在于，所述将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，包括：

通过纹理贴图的方式将所述底盘区域的图像与预设投影模型对应的底盘区域进行贴合，得到目标底盘区域图像；

将所述目标底盘区域图像与所述车身周围环境的图像进行融合，得到全景图像。

8.一种全景图像生成装置，其特征在于，所述全景图像生成装置包括：

生成模块，用于生成多个连续的三维鸟瞰图；

读取模块，用于获取车辆在行驶过程中的车辆信息；

处理模块，用于基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；

拍摄模块，用于获取车身周围环境的图像；

融合模块，用于将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。

9.一种全景图像生成设备，其特征在于，所述全景图像生成设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的全景图像生成程序，所述全景图像生成程序配置为实现如权利要求1至7中任一项所述的全景图像生成方法。

10.一种存储介质，其特征在于，所述存储介质上存储有全景图像生成程序，所述全景图像生成程序被处理器执行时实现如权利要求1至7任一项所述的全景图像生成方法。

Images