CN117201705A - 一种全景图像的获取方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种全景图像的获取方法、装置、电子设备及存储介质，该方法包括：获取不同方向的相机采集的同一时刻的多个图像，将其他方向的相机采集的图像投影到参考相机的相机下，得到投影图像，并根据原始图像和投影图像计算视差图像，通过预先训练好的深度图生成模型和视差图像，生成与原始图像对应的深度图，然后再计算与参考相机相对应的另一个相机采集的图像对应的深度图，进而将两个深度图进行拼接，生成当前时刻的全景图像，从而在减少成本的情况下，实现更大范围的感知。

Description

一种全景图像的获取方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种全景图像的获取方法、装置、电子设备及存储介质。

背景技术

随着科学技术的不断发展，无人机的应用场景越来越广泛，目前无人机上安装有两个相机，通过这两个相机，实现双目深度的感知，这样可以估计前方一定范围内的深度，获取稠密深度图，可以用于避障等，但是这种方法可以估计的深度区域有限，当需要更大范围的感知时，需要成对地增加多组双目，增加成本的同时增加了算法的资源消耗，如何在减少成本的情况下，实现更大范围的感知，是目前急需解决的问题。

发明内容

本申请的目的在于提供一种全景图像的获取方法、装置、电子设备及存储介质，通过本申请的实施例的技术方案，通过获取不同方向的相机在同一时刻采集的多个图像，其中，所述图像为鱼眼图像；将所述多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，其中，所述第一投影图像为其他方向的第二图像中与所述第一图像相关的图像进行拼接得到的；根据所述第一图像和所述第一投影图像，确定第一视差图像；根据所述第一图像、所述第一视差图像和预先训练好的深度图生成模型，确定与所述第一图像对应的第一深度图；其中，所述深度图生成模型是采用视差图像对训练模型进行训练得到的；将所述多个图像中的与第一图像对应的相机作为第二参考相机，根据所述第二参考相机采集的第三图像，生成与所述第三图像对应的第二深度图；根据所述第一深度图和所述第二深度图，生成当前时刻的全景图像，本申请通过获取不同方向的相机采集的同一时刻的多个图像，将其他方向的相机采集的图像投影到参考相机的相机下，得到投影图像，并根据原始图像和投影图像计算视差图像，通过预先训练好的深度图生成模型和视差图像，生成与原始图像对应的深度图，然后再计算与参考相机相对应的另一个相机采集的图像对应的深度图，进而将两个深度图进行拼接，生成当前时刻的全景图像，从而在减少成本的情况下，实现更大范围的感知。

第一方面，本申请提供了一种全景图像的获取方法，包括：

获取不同方向的相机在同一时刻采集的多个图像，其中，所述图像为鱼眼图像；

将所述多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，其中，所述第一投影图像为其他方向的第二图像中与所述第一图像相关的图像进行拼接得到的；

根据所述第一图像和所述第一投影图像，确定第一视差图像；

根据所述第一图像、所述第一视差图像和预先训练好的深度图生成模型，确定与所述第一图像对应的第一深度图；其中，所述深度图生成模型是采用视差图像对训练模型进行训练得到的；

将所述多个图像中的与第一图像对应的相机作为第二参考相机，根据所述第二参考相机采集的第三图像，生成与所述第三图像对应的第二深度图；

根据所述第一深度图和所述第二深度图，生成当前时刻的全景图像。

本申请通过获取不同方向的相机采集的同一时刻的多个图像，将其他方向的相机采集的图像投影到参考相机的相机下，得到投影图像，并根据原始图像和投影图像计算视差图像，通过预先训练好的深度图生成模型和视差图像，生成与原始图像对应的深度图，然后再计算与参考相机相对应的另一个相机采集的图像对应的深度图，进而将两个深度图进行拼接，生成当前时刻的全景图像，从而在减少成本的情况下，实现更大范围的感知。

可选地，所述将所述多个图像中的第一图像对应的相机作为第一参考相机，并其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，包括：

根据第一参考相机的相机模型投影和反投影关系，将其他方向的相机采集的第二图像分别按照不同的深度值投影到第一参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二图像对应的多个投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的投影图像中的最佳图像区域；

将所述不同方向的投影图像中的最佳图像区域进行拼接，得到第一投影图像。

本申请通过根据相机模型投影和反投影关系，另外三个方向相机采集的图分别以不同深度值投影到参考相机视角下参考相机，得到在参考相机下的图像数据，然后将多个图像数据中的最佳图像区域进行拼接，得到第一投影图像，通过不同深度值进行投影，对于不同的距离，像素点会投影到不同的位置，提高数据处理的准确性。

可选地，所述根据不同相机的外参，按照预设选择策略，确定所述不同方向的投影图像中的最佳图像区域，包括：

对于不同方向的相机采集的第二图像，按照不同的深度值投影到所述第一参考相机的视角下的多个投影图像，获取与所述不同方向的相机对应的投影图像的位置偏移量；

若所述位置偏移量最大，则将与最大的所述位置偏移量对应的相机作为拼接相机；

将所述拼接相机采集的图像作为所述不同方向的相机的最佳图像区域。

本申请通过设置多个深度值，对于不同的深度值投影到第一参考相机的视角下，确定最合适的相机，作为拼接相机，从而将拼接相机采集的图像作为所述不同方向的相机的最佳图像区域，提高数据感知的准确性。

可选地，所述预先训练好的深度图生成模型通过如下方式获得：

获取多个相机采集的样本鱼眼图像和与所述样本鱼眼图像对应的样本深度图像；

将所述多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到所述第一样本参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的样本投影图像中的最佳图像区域；

将所述不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；

根据所述第一样本图像和所述第一样本投影图像，确定多个第一样本视差图像；

根据所述多个第一样本视差图像、所述第一样本图像和所述样本深度图像，对训练模型进行训练，得到训练后的网络模型；

在所述训练后的网络模型对应的损失函数满足预设条件的情况下，将与所述损失函数对应的神经网络模型确定为所述深度图生成模型。

本申请通过采集的不同方向的相机采集的图像和样本深度图像，并根据采集的图像生成视差图像，也就是代价积，采用相机采集的图像、代价积和样本深度图像对训练模型进行训练，得到深度图生成模型。

第二方面，本申请提供了一种全景图像的获取装置，包括：

获取模块，用于获取不同方向的相机在同一时刻采集的多个图像，其中，所述图像为鱼眼图像；

投影模块，用于将所述多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，其中，所述第一投影图像为其他方向的第二图像中与所述第一图像相关的图像进行拼接得到的；

确定模块，用于根据所述第一图像和所述第一投影图像，确定第一视差图像；

第一生成模块，用于根据所述第一图像、所述第一视差图像和预先训练好的深度图生成模型，确定与所述第一图像对应的第一深度图；其中，所述深度图生成模型是采用视差图像对训练模型进行训练得到的；

第二生成模块，用于将所述多个图像中的与第一图像对应的相机作为第二参考相机，根据所述第二参考相机采集的第三图像，生成与所述第三图像对应的第二深度图；

拼接模块，用于根据所述第一深度图和所述第二深度图，生成当前时刻的全景图像。

本申请通过根据相机模型投影和反投影关系，另外三个方向相机采集的图分别以不同深度值投影到参考相机视角下参考相机，得到在参考相机下的图像数据，然后将多个图像数据中的最佳图像区域进行拼接，得到第一投影图像，通过不同深度值进行投影，对于不同的距离，像素点会投影到不同的位置，提高数据处理的准确性。

可选地，所述投影模块用于：

根据第一参考相机的相机模型投影和反投影关系，将其他方向的相机采集的第二图像分别按照不同的深度值投影到第一参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二图像对应的多个投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的投影图像中的最佳图像区域；

将所述不同方向的投影图像中的最佳图像区域进行拼接，得到第一投影图像。

本申请通过根据相机模型投影和反投影关系，另外三个方向相机采集的图分别以不同深度值投影到参考相机视角下参考相机，得到在参考相机下的图像数据，然后将多个图像数据中的最佳图像区域进行拼接，得到第一投影图像，通过不同深度值进行投影，对于不同的距离，像素点会投影到不同的位置，提高数据处理的准确性。

可选地，所述投影模块用于：

对于不同方向的相机采集的第二图像，按照不同的深度值投影到所述第一参考相机的视角下的多个投影图像，获取与所述不同方向的相机对应的投影图像的位置偏移量；

若所述位置偏移量最大，则将与最大的所述位置偏移量对应的相机作为拼接相机；

将所述拼接相机采集的图像作为所述不同方向的相机的最佳图像区域。

本申请通过设置多个深度值，对于不同的深度值投影到第一参考相机的视角下，确定最合适的相机，作为拼接相机，从而将拼接相机采集的图像作为所述不同方向的相机的最佳图像区域，提高数据感知的准确性。

可选地，所述装置还包括训练模块，所述训练模块用于：

获取多个相机采集的样本鱼眼图像和与所述样本鱼眼图像对应的样本深度图像；

将所述多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到所述第一样本参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的样本投影图像中的最佳图像区域；

将所述不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；

根据所述第一样本图像和所述第一样本投影图像，确定多个第一样本视差图像；

根据所述多个第一样本视差图像、所述第一样本图像和所述样本深度图像，对训练模型进行训练，得到训练后的网络模型；

在所述训练后的网络模型对应的损失函数满足预设条件的情况下，将与所述损失函数对应的神经网络模型确定为所述深度图生成模型。

本申请通过采集的不同方向的相机采集的图像和样本深度图像，生成视差图像，也就是代价积，采用相机采集的图像、代价积和样本深度图像对训练模型进行训练，得到深度图生成模型。

第三方面，本申请提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的全景图像的获取方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的全景图像的获取方法。

第五方面，本申请提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的全景图像的获取方法。

附图说明

为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种全景图像的获取方法的流程示意图；

图2为本申请实施例提供的采集的图像示意图；

图3为本申请实施例提供的图像合成的图像示意图；

图4为本申请实施例提供的生成全景图像的示意图；

图5为本申请实施例提供的视差优化网络的示意图；

图6为本申请实施例提供的模型训练的流程示意图；

图7为本申请实施例提供的一种全景图像的获取装置的结构示意图；

图8为本申请实施例提供的一种电子设备示意图。

具体实施方式

下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

随着科学技术的不断发展，无人机的应用场景越来越广泛，目前无人机上安装有两个相机，通过这两个相机，实现双目深度的感知，这样可以估计前方一定范围内的深度，获取稠密深度图，可以用于避障等，但是这种方法可以估计的深度区域有限，当需要更大范围的感知时，需要成对地增加多组双目，增加成本的同时增加了算法的资源消耗，鉴于此，本申请的一些实施例提供了一种全景图像的获取方法，该方法包括获取不同方向的相机在同一时刻采集的多个图像，其中，图像为鱼眼图像；将多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到第一参考相机的视角下，得到第一投影图像，其中，第一投影图像为其他方向的第二图像中与第一图像相关的图像进行拼接得到的；根据第一图像和第一投影图像，确定第一视差图像；根据第一图像、第一视差图像和预先训练好的深度图生成模型，确定与第一图像对应的第一深度图；其中，深度图生成模型是采用视差图像对训练模型进行训练得到的；将多个图像中的与第一图像对应的相机作为第二参考相机，根据第二参考相机采集的第三图像，生成与第三图像对应的第二深度图；根据第一深度图和第二深度图，生成当前时刻的全景图像，本申请通过获取不同方向的相机采集的同一时刻的多个图像，将其他方向的相机采集的图像投影到参考相机的相机下，得到投影图像，并根据原始图像和投影图像计算视差图像，通过预先训练好的深度图生成模型和视差图像，生成与原始图像对应的深度图，然后再计算与参考相机相对应的另一个相机采集的图像对应的深度图，进而将两个深度图进行拼接，生成当前时刻的全景图像，从而在减少成本的情况下，实现更大范围的感知。

如图1所示，本申请的实施例提供了一种全景图像的获取方法，该方法包括：

S101、获取不同方向的相机在同一时刻采集的多个图像，其中，图像为鱼眼图像；

具体地，本申请实施例中无人机机身布置四个相机，每个相机为220度fov视场角的鱼眼相机，分别朝向前后左右四个方向，可选地，两两相机呈现90°，组成多目鱼眼相机。

对于无人机上的四个相机，选择其中两个作为参考相机，下面以选择前后两个方向相机作为参考相机为例进行说明，由于相机fov是220度，因此对2个参考相机拍到的图像进行深度估计即可覆盖360度全景视野；因此，四个相机在同一时刻对某一场景进行图像采集，终端设备获取到多个相机采集的多个图像，该图像为鱼眼图像。

S102、将多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到第一参考相机的视角下，得到第一投影图像，其中，第一投影图像为其他方向的第二图像中与第一图像相关的图像进行拼接得到的；

具体地，终端设置将前后相机中的任一个相机作为第一参考相机，并将其他三个方向的相机采集的第二图像按照不同的深度值投影到第一参考相机的视角下，第二图像和第一图像有部分重叠的区域，按照预设选择策略，选择各个投影图像中的最佳图像区域，并将多个最佳图像区域进行拼接，得到拼接后图像，机第一投影图像。

S103、根据第一图像和第一投影图像，确定第一视差图像；

终端设备根据第一图像和拼接后图像即第一投影图像做差，得到第一视差图像，该视差图像即为代价积。

S104、根据第一图像、第一视差图像和预先训练好的深度图生成模型，确定与第一图像对应的第一深度图；其中，深度图生成模型是采用视差图像对训练模型进行训练得到的；

终端设备上预先获取大量的样本鱼眼图像和与样本鱼眼图像对应的样本深度图像，并根据多个样本鱼眼图像，采用上述的方式，获取大量的视差图像，然后采用样本鱼眼图像、视差图像和样本深度图像对训练模块进行训练，得到深度图生成模型。终端设备在获取到的第一图像和第一视差图像都输入到预先训练好的深度图生成模型，得到与第一图像的第一深度图。

S105、将多个图像中的与第一图像对应的相机作为第二参考相机，根据第二参考相机采集的第三图像，生成与第三图像对应的第二深度图；

终端设备在获取到前相机采集的第一图像对应的第一深度图后，然后将与前相机对应的后相机作为第二参考相机，然后根据上述的方式，计算出第二参考相机采集的第三图像对应的第二深度图。

S106、根据第一深度图和第二深度图，生成当前时刻的全景图像。

终端设备将前后两张深度图1即第一深度图和深度图2即第二深度图投影到经纬度对齐的全景图中，拼接后获取360度全景深度数据即当前时刻的全景图像。

在本申请实施例中，还可以选择左右两个相机本申请实施例中采用多目鱼眼相机搭配神经网络的全向深度感知算法，兼顾了效率和算法效果，实现了实时360度全向深度估计。

本申请的一些实施例通过获取不同方向的相机采集的同一时刻的多个图像，将其他方向的相机采集的图像投影到参考相机的相机下，得到投影图像，并根据原始图像和投影图像计算视差图像，通过预先训练好的深度图生成模型和视差图像，生成与原始图像对应的深度图，然后再计算与参考相机相对应的另一个相机采集的图像对应的深度图，进而将两个深度图进行拼接，生成当前时刻的全景图像，从而在减少成本的情况下，实现更大范围的感知。

本申请又一实施例对上述实施例提供的全景图像的获取方法做进一步补充说明。

可选地，将多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到第一参考相机的视角下，得到第一投影图像，包括：

根据第一参考相机的相机模型投影和反投影关系，将其他方向的相机采集的第二图像分别按照不同的深度值投影到第一参考相机的视角下，得到第一参考相机视角下与不同方向的第二图像对应的多个投影图像；

根据不同相机的外参，按照预设选择策略，确定不同方向的投影图像中的最佳图像区域；

将不同方向的投影图像中的最佳图像区域进行拼接，得到第一投影图像。

具体地，在本申请实施例中，单独地对于某一个参考相机，使用另外三个方向相机采集的图像按照不同的深度值投影到参考相机视角下，即根据相机模型投影和反投影关系，将其他相机采集的图像的各个像素点投影到一个单位球上，然后根据不同的深度值，将单位球上的像素值投影到第一相机下，得到在第一参考相机的视角下的图像数据；可以设置不同的深度M即可实现在不同深度下的估计，例如将M=32个不同大小的深度值进行投影。

示例性地，选择一组背靠背的参考相机分别计算深度图，如图2所示；计算某个相机深度图时，使用其他三个相机的图像合成代价积sweep volume；如图3所示；参考相机的深度图经过拼接生成全景深度图，根据全景深度图生成RGB全景图，如图4所示。

本申请的一些实施例通过根据相机模型投影和反投影关系，另外三个方向相机采集的图分别以不同深度值投影到参考相机视角下参考相机，得到在参考相机下的图像数据，然后将多个图像数据中的最佳图像区域进行拼接，得到第一投影图像，通过不同深度值进行投影，对于不同的距离，像素点会投影到不同的位置，提高数据处理的准确性。

可选地，根据不同相机的外参，按照预设选择策略，确定不同方向的投影图像中的最佳图像区域，包括：

对于不同方向的相机采集的第二图像，按照不同的深度值投影到第一参考相机的视角下的多个投影图像，获取与不同方向的相机对应的投影图像的位置偏移量；

若位置偏移量最大，则将与最大的位置偏移量对应的相机作为拼接相机；

将拼接相机采集的图像作为不同方向的相机的最佳图像区域。

具体地，如图5所示，由于相机之间存在外参关系，对于不同的距离，像素点会投影到不同的位置，以此构造参考相机深度估计的M个通道图像数据；在终端设备上预先设置有选择策略，该选择策略用于选择最佳图像区域，选择策略具体为：

对于参考相机视角下的某一个像素，查看需要投影的3个相机按照最近、最远距离投影后的位置偏移量，选择偏移量最大的相机作为拼接相机的选择，也就是选择视差最大的相机。

终端设备计算其他相机在不同距离上投影到reference0第一参考相机下的相机图像的位置；按照对应关系投影图像，获取reference0视角下其他相机的投影图像；根据预设选择策略选择拼接相机获取的图像中的最佳图像区域，并将获取到最佳图像区域进行拼接，得到拼接区域，即最佳图像区域。

本申请的一些实施例通过设置多个深度值，对于不同的深度值投影到第一参考相机的视角下，确定最合适的相机，作为拼接相机，从而将拼接相机采集的图像作为不同方向的相机的最佳图像区域，提高数据感知的准确性。

可选地，预先训练好的深度图生成模型通过如下方式获得：

获取多个相机采集的样本鱼眼图像和与所述样本鱼眼图像对应的样本深度图像；

将多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到第一样本参考相机的视角下，得到第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像；

根据不同相机的外参，按照预设选择策略，确定不同方向的样本投影图像中的最佳图像区域；

将不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；

根据第一样本图像和第一样本投影图像，确定多个第一样本视差图像；

根据多个第一样本视差图像、第一样本图像和样本深度图像，对训练模型进行训练，得到训练后的网络模型；

在训练后的网络模型对应的损失函数满足预设条件的情况下，将与损失函数对应的神经网络模型确定为深度图生成模型。

具体地，如图6所示，终端设备预先获取多个相机采集的样本鱼眼图像和与样本鱼眼图像对应的样本深度图像，将多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到第一样本参考相机的视角下，得到第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像，根据不同相机的外参，按照预设选择策略，确定不同方向的样本投影图像中的最佳图像区域；将不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；根据第一样本图像和第一样本投影图像，确定多个第一样本视差图像，即代价积，然后用深度学习通过代价积回归实际距离。

示例性地，对于前相机的第一样本图像，后相机采集的图像按照32个深度值，投影到前相机下，得到32 个投影图，同理，左相机采集的图像按照32个深度值，投影到前相机下，得到32 个投影图，右相机采集的图像按照32个深度值，投影到前相机下，得到32 个投影图，对于同一个深度图值，将后相机、左相机、后相机的投影图按照预设选择策略，选择投影图像中的最佳图像区域，并进行拼接，得到32个拼接图，然后将32个拼接图分别和第一图像进行做差，得到代价积，即第一样本视差图像，并将第一图像对应的RGB对应的3个灰度图、32个第一样本视差图像和样本深度图像，输入到训练模型进行训练，即进行视差优化，回归深度图，输入的feature 中加入了原图RGB像素，强化了语义信息，对无纹理区域效果更好。

其中，训练模块可以是神经网络模型，也可以是其他的网络模型，在本申请实施例中不做具体限定，其中，神经网络模型可以是回归网络模型，例如U-net等其他网络模型，层的深度可以选择，其中网络损失函数优选为 SmothL1。采用回归学习的样本组数为n组，训练样本组至少包括参考相机采集的图像和样本视差图像，参考相机采集的图像即第一样本图像，该第一样本图像为RGB图；可选为5万组，数量不做限定。

本申请的一些实施例，通过采集的不同方向的相机采集的图像，生成视差图像，也就是代价积，采用相机采集的图像、代价积和样本深度图像对训练模型进行训练，得到深度图生成模型。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。

本申请另一实施例提供一种全景图像的获取装置，用于执行上述实施例提供的全景图像的获取方法。

如图7所示，为本申请实施例提供的全景图像的获取装置的结构示意图。该全景图像的获取装置包括获取模块701、投影模块702、确定模块703、第一生成模块704、第二生成模块705和拼接模块706，其中：

获取模块701用于获取不同方向的相机在同一时刻采集的多个图像，其中，图像为鱼眼图像；

投影模块702用于将多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到第一参考相机的视角下，得到第一投影图像，其中，第一投影图像为其他方向的第二图像中与第一图像相关的图像进行拼接得到的；

确定模块703用于根据第一图像和第一投影图像，确定第一视差图像；

第一生成模块704用于根据第一图像、第一视差图像和预先训练好的深度图生成模型，确定与第一图像对应的第一深度图；其中，深度图生成模型是采用视差图像对训练模型进行训练得到的；

第二生成模块705用于将多个图像中的与第一图像对应的相机作为第二参考相机，根据第二参考相机采集的第三图像，生成与第三图像对应的第二深度图；

拼接模块706用于根据第一深度图和第二深度图，生成当前时刻的全景图像。

关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请的一些实施例通过根据相机模型投影和反投影关系，另外三个方向相机采集的图分别以不同深度值投影到参考相机视角下参考相机，得到在参考相机下的图像数据，然后将多个图像数据中的最佳图像区域进行拼接，得到第一投影图像，通过不同深度值进行投影，对于不同的距离，像素点会投影到不同的位置，提高数据处理的准确性。

本申请又一实施例对上述实施例提供的全景图像的获取装置做进一步补充说明。

可选地，投影模块用于：

根据第一参考相机的相机模型投影和反投影关系，将其他方向的相机采集的第二图像分别按照不同的深度值投影到第一参考相机的视角下，得到第一参考相机视角下与不同方向的第二图像对应的多个投影图像；

根据不同相机的外参，按照预设选择策略，确定不同方向的投影图像中的最佳图像区域；

将不同方向的投影图像中的最佳图像区域进行拼接，得到第一投影图像。

本申请的一些实施例通过根据相机模型投影和反投影关系，另外三个方向相机采集的图分别以不同深度值投影到参考相机视角下参考相机，得到在参考相机下的图像数据，然后将多个图像数据中的最佳图像区域进行拼接，得到第一投影图像，通过不同深度值进行投影，对于不同的距离，像素点会投影到不同的位置，提高数据处理的准确性。

可选地，投影模块用于：

对于不同方向的相机采集的第二图像，按照不同的深度值投影到第一参考相机的视角下的多个投影图像，获取与不同方向的相机对应的投影图像的位置偏移量；

若位置偏移量最大，则将与最大的位置偏移量对应的相机作为拼接相机；

将拼接相机采集的图像作为不同方向的相机的最佳图像区域。

本申请的一些实施例通过设置多个深度值，对于不同的深度值投影到第一参考相机的视角下，确定最合适的相机，作为拼接相机，从而将拼接相机采集的图像作为不同方向的相机的最佳图像区域，提高数据感知的准确性。

可选地，该装置还包括训练模块，训练模块用于：

获取多个相机采集的样本鱼眼图像和与所述样本鱼眼图像对应的样本深度图像；

将多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到第一样本参考相机的视角下，得到第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像；

根据不同相机的外参，按照预设选择策略，确定不同方向的样本投影图像中的最佳图像区域；

将不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；

根据第一样本图像和第一样本投影图像，确定多个第一样本视差图像；

根据多个第一样本视差图像、第一样本图像和样本深度图像，对训练模型进行训练，得到训练后的网络模型；

在训练后的网络模型对应的损失函数满足预设条件的情况下，将与损失函数对应的神经网络模型确定为深度图生成模型。

本申请的一些实施例，通过采集的不同方向的相机采集的图像和样本深度图像，并根据相机采集的图像生成视差图像，也就是代价积，采用相机采集的图像、代价积和样本深度图像对训练模型进行训练，得到深度图生成模型。关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时可实现如上述实施例提供的全景图像的获取方法中的任意实施例所对应方法的操作。

本申请实施例还提供了一种计算机程序产品，的计算机程序产品包括计算机程序，其中，的计算机程序被处理器执行时可实现如上述实施例提供的全景图像的获取方法中的任意实施例所对应方法的操作。

如图8所示，本申请的一些实施例提供一种电子设备800，该电子设备800包括：存储器810、处理器820以及存储在存储器810上并可在处理器820上运行的计算机程序，其中，处理器820通过总线830从存储器810读取程序并执行程序时可实现如上述全景图像的获取方法包括的任意实施例的方法。

处理器820可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器820可以是微处理器。

存储器810可以用于存储由处理器820执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器820可以用于执行存储器810中的指令以实现上述所示的方法。存储器810包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。

以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种全景图像的获取方法，其特征在于，所述方法包括：

获取不同方向的相机在同一时刻采集的多个图像，其中，所述图像为鱼眼图像；

将所述多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，其中，所述第一投影图像为其他方向的第二图像中与所述第一图像相关的图像进行拼接得到的；

根据所述第一图像和所述第一投影图像，确定第一视差图像；

根据所述第一图像、所述第一视差图像和预先训练好的深度图生成模型，确定与所述第一图像对应的第一深度图；其中，所述深度图生成模型是采用视差图像对训练模型进行训练得到的；

将所述多个图像中的与第一图像对应的相机作为第二参考相机，根据所述第二参考相机采集的第三图像，生成与所述第三图像对应的第二深度图；

根据所述第一深度图和所述第二深度图，生成当前时刻的全景图像。

2.根据权利要求1所述的全景图像的获取方法，其特征在于，所述将所述多个图像中的第一图像对应的相机作为第一参考相机，并其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，包括：

根据第一参考相机的相机模型投影和反投影关系，将其他方向的相机采集的第二图像分别按照不同的深度值投影到第一参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二图像对应的多个投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的投影图像中的最佳图像区域；

将所述不同方向的投影图像中的最佳图像区域进行拼接，得到第一投影图像。

3.根据权利要求2所述的全景图像的获取方法，其特征在于，所述根据不同相机的外参，按照预设选择策略，确定所述不同方向的投影图像中的最佳图像区域，包括：

对于不同方向的相机采集的第二图像，按照不同的深度值投影到所述第一参考相机的视角下的多个投影图像，获取与所述不同方向的相机对应的投影图像的位置偏移量；

若所述位置偏移量最大，则将与最大的所述位置偏移量对应的相机作为拼接相机；

将所述拼接相机采集的图像作为所述不同方向的相机的最佳图像区域。

4.根据权利要求1所述的全景图像的获取方法，其特征在于，所述预先训练好的深度图生成模型通过如下方式获得：

获取多个相机采集的样本鱼眼图像和与所述样本鱼眼图像对应的样本深度图像；

将所述多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到所述第一样本参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的样本投影图像中的最佳图像区域；

将所述不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；

根据所述第一样本图像和所述第一样本投影图像，确定多个第一样本视差图像；

根据所述多个第一样本视差图像、所述第一样本图像和所述样本深度图像，对训练模型进行训练，得到训练后的网络模型；

在所述训练后的网络模型对应的损失函数满足预设条件的情况下，将与所述损失函数对应的神经网络模型确定为所述深度图生成模型。

5.一种全景图像的获取装置，其特征在于，所述装置包括：

获取模块，用于获取不同方向的相机在同一时刻采集的多个图像，其中，所述图像为鱼眼图像；

投影模块，用于将所述多个图像中的第一图像对应的相机作为第一参考相机，并将其他方向的相机采集的第二图像投影到所述第一参考相机的视角下，得到第一投影图像，其中，所述第一投影图像为其他方向的第二图像中与所述第一图像相关的图像进行拼接得到的；

确定模块，用于根据所述第一图像和所述第一投影图像，确定第一视差图像；

第一生成模块，用于根据所述第一图像、所述第一视差图像和预先训练好的深度图生成模型，确定与所述第一图像对应的第一深度图；其中，所述深度图生成模型是采用视差图像对训练模型进行训练得到的；

第二生成模块，用于将所述多个图像中的与第一图像对应的相机作为第二参考相机，根据所述第二参考相机采集的第三图像，生成与所述第三图像对应的第二深度图；

拼接模块，用于根据所述第一深度图和所述第二深度图，生成当前时刻的全景图像。

6.根据权利要求5所述的全景图像的获取装置，其特征在于，所述投影模块用于：

根据第一参考相机的相机模型投影和反投影关系，将其他方向的相机采集的第二图像分别按照不同的深度值投影到第一参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二图像对应的多个投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的投影图像中的最佳图像区域；

将所述不同方向的投影图像中的最佳图像区域进行拼接，得到第一投影图像。

7.根据权利要求6所述的全景图像的获取装置，其特征在于，所述投影模块用于：

对于不同方向的相机采集的第二图像，按照不同的深度值投影到所述第一参考相机的视角下的多个投影图像，获取与所述不同方向的相机对应的投影图像的位置偏移量；

若所述位置偏移量最大，则将与最大的所述位置偏移量对应的相机作为拼接相机；

将所述拼接相机采集的图像作为所述不同方向的相机的最佳图像区域。

8.根据权利要求5所述的全景图像的获取装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：

获取多个相机采集的样本鱼眼图像和与所述样本鱼眼图像对应的样本深度图像；

将所述多个样本鱼眼图像中的第一样本图像对应的相机作为第一样本参考相机，并将其他方向的样本相机采集的第二样本图像投影到所述第一样本参考相机的视角下，得到所述第一参考相机视角下与不同方向的第二样本图像对应的多个样本投影图像；

根据不同相机的外参，按照预设选择策略，确定所述不同方向的样本投影图像中的最佳图像区域；

将所述不同方向的样本投影图像中的最佳图像区域进行拼接，得到第一样本投影图像；

根据所述第一样本图像和所述第一样本投影图像，确定多个第一样本视差图像；

根据所述多个第一样本视差图像、所述第一样本图像和所述样本深度图像，对训练模型进行训练，得到训练后的网络模型；

在所述训练后的网络模型对应的损失函数满足预设条件的情况下，将与所述损失函数对应的神经网络模型确定为所述深度图生成模型。

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-4中任意一项权利要求所述的全景图像的获取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-4中任意一项权利要求所述的全景图像的获取方法。