CN116071438A - 一种无人机RigCamera影像的增量SfM方法及装置 - Google Patents

Abstract

本发明提供了一种无人机RigCamera影像的增量SfM方法及装置，涉及计算机视觉的技术领域，包括：获取无人机RigCamera在各个摄站拍摄的影像数据；基于影像数据，确定摄站数据；基于影像数据、摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，目标模型用于求解影像数据的位姿参数和三维点坐标；基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差算法，对目标模型进行优化，得到优化模型，解决了现有的无人机航拍数据的处理效率较低的技术问题。

Description

一种无人机RigCamera影像的增量SfM方法及装置

技术领域

本发明涉及计算机视觉的技术领域，尤其是涉及一种无人机RigCamera影像的增量SfM方法及装置。

背景技术

摄影测量领域中的区域网空中三角测量法以及计算机视觉领域的增量式SfM方法常被应用于无人机影像数据处理领域，以根据无人机影像及相关辅助数据精确解算无人机摄影时的位姿及所观测到的大量地物点的空间三维坐标，也可同时对相机参数进行自检校。其中增量式SfM方法用于大规模无人机影像数据的处理，从由最佳影像对构成的初始模型开始逐步扩展模型，可以有效地控制模型的精度。

随着无人机航拍生成三维点云以及进一步生成三维模型的应用需求的增长，多相机捆绑倾斜摄影、多镜头倾斜摄影的大规模影像数据获取手段也得到了充分的研究以及应用。另外，多光谱无人机数据的获取与处理也在许多领域得到广泛的应用。这些无人机数据获取的趋势为数据处理带来了新的挑战，不仅镜头之间的相对几何位置关系引入的相关性让平差模型变得更加复杂，且其逐渐增大的影像数据规模也使得在控制处理成本的条件下提高处理效率变得更为迫切。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种无人机RigCamera影像的增量SfM方法及装置，以缓解了现有的无人机航拍数据的处理效率较低的技术问题。

第一方面，本发明实施例提供了一种无人机RigCamera影像的增量SfM方法，包括：获取无人机RigCamera在各个摄站拍摄的影像数据，其中，所述无人机RigCamera包括多个RigCamera组，一个RigCamera组包含多个相对空间位置固定的独立相机，所述影像数据包括多个RigCamera组在各个摄站拍摄到的影像数据；基于所述影像数据，确定摄站数据，其中，所述摄站数据包括：所述RigCamera组的数量，各个RigCamera组中的参考相机和映射表，所述参考相机为所述RigCamera组中的任一相机，所述映射表用于表征摄站与在该摄站拍摄的影像数据之间的一对多的对应关系；基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，所述目标模型用于求解所述影像数据的位姿参数和三维点坐标；基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型。

进一步地，基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，构建所述无人机RigCamera的初始模型，包括：第一确定步骤，基于所述摄站数据，确定出参考影像中的目标影像，其中，所述参考影像为所述影像数据中由所述参考相机拍摄的影像数据，所述目标影像为所述参考影像中匹配点数量最多且匹配点分布均匀的两张参考影像；构建步骤，基于所述目标影像的位姿参数、相对位姿解算算法和三维点坐标解算算法，构建初始模型；第二确定步骤，确定出所述影像数据中的第一影像组，其中，所述第一影像组为所述影像数据中除所述目标影像以外的影像数据中符合预设条件影像数据；优化步骤，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型；将所述中间模型确定为所述初始模型，将所述影像数据中除所述目标影像和所述第一影像组以外的影像数据确定为所述影像数据，重复执行所述第二确定步骤和所述优化步骤，直至遍历所述影像数据中的所有影像，得到所述目标模型。

进一步地，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型，包括：基于所述摄站数据和所述初始模型中各个影像的绝对位姿参数，计算出各个RigCamera组中非参考相机和参考相机之间的相对位姿，其中，所述非参考相机为所述RigCamera组中除所述参考相机以外的相机；基于所述针对RigCamera的局部区域网平差算法、所述初始模型和共线条件方程，计算出未知参数，其中，所述未知参数包括：影像位姿参数优化值，三维点坐标优化值和相机参数优化值。所述影像位姿参数包括：参考影像的位姿参数，其参考影像未加入所述初始模型的摄站对应的非参考影像的位姿参数，所述初始模型中的参考影像与非参考影像之间的相对位姿参数，所述非参考影像为所述非参考相机拍摄的影像；基于所述未知参数，对所述初始模型中的非参考影像的位姿参数进行优化，得到所述中间模型。

进一步地，基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型，包括：基于所述针对RigCamera的全局区域网平差算法，对所述目标模型中各个影像数据的位姿参数进行迭代优化，直至所述目标模型中各个影像数据的位姿参数收敛或迭代次数达到第一预设次数，得到第一优化模型；将所述第一优化模型中各个影像数据的位姿参数确定为互不相关的独立参数；基于所述针对独立相机的全局区域网平差算法，对所述独立参数进行迭代优化，直至所述独立参数收敛或迭代次数达到第二预设次数，得到所述优化模型。

第二方面，本发明实施例还提供了一种无人机RigCamera影像的增量SfM装置，包括：获取单元，用于获取无人机RigCamera在各个摄站拍摄的影像数据，其中，所述无人机RigCamera包括多个RigCamera组，一个RigCamera组包含多个相对空间位置固定的相机，所述影像数据包括多个RigCamera组在各个摄站拍摄到的影像数据；确定单元，用于基于所述影像数据，确定摄站数据，其中，所述摄站数据包括：所述RigCamera组的数量，各个RigCamera组中的参考相机和映射表，所述参考相机为所述RigCamera组中的任一独立相机，所述映射表用于表征摄站与在该摄站拍摄的影像数据之间的一对多的对应关系；构建单元，用于基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，所述目标模型用于求解所述影像数据的位姿参数和三维点坐标；优化单元，用于基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型。

进一步地，所述构建单元，用于：第一确定步骤，基于所述摄站数据，确定出参考影像中的目标影像，其中，所述参考影像为所述影像数据中由所述参考相机拍摄的影像数据，所述目标影像为所述参考影像中匹配点数量最多且匹配点分布均匀的两张参考影像；构建步骤，基于所述目标影像的位姿参数、相对位姿解算算法和三维点坐标解算算法，构建初始模型；第二确定步骤，确定出所述影像数据中的第一影像组，其中，所述第一影像组为所述影像数据中除所述目标影像以外的影像数据中符合预设条件影像数据；优化步骤，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型；将所述中间模型确定为所述初始模型，将所述影像数据中除所述目标影像和所述第一影像组以外的影像数据确定为所述影像数据，重复执行所述第二确定步骤和所述优化步骤，直至遍历所述影像数据中的所有影像，得到所述目标模型。

进一步地，所述构建单元，用于：基于所述摄站数据和所述初始模型中各个影像的绝对位姿参数，计算出各个RigCamera组中非参考相机和参考相机之间的相对位姿，其中，所述非参考相机为所述RigCamera组中除所述参考相机以外的相机；基于所述针对RigCamera的局部区域网平差算法、所述初始模型和共线条件方程，计算出未知参数，其中，所述未知参数包括：影像位姿参数优化值，三维点坐标优化值和相机参数优化值。所述影像位姿参数包括：参考影像的位姿参数，其参考影像未加入所述初始模型的摄站对应的位姿参数，所述初始模型中的参考影像与非参考影像之间的相对位姿参数，所述非参考影像为所述非参考相机拍摄的影像；基于所述未知参数，对所述初始模型中的非参考影像的位姿参数进行优化，得到所述中间模型。

进一步地，所述优化单元，用于：基于所述针对RigCamera的全局区域网平差算法，对所述目标模型中各个影像数据的位姿参数进行迭代优化，直至所述目标模型中各个影像数据的位姿参数收敛或迭代次数达到第一预设次数，得到第一优化模型；将所述第一优化模型中各个影像数据的位姿参数确定为互不相关的独立参数；基于所述针对独立相机的全局区域网平差算法，对所述独立参数进行迭代优化，直至所述独立参数收敛或迭代次数达到第二预设次数，得到所述优化模型。

第三方面，本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序。

在本发明实施例中，通过获取无人机RigCamera在各个摄站拍摄的影像数据；基于所述影像数据，确定出摄站数据；基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型；基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差算法，对所述目标模型进行优化，得到优化模型，达到了对无人机航拍数据进行准确高效的处理的目的，进而解决了现有的无人机航拍数据的处理效率较低的技术问题，从而实现了提高无人机航拍数据的处理效率的技术效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种无人机RigCamera影像的增量SfM方法的流程图；

图2为本发明实施例提供的一种无人机RigCamera影像的增量SfM装置的示意图；

图3为本发明实施例提供的一种电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

根据本发明实施例，提供了一种无人机RigCamera影像的增量SfM方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种无人机RigCamera影像的增量SfM方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取无人机RigCamera在各个摄站拍摄的影像数据，其中，所述无人机RigCamera包括多个RigCamera组，一个RigCamera组包含多个相对空间位置固定的相机，所述影像数据包括多个RigCamera组在各个摄站拍摄到的影像数据；

需要说明的是，RigCamera组为一组具有固定相对空间位置关系的多个相机，或一个包含多个具有固定相对空间位置关系的镜头的独立相机。以下对镜头与相机不加区分，都称为相机。

步骤S104，基于所述影像数据，确定摄站数据，其中，所述摄站数据包括：所述RigCamera组的数量，各个RigCamera组中的参考相机和映射表，所述参考相机为所述RigCamera组中的任一相机，所述映射表用于表征摄站与在该摄站拍摄的影像数据之间的一对多的对应关系；

在本发明实施例中，统计RigCamera组的数量即根据影像数据的相机信息，将符合构成RigCamera组的多个相机看作一个RigCamera，并统计总共构成的RigCamera组的数量。

可以选择任意一个相机作为参考相机，选择参考相机的目的仅在于为提供每个摄站提供一组位姿参数，使得非参考相机的位姿参数可根据参考相机的位姿参数及RigCamera的相机之间的相对位姿参数计算得到。

映射表用于描述摄站编号对应的在该摄站拍摄的所有影像的编号。一个摄站对应的影像由某个RigCamera的多个相机同时拍摄获得，其中参考相机所拍摄影像称为参考影像，其他影像为非参考影像。

例如，一个RigCamera组（R1）包括5个相机（C1，C2，C3，C4，C5），该R1在3个摄站（S1，S2，S3）共获取15张影像（I1，I2，...，I15）。其中C1分别在摄站S1，S2，S3获取了影像I1，I6，I11；C2分别在摄站S1，S2，S3获取了影像I2，I7，I12；以此类推，C5分别在摄站S1，S2，S3获取了影像I5，I10，I15。若选择C3作为R1的参考相机，则影像I3，I8，I13为参考影像。“摄站-影像”对应关系为：{R1 - I1，I6，I11}，{I2，I7，I12}，...，{I5，I8，I15}。

步骤S106，基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，所述目标模型用于求解所述影像数据的位姿参数和三维点坐标；

步骤S108，基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差算法，对所述目标模型进行优化，得到优化模型。

在本发明实施例中，步骤S106包括如下步骤：

第一确定步骤，基于所述摄站数据，确定出参考影像中的目标影像，其中，所述参考影像为所述影像数据中由所述参考相机拍摄的影像数据，所述目标影像为所述参考影像中匹配点数量最多且匹配点分布均匀的两张参考影像；

构建步骤，基于所述目标影像的位姿参数、相对位姿解算算法和三维点坐标解算算法，构建初始模型；

第二确定步骤，确定出所述影像数据中的第一影像组，其中，所述第一影像组为所述影像数据中除所述目标影像以外的影像数据中符合预设条件影像数据；

优化步骤，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型；

将所述中间模型确定为所述初始模型，将所述影像数据中除所述目标影像和所述第一影像组以外的影像数据确定为所述影像数据，重复执行所述第二确定步骤和所述优化步骤，直至遍历所述影像数据中的所有影像，得到所述目标模型。

具体的，上述的优化步骤包括以下步骤：

基于所述摄站数据和所述初始模型中各个影像的绝对位姿参数，计算出各个RigCamera组中非参考相机和参考相机之间的相对位姿，其中，所述非参考相机为所述RigCamera组中除所述参考相机以外的相机；

基于所述针对RigCamera的局部区域网平差算法、所述初始模型和共线条件方程，计算出未知参数，其中，所述未知参数包括：影像位姿参数优化值，三维点坐标优化值和相机参数优化值，所述影像位姿参数包括：参考影像的位姿参数，其参考影像未加入所述初始模型的摄站对应的非参考影像的位姿参数，所述初始模型中的参考影像与非参考影像之间的相对位姿参数，所述非参考影像为所述非参考相机拍摄的影像；

基于所述未知参数，对所述初始模型中的非参考影像的位姿参数进行优化，得到所述中间模型。

在本发明实施例中，获取所有参考影像（参考相机所拍摄影像）作为候选影像；

从所述候选影像中选取满足一定条件的两张参考影像作为目标影像；

所述一定条件例如：将“在所有参考影像两两匹配对中匹配点数量最多且分布较均匀”作为一种条件。

构建初始模型可以采用相对位姿及三维点坐标解算方法获得初始模型。

作为一种实施方式，首先采用五点法本质矩阵RANSAC估计方法来计算目标影像的相对位姿，然后采用基于直接线性变换的前方交会方法来解算目标影像的三维点坐标。

在得到初始模型之后，迭代执行以下步骤：

选择第一影像组进行局部区域网平差以扩展上一次迭代所得到的模型，并进行基于RigCamera的区域网平差以优化模型；

具体地，所述选择第一影像组进行局部区域网平差以扩展模型，可采用增量式SfM常用的方法进行模型扩展。

例如，首先基于一定的准则选取第一影像组，其次，根据第一影像组与已有模型的公共三维点采用P3P方法计算待添加影像的位姿；最后，根据待添加影像、已加入模型且与待添加影像存在公共三维点的相关影像及公共三维点构建局部模型进行局部光束法平差，同时优化影像位姿及三维点坐标。

所述进行基于RigCamera的区域网平差以优化模型，包括以下步骤：

根据已加入模型的影像的绝对位姿参数计算各RigCamera的非参考相机与参考相机之间的相对位姿；

首先根据“摄站-影像”对应关系计算每张非参考影像（假设由非参考相机Ci拍摄）的位姿与同摄站参考影像（假设由参考相机Cf拍摄）的相对位姿，作为“非参考相机Ci - 参考相机Cf”影像相对位姿的一组值；

若某张非参考影像的同摄站参考影像未添加到模型中，则跳过该非参考影像；

其次，对属于同一“非参考相机Ci - 参考相机Cf”的影像相对位姿的多组进行求取平均值操作，并将其均值作为“非参考相机Ci -参考相机Cf”的影像相对位姿的初始值；

建立基于RigCamera的平差模型，解算未知参数；

基于RigCamera的平差模型的未知参数包括：影像位姿参数——外方位元素优化值、三维点坐标优化值、相机参数——内方位元素及畸变参数优化值，其中位姿参数包括：1）参考影像的位姿参数；2）同摄站参考影像尚未加入模型的非参考影像的位姿参数；3）已统计的“非参考相机Ci -参考相机Cf”组合的影像相对位姿参数；

根据以上未知参数基于共线条件方程建立观测方程并进行平差解算求解未知参数。

对于具有nR个RigCamera（每个RigCamera包含5台相机），nR*5*N幅影像（每个Rig相机组在N个摄站获取影像）的场景而言，按照所述基于RigCamera的平差模型，按照以下步骤建立观测误差方程：

对于参考影像，及同摄站参考影像尚未加入模型的非参考影像，按照共线方程（如下）建立相应的观测误差方程：

其中，为相机的内方位元素；为摄站的物方空间坐标；为三维点的物方空间坐标；为影像外方位元素组成的9个方向余弦，构成旋转矩阵R。

对于同摄站参考影像已加入模型的非参考影像，按照改动后的共线方程（如下）建立观测误差方程：

其中，为相机的内方位元素；为三维点的物方空间坐标；为非参考影像的物方空间坐标，通过同摄站参考影像的物方空间坐标以及对应的“非参考相机Ci-参考相机Cf”的相对位置关系计算得到。为影像外方位元素组成的9个方向余弦，构成旋转矩阵，可通过同摄站参考影像的旋转矩阵R以及对应的“非参考相机Ci -参考相机Cf”的相对外方位元素构成的旋转矩阵计算得到。

根据优化后的“非参考相机Ci -参考相机Cf”组合的影像相对位姿计算同摄站参考影像已加入模型的非参考影像的位姿。

在本发明实施例中，步骤S108包括如下步骤：

基于所述针对RigCamera的全局区域网平差算法，对所述目标模型中各个影像数据的位姿参数进行迭代优化，直至所述目标模型中各个影像数据的位姿参数收敛或迭代次数达到第一预设次数，得到第一优化模型；

将所述第一优化模型中各个影像数据的位姿参数确定为互不相关的独立参数；

基于所述针对独立相机的全局区域网平差算法，对所述独立参数进行迭代优化，直至所述独立参数收敛或迭代次数达到第二预设次数，得到所述优化模型。

在本发明实施例中，迭代进行针对RigCamera的全局区域网平差；

迭代进行针对RigCamera的全局区域网平差针对所有加入模型的影像，每一次迭代的步骤与前述进行针对RigCamera的区域网平差以优化模型原理相同，迭代终止的条件为满足收敛条件或者达到最大迭代次数，得到第一优化模型。

若nR*5*N幅影像都已加入目标模型，则每次迭代时共有nR*（N+4）组待改正的位姿参数。

迭代进行针对独立相机的全局区域网平差；

迭代进行针对独立相机的全局区域网平差针对所有加入模型的影像，每一次迭代的步骤中将每张影像的位姿参数作为不相关的独立参数进行全局区域网平差，迭代终止的条件为满足收敛条件或者达到最大迭代次数，得到优化模型。

若nR*5*N幅影像都已加入目标模型，则每次迭代时共有nR*5*N组待改正的位姿参数。

本发明实施例中通过RigCamera模型来概括多相机捆绑倾斜摄影、多镜头倾斜摄影、多光谱摄影等多相机/镜头模型。该模型假设各个相机在同一摄站拍摄的多张影像之间的相对位置关系是固定不变的，且可以看作是同时曝光（即各镜头曝光时间差别极小）。因此，在这样的假设条件下，选定一个固定的相机作为参考相机，每张影像的拍摄位姿可看作该摄站的参考相机拍摄时的位姿及该影像相机与参考相机之间的相对位姿的组合。这样可以大大减少需要解算的位姿参数，在提高解算效率的同时也能避免解算时由于误差造成各摄站相机之间相对位置关系变化的问题。

实施例二：

本发明实施例还提供了一种无人机RigCamera影像的增量SfM装置，该无人机RigCamera影像的增量SfM装置用于执行本发明实施例上述内容所提供的无人机RigCamera影像的增量SfM方法，以下是本发明实施例提供的无人机RigCamera影像的增量SfM装置的具体介绍。

如图2所示，图2为上述无人机RigCamera影像的增量SfM装置的示意图，该无人机RigCamera影像的增量SfM装置包括：

获取单元10，用于获取无人机RigCamera在各个摄站拍摄的影像数据，其中，所述无人机RigCamera包括多个RigCamera组，一个RigCamera组包含多个相对空间位置固定的相机，所述影像数据包括多个RigCamera组在各个摄站拍摄到的影像数据；

确定单元20，用于基于所述影像数据，确定摄站数据，其中，所述摄站数据包括：所述RigCamera组的数量，各个RigCamera组中的参考相机和映射表，所述参考相机为所述RigCamera组中的任一相机，所述映射表用于表征摄站与在该摄站拍摄的影像数据之间的一对多的对应关系；

构建单元30，用于基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，所述目标模型用于求解所述影像数据的位姿参数和三维点坐标；

优化单元40，用于基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型。

在本发明实施例中，通过获取无人机RigCamera在各个摄站拍摄的影像数据；基于所述影像数据，确定摄站数据；基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型；基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型，达到了对无人机航拍数据进行准确高效的处理的目的，进而解决了现有的无人机航拍数据的处理效率较低的技术问题，从而实现了提高无人机航拍数据的处理效率的技术效果。

实施例三：

本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

参见图3，本发明实施例还提供一种电子设备100，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。

其中，存储器51可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。

处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。

实施例四：

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种无人机RigCamera影像的增量SfM方法，其特征在于，包括：

获取无人机RigCamera在各个摄站拍摄的影像数据，其中，所述无人机RigCamera包括多个RigCamera组，一个RigCamera组包含多个相对空间位置固定的相机，所述影像数据包括多个RigCamera组在各个摄站拍摄到的影像数据；

基于所述影像数据，确定摄站数据，其中，所述摄站数据包括：所述RigCamera组的数量，各个RigCamera组中的参考相机和映射表，所述参考相机为所述RigCamera组中的任一相机，所述映射表用于表征摄站与在该摄站所拍摄的影像数据之间的一对多的对应关系；

基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，所述目标模型用于求解所述影像数据的位姿参数和三维点坐标；

基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型。

2.根据权利要求1所述的方法，其特征在于，基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，构建所述无人机RigCamera的初始模型，包括：

第一确定步骤，基于所述摄站数据，确定出参考影像中的目标影像，其中，所述参考影像为所述影像数据中由所述参考相机拍摄的影像数据，所述目标影像为所述参考影像中匹配点数量最多且匹配点分布均匀的两张参考影像；

构建步骤，基于所述目标影像的位姿参数、相对位姿解算算法和三维点坐标解算算法，构建初始模型；

第二确定步骤，确定出所述影像数据中的第一影像组，其中，所述第一影像组为所述影像数据中除所述目标影像以外的影像数据中符合预设条件影像数据；

优化步骤，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型；

将所述中间模型确定为所述初始模型，将所述影像数据中除所述目标影像和所述第一影像组以外的影像数据确定为所述影像数据，重复执行所述第二确定步骤和所述优化步骤，直至遍历所述影像数据中的所有影像，得到所述目标模型。

3.根据权利要求2所述的方法，其特征在于，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型，包括：

基于所述摄站数据和所述初始模型中各个影像的绝对位姿参数，计算出各个RigCamera组中非参考相机和参考相机之间的相对位姿，其中，所述非参考相机为所述RigCamera组中除所述参考相机以外的相机；

基于所述针对RigCamera的局部区域网平差算法、所述初始模型和共线条件方程，计算出未知参数，其中，所述未知参数包括：影像位姿参数优化值，三维点坐标优化值和相机参数优化值，所述影像位姿参数包括：参考影像的位姿参数，其参考影像未加入所述初始模型的摄站对应的非参考影像的位姿参数，所述初始模型中的参考影像与非参考影像之间的相对位姿参数，所述非参考影像为所述非参考相机拍摄的影像；

基于所述未知参数，对所述初始模型中的非参考影像的位姿参数进行优化，得到所述中间模型。

4.根据权利要求1所述的方法，其特征在于，基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型，包括：

基于所述针对RigCamera的全局区域网平差算法，对所述目标模型中各个影像数据的位姿参数进行迭代优化，直至所述目标模型中各个影像数据的位姿参数收敛或迭代次数达到第一预设次数，得到第一优化模型；

将所述第一优化模型中各个影像数据的位姿参数确定为互不相关的独立参数；

基于所述针对独立相机的全局区域网平差算法，对所述独立参数进行迭代优化，直至所述独立参数收敛或迭代次数达到第二预设次数，得到所述优化模型。

5.一种无人机RigCamera影像的增量SfM装置，其特征在于，包括：

获取单元，用于获取无人机RigCamera在各个摄站拍摄的影像数据，其中，所述无人机RigCamera包括多个RigCamera组，一个RigCamera组包含多个相对空间位置固定的相机，所述影像数据包括多个RigCamera组在各个摄站拍摄到的影像数据；

确定单元，用于基于所述影像数据，确定摄站数据，其中，所述摄站数据包括：所述RigCamera组的数量，各个RigCamera组中的参考相机和映射表，所述参考相机为所述RigCamera组中的任一相机，所述映射表用于表征摄站与在该摄站所拍摄的影像数据之间的一对多的对应关系；

构建单元，用于基于所述影像数据、所述摄站数据和针对RigCamera的局部区域网平差算法，采用迭代的方式构建目标模型，其中，所述目标模型用于求解所述影像数据的位姿参数和三维点坐标；

优化单元，用于基于针对RigCamera的全局区域网平差算法和针对独立相机的全局区域网平差，对所述目标模型进行优化，得到优化模型。

6.根据权利要求5所述的装置，其特征在于，所述构建单元，用于：

第一确定步骤，基于所述摄站数据，确定参考影像中的目标影像，其中，所述参考影像为所述影像数据中由所述参考相机拍摄的影像数据，所述目标影像为所述参考影像中匹配点数量最多且匹配点分布均匀的两张参考影像；

构建步骤，基于所述目标影像的位姿参数、相对位姿解算算法和三维点坐标解算算法，构建初始模型；

第二确定步骤，确定出所述影像数据中的第一影像组，其中，所述第一影像组为所述影像数据中除所述目标影像以外的影像数据中符合预设条件影像数据；

优化步骤，基于所述第一影像组和所述针对RigCamera的局部区域网平差算法，对所述初始模型进行优化，得到中间模型；

将所述中间模型确定为所述初始模型，将所述影像数据中除所述目标影像和所述第一影像组以外的影像数据确定为所述影像数据，重复执行所述第二确定步骤和所述优化步骤，直至遍历所述影像数据中的所有影像，得到所述目标模型。

7.根据权利要求6所述的装置，其特征在于，所述构建单元，用于：

基于所述摄站数据和所述初始模型中各个影像的绝对位姿参数，计算出各个RigCamera组中非参考相机和参考相机之间的相对位姿，其中，所述非参考相机为所述RigCamera组中除所述参考相机以外的相机；

基于所述针对RigCamera的局部区域网平差算法、所述初始模型和共线条件方程，计算出未知参数，其中，所述未知参数包括：影像位姿参数优化值，三维点坐标优化值和相机参数优化值，所述影像位姿参数包括：参考影像的位姿参数，其参考影像未加入所述初始模型的摄站对应的非参考影像的位姿参数，所述初始模型中的参考影像与非参考影像之间的相对位姿参数，所述非参考影像为所述非参考相机拍摄的影像；

基于所述未知参数，对所述初始模型中的非参考影像的位姿参数进行优化，得到所述中间模型。

8.根据权利要求5所述的装置，其特征在于，所述优化单元，用于：

基于所述针对RigCamera的全局区域网平差算法，对所述目标模型中各个影像数据的位姿参数进行迭代优化，直至所述目标模型中各个影像数据的位姿参数收敛或迭代次数达到第一预设次数，得到第一优化模型；

将所述第一优化模型中各个影像数据的位姿参数确定为互不相关的独立参数；

基于所述针对独立相机的全局区域网平差算法，对所述独立参数进行迭代优化，直至所述独立参数收敛或迭代次数达到第二预设次数，得到所述优化模型。

9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至4任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至4任一项所述方法的步骤。

Images