CN114972536A - 一种航空面阵摆扫式相机定位和标定方法 - Google Patents

Abstract

本发明属于航空遥感和无人机数据处理技术领域，具体涉及一种航空面阵摆扫式相机定位和标定方法。首先通过影像匹配建立任意两景有重叠范围影像之间的空间联系，并将其空间旋转和平移关系转换到航线空间坐标系下；然后对四焦点张量模型内的相邻两组影像建立四线性约束关系，以四焦点张量模型为独立平差单元，计算四焦点张量模型内匹配成功点的物点坐标；最后建立以四焦点张量模型为独立单元的光束法平差代价函数，进行以四焦点张量模型为基础的光束法平差和标定处理。本发明可以建立稳健固定的局部影像几何关系，克服相机摆扫角越大，影像几何畸变程度越大的缺陷；以四焦点张量模型为独立单元建立平差代价函数，减少运算量，提高平差收敛速度。

Description

一种航空面阵摆扫式相机定位和标定方法

技术领域

本发明属于航空遥感和无人机数据处理技术领域，具体涉及一种航空面阵摆扫式相机定位和标定方法。

背景技术

航空面阵摆扫相机具有单个镜头或多个镜头，采用面阵CCD或CMOS电子器件作为探测元件，相机可沿航线垂直方向进行大角度倾斜摆扫侧视成像，可获得飞行航线两侧较大范围的地面影像，如图1(a)和图1(b)所示，具有瞬间凝视成像、几何关系稳定、总视场大、观测范围宽、多角度成像等特点在境外侦察成像、倾斜摄影测量、三维仿真重建等领域具有广泛的应用。典型的面阵摆扫航空相机有Goodrich公司的DB-110系列航空相机、Raytheon公司的全球鹰搭载相机、FLIR公司生产的B2-FO相机以及以色列ELOP公司的双波段LOROP相机、以色列VisionMap的A3-edge相机。其中A3-edge是新一代的步进式分幅成像航摄仪、携带300mm长焦双镜头，两个镜头位置关系固定，航摄过程中相机围绕中心轴在垂直飞行方向上摆扫成像，相机的0号镜头和1号镜头同时曝光成像，摆扫角最高可达109°。在完成摆扫成像后，相机反向回摆并迅速归位，回摆过程不成像。

但是面阵摆扫式航空影像像幅小，影像数量多，航线关系复杂，大倾角成像时全景畸变严重，这些都增加了定位和标定处理的难度。而且面阵摆扫式相机由于摆扫角度较大，相邻影像之间角度变化快，差异大，相机一般仅配置有GNSS设备，可以提供成像时相机的位置信息，但不装备IMU姿态测量，无法提供成像时相机的角度信息，传统的摄影测量定位处理方法不在适用。

发明内容

本发明的目的在于提供一种航空面阵摆扫式相机定位和标定方法，用以解决传统的摄影测量标定和定位处理方法不适用航空面阵摆扫式相机的问题。

为解决上述技术问题，本发明所提供的技术方案以及技术方案对应的有益效果如下：

本发明提供了一种航空面阵摆扫式相机定位和标定方法，包括如下步骤：

1)获取航空面阵摆扫式相机影像，建立按照航线排列关系组织的影像检索关系；

2)按照影像检索关系对获得的每景影像进行特征提取和特征匹配，以找到每景影像和所有存在重叠关系影像之间的成功匹配点；

3)针对每景影像，建立考虑相机畸变和标定参数的成像模型，相应的物点和像点之间几何关系为：

x＝PX＝K[R|t]X

式中，P＝K[R|t]为摄像机矩阵，R为旋转矩阵，t为平移向量，K为相机内参数矩阵；X为物点位置；x为像点位置；

4)设定相机内参数矩阵K为单位矩阵，利用步骤2)中得到的成功匹配点，计算存在重叠关系的两张影像间的旋转和平移关系，即影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij；

5)以每条航线第一个摆扫周期第一景影像为参考，定义航线空间坐标系，并根据步骤4)得到的影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij，将全部影像的旋转矩阵转换到航线空间坐标系下，从而得到全部影像在航线空间坐标系下的旋转矩阵初值；

6)获取多组四景影像，一组四景影像分别为在某一扫摆角度下航空面阵摆扫式相机中的两个相机拍摄的影像和另一扫摆角度下两个相机拍摄的影像，根据全部影像在航线空间坐标系下的旋转矩阵初值确定四景影像的摄像机矩阵，进而建立相应的四焦点张量模型，并确定每个四焦点张量模型中成功匹配点所对应的物点坐标；

7)构建以四焦点张量模型为单元的平差代价函数，利用四焦点张量模型中控制点、以及成功匹配点以及所对应的三维坐标进行平差处理，更新每景影像的旋转矩阵R和平移向量t，实现航空面阵摆扫式相机定位，并更新相机内参数矩阵K，实现航空面阵摆扫式相机标定。

其有益效果为：本发明鉴于面阵摆扫大倾角航空相机获取影像像幅小、数量多、航线关系复杂、大倾角成像时全景畸变严重、不具备姿态角初值的问题，创新性以提出建立四焦点张量模型，以四焦点张量模型为独立单元，进行面阵摆扫航空相机的定位和标定处理。具体处理时，以四焦点张量模型为独立平差单元，计算每个四焦点张量模型内大量匹配成功点的空间三维坐标(物点坐标)，可以克服相机摆扫角越大、影像几何畸变程度越大的缺陷；在四焦点张量模型内部利用旋转矩阵间约束关系，可以进一步剔除四焦点张量模型内部的错误匹配点，精化摄像机矩阵，为光束法平差提供更精确的初始估计值；最后以四焦点张量模型为基础建立平差代价函数，可以减少平差运算量，提供平差收敛速度，避免影像数量众多、关系复杂引起的平差速度慢、不收敛等问题。

进一步地，步骤2)中，采用Sift特征提取算法来进行特征提取，并利用RANSAC算法剔除特征匹配结果中存在的粗差。

进一步地，步骤3)中，相机内参数矩阵K为增加了扭曲参数s的相机内参数矩阵：

式中，α_x和α_y分别为相机在x和y轴方向的几何畸变参数；x₀和y₀分别为相机焦平面上的主点位移参数。

进一步地，步骤4)中，采用如下方法确定影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij：

4.1)利用至少5对的成功匹配点对，并结合核面约束条件，求解得到本质矩阵E；其中，所述核面约束条件为：

其中，所述p₁和p₂分别为影像i和影像j上的一对成功匹配点对的坐标；

4.2)对本质矩阵E进行奇异值分解，得到影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij。

进一步地，步骤4)中，影像i和影像j在航线空间坐标系下的旋转矩阵R_i和R_j之间的关系为：

R_j＝R_ijR_i。

进一步地，步骤6)中采用如下方法建立相应的四焦点张量模型：

6.1)四景影像的摄像机矩阵分别为摄像机矩阵A、摄像机矩阵B、摄像机矩阵C、摄像机矩阵D，设某一物点X在四景影像上存在一组对应点，分别为像点x、像点x′、像点x″、像点x″′，定义四焦点张量为：

式中，Q^pqrs为四焦点张量的张量符号表示；aⁱ为摄像机矩阵A的第i行；b^q为摄像机矩阵B的第q行；c^r为摄像机矩阵C的第r行；d^s为摄像机矩阵D的第s行；

6.2)由四景影像间存在的投影关系，推导得到四焦点张量的四线性约束关系；

所述四景影像间存在的投影关系为：

式中，k、k′、k″和k″′均为不确定的比例常数；

所述四线性约束关系为：

xⁱx′^jx″^kx″′^lε_ipwε_jqxε_kryε_lszQ^pqrs＝0_wxyz

式中，下标w、x、y和z为自由变量；ε_ipw、ε_jqx、ε_kry和ε_lsz为不同向量之间的向量积；

6.3)基于步骤5)中影像在航线空间坐标系下的旋转矩阵初值和位置信息初值，确定摄像机矩阵A、摄像机矩阵B、摄像机矩阵C和摄像机矩阵D，以建立四焦点张量模型。

进一步地，采用如下方法确定每个四焦点张量模型中成功匹配点所对应的物点坐标：

6.4)获得物点X和每个像点x、x′、x″、x″′存在的投影关系：

6.5)设像点x的平面坐标为(x,y)，像点x′的平面坐标为(x′,y′)，像点x″的平面坐标为(x″,y″)，像点x″′的平面坐标为(x″′,y″′)，对于步骤6.4)中的每个方程，通过叉乘消去齐次标量因子，使得步骤6.4)中的每一个方程均得到三个方程，从而得到十二个方程，分别为：

式中，A^3T为摄像机矩阵A的第3行的转置矩阵，A^1T为摄像机矩阵A的第1行的转置矩阵，A^2T为摄像机矩阵A的第2行的转置矩阵，B^3T为摄像机矩阵B的第3行的转置矩阵，B^1T为摄像机矩阵B的第1行的转置矩阵，B^2T为摄像机矩阵B的第2行的转置矩阵，C^3T为摄像机矩阵C的第3行的转置矩阵，C^1T为摄像机矩阵C的第1行的转置矩阵，C^2T为摄像机矩阵C的第2行的转置矩阵；

6.6)取步骤6.5中每三个方程的前两个方程，共得到八个方程，构建得到如下方程：

NX-L＝0

6.7)解算步骤6.6)构建得到的方程，从而得到物点X坐标。

进一步地，步骤6.7)中采用最小二乘法解算步骤6.6)构建得到的方程。

进一步地，步骤7)中，进行平差处理所采用的方法为基于四焦点张量模型的光束法平差和标定法；设某一物点X在四景影像上存在一组对应点，分别为像点x、像点x′、像点x″、像点x″′；

所述基于四焦点张量模型的平差代价函数为：

式中，f(z)为平差代价函数，也为BA代价函数；(x_i,y_i),i∈(1,2,3,4)为四个像点x、x′、x″、x″′对应的像点观测坐标；R_i为对应的旋转矩阵；t_i为对应的平移向量；

为像点坐标的计算值；z为未知参数，包括相机内参数矩阵、旋转矩阵、平移向量和物点坐标；

相应的采用所述光束法平差和标定法进行定位和标定时，采用LM算法对BA代价函数进行最优化求解，BA代价函数为：

式中，n为参与平差和定标运算的全部控制点和成功匹配点对所列出的BA代价函数的个数总和，k为所列出的单个BA代价函数的序号。

进一步地，所述基于四焦点张量模型的光束法平差和标定法为三阶段光束平差法定位和标定方法，所述三阶段光束平差法定位和标定方法的三个阶段为：在第一阶段，设置相机内参数矩阵K为单位矩阵E，旋转矩阵R_i保持不变，光束法平差定位和标定过程只处理平移向量t_i和物点坐标；在第二阶段，设置内参数矩K仍然是单位矩阵E，但平移向量t_i、旋转矩阵R_i和物点坐标参与光束法平差定位和标定；在第三个阶段，包括相机内参数矩阵K、平移向量t_i、旋转矩阵R_i和物点坐标在内的所有未知数均参与光束法平差定位和标定。

附图说明

图1(a)是航空面阵摆扫式相机的摆扫成像关系示意图；

图1(b)是航空面阵摆扫式相机的相邻摆扫周期的影像关系示意图；

图2是本发明的航空面阵摆扫式相机定位和标定方法的流程图；

图3是两景影像间核面几何关系示意图；

图4是四焦点张量模型图示意图。

具体实施方式

本发明提出建立四焦点张量模型，以四焦点张量模型为独立平差单元进行平差处理，以实现对面阵摆扫大倾角航空影像的定位和标定。下面结合附图和实施例，对本发明进行详细说明。

航空面阵摆扫式相机定位和标定方法实施例：

本发明的一种航空面阵摆扫式相机定位和标定方法实施例，其整体流程如图2所示，下面具体介绍。

步骤一，获取航空面阵摆扫式相机影像，依据航空影像成像时间和POS数据，将全部待处理面阵摆扫大倾角航空影像按航线排列，建立按照航线关系组织的影像检索关系。

步骤二，采用Sift特征提取算法，按照影像检索关系提取每景影像的特征算子和特征描述符，利用汉明距离进行迭代特征匹配，同时采用RANSAC算法剔除匹配结果中存在的大量粗差，寻找每景影像和所有物存在重叠关系影像之间的成功匹配点。具体过程如下：

1、进行初次匹配，初次匹配结果中随机选取4组匹配点对作为初始样本，计算其单应性矩阵，并对矩阵所对应的参数模型记为M。

2、将其他匹配点依次代入步骤1中的参数模型M，若匹配点能够较好的拟合该模型，则认为这个匹配点为该模型下的内点，反之为外点，统计该模型下内点个数为sum。

3、重复上述步骤k次，迭代次数k由式(1)得到，选取k个模型中内点数量最大的模型为正确估计模型，该模型下的内点为正确匹配点，将其视为最终匹配结果。

式中，n为初始样本个数，本实施例中n＝4；p为所有匹配点对中随机选取的n各样本均为正确匹配点的概率；w为在所有匹配点对中选取一个点为正确匹配点的概率。

步骤三，对每景面阵摆扫影像，依据针孔成像模型，建立考虑相机畸变和标定参数的成像模型。

面阵摆扫航空相机采用针孔相机模型进行描述，物方空间中三维点P(X,Y,Z)经过小孔投影之后，落在影像平面，形成像点p(x,y,-f)。物点和像点之间几何关系采用的几何模型关系如下：

x＝PX＝K[R|t]X (2)

式中，R为姿态矩阵，是一个表示相机坐标系方向的3×3旋转矩阵；t为平移向量；R和t称为相机的外参数矩阵；K为相机的内参数矩阵，也称为摄像机标定矩阵；P＝K[R|t]为相机的摄像机矩阵。面阵摆扫航空相机定位和标定的过程就是确定R、t和K的过程。

CCD摄像机的标定矩阵的一般形式为：

式中，α_x和α_y分别为相机在x和y轴方向的几何畸变参数；x₀和y₀分别为相机焦平面上的主点位移参数。

为了增加通用性，可以增加扭曲参数s，增加扭曲参数s后的标定矩阵为：

步骤四，基于步骤二得到的成功匹配点，计算存在重叠关系的两张影像间的空间旋转和平移关系，即影像i和影像j之间的姿态旋转矩阵R_ij和平移矩阵t_ij。

若具有重叠度的两张影像上存在成功匹配点对，如图3所示，影像I₁、I₂相机中心分别为O₁、O₂，光线O₁p₁与光线O₂p₂在三维空间中相交于点P，O₁、O₂、P三点确定核面，O₁、O₂连线与像平面I₁、I₂的交点分别为核点e₁、e₂，核面与两个像平面的交线为核线l₁、l₂，影像I₁中像点p₁与影像I₂中像点p₂为成功匹配点对，利用成功匹配点对可以估计影像I₁到影像I₂的旋转矩阵R_ij和平移矩阵t_ij。

像点p₁、p₂满足核面约束如下：

它的几何意义是O₁、P、O₂三者共面，E称为本质矩阵，E＝t^R，E是t和R的外积，垂直于t和R。核面约束中同时包含了平移和旋转，由本质矩阵E，还可以定义基础矩阵F，F＝K^{- T}EK^-1。核面约束给出了两个匹配点的空间位置关系，利用匹配点，根据核面约束可以求出本质矩阵E或者基础矩阵F，然后分解确定R_ij和t_ij，确定两张影像间的相对旋转和平移。

具体求解过程如下：

1、设像点p1、p2的归一化坐标分别为x₁＝(u₁ v₁ 1)^T、x₂＝(u₂ v₂ 1)^T，本质矩阵

相应的核面约束形式如下：

2、将公式(6)展开，得到线性方程组：

3、本质矩阵E描述了平移和旋转变化，自由度为6，但由于尺度等价性的影响，实际自由度为5。因而，此处利用至少5对以上的成功匹配点对，采用经典八点法(Eight-point-algorithm)确定E矩阵。

4、得到本质矩阵E后，对本质矩阵E进行奇异值分解(SVD)得到R_ij和t_ij，确定两景影像的相对旋转和平移。

步骤五，以每条航线第一个摆扫周期第一景cam0影像为参考，定义航线空间坐标系，其旋转矩阵为R＝I(I表示单位矩阵)，基于步骤四的计算结果，将全部影像的旋转矩阵转换到航线空间坐标系下，获得全部影像在航线空间坐标系下的旋转矩阵初值。

设影像i在航线空间坐标系下的旋转矩阵为R_i，步骤四得到的影像j和影像i之间的旋转矩阵为R_ij，则影像j在航线空间坐标系下的旋转矩阵R_j为：

R_j＝R_ijR_i (8)

步骤六，获取多组四景影像，建立相应的四焦点张量模型，并计算每个四焦点张量模型中成功匹配点所对应的物点坐标(三维坐标)。

对于VisionMap相机，在某一摆扫角度，cam0和cam1相机获得了影像Ⅰ和影像Ⅰ′,对应投影面Ⅱ和Ⅱ′，投影中心分别为C和C′；摆扫角发生变化，在下一个成像时刻，cam0和cam1相机获得了影像Ⅰ″和影像Ⅰ″′,对应投影面Ⅱ″和Ⅱ″′，投影中心为C″和C″′，空间中直线L在四景影像视图上分别成像，如图4所示。具体计算物点坐标的过程如下：

1、设四景影像视图的摄像机矩阵为A、B、C和D时，一个空间三维点X(也可称为物点X)在四景影像视图上，存在跨四景视图的一组对应点

四景影像视图构成四焦点张量模型，四景影像视图间存在投影方程关系：

式中，k、k′、k″和k″′均为不确定的比例常数。记矩阵A的第i行为aⁱ，矩阵B的第i行为bⁱ，矩阵C和D可以依次类推。

2、定义四维四焦点张量如下：

式中，aⁱ为摄像机矩阵A的第i行；b^q为摄像机矩阵B的第q行；c^r为摄像机矩阵C的第r行；d^s为摄像机矩阵D的第s行。

3、由投影关系方程(9)中推导四焦点张量的四线性关系如下：

xⁱx′^jx″^kx″′^lε_ipwε_jqxε_kryε_lszQ^pqrs＝0_wxyz (11)

式中，w、x、y和z是自由变量；ε_ipw、ε_jqx、ε_kry和ε_lsz代表不同向量之间的向量积。

4、基于步骤五中航线空间坐标系下的旋转矩阵初值和POS提供的位置信息初值，确立摄像机矩阵A、B、C和D，建立四焦点张量模型。

利用四线性约束关系可以进一步剔除四焦点张量模型内部的错误匹配点，精化摄像机矩阵A、B、C和D，为光束法平差提供更精确的初始估计值。下一步利用摄像机矩阵A、B、C、D和成功匹配点的像点坐标进行三角测量运算，计算成功匹配点在航线空间坐标系下的三维模型坐标。

5、空间三维点X在四景影像视图上对应点分别为

空间三维点和像点存在投影关系：

6、设像点x的平面坐标为(x,y)，像点x′的平面坐标为(x′,y′)，像点x″的平面坐标为(x″,y″)，像点x″′的平面坐标为(x″′,y″′)，对于公式(12)中的各个方程，通过叉乘消去齐次标量因子，每个方程均得到三个方程。以公式(12)中第一个方程为例，通过叉乘消去齐次标量因子，得到三个方程，如式(13)所示，其中两个是线性独立的。

式中，A^3T为摄像机矩阵A的第3行的转置矩阵，A^1T为摄像机矩阵A的第1行的转置矩阵，A^2T为摄像机矩阵A的第2行的转置矩阵，B^3T为摄像机矩阵B的第3行的转置矩阵，B^1T为摄像机矩阵B的第1行的转置矩阵，B^2T为摄像机矩阵B的第2行的转置矩阵，C^3T为摄像机矩阵C的第3行的转置矩阵，C^1T为摄像机矩阵C的第1行的转置矩阵，C^2T为摄像机矩阵C的第2行的转置矩阵。

7、从公式(13)中取前两个方程，其余像点按照同样方式处理，四个像点

构建出8个方程：

NX-L＝0

8、采用最小二乘法答解公式(14)，得到四焦点张量模型中成功匹配点所对应的空间三维点坐标。

步骤七，构建以四焦点张量模型为单元的平差代价函数，进行光束法平差BA(Bundle Adjustment)处理，更新每景影像的旋转矩阵和平移向量，同时标定相机内参数矩阵，实现航空面阵摆扫式相机定位和标定。

定义以四焦点张量模型为基础的，光束法平差的代价函数为：

式中，(x_i,y_i),i∈(1,2,3,4)是四个像点

对应的像点观测坐标；R_i,i∈(1,2,3,4)是对应的旋转矩阵；t_i,i∈(1,2,3,4)是对应的平移向量；

为像点坐标的计算值；z是未知参数向量，包括机内参数矩阵、旋转矩阵、平移向量以及标空间点三维坐标。

像点坐标观测值和像点坐标计算值之间的误差是地面点的重投影误差，代表了旋转矩阵、平移参数、相机内标定参数和地面点坐标所包含的误差大小。代价函数函数取得最小值，则位姿参数、标定参数、空间点三维坐标取得最优解。

光束法平差的过程就是公式(16)非线性最小二乘BA代价函数的最优化过程：

式中，n为参与平差和定标运算的全部控制点和成功匹配点对所列出的BA代价函数的个数总和，k为所列出的单个BA代价函数的序号。

本实施例中，采用Levenberg-Marquardt(LM)对BA代价函数进行最优化求解。LM算法将原始非线性代价函数(16)分解为一系列正则化线性函数的逼近，J(z)是f(z)的雅可比矩阵，每次循环LM以如下形式更新求解线性最小二乘问题：

式中，δ为未知参数z在每次迭代过程中的增量；D(z)是矩阵J(z)^TJ(z)的平方根矩阵；λ是正则化参数，可以根据J(z)与f(z)的逼近程度进行调整。如果||f(z+δ^*)||＜||f(z)||，则更新未知参数z→z+δ^*。求解公式(17)相当于求解如下标准方程：

(J^TJ+λD^TD)δ＝-J^Tf (18)式中，(J^TJ+λD^TD)被称作扩展Hessian矩阵。

在光束法平差中，未知参数向量z包括两部分内容：相机位姿和标定参数、以及空间点三维坐标参数，z＝[z_c；z_p]，z_c是相机位姿和标定参数，z_p是空间三维点坐标参数。同理，D,δ,J也可以分为两个部分，D＝[D_c；D_p]，δ＝[δ_c；δ_p]，J＝[J_c；J_p]。设

方程(18)可以写为块状线性***：

采用高斯消元法处理方程(19)，可以消去空间点三维坐标参数，得到只包括相机参数的线性方程：

求解方程(20)，得到δ_c，然后反向替换，求得：

迭代循环求解δ_c和δ_p，两次循环后，δ_c和δ_p均可以达到很高的精度，计算结束。

在摄影测量处理中，大***误差主要由位姿参数引起，而航空相机和星载相机的剩余微小***误差都是由相机内参数引起。本发明还提出三阶段光束平差法定位和标定处理，首先处理旋转矩阵和平移向量，最后处理内参数矩阵。在第一阶段，内参数矩阵K设置为E(单位矩阵)，旋转矩阵R_i保持不变，光束法平差定位和标定过程只处理平移向量t_i和物点坐标。在第二阶段，内参数矩阵K仍然是E，但平移向量t_i、旋转矩阵R_i和物点坐标都参与光束法平差定位和标定。在第三个阶段，包括内参数矩阵K、平移向量t_i、旋转矩阵R_i和物点坐标在内的所有未知数都参与光束法平差定位和标定。

至此，完成了基于四焦点张量的面阵摆扫大倾角航空相机的定位和标定处理流程。

综上，本发明鉴于面阵摆扫大倾角航空相机获取影像像幅小、数量多、航线关系复杂、大倾角成像时全景畸变严重、不具备姿态角初值的问题，创新性以提出建立四焦点张量模型，以四焦点张量模型为独立单元，进行面阵摆扫航空相机的定位和标定处理。以四焦点张量模型为独立平差单元，计算每个四焦点张量模型内大量匹配成功点的空间三维坐标，可以克服相机摆扫角越大、影像几何畸变程度越大的缺陷。在四焦点张量模型内部利用旋转矩阵间约束关系，可以进一步剔除四焦点张量模型内部的错误匹配点，精化摄像机矩阵A、B、C和D，为光束法平差提供更精确的初始估计值。最后以四焦点张量模型为基础建立平差代价函数，可以减少平差运算量，提供平差收敛速度，避免影像数量众多、关系复杂引起的平差速度慢、不收敛等问题。

Claims (10)

1.一种航空面阵摆扫式相机定位和标定方法，其特征在于，包括如下步骤：

1)获取航空面阵摆扫式相机影像，建立按照航线排列关系组织的影像检索关系；

2)按照影像检索关系对获得的每景影像进行特征提取和特征匹配，以找到每景影像和所有存在重叠关系影像之间的成功匹配点；

3)针对每景影像，建立考虑相机畸变和标定参数的成像模型，相应的物点和像点之间几何关系为：

x＝PX＝K[R|t]X

式中，P＝K[R|t]为摄像机矩阵，R为旋转矩阵，t为平移向量，K为相机内参数矩阵；X为物点位置；x为像点位置；

4)设定相机内参数矩阵K为单位矩阵，利用步骤2)中得到的成功匹配点，计算存在重叠关系的两张影像间的旋转和平移关系，即影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij；

5)以每条航线第一个摆扫周期第一景影像为参考，定义航线空间坐标系，并根据步骤4)得到的影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij，将全部影像的旋转矩阵转换到航线空间坐标系下，从而得到全部影像在航线空间坐标系下的旋转矩阵初值；

6)获取多组四景影像，一组四景影像分别为在某一扫摆角度下航空面阵摆扫式相机中的两个相机拍摄的影像和另一扫摆角度下两个相机拍摄的影像，根据全部影像在航线空间坐标系下的旋转矩阵初值确定四景影像的摄像机矩阵，进而建立相应的四焦点张量模型，并确定每个四焦点张量模型中成功匹配点所对应的物点坐标；

7)构建以四焦点张量模型为单元的平差代价函数，利用控制点、四焦点张量模型中成功匹配点以及所对应的三维坐标进行平差处理，更新每景影像的旋转矩阵R和平移向量t，实现航空面阵摆扫式相机定位，并更新相机内参数矩阵K，实现航空面阵摆扫式相机标定。

2.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤2)中，采用Sift特征提取算法来进行特征提取，并利用RANSAC算法剔除特征匹配结果中存在的粗差。

3.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤3)中，相机内参数矩阵K为增加了扭曲参数s的相机内参数矩阵：

式中，α_x和α_y分别为相机在x和y轴方向的几何畸变参数；x₀和y₀分别为相机焦平面上的主点位移参数。

4.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤4)中，采用如下方法确定影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij：

4.1)利用至少5对的成功匹配点对，并结合核面约束条件，求解得到本质矩阵E；其中，所述核面约束条件为：

其中，所述p₁和p₂分别为影像i和影像j上的一对成功匹配点对的坐标；

4.2)对本质矩阵E进行奇异值分解，得到影像i和影像j之间的旋转矩阵R_ij和平移向量t_ij。

5.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤4)中，影像i和影像j在航线空间坐标系下的旋转矩阵R_i和R_j之间的关系为：

R_j＝R_ijR_i。

6.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤6)中采用如下方法建立相应的四焦点张量模型：

6.1)四景影像的摄像机矩阵分别为摄像机矩阵A、摄像机矩阵B、摄像机矩阵C、摄像机矩阵D，设某一物点X在四景影像上存在一组对应点，分别为像点x、像点x′、像点x″、像点x″′，定义四焦点张量为：

式中，Q^pqrs为四焦点张量的张量符号表示；aⁱ为摄像机矩阵A的第i行；b^q为摄像机矩阵B的第q行；c^r为摄像机矩阵C的第r行；d^s为摄像机矩阵D的第s行；

6.2)由四景影像间存在的投影关系，推导得到四焦点张量的四线性约束关系；

所述四景影像间存在的投影关系为：

式中，k、k′、k″和k″′均为不确定的比例常数；

所述四线性约束关系为：

xⁱx′^jx″^kx″′^lε_ipwε_jqxε_kryε_lszQ^pqrs＝0_wxyz

式中，下标w、x、y和z为自由变量；ε_ipw、ε_jqx、ε_kry和ε_lsz为不同向量之间的向量积；

6.3)基于步骤5)中影像在航线空间坐标系下的旋转矩阵初值和位置信息初值，确定摄像机矩阵A、摄像机矩阵B、摄像机矩阵C和摄像机矩阵D，以建立四焦点张量模型。

7.根据权利要求6所述的航空面阵摆扫式相机定位和标定方法，其特征在于，采用如下方法确定每个四焦点张量模型中成功匹配点所对应的物点坐标：

6.4)获得物点X和每个像点x、x′、x″、x″′存在的投影关系：

6.5)设像点x的平面坐标为(x,y)，像点x′的平面坐标为(x′,y′)，像点x″的平面坐标为(x″,y″)，像点x″′的平面坐标为(x″′,y″′)，对于步骤6.4)中的每个方程，通过叉乘消去齐次标量因子，使得步骤6.4)中的每一个方程均得到三个方程，从而得到十二个方程，分别为：

式中，A^3T为摄像机矩阵A的第3行的转置矩阵，A^1T为摄像机矩阵A的第1行的转置矩阵，A^2T为摄像机矩阵A的第2行的转置矩阵，B^3T为摄像机矩阵B的第3行的转置矩阵，B^1T为摄像机矩阵B的第1行的转置矩阵，B^2T为摄像机矩阵B的第2行的转置矩阵，C^3T为摄像机矩阵C的第3行的转置矩阵，C^1T为摄像机矩阵C的第1行的转置矩阵，C^2T为摄像机矩阵C的第2行的转置矩阵；

6.6)取步骤6.5)中每三个方程的前两个方程，共得到八个方程，构建得到如下方程：

NX-L＝0

6.7)解算步骤6.6)构建得到的方程，从而得到物点X坐标。

8.根据权利要求7所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤6.7)中采用最小二乘法解算步骤6.6)构建得到的方程。

9.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法，其特征在于，步骤7)中，进行平差处理所采用的方法为基于四焦点张量模型的光束法平差和标定法；设某一物点X在四景影像上存在一组对应点，分别为像点x、像点x′、像点x″、像点x″′；

所述基于四焦点张量模型的平差代价函数为：

式中，f(z)为平差代价函数，(x_i,y_i),i∈(1,2,3,4)为四个像点x、x′、x″、x″′对应的像点观测坐标；R_i为对应的旋转矩阵；t_i为对应的平移向量；

为像点坐标的计算值；z为未知参数，包括相机内参数矩阵、旋转矩阵、平移向量和物点坐标；

相应的采用所述光束法平差和标定法进行定位和标定时，采用LM算法对BA代价函数进行最优化求解，BA代价函数为：

式中，n为参与平差和定标运算的全部控制点和成功匹配点对所列出的BA代价函数的个数总和，k为所列出的单个BA代价函数的序号。

10.根据权利要求9所述的航空面阵摆扫式相机定位和标定方法，其特征在于，所述基于四焦点张量模型的光束法平差和标定法为三阶段光束平差法定位和标定方法，所述三阶段光束平差法定位和标定方法的三个阶段为：在第一阶段，设置相机内参数矩阵K为单位矩阵E，旋转矩阵R_i保持不变，光束法平差定位和标定过程只处理平移向量t_i和物点坐标；在第二阶段，设置内参数矩阵K仍然是单位矩阵E，但平移向量t_i、旋转矩阵R_i和物点坐标参与光束法平差定位和标定；在第三个阶段，包括相机内参数矩阵K、平移向量t_i、旋转矩阵R_i和物点坐标在内的所有未知数均参与光束法平差定位和标定。

Images