CN106595602B - 基于同名直线特征的相对定向方法 - Google Patents

Abstract

本发明涉及一种基于同名直线特征的相对定向方法。首先，在立体像对上采集同名直线特征；将平行直线特征、垂直直线特征和相交直线特征的相对定向方程联立，线性化，在给定初值的情况下，采用最小二乘平差的方法进行迭代计算，精化并确定两张影像之间的相对位移t和旋转R。本发明在解算过程中，不需要传统的同名点特征，不引入任何附加参数，仅仅依靠同名直线特征之间的相互关系，即可解算两张影像之间的相对位移和旋转；能够解决纹理贫乏区域由于同名点不足而无法准确定向的问题，可应用于城市三维建模、工业摄影测量、Lidar点云数据与航空影像配准等方面。

Description

基于同名直线特征的相对定向方法

技术领域

本发明涉及一种相对定向解算方法，尤其是涉及基于同名直线特征的相对定向解算方法。

背景技术

相对定向是恢复立体像对之间的相对位移和姿态的一种方法，是恢复核线几何和相机几何的重要手段，是摄影测量和计算机视觉领域经久不衰的研究热点。立体像对中存在丰富的线特征信息。线状特征除了能描述物体的轮廓外，还可以提供线与线之间的相互位置信息。在影像上的纹理贫乏区域，很难找出可靠的同名点特征，但是同一区域的线特征往往较为明显。因此，与传统的点特征相比，线特征能够比较好地解决纹理贫乏区域同名点稀少而无法准确定向的问题。鉴于上述优势，基于线特征的相对定向已经引起摄影测量领域的关注。

目前，基于线特征的相对定向已经有了一定的发展，可以利用平行四边形、广义Hough变换、极坐标、广义点等方法，将线特征加入相对定向模型，进行最小二乘平差解算。以上方法均以线的几何特征作为约束，对条件方程进行改造。然而，这些方法依旧需要同名点的辅助，不适用于纹理贫乏区域的定向解算，且在计算过程中引入较多的附加参数，造成未知数数目过多、计算量增大、解算困难等问题。同时，以上方法对直线特征的选取存在严格的限制，线状地物需要满足特定的几何约束，造成方法的不通用性。

直线特征是最常见的线特征，常见于房屋、道路、农田、工业零件等。直线与直线的关系一般可以分为三种：平行、垂直和相交。因此，若能充分利用直线间平行、垂直和相交关系，构建新的相对定向模型，应该能够完全摆脱同名点特征的束缚，增强算法的通用性，为相机几何定向等应用服务。

发明内容

本发明主要是解决相机之间的几何定向问题，提出了一种基于同名直线特征的相对定向方法，能够根据同名平行直线特征、同名垂直直线特征以及同名相交直线特征，构建新的相对定向模型，解算相机之间的相对定向参数，包括相机之间的位移t和旋转R。旋转矩阵R通常可以用欧拉角ω,κ表示；位移t通常可以用向量表示(μ,ν,1)^T表示。因此，通常将相对定向元素分为角元素ω,κ，以及线元素μ,ν。相对定向的目的是为了解算相机之间精确的相对定向元素。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于同名直线特征的相对定向方法，其特征在于，将线状地物在立体像对上的灰度特征定义为同名直线特征，具体是：

令L₁，L₂表示两条物方直线，将物方直线L₁反投影到立体像对，在每一张影像上分别对应一条像方的直线；这两条像方直线定义为l₁和l₁'；同理，将物方直线L₂反投影到立体像对，也对应两条像方直线，分别定义为l₂和l₂'；由于像方直线l₁和l₁'对应同一条物方直线L₁，因此直线l₁和l₁'为同名直线；同理，l₂和l₂'也为同名直线；物方直线L₁，L₂在空间中可能存在不同的几何拓扑关系，包括平行关系、垂直关系和相交关系，每一种关系都能够列出一个相对定向方程，为相机几何定向解算服务；

该相对定向方法包括以下步骤：

步骤1，根据输入的左右两张影像构成的立体像对，提取直线特征，包括同名平行直线特征、同名垂直直线特征以及同名相交直线特征；

步骤2，根据不同的直线特征，分别列出不同的相对定向模型；

步骤3，联立所有的相对定向模型，线性化，构建误差方程组；

步骤4，采用最小二乘的方法，迭代计算相机之间的相对定向参数。

在上述的一种基于同名直线特征的相对定向方法，所述的步骤2中，根据L₁，L₂的平行或者垂直或者相交，分别定义相对定向模型；

情况一：L₁和L₂平行：当L₁和L₂平行，存在关系式

式中，R表示相对定向的旋转矩阵，用于表达相机之间的旋转；表示内参数矩阵单位化下的像方直线坐标；

由式(1)可见，一对平行直线可以得到两个方程；在有初值的情况下，可以进行迭代计算旋转矩阵R；由于空间向量与位移无关，因此仅仅依靠平行关系，是无法解算相机位移t；

情况二：L₁和L₂垂直：当空间直线L₁和L₂垂直，可以得到关系式

式中，R表示相对定向的旋转矩阵；表示内参数矩阵单位化下的像方直线坐标；

由上式可见，根据垂直关系，一对互相垂直的线可得到一个方程；在有初值的情况下，可以进行迭代计算得到旋转矩阵R；由于空间向量与位移无关，因此仅仅依靠垂直关系，是无法解算相机位移t；需要采用新的直线几何关系来计算平移向量t；

情况三：L₁和L₂相交，可以得到关系式：

式中，符号表示将向量的坐标分量倒序；L₁，L₂表示物方直线的Plucker坐标；

令S₁，S₂分别表示左右影像相机的摄影中心；仍然采用3×1的齐次向量表示像方直线l₁,l₂,l₁',l₂'；；令π_i i＝1,2表示摄影中心S₁与直线l_i所构成的平面，π_i'表示摄影中心S₂与直线l_i'所构成的平面；π₁,π₁',π₂,π₂'可分别用一个4×1的齐次向量表示：

其中，表示内参数矩阵单位化下的像方直线坐标；分别表示左右影像在内参数矩阵单位化下的摄像机矩阵；假定以左影像的像空间坐标系为世界坐标系，左右影像的摄像机矩阵分别表示为：

R是以相对定向角元素ω，κ组成的旋转矩阵；t＝(1,μ,ν)^T表示相对定向线元素；I表示3×3的单位矩阵；0表示3×1的零向量；

空间直线L₁、L₂分别是平面π₁,π₁'之间和平面π₂,π₂'之间的交线；空间直线L₁，L₂的Plucker坐标可以表示为：

其中，表示直线L₁，L₂的Plucker坐标分量；vec()表示将4×4的Plucker矩阵向量化；

式(3)、式(4)和式(5)表示当直线相交时，所确定的相对定向模型，不仅包含旋转矩阵R，还包含相机偏移t，仅需要至少两对同名个相交直线，即可进行解算t。

在上述的一种基于同名直线特征的相对定向方法，所述的步骤3中，误差方程组的联立方式为：

当空间直线L₁与L₂平行时，可以将式(10)整理为：

当空间直线L₁与L₂垂直时，可以将式(14)整理为：

当空间直线L₁与L₂相交时，可以将式(17)整理为：

联立方程组{F₁,F₂,F₃,F₄}，可以得到一个关于相对定向角元素和线元素的一个非线性方程组；在初值存在的情况下，可以将方程组线性化，实现平差解算：

式中，F_i,0表示将相对定向元素的初值代入F_i后得到的结果；Δω,Δκ,Δμ,Δν分别为相对定向元素的改正数；

每个条件方程F_i对相对定向元素的偏导都不一样，分别如下所示：

在上述的一种基于同名直线特征的相对定向方法，所述的步骤4中，最小二乘解算方法如下：

根据式(21)、(22)、(23)和(24)，组成法方程：

式中，V表示残差向量；A表示法方程系数矩阵；L表示常数向量；ΔX表示未知数改正量；

在计算未知数改正量ΔX后，将未知数改正量ΔX加上未知数初值X₀，即可得到更加精确的相对定向元素；一般采用迭代的方法，不断将相对定向元素精化；

X₁＝X₀+ΔX (26)

在计算完相对定向元素后，根据角元素ω,κ，可计算旋转矩阵R：

因此，本发明具有如下优点：仅仅根据平行、垂直以及相交的同名直线特征，无需同名点，即可确定立体像对之间的相对定向元素，能够解决纹理贫乏、重复纹理等同名点匹配困难区域的相对定向问题。本发明在航天摄影测量、航空摄影测量、低空摄影测量和近景摄影测量领域有较好的应用前景。

附图说明

图1为基于同名直线特征的相对定向解算方法具体流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明提供的技术方案是，针对影像中直线特征丰富的情况，根据空间直线之间的平行、垂直或者相交关系，提出一种基于同名直线特征的相对定向方法，能够根据直线间的几何关系，建立新的相对定向模型，解算相机之间的相对定向参数，能够解决由于同名点稀少而无法准确定向的问题。该方案的实施路线如图1所示，包括以下步骤：

步骤1.在影像上提取直线特征。

影像上存在丰富的直线特征，可以人工提取，也可以通过canny算子自动提取直线特征。

步骤2.根据不同的直线特征，分别列出不同的相对定向模型。

采用射影几何中的齐次坐标来表达影像上的直线。根据下式，将影像上的直线坐标转换为内参数矩阵单位化下的直线坐标。这样做的目的是在不影响计算结果的情况下，使得后续计算简化。

其中，K表示内参数矩阵；l_i表示左影像的一条直线；l_i'表示右影像的一条直线；分别表示单位矩阵内参数化下的直线坐标。

当直线平行时，根据下式列出基于平行直线的相对定向模型：

当直线垂直时，根据下式列出基于垂直直线的相对定向模型：

当直线相交时，根据下式列出基于相交直线的相对定向模型：

将所有模型联立，组成一个非线性方程组。

步骤3.将步骤2中的非线性方程组线性化，组成误差方程组。

相对定向元素包括三个角元素ω、κ和两个线元素μ、ν。相对定向的目的是解算这五个元素的精确解。根据相对定向元素的初值，根据下式，对步骤2中的非线性方程组线性化：

式中，Δω,Δκ,Δμ,Δν分别为相对定向元素的改正数；各个改正数的系数表示如下：

步骤4.采用最小二乘方法，计算相机之间的相对定向参数。

将非线性方程组线性化后，可组成如下式所示的线性方程组：

V＝A·ΔX-L

V＝(v₁ v₂ v₃ ...)^T

式中，V表示残差向量；A表示法方程系数矩阵；L表示常数向量；ΔX表示未知数改正量。

采用最小二乘的方法求解上述线性方程组，如下式所示：

ΔX＝(A^TA)^-1A^TL

在计算未知数改正量ΔX后，将未知数改正量ΔX加上相对定向元素的初值X₀，即可得到更加精确的相对定向元素。一般采用迭代的方法，不断将相对定向元素精化，如下式所示：

X₁＝X₀+ΔX

在计算完相对定向元素后，根据角元素ω,κ，可计算旋转矩阵R：

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于同名直线特征的相对定向方法，其特征在于，将线状地物在立体像对上的灰度特征定义为同名直线特征，具体是：

令L₁，L₂表示两条物方直线，将物方直线L₁反投影到立体像对，在每一张影像上分别对应一条像方的直线；这两条像方直线定义为l₁和l₁'；同理，将物方直线L₂反投影到立体像对，也对应两条像方直线，分别定义为l₂和l₂'；由于像方直线l₁和l₁'对应同一条物方直线L₁，因此直线l₁和l₁'为同名直线；同理，l₂和l₂'也为同名直线；物方直线L₁，L₂在空间中可能存在不同的几何拓扑关系，包括平行关系、垂直关系和相交关系，每一种关系都能够列出一个相对定向方程，为相机几何定向解算服务；

该相对定向方法包括以下步骤：

步骤1，根据输入的左右两张影像构成的立体像对，提取直线特征，包括同名平行直线特征、同名垂直直线特征以及同名相交直线特征；

步骤2，根据不同的直线特征，分别列出不同的相对定向模型；

步骤3，联立所有的相对定向模型，线性化，构建误差方程组；

步骤4，采用最小二乘的方法，迭代计算相机之间的相对定向参数；

所述的步骤2中，根据L₁，L₂的平行或者垂直或者相交，分别定义相对定向模型；

情况一：L₁和L₂平行：当L₁和L₂平行，存在关系式

式中，R表示相对定向的旋转矩阵，用于表达相机之间的旋转；表示内参数矩阵单位化下的像方直线坐标；

由式(1)可见，一对平行直线可以得到两个方程；在有初值的情况下，可以进行迭代计算旋转矩阵R；由于空间向量与位移无关，因此仅仅依靠平行关系，是无法解算相机偏移t；

情况二：L₁和L₂垂直：当空间直线L₁和L₂垂直，可以得到关系式

式中，R表示相对定向的旋转矩阵；表示内参数矩阵单位化下的像方直线坐标；

由上式可见，根据垂直关系，一对互相垂直的线可得到一个方程；在有初值的情况下，可以进行迭代计算得到旋转矩阵R；由于空间向量与位移无关，因此仅仅依靠垂直关系，是无法解算相机偏移t；需要采用新的直线几何关系来计算相机偏移t；

情况三：L₁和L₂相交，可以得到关系式：

式中，符号-表示将向量的坐标分量倒序；L₁，L₂表示物方直线的Plucker坐标；

令S₁，S₂分别表示左右影像相机的摄影中心；仍然采用3×1的齐次向量表示像方直线l₁,l₂,l₁',l₂'；令π_i表示摄影中心S₁与直线l_i所构成的平面，π_i'表示摄影中心S₂与直线l_i'所构成的平面，其中，i＝1，2；π₁,π₁',π₂,π₂'可分别用一个4×1的齐次向量表示：

其中，表示内参数矩阵单位化下的像方直线坐标；分别表示左右影像在内参数矩阵单位化下的摄像机矩阵；假定以左影像的像空间坐标系为世界坐标系，左右影像的摄像机矩阵分别表示为：

R是以相对定向角元素ω，κ组成的旋转矩阵；t＝(1,μ,ν)^Τ表示相对定向线元素；I表示3×3的单位矩阵；0表示3×1的零向量；

空间直线L₁、L₂分别是平面π₁,π₁'之间和平面π₂,π₂'之间的交线；空间直线L₁，L₂的Plucker坐标可以表示为：

其中，表示直线L₁，L₂的Plucker坐标分量；vec()表示将4×4的Plucker矩阵向量化，其中i＝1,2；

式(3)、式(4)和式(5)表示当直线相交时，所确定的相对定向模型，不仅包含旋转矩阵R，还包含相机偏移t，仅需要至少两对同名个相交直线，即可进行解算t。

2.根据权利要求1所述的一种基于同名直线特征的相对定向方法，其特征在于，所述的步骤3中，误差方程组的联立方式为：

当空间直线L₁与L₂平行时，，可以将式(1)整理为：

当空间直线L₁与L₂垂直时，可以将式(2)整理为：

当空间直线L₁与L₂相交时，可以将式(3)整理为：

联立方程组{F₁,F₂,F₃,F₄}，可以得到一个关于相对定向角元素和线元素的一个非线性方程组；在初值存在的情况下，可以将方程组线性化，实现平差解算：

式中，F_i,0表示将相对定向元素的初值代入F_i后得到的结果；Δω,Δκ,Δμ,Δν分别为相对定向元素的改正数；

每个条件方程F_i对相对定向元素的偏导都不一样，分别如下所示：

3.根据权利要求2所述的一种基于同名直线特征的相对定向方法，其特征在于，所述的步骤4中，最小二乘解算方法如下：

根据式(21)、(22)、(23)和(24)，组成法方程：

式中，V表示残差向量；A表示法方程系数矩阵；L表示常数向量；ΔX表示未知数改正量；

在计算未知数改正量ΔX后，将未知数改正量ΔX加上未知数初值X₀，即可得到更加精确的相对定向元素；一般采用迭代的方法，不断将相对定向元素精化；

X₁＝X₀+ΔX (26)

在计算完相对定向元素后，根据角元素ω,κ，可计算旋转矩阵R：