CN117372244A - 基于二维阵列表示的大场景特征立体匹配方法 - Google Patents

Abstract

本发明涉及一种基于二维阵列表示的大场景特征立体匹配方法，其特点是：对立体鱼眼相机***进行参数标定，获取立体鱼眼相机的内参数，在不同的相机相对位姿下采集鱼眼图像；基于球面成像模型构建可延展组合成像模型；计算鱼眼图像像素与半球图像点之间的映射关系；计算半球图像点与正二十面体的测地线平面点之间的映射关系；对测地线平面上各点的三维坐标进行PCA降维；建立二维阵列模型并利用最优刚性变换生成模拟变换基元；对模拟变换基元执行仿射变换并得到模拟图像，提取特征点，生成描述符并对特征点进行匹配。本发明可有效解决因剧烈非线性畸变而难以在***区域提取到准确特征的问题，提高了鱼眼图像特征匹配的分布范围、数量及准确率。

Description

基于二维阵列表示的大场景特征立体匹配方法

技术领域

本发明属于计算机视觉技术领域，涉及特征立体匹配方法，尤其是一种基于二维阵列表示的大场景特征立体匹配方法。

背景技术

长期以来，特征立体匹配的研究对象主要以透视图像为主。针孔透视相机的视场范围通常只有40°到60°，一次性拍摄仅可以得到非常有限的局部场景信息。针孔透视相机可以满足部分目标区域限定在局部小范围的应用需求，例如缺陷检测、人脸识别等领域。但是对于一些没有特定观测目标的应用场合，全局信息更具价值，例如智能驾驶、森林监测、机器人自主导航和避障、行人监测和跟踪等大场景领域。相比于针孔透视相机，鱼眼相机具有更宽的视场角，一般能够超过140°甚至达到270°，一幅鱼眼图像涵盖的场景信息需要多幅透视图像经过复杂的拼接才能得到。因此，在大场景应用场合，尤其是在机器人导航和自动驾驶领域，鱼眼相机具有显著优势，宽视场角能够同时可视化多个方向的物体。

为了利用鱼眼相机宽视场角的优势，近年来已涌现出一些基于鱼眼图像的特征立体匹配方法，其中，如何应对鱼眼图像剧烈的非线性畸变是每个方法都需要直面的挑战，这种非线性畸变会严重干扰特征的准确提取和描述。

一种最直接、最常用的方法就是先将鱼眼图像校正成为透视图像，然后再在校正后的图像上直接应用透视图像匹配方法。文献“Fiala M,Roth G.Automatic alignmentand graph map building of panoramas[C].IEEE International Workshop on HapticAudio-Visual Environments and their Applications,Ottawa,Canada,2005:104-109.”，将大场景鱼眼图像转换为立方体表面图，然后计算每个立方体图像面上的SIFT特征。文献“Zhang J,Yin X,Luan J,et al.An improved vehicle panoramic imagegeneration algorithm[J].Multimedia Tools and Applications,2019,78(19):27663-27682.”，基于扫描线思想改进球面透视投影算法并对鱼眼图像进行校正，之后在校正后的图像上提取SURF特征。文献“Lin Y,Gao F,Qin T,et al.Autonomous aerial navigationusing monocular visual-inertial fusion[J].Journal of Field Robotics,2018,35(1):23-51.”提出鱼眼相机无人机导航***，但是仅利用了鱼眼图像的部分场景信息：水平方向的两个子区域被校正成透视图像以进行后续处理，垂直方向的大部分视场信息被舍弃。文献“Miiller M G,Steidle F,Schuster M J,et al.Robust visual-inertial stateestimation with multiple odometries and efficient mapping on an MAV withultra-wide FOV stereo vision[C].IEEE International Conference on IntelligentRobots and Systems,Madrid,Spain,2018:3701-3708.”提出一种视觉惯性里程计和全方位三维建图***，为了克服鱼眼图像的畸变，每幅鱼眼图像的中心区域被校正为两幅透视图像，而***场景信息也被舍弃。透视校正可以有效消除非线性畸变，但也从根本上消除了鱼眼相机的宽视场角优势，此外，鱼眼图像圆盘***区域内的物体会被高度拉伸，靠近圆盘中心的物体则会被高度压缩。

除了透视校正，还有一些学者利用等量矩形图像来表示鱼眼图像，这种方法可以保留鱼眼相机的宽视场，同时也可以在一定程度上缓解鱼眼图像的畸变。为了生成三维场景环绕视图，文献“Lo I,Shih K,Chen H H.Image stitching for dual fisheye cameras[C].IEEE International Conference on Image Processing,Athens,Greece,2018:3164-3168.”将两个鱼眼相机的重叠视场图像校正成等量矩形图像，然后提取特征并完成整个视图拼接过程。文献“Zhao Q,Feng W,Wan L,et al.SPHORB:A fast and robustbinary feature on the sphere[J].International Journal of Computer Vision,2015,113(2):143-159.”改进传统ORB算法，为等量矩形图像在球面空间构造新的二元特征并提出球面ORB算法。文献“Shan Y,Li S.Descriptor matching for a discretespherical image with a convolutional neural network[J].IEEE Access,2018,6:20748-20755.”将鱼眼图像转换为等量矩形图像，采用加速分割特征测试算法提取特征点并用卷积神经网络描述特征。最近，文献“Pourian N,Nestares O.An end-to-endframework to high performance geometry-aware multi-scale keypoint detectionand matching in fisheye images[C].IEEE International Conference on ImageProcessing,Taiwan,2019:1302-1306.”提出一个多级几何感知特征点检测和匹配框架来提高多幅鱼眼图像之间的描述符匹配精度，在全局匹配阶段采用等量矩形图像变换，导致边缘区域引入新畸变，从而降低了框架性能。等量矩形图像是以球面模型为基础成像模型并将球面图像展开而获得，这个过程会引入二次畸变，尤其是球面极点周围，会造成严重的图像拉伸变形，从而导致描述符性能下降以及严重的误匹配问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于二维阵列表示的大场景特征立体匹配方法，其充分利用鱼眼相机的宽视场角优势，在不产生明显图像拉伸、场景损失的前提下，解决大视场鱼眼图像的特征立体匹配问题。

本发明解决现有的技术问题是采取以下技术方案实现的：

一种基于二维阵列表示的大场景特征立体匹配方法，包括以下步骤：

步骤1、采用圆形标志标定板对立体鱼眼相机***进行参数标定，获取立体鱼眼相机的内参数，在不同的相机相对位姿下采集鱼眼图像；

步骤2、以球面成像模型为基础成像模型，将单位正二十面体内嵌于单位球面构造可延展组合成像模型；

步骤3、基于可延展组合成像模型，利用等立体角投影模型公式推导方位角σ与极角ρ的计算公式，获得鱼眼图像像素和半球图像点的映射关系；

步骤4、计算半球图像点与正二十面体每个测地线平面顶点之间的映射关系；

步骤5、利用定位公式计算半球图像点、鱼眼图像像素以及每个测地线平面点之间的一一对应关系，然后对测地线平面上各点的三维坐标进行PCA降维；

步骤6、建立二维阵列模型并对阵列基元进行定位，在定向阵列表示的基础上，根据每个阵列基元的位置信息进行差异化局部表示，生成模拟变换基元；

步骤7、对模拟变换基元执行仿射变换并得到模拟图像，在模拟图像上采用SIFT算法提取特征点，生成描述符并对特征点进行匹配，然后将所有匹配点对合并为一组并剔除重复匹配点对。

进一步，所述可延展组合成像模型的空间点成像过程为：定义O-XYZ为相机坐标系，空间点M经过如下两个步骤实现在图像平面上成像：首先，空间点M沿着向量线性投影到成像模型上并得到投影点m'和m_Δ，此时，沿着Z轴正方向的向量/>与向量/>形成极角ρ，沿着X轴正方向的向量/>与/>在XOY平面上的投影向量形成方位角σ；然后，投影点m'和m_Δ非线性地投影到图像平面上得到像点m。

进一步，所述步骤3的具体实现方法为：

步骤3.1、依据立体鱼眼相机的内参数，采用等立体角投影模型定义像点m到图像中心o_I的距离d_ima与极角ρ之间的关系，f为相机焦距；

步骤3.2、计算半球面点m'对应的方位角σ与极角ρ；

步骤3.3、利用方位角σ与极角ρ计算图像像素m的坐标和半球图像点m'的坐标。

进一步，所述步骤3.2采用的计算公式为：

其中，ψ为入射-X角，ζ为入射-Y角；

所述步骤3.3采用如下公式计算图像像素m的坐标：

所述步骤3.3采用如下公式计算半球图像点m'的坐标：

其中，R为成像模型中半球面半径。

进一步，所述步骤4的具体实现方法为：

步骤4.1、以投影点m_Δ所在测地线平面ν₁ν₂ν₃的三条边ν₁ν₂、ν₁ν₃、ν₂ν₃作为有向线段计算Plücker坐标；

步骤4.2、对有向线段和测地线平面ν₁ν₂ν₃的三条有向线段/>和/>执行边缘操作算子；

步骤4.3、判断投影点m_Δ所在的测地线平面。

进一步，所述步骤4.1的计算方法为：

设投影点m_Δ所在测地线平面的三个顶点分别为ν₁＝(X₁,Y₁,Z₁)、ν₂＝(X₂,Y₂,Z₂)、ν₃＝(X₃,Y₃,Z₃)，则三条有向线段和/>的Plücker坐标/>和/>分别通过下式计算：

所述步骤4.2的实现方法为：设成像模型相机坐标系原点为O＝(0,0,0)，有向线段Om'的Plücker坐标为Ω_Om'＝[0,0,-X_m',0,-Z_m',-Y_m']，采用边缘操作算子计算有向线段与/> 以及/>之间的关系式/>和/>

所述步骤4.3的判断方法为：

如果m_Δ在测地线平面ν₁ν₂ν₃上，则会存在下列三种情况：

(1)过ν₁ν₂ν₃的三个顶点，此时需满足以下条件：

(2)过ν₁ν₂ν₃的三条边，此时需满足以下条件：

(3)过ν₁ν₂ν₃的内部，此时需满足以下条件：

进一步，所述步骤5的具体实现方法为：

步骤5.1、计算测地线平面ν₁ν₂ν₃的归一化法向量

步骤5.2、计算投影点m_Δ的三维坐标；

步骤5.3、利用鱼眼图像、半球面与每个测地线平面点的映射关系，对测地线平面点的三维坐标进行PCA降维。

进一步，所述步骤5.1采用下式计算测地线平面ν₁ν₂ν₃的归一化法向量

所述步骤5.2的计算方法为：利用测地线平面ν₁ν₂ν₃顶点ν₁＝(X₁,Y₁,Z₁)、归一化法向量以及对应半球面点m'＝(X_m',Y_m',Z_m')，通过下式求得投影点m_Δ的三个坐标值X_Δ、Y_Δ、Z_Δ：

进一步，所述步骤6的具体实现方法为：

步骤6.1、选定基准测地线平面，以基准测地线平面的一个顶点作为二维阵列模型坐标系的原点，将正二十面体模型展开为二维阵列模型；

步骤6.2、基于二维阵列模型，计算最优刚性变换矩阵；

步骤6.3、利用最优刚性变换矩阵建立模拟变换基元。

进一步，所述步骤6.2的实现方法为：

测地线平面上三维点的坐标经过PCA降维之后，设测地线平面α₁α₂O_p的三个顶点分别为α₁α₂O_p对应的阵列基元为β₁β₂O_p1，设β₁β₂O_p1的三个顶点分别为/> 为了将α₁α₂O_p转换为阵列基元β₁β₂O_p1，按以下步骤计算最优刚性变换矩阵；首先，将α₁α₂O_p、β₁β₂O_p1用下式表示为：

Tri_α＝[α₁ α₂ O_p]

Tri_β＝[β₁ β₂ O_p1]

设cen_α、cen_β分别为α₁α₂O_p、β₁β₂O_p1的质心，则cen_α、cen_β的坐标通过下式求得：

为了找到最优旋转矩阵，需要对α₁α₂O_p、β₁β₂O_p1中所有点的坐标数据进行重定向，并使测地线平面α₁α₂O_p和阵列基元β₁β₂O_p1的质心都位于原点，重定向矩阵H_→o通过下式计算：

H_→o＝(Tri_α-cen_α)×(Tri_β-cen_β)^T

通过下式对矩阵H_→o进行奇异值分解并计算最优旋转矩阵R_ET：

H_→o＝U_ET×S_ET×V_ET

R_ET＝V_ET×U_ET ^T

利用最优旋转矩阵R_ET和质心坐标通过下式计算最优平移矩阵T_ET：

T_ET＝-R_ET×cen_α+cen_β；

步骤6.3、利用最优刚性变换矩阵建立模拟变换基元。

通过对测地线平面及其邻域测地线平面进行二维阵列表示，获得对应的模拟变换基元阵列模型。经过PCA降维后，测地线平面α₁α₂O_p中所有点α₁、α₂、α₃、…、α_n、O_p的坐标可以组成3×(n+1)维的矩阵αU：

αU＝[α₁ α₂ α₃ ... α_n O_p]

其中，n∈N*；

基于模拟变换基元阵列模型，对测地线平面α₁α₂O_p进行最优刚性变换得到阵列基元β₁β₂O_p1，β₁β₂O_p1中所有点的坐标集合βU通过下式确定：

βU＝R_ET×αU+[T₁ T₂ T₃ ... T_n T_n+1]

其中，矩阵T₁、T₂、T₃、…、T_n、T_n+1与T_ET相等。

本发明的优点和积极效果是：

1、本发明基于鱼眼相机的非线性成像方式建立可延展组合成像模型，与基于传统单一球面模型对鱼眼图像进行等量矩形展开的方法相比较，本发明使用可延展模型展开鱼眼图像，不会产生明显的图像拉伸变形问题，更有利于提高特征匹配准确率。

2、本发明对鱼眼图像进行二维阵列表示，相较于透视校正手段，本发明不会产生场景损失问题，不论在畸变较小的鱼眼图像圆盘中心区域还是畸变剧烈的***区域，均可以提取到分布更加广泛的特征，能够充分利用鱼眼相机的大场景优势。

3、本发明通过最优刚性变换构造模拟变换基元，能够有效解决因为邻域信息不足而无法有效描述锯齿边缘附近特征的问题，对模拟变换基元进行仿射变换，并在各参数变换后的模拟图像上执行SIFT特征匹配、剔除重复特征匹配，与现有鱼眼图像特征匹配方法相比较，本发明能够获取到数量丰富、甚至多达上千对的特征匹配结果。

4、本发明设计合理，其建立可延展组合成像模型及二维阵列模型，在不产生明显场景损失和图像拉伸的前提下削弱鱼眼图像畸变，能够有效解决因为剧烈非线性畸变而难以在***区域提取到准确特征的问题，提高特征匹配的分布范围；构造模拟变换基元并在仿射变换后的模拟图像上计算特征匹配，能够有效提高特征匹配的数量以及匹配准确率。

附图说明

图1为本发明的基于二维阵列表示的大场景特征立体匹配方法流程图；

图2为本发明建立的可延展组合成像模型示意图；

图3为本发明建立的二维阵列模型示意图；

图4为本发明建立的模拟变换基元阵列模型示意图；

图5为采用本发明在第一个场景下的匹配结果示意图；

图6为采用本发明在第二个场景下的匹配结果示意图；

图7为采用本发明在第三个场景下的匹配结果示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于二维阵列表示的大场景特征立体匹配方法，如图1所示，包括以下步骤：

步骤1、采用圆形标志标定板对立体鱼眼相机***进行参数标定并获取立体鱼眼相机的内参数，之后在不同的相机相对位姿下采集鱼眼图像。

步骤2、基于球面成像模型建立可延展组合成像模型。

在本步骤中，基于球面成像模型将单位正二十面体内嵌于单位球面构造可延展组合成像模型，并对成像模型进行定义。由于本发明是针对不大于180°视场角的鱼眼相机，因此最终的可延展组合成像模型由二分之一个单位正二十面体内嵌于半球面组成，同时需定义可延展组合成像模型的空间点成像过程，如图2所示：定义O-XYZ为相机坐标系。空间点M经过两个步骤实现在图像平面上成像：M首先沿着向量线性投影到成像模型上并得到投影点m'和m_Δ。此时，沿着Z轴正方向的向量/>与向量/>形成极角ρ，沿着X轴正方向的向量/>与/>在XOY平面上的投影向量形成方位角σ；然后点m'和m_Δ非线性地投影到图像平面上得到像素m。

步骤3、基于可延展组合成像模型，利用等立体角投影模型公式推导方位角σ与极角ρ的计算公式，获得鱼眼图像像素和半球图像点的映射关系。

在本实施例中，本步骤包括以下步骤：

步骤3.1、依据相机参数，采用等立体角投影模型定义像素m到图像中心o_I的距离d_ima与极角ρ之间的关系，f为相机焦距。

步骤3.2、计算半球面点m'对应的方位角σ与极角ρ，公式如下：

其中，ψ为入射-X角，ζ为入射-Y角。

步骤3.3、利用方位角σ与极角ρ分别计算半球图像点m'和图像像素m的坐标，其中，m'＝(X_m',Y_m',Z_m')，m＝(x_m,y_m)，公式如下：

其中，R为成像模型中半球面半径。

步骤4、计算半球图像点与正二十面体每个测地线平面的顶点之间的映射关系。

在本实施例中，本步骤包括以下步骤：

步骤4.1、以投影点m_Δ所在测地线平面ν₁ν₂ν₃的三条边ν₁ν₂、ν₁ν₃、ν₂ν₃作为有向线段计算Plücker坐标。

设点m_Δ所在的测地线平面的三个顶点分别为ν₁＝(X₁,Y₁,Z₁)、ν₂＝(X₂,Y₂,Z₂)、ν₃＝(X₃,Y₃,Z₃)，则三条有向线段和/>的Plücker坐标/>和/>分别通过下式计算：

步骤4.2、对有向线段和测地线平面ν₁ν₂ν₃的三条有向线段/>和/>执行边缘操作算子。

成像模型的相机坐标系原点为O＝(0,0,0)，有向线段的Plücker坐标Ω_Om'＝[0,0,-X_m',0,-Z_m',-Y_m']，采用边缘操作算子计算有向线段/>与/>以及/>之间的关系式/>和/>

步骤4.3、判断点m_Δ所在的测地线平面。

如果m_Δ在测地线平面ν₁ν₂ν₃上，则会存在下列三种情况：

1)过ν₁ν₂ν₃的三个顶点，此时需满足以下条件：

2)过ν₁ν₂ν₃的三条边，此时需满足以下条件：

3)过ν₁ν₂ν₃的内部，此时需满足以下条件：

步骤5、利用定位公式计算半球图像点、鱼眼图像像素以及每个测地线平面点之间的一一对应关系，然后对测地线平面上各点的三维坐标进行PCA降维。

在本实施例中，本步骤包括以下步骤：

步骤5.1、计算测地线平面ν₁ν₂ν₃的归一化法向量

测地线平面ν₁ν₂ν₃的归一化法向量可以通过下式求得：

步骤5.2、计算m_Δ的三维坐标。

利用测地线平面ν₁ν₂ν₃顶点ν₁＝(X₁,Y₁,Z₁)、归一化法向量以及对应半球面点m'＝(X_m',Y_m',Z_m')，通过下式求得投影点m_Δ的三个坐标值X_Δ、Y_Δ、Z_Δ：

步骤5.3、利用鱼眼图像、半球面与多面体上每个测地线平面上点的映射关系，对测地线平面上点的三维坐标进行PCA降维处理。

步骤6、建立二维阵列模型并且对阵列基元进行定位，在定向阵列表示的基础上，根据每个阵列基元的位置信息进行差异化局部表示，生成模拟变换基元。

在本实施例中，本步骤包括以下步骤：

步骤6.1、选定基准测地线平面，以基准测地线平面的一个顶点作为二维阵列模型坐标系的原点，将正二十面体模型展开为二维阵列模型。

假设选定测地线平面1为基准测地线平面，建立二维阵列模型，如图3所示，其中，以基准测地线平面的一个顶点作为二维阵列模型坐标系的原点，正二十面体中的测地线平面1、2、3、4、5、6、……、17、18、19、20对应于二维阵列模型中阵列基元1'、2'、3'、4'、5'、6'、……、17'、18'、19'、20'。

步骤6.2、基于二维阵列模型，计算最优刚性变换矩阵。

Tri_α＝[α₁ α₂ O_p]

Tri_β＝[β₁ β₂ O_p1]

测地线平面上三维点的坐标经过PCA降维之后，设α₁α₂O_p的三个顶点分别为对应的阵列基元为β₁β₂O_p1，设β₁β₂O_p1的三个顶点分别为/>为了将α₁α₂O_p转换为阵列基元β₁β₂O_p1，按以下步骤计算最优刚性变换矩阵。首先，将α₁α₂O_p、β₁β₂O_p1用下式表示为：

Tri_α＝[α₁ α₂ O_p]

Tri_β＝[β₁ β₂ O_p1]

设cen_α、cen_β分别为α₁α₂O_p、β₁β₂O_p1的质心，则cen_α、cen_β的坐标可以通过下式求得：

为了找到最优旋转矩阵，需要对α₁α₂O_p、β₁β₂O_p1中所有点的坐标数据进行重定向，并使α₁α₂O_p和β₁β₂O_p1的质心都位于原点，重定向矩阵H_→o可以通过下式计算：

H_→o＝(Tri_α-cen_α)×(Tri_β-cen_β)^T

对矩阵H_→o进行奇异值分解并计算得到最优旋转矩阵R_ET：

H_→o＝U_ET×S_ET×V_ET

R_ET＝V_ET×U_ET ^T

利用最优旋转矩阵R_ET和质心坐标通过下式计算最优平移矩阵T_ET：

T_ET＝-R_ET×cen_α+cen_β

步骤6.3、利用最优刚性变换矩阵建立模拟变换基元。

在二维阵列表示的过程中会产生的锯齿边缘，在锯齿边缘附近计算特征点时会因为缺乏邻域信息而忽略或者错误提取特征。针对此问题，本发明基于二维阵列模型建立模拟变换基元。以测地线平面1为例，通过对测地线平面1及其邻域测地线平面2、5、17进行二维阵列表示，获得对应的模拟变换基元阵列模型，如图4所示。

经过PCA降维之后，α₁α₂O_p中所有点α₁、α₂、α₃、…、α_n、O_p的坐标可以形成3×(n+1)维的矩阵αU：

αU＝[α₁ α₂ α₃ ... α_n O_p]

基于模拟变换基元阵列模型，对α₁α₂O_p进行最优刚性变换得到阵列基元β₁β₂O_p1，β₁β₂O_p1中所有点的坐标集合通过下式确定：

βU＝R_ET×αU+[T₁ T₂ T₃ ... T_n T_n+1]

其中，矩阵T₁、T₂、T₃、…、T_n、T_n+1与T_ET相等。

利用相同的方法对测地线平面2、5、17进行降维及最优刚性变换，进而建立测地线平面1的模拟变换基元。同样，可以建立其他测地线平面对应的模拟变换基元。

步骤7、对模拟变换基元执行仿射变换并得到模拟图像，在模拟图像上采用SIFT算法提取特征点，生成描述符并对特征点进行匹配，然后将所有匹配点对合并为一组并剔除重复匹配点对。

本步骤的具体处理过程分为两步：

步骤7.1、对模拟变换基元进行仿射变换：通过改变两个决定相机轴方向的参数：纬度角和经度角/>在多个不同视点下对模拟变换基元进行仿射变换，得到模拟图像。在本步骤中，通过模拟摄像机光轴方向变化引起的仿射畸变对模拟变换基元进行仿射变换，这些仿射畸变取决于纬度角/>和经度角/>的不同取值。先对模拟变换基元做角度为/>的旋转，之后进行绝对倾斜值/>的倾斜。绝对倾斜值t的采样间隔/>则绝对倾斜值t的取值情况为/>相应地，可以计算出纬度角/>的取值情况：经度角/>的采样间隔/>对于每一个绝对倾斜值t，经度角取值为0°,72°/t,144°/t,...,180°。

步骤7.2、执行SIFT匹配算法：由于鱼眼图像的每个模拟变换基元中的畸变基本一致，可以近似为仿射畸变。对于模拟变换基元执行仿射变换之后得到一系列模拟图像，在模拟图像上使用SIFT算法提取特征点，生成描述符并对特征点进行匹配，最后将所有匹配对合并成一组并去除重复点对，最后的匹配结果如图5、6、7所示。在图5、6、7所示的三种场景下的立体鱼眼图像中，每个场景里包含采用不同相机位姿采集的四对鱼眼图像，左边两列为原始立体鱼眼图像，右边两列为本发明提供的基于二维阵列表示的大场景特征立体匹配方法得到的匹配结果，从图中可以观察到，不论在畸变较小的中心区域还是畸变剧烈的***区域，本发明都能够获得数量丰富且对应准确的特征匹配点。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于二维阵列表示的大场景特征立体匹配方法，其特征在于：包括以下步骤：

步骤1、采用圆形标志标定板对立体鱼眼相机***进行参数标定，获取立体鱼眼相机的内参数，在不同的相机相对位姿下采集鱼眼图像；

步骤2、以球面成像模型为基础成像模型，将单位正二十面体内嵌于单位球面构造可延展组合成像模型；

步骤3、基于可延展组合成像模型，利用等立体角投影模型公式推导方位角σ与极角ρ的计算公式，获得鱼眼图像像素和半球图像点的映射关系；

步骤4、计算半球图像点与正二十面体每个测地线平面顶点之间的映射关系；

步骤5、利用定位公式计算半球图像点、鱼眼图像像素以及每个测地线平面点之间的一一对应关系，然后对测地线平面上各点的三维坐标进行PCA降维；

步骤6、建立二维阵列模型并对阵列基元进行定位，在定向阵列表示的基础上，根据每个阵列基元的位置信息进行差异化局部表示，生成模拟变换基元；

步骤7、对模拟变换基元执行仿射变换并得到模拟图像，在模拟图像上采用SIFT算法提取特征点，生成描述符并对特征点进行匹配，然后将所有匹配点对合并为一组并剔除重复匹配点对。

2.根据权利要求1所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述可延展组合成像模型的空间点成像过程为：定义O-XYZ为相机坐标系，空间点M经过如下两个步骤实现在图像平面上成像：首先，空间点M沿着向量线性投影到成像模型上并得到投影点m'和m_Δ，此时，沿着Z轴正方向的向量/>与向量/>形成极角ρ，沿着X轴正方向的向量/>与/>在XOY平面上的投影向量形成方位角σ；然后，投影点m'和m_Δ非线性地投影到图像平面上得到像点m。

3.根据权利要求1所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤3的具体实现方法为：

步骤3.1、依据立体鱼眼相机的内参数，采用等立体角投影模型定义像点m到图像中心o_I的距离d_ima与极角ρ之间的关系，f为相机焦距；

步骤3.2、计算半球面点m'对应的方位角σ与极角ρ；

步骤3.3、利用方位角σ与极角ρ计算图像像素m的坐标和半球图像点m'的坐标。

4.根据权利要求3所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤3.2采用的计算公式为：

其中，ψ为入射-X角，ζ为入射-Y角；

所述步骤3.3采用如下公式计算图像像素m的坐标：

所述步骤3.3采用如下公式计算半球图像点m'的坐标：

其中，R为成像模型中半球面半径。

5.根据权利要求1所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤4的具体实现方法为：

步骤4.1、以投影点m_Δ所在测地线平面ν₁ν₂ν₃的三条边ν₁ν₂、ν₁ν₃、ν₂ν₃作为有向线段计算Plücker坐标；

步骤4.2、对有向线段和测地线平面ν₁ν₂ν₃的三条有向线段/>和/>执行边缘操作算子；

步骤4.3、判断投影点m_Δ所在的测地线平面。

6.根据权利要求5所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤4.1的计算方法为：

设投影点m_Δ所在测地线平面的三个顶点分别为ν₁＝(X₁,Y₁,Z₁)、ν₂＝(X₂,Y₂,Z₂)、ν₃＝(X₃,Y₃,Z₃)，则三条有向线段和/>的Plücker坐标/>和/>分别通过下式计算：

所述步骤4.2的实现方法为：设成像模型相机坐标系原点为O＝(0,0,0)，有向线段Om'的Plücker坐标为Ω_Om'＝[0,0,-X_m',0,-Z_m',-Y_m']，采用边缘操作算子计算有向线段与 以及/>之间的关系式/>

所述步骤4.3的判断方法为：

如果m_Δ在测地线平面ν₁ν₂ν₃上，则会存在下列三种情况：

(1)过ν₁ν₂ν₃的三个顶点，此时需满足以下条件：

(2)过ν₁ν₂ν₃的三条边，此时需满足以下条件：

(3)过ν₁ν₂ν₃的内部，此时需满足以下条件：

7.根据权利要求1所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤5的具体实现方法为：

步骤5.1、计算测地线平面ν₁ν₂ν₃的归一化法向量

步骤5.2、计算投影点m_Δ的三维坐标；

步骤5.3、利用鱼眼图像、半球面与每个测地线平面点的映射关系，对测地线平面点的三维坐标进行PCA降维。

8.根据权利要求7所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤5.1采用下式计算测地线平面ν₁ν₂ν₃的归一化法向量

所述步骤5.2的计算方法为：利用测地线平面ν₁ν₂ν₃顶点ν₁＝(X₁,Y₁,Z₁)、归一化法向量以及对应半球面点m'＝(X_m',Y_m',Z_m')，通过下式求得投影点m_Δ的三个坐标值X_Δ、Y_Δ、Z_Δ：

9.根据权利要求1所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤6的具体实现方法为：

步骤6.1、选定基准测地线平面，以基准测地线平面的一个顶点作为二维阵列模型坐标系的原点，将正二十面体模型展开为二维阵列模型；

步骤6.2、基于二维阵列模型，计算最优刚性变换矩阵；

步骤6.3、利用最优刚性变换矩阵建立模拟变换基元。

10.根据权利要求9所述的基于二维阵列表示的大场景特征立体匹配方法，其特征在于：所述步骤6.2的实现方法为：

测地线平面上三维点的坐标经过PCA降维之后，设测地线平面α₁α₂O_p的三个顶点分别为α₁α₂O_p对应的阵列基元为β₁β₂O_p1，设β₁β₂O_p1的三个顶点分别为/> 为了将α₁α₂O_p转换为阵列基元β₁β₂O_p1，按以下步骤计算最优刚性变换矩阵；首先，将α₁α₂O_p、β₁β₂O_p1用下式表示为：

Tri_α＝[α₁ α₂ O_p]

Tri_β＝[β₁ β₂ O_p1]

设cen_α、cen_β分别为α₁α₂O_p、β₁β₂O_p1的质心，则cen_α、cen_β的坐标通过下式求得：

为了找到最优旋转矩阵，需要对α₁α₂O_p、β₁β₂O_p1中所有点的坐标数据进行重定向，并使测地线平面α₁α₂O_p和阵列基元β₁β₂O_p1的质心都位于原点，重定向矩阵H_→o通过下式计算：

H_→o＝(Tri_α-cen_α)×(Tri_β-cen_β)^T

通过下式对矩阵H_→o进行奇异值分解并计算最优旋转矩阵R_ET：

H_→o＝U_ET×S_ET×V_ET

R_ET＝V_ET×U_ET ^T

利用最优旋转矩阵R_ET和质心坐标通过下式计算最优平移矩阵T_ET：

T_ET＝-R_ET×cen_α+cen_β；

步骤6.3、利用最优刚性变换矩阵建立模拟变换基元。

通过对测地线平面及其邻域测地线平面进行二维阵列表示，获得对应的模拟变换基元阵列模型。经过PCA降维后，测地线平面α₁α₂O_p中所有点α₁、α₂、α₃、…、α_n、O_p的坐标可以组成3×(n+1)维的矩阵αU：

αU＝[α₁ α₂ α₃...α_n O_p]

其中，n∈N*；

基于模拟变换基元阵列模型，对测地线平面α₁α₂O_p进行最优刚性变换得到阵列基元β₁β₂O_p1，β₁β₂O_p1中所有点的坐标集合βU通过下式确定：

βU＝R_ET×αU+[T₁ T₂ T₃...T_n T_n+1]

其中，矩阵T₁、T₂、T₃、…、T_n、T_n+1与T_ET相等。