CN114972536A - 一种航空面阵摆扫式相机定位和标定方法 - Google Patents
一种航空面阵摆扫式相机定位和标定方法 Download PDFInfo
- Publication number
- CN114972536A CN114972536A CN202210589639.2A CN202210589639A CN114972536A CN 114972536 A CN114972536 A CN 114972536A CN 202210589639 A CN202210589639 A CN 202210589639A CN 114972536 A CN114972536 A CN 114972536A
- Authority
- CN
- China
- Prior art keywords
- matrix
- camera
- image
- focus
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于航空遥感和无人机数据处理技术领域,具体涉及一种航空面阵摆扫式相机定位和标定方法。首先通过影像匹配建立任意两景有重叠范围影像之间的空间联系,并将其空间旋转和平移关系转换到航线空间坐标系下;然后对四焦点张量模型内的相邻两组影像建立四线性约束关系,以四焦点张量模型为独立平差单元,计算四焦点张量模型内匹配成功点的物点坐标;最后建立以四焦点张量模型为独立单元的光束法平差代价函数,进行以四焦点张量模型为基础的光束法平差和标定处理。本发明可以建立稳健固定的局部影像几何关系,克服相机摆扫角越大,影像几何畸变程度越大的缺陷;以四焦点张量模型为独立单元建立平差代价函数,减少运算量,提高平差收敛速度。
Description
技术领域
本发明属于航空遥感和无人机数据处理技术领域,具体涉及一种航空面阵摆扫式相机定位和标定方法。
背景技术
航空面阵摆扫相机具有单个镜头或多个镜头,采用面阵CCD或CMOS电子器件作为探测元件,相机可沿航线垂直方向进行大角度倾斜摆扫侧视成像,可获得飞行航线两侧较大范围的地面影像,如图1(a)和图1(b)所示,具有瞬间凝视成像、几何关系稳定、总视场大、观测范围宽、多角度成像等特点在境外侦察成像、倾斜摄影测量、三维仿真重建等领域具有广泛的应用。典型的面阵摆扫航空相机有Goodrich公司的DB-110系列航空相机、Raytheon公司的全球鹰搭载相机、FLIR公司生产的B2-FO相机以及以色列ELOP公司的双波段LOROP相机、以色列VisionMap的A3-edge相机。其中A3-edge是新一代的步进式分幅成像航摄仪、携带300mm长焦双镜头,两个镜头位置关系固定,航摄过程中相机围绕中心轴在垂直飞行方向上摆扫成像,相机的0号镜头和1号镜头同时曝光成像,摆扫角最高可达109°。在完成摆扫成像后,相机反向回摆并迅速归位,回摆过程不成像。
但是面阵摆扫式航空影像像幅小,影像数量多,航线关系复杂,大倾角成像时全景畸变严重,这些都增加了定位和标定处理的难度。而且面阵摆扫式相机由于摆扫角度较大,相邻影像之间角度变化快,差异大,相机一般仅配置有GNSS设备,可以提供成像时相机的位置信息,但不装备IMU姿态测量,无法提供成像时相机的角度信息,传统的摄影测量定位处理方法不在适用。
发明内容
本发明的目的在于提供一种航空面阵摆扫式相机定位和标定方法,用以解决传统的摄影测量标定和定位处理方法不适用航空面阵摆扫式相机的问题。
为解决上述技术问题,本发明所提供的技术方案以及技术方案对应的有益效果如下:
本发明提供了一种航空面阵摆扫式相机定位和标定方法,包括如下步骤:
1)获取航空面阵摆扫式相机影像,建立按照航线排列关系组织的影像检索关系;
2)按照影像检索关系对获得的每景影像进行特征提取和特征匹配,以找到每景影像和所有存在重叠关系影像之间的成功匹配点;
3)针对每景影像,建立考虑相机畸变和标定参数的成像模型,相应的物点和像点之间几何关系为:
x=PX=K[R|t]X
式中,P=K[R|t]为摄像机矩阵,R为旋转矩阵,t为平移向量,K为相机内参数矩阵;X为物点位置;x为像点位置;
4)设定相机内参数矩阵K为单位矩阵,利用步骤2)中得到的成功匹配点,计算存在重叠关系的两张影像间的旋转和平移关系,即影像i和影像j之间的旋转矩阵Rij和平移向量tij;
5)以每条航线第一个摆扫周期第一景影像为参考,定义航线空间坐标系,并根据步骤4)得到的影像i和影像j之间的旋转矩阵Rij和平移向量tij,将全部影像的旋转矩阵转换到航线空间坐标系下,从而得到全部影像在航线空间坐标系下的旋转矩阵初值;
6)获取多组四景影像,一组四景影像分别为在某一扫摆角度下航空面阵摆扫式相机中的两个相机拍摄的影像和另一扫摆角度下两个相机拍摄的影像,根据全部影像在航线空间坐标系下的旋转矩阵初值确定四景影像的摄像机矩阵,进而建立相应的四焦点张量模型,并确定每个四焦点张量模型中成功匹配点所对应的物点坐标;
7)构建以四焦点张量模型为单元的平差代价函数,利用四焦点张量模型中控制点、以及成功匹配点以及所对应的三维坐标进行平差处理,更新每景影像的旋转矩阵R和平移向量t,实现航空面阵摆扫式相机定位,并更新相机内参数矩阵K,实现航空面阵摆扫式相机标定。
其有益效果为:本发明鉴于面阵摆扫大倾角航空相机获取影像像幅小、数量多、航线关系复杂、大倾角成像时全景畸变严重、不具备姿态角初值的问题,创新性以提出建立四焦点张量模型,以四焦点张量模型为独立单元,进行面阵摆扫航空相机的定位和标定处理。具体处理时,以四焦点张量模型为独立平差单元,计算每个四焦点张量模型内大量匹配成功点的空间三维坐标(物点坐标),可以克服相机摆扫角越大、影像几何畸变程度越大的缺陷;在四焦点张量模型内部利用旋转矩阵间约束关系,可以进一步剔除四焦点张量模型内部的错误匹配点,精化摄像机矩阵,为光束法平差提供更精确的初始估计值;最后以四焦点张量模型为基础建立平差代价函数,可以减少平差运算量,提供平差收敛速度,避免影像数量众多、关系复杂引起的平差速度慢、不收敛等问题。
进一步地,步骤2)中,采用Sift特征提取算法来进行特征提取,并利用RANSAC算法剔除特征匹配结果中存在的粗差。
进一步地,步骤3)中,相机内参数矩阵K为增加了扭曲参数s的相机内参数矩阵:
式中,αx和αy分别为相机在x和y轴方向的几何畸变参数;x0和y0分别为相机焦平面上的主点位移参数。
进一步地,步骤4)中,采用如下方法确定影像i和影像j之间的旋转矩阵Rij和平移向量tij:
4.1)利用至少5对的成功匹配点对,并结合核面约束条件,求解得到本质矩阵E;其中,所述核面约束条件为:
其中,所述p1和p2分别为影像i和影像j上的一对成功匹配点对的坐标;
4.2)对本质矩阵E进行奇异值分解,得到影像i和影像j之间的旋转矩阵Rij和平移向量tij。
进一步地,步骤4)中,影像i和影像j在航线空间坐标系下的旋转矩阵Ri和Rj之间的关系为:
Rj=RijRi。
进一步地,步骤6)中采用如下方法建立相应的四焦点张量模型:
6.1)四景影像的摄像机矩阵分别为摄像机矩阵A、摄像机矩阵B、摄像机矩阵C、摄像机矩阵D,设某一物点X在四景影像上存在一组对应点,分别为像点x、像点x′、像点x″、像点x″′,定义四焦点张量为:
式中,Qpqrs为四焦点张量的张量符号表示;ai为摄像机矩阵A的第i行;bq为摄像机矩阵B的第q行;cr为摄像机矩阵C的第r行;ds为摄像机矩阵D的第s行;
6.2)由四景影像间存在的投影关系,推导得到四焦点张量的四线性约束关系;
所述四景影像间存在的投影关系为:
式中,k、k′、k″和k″′均为不确定的比例常数;
所述四线性约束关系为:
xix′jx″kx″′lεipwεjqxεkryεlszQpqrs=0wxyz
式中,下标w、x、y和z为自由变量;εipw、εjqx、εkry和εlsz为不同向量之间的向量积;
6.3)基于步骤5)中影像在航线空间坐标系下的旋转矩阵初值和位置信息初值,确定摄像机矩阵A、摄像机矩阵B、摄像机矩阵C和摄像机矩阵D,以建立四焦点张量模型。
进一步地,采用如下方法确定每个四焦点张量模型中成功匹配点所对应的物点坐标:
6.4)获得物点X和每个像点x、x′、x″、x″′存在的投影关系:
6.5)设像点x的平面坐标为(x,y),像点x′的平面坐标为(x′,y′),像点x″的平面坐标为(x″,y″),像点x″′的平面坐标为(x″′,y″′),对于步骤6.4)中的每个方程,通过叉乘消去齐次标量因子,使得步骤6.4)中的每一个方程均得到三个方程,从而得到十二个方程,分别为:
式中,A3T为摄像机矩阵A的第3行的转置矩阵,A1T为摄像机矩阵A的第1行的转置矩阵,A2T为摄像机矩阵A的第2行的转置矩阵,B3T为摄像机矩阵B的第3行的转置矩阵,B1T为摄像机矩阵B的第1行的转置矩阵,B2T为摄像机矩阵B的第2行的转置矩阵,C3T为摄像机矩阵C的第3行的转置矩阵,C1T为摄像机矩阵C的第1行的转置矩阵,C2T为摄像机矩阵C的第2行的转置矩阵;
6.6)取步骤6.5中每三个方程的前两个方程,共得到八个方程,构建得到如下方程:
NX-L=0
6.7)解算步骤6.6)构建得到的方程,从而得到物点X坐标。
进一步地,步骤6.7)中采用最小二乘法解算步骤6.6)构建得到的方程。
进一步地,步骤7)中,进行平差处理所采用的方法为基于四焦点张量模型的光束法平差和标定法;设某一物点X在四景影像上存在一组对应点,分别为像点x、像点x′、像点x″、像点x″′;
所述基于四焦点张量模型的平差代价函数为:
式中,f(z)为平差代价函数,也为BA代价函数;(xi,yi),i∈(1,2,3,4)为四个像点x、x′、x″、x″′对应的像点观测坐标;Ri为对应的旋转矩阵;ti为对应的平移向量;为像点坐标的计算值;z为未知参数,包括相机内参数矩阵、旋转矩阵、平移向量和物点坐标;
相应的采用所述光束法平差和标定法进行定位和标定时,采用LM算法对BA代价函数进行最优化求解,BA代价函数为:
式中,n为参与平差和定标运算的全部控制点和成功匹配点对所列出的BA代价函数的个数总和,k为所列出的单个BA代价函数的序号。
进一步地,所述基于四焦点张量模型的光束法平差和标定法为三阶段光束平差法定位和标定方法,所述三阶段光束平差法定位和标定方法的三个阶段为:在第一阶段,设置相机内参数矩阵K为单位矩阵E,旋转矩阵Ri保持不变,光束法平差定位和标定过程只处理平移向量ti和物点坐标;在第二阶段,设置内参数矩K仍然是单位矩阵E,但平移向量ti、旋转矩阵Ri和物点坐标参与光束法平差定位和标定;在第三个阶段,包括相机内参数矩阵K、平移向量ti、旋转矩阵Ri和物点坐标在内的所有未知数均参与光束法平差定位和标定。
附图说明
图1(a)是航空面阵摆扫式相机的摆扫成像关系示意图;
图1(b)是航空面阵摆扫式相机的相邻摆扫周期的影像关系示意图;
图2是本发明的航空面阵摆扫式相机定位和标定方法的流程图;
图3是两景影像间核面几何关系示意图;
图4是四焦点张量模型图示意图。
具体实施方式
本发明提出建立四焦点张量模型,以四焦点张量模型为独立平差单元进行平差处理,以实现对面阵摆扫大倾角航空影像的定位和标定。下面结合附图和实施例,对本发明进行详细说明。
航空面阵摆扫式相机定位和标定方法实施例:
本发明的一种航空面阵摆扫式相机定位和标定方法实施例,其整体流程如图2所示,下面具体介绍。
步骤一,获取航空面阵摆扫式相机影像,依据航空影像成像时间和POS数据,将全部待处理面阵摆扫大倾角航空影像按航线排列,建立按照航线关系组织的影像检索关系。
步骤二,采用Sift特征提取算法,按照影像检索关系提取每景影像的特征算子和特征描述符,利用汉明距离进行迭代特征匹配,同时采用RANSAC算法剔除匹配结果中存在的大量粗差,寻找每景影像和所有物存在重叠关系影像之间的成功匹配点。具体过程如下:
1、进行初次匹配,初次匹配结果中随机选取4组匹配点对作为初始样本,计算其单应性矩阵,并对矩阵所对应的参数模型记为M。
2、将其他匹配点依次代入步骤1中的参数模型M,若匹配点能够较好的拟合该模型,则认为这个匹配点为该模型下的内点,反之为外点,统计该模型下内点个数为sum。
3、重复上述步骤k次,迭代次数k由式(1)得到,选取k个模型中内点数量最大的模型为正确估计模型,该模型下的内点为正确匹配点,将其视为最终匹配结果。
式中,n为初始样本个数,本实施例中n=4;p为所有匹配点对中随机选取的n各样本均为正确匹配点的概率;w为在所有匹配点对中选取一个点为正确匹配点的概率。
步骤三,对每景面阵摆扫影像,依据针孔成像模型,建立考虑相机畸变和标定参数的成像模型。
面阵摆扫航空相机采用针孔相机模型进行描述,物方空间中三维点P(X,Y,Z)经过小孔投影之后,落在影像平面,形成像点p(x,y,-f)。物点和像点之间几何关系采用的几何模型关系如下:
x=PX=K[R|t]X (2)
式中,R为姿态矩阵,是一个表示相机坐标系方向的3×3旋转矩阵;t为平移向量;R和t称为相机的外参数矩阵;K为相机的内参数矩阵,也称为摄像机标定矩阵;P=K[R|t]为相机的摄像机矩阵。面阵摆扫航空相机定位和标定的过程就是确定R、t和K的过程。
CCD摄像机的标定矩阵的一般形式为:
式中,αx和αy分别为相机在x和y轴方向的几何畸变参数;x0和y0分别为相机焦平面上的主点位移参数。
为了增加通用性,可以增加扭曲参数s,增加扭曲参数s后的标定矩阵为:
步骤四,基于步骤二得到的成功匹配点,计算存在重叠关系的两张影像间的空间旋转和平移关系,即影像i和影像j之间的姿态旋转矩阵Rij和平移矩阵tij。
若具有重叠度的两张影像上存在成功匹配点对,如图3所示,影像I1、I2相机中心分别为O1、O2,光线O1p1与光线O2p2在三维空间中相交于点P,O1、O2、P三点确定核面,O1、O2连线与像平面I1、I2的交点分别为核点e1、e2,核面与两个像平面的交线为核线l1、l2,影像I1中像点p1与影像I2中像点p2为成功匹配点对,利用成功匹配点对可以估计影像I1到影像I2的旋转矩阵Rij和平移矩阵tij。
像点p1、p2满足核面约束如下:
它的几何意义是O1、P、O2三者共面,E称为本质矩阵,E=t^R,E是t和R的外积,垂直于t和R。核面约束中同时包含了平移和旋转,由本质矩阵E,还可以定义基础矩阵F,F=K- TEK-1。核面约束给出了两个匹配点的空间位置关系,利用匹配点,根据核面约束可以求出本质矩阵E或者基础矩阵F,然后分解确定Rij和tij,确定两张影像间的相对旋转和平移。
具体求解过程如下:
2、将公式(6)展开,得到线性方程组:
3、本质矩阵E描述了平移和旋转变化,自由度为6,但由于尺度等价性的影响,实际自由度为5。因而,此处利用至少5对以上的成功匹配点对,采用经典八点法(Eight-point-algorithm)确定E矩阵。
4、得到本质矩阵E后,对本质矩阵E进行奇异值分解(SVD)得到Rij和tij,确定两景影像的相对旋转和平移。
步骤五,以每条航线第一个摆扫周期第一景cam0影像为参考,定义航线空间坐标系,其旋转矩阵为R=I(I表示单位矩阵),基于步骤四的计算结果,将全部影像的旋转矩阵转换到航线空间坐标系下,获得全部影像在航线空间坐标系下的旋转矩阵初值。
设影像i在航线空间坐标系下的旋转矩阵为Ri,步骤四得到的影像j和影像i之间的旋转矩阵为Rij,则影像j在航线空间坐标系下的旋转矩阵Rj为:
Rj=RijRi (8)
步骤六,获取多组四景影像,建立相应的四焦点张量模型,并计算每个四焦点张量模型中成功匹配点所对应的物点坐标(三维坐标)。
对于VisionMap相机,在某一摆扫角度,cam0和cam1相机获得了影像Ⅰ和影像Ⅰ′,对应投影面Ⅱ和Ⅱ′,投影中心分别为C和C′;摆扫角发生变化,在下一个成像时刻,cam0和cam1相机获得了影像Ⅰ″和影像Ⅰ″′,对应投影面Ⅱ″和Ⅱ″′,投影中心为C″和C″′,空间中直线L在四景影像视图上分别成像,如图4所示。具体计算物点坐标的过程如下:
式中,k、k′、k″和k″′均为不确定的比例常数。记矩阵A的第i行为ai,矩阵B的第i行为bi,矩阵C和D可以依次类推。
2、定义四维四焦点张量如下:
式中,ai为摄像机矩阵A的第i行;bq为摄像机矩阵B的第q行;cr为摄像机矩阵C的第r行;ds为摄像机矩阵D的第s行。
3、由投影关系方程(9)中推导四焦点张量的四线性关系如下:
xix′jx″kx″′lεipwεjqxεkryεlszQpqrs=0wxyz (11)
式中,w、x、y和z是自由变量;εipw、εjqx、εkry和εlsz代表不同向量之间的向量积。
4、基于步骤五中航线空间坐标系下的旋转矩阵初值和POS提供的位置信息初值,确立摄像机矩阵A、B、C和D,建立四焦点张量模型。
利用四线性约束关系可以进一步剔除四焦点张量模型内部的错误匹配点,精化摄像机矩阵A、B、C和D,为光束法平差提供更精确的初始估计值。下一步利用摄像机矩阵A、B、C、D和成功匹配点的像点坐标进行三角测量运算,计算成功匹配点在航线空间坐标系下的三维模型坐标。
6、设像点x的平面坐标为(x,y),像点x′的平面坐标为(x′,y′),像点x″的平面坐标为(x″,y″),像点x″′的平面坐标为(x″′,y″′),对于公式(12)中的各个方程,通过叉乘消去齐次标量因子,每个方程均得到三个方程。以公式(12)中第一个方程为例,通过叉乘消去齐次标量因子,得到三个方程,如式(13)所示,其中两个是线性独立的。
式中,A3T为摄像机矩阵A的第3行的转置矩阵,A1T为摄像机矩阵A的第1行的转置矩阵,A2T为摄像机矩阵A的第2行的转置矩阵,B3T为摄像机矩阵B的第3行的转置矩阵,B1T为摄像机矩阵B的第1行的转置矩阵,B2T为摄像机矩阵B的第2行的转置矩阵,C3T为摄像机矩阵C的第3行的转置矩阵,C1T为摄像机矩阵C的第1行的转置矩阵,C2T为摄像机矩阵C的第2行的转置矩阵。
NX-L=0
8、采用最小二乘法答解公式(14),得到四焦点张量模型中成功匹配点所对应的空间三维点坐标。
步骤七,构建以四焦点张量模型为单元的平差代价函数,进行光束法平差BA(Bundle Adjustment)处理,更新每景影像的旋转矩阵和平移向量,同时标定相机内参数矩阵,实现航空面阵摆扫式相机定位和标定。
定义以四焦点张量模型为基础的,光束法平差的代价函数为:
式中,(xi,yi),i∈(1,2,3,4)是四个像点对应的像点观测坐标;Ri,i∈(1,2,3,4)是对应的旋转矩阵;ti,i∈(1,2,3,4)是对应的平移向量;为像点坐标的计算值;z是未知参数向量,包括机内参数矩阵、旋转矩阵、平移向量以及标空间点三维坐标。
像点坐标观测值和像点坐标计算值之间的误差是地面点的重投影误差,代表了旋转矩阵、平移参数、相机内标定参数和地面点坐标所包含的误差大小。代价函数函数取得最小值,则位姿参数、标定参数、空间点三维坐标取得最优解。
光束法平差的过程就是公式(16)非线性最小二乘BA代价函数的最优化过程:
式中,n为参与平差和定标运算的全部控制点和成功匹配点对所列出的BA代价函数的个数总和,k为所列出的单个BA代价函数的序号。
本实施例中,采用Levenberg-Marquardt(LM)对BA代价函数进行最优化求解。LM算法将原始非线性代价函数(16)分解为一系列正则化线性函数的逼近,J(z)是f(z)的雅可比矩阵,每次循环LM以如下形式更新求解线性最小二乘问题:
式中,δ为未知参数z在每次迭代过程中的增量;D(z)是矩阵J(z)TJ(z)的平方根矩阵;λ是正则化参数,可以根据J(z)与f(z)的逼近程度进行调整。如果||f(z+δ*)||<||f(z)||,则更新未知参数z→z+δ*。求解公式(17)相当于求解如下标准方程:
(JTJ+λDTD)δ=-JTf (18)式中,(JTJ+λDTD)被称作扩展Hessian矩阵。
在光束法平差中,未知参数向量z包括两部分内容:相机位姿和标定参数、以及空间点三维坐标参数,z=[zc;zp],zc是相机位姿和标定参数,zp是空间三维点坐标参数。同理,D,δ,J也可以分为两个部分,D=[Dc;Dp],δ=[δc;δp],J=[Jc;Jp]。设 方程(18)可以写为块状线性***:
采用高斯消元法处理方程(19),可以消去空间点三维坐标参数,得到只包括相机参数的线性方程:
求解方程(20),得到δc,然后反向替换,求得:
迭代循环求解δc和δp,两次循环后,δc和δp均可以达到很高的精度,计算结束。
在摄影测量处理中,大***误差主要由位姿参数引起,而航空相机和星载相机的剩余微小***误差都是由相机内参数引起。本发明还提出三阶段光束平差法定位和标定处理,首先处理旋转矩阵和平移向量,最后处理内参数矩阵。在第一阶段,内参数矩阵K设置为E(单位矩阵),旋转矩阵Ri保持不变,光束法平差定位和标定过程只处理平移向量ti和物点坐标。在第二阶段,内参数矩阵K仍然是E,但平移向量ti、旋转矩阵Ri和物点坐标都参与光束法平差定位和标定。在第三个阶段,包括内参数矩阵K、平移向量ti、旋转矩阵Ri和物点坐标在内的所有未知数都参与光束法平差定位和标定。
至此,完成了基于四焦点张量的面阵摆扫大倾角航空相机的定位和标定处理流程。
综上,本发明鉴于面阵摆扫大倾角航空相机获取影像像幅小、数量多、航线关系复杂、大倾角成像时全景畸变严重、不具备姿态角初值的问题,创新性以提出建立四焦点张量模型,以四焦点张量模型为独立单元,进行面阵摆扫航空相机的定位和标定处理。以四焦点张量模型为独立平差单元,计算每个四焦点张量模型内大量匹配成功点的空间三维坐标,可以克服相机摆扫角越大、影像几何畸变程度越大的缺陷。在四焦点张量模型内部利用旋转矩阵间约束关系,可以进一步剔除四焦点张量模型内部的错误匹配点,精化摄像机矩阵A、B、C和D,为光束法平差提供更精确的初始估计值。最后以四焦点张量模型为基础建立平差代价函数,可以减少平差运算量,提供平差收敛速度,避免影像数量众多、关系复杂引起的平差速度慢、不收敛等问题。
Claims (10)
1.一种航空面阵摆扫式相机定位和标定方法,其特征在于,包括如下步骤:
1)获取航空面阵摆扫式相机影像,建立按照航线排列关系组织的影像检索关系;
2)按照影像检索关系对获得的每景影像进行特征提取和特征匹配,以找到每景影像和所有存在重叠关系影像之间的成功匹配点;
3)针对每景影像,建立考虑相机畸变和标定参数的成像模型,相应的物点和像点之间几何关系为:
x=PX=K[R|t]X
式中,P=K[R|t]为摄像机矩阵,R为旋转矩阵,t为平移向量,K为相机内参数矩阵;X为物点位置;x为像点位置;
4)设定相机内参数矩阵K为单位矩阵,利用步骤2)中得到的成功匹配点,计算存在重叠关系的两张影像间的旋转和平移关系,即影像i和影像j之间的旋转矩阵Rij和平移向量tij;
5)以每条航线第一个摆扫周期第一景影像为参考,定义航线空间坐标系,并根据步骤4)得到的影像i和影像j之间的旋转矩阵Rij和平移向量tij,将全部影像的旋转矩阵转换到航线空间坐标系下,从而得到全部影像在航线空间坐标系下的旋转矩阵初值;
6)获取多组四景影像,一组四景影像分别为在某一扫摆角度下航空面阵摆扫式相机中的两个相机拍摄的影像和另一扫摆角度下两个相机拍摄的影像,根据全部影像在航线空间坐标系下的旋转矩阵初值确定四景影像的摄像机矩阵,进而建立相应的四焦点张量模型,并确定每个四焦点张量模型中成功匹配点所对应的物点坐标;
7)构建以四焦点张量模型为单元的平差代价函数,利用控制点、四焦点张量模型中成功匹配点以及所对应的三维坐标进行平差处理,更新每景影像的旋转矩阵R和平移向量t,实现航空面阵摆扫式相机定位,并更新相机内参数矩阵K,实现航空面阵摆扫式相机标定。
2.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法,其特征在于,步骤2)中,采用Sift特征提取算法来进行特征提取,并利用RANSAC算法剔除特征匹配结果中存在的粗差。
5.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法,其特征在于,步骤4)中,影像i和影像j在航线空间坐标系下的旋转矩阵Ri和Rj之间的关系为:
Rj=RijRi。
6.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法,其特征在于,步骤6)中采用如下方法建立相应的四焦点张量模型:
6.1)四景影像的摄像机矩阵分别为摄像机矩阵A、摄像机矩阵B、摄像机矩阵C、摄像机矩阵D,设某一物点X在四景影像上存在一组对应点,分别为像点x、像点x′、像点x″、像点x″′,定义四焦点张量为:
式中,Qpqrs为四焦点张量的张量符号表示;ai为摄像机矩阵A的第i行;bq为摄像机矩阵B的第q行;cr为摄像机矩阵C的第r行;ds为摄像机矩阵D的第s行;
6.2)由四景影像间存在的投影关系,推导得到四焦点张量的四线性约束关系;
所述四景影像间存在的投影关系为:
式中,k、k′、k″和k″′均为不确定的比例常数;
所述四线性约束关系为:
xix′jx″kx″′lεipwεjqxεkryεlszQpqrs=0wxyz
式中,下标w、x、y和z为自由变量;εipw、εjqx、εkry和εlsz为不同向量之间的向量积;
6.3)基于步骤5)中影像在航线空间坐标系下的旋转矩阵初值和位置信息初值,确定摄像机矩阵A、摄像机矩阵B、摄像机矩阵C和摄像机矩阵D,以建立四焦点张量模型。
7.根据权利要求6所述的航空面阵摆扫式相机定位和标定方法,其特征在于,采用如下方法确定每个四焦点张量模型中成功匹配点所对应的物点坐标:
6.4)获得物点X和每个像点x、x′、x″、x″′存在的投影关系:
6.5)设像点x的平面坐标为(x,y),像点x′的平面坐标为(x′,y′),像点x″的平面坐标为(x″,y″),像点x″′的平面坐标为(x″′,y″′),对于步骤6.4)中的每个方程,通过叉乘消去齐次标量因子,使得步骤6.4)中的每一个方程均得到三个方程,从而得到十二个方程,分别为:
式中,A3T为摄像机矩阵A的第3行的转置矩阵,A1T为摄像机矩阵A的第1行的转置矩阵,A2T为摄像机矩阵A的第2行的转置矩阵,B3T为摄像机矩阵B的第3行的转置矩阵,B1T为摄像机矩阵B的第1行的转置矩阵,B2T为摄像机矩阵B的第2行的转置矩阵,C3T为摄像机矩阵C的第3行的转置矩阵,C1T为摄像机矩阵C的第1行的转置矩阵,C2T为摄像机矩阵C的第2行的转置矩阵;
6.6)取步骤6.5)中每三个方程的前两个方程,共得到八个方程,构建得到如下方程:
NX-L=0
6.7)解算步骤6.6)构建得到的方程,从而得到物点X坐标。
8.根据权利要求7所述的航空面阵摆扫式相机定位和标定方法,其特征在于,步骤6.7)中采用最小二乘法解算步骤6.6)构建得到的方程。
9.根据权利要求1所述的航空面阵摆扫式相机定位和标定方法,其特征在于,步骤7)中,进行平差处理所采用的方法为基于四焦点张量模型的光束法平差和标定法;设某一物点X在四景影像上存在一组对应点,分别为像点x、像点x′、像点x″、像点x″′;
所述基于四焦点张量模型的平差代价函数为:
式中,f(z)为平差代价函数,(xi,yi),i∈(1,2,3,4)为四个像点x、x′、x″、x″′对应的像点观测坐标;Ri为对应的旋转矩阵;ti为对应的平移向量;为像点坐标的计算值;z为未知参数,包括相机内参数矩阵、旋转矩阵、平移向量和物点坐标;
相应的采用所述光束法平差和标定法进行定位和标定时,采用LM算法对BA代价函数进行最优化求解,BA代价函数为:
式中,n为参与平差和定标运算的全部控制点和成功匹配点对所列出的BA代价函数的个数总和,k为所列出的单个BA代价函数的序号。
10.根据权利要求9所述的航空面阵摆扫式相机定位和标定方法,其特征在于,所述基于四焦点张量模型的光束法平差和标定法为三阶段光束平差法定位和标定方法,所述三阶段光束平差法定位和标定方法的三个阶段为:在第一阶段,设置相机内参数矩阵K为单位矩阵E,旋转矩阵Ri保持不变,光束法平差定位和标定过程只处理平移向量ti和物点坐标;在第二阶段,设置内参数矩阵K仍然是单位矩阵E,但平移向量ti、旋转矩阵Ri和物点坐标参与光束法平差定位和标定;在第三个阶段,包括相机内参数矩阵K、平移向量ti、旋转矩阵Ri和物点坐标在内的所有未知数均参与光束法平差定位和标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210589639.2A CN114972536B (zh) | 2022-05-26 | 2022-05-26 | 一种航空面阵摆扫式相机定位和标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210589639.2A CN114972536B (zh) | 2022-05-26 | 2022-05-26 | 一种航空面阵摆扫式相机定位和标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972536A true CN114972536A (zh) | 2022-08-30 |
CN114972536B CN114972536B (zh) | 2023-05-09 |
Family
ID=82956238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210589639.2A Active CN114972536B (zh) | 2022-05-26 | 2022-05-26 | 一种航空面阵摆扫式相机定位和标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972536B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6198852B1 (en) * | 1998-06-01 | 2001-03-06 | Yeda Research And Development Co., Ltd. | View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry |
US20030044048A1 (en) * | 2001-06-18 | 2003-03-06 | Zhengyou Zhang | Incremental motion estimation through local bundle adjustment |
CN101750029A (zh) * | 2008-12-10 | 2010-06-23 | 中国科学院沈阳自动化研究所 | 基于三焦点张量的特征点三维重建方法 |
US20120063638A1 (en) * | 2010-09-10 | 2012-03-15 | Honda Motor Co., Ltd. | Egomotion using assorted features |
US20130272581A1 (en) * | 2010-10-01 | 2013-10-17 | Saab Ab | Method and apparatus for solving position and orientation from correlated point features in images |
CN107067437A (zh) * | 2016-12-28 | 2017-08-18 | 中国航天电子技术研究院 | 一种基于多视几何和光束法平差的无人机定位***及方法 |
CN108280858A (zh) * | 2018-01-29 | 2018-07-13 | 重庆邮电大学 | 多视图重建中的一种线性全局相机运动参数估计方法 |
CN108489395A (zh) * | 2018-04-27 | 2018-09-04 | 中国农业大学 | 视觉测量***结构参数标定和仿射坐标系构建方法与*** |
CN111508029A (zh) * | 2020-04-09 | 2020-08-07 | 武汉大学 | 星载分片线阵ccd光学相机整体几何定标方法及*** |
WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技(深圳)有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
CN113739767A (zh) * | 2021-08-24 | 2021-12-03 | 武汉大学 | 针对国产面阵摆扫成像***获取的影像生产正射影像的方法 |
-
2022
- 2022-05-26 CN CN202210589639.2A patent/CN114972536B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6198852B1 (en) * | 1998-06-01 | 2001-03-06 | Yeda Research And Development Co., Ltd. | View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry |
US20030044048A1 (en) * | 2001-06-18 | 2003-03-06 | Zhengyou Zhang | Incremental motion estimation through local bundle adjustment |
CN101750029A (zh) * | 2008-12-10 | 2010-06-23 | 中国科学院沈阳自动化研究所 | 基于三焦点张量的特征点三维重建方法 |
US20120063638A1 (en) * | 2010-09-10 | 2012-03-15 | Honda Motor Co., Ltd. | Egomotion using assorted features |
US20130272581A1 (en) * | 2010-10-01 | 2013-10-17 | Saab Ab | Method and apparatus for solving position and orientation from correlated point features in images |
CN107067437A (zh) * | 2016-12-28 | 2017-08-18 | 中国航天电子技术研究院 | 一种基于多视几何和光束法平差的无人机定位***及方法 |
CN108280858A (zh) * | 2018-01-29 | 2018-07-13 | 重庆邮电大学 | 多视图重建中的一种线性全局相机运动参数估计方法 |
CN108489395A (zh) * | 2018-04-27 | 2018-09-04 | 中国农业大学 | 视觉测量***结构参数标定和仿射坐标系构建方法与*** |
WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技(深圳)有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
CN111508029A (zh) * | 2020-04-09 | 2020-08-07 | 武汉大学 | 星载分片线阵ccd光学相机整体几何定标方法及*** |
CN113739767A (zh) * | 2021-08-24 | 2021-12-03 | 武汉大学 | 针对国产面阵摆扫成像***获取的影像生产正射影像的方法 |
Non-Patent Citations (7)
Title |
---|
MOULON, P. , ET AL.: "Global Fusion of Relative Motions for Robust, Accurate and Scalable Structure from Motion", IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION IEEE * |
SCHONBERGER, J. L ,ET AL.: "Structure-from-Motion Revisited", IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION IEEE * |
THIRTHALA, S.,ET AL.: "Multi-view geometry of 1D radial cameras and its application to omnidirectional camera calibration", TENTH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV\'05) * |
张昆 等: "一种基于面阵摆扫式航空影像的特征匹配方法", 地球信息科学学报 * |
李赛;胡勇;巩彩兰;宋文韬;: "面阵摆扫热红外航空影像分步几何校正方法", 红外与毫米波学报 * |
王艳利;宁卫远;: "基于A3航摄仪的小基高比影像连接点精提取技术研究", 河南城建学院学报 * |
陈春晓;张娟;: "基于三焦点张量的多视图三维重构", 生物医学工程学杂志 * |
Also Published As
Publication number | Publication date |
---|---|
CN114972536B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112102458B (zh) | 基于激光雷达点云数据辅助的单镜头三维图像重构方法 | |
Ishikawa et al. | Lidar and camera calibration using motions estimated by sensor fusion odometry | |
Furukawa et al. | Accurate camera calibration from multi-view stereo and bundle adjustment | |
CN103759670B (zh) | 一种基于数字近景摄影的物体三维信息获取方法 | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN109272574B (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
CN110264528B (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
CN110345921B (zh) | 立体视场视觉测量及垂轴像差和轴向像差校正方法及*** | |
CN108470370A (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
Chatterjee et al. | Algorithms for coplanar camera calibration | |
CN114004901B (zh) | 多相机标定方法、装置、终端设备及可读存储介质 | |
CN105379264A (zh) | 用于成像设备建模与校准的***和方法 | |
CN107038753B (zh) | 立体视觉三维重建***及方法 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN110070598A (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
CN107014399A (zh) | 一种星载光学相机‑激光测距仪组合***联合检校方法 | |
CN104537707A (zh) | 像方型立体视觉在线移动实时测量*** | |
CN101354796B (zh) | 基于泰勒级数模型的全向立体视觉三维重建方法 | |
Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
CN113963068B (zh) | 一种镜像式单像机全向立体视觉传感器全局标定方法 | |
CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
JP2000268179A (ja) | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 | |
CN108759788A (zh) | 无人机影像定位定姿方法及无人机 | |
CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及*** | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |