CN104180808B - 一种用于自主空中加油的圆形锥套视觉位姿解算方法 - Google Patents
一种用于自主空中加油的圆形锥套视觉位姿解算方法 Download PDFInfo
- Publication number
- CN104180808B CN104180808B CN201410382576.9A CN201410382576A CN104180808B CN 104180808 B CN104180808 B CN 104180808B CN 201410382576 A CN201410382576 A CN 201410382576A CN 104180808 B CN104180808 B CN 104180808B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- oil filler
- under
- circle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 60
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 239000000945 filler Substances 0.000 claims description 70
- 239000000446 fuel Substances 0.000 claims description 56
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于自主空中加油的圆形锥套视觉位姿解算方法,该方法利用加油锥套的结构特点,先建立原点为摄像机光心、XY平面与加油口平面平行的世界坐标系,然后分别在摄像机坐标系和世界坐标系下建立圆形投影锥面方程,并根据“旋转变换不改变系数矩阵特征值”这一特性,计算世界坐标系下圆形投影锥面方程系数矩阵中的未知参数,进而可求解受油插头和加油锥套之间的位置和姿态信息。该方法思路清晰,计算过程简单,通用性和便利性好,可获得位姿参数的精确解。
Description
技术领域
本发明涉及一种用于自主空中加油的圆形锥套视觉位姿解算方法。
背景技术
空中加油能够延长航空器的飞行时间和作用范围,而自主空中加油(AerialAutonomous Refueling,AAR)可为有人机空中加油降低风险,还可用于无人机,是现代航空领域的重要挑战之一。目前我国主要采用插头-锥套式(软式)空中加油方式,即加油机拖曳一根软管,软管末端挂载伞状的加油锥套,受油机通过飞行控制使得安装在机头区域的受油插头与加油锥套完成对接,进而实现油料的空中传送。
在此过程中,较为关键的一步是受油机在近距(距离在1m~20m之间)的情况下如何获得加油锥套与受油插头之间的精确相对位置和姿态信息,一般至少要求在对接时(即距离为1m以内)的位置误差要小于10cm,加油锥套端面中心与受油插头顶点的连线和加油口中轴线之间的角度偏差要小于10°。考虑到加油机尾流和大气紊流的影响,INS(InertialNavigation System,惯性导航***)和GPS(Global Positioning System,全球定位***)等传统的导航方式定位精度较低,通常采用近距定位精度高、价格便宜、重量轻的视觉导航***。为了提高***的可靠性和精度,也会利用INS与视觉导航相组合的方式。
现有的大多数AAR视觉方法常采用特殊的光学标记安装在加油锥套上,包括LED光标、人工特殊颜色标记等。如美国国防预研局和NASA Dryden飞行研究中心早期联合发起的自主空中加油项目(AAR)中就使用了一套VisNav***,该VisNav***就需要在加油锥套上安装多个LED光标,而后利用半导***置探测器PSD进行图像定位(见董新民,徐跃鉴,陈博,《自动空中加油技术研究进展与关键问题》,《空军工程大学学报(自然科学版)》,2008(12),9(6):1-5)。另外,国内空军工程大学的王旭峰等建立了自主空中加油的一个视觉相对导航半物理地面试验平台,并在加油锥套断面区域加装了红色标识环带,以增强特征区域与背景图像的对比度,从而可通过色彩识别获得图像定位信息(见王旭峰,董新民,孔星炜,《机器视觉辅助的插头锥套式无人机自主空中加油仿真》,《科学技术与工程》,2013(6),13(18):5245-5250)。而北航的解洪文等则在加油锥管端面上放置多个光学标记,并采用双目视觉的方式求解相对位置和姿态参数(见解洪文,王宏伦,《基于双目视觉的自动空中加油近距导航方法》,《北京航空航天大学学报》,2011,37(2):206-209)。
上述这些方法要求加油锥套安装额外的光学标记,特别是需要供电的LED光标,增加了空中加油操作的风险。因此,一种不依靠额外标记、仅利用加油锥套本身特征的AAR视觉方法就具有更好的通用性、便利性和安全性。
通过对加油锥套形状特征的分析,可知其内部加油口为圆形的,半径约为13cm,成像后在图像中呈现明显的黑色圆块或椭圆块,利用这一明显的自身形状特征可降低图像定位处理的计算量,精确的图像定位结果能够为进一步的圆形特征视觉位姿解算提高精度。随着无人机的发展,自主空中加油的需求也就越来越迫切,而不依靠额外光学标记的自主空中加油视觉导航方法具有较高的通用性和便利性,特别是基于加油锥套内部圆形加油口的计算机视觉方法特征明显,图像处理速度快,后续的视觉位姿解算过程计算量小。
发明内容
发明目的:为了克服现有技术中存在的自主空中加油方法中需要安装额外光学标记的不足、额外的带电装置带来更高的空中加油危险性的不足等,本发明从仅依赖加油锥套自身特征出发,提供一种用于自主空中加油的圆形锥套视觉位姿解算方法,该方法从投影变换关系出发,分别在摄像机坐标系和世界坐标系下建立圆形投影锥面方程,并根据“旋转变换不改变系数矩阵特征值”这一特性,计算世界坐标系下圆形投影锥面方程系数矩阵中的未知参数,进而可求解摄像机和加油锥套之间的位置和姿态信息,进一步可获得受油机受油插头和加油机加油锥套之间的相对位姿参数。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种用于自主空中加油的圆形锥套视觉位姿解算方法,仅利用加油锥套自身内部圆形加油口特征,分别在摄像机坐标系和世界坐标系下建立圆形投影锥面方程,并根据旋转变换不改变系数矩阵特征值这一特性,计算世界坐标系下圆形投影锥面方程系数矩阵中的未知参数,进而可求解受油插头和加油锥套之间的位置和姿态信息,具体包括如下步骤:
步骤1、载入内部加油口成像椭圆在图像坐标系下的平面方程、摄像机标定矩阵和圆形特征的半径,具体包括:
步骤101、根据加油锥套内部加油口的图像定位结果,提取内部加油口成像椭圆的边缘像素点坐标,并利用最小二乘法确定椭圆平面方程系数:
f(px,py)=(p1)TA(p1)=0
式中,p=(px,py)T为图像坐标系下内部加油口成像椭圆的边缘像素点坐标,上标1表示齐次坐标,即p1=(pT,1)T=(px,py,1)T,A=(aij)、i,j=1,2,3,A为3×3系数矩阵;
步骤102、进行摄像机标定实验,并载入摄像机标定矩阵K,形式如下:
式中,(fcx,fcy)为焦距长度,其单位为像素,(ccx,ccy)为中心点坐标,其单位为像素,αc为偏离率,无量纲;
步骤103、载入圆形特征的半径r,单位为m;
步骤2、计算圆形射影锥面在摄像机坐标系下的方程系数P,具体包括:
步骤201、利用摄像机标定矩阵,计算在单位焦距情况下成像椭圆的平面方程:
g(qx,qy)=(q1)TB(q1)=0,B=KTAK
式中,q=(qx,qy)T为单位焦距对应的图像坐标系下内部加油口成像椭圆的边缘像素点坐标;
步骤202、根据摄像机坐标系与单位焦距图像坐标系之间点的投影变换关系:
c=czq1
式中,c=(cx,cy,cz)T为摄像机坐标系下内部加油口的圆形投影锥面上除原点以外的所有点,可确定圆形投影锥面在摄像机坐标系下的方程如下:
即cTPc=0,P=B
步骤3、计算圆形投影锥面在世界坐标系下的方程系数M,具体包括:
步骤301、建立世界坐标系Ow-XwYwZw,使得XY平面与圆形加油口平面平行,坐标原点在摄像机光心位置,圆形加油口圆心的Y坐标为0,且X坐标为非负值;
步骤302、确定圆形加油口边缘点在世界坐标系下的方程:
式中,w=(wx,wy,wz)T为世界坐标系下圆形加油口边缘点坐标,w0=(m,0,h)T是世界坐标系下内部加油口圆心坐标,其中m和h是未知数,且m≥0;
步骤303、根据投影变换关系,计算圆形投影锥面在世界坐标系下的方程:
写成矩阵形式,即:
wT·M·w=0,
式中,w=(wx,wy,wz)T为世界坐标系下内部加油口的圆形投影锥面上除原点以外的所有点;
步骤4、确定世界坐标系下的内部加油口圆心坐标,具体包括:
步骤401、计算系数矩阵M的特征值,有如下关系:
η1=1,
即:
式中,(η1,η2,η3)为M的特征值,且根据η2η3<0和(1-η2)(1-η3)≤0设η2≥η1>0>η3;
步骤402、计算系数矩阵B的特征值,并按照如下顺序排列:
λ1,λ2,λ3且λ2≥λ1>λ3
式中,λ1,λ2,λ3为B的特征值;
步骤403、根据旋转变换不改变系数矩阵的特征值,可知系数矩阵M和系数矩阵B的特征值满足如下关系,
即
其中,μ为常数因子;
步骤404,根据步骤401中的关系式可确定矩阵M中的未知数m和h:
进而可确定世界坐标系下的内部加油口圆心坐标w0=(m,0,h)T;
步骤5、确定世界坐标系与摄像机坐标系之间的旋转变换矩阵R,具体包括:
步骤501、对系数矩阵M对角化,
M=U1Λ1U1 T,
式中,U1为正交矩阵,其行列式为1;
步骤502、对系数矩阵P对角化:
P=U2Λ2U2 T,
式中,U2为正交矩阵,其行列式为1;
步骤503、确定世界坐标系与摄像机坐标系之间的旋转变换矩阵R:
w=Rc,R=U1UU2 T
式中,U依次取以下4个矩阵,以得到R的四个解:
步骤6、计算摄像机坐标系下内部加油口的圆心坐标和所在平面的法线向量,具体包括:
步骤601、计算摄像机坐标系下内部加油口的圆心坐标:
c0=(cx0,cy0,cz0)T=RTw0
由步骤503可确定R的四个解,根据约束cz0<0以剔除其中两个解,保留两个解;
步骤602、确定摄像机坐标系下内部加油口所在平面的法线向量:
u0=(ux0,uy0,uz0)T=RT·(0,0,1)T
此时u0有两个解,考虑到加油机处于平稳飞行阶段,进一步可根据当前飞机飞行姿态可剔除掉其中一个解,即保留唯一确定的R;
步骤603、根据唯一确定的R,确定摄像机坐标系下内部加油口的圆心坐标:
c0=(cx0,cy0,cz0)T=RTw0
步骤7、输出受油插头与加油锥套之间的相对位姿参数,具体包括:
步骤701、预先标定摄像机坐标系下摄像机光心与受油插头之间的三维相对位置:
cb0=(cxb0,cyb0,czb0)T
以及世界坐标系下圆形加油口圆心与加油锥套端面中心之间的三维相对位置:
wb0=(wxb0,wyb0,wzb0)T
步骤702、根据位置偏移关系,输出摄像机坐标系下受油插头与加油锥套之间的相对位置:
cr=(cxr,cyr,czr)T=c0+RTwb0-cb0
步骤703、定义受油机机体坐标系如下:飞机质心为原点、X轴指向机头方向、Z轴在机体对称面内并指向地面;
定义加油锥套固连坐标系如下:加油口圆心为原点、Z轴平行于加油口平面法向量并指向软管、Y轴在加油口平面内并与当地水平面平行;
定义加油锥套相对于受油机的姿态角如下:受油机机体坐标系先绕Z轴旋转α(航向角),接着绕Y轴旋转β(俯仰角),最后绕X轴旋转γ(横滚角),使得机体坐标系三个轴与加油锥套固连坐标系平行;
预先标定摄像机坐标系与受油机机体坐标系之间的旋转变换关系Rcb,计算受油机机体坐标系下内部加油口的圆心坐标和所在平面的法线向量:
ub0=(ubx0,uby0,ubz0)T=Rcb T·u0
步骤704、输出受油机与加油锥套之间的相对姿态,包括航向角α和俯仰角β,
有益效果:本发明提供的用于自主空中加油的圆形锥套视觉位姿解算方法,克服了现有自主空中加油方法中需要安装额外光学标记的不足、额外的带电装置带来更高的空中加油危险性等;该方法仅利用加油锥套自身特征,具有更好的通用性、便利性和安全性;该方法从投影变换关系出发,分别在摄像机坐标系和世界坐标系下建立圆形投影锥面方程,并根据“旋转变换不改变系数矩阵特征值”这一特性,计算世界坐标系下圆形投影锥面方程系数矩阵中的未知参数,进而求解受油插头和加油锥套之间的位置和姿态信息;该方法思路清晰,计算过程简单,可获得位姿参数的精确解。
附图说明
图1为安装在加油机上的加油锥套照片;其中Inner Refueling Port为内部加油口;
图2为本发明方法中所涉及到的坐标系示意图,其中点Oc(Ow)为摄像机光心,也是世界坐标系Ow-XwYwZw和摄像机坐标系Oc-XcYcZc的原点,A为成像平面,平行于XcYc平面,Zc垂直于成像面,B为成像椭圆,D为内部圆形加油口,C为加油口所在的平面,XwYw平面平行于加油口所在的平面C;
图3为本发明方法的计算流程图;
图4为本发明方法中所涉及各位置点的相对关系图;其中1为受油机,2为加油锥套,A为受油插头顶点,B为端面中心,C为摄像机光心,D为加油口圆心,θ为角度偏差,①为AB连线,②为AC连线,③为CD连线,④为DB连线;
图5为视景仿真实验中受油机摄像头与加油机锥套之间的相对运动轨迹;其中Start Point表示起点,End Point表示终端,3D Trajectory表示受油机摄像头与加油机锥套之间的三维相对运动轨迹,2D Projectiong表示三维相对运动轨迹在YZ平面的投影;
图6为视景仿真实验中采用的参考轨迹与本发明方法解算轨迹之间的对比曲线,6(a)为X轴对比曲线,6(b)为Y轴对比曲线,6(c)为Z轴对比曲线;其中Reference表示参考轨迹,Solved表示本发明方法解算轨迹;
图7为视景仿真实验中本发明方法的XY平面定位误差,7(a)为X轴定位误差,7(b)为Y轴定位误差;其中X Error表示X轴定位误差,Y Error表示Y轴定位误差,Frame表示帧数;
图8为视景仿真实验中本发明方法的距离解算误差和方位角误差,8(a)为距离解算误差,8(b)为方位角误差;其中Z Error表示距离结算误差,Aangle Error表示方位角误差,Frame表示帧数
具体实施方式
下面结合附图对本发明作更进一步的说明。
从图1可以明显看出,加油锥套内部加油口呈现圆形特征,若光轴与加油口平面法线向量的夹角较小,成像结果为近似圆形。
图2中展示了本发明方法中所涉及到的几个坐标系,包括摄像机坐标系和世界坐标系,特别是世界坐标系的建立较为严格。
一种用于自主空中加油的圆形锥套视觉位姿解算方法,仅利用加油锥套自身内部圆形加油口特征,分别在摄像机坐标系和世界坐标系下建立圆形投影锥面方程,并根据旋转变换不改变系数矩阵特征值这一特性,计算世界坐标系下圆形投影锥面方程系数矩阵中的未知参数,进而可求解受油插头和加油锥套之间的位置和姿态信息,如图3所示,该方法具体包括如下步骤:
步骤1、载入内部加油口成像椭圆在图像坐标系下的平面方程、摄像机标定矩阵和圆形特征的半径,具体包括:
步骤101、根据加油锥套内部加油口的图像定位结果,提取内部加油口成像椭圆的边缘像素点坐标,并利用最小二乘法确定椭圆平面方程系数:
f(px,py)=(p1)TA(p1)=0
式中,p=(px,py)T为图像坐标系下内部加油口成像椭圆的边缘像素点坐标,上标1表示齐次坐标,即p1=(pT,1)T=(px,py,1)T,A=(aij)、i,j=1,2,3,A为3×3系数矩阵;
步骤102、进行摄像机标定实验,并载入摄像机标定矩阵K,形式如下:
式中,(fx,fy)为焦距长度,其单位为像素,(ccx,ccy)为中心点坐标,其单位为像素,αc为偏离率,无量纲;
步骤103、载入圆形特征的半径r,单位为m;
步骤2、计算圆形射影锥面在摄像机坐标系下的方程系数P,具体包括:
步骤201、利用摄像机标定矩阵,计算在单位焦距情况下成像椭圆的平面方程:
g(qx,qy)=(q1)TB(q1)=0,B=KTAK
式中,q=(qx,qy)T为单位焦距对应的图像坐标系下内部加油口成像椭圆的边缘像素点坐标;
步骤202、根据摄像机坐标系与单位焦距图像坐标系之间点的投影变换关系:
c=czq1
式中,c=(cx,cy,cz)T为摄像机坐标系下内部加油口的圆形投影锥面上除原点以外的所有点,可确定圆形投影锥面在摄像机坐标系下的方程如下:
即cTPc=0,P=B
步骤3、计算圆形投影锥面在世界坐标系下的方程系数M,具体包括:
步骤301、建立世界坐标系Ow-XwYwZw,使得XY平面与圆形加油口平面平行,坐标原点在摄像机光心位置,圆形加油口圆心的Y坐标为0,且X坐标为非负值;
步骤302、确定圆形加油口边缘点在世界坐标系下的方程:
式中,w=(wx,wy,wz)T为世界坐标系下圆形加油口边缘点坐标,w0=(m,0,h)T是世界坐标系下内部加油口圆心坐标,其中m和h是未知数,且m≥0;
步骤303、根据投影变换关系,计算圆形投影锥面在世界坐标系下的方程:
写成矩阵形式,即:
wT·M·w=0,
式中,w=(wx,wy,wz)T为世界坐标系下内部加油口的圆形投影锥面上除原点以外的所有点;
步骤4、确定世界坐标系下的内部加油口圆心坐标,具体包括:
步骤401、计算系数矩阵M的特征值,有如下关系:
η1=1,
即:
式中,(η1,η2,η3)为M的特征值,且根据η2η3<0和(1-η2)(1-η3)≤0设η2≥η1>0>η3;
步骤402、计算系数矩阵B的特征值,并按照如下顺序排列:
λ1,λ2,λ3且λ2≥λ1>λ3
式中,λ1,λ2,λ3为B的特征值;
步骤403、根据旋转变换不改变系数矩阵的特征值,可知系数矩阵M和系数矩阵B的特征值满足如下关系,
即
其中,μ为常数因子;
步骤404,根据步骤401中的关系式可确定矩阵M中的未知数m和h:
进而可确定世界坐标系下的内部加油口圆心坐标w0=(m,0,h)T;
步骤5、确定世界坐标系与摄像机坐标系之间的旋转变换矩阵R,具体包括:
步骤501、对系数矩阵M对角化,
M=U1Λ1U1 T,
式中,U1为正交矩阵,其行列式为1;
步骤502、对系数矩阵P对角化:
P=U2Λ2U2 T,
式中,U2为正交矩阵,其行列式为1;
步骤503、确定世界坐标系与摄像机坐标系之间的旋转变换矩阵R:
w=Rc,R=U1UU2 T
式中,U依次取以下4个矩阵,以得到R的四个解:
步骤6、计算摄像机坐标系下内部加油口的圆心坐标和所在平面的法线向量,具体包括:
步骤601、计算摄像机坐标系下内部加油口的圆心坐标:
c0=(cx0,cy0,cz0)T=RTw0
由步骤503可确定R的四个解,根据约束cz0<0以剔除其中两个解,保留两个解;
步骤602、确定摄像机坐标系下内部加油口所在平面的法线向量:
u0=(ux0,uy0,uz0)T=RT·(0,0,1)T
此时u0有两个解,考虑到加油机处于平稳飞行阶段,进一步可根据当前飞机飞行姿态可剔除掉其中一个解,即保留唯一确定的R;
步骤603、根据唯一确定的R,确定摄像机坐标系下内部加油口的圆心坐标:
c0=(cx0,cy0,cz0)T=RTw0
步骤7、输出受油插头与加油锥套之间的相对位姿参数,具体包括:
步骤701、预先标定摄像机坐标系下摄像机光心与受油插头之间的三维相对位置:
cb0=(cxb0,cyb0,czb0)T
以及世界坐标系下圆形加油口圆心与加油锥套端面中心之间的三维相对位置:
wb0=(wxb0,wyb0,wzb0)T
步骤702、根据图4所示的位置偏移关系,输出摄像机坐标系下受油插头与加油锥套之间的相对位置:
cr=(cxr,cyr,czr)T=c0+RTwb0-cb0
步骤703、定义受油机机体坐标系如下:飞机质心为原点、X轴指向机头方向、Z轴在机体对称面内并指向地面;
定义加油锥套固连坐标系如下:加油口圆心为原点、Z轴平行于加油口平面法向量并指向软管、Y轴在加油口平面内并与当地水平面平行;
定义加油锥套相对于受油机的姿态角如下:受油机机体坐标系先绕Z轴旋转α(航向角),接着绕Y轴旋转β(俯仰角),最后绕X轴旋转γ(横滚角),使得机体坐标系三个轴与加油锥套固连坐标系平行;
预先标定摄像机坐标系与受油机机体坐标系之间的旋转变换关系Rcb,计算受油机机体坐标系下内部加油口的圆心坐标和所在平面的法线向量:
ub0=(ubx0,uby0,ubz0)T=Rcb T·u0
步骤704、输出受油机与加油锥套之间的相对姿态,包括航向角α和俯仰角β,
为了评价本发明提出的圆形视觉位姿解算方法的性能,设计了AAR视景仿真验证***,该验证***工作流程如下:
(1)设计飞行轨迹,获得摄像机与加油锥套之间的相对运动轨迹;
(2)建立加油锥套三维模型,并建立加油机三维模型;
(3)预设摄像机参数,并采用视景仿真程序生成摄像机采集图像序列;
(4)对采集图像序列进行锥套图像定位,获得精确的锥套图像边缘信息;
(5)利用本发明方法进行视觉位姿解算,并与预设的运动轨迹进行比较。
利用上述AAR视景仿真验证***,进行了相关实验。实验时,选取图像采集帧率为25帧/秒,像素个数为768×576,摄像机焦距为10mm,单位像素物理尺寸为5.5μm,锥套内部加油口半径为14cm。图5为实验用的摄像机与加油锥套之间的相对运动轨迹;
采用本发明方法解算的定位结果如图6所示,图中将解算结果与预设轨迹进行对比,可以看出两者基本重合。图7和图8给出了解算误差曲线,图7为XY平面的定位误差曲线,可以看出平面定位误差小于2cm,从第250帧(相对距离为8m)开始下降,直到第390帧(相对距离为2.5m)以后误差小于5mm。图8为解算距离误差和方位角误差,其中方位角误差定义为圆形所在平面法线向量的参考值与解算值间的夹角,可以看出,距离误差随距离减小逐渐减小,从第370帧(相对距离为3.3m)开始距离误差小于0.1m;而方位角误差在整个过程中的平均值为6.39°,标准差为3.69°,且第250帧(相对距离为8m)开始,方位角误差要基本小于10°,均值为4.28°,标准差为2.07°。上述实验结果验证了本发明方法的正确性和准确度。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种用于自主空中加油的圆形锥套视觉位姿解算方法,其特征在于:仅利用加油锥套自身内部圆形加油口特征,分别在摄像机坐标系和世界坐标系下建立圆形投影锥面方程,并根据旋转变换不改变系数矩阵特征值这一特性,计算世界坐标系下圆形投影锥面方程系数矩阵中的未知参数,进而可求解受油插头和加油锥套之间的位置和姿态信息,具体包括如下步骤:
步骤1、载入内部加油口成像椭圆在图像坐标系下的平面方程、摄像机标定矩阵和圆形特征的半径,具体包括:
步骤101、根据加油锥套内部加油口的图像定位结果,提取内部加油口成像椭圆的边缘像素点坐标,并利用最小二乘法确定椭圆平面方程系数:
f(px,py)=(p1)TA(p1)=0
式中,p=(px,py)T为图像坐标系下内部加油口成像椭圆的边缘像素点坐标,上标1表示齐次坐标,即p1=(pT,1)T=(px,py,1)T,A=(aij)、i,j=1,2,3,A为3×3系数矩阵;
步骤102、进行摄像机标定实验,并载入摄像机标定矩阵K,形式如下:
式中,(fcx,fcy)为焦距长度,其单位为像素,(ccx,ccy)为中心点坐标,其单位为像素,αc为偏离率,无量纲;
步骤103、载入圆形特征的半径r,单位为m;
步骤2、计算圆形投影锥面在摄像机坐标系下的方程系数P,具体包括:
步骤201、利用摄像机标定矩阵,计算在单位焦距情况下成像椭圆的平面方程:
g(qx,qy)=(q1)TB(q1)=0,B=KTAK
式中,q=(qx,qy)T为单位焦距对应的图像坐标系下内部加油口成像椭圆的边缘像素点坐标;
步骤202、根据摄像机坐标系与单位焦距图像坐标系之间点的投影变换关系:
c=czq1
式中,c=(cx,cy,cz)T为摄像机坐标系下内部加油口的圆形投影锥面上除原点以外的所有点,可确定圆形投影锥面在摄像机坐标系下的方程如下:
即cTPc=0,P=B
步骤3、计算圆形投影锥面在世界坐标系下的方程系数M,具体包括:
步骤301、建立世界坐标系Ow-XwYwZw,使得XY平面与内部加油口平面平行,坐标原点在摄像机光心位置,内部加油口圆心的Y坐标为0,且X坐标为非负值;
步骤302、确定内部加油口边缘点在世界坐标系下的方程:
式中,(wpx,wpy,wpz)T为世界坐标系下内部加油口边缘点坐标,w0=(m,0,h)T是世界坐标系下内部加油口圆心坐标,其中m和h是未知数,且m≥0;
步骤303、根据投影变换关系,计算圆形投影锥面在世界坐标系下的方程:
式中,(wsx,wsy,wsz)T为世界坐标系下内部加油口的圆形投影锥面上除边缘点和圆心以外的所有点坐标;
将世界坐标系下内部加油口的圆形投影锥面上除圆心以外的点写成矩阵形式,即:
式中:w=(wx,wy,wz)T包括(wpx,wpy,wpz)T和(wsx,wsy,wsz)T两部分;
步骤4、确定世界坐标系下的内部加油口圆心坐标,具体包括:
步骤401、计算系数矩阵M的特征值,有如下关系:
即:
式中,(η1,η2,η)3为M的特征值,且根据η2η3<0和(1-η2)(1-η3)≤0设η2≥η1>0>η3;
步骤402、计算系数矩阵B的特征值,并按照如下顺序排列:
λ1,λ2,λ3且λ2≥λ1>λ3
式中,λ1,λ2,λ3为B的特征值;
步骤403、根据旋转变换不改变系数矩阵的特征值,可知系数矩阵M和系数矩阵B的特征值满足如下关系,
即
其中,μ为常数因子;
步骤404,根据步骤401中的关系式可确定矩阵M中的未知数m和h:
进而可确定世界坐标系下的内部加油口圆心坐标w0=(m,0,h)T;
步骤5、确定世界坐标系与摄像机坐标系之间的旋转变换矩阵R,具体包括:
步骤501、对系数矩阵M对角化,
式中,U1为正交矩阵,其行列式为1;
步骤502、对系数矩阵P对角化:
式中,U2为正交矩阵,其行列式为1;
步骤503、确定世界坐标系与摄像机坐标系之间的旋转变换矩阵R:
w=Rc,R=U1UU2 T
式中,U依次取以下4个矩阵,以得到R的四个解:
步骤6、计算摄像机坐标系下内部加油口的圆心坐标和所在平面的法线向量,具体包括:
步骤601、计算摄像机坐标系下内部加油口的圆心坐标:
c0=(cx0,cy0,cz0)T=RTw0
由步骤503可确定R的四个解,根据约束cz0<0以剔除其中两个解,保留两个解;
步骤602、确定摄像机坐标系下内部加油口所在平面的法线向量:
u0=(ux0,uy0,uz0)T=RT·(0,0,1)T
此时u0有两个解,考虑到加油机处于平稳飞行阶段,进一步可根据当前飞机飞行姿态可剔除掉其中一个解,即保留唯一确定的R;
步骤603、根据唯一确定的R,确定摄像机坐标系下内部加油口的圆心坐标:
c0=(cx0,cy0,cz0)T=RTw0
步骤7、输出受油插头与加油锥套之间的相对位姿参数,具体包括:
步骤701、预先标定摄像机坐标系下摄像机光心与受油插头之间的三维相对位置:
cb0=(cxb0,cyb0,czb0)T
以及世界坐标系下内部加油口圆心与加油锥套端面中心之间的三维相对位置:
wb0=(wxb0,wyb0,wzb0)T
步骤702、根据位置偏移关系,输出摄像机坐标系下受油插头与加油锥套之间的相对位置:
cr=(cxr,cyr,czr)T=c0+RTwb0-cb0
步骤703、定义受油机机体坐标系如下:飞机质心为原点、X轴指向机头方向、Z轴在机体对称面内并指向地面;
定义加油锥套固连坐标系如下:加油口圆心为原点、Z轴平行于加油口平面法向量并指向软管、Y轴在加油口平面内并与当地水平面平行;
定义加油锥套相对于受油机的姿态角如下:受油机机体坐标系先绕Z轴旋转α,接着绕Y轴旋转β,最后绕X轴旋转γ,使得机体坐标系三个轴与加油锥套固连坐标系平行;
预先标定摄像机坐标系与受油机机体坐标系之间的旋转变换关系Rcb,计算受油机机体坐标系下内部加油口的圆心坐标和所在平面的法线向量:
ub0=(ubx0,uby0,ubz0)T=Rcb T·u0
步骤704、输出受油机与加油锥套之间的相对姿态,包括航向角α和俯仰角β,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410382576.9A CN104180808B (zh) | 2014-08-05 | 2014-08-05 | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410382576.9A CN104180808B (zh) | 2014-08-05 | 2014-08-05 | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104180808A CN104180808A (zh) | 2014-12-03 |
CN104180808B true CN104180808B (zh) | 2017-02-15 |
Family
ID=51962019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410382576.9A Active CN104180808B (zh) | 2014-08-05 | 2014-08-05 | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104180808B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108731683A (zh) * | 2018-05-07 | 2018-11-02 | 中国人民解放军国防科技大学 | 一种基于导航信息的无人机自主回收目标预测方法 |
CN114476123A (zh) * | 2022-03-21 | 2022-05-13 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种用于软管式空中加油对接模拟试验装置的设计方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965513B (zh) * | 2015-06-23 | 2017-05-17 | 东南大学 | 一种子弹跳机器人的回收***及回收方法 |
CN105084285B (zh) * | 2015-08-11 | 2017-08-11 | 中国航空工业集团公司西安飞机设计研究所 | 加油设备与受油机自动对接的控制方法及装置 |
CN105300383A (zh) * | 2015-09-14 | 2016-02-03 | 北京航空航天大学 | 一种基于回溯搜索的无人机空中加油位姿估计方法 |
ES2584231B2 (es) * | 2015-10-09 | 2017-06-02 | Defensya Ingeniería Internacional, S.L. | Sistema de localización del extremo del boom, de la boca del receptáculo de repostaje y del tanquero |
CN105825739A (zh) * | 2016-05-13 | 2016-08-03 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于3d显示的空中加受油视景仿真*** |
CN106251337A (zh) * | 2016-07-21 | 2016-12-21 | 中国人民解放军空军工程大学 | 一种空中加油锥套空间定位方法及*** |
CN108195284A (zh) * | 2017-12-08 | 2018-06-22 | 中国航空工业集团公司成都飞机设计研究所 | 一种用于软式空中加油相对定位的光电传感器装置 |
CN108122255B (zh) * | 2017-12-20 | 2021-10-22 | 哈尔滨工业大学 | 一种基于梯形与圆形组合地标的无人机位姿估计方法 |
CN108453727B (zh) * | 2018-01-11 | 2020-08-25 | 中国人民解放军63920部队 | 基于椭圆特征的机械臂末端位姿误差校正方法及*** |
CN108955685B (zh) * | 2018-05-04 | 2021-11-26 | 北京航空航天大学 | 一种基于立体视觉的加油飞机锥套位姿测量方法 |
CN108964909A (zh) * | 2018-08-21 | 2018-12-07 | 中国航空无线电电子研究所 | 基于自主反馈航空量子加密通信方法 |
CN109949367B (zh) * | 2019-03-11 | 2023-01-20 | 中山大学 | 一种基于圆形投影的可见光成像定位方法 |
CN110363821B (zh) * | 2019-07-12 | 2021-09-28 | 顺丰科技有限公司 | 单目相机安装偏差角的获取方法、装置、相机及存储介质 |
CN112381880A (zh) * | 2020-11-27 | 2021-02-19 | 航天科工智能机器人有限责任公司 | 一种基于圆特征的双目视觉位姿估计方法 |
CN113417207A (zh) * | 2021-06-24 | 2021-09-21 | 武汉武桥交通装备技术有限公司 | 一种自动对接***及方法 |
CN113724326B (zh) * | 2021-08-17 | 2022-12-20 | 南京航空航天大学 | 一种自主空中加油场景下锥套目标的单目视觉位姿解算方法 |
CN113850866B (zh) * | 2021-09-27 | 2023-06-30 | 中国科学院光电技术研究所 | 一种基于特征反向投影的自主空中加油锥套位姿解算方法 |
CN114543664B (zh) * | 2021-12-30 | 2024-05-07 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于激光扫描的加油锥套定位方法及装置 |
CN114644315B (zh) * | 2022-03-11 | 2023-06-06 | 江阴市富仁高科股份有限公司 | 一种自动加油用油箱盖精确定位装置及方法 |
CN114638896B (zh) * | 2022-05-18 | 2022-08-05 | 南京航空航天大学 | 一种基于不变特征的锥套位姿解算方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1868008A1 (en) * | 2006-06-17 | 2007-12-19 | Northrop Grumman Corporation | Estimate of relative position between navigation units |
CN102663763A (zh) * | 2012-04-25 | 2012-09-12 | 南京航空航天大学 | 一种面向大视场高精度视觉测量的摄像机标定方法 |
CN103150730A (zh) * | 2013-03-07 | 2013-06-12 | 南京航空航天大学 | 一种基于图像的圆形小目标精确检测方法 |
CN103557792A (zh) * | 2013-11-12 | 2014-02-05 | 中国科学院自动化研究所 | 一种空中加油锥套目标的视觉跟踪与位置测量方法 |
-
2014
- 2014-08-05 CN CN201410382576.9A patent/CN104180808B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1868008A1 (en) * | 2006-06-17 | 2007-12-19 | Northrop Grumman Corporation | Estimate of relative position between navigation units |
CN102663763A (zh) * | 2012-04-25 | 2012-09-12 | 南京航空航天大学 | 一种面向大视场高精度视觉测量的摄像机标定方法 |
CN103150730A (zh) * | 2013-03-07 | 2013-06-12 | 南京航空航天大学 | 一种基于图像的圆形小目标精确检测方法 |
CN103557792A (zh) * | 2013-11-12 | 2014-02-05 | 中国科学院自动化研究所 | 一种空中加油锥套目标的视觉跟踪与位置测量方法 |
Non-Patent Citations (4)
Title |
---|
A vision-based strategy for autonomous aerial refueling tasks;Carol Martines 等;《Robotics and Autonomous Systems》;20130305;第61卷;第876-895页 * |
Drogue detection for vision-based autonomous aerial refueling via low rank and sparse decomposition with multiple features;Shibo Gao 等;《Infrared Physics & Technology》;20130528;第60卷;第266-274页 * |
圆形运动目标的快速检测方法研究;张翼 等;《计算机应用与软件》;20140131;第31卷(第1期);第211-213页 * |
自主空中加油视觉导航***中的锥套检测算法;宋春华 等;《红外与激光工程》;20130430;第42卷(第4期);第1089-1094页 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108731683A (zh) * | 2018-05-07 | 2018-11-02 | 中国人民解放军国防科技大学 | 一种基于导航信息的无人机自主回收目标预测方法 |
CN108731683B (zh) * | 2018-05-07 | 2020-09-18 | 中国人民解放军国防科技大学 | 一种基于导航信息的无人机自主回收目标预测方法 |
CN114476123A (zh) * | 2022-03-21 | 2022-05-13 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种用于软管式空中加油对接模拟试验装置的设计方法 |
CN114476123B (zh) * | 2022-03-21 | 2023-04-14 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种用于软管式空中加油对接模拟试验装置的设计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104180808A (zh) | 2014-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104180808B (zh) | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 | |
CN108955685B (zh) | 一种基于立体视觉的加油飞机锥套位姿测量方法 | |
CN105335733B (zh) | 一种无人机自主着陆视觉定位方法及*** | |
CN109405835B (zh) | 基于非合作目标直线与圆单目图像的相对位姿测量方法 | |
CN107490364A (zh) | 一种大角度倾斜成像航空相机对地目标定位方法 | |
CN107314771A (zh) | 基于编码标志点的无人机定位以及姿态角测量方法 | |
CN106525001B (zh) | 地球静止轨道遥感卫星相机视轴空间指向计算方法 | |
CN107194989A (zh) | 基于无人机飞机航拍的交通事故现场三维重建***及方法 | |
CN103995538B (zh) | 一种基于图像识别的空中受油控制方法 | |
CN105021184A (zh) | 一种用于移动平台下视觉着舰导航的位姿估计***及方法 | |
CN104034305B (zh) | 一种单目视觉实时定位的方法 | |
CN107831515B (zh) | 水下定位方法和*** | |
CN101126639A (zh) | 快速进行低空遥感影像自动匹配与空中三角测量方法 | |
CN105160125A (zh) | 一种星敏感器四元数的仿真分析方法 | |
CN105737858A (zh) | 一种机载惯导***姿态参数校准方法与装置 | |
CN106197265A (zh) | 一种空间自由飞行模拟器视觉精密定位方法 | |
CN108427427A (zh) | 一种航天器对地表定向目标姿态角计算方法 | |
CN101750067A (zh) | 一种成像式地球敏感器地球扁率修正方法 | |
CN110595506A (zh) | 一种星光仿真测试中仪器自主对准装置及对准方法 | |
CN105084285A (zh) | 加油设备与受油机自动对接的控制方法及装置 | |
CN105571518A (zh) | 基于折射图像偏差的三维信息视觉测量方法 | |
CN106885571A (zh) | 一种结合imu和导航影像的月面巡视器快速定位方法 | |
Wolf et al. | Toward improved landing precision on Mars | |
CN106780337A (zh) | 基于二维图像的无人机着舰视景模拟方法 | |
CN107576329B (zh) | 基于机器视觉的固定翼无人机着降引导合作信标设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |