CN113720331B - 多相机融合的无人机建筑物内导航定位方法 - Google Patents
多相机融合的无人机建筑物内导航定位方法 Download PDFInfo
- Publication number
- CN113720331B CN113720331B CN202011568278.0A CN202011568278A CN113720331B CN 113720331 B CN113720331 B CN 113720331B CN 202011568278 A CN202011568278 A CN 202011568278A CN 113720331 B CN113720331 B CN 113720331B
- Authority
- CN
- China
- Prior art keywords
- camera
- unmanned aerial
- aerial vehicle
- marker
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003287 optical effect Effects 0.000 claims abstract description 60
- 239000003550 marker Substances 0.000 claims abstract description 55
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 7
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种多相机融合的无人机建筑物内导航定位方法,所述方法包括以下步骤:步骤1,在建筑物内设置标识物,建立已知环境的标识物地图;步骤2,在飞行过程中,无人机根据观测到的标识物的信息,获得机体的位姿信息。本发明提供的多相机融合的无人机建筑物内导航定位方法,能够满足在能源限制下的任意飞行时间内的导航需求,不存在累积误差;鲁棒性强,多个相机同时观测,能够保证至少看见一个光学靶标,减少了定位失败的问题;且最小化了单次测量误差,显著提高了定位准确性。
Description
技术领域
本发明涉及无人机导航定位技术领域,具体涉及无人机建筑物内导航定位方法,尤其涉及多相机融合的无人机建筑物内导航定位方法。
背景技术
现有的无人机多采用GPS***进行定位,一般能够接收到的GPS信号都是以毫瓦计算的,很容易被金属、水体、水泥墙体等屏蔽,使得无人机在室内使用时,无法依靠GPS***定位。
目前,无人机在建筑物内的导航多采用纯视觉***、视觉与惯性导航元件融合、激光雷达等实现,这些方法都是利用实时获取的环境信息来实现定位,不需要提前布置,可在任意环境中使用。但是,这些方法均无法胜任长期、高空、大场景的定位需求,难以推广使用。
因此,有必要提供一种能够解决上述问题的无人机建筑物内导航定位的新方法,使得无人机可以鲁棒且全局无偏地完成定位任务。
发明内容
为了克服上述问题,本发明人进行了锐意研究,设计出一种多相机融合的无人机建筑物内导航定位方法,该方法首先根据环境大小布置一定光学标识并标定每个光学标识的位置和姿态,建立已知环境的光学标识地图;然后通过无人机上的相机识别光学标识来实现定位,过程中确定每次标识识别结果的不确定度和组合位姿结果的不确定度;最后通过优化的方法融合同一时刻同一相机测量的不同光学标识得到的相机位姿和同一时刻不同相机测量的不同光学标识得到的相机位姿,使得无人机能够鲁棒且全局无偏地完成定位任务,从而完成了本发明。
具体来说,本发明的目的在于提供以下方面:
第一方面,提供了一种多相机融合的无人机建筑物内导航定位方法,所述方法包括以下步骤:
步骤1,在建筑物内设置标识物,建立已知环境的标识物地图;
步骤2,在飞行过程中,无人机根据观测到的标识物的信息,获得机体的位姿信息。
其中,步骤1中,所述标识物具有多个,水平地、均匀布置在建筑物内的地面上,或垂直地、均匀布置在建筑物内的墙壁上;
优选地,所述标识物为被动光学标识。
其中,步骤2包括以下子步骤:
步骤2-1,获得观测的标识物的图像;
步骤2-2,由图像中获得标识物的信息;
步骤2-3,根据得到的标识物的信息,获得无人机的位姿信息。
其中,步骤2-1中,通过多个相机获得观测的标识物的图像,所述多个相机分别设置在无人机的四周和无人机底部支架的下方。
其中,步骤2-2中,在相机获得被动光学标识的观测值后,需对观测值进行修正,
所述修正为对观测值的不确定度进行修正,修正后的观测值不确定度优选通过下式获得:
其中,tC_cod为测量得到的光学标识相对于相机的相对位置,r1,p1,y1为不确定度的一次项系数,/>r2,p2,y2为不确定度的二次项系数。
其中,所述不确定度的一次项系数和二次项系数通过下式获得:
其中,
设定相机观测的光学标识的标定值)为其中,为光学标识相对于相机的姿态真值,/>为光学标识相对于相机的相对位姿,
相机测量值为TC_Code,
则误差值为
按照下述条件对误差值进行对数映射:
Ra=a,Δt=Jρ,φ^=θa^;
其中,△R和△t分别为误差转移矩阵△T的旋转部分和平移部分,θ和a分别为旋转矩阵ΔR对应的转角和转轴,
误差值的映射值记为Σ=[ρ,φ],
其中,D1表示光学标识相对相机的距离的6阶对角矩阵,D2表示光学标识相对相机的距离的二次方的6阶对角矩阵,I6×6表示6阶单位矩阵。
其中,步骤2-3包括以下子步骤:
步骤2-3-1,获得每个相机测量的无人机位姿信息;
步骤2-3-2,将上述步骤中每个相机测量得到的无人机位姿信息进行融合。
其中,步骤2-3-1中,当单个相机在某一时刻观测到一个光学标识时,
设定相机j在某一时刻观测到了一个光学标识[i,TW_Codei,ΣCodei],其观测值为{TCj_Codei,ΣCj_Codei},i∈[1,n],
则单个相机在世界坐标系的位姿通过下式获得:
所述相机j在世界坐标系的位姿的不确定度通过下式获得:
其中,
Γi为矩阵TCj_Codei的伴随矩阵,Ad()表示伴随矩阵。
第二方面,提供了一种计算机可读存储介质,存储有多相机融合的无人机建筑物内导航定位程序,所述程序被处理器执行时,使得处理器执行所述多相机融合的无人机建筑物内导航定位方法的步骤。
第三方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有多相机融合的无人机建筑物内导航定位程序,所述程序被处理器执行时,使得处理器执行所述多相机融合的无人机建筑物内导航定位方法的步骤。
本发明所具有的有益效果包括:
(1)本发明提供的多相机融合的无人机建筑物内导航定位方法,能够满足在能源限制下的任意飞行时间内的导航需求,不存在累积误差;
(2)本发明提供的多相机融合的无人机建筑物内导航定位方法,数据处理速度快,多线程处理图像信息,能够以100Hz频率发布无人机在所建地图中的位置和姿态信息;
(3)本发明提供的多相机融合的无人机建筑物内导航定位方法,鲁棒性强,多个相机同时观测,能够保证至少看见一个光学靶标,减少了定位失败的问题;
(4)本发明提供的多相机融合的无人机建筑物内导航定位方法,通过优化方法融合了同一时刻同一相机测量的不同光学标识得到的相机位姿和同一时刻不同相机测量的不同光学标识得到的相机位姿,最小化了单次测量误差,显著提高了定位准确性。
附图说明
图1示出本发明一种优选实施方式的无人机机体在世界坐标系中的位姿信息获得的流程图;
图2示出本发明实施例中定位轨迹与真实轨迹的拟合效果示意图;
图3示出本发明实施例中无人机的x方向误差示意图;
图4示出本发明实施例中无人机的y方向误差示意图;
图5示出本发明实施例中无人机的z方向误差示意图。
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本发明的第一方面,提供了多相机融合的无人机建筑物内导航定位方法,所述方法包括以下步骤:
步骤1,在建筑物内设置标识物,建立已知环境的标识物地图;
步骤2,在飞行过程中,无人机根据观测到的标识物的信息,获得机体的位姿信息。
以下进一步详细描述所述无人机建筑物内导航定位方法,如图1所示:
步骤1,在建筑物内设置标识物,建立已知环境的标识物地图。
本发明人研究发现,建筑物内的导航方法对环境的要求较苛刻,例如:需要静态或光照变化不大等,因此本发明中优选设置与背景环境有明显区别的标识物,以供无人机采集信息。
在本发明中,所述标识物可以为现有技术中常用的标识,优选为被动光学标识,例如Aruco码、QR码等应用在计算机视觉领域的常见光学标识。
根据本发明一种优选的实施方式,所述标识物具有多个,各个标识物在水平或者垂直平面上排列,各相邻标识物之间的间距相等。
优选地,所述标识物水平或垂直地、均匀布置在建筑物内的地面或墙壁上。
更优选地,各标识物呈棋盘式均匀布置,优选相邻标识物之间的距离为3m~6m。
在进一步优选的实施方式中,对每个标识物进行标定,获取每个标识物的信息,建立标识物地图;
其中,所述每个标识物的信息包括编码信息、位置信息和姿态信息。
优选地,含有n个标识物的地图如下式所示:
map={[1,TW_Code1,ΣCode1],[2,TW_Code2,ΣCode2],…,[n,TW_Coden,ΣCoden]}
其中,设定环境中无人机起点为标识物地图坐标系的原点,用转换矩阵TW_Code表示,∑Code为标定误差,服从高斯分布。
在本发明中,每个标识物的位置信息指的是标识物相对于建筑物的位置,即标识物的世界坐标信息;
编码信息是指每个标识物具有的特定ID;
姿态信息是指标志物相对于定义的世界坐标系的方向。
步骤2,在飞行过程中,无人机根据观测到的标识物的信息,获得机体的位姿信息。
其中,步骤2包括以下子步骤:
步骤2-1,获得观测的标识物的图像。
根据本发明一种优选的实施方式,无人机在建筑物内飞行时,通过信息采集设备获得标志物的图像,
优选地,所述信息采集设备为相机。
在进一步优选的实施方式中,所述相机具有多个,分别设置在无人机的四周和底部支架的下方。
其中,设置在无人机四周的相机优选以60°间隔环绕,视场朝向四周,设置在无人机底部支架下方的相机视场垂直向下。
在本发明中,所述无人机底部支架为现有技术中常见的方便无人机起降的安装支架。
本发明人研究发现,在无人机的飞行过程中,由于飞行姿态的不同,会导致无人机的信息采集设备无法采集到标识物的信息而出现定位失败的可能,因此,本发明中优选通过设置多个不同姿态的采集设备(例如:相机),以降低上述问题出现的概率。
步骤2-2,由图像中获得标识物的信息。
在本发明中,可以采用现有技术中常用的方法由图像中获得标识物的信息,例如:Aruco码检测方法。
优选地,所述标识物为被动光学标识,获得的信息包括编码信息、位置信息和姿态信息。
根据本发明一种优选的实施方式,在相机获得被动光学标识的观测值后,需对观测值进行修正,
其中,设定相机j在某一时刻观测到了一个光学标识[i,TW_Codei,ΣCodei],其观测值为{TCj_Codei,ΣCj_Codei},i∈[1,n],
所述对观测值进行修正为对观测值的不确定度进行修正。
本发明人研究发现,现有技术中给定的观测值的不确定度通常为定值或者根据优化过程中的残差值给定,不能够准确反映当前测量值的准确性,导致观测值容易出现累积误差,造成后续位姿融合结果不理想,使无人机定位精度明显降低。因此,本发明中重新设计了观测值的不确定度,其能够依据距离光学标识的距离,在确定的环境下,准确测量不确定度。
在进一步优选的实施方式中,所述修正后的观测值的不确定度通过下式(一)获得:
其中,tC_cod为测量得到的光学标识相对于相机的相对位置,r1,p1,y1为不确定度的一次项系数,/>r2,p2,y2为不确定度的二次项系数;
优选地,所述不确定度的一次项系数和二次项系数按照包括以下步骤的方法确定:
步骤i,对光学标识进行单次标定。
其中,设定相机观测的光学标识的标定值为其中,为光学标识相对于相机的姿态真值,/>为光学标识相对于相机的相对位姿,
相机测量值为TC_Code,
则误差值为
优选地,按照下述条件对误差值进行对数映射:
ΔRa=a,Δt=Jρ,φ^=θa^;
其中,
△R和△t分别为误差转移矩阵△T的旋转部分和平移部分,θ和a分别为计算过程中的中间量,具体含义为旋转矩阵ΔR对应的转角和转轴,ρ和φ为所求量。
经过上述对误差值的对数映射,
令Σ=[ρ,φ];
其中,D1表示光学标识相对相机的距离的6阶对角矩阵,D2表示光学标识相对相机的距离的二次方的6阶对角矩阵,I6×6为6阶单位矩阵;
单次标定后,不确定度的一次项系数和二次项系数通过下式获得:
步骤ii,对光学标识进行多次标定。
在本发明中,优选对光学标识在k个不同位置进行多次标定,以提高准确度,定义:
根据本发明一种优选的实施方式,经过多次标定后,不确定度的系数通过下式(二)获得:
在本发明中,优选采用经过多次标定后的获得的不确定度的系数作为式(一)中的系数。
步骤2-3,根据得到的标识物的信息,获得无人机的位姿信息。
其中,由于无人机设置有多个信息采集设备来观测标识物,即设置有多个相机来观测被动光学标识,最终获得的无人机的位姿信息需要将多个相机观测到的信息进行融合来确定。
因此,根据本发明一种优选的实施方式,步骤2-3包括以下子步骤:
步骤2-3-1,获得每个相机测量的无人机位姿信息。
在本发明中,无人机在建筑物内飞行的过程中,每个相机观测到的被动光学标识可以为一个或多个。
根据本发明一种优选的实施方式,单个相机在某一时刻观测到一个光学标识,如步骤2-2中所述,设定相机j在某一时刻观测到了一个光学标识[i,TW_Codei,ΣCodei],其观测值为{TCj_Codei,ΣCj_Codei},i∈[1,n],
则单个相机(相机j)在世界坐标系的位姿通过下式(三)获得:
在进一步优选的实施方式中,所述相机j在世界坐标系的位姿的不确定度通过下式(四)获得:
其中,
Γi为矩阵TCj_Codei的伴随矩阵,Ad()表示伴随矩阵。
其中,所述相机j在世界坐标系的位姿的不确定度由观测到的光学标识本身的不确定度(标定误差)和相机观测值的不确定度组成。
在本发明中,当单个相机在某一时刻观测到多个被动光学标识时,需要将观测到的信息进行融合处理。
根据本发明另一种优选的实施方式,单个相机在某一时刻观测到多个光学标识,设定观测到了M个光学标识[TW_Code1,ΣCode1],[TW_Code2,ΣCode2],…,[TW_Codem,ΣCodem],m∈[1,M],
观测值分别为:
{[TCj_Code1,ΣCj_Code1],[TCj_Code2,ΣCj_Code2],…,[TCj_Codem,ΣCj_Codem]},m∈[1,M],
单个相机(相机j)获得的m组无人机在世界坐标系的位姿观测值如下所示:
[TW_Cj_1,ΣW_Cj_1],[TW_Cj_2,ΣW_Cj_2],…,[TW_Cj_m,ΣW_Cj_m]
其中,
在进一步优选的实施方式中,对单个相机获得的无人机在世界坐标系的位姿的M个观测值进行融合,获得单个相机获得的无人机位姿信息,
其中,所述融合优选按照下述步骤进行:
步骤I,设定融合后的最优估计值,定义每个观测值与最优估计值的测量误差。
其中,设定融合后的最优估计值为则每个观测值与最优估计值之间的测量误差如下式(五)所示:
步骤II,对测量误差进行优化,获得最优估计值为融合后的最终结果。
在对测量误差进行优化时,由于是非线性优化问题,初值的选取非常重要,选择合适的初值有利于优化的迅速收敛,快速获得精准的最优结果。
本发明人研究发现,相机距离光学标识越近,测量结果越准确,因此,本发明中优选选择M个待融合结果中与相机距离最小的观测值作为初始估计值TW_Cj。
根据本发明一种优选的实施方式,通过下式(六)获得迭代优化过程中的增量:
其中,为该次迭代计算得到的下降矢量,Gm=J(-em(TW_Cj))-1为负误差函数一阶偏导数的逆矩阵;
优选地,通过下式(七)对估计值进行更新:
在本发明中,对上述式(五)至(七)进行迭代计算,当收敛时,令作为最终的融合结果,此时,最终融合结果的不确定度如下所示:
本发明中通过上述方法融合了同一时刻同一相机测量的不同光学标识得到的相机位姿,最小化了单次测量误差,提高了定位准确度。
步骤2-3-2,将上述步骤中每个相机测量得到的无人机位姿信息进行融合。
在本发明中,优选采用多个相机同时观测被动光学标识,以保证无人机在飞行过程中能够至少观测到一个光学标识,保证成功定位,这就需要对同一时刻不同相机测量的不同光学标识的相机位姿进行融合。
其中,对于无人机上的所有相机,其与无人机机体坐标系的相对位置记为TB_C,则N个相机相对于无人机机体坐标系的位置分别为{[1,TB_C1,ΣC1],[2,TB_C2,ΣC2],…,[n,TW_CN,ΣCN]}。
根据本发明一种优选的实施方式,当k时刻有m个相机同时观测到了相机相对于世界坐标系的位姿信息,观测值分别为[TW_C1,ΣW_C1],[TW_C2,ΣW_C2],…,[TW_Cm,ΣW_Cm],
则根据无人机机体坐标系与相机坐标系的关系,m个相机获得的无人机在世界坐标系中位姿的m组观测值如下所示:
[TW_B1,ΣW_B1],[TW_B2,ΣW_B2],…,[TW_Bm,ΣW_Bm];
其中,
其中,无人机在世界坐标系中的位姿由相机相对于机体的位姿信息和相机相对于世界坐标系的位姿决定;
无人机在世界坐标系中位姿的不确定度由相机相对于机体的位姿的不确定度和相机相对于世界坐标系位姿的不确定度决定。
在进一步优选的实施方式中,对多个相机获得的多个无人家在世界坐标系中的位姿信息进行融合,获得无人机最终的位姿信息,
其中,所述融合包括以下步骤:
(1)设定无人机最优的位姿估计值,定义每个相机获得的位姿信息与最优位姿估计值的测量误差。
其中,设定无人机最优位姿估计值为则每个相机获得的位姿信息与最优位姿估计值之间的测量误差如下式所示:
(2)对测量误差进行优化,获得最优位姿估计值为融合后的最终位姿。
根据本发明一种优选的方式,选择多个位姿信息中平移部分模长最小的转移矩阵作为初始位姿估计值TW_B。
在进一步优选的实施方式中,
通过下式获得迭代优化过程中的下降矢量:
其中,/>为下降矢量,其中Gk=J(-ek(TW_B))-1为负误差函数的一阶偏导数的逆矩阵;
通过下式对位姿估计值进行更新:
对上式进行迭代计算,当收敛时,令作为最终的位姿信息融合结果,此时,最终融合结果的不确定度如下所示:
在本发明中,将上述得到的最终融合结果作为无人机体的最终位姿信息。
本发明采用的融合同一时刻同一相机测量的不同光学标识得到的相机位姿和融合同一时刻不同相机测量的不同光学标识得到的相机位姿的方法,最小化了单次测量误差,显著提高了无人机在建筑物内的定位准确度。且能够满足在能源限制下的任意飞行时间内的导航需求,不存在累积误差,数据处理速度快。
本发明还提供了一种计算机可读存储介质,存储有多相机融合的无人机建筑物内导航定位程序,所述程序被处理器执行时,使得处理器执行所述多相机融合的无人机建筑物内导航定位方法的步骤。
本发明中所述的多相机融合的无人机建筑物内导航定位方法可借助软件加必需的通用硬件平台的方式来实现,所述软件存储在计算机可读存储介质(包括ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器、网络设备等)执行本发明所述方法。
本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有多相机融合的无人机建筑物内导航定位程序,所述程序被处理器执行时,使得处理器执行所述多相机融合的无人机建筑物内导航定位方法的步骤。
实施例
以下通过具体实例进一步描述本发明,不过这些实例仅仅是范例性的,并不对本发明的保护范围构成任何限制。
实施例1
无人机类型:四旋翼无人机;
相机数量:5
相机安装位置:相机安装在无人机的四周和无人机底部支架的下方,四周相机以60°间隔环绕,下方相机的视场垂直朝下;
试验场景:100m*60m的场景相似、特征点少的工厂内;
标识物类型(被动光学标识类型):二维码;
光学标识布置方法:水平或垂直均匀布置于工厂内的地面或墙壁上,相邻标识的距离为3米。
采用本发明所述方法对四旋翼无人机的飞行进行导航定位,定位的飞行轨迹(估计值)与无人机的真实轨迹(真值)比对结果如图2所示。
由图2可以看出,本发明所述方法得到的无人机飞行轨迹与真实飞行轨迹拟合良好,使得无人机可以鲁棒且全局无偏地完成定位任务。
图3~5示出了无人机在x、y和z方向的误差值,由图中可以看出,无人机的x方向的误差值保持在±0.15m,y方向的误差值保持在正负0.3m,z向误差保持在±0.04m,说明本发明所述方法的定位效果非常稳定和精确。
进一步地,对上述无人机获取的相邻位姿的输出时间进行检测,结果显示小于10ms,说明本发明所述的多相机融合的无人机建筑物内导航定位方法能够以100Hz频率发布无人机在所建地图中的位置和姿态信息。
以上结合了优选的实施方式对本发明进行了说明,不过这些实施方式仅是范例性的,仅起到说明性的作用。在此基础上,可以对本发明进行多种替换和改进,这些均落入本发明的保护范围内。
Claims (6)
1.一种多相机融合的无人机建筑物内导航定位方法,其特征在于,所述方法包括以下步骤:
步骤1,在建筑物内设置标识物,建立已知环境的标识物地图;
步骤2,在飞行过程中,无人机根据观测到的标识物的信息,获得机体的位姿信息;
步骤2包括以下子步骤:
步骤2-1,获得观测的标识物的图像;
步骤2-2,由图像中获得标识物的信息;
步骤2-3,根据得到的标识物的信息,获得无人机的位姿信息;
步骤2-2中,在相机获得被动光学标识的观测值后,需对观测值进行修正,
所述修正为对观测值的不确定度进行修正,修正后的观测值不确定度通过下式获得:
其中,tC_code为测量得到的光学标识相对于相机的相对位置,r1,p1,y1为不确定度的一次项系数,/>r2,p2,y2为不确定度的二次项系数;
所述不确定度的一次项系数和二次项系数通过下式获得:
其中,
设定相机观测的光学标识的标定值为其中,/>为光学标识相对于相机的姿态真值,/>为光学标识相对于相机的相对位姿,
相机测量值为TC_Code,
则误差值为
按照下述条件对误差值进行对数映射:
Ra=a,Δt=Jρ,φ^=θa^;
其中,ΔR和Δt分别为误差转移矩阵ΔT的旋转部分和平移部分,θ和a分别为旋转矩阵ΔR对应的转角和转轴,
误差值的映射值记为Σ=[ρ,φ],
其中,D1表示光学标识相对相机的距离的6阶对角矩阵,D2表示光学标识相对相机的距离的二次方的6阶对角矩阵,I6×6为6阶单位矩阵;
步骤2-3包括以下子步骤:
步骤2-3-1,获得每个相机测量的无人机位姿信息;
步骤2-3-2,将上述步骤中每个相机测量得到的无人机位姿信息进行融合;
步骤2-3-1中,当单个相机在某一时刻观测到一个光学标识时,
设定相机j在某一时刻观测到了一个光学标识[i,TW_Codei,ΣCodei],其观测值为{TCj_Codei,ΣCj_Codei},i∈[1,n],
则单个相机在世界坐标系的位姿通过下式获得:
所述相机j在世界坐标系的位姿的不确定度通过下式获得:
其中,
Γi为矩阵TCj_Codei的伴随矩阵,Ad()表示伴随矩阵。
2.根据权利要求1所述的方法,其特征在于,步骤1中,所述标识物具有多个,水平地、均匀布置在建筑物内的地面上,或垂直地、均匀布置在建筑物内的墙壁上。
3.根据权利要求2所述的方法,其特征在于,所述标识物为被动光学标识。
4.根据权利要求1所述的方法,其特征在于,步骤2-1中,通过多个相机获得观测的标识物的图像,所述多个相机分别设置在无人机的四周和无人机底部支架的下方。
5.一种计算机可读存储介质,其特征在于,存储有多相机融合的无人机建筑物内导航定位程序,所述程序被处理器执行时,使得处理器执行权利要求1至4之一所述多相机融合的无人机建筑物内导航定位方法的步骤。
6.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有多相机融合的无人机建筑物内导航定位程序,所述程序被处理器执行时,使得处理器执行权利要求1至4之一所述多相机融合的无人机建筑物内导航定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011568278.0A CN113720331B (zh) | 2020-12-25 | 2020-12-25 | 多相机融合的无人机建筑物内导航定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011568278.0A CN113720331B (zh) | 2020-12-25 | 2020-12-25 | 多相机融合的无人机建筑物内导航定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113720331A CN113720331A (zh) | 2021-11-30 |
CN113720331B true CN113720331B (zh) | 2023-12-19 |
Family
ID=78672383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011568278.0A Active CN113720331B (zh) | 2020-12-25 | 2020-12-25 | 多相机融合的无人机建筑物内导航定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113720331B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114543797B (zh) * | 2022-02-18 | 2024-06-07 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926933A (zh) * | 2014-03-29 | 2014-07-16 | 北京航空航天大学 | 一种无人飞行器室内同时定位与环境建模方法 |
CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
CN107144281A (zh) * | 2017-06-30 | 2017-09-08 | 飞智控(天津)科技有限公司 | 基于合作目标和单目视觉的无人机室内定位***及定位方法 |
WO2017177533A1 (zh) * | 2016-04-12 | 2017-10-19 | 深圳市龙云创新航空科技有限公司 | 基于激光雷达的微型无人机操控方法及*** |
CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
CN111694006A (zh) * | 2020-05-29 | 2020-09-22 | 杭州电子科技大学 | 一种用于室内无人***的导航传感*** |
-
2020
- 2020-12-25 CN CN202011568278.0A patent/CN113720331B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926933A (zh) * | 2014-03-29 | 2014-07-16 | 北京航空航天大学 | 一种无人飞行器室内同时定位与环境建模方法 |
CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
WO2017177533A1 (zh) * | 2016-04-12 | 2017-10-19 | 深圳市龙云创新航空科技有限公司 | 基于激光雷达的微型无人机操控方法及*** |
CN107144281A (zh) * | 2017-06-30 | 2017-09-08 | 飞智控(天津)科技有限公司 | 基于合作目标和单目视觉的无人机室内定位***及定位方法 |
CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
CN111694006A (zh) * | 2020-05-29 | 2020-09-22 | 杭州电子科技大学 | 一种用于室内无人***的导航传感*** |
Also Published As
Publication number | Publication date |
---|---|
CN113720331A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113074727A (zh) | 基于蓝牙与slam的室内定位导航装置及其方法 | |
CN110501712B (zh) | 无人驾驶中用于确定位置姿态数据的方法、装置和设备 | |
CN111811483B (zh) | 一种用于飞机数字化装配的多相机组网定位标定方法 | |
CN111238540A (zh) | 一种基于恒星拍摄的珞珈一号相机-星敏安装标定方法 | |
CN112684432A (zh) | 激光雷达标定方法、装置、设备及存储介质 | |
CN113720331B (zh) | 多相机融合的无人机建筑物内导航定位方法 | |
CN111208526B (zh) | 基于激光雷达与定位向量匹配的多无人机协同定位方法 | |
CN114488094A (zh) | 一种车载多线激光雷达与imu外参数自动标定方法及装置 | |
CN116704458A (zh) | 一种自动驾驶商用车横向定位方法 | |
CN114777768A (zh) | 一种卫星拒止环境高精度定位方法、***及电子设备 | |
CN115760999A (zh) | 一种基于gis辅助的单目相机校准和目标地理位置提取方法 | |
CN109146936B (zh) | 一种图像匹配方法、装置、定位方法及*** | |
CN109212495B (zh) | 一种基于陀螺仪的雷达自动校靶方法及*** | |
CN116753953A (zh) | 一种基于视觉的无人机组合导航方法 | |
CN114252099B (zh) | 一种智能车辆多传感器融合自标定方法及*** | |
CN116594419A (zh) | 巡检航线规划方法、装置、电子设备及存储介质 | |
CN112489118B (zh) | 一种无人机机载传感器组外参快速标定方法 | |
CN112729305B (zh) | 一种基于单飞行器导引头图像信息的多目标定位方法 | |
CN114742141A (zh) | 基于icp点云的多源信息数据融合研判方法 | |
Kang et al. | Positioning Errors of Objects Measured by Convolution Neural Network in Unmanned Aerial Vehicle Images | |
CN112835055A (zh) | 一种激光slam设备的定位方法及*** | |
CN111595289A (zh) | 一种基于图像处理的三维角度测量***及方法 | |
CN116091546B (zh) | 光学相机推扫模式下的观测构建方法 | |
CN111750849B (zh) | 多视角下的目标轮廓定位定姿平差方法及*** | |
CN115166701B (zh) | 一种rgb-d相机和激光雷达的***标定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |