CN105424006A - 基于双目视觉的无人机悬停精度测量方法 - Google Patents

基于双目视觉的无人机悬停精度测量方法 Download PDF

Info

Publication number
CN105424006A
CN105424006A CN201510736167.9A CN201510736167A CN105424006A CN 105424006 A CN105424006 A CN 105424006A CN 201510736167 A CN201510736167 A CN 201510736167A CN 105424006 A CN105424006 A CN 105424006A
Authority
CN
China
Prior art keywords
camera
unmanned plane
hovering
point
order image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510736167.9A
Other languages
English (en)
Other versions
CN105424006B (zh
Inventor
王万国
刘俍
刘越
张方正
董罡
雍军
吴观斌
慕世友
傅孟潮
魏传虎
张飞
李建祥
赵金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Shandong Luneng Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd, Shandong Luneng Intelligence Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510736167.9A priority Critical patent/CN105424006B/zh
Publication of CN105424006A publication Critical patent/CN105424006A/zh
Application granted granted Critical
Publication of CN105424006B publication Critical patent/CN105424006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于双目视觉的无人机悬停精度测量方法,包括如下步骤:标定阶段:利用张正友棋盘标定法对相机进行标定,从而确定标定参数定义标定结果参数;定位阶段:在进行无人机悬停精度测量时,将滑轨放置于无人机悬停点正下方,将双目相机按照设定距离平行固定于滑轨上,且双目相机能够沿滑轨方向移动,相机镜头垂直向上放置,两相机成像平面应位于同一平面,光轴相互平行;左目相机和右目相机分别采集无人机图像,传输至计算机;计算机根据左目图像和右目图像,根据标定结果参数,计算无人机的三维位置坐标;悬停结束后,根据无人机三维轨迹计算悬停精度。本发明的有益效果:实现无人机目标的检测、跟踪、精确匹配和三维定位。

Description

基于双目视觉的无人机悬停精度测量方法
技术领域
本发明涉及一种基于双目视觉的无人机悬停精度测量方法。
背景技术
无人机悬停精度是无人机性能的一个重要指标,反映了无人机的核心——飞行控制***的稳定性和精确性。目前,在对无人机飞行功能的检验检测过程中,悬停精度的测量方法为人工观察的方法,不能保证其安全性、客观性和规范性。
无人机三维空间定位技术主要有两种方式:基于机载设备的定位方式和基于地面设备的定位方式。
根据机载设备类型的不同,基于机载设备的定位技术主要有3种:图4(a)基于GPS设备、图4(b)基于机载视频和图4(c)基于惯性导航装置的定位技术。机载设备集成在每个无人机的飞行控制***中,而不是独立于无人机之外,因此灵活性较差,不适用于针对不同无人机进行定位的任务。
基于地面设备的定位方式可以避免上述问题。根据地面设备类型的不同,基于地面设备的定位技术可以分为3种:图4(d)超声波测距仪、图4(e)激光测距仪、和图4(f)基于机器视觉的定位技术。其中,超声波或激光测距仪多用于目标距离的测量,而三维激光测距仪的扫描速度较慢,主要应用于静态三维场景的重建,无法计算目标的运动轨迹。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于双目视觉的无人机悬停精度测量方法,它能够实时计算无人机的三维飞行轨迹,并自动计算悬停精度,提高了测量的准确性与规范性。
为了实现上述目的,本发明采用如下技术方案:
基于双目视觉的无人机悬停精度测量方法,包括如下步骤:
步骤(1):标定阶段:利用张正友棋盘标定法对相机进行标定,从而确定标定参数,定义标定结果参数;
步骤(2):定位阶段:在进行无人机悬停精度测量时,将滑轨放置于无人机悬停点正下方,将双目相机按照设定距离平行固定于滑轨上,且双目相机能够沿滑轨方向移动,相机镜头垂直向上放置,双目相机成像平面应位于同一平面,光轴相互平行;左目相机和右目相机分别采集无人机图像,传输至计算机;计算机根据采集到的左目图像和右目图像,结合步骤(1)得到的标定结果参数,计算无人机的三维位置坐标;悬停结束后,根据无人机三维轨迹计算悬停精度。
所述步骤(1)的步骤为:
步骤(1-1):将两个相机固定在同一个滑轨上,定义距离L,调整滑轨上两相机位置,使其中心点之间的距离为L;
步骤(1-2):采用张正友棋盘标定法对相机进行标定,并记录标定结果参数result={Mleft,Dleft,Mright,Dright,R,T}。result表示标定结果参数,Mleft和Dleft分别表示左目相机的相机矩阵和畸变系数向量,Mright和Dright分别表示右目相机的相机矩阵和畸变系数向量,R和T分别表示两相机之间的旋转矩阵和平移向量。对于每个相机,
M = f x 0 c x 0 f y c y 0 0 1 ;
其中,M为相机矩阵,fx,fy是以像素为单位的焦距。
所述步骤(2)的步骤为:
步骤(2-1):在进行无人机悬停精度测量时,将滑轨放置于无人机悬停点正下方,将双目相机平行固定于滑轨上,相机镜头垂直向上放置,两相机成像平面应位于同一平面,光轴相互平行;左目相机采集无人机左目图像,右目相机采集无人机右目图像;
步骤(2-2):目标区域定位:采用手动选取的方式,选定左目图像中的目标区域;
步骤(2-3):目标跟踪:利用TLD算法,对左目图像中的目标进行跟踪;
步骤(2-4):目标匹配:在右目图像中,寻找与左目图像的目标区域最相似的匹配区域;
步骤(2-5):同名点匹配:分别利用左目和右目图像中矩形目标区域的中心点,作为同名点;
步骤(2-6):三维坐标计算:建立相机的坐标系,结合步骤(1)得到的标定结果参数,计算目标点在相机坐标系中的三维坐标;
步骤(2-7):悬停精度评估,根据目标点的三维坐标轨迹,计算无人机的悬停精度。
所述步骤(2-2)的步骤为:令开始对目标进行定位的时刻t=0。首先手动框取目标区域,目标区域为以BL为左上角点,高h、宽w的矩形区域。
所述步骤(2-3)的步骤为:根据t=0时刻确定的左目图像目标区域,在t=1及其以后的时刻,采用TLD算法对左目图像的目标进行跟踪。
所述步骤(2-4)的步骤为:每次得到左目图像中的目标区域后,在右目图像中,寻找与左目图像的目标区域最相似的匹配区域,匹配区域为以BR为左上角点,高h、宽w的矩形区域;
则目标匹配表示为:
min x R , y R Σ i = 0 h Σ j = 0 w | I l e f t [ x L + i ] [ y L + j ] - I r i g h t [ x R + i ] [ y R + j ] | - - - ( 1 )
其中,Ileft表示左目图像灰度值,Iright表示右目图像灰度值,(xL,yL)表示点BL的坐标,(xR,yR)表示点BR的坐标;此时搜寻范围xR∈[0,xL],其中sh为搜寻区域的高度。这样,得到使得公式(1)最小的BR点坐标(xR,yR)后,则视差d=xL-xR
在t≥1时刻,左目图像通过TLD算法得到新的目标区域后,对右目图像的搜寻范围进行更新 x R ∈ [ x L - d - s w 2 , x L - d + s w 2 ] , y R ∈ [ y L - s h 2 , y L + s h 2 ] , 根据公式(1)确定右目图像中的目标区域;以此类推,来计算每一帧左目图像中的目标区域,以及同一目标在右目图像中的对应区域。
所述步骤(2-5)的步骤为:
利用左目图像中目标区域的中心点作为左目目标的同名点,利用右目图像中的目标区域的中心点作为右目目标的同名点。
所述同名点即左目图像和右目图像中,对应实际目标同一部位的像素点,必须保证前后帧、左右目图像中的同名点对应实际目标的同一位置。
所述步骤(2-6)的步骤为:
相机坐标系是以左目相机的光心OL为原点,XOLY平面平行于成像平面,光轴方向为Z轴,根据标定的相机参数result,得到重投影矩阵
Q = 1 0 0 - c x l 0 1 0 - c y l 0 0 0 f l 0 0 - 1 / T x ( c x l - c x r ) / T x - - - ( 2 )
其中,为左相机的主点坐标,为右相机的主点坐标;Tx为两相机之间平移矩阵的X轴分量;fl为左侧相机焦距;
在左右目光轴相互平行情况下,已知左目图像同名点坐标PL(xL,yL)和右目图像同名点坐标PR(xR,yR),计算目标点在左右视图的视差d=xL-xR,则令
x ^ c y ^ c z ^ c w ^ c = Q x L y L d 1 = x L - c x l y L - c y l f l - d + c x l - c x r T x - - - ( 3 )
得到目标点在相机坐标系中的三维坐标:
P c = ( x c , y c , z c ) = ( x ^ c / w ^ c , y ^ c / w ^ c , z ^ c / w ^ c ) - - - ( 4 ) ;
其中为中间结果变量,xc、yc和zc分别为目标点Pc在相机坐标系中的X、Y和Z轴坐标。
所述步骤(2-7)的步骤为:
在无人机悬停时,采用步骤(2-5)实时计算无人机的三维位置坐标,得到其飞行轨迹;
假设得到轨迹点的集合为P=[P1,P2,...,PN],共包含N个点,其中
Pn=[xn,yn,zn]T,n=1,2,...,N;
飞行轨迹点集合的质心 P m = [ x m , y m , z m ] T = 1 N Σ n = 1 N P n ;
进行无人机悬停精度测试时,规定无人机悬停的离地高度记作H0
在进行悬停精度检测时,将双目相机放置于悬停的正下方,具体来说,是将左目相机放置于悬停点并使光轴垂直于水平面;悬停精度分为定点悬停精度的水平偏差和垂直偏差悬停控制精度的水平偏差和垂直偏差
由于OL为坐标系原点,计算公式为:
E H o v i n g h = x m 2 + y m 2 ,
E H o v i n g v = | z m - H 0 | ,
E C o n t r o l h = e X 2 + e Y 2 2 ,
E C o n t r o l v = m a x n ∈ [ 1 , N ] ( z n ) - min n ∈ [ 1 , N ] ( z n ) 2
其中,eX和eY分别为无人机悬停过程中,在以左目相机为原点的相机坐标系下,X轴方向和Y轴方向的运动范围,zn表示无人机飞行轨迹点Pn的Z轴坐标。
本发明的有益效果:
1能够实时计算无人机的三维飞行轨迹,并自动计算悬停精度,提高了测量的准确性与规范性;
2无需对无人机作任何改造,***的可扩展性较好;
3整个测量过程几乎不需要人的参与,自动化程度高;
4设备的使用方法简便,只需将双目相机放置于预先设置的悬停点下方,即可在计算机端获得无人机的飞行轨迹与悬停精度。
5基于机器视觉的三维定位技术,可以将目标的检测、跟踪、匹配、三维定位过程整合在一起,只需要将相机放置在指定位置,所有的相关算法都在计算机上完成并显示。因此针对于检验检测任务,一种有效方法是:利用双目视觉技术,结合无人机检验检测任务的特殊情况和需求,实现无人机目标的检测、跟踪、精确匹配和三维定位。
附图说明
图1为本发明的整体流程图;
图2为本发明的标定阶段流程图;
图3为本发明的定位阶段流程图;
图4(a)为基于GPS机载设备的定位方式;
图4(b)为基于机载视频设备的定位方式;
图4(c)为基于机载惯性导航设备的定位方式;
图4(d)为基于地面超声波测距仪的定位方式;
图4(e)为基于地面激光测距仪的定位方式;
图4(f)为基于地面机器视觉的定位方式;
图5基于双目视觉的无人机悬停精度测量***;
图6双目相机标定示意图;
图7目标跟踪与匹配;
图8左右目、前后帧的同名点匹配;
图9双目定位***坐标系示意图;
图10悬停误差示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
硬件组成为:2个工业相机,1个相机滑轨,1套工控机与显示器,1个棋盘标定版。整个***结构如图5所示。
1、2:工业相机。镜头焦距5mm,分辨率1384x1032,帧率16帧/秒。
3:相机滑轨。长度1.2m,带有刻度,分度值为1mm。
4:工控机与显示器。凌华MXC-6000工控机。
5:棋盘标定板。方格个数19×17,每个方格宽度20mm。
6:无人机。无人直升机、多旋翼无人机。
如图1所示,整个过程分为2个阶段:标定阶段和定位阶段。在标定阶段,利用张正友棋盘标定法[1]对相机进行标定。在定位阶段,根据标定参数,计算无人机目标的三维位置。
3.2标定阶段:
对于标定技术相关算法的理论问题,基本都已得到了的解决。目前的相机标定主要有三类方法:传统标定方法、主动视觉标定方法和自标定方法。传统标定方法利用几何约束已知的标定模板计算摄像机参数,设备简便,精度高,是目前最常用的方法。主动视觉标定方法将摄像机固定在云台等机械机构上,严格限制摄像机的旋转和平移运动,标定精度高,设备复杂,标定时间长;自标定方法仅依靠场景中多幅图像之间的对应关系计算摄像机参数,标定灵活方便,但属于非线性标定,鲁棒性不高。
本发明利用传统标定法,在文献[1]方法的基础上进行扩展。定义标定结果result={Mleft,Dleft,Mright,Dright,R,T}。result表示标定结果,Mleft和Dleft分别表示目相机的相机矩阵和畸变系数向量,Mright和Dright分别表示右目相机的相机矩阵和畸变系数向量,R和T分别表示两相机之间的旋转矩阵和平移向量。如图2、6所示,标定步骤为:
1将两个相机固定在同一个滑轨上,定义距离L,调整滑轨上两相机位置,使其中心点之间的距离为L。
2采用张正友棋盘标定法对相机进行标定,并记录标定结果参数为如下形式:
result={Mleft,Dleft,Mright,Dright,R,T}
其中result表示标定结果,Mleft和Dleft分别表示目相机的相机矩阵和畸变系数向量,Mright和Dright分别表示右目相机的相机矩阵和畸变系数向量,R和T分别表示两相机之间的旋转矩阵和平移向量。
3.3定位阶段:
如图5所示,在进行无人机悬停精度测量时,将双目相机平行固定于滑轨上,两相机成像平面应尽量位于同一平面,光轴相互平行。将滑轨放置于无人机悬停点正下方,相机镜头垂直向上放置。左目和右目相机采集无人机图像,通过GigE千兆网传输至便携电脑。便携电脑根据左目和右目图像,采用相关算法定位无人机的三维位置坐标。悬停结束后,根据无人机三维轨迹计算悬停精度。
如图3所示,无人机的三维位置定位算法主要分为以下几个步骤:目标区域定位与跟踪、左右目目标匹配、同名点匹配、三维坐标计算和悬停精度的评估。
目标区域定位与跟踪
目标区域定位可采用手动选取或自动检测的方式。由于无人机目标图像背景为静态的单一背景,因此可以采用显著性目标检测方式,获得目标区域。如图7所示,在t=0时刻,通过手动选取或自动检测的方式,得到左目图像中的目标位置(实线矩形框)后,采用TLD(Tracking-Learning-Detection)算法[2]进行跟踪。TLD算法的优势是,在目标移出并重新进入图像区域时,算法仍能检测并跟踪此目标。
左右目目标匹配
假设在时刻t=0初次确定了左目图像的目标区域,如图7所示,目标区域为以BL为左上角点,高h、宽w的矩形区域。左右目目标匹配就是在右目图像中,寻找与左目目标区域最相似的匹配区域,匹配区域为以BR为左上角点,高h、宽w的矩形区域。则目标匹配可表示为以下问题:
min x R , y R Σ i = 0 h Σ j = 0 w | I l e f t [ x L + i ] [ y L + j ] - I r i g h t [ x R + i ] [ y R + j ] | 公式(1)
其中,Ileft和Iright分别代表左目和右目图像灰度值,(xL,yL)和(xR,yR)分别为点BL和BR的坐标。此时搜寻范围xR∈[0,xL],如图7中t=0时刻图像中灰色区域所示。得到使得公式(1)最小的(xR,yR)后,则视差d=xL-xR
在t+1时刻,左目图像通过TLD算法得到新的目标区域,对右目图像的搜寻范围进行更新 x R ∈ [ x L - d - s w 2 , x L - d + s w 2 ] , y R ∈ [ y L - s h 2 , y L + s h 2 ] , 如t+1时刻图像中灰色区域所示。根据公式(1)确定右目图像中的目标区域。以此类推,来计算每一帧左目和右目图像的目标区域。
同名点匹配
同名点,即左目和右目图像中,对应实际目标同一部位的像素点。如图8所示,我们必须保证前后帧、左右目图像中的同名点对应实际目标的同一位置。一种简单的方式是利用图像中目标区域的中心点,即 P L = ( x L + w 2 , y L + h 2 ) P R = ( x R + w 2 , y R + h 2 ) 作为左目和右目目标的同名点。
三维坐标计算
相机坐标系是以左目相机的光心OL为原点,XOLY平面平行于成像平面,光轴方向为Z轴,如图9所示。根据标定的相机参数,得到重投影矩阵
Q = 1 0 0 - c x l 0 1 0 - c y l 0 0 0 f l 0 0 - 1 / T x ( c x l - c x r ) / T x . 公式(2)
其中为左、右相机的主点坐标(式中未用到);Tx为两相机之间平移矩阵的X轴分量;fl为左侧相机焦距。在左右目光轴相互平行情况下,已知左右目图像同名点坐标PL(xL,yL)和PR(xR,yR),计算目标点在左右视图的视差d=xL-xR,则令
x ^ c y ^ c z ^ c w ^ c = Q x L y L d 1 = x L - c x l y L - c y l f l - d + c x l - c x r T x . 公式(3)
这样就得到目标点在相机坐标系中的三维坐标:
P c = ( x c , y c , z c ) = ( x ^ c / w ^ c , y ^ c / w ^ c , z ^ c / w ^ c ) . 公式(4)
悬停精度评估
在无人机悬停时,采用以上方法实时计算无人机的三维位置坐标,得到其飞行轨迹。假设得到轨迹点的集合为P=[P1,P2,...,PN],共包含N个点,其中
Pn=[xn,yn,zn]T,n=1,2,...,N。图10中的点为飞行轨迹点在水平面的投影。飞行轨迹点集合的质心在进行悬停精度检测时,将双目相机放置于悬停的的正下方,具体来说,是将左目相机放置于悬停点并使光轴垂直于水平面。停精度分为定点悬停精度的水平偏差和垂直偏差悬停控制精度的水平偏差和垂直偏差由于OL为坐标系原点,计算公式为:
E H o v i n g h = x m 2 + y m 2 ,
E H o v i n g V = | z m - H 0 | ,
E C o n t r o l h = e X 2 + e Y 2 2 ,
E C o n t r o l v = m a x n ∈ [ 1 , N ] ( z n ) - min n ∈ [ 1 , N ] ( z n ) 2 .
参考文献:
[1]ZhangZ.Aflexiblenewtechniqueforcameracalibration[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2000,22(11):1330-1334.
[2]KalalZ,MikolajczykK,MatasJ.Tracking-learning-detection[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2012,34(7):1409-1422.
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于双目视觉的无人机悬停精度测量方法,其特征是,包括如下步骤:
步骤(1):标定阶段:利用张正友棋盘标定法对相机进行标定,从而确定标定参数定义标定结果参数;
步骤(2):定位阶段:在进行无人机悬停精度测量时,将滑轨放置于无人机悬停点正下方,将双目相机按照设定距离平行固定于滑轨上,且双目相机能够沿滑轨方向移动,相机镜头垂直向上放置,双目相机成像平面应位于同一平面,光轴相互平行;左目相机和右目相机分别采集无人机图像,传输至计算机;计算机根据采集到的左目图像和右目图像,结合步骤(1)得到的标定结果参数,计算无人机的三维位置坐标;悬停结束后,根据无人机三维轨迹计算悬停精度。
2.如权利要求1所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(1)的步骤为:
步骤(1-1):将两个相机固定在同一个滑轨上,定义距离L,调整滑轨上两相机位置,使其中心点之间的距离为L;
步骤(1-2):采用张正友棋盘标定法对相机进行标定,并记录标定结果参数result={Mleft,Dleft,Mright,Dright,R,T};result表示标定结果,Mleft和Dleft分别表示目相机的相机矩阵和畸变系数向量,Mright和Dright分别表示右目相机的相机矩阵和畸变系数向量,R和T分别表示两相机之间的旋转矩阵和平移向量;对于每个相机,
M = f x 0 c x 0 f y c y 0 0 1 .
3.如权利要求1所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2)的步骤为:
步骤(2-1):在进行无人机悬停精度测量时,将滑轨放置于无人机悬停点正下方,将双目相机平行固定于滑轨上,相机镜头垂直向上放置,双目相机成像平面应位于同一平面,光轴相互平行;左目相机采集无人机左目图像,右目相机采集无人机右目图像;
步骤(2-2):目标区域检测:采用显著性目标检测方式,获得左目图像中的目标区域;
步骤(2-3):目标跟踪:利用TLD算法,对左目图像中的目标进行跟踪;
步骤(2-4):目标匹配:在右目图像中,寻找与左目图像的目标区域最相似的匹配区域;
步骤(2-5):同名点匹配:分别利用左目和右目图像中矩形目标区域的中心点,作为同名点;
步骤(2-6):三维坐标计算:建立相机的坐标系,结合步骤(1)得到的标定结果参数,计算目标点在相机坐标系中的三维坐标;
步骤(2-7):悬停精度评估,根据目标点的三维坐标轨迹,计算无人机的悬停精度。
4.如权利要求3所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2-2)的步骤为:令设开始对目标进行定位的时刻t=0,首先采用显著性目标检测方式获得目标区域,目标区域为以BL为左上角点,高h、宽w的矩形区域。
5.如权利要求3所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2-3)的步骤为:根据t=0时刻确定的左目图像目标区域,在t=1及其以后的时刻,采用TLD算法对左目图像的目标进行跟踪。
6.如权利要求3所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2-4)的步骤为:每次得到左目图像中的目标区域后,在右目图像中,寻找与左目图像的目标区域最相似的匹配区域,匹配区域为以BR为左上角点,高h、宽w的矩形区域;
则目标匹配表示为:
min x R , y R Σ i = 0 h Σ j = 0 w | I l e f t [ x L + i ] [ y L + j ] - I r i g h t [ x R + i ] [ y R + j ] | - - - ( 1 )
其中,Ileft表示左目图像灰度值,Iright表示右目图像灰度值,(xL,yL)表示点BL的坐标,(xR,yR)表示点BR的坐标;此时搜寻范围xR∈[0,xL],其中sh为搜寻区域的高度,得到使得公式(1)最小的BR点坐标(xR,yR)后,则视差
d=xL-xR
在t≥1时刻,左目图像通过TLD算法得到新的目标区域后,对右目图像的搜寻范围进行更新 x R ∈ [ x L - d - s w 2 , x L - d + s w 2 ] , y R ∈ [ y L - s h 2 , y L + s h 2 ] , 根据公式(1)确定右目图像中的目标区域;以此类推,来计算每一帧左目图像中的目标区域,以及同一目标在右目图像中的对应区域。
7.如权利要求3所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2-5)的步骤为:
利用左目图像中目标区域的中心点作为左目目标的同名点,利用右目图像中的目标区域的中心点作为右目目标的同名点。
8.如权利要求3所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2-6)的步骤为:
相机坐标系是以左目相机的光心OL为原点,XOLY平面平行于成像平面,光轴方向为Z轴,根据标定的相机参数,得到重投影矩阵
Q = 1 0 0 - c x l 0 1 0 - c y l 0 0 0 f l 0 0 - 1 / T x ( c x l - c x r ) / T x - - - ( 2 )
其中,为左相机的主点坐标,为右相机的主点坐标;Tx为两相机之间平移矩阵的X轴分量;fl为左侧相机焦距;
在左右目光轴相互平行情况下,已知左目图像同名点坐标PL(xL,yL)和右目图像同名点坐标PR(xR,yR),计算目标点在左右视图的视差d=xL-xR,则令
x ^ c y ^ c z ^ c w ^ c = Q x L y L d 1 = x L - c x l y L - c y l f l - d + c x l - c x r T x - - - ( 3 )
得到目标点在相机坐标系中的三维坐标:
P c = ( x c , y c , z c ) = ( x ^ c / w ^ c , y ^ c / w ^ c , z ^ c / w ^ c ) - - - ( 4 ) .
9.如权利要求3所述的基于双目视觉的无人机悬停精度测量方法,其特征是,所述步骤(2-7)的步骤为:
在无人机悬停时,采用步骤(2-5)实时计算无人机的三维位置坐标,得到其飞行轨迹;
假设得到轨迹点的集合为P=[P1,P2,...,PN],共包含N个点,其中
Pn=[xn,yn,zn]T,n=1,2,...,N;
飞行轨迹点集合的质心 P m = [ x m , y m , z m ] T = 1 N Σ n = 1 N P n ;
进行无人机悬停精度测试时,规定无人机悬停的离地高度记作H0
在进行悬停精度检测时,将双目相机放置于悬停的正下方,具体来说,是将左目相机放置于悬停点并使光轴垂直于水平面;悬停精度分为定点悬停精度的水平偏差和垂直偏差悬停控制精度的水平偏差和垂直偏差
由于OL为坐标系原点,计算公式为:
E H o v i n g h = x m 2 + y m 2 ,
E H o v i n g v = | z m - H 0 | ,
E C o n t r o l h = e X 2 + e Y 2 2 ,
E C o n t r o l v = max n ∈ [ 1 , N ] ( z n ) - min n ∈ [ 1 , N ] ( z n ) 2
其中,eX和eY分别为无人机悬停过程中,在以左目相机为原点的相机坐标系下,X轴方向和Y轴方向的运动范围,zn表示无人机飞行轨迹点Pn的Z轴坐标。
CN201510736167.9A 2015-11-02 2015-11-02 基于双目视觉的无人机悬停精度测量方法 Active CN105424006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510736167.9A CN105424006B (zh) 2015-11-02 2015-11-02 基于双目视觉的无人机悬停精度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510736167.9A CN105424006B (zh) 2015-11-02 2015-11-02 基于双目视觉的无人机悬停精度测量方法

Publications (2)

Publication Number Publication Date
CN105424006A true CN105424006A (zh) 2016-03-23
CN105424006B CN105424006B (zh) 2017-11-24

Family

ID=55502384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510736167.9A Active CN105424006B (zh) 2015-11-02 2015-11-02 基于双目视觉的无人机悬停精度测量方法

Country Status (1)

Country Link
CN (1) CN105424006B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN106020218A (zh) * 2016-05-16 2016-10-12 国家电网公司 一种无人机的悬停精度测试方法和***
CN106153008A (zh) * 2016-06-17 2016-11-23 北京理工大学 一种基于视觉的旋翼无人机三维目标定位方法
CN106709955A (zh) * 2016-12-28 2017-05-24 天津众阳科技有限公司 基于双目立体视觉的空间坐标系标定***和方法
CN107036625A (zh) * 2016-02-02 2017-08-11 中国电力科学研究院 一种输电线路无人直升机巡检***的飞行性能检测方法
CN107300377A (zh) * 2016-11-01 2017-10-27 北京理工大学 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN107424156A (zh) * 2017-06-28 2017-12-01 北京航空航天大学 基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法
CN107490375A (zh) * 2017-09-21 2017-12-19 重庆鲁班机器人技术研究院有限公司 定点悬停精度测量装置、方法及无人飞行器
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN108965651A (zh) * 2017-05-19 2018-12-07 深圳市道通智能航空技术有限公司 一种无人机高度测量方法以及无人机
CN109211185A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种飞行设备、获取位置信息的方法及装置
CN109211573A (zh) * 2018-09-12 2019-01-15 北京工业大学 一种无人机悬停稳定性的评测方法
CN109360240A (zh) * 2018-09-18 2019-02-19 华南理工大学 一种基于双目视觉的小型无人机定位方法
CN109813509A (zh) * 2019-01-14 2019-05-28 中山大学 基于无人机实现高铁桥梁竖向动扰度测量的方法
CN109855822A (zh) * 2019-01-14 2019-06-07 中山大学 一种基于无人机的高铁桥梁竖向动扰度测量方法
CN110986891A (zh) * 2019-12-06 2020-04-10 西北农林科技大学 一种利用无人机准确快速测量树木冠幅的***
CN111688949A (zh) * 2020-06-24 2020-09-22 天津大学 一种无人机悬停姿态测量装置及方法
CN112188112A (zh) * 2020-09-28 2021-01-05 苏州臻迪智能科技有限公司 一种补光控制方法、补光控制装置、存储介质和电子设备
CN112365526A (zh) * 2020-11-30 2021-02-12 湖南傲英创视信息科技有限公司 弱小目标的双目检测方法及***
CN114877876A (zh) * 2022-07-12 2022-08-09 南京市计量监督检测院 一种无人机悬停精度评估方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489149A (zh) * 2008-12-25 2009-07-22 清华大学 双目立体视频采集***
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量***中的摄像机现场标定方法
CN102967305A (zh) * 2012-10-26 2013-03-13 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
US20130070961A1 (en) * 2010-03-23 2013-03-21 Omid E. Kia System and Method for Providing Temporal-Spatial Registration of Images
CN104006803A (zh) * 2014-06-20 2014-08-27 中国人民解放军国防科学技术大学 自旋稳定空间飞行器转动运动参数的摄像测量方法
WO2015105756A1 (en) * 2014-01-10 2015-07-16 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
CN104932523A (zh) * 2015-05-27 2015-09-23 深圳市高巨创新科技开发有限公司 一种无人飞行器的定位方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489149A (zh) * 2008-12-25 2009-07-22 清华大学 双目立体视频采集***
US20130070961A1 (en) * 2010-03-23 2013-03-21 Omid E. Kia System and Method for Providing Temporal-Spatial Registration of Images
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量***中的摄像机现场标定方法
CN102967305A (zh) * 2012-10-26 2013-03-13 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
WO2015105756A1 (en) * 2014-01-10 2015-07-16 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
CN104006803A (zh) * 2014-06-20 2014-08-27 中国人民解放军国防科学技术大学 自旋稳定空间飞行器转动运动参数的摄像测量方法
CN104932523A (zh) * 2015-05-27 2015-09-23 深圳市高巨创新科技开发有限公司 一种无人飞行器的定位方法及装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107036625A (zh) * 2016-02-02 2017-08-11 中国电力科学研究院 一种输电线路无人直升机巡检***的飞行性能检测方法
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN106020218A (zh) * 2016-05-16 2016-10-12 国家电网公司 一种无人机的悬停精度测试方法和***
CN106020218B (zh) * 2016-05-16 2018-11-13 国家电网公司 一种无人机的悬停精度测试方法和***
CN106153008B (zh) * 2016-06-17 2018-04-06 北京理工大学 一种基于视觉的旋翼无人机三维目标定位方法
CN106153008A (zh) * 2016-06-17 2016-11-23 北京理工大学 一种基于视觉的旋翼无人机三维目标定位方法
CN107300377A (zh) * 2016-11-01 2017-10-27 北京理工大学 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN107300377B (zh) * 2016-11-01 2019-06-14 北京理工大学 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN106709955A (zh) * 2016-12-28 2017-05-24 天津众阳科技有限公司 基于双目立体视觉的空间坐标系标定***和方法
CN106709955B (zh) * 2016-12-28 2020-07-24 天津众阳科技有限公司 基于双目立体视觉的空间坐标系标定***和方法
CN108965651A (zh) * 2017-05-19 2018-12-07 深圳市道通智能航空技术有限公司 一种无人机高度测量方法以及无人机
CN107424156A (zh) * 2017-06-28 2017-12-01 北京航空航天大学 基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法
CN107424156B (zh) * 2017-06-28 2019-12-06 北京航空航天大学 基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法
CN109211185A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种飞行设备、获取位置信息的方法及装置
CN107490375A (zh) * 2017-09-21 2017-12-19 重庆鲁班机器人技术研究院有限公司 定点悬停精度测量装置、方法及无人飞行器
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN109211573A (zh) * 2018-09-12 2019-01-15 北京工业大学 一种无人机悬停稳定性的评测方法
CN109360240A (zh) * 2018-09-18 2019-02-19 华南理工大学 一种基于双目视觉的小型无人机定位方法
CN109360240B (zh) * 2018-09-18 2022-04-22 华南理工大学 一种基于双目视觉的小型无人机定位方法
CN109855822A (zh) * 2019-01-14 2019-06-07 中山大学 一种基于无人机的高铁桥梁竖向动扰度测量方法
CN109855822B (zh) * 2019-01-14 2019-12-06 中山大学 一种基于无人机的高铁桥梁竖向动扰度测量方法
CN109813509B (zh) * 2019-01-14 2020-01-24 中山大学 基于无人机实现高铁桥梁竖向动扰度测量的方法
CN109813509A (zh) * 2019-01-14 2019-05-28 中山大学 基于无人机实现高铁桥梁竖向动扰度测量的方法
CN110986891A (zh) * 2019-12-06 2020-04-10 西北农林科技大学 一种利用无人机准确快速测量树木冠幅的***
CN111688949A (zh) * 2020-06-24 2020-09-22 天津大学 一种无人机悬停姿态测量装置及方法
CN112188112A (zh) * 2020-09-28 2021-01-05 苏州臻迪智能科技有限公司 一种补光控制方法、补光控制装置、存储介质和电子设备
CN112365526A (zh) * 2020-11-30 2021-02-12 湖南傲英创视信息科技有限公司 弱小目标的双目检测方法及***
CN112365526B (zh) * 2020-11-30 2023-08-25 湖南傲英创视信息科技有限公司 弱小目标的双目检测方法及***
CN114877876A (zh) * 2022-07-12 2022-08-09 南京市计量监督检测院 一种无人机悬停精度评估方法

Also Published As

Publication number Publication date
CN105424006B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN105424006A (zh) 基于双目视觉的无人机悬停精度测量方法
CN112525162B (zh) 一种无人机测量输电线路影像距离的***及方法
US9989357B2 (en) Aerial device that cooperates with an external projector to measure three-dimensional coordinates
EP3264364B1 (en) Method and apparatus for obtaining range image with uav, and uav
Ellenberg et al. Use of unmanned aerial vehicle for quantitative infrastructure evaluation
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
US8655094B2 (en) Photogrammetry system and method for determining relative motion between two bodies
CN110617821B (zh) 定位方法、装置及存储介质
US20190072392A1 (en) System and method for self-geoposition unmanned aerial vehicle
CN106408601B (zh) 一种基于gps的双目融合定位方法及装置
CN102519434B (zh) 一种用于立体视觉三维恢复数据精度测量的试验验证方法
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
CN106289184A (zh) 一种无gnss信号和无控制点下无人机协同视觉形变监测方法
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、***及无人机
CN110645960A (zh) 测距方法、地形跟随测距方法、避障测距方法及装置
CN110986888A (zh) 一种航空摄影一体化方法
Sobel et al. Camera calibration for tracked vehicles augmented reality applications
Crispel et al. All-sky photogrammetry techniques to georeference a cloud field
Barczyk et al. Towards realistic covariance estimation of ICP-based Kinect V1 scan matching: The 1D case
CN102095368B (zh) 大范围视觉坐标测量中像机参数的快速获取方法
Holdener et al. Design and implementation of a novel portable 360 stereo camera system with low-cost action cameras
Bukin et al. A computer vision system for navigation of ground vehicles: Hardware and software
Verykokou et al. Metric exploitation of a single low oblique aerial image
CN208314856U (zh) 一种用于单目机载目标检测的***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000

Co-patentee after: National Network Intelligent Technology Co., Ltd.

Patentee after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Co-patentee after: State Grid Corporation of China

Address before: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000

Co-patentee before: Shandong Luneng Intelligent Technology Co., Ltd.

Patentee before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Co-patentee before: State Grid Corporation of China

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20201029

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Patentee after: National Network Intelligent Technology Co.,Ltd.

Address before: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000

Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Patentee before: National Network Intelligent Technology Co.,Ltd.

Patentee before: STATE GRID CORPORATION OF CHINA

TR01 Transfer of patent right