CN112649003B - 一种基于组合导航和图像信息的无人机变高绕圈方法 - Google Patents
一种基于组合导航和图像信息的无人机变高绕圈方法 Download PDFInfo
- Publication number
- CN112649003B CN112649003B CN202011460134.3A CN202011460134A CN112649003B CN 112649003 B CN112649003 B CN 112649003B CN 202011460134 A CN202011460134 A CN 202011460134A CN 112649003 B CN112649003 B CN 112649003B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- image
- height
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004804 winding Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000007689 inspection Methods 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于电力设备巡检技术领域,具体提供了一种基于组合导航和图像信息的无人机变高绕圈方法。垂起无人机以固定翼状态围绕输电塔进行绕圈飞行时,可通过搭载侧向捷联成像设备获取稳定的侧向图像信息来实现对输电塔的变半径和变高度检测。在获取侧向捷联相机获取到输电塔的图像中,可以根据输电塔主体在图像坐标系的像素位置计算出视线高低角λv。然后,根据视线高低角计算出需要的高度补偿,对定高高度进行修正,从而保证输电塔主体一直处于侧向画面的中间。此外,也可根据输电塔主体在侧向图像中的视线方位角λh对绕圈中心进行微调,从而获得更好的检测效果。
Description
技术领域
本发明属于电力设备巡检技术领域,具体提供了一种基于组合导航和图像信息的无人机变高绕圈方法。
背景技术
固定翼无人机绕圈飞行技术一般基于已知的经纬度信息通过提前设置固定的绕圈圆心、半径、速度和高度来实现。无人机在飞向绕圈圆心的过程中,首先通过纵向通道上的控制,达到预设的速度和高度,然后通过横向通道上的控制达到预设的绕圈半径。对于使用给固定翼无人机搭载侧向捷联摄像头进行输电塔巡检来说,使用上述基于惯导和卫星模块的绕圈技术存在一下不足:缺少实时地形高度信息,且卫星模块和气压计测量的高度误差大,预设巡检绕圈高度不一定合适;输电塔不能等效成一个质点,需要考虑其在不同方向上的外形特点来对绕圈的半径和高度进行实时调整才能实现更好的巡检效果,一般的基于组合导航的绕圈方法无法实现这一功能。
发明内容
鉴于上述问题,本发明提供了一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:包括如下步骤,
S1:计算无人机侧向的期望向心加速度;
S2:基于所述的期望向心加速度计算无人机飞行的滚转欧拉角度;基于该欧拉角度采用协调转弯策略实现侧向飞行控制;
S3:基于上述期望滚转姿态,及输电塔预设水平定高执行绕圈飞行指令,进行实时图像信息采集,采用图像跟踪算法对图像中兴趣点进行选择并跟踪;
S4:基于上述采集的图像信息,判定目标圆心及目标高度与图像的位置关系,调整绕圈半径及飞行高度。
进一步的,步骤S1中,设无人机的巡航速度为V,距离常数L,根据无人机转弯能力预设一个绕圈半径R,根据公式(1)和(2)计算出侧向的期望加速度a向心加速度;
L=2Rsinη (1)
进一步的,S2中所述的滚转欧拉角度通过公式(3)计算得出,
进一步的,在无人机机体侧面固定可见光相机作为巡检图像信息采集设备;该摄像机以角度γ安装在飞行器机身的侧面上,所述的γ为位于无人机的横向平面内的无人机机体坐标系的Y轴和摄像机坐标系的光轴Zc轴两轴之间的角度。
进一步的,S4中调整绕圈半径及飞行高度具体步骤如下,
S401:实时计算无人机与输电塔拟绕圈位置间的垂直方向的体视线角θc和水平方向的体视线角ψc:
S402:基于拟调整的目标圆心在S3中采集图像的位置,通过控制无人机的姿态消除该体视线方位角,调整绕圈半径;
S403:基于拟调整的目标高度在图像中的位置,通过控制无人机的姿态消除该体视线高低角,计算出补偿高度,对定高高度进行补偿调整飞行高度。
进一步的,设定O是相机的光学中心,光轴与成像面的交点为图像的中心点O1;Xc轴(摄像机坐标系的X轴)和Yc轴(摄像机坐标系的Y轴)平行于成像平面O1xy的x和y轴,Zc轴是光轴并且垂直于成像平面;由点O,Xc轴、Yc轴和Zc轴组成的直角坐标***称为摄像机坐标系;OO1是相机的焦距;像素坐标系O0uv中原点O0位于图像的左上角,u轴平行于x轴,v轴平行于y轴;
基于摄像机坐标系,计算垂直方向的体视线角θc和水平方向的体视线角ψc,计算公式如下:
θc=-tan-1(Yc/Zc)=-tan-1(v/fy) (4)
ψc=-tan-1(Xc/Zc)=-tan-1(u/fy) (5)
其中,[u,v]T是图像中目标的位置,u和v的单位是像素;u和v精确的值通过畸变校正来得到,fx和fy是以像素为单位的焦距,通过摄像机标定得出。
进一步的,根据公式(6),令水平方向的体视线角ψc为λh,输电塔主体在侧向图像中的体视线方位角λh不为0,令:
λh=ψc (6)
根据体视线方位角λh计算出η:
η=η0+λh (7)
根据η计算出新的
进一步的,S402中,根据拟调整的目标高度在图像中的位置计算出该点与无人机之间的体视线高低角,实现绕圈圆心调整,令垂直方向的体视线角θc为λv:
λv=θc (9)
通过测量的实现高低角λv计算出补偿高度,对定高高度进行补偿:
Δh=R·tan-1λv (10)。
所述的兴趣点包括输电塔故障点或者输电塔上任一点位置。
垂起无人机以固定翼状态围绕输电塔进行绕圈飞行时,可通过搭载侧向捷联成像设备获取稳定的侧向图像信息来实现对输电塔的变半径和变高度检测。在获取侧向捷联相机获取到输电塔的图像中,可以根据输电塔主体在图像坐标系的像素位置计算出视线高低角λv。然后,根据视线高低角计算出需要的高度补偿,对定高高度进行修正,从而保证输电塔主体一直处于侧向画面的中间。此外,也可根据输电塔主体在侧向图像中的视线方位角λh对绕圈中心进行微调,从而获得更好的检测效果。
附图说明
图1为本发明的绕圈方法流程示意图;
图2为步骤S4的一种实施例流程示意图;
图3为固定式成像模块机体坐标系与摄像机坐标系的关系;
图4相机坐标系与像素坐标系位置关系示意图;
图5目标跟踪算法流程图;
图6垂起无人机绕点定高绕圈点示意图;
图7垂起无人机绕点定高盘旋二维示意图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图6所示,图中标记出了输电塔的三个外形边界点。O0的经纬度及离地高度通常为已知,可以通过已知的输电塔物理尺寸计算出O1和O2的经纬度及离地高度。本方案希望通过绕圈半径调整(也可称为绕圈圆心调整)和绕圈飞行高度调整,来实现水平方向上从O1到O2的绕圈圆心调整,以及垂直方向上飞行高度的调整。
参考图1-7,本发明具体提供了一种基于组合导航和图像信息的无人机变高绕圈方法,包括如下步骤1:根据图7中左侧示意图可知,假设无人机的一般巡航速度为V,指定一个距离常数L(一般为4V-5V),并根据无人机转弯能力指定一个绕圈半径R,可根据公式(1)和(2)计算出一个侧向的期望加速度a向心加速度;
L=2R sinη (1)
步骤2:计算出a向心加速度后可以根据公式(3)计算出期望的滚转欧拉角
使用协调转弯策略对无人机进行侧向控制,在此不做赘述;
步骤3:根据步骤2计算的期望滚转姿态,无人机绕输电塔进行预设的水平定高绕圈,此时可实现侧向相机对输电塔的监测,同时可以开始启动图像跟踪程序,对画面中感兴趣的点,进行选择并跟踪,图像跟踪流程如图5所示:
步骤4:在步骤3的基础上,根据公式(4)和(5)计算无人机与输电塔拟绕圈位置间的垂直方向的体视线角θc(高低角)和水平方向的体视线角ψc(方位角):
捷联固定在无人机机体侧面可见光相机作为巡检图像信息采集设备。该摄像头以一定的角度γ安装在飞行器机身的侧面上。机体坐标系的Y轴和摄像机坐标系的光轴(Zc轴)位于飞机的横向平面内,如图3所示。两轴之间的角度是γ,即摄像机的垂直安装角度是γ。其中O是相机的光学中心(投影中心),Xc轴和Yc轴平行于成像平面O1xy的x和y轴,Zc轴是光轴并且垂直于成像平面。光轴与成像面的交点为图像的中心点O1。由点O,Xc轴、Yc轴和Zc轴组成的直角坐标***称为摄像机坐标系。OO1是相机的焦距。像素坐标系O0uv如图4所示:原点O0位于图像的左上角,u轴平行于x轴,v轴平行于y轴。
基于摄像机坐标系,可直接计算垂直方向的体视线角θc(高低角)和水平方向的体视线角ψc(方位角)。计算公式如下:
θc=-tan-1(Yc/Zc)=-tan-1(v/fy) (4)
ψc=-tan-1(Xc/Zc)=-tan-1(u/fy) (5)
其中,[u,v]T是图像中目标的位置,u和v的单位是像素。u和v更精确的值可以通过畸变校正来得到。fx和fy是以像素为单位的焦距,可以通过摄像机标定得出。鉴于镜头标定和失真校正的算法业已成熟,在本方案中不做详细的介绍。像素坐标系和成像平面之间,相差了一个缩放和一个原点的平移。假设像素坐标在u轴上缩放了α倍,在v轴上缩放了β倍(α和β的单位是像素每米)。同时,原点以像素为单位平移了[cx,cy]T。fx,fy,cx和cy均可以从相机的内参数矩阵(Camera Intrinsics)K中获得。一般认为,摄像机固有参数在出厂后是固定的,在使用过程中不会改变,这些参数可从镜头厂家获取也可自行标定得到。
步骤5:绕圈半径调整的依据是拟调整的目标圆心在图像中的位置,可根据拟调整的目标圆心在图像中的位置计算出该点与无人机之间的体视线方位角,通过控制无人机的姿态消除该体视线方位角,便可以实现绕圈圆心调整。作用是更换同一水平上的绕圈圆心,使得巡检范围扩大。
根据公式(6),令水平方向的体视线角ψc(方位角)为λh
图7中右侧示意图是无人机绕圈定高中心存在误差的情况,即输电塔主体在侧向图像中的体视线方位角λh不为0。可令:
λh=ψc (6)
步骤6:根据体视线方位角λh计算出η:
η=η0+λh (7)
步骤7:根据η计算出新的
因为定高中心是实测的输电塔中心的经纬度,误差很小,所以不建议长时间使用视线方位角对其进行修正。
步骤8:飞行高度调整的依据是拟调整的目标高度在图像中的位置,可根据拟调整的目标高度在图像中的位置计算出该点与无人机之间的体视线高低角,通过控制无人机的姿态消除该体视线高低角,便可以实现绕圈圆心调整。作用是修正当前飞行高度或者调整至其他目标飞行高度,使得巡检范围扩大。令垂直方向的体视线角θc(高低角)为λv:
λv=θc (9)
步骤9:可通过测量的实现高低角λv计算出补偿高度,对定高高度进行补偿:
Δh=R·tan-1λv (10)
本方案只计算期望的控制量,不涉及无人机内环控制。
步骤10:监测完毕后,可对体视线高低角和方位角进行清零,退出基于图像的绕圈模式。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:包括如下步骤,
S1:计算无人机侧向的期望向心加速度;
S2:基于所述的期望向心加速度计算无人机飞行的滚转欧拉角度;基于该欧拉角度采用协调转弯策略实现侧向飞行控制;
S3:基于上述滚转欧拉角度,及输电塔预设水平定高执行绕圈飞行指令,进行实时图像信息采集,采用图像跟踪算法对图像中兴趣点进行选择并跟踪;
S4:基于上述采集的图像信息,判定目标圆心及目标高度与图像的位置关系,调整绕圈半径及飞行高度;
S4中调整绕圈半径及飞行高度具体步骤如下,
S401:实时计算无人机与输电塔拟绕圈位置间的垂直方向的体视线角θc和水平方向的体视线角ψc:
S402:基于拟调整的目标圆心在S3中采集图像的位置,通过控制无人机的姿态消除水平方向的体视线角,调整绕圈半径;
S403:基于拟调整的目标高度在图像中的位置,通过控制无人机的姿态消除垂直方向的体视线角,计算出补偿高度,对定高高度进行补偿调整飞行高度;
设定O是相机的光学中心,光轴与成像面的交点为图像的中心点O1;Xc轴、Yc轴平行于成像平面O1xy的x和y轴,Zc轴是光轴并且垂直于成像平面;由点O,Xc轴、Yc轴和Zc轴组成的直角坐标***称为摄像机坐标系;OO1是相机的焦距;像素坐标系O0uv中原点O0位于图像的左上角,u轴平行于x轴,v轴平行于y轴;
基于摄像机坐标系,计算垂直方向的体视线角θc和水平方向的体视线角ψc,计算公式如下:
其中,[u,v]T是图像中目标的位置,u和v的单位是像素;u和v精确的值通过畸变校正来得到,fx和fy是以像素为单位的焦距,通过摄像机标定得出。
2.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:步骤S1中,设无人机的巡航速度为V,距离常数为L,根据无人机转弯能力预设一个绕圈半径R,根据公式(1)和(2)计算出侧向的期望加速度a向心加速度;
L=2R sinη (1)
3.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:S2中所述的滚转欧拉角度通过公式(3)计算得出,
4.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:在无人机机体侧面固定可见光相机作为巡检图像信息采集设备。
5.如权利要求4所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:可见光相机以角度γ安装在飞行器机身的侧面上,所述的γ为位于无人机的横向平面内的机体坐标系的Y轴和摄像机坐标系的光轴Zc轴两轴之间的角度。
6.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:根据公式(6),令水平方向的体视线角ψc为λh,输电塔主体在侧向图像中的体视线方位角λh不为0,令:
λh=ψc (6)
根据体视线方位角λh计算出η:
η=η0+λh (7)
根据η计算出新的
7.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:S402中,根据拟调整的目标高度在图像中的位置计算出该点与无人机之间的体视线高低角,实现绕圈圆心调整,令垂直方向的体视线角θc为λv:
λv=θc (9)
通过测量的视线高低角λv计算出补偿高度,对定高高度进行补偿:
Δh=R·tan-1λv (10)。
8.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法,其特征在于:所述的兴趣点包括输电塔故障点或者输电塔上任一点位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011460134.3A CN112649003B (zh) | 2020-12-11 | 2020-12-11 | 一种基于组合导航和图像信息的无人机变高绕圈方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011460134.3A CN112649003B (zh) | 2020-12-11 | 2020-12-11 | 一种基于组合导航和图像信息的无人机变高绕圈方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112649003A CN112649003A (zh) | 2021-04-13 |
CN112649003B true CN112649003B (zh) | 2024-03-12 |
Family
ID=75354869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011460134.3A Active CN112649003B (zh) | 2020-12-11 | 2020-12-11 | 一种基于组合导航和图像信息的无人机变高绕圈方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112649003B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101095090A (zh) * | 2005-11-15 | 2007-12-26 | 贝尔直升机泰克斯特龙公司 | 用于自动绕圈飞行的控制*** |
KR20130120176A (ko) * | 2012-04-25 | 2013-11-04 | 한국항공우주산업 주식회사 | 무인 항공기의 위치 추적 방법 |
CN106547275A (zh) * | 2015-09-17 | 2017-03-29 | 西安翔舟航空技术有限公司 | 一种新型旋翼类无人机自动定位操控方法 |
CN108919838A (zh) * | 2018-08-27 | 2018-11-30 | 河海大学常州校区 | 一种基于双目视觉的无人机输电线路自动跟踪方法 |
CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所(北京)有限公司 | 一种无人机视觉导航*** |
CN109976370A (zh) * | 2019-04-19 | 2019-07-05 | 深圳市道通智能航空技术有限公司 | 立面环绕飞行的控制方法、装置、终端及存储介质 |
CN110716576A (zh) * | 2019-11-07 | 2020-01-21 | 浙江中光新能源科技有限公司 | 一种基于无人机的定日镜场巡检***和方法 |
-
2020
- 2020-12-11 CN CN202011460134.3A patent/CN112649003B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101095090A (zh) * | 2005-11-15 | 2007-12-26 | 贝尔直升机泰克斯特龙公司 | 用于自动绕圈飞行的控制*** |
KR20130120176A (ko) * | 2012-04-25 | 2013-11-04 | 한국항공우주산업 주식회사 | 무인 항공기의 위치 추적 방법 |
CN106547275A (zh) * | 2015-09-17 | 2017-03-29 | 西安翔舟航空技术有限公司 | 一种新型旋翼类无人机自动定位操控方法 |
CN108919838A (zh) * | 2018-08-27 | 2018-11-30 | 河海大学常州校区 | 一种基于双目视觉的无人机输电线路自动跟踪方法 |
CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所(北京)有限公司 | 一种无人机视觉导航*** |
CN109976370A (zh) * | 2019-04-19 | 2019-07-05 | 深圳市道通智能航空技术有限公司 | 立面环绕飞行的控制方法、装置、终端及存储介质 |
WO2020211813A1 (zh) * | 2019-04-19 | 2020-10-22 | 深圳市道通智能航空技术有限公司 | 立面环绕飞行的控制方法、装置、终端及存储介质 |
CN110716576A (zh) * | 2019-11-07 | 2020-01-21 | 浙江中光新能源科技有限公司 | 一种基于无人机的定日镜场巡检***和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112649003A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
CN109753076B (zh) | 一种无人机视觉追踪实现方法 | |
CN106774431B (zh) | 一种测绘无人机航线规划方法及装置 | |
WO2018210078A1 (zh) | 无人机的距离测量方法以及无人机 | |
CN105184776B (zh) | 目标跟踪方法 | |
JP6282275B2 (ja) | インフラストラクチャマッピングシステム及び方法 | |
US11057604B2 (en) | Image processing method and device | |
CN112215860A (zh) | 一种基于图像处理的无人机定位方法 | |
CN112197766B (zh) | 一种针对系留旋翼平台的视觉测姿装置 | |
CN110537197A (zh) | 图像处理装置、生长调查图像创建***以及程序 | |
CN113252079B (zh) | 无人机的吊舱校准方法、装置、电子设备及存储介质 | |
CN110542407A (zh) | 一种航拍图像任意像素点定位信息获取方法 | |
CN106325305A (zh) | 对地定位或导航用相机、飞行器及其导航方法和*** | |
CN117455960B (zh) | 时变观测噪声条件下机载光电***对地无源定位滤波方法 | |
CN115511974A (zh) | 一种车载双目相机的快速外参标定方法 | |
CN110223233B (zh) | 一种基于图像拼接的无人机航拍建图方法 | |
CN112950719A (zh) | 一种基于无人机主动式光电平台的无源目标快速定位方法 | |
CN109143303A (zh) | 飞行定位方法、装置及固定翼无人机 | |
CN109344970B (zh) | 一种无人机上基于视觉目标动向推理方法 | |
CN113340272B (zh) | 一种基于无人机微群的地面目标实时定位方法 | |
CN114900609A (zh) | 一种无人机的自动化拍摄控制方法和*** | |
CN112649003B (zh) | 一种基于组合导航和图像信息的无人机变高绕圈方法 | |
CN109764864A (zh) | 一种基于颜色识别的室内无人机位姿获取方法及*** | |
US11989910B2 (en) | Moving body and position estimation method | |
US11415990B2 (en) | Optical object tracking on focal plane with dynamic focal length |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |