CN112649003B - 一种基于组合导航和图像信息的无人机变高绕圈方法 - Google Patents

Abstract

本发明属于电力设备巡检技术领域，具体提供了一种基于组合导航和图像信息的无人机变高绕圈方法。垂起无人机以固定翼状态围绕输电塔进行绕圈飞行时，可通过搭载侧向捷联成像设备获取稳定的侧向图像信息来实现对输电塔的变半径和变高度检测。在获取侧向捷联相机获取到输电塔的图像中，可以根据输电塔主体在图像坐标系的像素位置计算出视线高低角λ_v。然后，根据视线高低角计算出需要的高度补偿，对定高高度进行修正，从而保证输电塔主体一直处于侧向画面的中间。此外，也可根据输电塔主体在侧向图像中的视线方位角λ_h对绕圈中心进行微调，从而获得更好的检测效果。

Description

一种基于组合导航和图像信息的无人机变高绕圈方法

技术领域

本发明属于电力设备巡检技术领域，具体提供了一种基于组合导航和图像信息的无人机变高绕圈方法。

背景技术

固定翼无人机绕圈飞行技术一般基于已知的经纬度信息通过提前设置固定的绕圈圆心、半径、速度和高度来实现。无人机在飞向绕圈圆心的过程中，首先通过纵向通道上的控制，达到预设的速度和高度，然后通过横向通道上的控制达到预设的绕圈半径。对于使用给固定翼无人机搭载侧向捷联摄像头进行输电塔巡检来说，使用上述基于惯导和卫星模块的绕圈技术存在一下不足：缺少实时地形高度信息，且卫星模块和气压计测量的高度误差大，预设巡检绕圈高度不一定合适；输电塔不能等效成一个质点，需要考虑其在不同方向上的外形特点来对绕圈的半径和高度进行实时调整才能实现更好的巡检效果，一般的基于组合导航的绕圈方法无法实现这一功能。

发明内容

鉴于上述问题，本发明提供了一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：包括如下步骤，

S1:计算无人机侧向的期望向心加速度；

S2：基于所述的期望向心加速度计算无人机飞行的滚转欧拉角度；基于该欧拉角度采用协调转弯策略实现侧向飞行控制；

S3：基于上述期望滚转姿态，及输电塔预设水平定高执行绕圈飞行指令，进行实时图像信息采集，采用图像跟踪算法对图像中兴趣点进行选择并跟踪；

S4：基于上述采集的图像信息，判定目标圆心及目标高度与图像的位置关系，调整绕圈半径及飞行高度。

进一步的，步骤S1中，设无人机的巡航速度为V，距离常数L，根据无人机转弯能力预设一个绕圈半径R，根据公式(1)和(2)计算出侧向的期望加速度a_{向心加速度}；

L＝2Rsinη (1)

进一步的，S2中所述的滚转欧拉角度通过公式(3)计算得出，

进一步的，在无人机机体侧面固定可见光相机作为巡检图像信息采集设备；该摄像机以角度γ安装在飞行器机身的侧面上，所述的γ为位于无人机的横向平面内的无人机机体坐标系的Y轴和摄像机坐标系的光轴Zc轴两轴之间的角度。

进一步的，S4中调整绕圈半径及飞行高度具体步骤如下，

S401：实时计算无人机与输电塔拟绕圈位置间的垂直方向的体视线角θ_c和水平方向的体视线角ψ_c：

S402：基于拟调整的目标圆心在S3中采集图像的位置，通过控制无人机的姿态消除该体视线方位角，调整绕圈半径；

S403：基于拟调整的目标高度在图像中的位置，通过控制无人机的姿态消除该体视线高低角，计算出补偿高度，对定高高度进行补偿调整飞行高度。

进一步的，设定O是相机的光学中心，光轴与成像面的交点为图像的中心点O₁；X_c轴(摄像机坐标系的X轴)和Y_c轴(摄像机坐标系的Y轴)平行于成像平面O₁xy的x和y轴，Z_c轴是光轴并且垂直于成像平面；由点O，X_c轴、Y_c轴和Z_c轴组成的直角坐标***称为摄像机坐标系；OO₁是相机的焦距；像素坐标系O₀uv中原点O₀位于图像的左上角，u轴平行于x轴，v轴平行于y轴；

基于摄像机坐标系，计算垂直方向的体视线角θ_c和水平方向的体视线角ψ_c，计算公式如下：

θ_c＝-tan^-1(Y_c/Z_c)＝-tan^-1(v/f_y) (4)

ψ_c＝-tan^-1(X_c/Z_c)＝-tan^-1(u/f_y) (5)

其中，[u，v]^T是图像中目标的位置，u和v的单位是像素；u和v精确的值通过畸变校正来得到，f_x和f_y是以像素为单位的焦距，通过摄像机标定得出。

进一步的，根据公式(6)，令水平方向的体视线角ψ_c为λ_h，输电塔主体在侧向图像中的体视线方位角λ_h不为0，令：

λ_h＝ψ_c (6)

根据体视线方位角λ_h计算出η：

η＝η₀+λ_h (7)

根据η计算出新的

进一步的，S402中，根据拟调整的目标高度在图像中的位置计算出该点与无人机之间的体视线高低角，实现绕圈圆心调整，令垂直方向的体视线角θ_c为λ_v：

λ_v＝θ_c (9)

通过测量的实现高低角λ_v计算出补偿高度，对定高高度进行补偿：

Δh＝R·tan^-1λ_v (10)。

所述的兴趣点包括输电塔故障点或者输电塔上任一点位置。

垂起无人机以固定翼状态围绕输电塔进行绕圈飞行时，可通过搭载侧向捷联成像设备获取稳定的侧向图像信息来实现对输电塔的变半径和变高度检测。在获取侧向捷联相机获取到输电塔的图像中，可以根据输电塔主体在图像坐标系的像素位置计算出视线高低角λ_v。然后，根据视线高低角计算出需要的高度补偿，对定高高度进行修正，从而保证输电塔主体一直处于侧向画面的中间。此外，也可根据输电塔主体在侧向图像中的视线方位角λ_h对绕圈中心进行微调，从而获得更好的检测效果。

附图说明

图1为本发明的绕圈方法流程示意图；

图2为步骤S4的一种实施例流程示意图；

图3为固定式成像模块机体坐标系与摄像机坐标系的关系；

图4相机坐标系与像素坐标系位置关系示意图；

图5目标跟踪算法流程图；

图6垂起无人机绕点定高绕圈点示意图；

图7垂起无人机绕点定高盘旋二维示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图6所示，图中标记出了输电塔的三个外形边界点。O₀的经纬度及离地高度通常为已知，可以通过已知的输电塔物理尺寸计算出O₁和O₂的经纬度及离地高度。本方案希望通过绕圈半径调整(也可称为绕圈圆心调整)和绕圈飞行高度调整，来实现水平方向上从O₁到O₂的绕圈圆心调整，以及垂直方向上飞行高度的调整。

参考图1-7，本发明具体提供了一种基于组合导航和图像信息的无人机变高绕圈方法，包括如下步骤1：根据图7中左侧示意图可知，假设无人机的一般巡航速度为V，指定一个距离常数L(一般为4V-5V)，并根据无人机转弯能力指定一个绕圈半径R，可根据公式(1)和(2)计算出一个侧向的期望加速度a_{向心加速度}；

L＝2R sinη (1)

步骤2：计算出a_{向心加速度}后可以根据公式(3)计算出期望的滚转欧拉角

使用协调转弯策略对无人机进行侧向控制，在此不做赘述；

步骤3：根据步骤2计算的期望滚转姿态，无人机绕输电塔进行预设的水平定高绕圈，此时可实现侧向相机对输电塔的监测，同时可以开始启动图像跟踪程序，对画面中感兴趣的点，进行选择并跟踪，图像跟踪流程如图5所示：

步骤4：在步骤3的基础上，根据公式(4)和(5)计算无人机与输电塔拟绕圈位置间的垂直方向的体视线角θ_c(高低角)和水平方向的体视线角ψ_c(方位角)：

捷联固定在无人机机体侧面可见光相机作为巡检图像信息采集设备。该摄像头以一定的角度γ安装在飞行器机身的侧面上。机体坐标系的Y轴和摄像机坐标系的光轴(Z_c轴)位于飞机的横向平面内，如图3所示。两轴之间的角度是γ，即摄像机的垂直安装角度是γ。其中O是相机的光学中心(投影中心)，X_c轴和Y_c轴平行于成像平面O₁xy的x和y轴，Z_c轴是光轴并且垂直于成像平面。光轴与成像面的交点为图像的中心点O₁。由点O，X_c轴、Y_c轴和Z_c轴组成的直角坐标***称为摄像机坐标系。OO₁是相机的焦距。像素坐标系O₀uv如图4所示：原点O₀位于图像的左上角，u轴平行于x轴，v轴平行于y轴。

基于摄像机坐标系，可直接计算垂直方向的体视线角θ_c(高低角)和水平方向的体视线角ψ_c(方位角)。计算公式如下：

θ_c＝-tan^-1(Y_c/Z_c)＝-tan^-1(v/f_y) (4)

ψ_c＝-tan^-1(X_c/Z_c)＝-tan^-1(u/f_y) (5)

其中，[u，v]^T是图像中目标的位置，u和v的单位是像素。u和v更精确的值可以通过畸变校正来得到。f_x和f_y是以像素为单位的焦距，可以通过摄像机标定得出。鉴于镜头标定和失真校正的算法业已成熟，在本方案中不做详细的介绍。像素坐标系和成像平面之间，相差了一个缩放和一个原点的平移。假设像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍(α和β的单位是像素每米)。同时，原点以像素为单位平移了[c_x，c_y]^T。f_x，f_y，c_x和c_y均可以从相机的内参数矩阵(Camera Intrinsics)K中获得。一般认为，摄像机固有参数在出厂后是固定的，在使用过程中不会改变，这些参数可从镜头厂家获取也可自行标定得到。

步骤5：绕圈半径调整的依据是拟调整的目标圆心在图像中的位置，可根据拟调整的目标圆心在图像中的位置计算出该点与无人机之间的体视线方位角，通过控制无人机的姿态消除该体视线方位角，便可以实现绕圈圆心调整。作用是更换同一水平上的绕圈圆心，使得巡检范围扩大。

根据公式(6)，令水平方向的体视线角ψ_c(方位角)为λ_h

图7中右侧示意图是无人机绕圈定高中心存在误差的情况，即输电塔主体在侧向图像中的体视线方位角λ_h不为0。可令：

λ_h＝ψ_c (6)

步骤6：根据体视线方位角λ_h计算出η：

η＝η₀+λ_h (7)

步骤7：根据η计算出新的

因为定高中心是实测的输电塔中心的经纬度，误差很小，所以不建议长时间使用视线方位角对其进行修正。

步骤8：飞行高度调整的依据是拟调整的目标高度在图像中的位置，可根据拟调整的目标高度在图像中的位置计算出该点与无人机之间的体视线高低角，通过控制无人机的姿态消除该体视线高低角，便可以实现绕圈圆心调整。作用是修正当前飞行高度或者调整至其他目标飞行高度，使得巡检范围扩大。令垂直方向的体视线角θ_c(高低角)为λ_v：

λ_v＝θ_c (9)

步骤9：可通过测量的实现高低角λ_v计算出补偿高度，对定高高度进行补偿：

Δh＝R·tan^-1λ_v (10)

本方案只计算期望的控制量，不涉及无人机内环控制。

步骤10：监测完毕后，可对体视线高低角和方位角进行清零，退出基于图像的绕圈模式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：包括如下步骤，

S1:计算无人机侧向的期望向心加速度；

S2：基于所述的期望向心加速度计算无人机飞行的滚转欧拉角度；基于该欧拉角度采用协调转弯策略实现侧向飞行控制；

S3：基于上述滚转欧拉角度，及输电塔预设水平定高执行绕圈飞行指令，进行实时图像信息采集，采用图像跟踪算法对图像中兴趣点进行选择并跟踪；

S4：基于上述采集的图像信息，判定目标圆心及目标高度与图像的位置关系，调整绕圈半径及飞行高度；

S4中调整绕圈半径及飞行高度具体步骤如下，

S401：实时计算无人机与输电塔拟绕圈位置间的垂直方向的体视线角θ_c和水平方向的体视线角ψ_c：

S402：基于拟调整的目标圆心在S3中采集图像的位置，通过控制无人机的姿态消除水平方向的体视线角，调整绕圈半径；

S403：基于拟调整的目标高度在图像中的位置，通过控制无人机的姿态消除垂直方向的体视线角，计算出补偿高度，对定高高度进行补偿调整飞行高度；

设定O是相机的光学中心，光轴与成像面的交点为图像的中心点O₁；X_c轴、Y_c轴平行于成像平面O₁xy的x和y轴，Z_c轴是光轴并且垂直于成像平面；由点O，X_c轴、Y_c轴和Z_c轴组成的直角坐标***称为摄像机坐标系；OO₁是相机的焦距；像素坐标系O₀uv中原点O₀位于图像的左上角，u轴平行于x轴，v轴平行于y轴；

基于摄像机坐标系，计算垂直方向的体视线角θ_c和水平方向的体视线角ψ_c，计算公式如下：

其中，[u，v]^T是图像中目标的位置，u和v的单位是像素；u和v精确的值通过畸变校正来得到，f_x和f_y是以像素为单位的焦距，通过摄像机标定得出。

2.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：步骤S1中，设无人机的巡航速度为V，距离常数为L，根据无人机转弯能力预设一个绕圈半径R，根据公式(1)和(2)计算出侧向的期望加速度a_{向心加速度}；

L＝2R sinη (1)

3.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：S2中所述的滚转欧拉角度通过公式(3)计算得出，

4.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：在无人机机体侧面固定可见光相机作为巡检图像信息采集设备。

5.如权利要求4所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：可见光相机以角度γ安装在飞行器机身的侧面上，所述的γ为位于无人机的横向平面内的机体坐标系的Y轴和摄像机坐标系的光轴Zc轴两轴之间的角度。

6.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：根据公式(6)，令水平方向的体视线角ψ_c为λ_h，输电塔主体在侧向图像中的体视线方位角λ_h不为0，令：

λ_h＝ψ_c (6)

根据体视线方位角λ_h计算出η：

η＝η₀+λ_h (7)

根据η计算出新的

7.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：S402中，根据拟调整的目标高度在图像中的位置计算出该点与无人机之间的体视线高低角，实现绕圈圆心调整，令垂直方向的体视线角θ_c为λ_v：

λ_v＝θ_c (9)

通过测量的视线高低角λ_v计算出补偿高度，对定高高度进行补偿：

Δh＝R·tan^-1λ_v (10)。

8.如权利要求1所述的一种基于组合导航和图像信息的无人机变高绕圈方法，其特征在于：所述的兴趣点包括输电塔故障点或者输电塔上任一点位置。