CN109765930A - 一种无人机视觉导航*** - Google Patents

Abstract

本发明公开了无人机视觉导航***，包括信号采集***和航线规划***，其中航线规划***包括区域分割单元、关键点提取单元、局部路径规划单元、全局路径规划单元、航线规划单元和目标识别单元；区域分割单元用于将输入图像分割成多个子区域；关键点提取单元用于计算每个子区域中的关键点；局部路径规划单元用于计算出在每个子区域内的局部数据采集路径；全局路径规划单元用于根计算出在所有子区域内的全局数据采集路径；所述航线规划单元用于根据全局数据采集路径规划无人机巡检的飞行航线和起止点；所述目标识别单元用于根据对摄像机/相机输入的图像的识别结果对无人机巡检的飞行路线进行精细航线控制。通过本发明的无人机视觉导航***能够实现对无人机航线的粗航线和精细航线的自动规划，对目标的图像采集精度高，采集效果良好。

Description

一种无人机视觉导航***

技术领域

本发明涉及导航***，尤其是涉及一种无人机视觉导航***。

背景技术

随着无人机技术的发展，利用无人机对进行巡检已较为常见，可以对光伏电站的太阳能铁路、石油管道、屋顶等进行巡检，这些巡检任务的共同特点是远程、目标物分布区域广，而由于无人机的续航里程有限，无人机的巡检工作因此必须预先为无人机巡检进行航线规划，以提高巡检效果。目前的航线规划多由人工完成，需要消耗大量的人力，且规划精度不高，为了解决上述问题，本发明提出了一种可用于一种无人机视觉导航方法和***，通过本发明，能够实现导航路线自动规划，提高了巡检效率，实现了导航、巡检自动化。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种无人机视觉导航***，包括信号采集***和航线规划***，所述信号采集***包括摄像机/相机，所述航线规划***用于规划无人机巡检的飞行航线；其中：航线规划***包括区域分割单元、关键点提取单元、局部路径规划单元、全局路径规划单元、航线规划单元和目标识别单元；其中，区域分割单元用于将摄像机/相机的输入图像分割成多个子区域，计算每个子区域属性；关键点提取单元用于根据每个子区域的属性，计算每个子区域中的关键点；局部路径规划单元用于根据每个子区域的属性及其关键点，计算出在每个子区域内的局部数据采集路径；全局路径规划单元用于根据每个子区域的属性及其关键点以及局部数据采集路径计算出在所有子区域内的全局数据采集路径；所述航线规划单元用于根据全局数据采集路径规划无人机巡检的飞行航线和起止点；所述目标识别单元用于根据对摄像机/相机输入的图像的识别结果对无人机巡检的飞行路线进行精细航线控制。

所述的视觉导航***，其中：所述区域分割单元将输入图像分割成多个子区域，计算每个子区域属性。

所述的视觉导航***，其中：所述区域分割单元对输入图像实施特征提取操作，生成图像特征；利用图像特征检测出图像中的子区域，并提取子区域在图像中的属性；根据子区域在图像中的属性，计算出子区域在其余传感器中的属性。

所述的视觉导航***，其中：关键点提取单元根据每个子区域的属性计算每个子区域中的关键点，包括：利用子区域在图像中的属性，计算出图像关键点；利用子区域在其余传感器中的属性，计算出其余传感器关键点；利用图像关键点与其余传感器关键点，优化图像关键点的位置。

所述的视觉导航***，其中：所述局部路径规划单元根据每个子区域的属性及其关键点计算出在每个子区域内的局部数据采集路径，包括：对每个子区域，初始化遍历该区域内关键点的路径；利用每个子区域的属性，优化遍历该区域内关键点的路径，输出在每个子区域内的局部数据采集路径。

所述的视觉导航***，其中：所述局部路径规划单元对每个子区域计算关键点之间的可达性，初始化遍历该区域内关键点的路径，利用每个子区域的属性，计算可达的关键点路径的置信度，并根据置信度调整关键点的位置、方向或者删除关键点，从而优化遍历该区域内关键点的路径，然后输出在每个子区域内的局部数据采集路径。

所述的视觉导航***，其中：所述全局路径规划单元根据每个子区域的属性及其关键点以及局部路径，计算出在所有子区域内的全局数据采集路径，包括：利用每个子区域的属性及其关键点，初始化遍历所有子区域的路径；利用在每个子区域内的局部数据采集路径，优化遍历所有子区域的路径，输出在所有子区域内的全局数据采集路径。

所述的视觉导航***，其中：航线规划单元根据巡检要求结合全局数据采集路径规划无人机巡检的飞行航线和起止点。

所述的视觉导航***，其中：目标识别单元检测目标位置，尺寸和朝向角，并根据目标朝向角，调整云台相机倾角，根据目标位置调整当前飞行航线上侧向偏移量，根据目标尺寸调整当前飞行航向高度，控制无人机从航线起点飞行至航线终点，从而实现精细航线控制。

所述的视觉导航***，其中所述精细航线控制包括：1)无人机飞至子区域航线起始点，目标识别单元接收摄像机/相机拍摄的图像和GPS传感器的地理位置信息，根据地理位置信息判断是否到达子区域；2)当到达子区域时，目标识别单元判断图像画面中巡检目标是否在摄像机/相机拍摄视野之内：a)如果不在视野之内，上升无人机的飞行高度，直至巡检目标位于摄像机/相机拍摄视野之内为止。

所述的视觉导航***，其中：b)当巡检目标在摄像机/相机拍摄视野之内，则检测图像中的巡检目标的位置、大小、倾角信息，根据巡检目标的上述信息调整无人机位置：选取合适飞机高度，以及前后左右调整移动飞机至合适的拍摄位置，保证目标进入画面中心，再根据目标大小调整合适的拍摄高度。

所述的视觉导航***，其中：步骤2)之后还包括：3)目标识别单元计算当前目标分布方向；4)控制无人机，调整飞行方向至沿着当前目标分布方向飞行同时监测目标位置，大小以及方向，实时调整无人机动作，确保目标保持在画面中间且目标大小符合预定标准；根据目标倾角实时控制摄像机/相机云台角度。

所述的视觉导航***，其中：调整无人机动作包括高度控制：方法一、根据目标识别单元识别出的目标大小调整高度：目标过小则降低飞行高度，目标过大则升高飞行高度；方法二、根据测高设备例如测高雷达，测出对地、对目标高度，然后调整飞行高度。

所述的视觉导航***，其中：云台角度控制包括：根据图像中识别出的目标估计目标朝向角度，然后据此调节云台角度。

所述的视觉导航***，其中：根据目标物的四边形仿射变换尺寸估算目标倾角，然后将云台调整至预定的拍摄角度。

所述的视觉导航***，其中步骤4)之后还包括：5)判断是否飞行到当前目标拐点处，或者子区域终点，如果飞行到拐点或终点，依据粗航线方向，上升飞机，寻找下目标或一子区域以及方向，继续飞行，并保持步骤1)-4)的视觉检测目标与精细控制动作。

一种无人机，其特征在于包括如上之一所述的无人机视觉导航***。

附图说明

图1是本发明典型应用场景示意图；

图2是本发明导航***示意图；

图3是本发明区域分割单元的流程图；

图4是本发明关键点单元的流程图；

图5是本发明局部路径规划单元的流程图；

图6是本发明全局路径规划单元的流程图；

图7是子区域检测结果示意图；

图8是关键点提取结果示意图；

图9是飞行航线(粗航线)示意图；

图10是目标分布方向提取结果示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述。

图1本发明典型应用场景示意图，在场景中，无人机对光伏电站进行巡检，当然该场景亦可容易地扩展到屋顶检测、输油管道检测，铁路检测，塔线输电检测巡检等工作场合。

无人机中设置有无人机视觉导航***，如图2所示，所述视觉导航***包括：信号采集***，航线规划***。所述信号采集***包括摄像机/相机(图像传感器)，其他多种传感器(例如红外传感器、GPS传感器、测高雷达等)；其中摄像机/相机和其他多种传感器用于捕获视线范围内的光伏电站图像及传感器数据；所述航线规划***用于根据光伏电站图像及传感器数据进行无人机巡检的路径规划。

本发明的航线规划***包括区域分割单元、关键点提取单元、局部路径规划单元、全局路径规划单元、航线规划单元、目标识别单元。所述航线规划***按如下步骤完成航线规划：1.地图识别：输入全景地图/卫星地图，利用视觉识别分析目标物(如光伏板)目标区域和分布；2.航线分割与设定：得到识别结果后，根据拍摄要求(视野，速度，云台倾角等)确定飞行航线，并设置航线起止点(粗航线)；3.图像识别与精细航线控制：选择无人机航线起止点，按照视觉分析预设航线自动飞行，同时实时识别目标物(如光伏板)的目标位置和朝向，根据预设拍摄要求，调整云台拍摄倾角，调整飞机飞行航线以及飞行高度，实时调整精细飞行航线和云台控制(细航线)。

1.地图识别：

将由摄像机/相机拍摄到的待巡检区域的全景地图和由多种其他传感器捕获到的数据输入到航线规划***；

如图3所示，区域分割单元，将输入图像(例如摄像机/相机拍摄到的当前光伏电站图像)分割成多个子区域，计算每个子区域属性。区域分割单元首先利用现有传统图像处理方法或深度学习方法，对输入图像实施特征提取操作，生成图像特征(例如颜色特征、纹理特征、形状特征和空间关系等图像特征)。然后，将图像特征送入到区域分割单元内置的检测器、分类器或者神经网络中，检测出图像中的子区域(例如光伏电站的某一光伏板集合)，检测结果如图8所示。进一步，本单元提取子区域在图像中的属性，如位置、面积、主方向等。最后，本单元根据子区域在图像中的属性，计算出子区域在其余传感器中的属性，如红外传感器中的热度、GPS传感器中的物理位置等。

根据图4所示，关键点提取单元，根据每个子区域的属性，计算每个子区域中的关键点(例如光伏板上的拐角点，显著边缘的点、异常颜色等特征强烈的点)。关键点提取单元首先利用现有传统图像处理方法或深度学习方法，根据子区域在图像中的属性，计算出图像关键点。并利用子区域在其余传感器中的属性，计算出其他传感器关键点，如红外传感器中的热度关键点(例如红外图谱中的异常点)、GPS传感器中的物理位置(例如图像关键点的物理位置)等的关键点，如图9所示。最后，本单元利用图像关键点与其余传感器关键点，提取出对应的特征，并根据该特征优化图像关键点的位置。

2.航线分割与设定：

根据图5所示，局部路径规划单元，根据每个子区域的属性及其图像关键点，计算出在每个子区域内的局部数据采集路径。首先，本单元对每个子区域，计算关键点之间的可达性，初始化遍历该区域内关键点的路径。然后，局部路径规划单元利用每个子区域的属性，计算可达的关键点路径的置信度，并根据置信度调整关键点的位置、方向或者删除关键点，进而达到优化遍历该区域内关键点的路径。最后，本单元输出在每个子区域内的局部数据采集路径。

根据图6所示，全局路径规划单元，根据每个子区域的属性及其图像关键点，以及局部数据采集路径，计算出在所有子区域内的全局数据采集路径。首先，全局路径规划单元利用每个子区域的属性及其关键点，计算子区域之间的可达性，初始化遍历所有子区域的路径。然后，利用在每个子区域内的局部数据采集路径，如相邻子区域的关键点的位置、方向关系，优化遍历所有子区域的路径，使得全局路径上的子区域的局部路径起始点与前一子区域的局部路径终止点相互衔接。最后，全局路径规划单元形成在所有子区域内的全局数据采集路径并输出给航线规划单元。航线规划单元根据拍摄要求(例如拍摄高度，视野范围，云台倾角等)，结合全局数据采集路径规划无人机的飞行航线(粗航线)和起止点，如图9所示。

3.图像识别与精细航线控制：

(A)航线规划单元输入飞行航线(粗航线)和起止点给无人机，无人机飞至区域航线起始点，准备执行区域内自动飞行；

(B)启动目标识别单元，目标识别单元检测目标位置，尺寸和朝向角，并根据目标朝向角，调整云台相机倾角，根据目标位置调整当前飞行航线上侧向偏移量，根据目标尺寸调整当前飞行航向高度，保持目标满足拍摄要求，控制无人机从航线起点飞行至航线终点，从而实现精细航线控制。

步骤(B)包括：

1)无人机飞至子区域航线起始点，启动目标识别单元开始工作，目标识别单元接收摄像机/相机拍摄的图像和GPS传感器的地理位置信息，根据地理位置信息判断是否到达子区域；

2)当到达子区域时，目标识别单元判断图像画面中，巡检目标是否在摄像机/相机拍摄视野之内：

a)如果不在视野之内，上升无人机的飞行高度，直至巡检目标位于摄像机/相机拍摄视野之内为止；

b)当巡检目标在摄像机/相机拍摄视野之内，则检测图像中的巡检目标(例如太阳能板)的位置、大小、倾角等信息，根据巡检目标的上述信息调整无人机位置：选取合适飞机高度，以及前后左右调整移动飞机至最佳拍摄位置，保证目标进入画面中心，再根据目标大小调整合适拍摄高度；

3)目标识别单元计算当前目标分布方向(例如长序列目标的纵深方向)：目标方向检测方法，一般采用图像前背景分割和轮廓提取以及线检测方法，如图10所示；

4)控制无人机，调整飞行方向至沿着当前目标分布方向飞行，并保持飞行，同时监测目标位置，大小以及方向，实时调整飞机动作(精细控制动作包含上升，下降，航线左右调整)，确保目标保持在画面中间且目标大小符合预定标准；根据目标倾角实时控制摄像机/相机云台角度；

具体的，关于无人机高度控制方法如下：方法一、根据目标识别单元识别出的目标大小调整高度：目标过小则降低飞行高度，目标过大则升高飞行高度；方法二、根据测高设备例如测高雷达，测出对地、对目标高度，然后调整飞行高度；

具体的，关于云台控制，根据识别目标朝向(例如识别光伏板)，来估计目标朝向角度，然后据此调节云台角度。可采用的方法例如可根据目标物的四边形仿射变换尺寸估算目标倾角，然后将云台调整至预定的拍摄角度(例如可调节云台角度至将摄像机/相机镜头轴线与目标物垂直)，以获得最优拍摄角度和画面。由于云台倾角的调整会涉及目标相对尺寸，相对位置，和相对高度/距离的变化，因此，为了取得更好效果，逻辑上可以优先调整；具体顺序可以是，先自动调整云台倾角，再自动调整航线偏移量以及航线高度；

5)判断是否飞行到当前目标拐点处，或者子区域终点

如果飞行到拐点或终点，依据粗航线方向，上升飞机，寻找下一目标或子区域以及方向，继续飞行，并保持步骤1)-4)的视觉检测目标与精细控制等动作。

图10中识别出的目标分布为单排，实际中，亦可识别出多排目标物，关于多排目标的航线控制，即同时拍摄多排目标的情况，类似的，采用如上所述方式识别多排位置以及朝向，然后精细控制云台倾角，航线水平偏移，和航线高度。

通过本发明的无人机视觉导航***能够实现对无人机航线的粗航线和精细航线的自动规划，在巡检过程中能够自动的调节无人机位置、高度、云台等，对目标的图像采集精度高，采集效果良好。

Claims (10)

1.一种无人机视觉导航***，包括信号采集***和航线规划***，所述信号采集***包括摄像机/相机，所述航线规划***用于规划无人机巡检的飞行航线；其特征在于：航线规划***包括区域分割单元、关键点提取单元、局部路径规划单元、全局路径规划单元、航线规划单元和目标识别单元；其中，区域分割单元用于将摄像机/相机的输入图像分割成多个子区域，计算每个子区域属性；关键点提取单元用于根据每个子区域的属性，计算每个子区域中的关键点；局部路径规划单元用于根据每个子区域的属性及其关键点，计算出在每个子区域内的局部数据采集路径；全局路径规划单元用于根据每个子区域的属性及其关键点以及局部数据采集路径计算出在所有子区域内的全局数据采集路径；所述航线规划单元用于根据全局数据采集路径规划无人机巡检的飞行航线和起止点；所述目标识别单元用于根据对摄像机/相机输入的图像的识别结果对无人机巡检的飞行路线进行精细航线控制。

2.根据权利要求1所述的视觉导航***，其特征在于：所述区域分割单元将输入图像分割成多个子区域，计算每个子区域属性。

3.根据权利要求1所述的视觉导航***，其特征在于：所述区域分割单元对输入图像实施特征提取操作，生成图像特征；利用图像特征检测出图像中的子区域，并提取子区域在图像中的属性；根据子区域在图像中的属性，计算出子区域在其余传感器中的属性。

4.根据权利要求1所述的视觉导航***，其特征在于：关键点提取单元根据每个子区域的属性计算每个子区域中的关键点，包括：利用子区域在图像中的属性，计算出图像关键点；利用子区域在其余传感器中的属性，计算出其余传感器关键点；利用图像关键点与其余传感器关键点，优化图像关键点的位置。

5.根据权利要求1所述的视觉导航***，其特征在于：所述局部路径规划单元根据每个子区域的属性及其关键点计算出在每个子区域内的局部数据采集路径，包括：对每个子区域，初始化遍历该区域内关键点的路径；利用每个子区域的属性，优化遍历该区域内关键点的路径，输出在每个子区域内的局部数据采集路径。

6.根据权利要求1所述的视觉导航***，其特征在于：所述全局路径规划单元根据每个子区域的属性及其关键点以及局部路径，计算出在所有子区域内的全局数据采集路径，包括：利用每个子区域的属性及其关键点，初始化遍历所有子区域的路径；利用在每个子区域内的局部数据采集路径，优化遍历所有子区域的路径，输出在所有子区域内的全局数据采集路径。

7.根据权利要求1所述的视觉导航***，其特征在于：航线规划单元根据巡检要求结合全局数据采集路径规划无人机巡检的飞行航线和起止点。

8.根据权利要求1所述的视觉导航***，其特征在于：目标识别单元检测目标位置，尺寸和朝向角，并根据目标朝向角，调整云台相机倾角，根据目标位置调整当前飞行航线上侧向偏移量，根据目标尺寸调整当前飞行航向高度，控制无人机从航线起点飞行至航线终点，从而实现精细航线控制。

9.根据权利要求8所述的视觉导航***，其特征在于所述精细航线控制包括：1)无人机飞至子区域航线起始点，目标识别单元接收摄像机/相机拍摄的图像和GPS传感器的地理位置信息，根据地理位置信息判断是否到达子区域；2)当到达子区域时，目标识别单元判断图像画面中巡检目标是否在摄像机/相机拍摄视野之内：a)如果不在视野之内，上升无人机的飞行高度，直至巡检目标位于摄像机/相机拍摄视野之内为止；b)当巡检目标在摄像机/相机拍摄视野之内，则检测图像中的巡检目标的位置、大小、倾角信息，根据巡检目标的上述信息调整无人机位置：选取合适飞机高度，以及前后左右调整移动飞机至合适的拍摄位置，保证目标进入画面中心，再根据目标大小调整合适的拍摄高度。

10.一种无人机，其特征在于包括如权利要求1-9之一所述的无人机视觉导航***。