CN112363526B - 一种无人机巡检精细航线自动规划***和方法 - Google Patents

Abstract

本发明涉及一种无人机巡检精细航线自动规划***和方法，该***包括无人机、设于无人机上的边缘计算设备以及控制器，该***最终得到能够在相同环境下精准拍摄目标检测物体的精准航线。本发明能够在复杂环境下实现自动化的精细作业，有利于解放生产力，提升巡检效率。

Description

一种无人机巡检精细航线自动规划***和方法

技术领域

本发明涉及一种自动规划方法，尤其是一种无人机巡检精细航线自动规划***，还涉及精细航线自动规划方法。

背景技术

现有的无人机巡检方式采用在地面通过航线规划软件预先规划航线对巡检线路进行巡检作业。此工作方式在面对山地、丘陵地区巡检运维工作存在实际信号遮挡导致有效作业距离小。现有的无人机巡检方式还包括采用人工操作无人机进行巡检。由于人为因素导致巡检照片数据标准不统一、数据质量参差不齐，巡检效率低下等问题。

发明内容

为了解决上述问题，本发明提供一种无人机巡检精细航线自动规划***和方法，采用无人机自动化精细巡检方案，能够在复杂环境下实现自动化的精细作业，有利于解放生产力，提升巡检效率。

本发明的技术方案具体如下：

一种无人机巡检精细航线自动规划***，包括无人机、设于无人机上的边缘计算设备以及控制器；

无人机包括视频采集单元，根据航线中设定，在不同航点进行对检测物拍照；

边缘计算设备采集不同航点的视频采集单元的信息，对视频流进行简单过滤，然后基于神经网络对每一帧图片进行检测；

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制，拍摄不同航点的检测物，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，最终得到能够在相同环境下精准拍摄目标检测物体的精准航线。

进一步地，无人机起飞后，围绕杆塔范围3-10米距离飞行，利用GPS进行精确定位；悬停时无人机在10-50厘米范围内摇摆。

进一步地，对视频流进行简单过滤具体过程如下：

到达一个航点后，视频采集单元进行大范围扫描，边缘计算设备启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、大小，识别速度为每秒钟10帧；识别完杆塔后，首先把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。

进一步地，基于神经网络对每一帧图片进行检测的具体过程如下：

对图内每一个被检测出来的绝缘子进行放大拍照，边缘计算设备切换神经网络至检测物识别神经网络；该神经网络对剪切出来的杆塔图片进行检测物识别，包括绝缘子、杆塔牌子、杆塔顶角与杆塔底部支撑的类型、朝向、坐标、大小、清晰度；此时，控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。

进一步地，控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制具体如下：

步骤(1)：根据图中的第一个检测物的位置，控制器移动摄像头以至该绝缘子被移动到图像正中心，其中图像识别以每秒10帧的速度对该绝缘子进行跟踪；

步骤(2)：逐步放大对焦，使该检测物在途中的大小越来越大，其中图像识别每秒10帧的速度对该绝缘子进行跟踪并计算出该绝缘子是否已经清晰，并不断控制摄像头倾角使绝缘子一直保持在图像正中心；

步骤(3)：当检测物放大到图片总大小的1/4，即宽度和长度都为图片的一半时，对绝缘子进行拍照；

步骤(4)：使摄像头焦距和倾角还原至第一位姿，并对下一个检测物重复步骤(1)。

进一步地，步骤(1)中，跟踪检测物时，使用线性匹配算法，第一帧检测物和第二帧检测物生成一个损失矩阵，损失矩阵里记录了两帧之间两个检测物的损失值；

如果检测物间匹配的可能性越大，损失值越小；反之如果检测物间匹配的可能性越小，损失值越大；同时生成两个虚假检测物以备所有检测物都无法互相匹配；不同帧的不同检测物之间的损失值，由不同检测物的类型、坐标、长宽比、清晰度、颜色决定，通过不同比重来生成损失值。

进一步地，当扫描完该航点内的所有检测物后，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，无人机将会飞往下一个航点，并在不同的角度对绝缘子再次进行拍照，完成巡检后所记录生产的航线即一条能够在相同环境下精准拍摄目标检测物体的精准航线。

基于上述的***的精细航线自动规划方法，按以下进行：

无人机根据航线中设定，在不同航点进行对检测物拍照；

边缘计算设备采集不同航点的视频采集单元的信息，对视频流进行简单过滤，然后基于神经网络对每一帧图片进行检测；

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制，拍摄不同航点的检测物，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，最终得到能够在相同环境下精准拍摄目标检测物体的精准航线。

与现有技术相比，本发明的有益效果具体如下：

本发明大量节省了事前通过航线编辑软件编辑生产航线的时间以及去除了过程中的人为环节。采用无人机自动化精细巡检方案，能够在复杂环境下实现自动化的精细作业，有利于解放生产力，提升巡检效率。

附图说明

图1为实施例中检测物A、B的位置关系图；

图2为某一时刻两帧检测物的计算流程图。

具体实施方式

下面将结合本申请实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本申请实施例中使用的技术术语或者科学术语应当为所属领域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发生变化。

本实施例的无人机巡检精细航线自动规划***，包括无人机、设于无人机上的边缘计算设备以及控制器；

无人机包括视频采集单元，根据航线中设定，在不同航点进行对检测物拍照。

边缘计算设备采集不同航点的视频采集单元的信息，对视频流进行简单过滤，然后基于神经网络对每一帧图片进行检测。

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制，拍摄不同航点的检测物，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，最终得到能够在相同环境下精准拍摄目标检测物体的精准航线。

无人机起飞后，围绕杆塔范围3-10米距离飞行，利用GPS进行精确定位；悬停时无人机在10-50厘米范围内摇摆。

对视频流进行简单过滤具体过程如下：

到达一个航点后，视频采集单元进行大范围扫描，边缘计算设备启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、大小，识别速度为每秒钟10帧；识别完杆塔后，首先把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。

基于神经网络对每一帧图片进行检测的具体过程如下：

对图内每一个被检测出来的绝缘子进行放大拍照，边缘计算设备切换神经网络至检测物识别神经网络，本实施例的边缘计算设备为妙算2。

该神经网络对剪切出来的杆塔图片进行检测物识别，包括绝缘子、杆塔牌子、杆塔顶角与杆塔底部支撑的类型、朝向、坐标、大小、清晰度；此时，控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制具体如下：

步骤(1)：根据图中的第一个绝缘子的位置，控制器移动摄像头以至该绝缘子被移动到图像正中心，其中图像识别以每秒10帧的速度对该绝缘子进行跟踪；

步骤(2)：逐步放大对焦，使该绝缘子在途中的大小越来越大，其中图像识别每秒10帧的速度对该绝缘子进行跟踪并计算出该绝缘子是否已经清晰，并不断控制摄像头倾角使绝缘子一直保持在图像正中心；

步骤(3)：当绝缘子放大到图片总大小的1/4，即宽度和长度都为图片的一半时，对绝缘子进行拍照；

步骤(4)：使摄像头焦距和倾角还原至第一位姿，并对下一个绝缘子重复步骤(1)。

步骤(1)中，跟踪检测物时，使用线性匹配算法，第一帧检测物和第二帧检测物生成一个损失矩阵，损失矩阵里记录了两帧之间两个检测物的损失值；

如果检测物间匹配的可能性越大，损失值越小；反之如果检测物间匹配的可能性越小，损失值越大；同时生成两个虚假检测物以备所有检测物都无法互相匹配；不同帧的不同检测物之间的损失值，由不同检测物的类型、坐标、长宽比、清晰度、颜色决定，通过不同比重来生成损失值。

假设两帧之间，第一帧有M个检测框，第二帧有N个检测框，两帧各自增加虚拟检测框至M+N，那么第一帧检测框数量就变成了M+N，其中M个是真检测框，N个是虚拟检测框。第二帧检测框数量也变成了M+N，其中N个是真检测框，M个是虚拟检测框。

最好的匹配情况是：M＝N，第一帧的每一个检测框各自找到第二帧的每一个检测框匹配。

最坏的情况：第一帧的真检测框匹配的全是第二帧的虚拟检测框，第二帧的真检测框匹配的全是第一帧的虚拟检测框，等同于全部不匹配。

损失矩阵为：C^TX；约束条件为：AX＞b，X＞0；

假设T＝M+N，在以上公式中，C是1x T2大小的损失矩阵。它是由一个T x T的损失矩阵向量化而成。代表着两帧间T个检测框之间的损失。损失根据两个检测框的属性，如类型、坐标、长宽比、清晰度、颜色决定。匹配中两帧之间的检测框更期待尽可能匹配到对方的真检测框，实在不满足条件才匹配虚拟检测框。

约束条件中，中X是T2 x 1大小的匹配矩阵，矩阵内元素只能为0或1，代表两帧间T个检测框是否匹配。0代表无匹配，1代表有匹配。

A是TxT2大小的单位矩阵。当j是i的整倍数时A_[i][j]＝1。b是Nx1大小的单位矩阵，所有项全为1。

Ax>b和x>0两个约束条件使X的值里，每T个值的总和为1，X是T2 x 1 大小的匹配矩阵则X只有T个值为1。该条件等同于约束了匹配条件为1对1 匹配。两帧间的每一个检测物都必须1对1匹配。再在满足以上条件的情况下，最小化损失函数CX则可以使用线性规划求出全局最佳匹配矩阵X。

例如：其中某一时刻两帧检测物的计算过程如图2所示。

当扫描完该航点内的所有绝缘子后，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，无人机将会飞往下一个航点，并在不同的角度对绝缘子再次进行拍照，完成巡检后所记录生产的航线即一条能够在相同环境下精准拍摄目标检测物体的精准航线。

本实施例的***的精细航线自动规划方法，按以下进行：

无人机根据航线中设定，在不同航点进行对检测物拍照；

边缘计算设备采集不同航点的视频采集单元的信息，对视频流进行简单过滤，然后基于神经网络对每一帧图片进行检测；

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制，拍摄不同航点的检测物，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，最终得到能够在相同环境下精准拍摄目标检测物体的精准航线。

作为优选，在检测物跟踪算法中，理论上检测物应该在每一帧图片都会被检测出来。然而，因为绝缘子识别难度较高，图像识别算法的识别率并不完美，途中有可能会导致有一两帧检测不出识别物，此时检测物的跟踪就会出现跟丢的额情况。在这种情况下，一般通用算法都会使用不同帧中的检测物位置，然后找出两帧之间位置相近的检测物进行匹配，从而达到跟踪检测物的功能。然而，在杆塔这种拥有较多检测物的图片中，仅仅使用同一检测物在不同帧中的位置来进行跟踪容易混淆。比如检测物AB在下图中从第一帧出现的位置如图1 (叉点)，而在第二帧中检测物AB的位置如图1(圆圈点)。如果根据最近距离原则，则会把第一帧中的检测物B匹配到第二帧中的检测物A，而第一帧中的检测物A和第二帧中的检测物B都会出现跟丢的情况。

为了解决这个问题，算法中使用了线性匹配算法。在以上例子中，第一帧检测物AB和第二帧检测物AB生成一个损失矩阵。损失矩阵里记录了两帧之间两个检测物的损失值。如果检测物间匹配的可能性越大，损失越小。反之如果检测物间匹配的可能性越小，损失越大。同时生成两个虚假检测物以备所有检测物都无法互相匹配。不同帧的不同检测物之间的损失值，由不同检测物的类型，坐标，长宽比，清晰度，颜色等元素决定，通过不同比重来生成损失值。而线性匹配算法可以根据用递归算法，快速计算出在一对一匹配下，全局最小的损失值综合，达到全局最佳匹配。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种无人机巡检精细航线自动规划***，其特征在于：包括无人机、设于无人机上的边缘计算设备以及控制器；

无人机包括视频采集单元，根据航线中设定，在不同航点进行对检测物拍照；

边缘计算设备采集不同航点的视频采集单元的信息，对视频流进行简单过滤，然后基于神经网络对每一帧图片进行检测；

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制，拍摄不同航点的检测物，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，最终得到能够在相同环境下精准拍摄目标检测物体的精准航线；

其中，对视频流进行简单过滤具体过程如下：

到达一个航点后，视频采集单元进行大范围扫描，边缘计算设备启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、大小，识别速度为每秒钟10帧；识别完杆塔后，首先把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净；

基于神经网络对每一帧图片进行检测的具体过程如下：

对图内每一个被检测出来的绝缘子进行放大拍照，边缘计算设备切换神经网络至检测物识别神经网络；该神经网络对剪切出来的杆塔图片进行检测物识别，包括绝缘子、杆塔牌子、杆塔顶角与杆塔底部支撑的类型、朝向、坐标、大小、清晰度；此时，控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿；

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制具体如下：

步骤（1）：根据图中的第一个检测物的位置，控制器移动摄像头以至该绝缘子被移动到图像正中心，其中图像识别以每秒10帧的速度对该绝缘子进行跟踪；

步骤（2）：逐步放大对焦，使该检测物在途中的大小越来越大，其中图像识别每秒10帧的速度对该绝缘子进行跟踪并计算出该绝缘子是否已经清晰，并不断控制摄像头倾角使绝缘子一直保持在图像正中心；

步骤（3）：当检测物放大到图片总大小的1/4，即宽度和长度都为图片的一半时，对绝缘子进行拍照；

步骤（4）： 使摄像头焦距和倾角还原至第一位姿，并对下一个检测物重复步骤（1）。

2.根据权利要求1所述的无人机巡检精细航线自动规划***，其特征在于：无人机起飞后，围绕杆塔范围3-10米距离飞行，利用GPS进行精确定位；悬停时无人机在10-50厘米范围内摇摆。

3.根据权利要求1所述的无人机巡检精细航线自动规划***，其特征在于：步骤（1）中，跟踪检测物时，使用线性匹配算法，第一帧检测物和第二帧检测物生成一个损失矩阵，损失矩阵里记录了两帧之间两个检测物的损失值；

如果检测物间匹配的可能性越大，损失值越小；反之如果检测物间匹配的可能性越小，损失值越大；同时生成两个虚假检测物以备所有检测物都无法互相匹配；不同帧的不同检测物之间的损失值，由不同检测物的类型、坐标、长宽比、清晰度、颜色决定，通过不同比重来生成损失值。

4.根据权利要求1所述的无人机巡检精细航线自动规划***，其特征在于：当扫描完该航点内的所有检测物后，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，无人机将会飞往下一个航点，并在不同的角度对绝缘子再次进行拍照，完成巡检后所记录生产的航线即一条能够在相同环境下精准拍摄目标检测物体的精准航线。

5.基于权利要求1-4之一的***的精细航线自动规划方法，其特征在于：按以下进行：

无人机根据航线中设定，在不同航点进行对检测物拍照；

边缘计算设备采集不同航点的视频采集单元的信息，对视频流进行简单过滤，然后基于神经网络对每一帧图片进行检测；

控制器采集边缘计算设备检测结果，根据检测结果对无人机及视频采集单元进行控制，拍摄不同航点的检测物，记录该航点的GPS信息、时间、拍照次数、调整次数、稳定度以及清晰度，最终得到能够在相同环境下精准拍摄目标检测物体的精准航线。

Images