CN111275759A - 基于无人机双光影像融合的变电站刀闸温度检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机双光影像融合的变电站刀闸温度检测方法，包括：针对其中一组检测对象，对可见光图像中的刀闸进行识别，采用识别框将识别出的每个刀闸设备所处区域的局部图像标记出来；识别出每个局部图像中的刀闸设备的边缘轮廓，根据刀闸设备的边缘轮廓的特性，获取可见光图像中每个开关接触点的位置信息；结合同一组检测对象中可见光图像和红外图像的映射关系，计算得到红外图像中每个开关接触点的位置信息；计算得到红外图像中每个开关接触点的温度信息。本发明提高了红外照片中刀闸识别和温度检测的速度，可以更快地得到温度检测结果，更加及时地处理和应对可能出现的故障或异常情况，提高了变电站刀闸温度的整体检测效率。

Description

基于无人机双光影像融合的变电站刀闸温度检测方法

技术领域

本发明涉及技术领域，具体而言涉及一种基于无人机双光影像融合的变电站刀闸温度检测方法。

背景技术

随着无人机技术不断发展，无人机产品越来越成熟，应用范围也越来越广，已经包括了军事行动、地质勘测、物流运输、农业应用、影视拍摄、消防抗灾以及救援巡查等诸多领域。无人机在电力***输电线路巡检以及变电站巡检中的应用已经全面展开，正在从人工操作无人机巡检向全自动无人化巡检转变。变电站相对于高压输电线路而言，需要巡检的场地较小，且各种变电设备和开关设备较多，所以巡检的频率较高，而且对设备的温度(特别是接触点的温度)比较关注，需要经常检测。

传统巡检方法通过人工操作或者程序自动控制带双光相机(可见光相机和热红外相机)的无人机进行巡检，再从无人机上导出可见光照片和红外照片，之后对照可见光照片，找到红外照片上的刀闸设备以及刀闸开关接触点，并进行标记，最后用测温软件读取标记好的红外照片，显示出刀闸开关接触点的温度。但是由于一次巡检拍摄的红外照片至少有几十张，而每张照片中的刀闸设备基本上都有20个以上，所以人工标记红外照片上的刀闸开关接触点十分繁琐和耗时。而且直接从红外照片中找到刀闸设备比较困难，经常需要对照同一时刻拍摄的可见光照片来确定刀闸在红外照片中的位置，人工标记可能出现漏标和误标的情况。同时，变电站的巡检频率(至少一天一次)较高，人工标记的工作非常耗时，急需一种更加高效的方法来替代。

目前有研究人员提出采用自动化的方式将可见光图像和红外图像进行融合，从而自动识别出红外图像中的开关接触点。例如，发明专利《红外图像和可见光图像融合的方法及装置》(申请号：200810166767.6)提出了一种将红外图像和可见光图像融合的方法，通过将两种图像叠加在一起，并选择一定的透明度，来增强红外图像的辨识效果。但是该方法只提出了一种红外图像和可见光图像简单融合的方法，没有自动识别设备和计算温度的功能。发明专利《一种红外测温图像部件识别方法》(申请号：201710843044.4)提出用红外图像训练Faster-RCNN神经网络模型，并用训练好的模型识别红外图像内的特定部件。但是由于该方法是直接用红外照片进行部件的训练和识别，由于红外照片辨识效果较差，其识别的效果不如可见光照片。发明专利《基于双目可见光相机与热红外相机的目标识别方法》(申请号：201711236543.3)提出了一种基于双目可见光相机与热红外相机的目标识别方法，通过双目相机拍摄的图像计算可见光双目三维点云，并融入热红外相机的温度信息，最后将融合结果输入到训练好的深度神经网络进行目标识别。由前述可知，该方法是利用双目相机计算三维点云，并融入温度信息，最后将融合结果输入到训练好的深度神经网络进行目标识别，整个计算过程较为复杂，计算量较大，三维数据的神经网络模型训练和识别都非常耗时，其识别效率会因此受到影响。

发明内容

本发明目的在于提供一种基于无人机双光影像融合的变电站刀闸温度检测方法，在通过识别算法识别出可见光照片内的刀闸设备的基础上，采用Canny算法或者色度提取算法检测出识别框内的刀闸设备轮廓，获取可见光照片上开关接触点的位置，再利用可见光照片与红外照片的映射关系，得到红外照片上开关接触点的位置，继而对开关接触点的温度进行计算。本发明提高了红外照片中刀闸识别和温度检测的速度，可以更快地得到温度检测结果，更加及时地处理和应对可能出现的故障或异常情况，提高了变电站刀闸温度的整体检测效率。

为达成上述目的，结合图1，本发明提出一种基于无人机双光影像融合的变电站刀闸温度检测方法，所述温度检测方法包括：

S1：将同一拍摄参数下的可见光图像和红外图像作为一组检测对象；

S2：针对其中一组检测对象，对可见光图像中的刀闸进行识别，采用识别框将识别出的每个刀闸设备所处区域的局部图像标记出来，识别框与刀闸设备一一对应；

S3：采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓，根据刀闸设备的边缘轮廓的特性，获取可见光图像中每个开关接触点的位置信息；

S4：结合同一组检测对象中可见光图像和红外图像的映射关系，计算得到红外图像中每个开关接触点的位置信息；

S5：计算得到红外图像中每个开关接触点的温度信息。

进一步的实施例中，步骤S1中，所述同一拍摄参数是指同一拍摄地点、同一拍摄时间。

进一步的实施例中，步骤S2中，采用训练好的YoloV3深度神经网络模型识别可见光照片中的所有刀闸设备的矩形位置区域，所述矩形位置区域即识别框区域，所述矩形位置区域的坐标被标记为(x_vis1，y_vis1，x_vis2，y_vis2)，其中，(x_vis1，y_vis1)和(x_vis2，y_vis2)分别为任意两个对角点的坐标。

进一步的实施例中，步骤S3中，所述采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓的过程包括以下步骤：

S301：检测出刀闸设备识别框区域内的所有边缘轮廓线条，将这些轮廓线条按照连接情况和距离远近分成若干个集合，其中，将相互连接或者两者之间距离小于设定距离阈值的线条合并至同一个集合中，组合成一条连续的轮廓；

S302：将线条个数最多的集合作为刀闸设备的线条轮廓集合，得到刀闸设备的边缘轮廓。

进一步的实施例中，步骤S3中，所述采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓的过程包括以下步骤：

S311：采集可见光图像中包含的刀闸设备的HSV颜色空间范围；

S312：对可见光图像上每个识别框区域进行HSV颜色空间的提取，将刀闸设备HSV颜色空间范围对应的图像区域作为刀闸设备的像素区域，提取出刀闸设备的像素区域的轮廓作为刀闸设备的边缘轮廓。

进一步的实施例中，步骤S3中，所述采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓的过程还包括以下步骤：

沿着刀闸设备的边缘轮廓，拟合出一个紧贴着刀闸设备外轮廓的矩形，作为刀闸设备的轮廓拟合矩形(只能是矩形，不会是其他形状)。

进一步的实施例中，步骤S3中，所述根据刀闸设备的边缘轮廓的特性，获取可见光图像中每个开关接触点的位置信息的过程包括以下步骤：

获取任意一个刀闸设备的轮廓拟合矩形的长与宽的值，如果长宽比大于预设比例阈值(比如1.2)，将矩形两个短边的中点作为该刀闸设备的开关接触点，此时开关接触点有2个，如图6，否则，将矩形的中心点作为该刀闸设备的开关接触点，此时开关接触点只有1个；

进一步的实施例中，步骤S4中，所述同一组检测对象中可见光图像和红外图像的映射关系是指，

ir_img_start_x＝(vis_img_w*scale-ir_img_w)/2

ir_img_start_y＝(vis_img_h*scale-ir_img_h)/2

ir_img_end_x＝ir_img_start_x+ir_img_w

ir_img_end_y＝ir_img_start_y+ir_img_h

式中：vis_img_w为可见光照片宽度，vis_img_h为可见光照片高度，ir_img_w为红外照片宽度，ir_img_h为红外照片高度，scale为红外照片和可见光照片的分辨率之比；

ir_img_start_x为可见光照片的像素坐标系内，对应红外照片的左上角x轴坐标值；ir_img_start_y为可见光照片的像素坐标系内，对应红外照片的左上角y轴坐标值；ir_img_end_x为可见光照片的像素坐标系内，对应红外照片的右下角x轴坐标值；ir_img_end_y为可见光照片的像素坐标系内，对应红外照片的右下角y轴坐标值；

对于可见光照片内的像素坐标点，如果同时满足：

vis_pt_x1∈[ir_img_start_x,ir_img_end_x]

vis_pt_y1∈[ir_img_start_y,ir_img_end_y]

vis_pt_x2∈[ir_img_start_x,ir_img_end_x]

vis_pt_y2∈[ir_img_start_y,ir_img_end_y]

可计算出红外照片内的对应像素坐标点为：

ir_pt_x1＝vis_pt_x1-ir_img_start_x

ir_pt_y1＝vis_pt_y1-ir_img_start_y

ir_pt_x2＝vis_pt_x2-ir_img_start_x

ir_pt_y2＝vis_pt_y2-ir_img_start_y

式中：

vis_pt_x1是可见光照片的像素坐标系内，某一个刀闸识别框的左上角x轴坐标值；

vis_pt_y1是可见光照片的像素坐标系内，某一个刀闸识别框的左上角y轴坐标值；

vis_pt_x2是可见光照片的像素坐标系内，某一个刀闸识别框的右下角x轴坐标值；

vis_pt_y2是可见光照片的像素坐标系内，某一个刀闸识别框的右下角y轴坐标值；

ir_pt_x1是对应的红外照片像素坐标系内，对应刀闸识别框的左上角x轴坐标值；

ir_pt_y1是对应的红外照片像素坐标系内，对应刀闸识别框的左上角y轴坐标值；

ir_pt_x2是对应的红外照片像素坐标系内，对应刀闸识别框的右下角x轴坐标值；

ir_pt_y2是对应的红外照片像素坐标系内，对应刀闸识别框的右下角y轴坐标值；

进一步的实施例中，所述温度检测方法还包括：

S6：根据同一组检测对象中可见光图像和红外图像的映射关系，得到可见光图像中对应刀闸设备开关接触点的温度信息；

统计所有刀闸的温度，计算得到整张红外图像中温度最高的刀闸设备，以及整张红外图像内刀闸最高温度和最低温度之差。

进一步的实施例中，所述温度检测方法还包括：

S7：用拼图软件将一次变电站巡检所拍摄的所有可见光图像进行拼接，得到一张完整的变电站图像，再根据每一张可见光巡检图像与拼图得到的完整变电站图像之间的坐标对应关系，得到完整变电站图像中所有刀闸设备开关接触点的温度信息。

以上本发明的技术方案，与现有相比，其显著的有益效果在于，

(1)实现了红外照片内刀闸设备开关接触点温度检测的自动化，提高了工作效率，减少了人工识别和标记的工作量，也为实现无人机巡检、照片下载、数据分析、结果展示整个过程的自动化提供了基础。

(2)提高了红外照片刀闸识别和温度检测的速度，可以更快地得到温度检测结果，更加及时地处理和应对可能出现的故障或异常情况。

(3)由于变电站巡检的场景较为固定和单一，所以用巡检照片训练好的YoloV3深度神经网络模型对同一个场景的识别效果很好，识别准确率也较高，能达到95％以上，可以满足实际应用的要求。

(4)沿着刀闸设备的轮廓，拟合出一个紧贴着刀闸设备外轮廓的矩形，根据矩形的形状以快速获取包括冗余开关接触点在内的所有检测点的坐标，比之采用神经网络模型等判断方法，识别成功率更高，检测速度更为高效；同时，只需要参考矩形的形状，对刀闸设备轮廓勾勒精度要求低，降低了对边缘检测算法或色度提取算法精度的要求和整体运算量，加快了运算速度。

(5)根据实际情况采用Canny算法或者色度提取算法检测出识别框内的刀闸设备轮廓，适用性更广，在某些情况下还可以相互印证相互补充，有利于部分质量较差的图像处理，例如生成的刀闸设备轮廓不清晰或拟合出的矩形不规则时。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于无人机双光影像融合的变电站刀闸温度检测方法的流程图。

图2是本发明的其中一组检测对象的示意图。

图3是对可见光照片中的刀闸设备的识别结果示意图。

图4是采用边缘线条检测算法检测刀闸设备边缘轮廓的方法示意图。

图5是根据刀闸设备颜色提取刀闸轮廓的方法示意图。

图6是其中一种开关接触点的标记结果示意图。

图7是可见光照片和红外照片之间的映射效果示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提出一种基于无人机双光影像融合的变电站刀闸温度检测方法，所述温度检测方法包括：

S1：将同一拍摄参数下的可见光图像和红外图像作为一组检测对象。

S2：针对其中一组检测对象，对可见光图像中的刀闸进行识别，采用识别框将识别出的每个刀闸设备所处区域的局部图像标记出来，识别框与刀闸设备一一对应。

S3：采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓，根据刀闸设备的边缘轮廓的特性，获取可见光图像中每个开关接触点的位置信息。

S4：结合同一组检测对象中可见光图像和红外图像的映射关系，计算得到红外图像中每个开关接触点的位置信息。

S5：计算得到红外图像中每个开关接触点的温度信息。

下面结合具体例子对每个步骤进行描述。

步骤一、获取检测对象

读取同一个拍照点、同一时刻拍摄的可见光照片和红外照片，作为一组检测对象。如前所述，通常由装配在无人机上的带双光相机巡检拍摄获得。其中一组检测对象的示意图如图2所示。

步骤二、识别可见光照片中的刀闸

步骤S2中，采用训练好的YoloV3深度神经网络模型识别可见光照片中的所有刀闸设备的矩形位置区域，所述矩形位置区域即识别框区域，所述矩形位置区域的坐标被标记为(x_vis1，y_vis1，x_vis2，y_vis2)，其中，(x_vis1，y_vis1)和(x_vis2，y_vis2)分别为任意两个对角点的坐标。

经实践证明，由于变电站巡检的场景较为固定和单一，所以用巡检照片训练好的YoloV3深度神经网络模型对同一个场景的识别效果很好，识别准确率也较高，能达到95％以上，可以满足实际应用的要求。

图3是对可见光照片中的刀闸设备的识别结果示意图。

步骤三、检测刀闸边缘

本发明提出了两种检测刀闸边缘的方式：Canny边缘检测算法和色度提取算法。

第一种方式，Canny边缘检测算法

采用Canny边缘检测算法，对可见光照片中刀闸设备的识别框(x_vis1，y_vis1，x_vis2，y_vis2)区域进行边缘检测，检测出刀闸设备的边缘轮廓。结合图4，具体的步骤如下：

①首先检测出刀闸设备识别框区域内的所有边缘轮廓线条，然后将这些轮廓线条按照连接情况和距离远近分成一个个集合，将相互连接或者距离较近的线条合到一个集合之中，组合成一条连续的轮廓。

②由于在刀闸设备识别框区域内，只有一个刀闸设备，且轮廓十分明显，所以选取线条个数最多的集合，便是刀闸设备的线条轮廓集合。

③沿着刀闸设备的轮廓，拟合出一个紧贴着刀闸设备外轮廓的矩形，作为刀闸设备的最终轮廓，这种规则的矩形轮廓有利于后续刀闸设备顶点坐标的获取。

第二种方式，色度提取算法

结合图5，由于刀闸设备的外部颜色一致，且与背景有明显差异，我们可以事先采集到可见光照片中刀闸颜色的色调(H：Hue)、饱和度(S：Saturation)和明度(V：Value)的范围，然后对可见光照片上刀闸设备的识别框区域(x_vis1，y_vis1，x_vis2，y_vis2)进行HSV颜色空间的提取，保留刀闸HSV颜色范围内的区域，删去其余颜色区域，从而检测出刀闸设备的区域，并将其作为刀闸设备在可见光照片内的像素区域，而此区域的轮廓就是刀闸设备的边缘轮廓。

在实际应用中，可以根据实际情况采用Canny算法或者色度提取算法检测出识别框内的刀闸设备轮廓，适用性更广，在某些情况下还可以相互印证相互补充，将两种方法结合起来对图像进行分析，尤其有利于部分质量较差的图像处理过程。

步骤四、标记刀闸顶点

获取任意一个刀闸设备的轮廓拟合矩形的长与宽的值，如果长宽比大于预设比例阈值(比如1.2)，将矩形两个短边的中点作为该刀闸设备的开关接触点，此时开关接触点有2个，如图6，否则，将矩形的中心点作为该刀闸设备的开关接触点，此时开关接触点只有1个。

刀闸为圆柱体形状，这里我们把这个圆柱体的上底面和下底面分别称为刀闸的顶点和底座，而刀闸的开关接触点位于刀闸设备的顶点，所以在无法区分识别出的刀闸轮廓哪一个端是顶点的情况下，对于长条形的轮廓(轮廓拟合出的矩形的长宽比大于阈值)，我们会同时标记两个端点((x_p1，y_p1)，(x_p2，y_p2))，即矩形两个短边的中点；对于圆形或者点状的轮廓(轮廓拟合出的矩形的长宽比小于阈值)，拍照时镜头是俯视的效果，面向镜头的就是顶点，所以我们只需标记一个端点(x_p1，y_p1)，即矩形的中心点。图6是其中一种长条形的开关接触点的标记结果示意图。

前述检测点的标注方法虽然不可避免的会引入部分冗余检测点，但相比现有技术中的神经网络、目标识别算法等，标注效率更高，对于变电站刀闸这类较为固定的应用场合，识别准确率相当高，几乎达到100％，对无人机的拍摄角度要求较低，无论是正对还是侧对拍摄，由于均为俯向拍摄，只要偏差角度不是太大，均能囊括完全所有真正的检测点。

步骤五、映射到红外照片中的刀闸

利用可见光照片和红外照片之间的映射关系(和相机镜头参数有关，参数固定后，该映射关系也固定)，找到对应红外照片上的所有刀闸设备的识别框区域(x_ir1，y_ir1，x_ir2，y_ir2)以及对应的刀闸端点((x_pr1，y_pr1)，(x_pr2，y_pr2))。可见光照片和红外照片之间的映射公式如下所示：

ir_img_start_x＝(vis_img_w*scale-ir_img_w)/2

ir_img_start_y＝(vis_img_h*scale-ir_img_h)/2

ir_img_end_x＝ir_img_start_x+ir_img_w

ir_img_end_y＝ir_img_start_y+ir_img_h

式中：vis_img_w为可见光照片宽度，vis_img_h为可见光照片高度，ir_img_w为红外照片宽度，ir_img_h为红外照片高度，scale为红外照片和可见光照片的分辨率之比。

ir_img_start_x为可见光照片的像素坐标系内，对应红外照片的左上角x轴坐标值；ir_img_start_y为可见光照片的像素坐标系内，对应红外照片的左上角y轴坐标值；ir_img_end_x为可见光照片的像素坐标系内，对应红外照片的右下角x轴坐标值；ir_img_end_y为可见光照片的像素坐标系内，对应红外照片的右下角y轴坐标值。

对于可见光照片内的像素坐标点，如果同时满足：

vis_pt_x1∈[ir_img_start_x,ir_img_end_x]

vis_pt_y1∈[ir_img_start_y,ir_img_end_y]

vis_pt_x2∈[ir_img_start_x,ir_img_end_x]

vis_pt_y2∈[ir_img_start_y,ir_img_end_y]

可计算出红外照片内的对应像素坐标点为：

ir_pt_x1＝vis_pt_x1-ir_img_start_x

ir_pt_y1＝vis_pt_y1-ir_img_start_y

ir_pt_x2＝vis_pt_x2-ir_img_start_x

ir_pt_y2＝vis_pt_y2-ir_img_start_y

式中：

vis_pt_x1是可见光照片的像素坐标系内，某一个刀闸识别框的左上角x轴坐标值。

vis_pt_y1是可见光照片的像素坐标系内，某一个刀闸识别框的左上角y轴坐标值。

vis_pt_x2是可见光照片的像素坐标系内，某一个刀闸识别框的右下角x轴坐标值。

vis_pt_y2是可见光照片的像素坐标系内，某一个刀闸识别框的右下角y轴坐标值。

ir_pt_x1是对应的红外照片像素坐标系内，对应刀闸识别框的左上角x轴坐标值。

ir_pt_y1是对应的红外照片像素坐标系内，对应刀闸识别框的左上角y轴坐标值。

ir_pt_x2是对应的红外照片像素坐标系内，对应刀闸识别框的右下角x轴坐标值。

ir_pt_y2是对应的红外照片像素坐标系内，对应刀闸识别框的右下角y轴坐标值。

映射效果如图7所示。应当理解，超出本张红外照片坐标范围的刀闸，会被其他红外巡检照片所覆盖，无人机巡检中拍摄的可见光照片和红外照片，会考虑照片之间的重叠率，来保证巡检照片覆盖整个变电站，同时支持拼图软件根据巡检照片进行拼图。

步骤六、计算刀闸开关接触点的温度

利用红外照片像素点温度计算方法，计算出红外照片中所有标记点的温度，根据可见光图像和红外图像的映射关系，得到可见光图像中对应刀闸设备开关接触点的温度信息。

步骤七、拼接变电站整体图像并显示刀闸开关接触点温度

所述检测方法还包括：

S6：根据同一组检测对象中可见光图像和红外图像的映射关系，得到可见光图像中对应刀闸设备开关接触点的温度信息。

S7：用拼图软件将一次变电站巡检所拍摄的所有可见光图像进行拼接(注：理论上也可以用所有的红外照片进行拼图，得到完整的变电站红外图像以及上面的所有刀闸开关接触点温度信息，但是由于红外照片多细节不如可见光照片多，而且红外照片的成像受温度波动的影响较大，所以红外照片的拼图难度比可见光照片大，拼图的准确性也不如可见光)，得到一张完整的变电站图像，再根据每一张可见光巡检图像与拼图得到的完整变电站图像之间的坐标对应关系，得到完整变电站图像中所有刀闸设备开关接触点的温度信息。

用拼图软件将一次变电站巡检所拍摄的所有可见光图像进行拼接，得到一张完整的变电站图像，再根据每一张可见光巡检图像与拼图得到的完整变电站图像之间的坐标对应关系，得到完整变电站图像中所有刀闸设备开关接触点的温度信息，并且将温度信息显示给用户。

步骤八、统计所有刀闸的温度

统计出整张变电站照片中刀闸设备开关接触点的最高温度，以及整张照片内，刀闸最高温度和最低温度之差，该统计值可作为判断变电站内刀闸设备是否工作正常的依据。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，所述温度检测方法包括：

S1：将同一拍摄参数下的可见光图像和红外图像作为一组检测对象；

S2：针对其中一组检测对象，对可见光图像中的刀闸进行识别，采用识别框将识别出的每个刀闸设备所处区域的局部图像标记出来，识别框与刀闸设备一一对应；

S3：采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓，根据刀闸设备的边缘轮廓的特性，获取可见光图像中每个开关接触点的位置信息；

S4：结合同一组检测对象中可见光图像和红外图像的映射关系，计算得到红外图像中每个开关接触点的位置信息；

S5：计算得到红外图像中每个开关接触点的温度信息。

2.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S1中，所述同一拍摄参数是指同一拍摄地点、同一拍摄时间。

3.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S2中，采用训练好的YoloV3深度神经网络模型识别可见光照片中的所有刀闸设备的矩形位置区域，所述矩形位置区域即识别框区域，所述矩形位置区域的坐标被标记为(x_vis1，y_vis1，x_vis2，y_vis2)，其中，(x_vis1，y_vis1)和(x_vis2，y_vis2)分别为任意两个对角点的坐标。

4.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S3中，所述采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓的过程包括以下步骤：

S301：检测出刀闸设备识别框区域内的所有边缘轮廓线条，将这些轮廓线条按照连接情况和距离远近分成若干个集合，其中，将相互连接或者两者之间距离小于设定距离阈值的线条合并至同一个集合中，组合成一条连续的轮廓；

S302：将线条个数最多的集合作为刀闸设备的线条轮廓集合，得到刀闸设备的边缘轮廓。

5.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S3中，所述采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓的过程包括以下步骤：

S311：采集可见光图像中包含的刀闸设备的HSV颜色空间范围；

S312：对可见光图像上每个识别框区域进行HSV颜色空间的提取，将刀闸设备HSV颜色空间范围对应的图像区域作为刀闸设备的像素区域，提取出刀闸设备的像素区域的轮廓作为刀闸设备的边缘轮廓。

6.根据权利要求4或5所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S3中，所述采用边缘检测算法，识别出每个局部图像中的刀闸设备的边缘轮廓的过程还包括以下步骤：

沿着刀闸设备的边缘轮廓，拟合出一个紧贴着刀闸设备外轮廓的矩形，作为刀闸设备的轮廓拟合矩形。

7.根据权利要求6所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S3中，所述根据刀闸设备的边缘轮廓的特性，获取可见光图像中每个开关接触点的位置信息的过程包括以下步骤：

判断任意一个刀闸设备的轮廓拟合矩形的长宽比，如果长宽比大于预设比例阈值，将两个短边中点作为该刀闸设备的开关接触点所在位置，否则，将矩形中心店作为该刀闸设备的开关接触点所在位置。

8.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，步骤S4中，所述同一组检测对象中可见光图像和红外图像的映射关系是指，

ir_img_start_x＝(vis_img_w*scale-ir_img_w)/2

ir_img_start_y＝(vis_img_h*scale-ir_img_h)/2

ir_img_end_x＝ir_img_start_x+ir_img_w

ir_img_end_y＝ir_img_start_y+ir_img_h

式中：vis_img_w为可见光照片宽度，vis_img_h为可见光照片高度，ir_img_w为红外照片宽度，ir_img_h为红外照片高度，scale为红外照片和可见光照片的分辨率之比；

ir_img_start_x为可见光照片的像素坐标系内，对应红外照片的左上角x轴坐标值；ir_img_start_y为可见光照片的像素坐标系内，对应红外照片的左上角y轴坐标值；ir_img_end_x为可见光照片的像素坐标系内，对应红外照片的右下角x轴坐标值；ir_img_end_y为可见光照片的像素坐标系内，对应红外照片的右下角y轴坐标值；

对于可见光照片内的像素坐标点，如果同时满足：

vis_pt_x1∈[ir_img_start_x,ir_img_end_x]

vis_pt_y1∈[ir_img_start_y,ir_img_end_y]

vis_pt_x2∈[ir_img_start_x,ir_img_end_x]

vis_pt_y2∈[ir_img_start_y,ir_img_end_y]

可计算出红外照片内的对应像素坐标点为：

ir_pt_x1＝vis_pt_x1-ir_img_start_x

ir_pt_y1＝vis_pt_y1-ir_img_start_y

ir_pt_x2＝vis_pt_x2-ir_img_start_x

ir_pt_y2＝vis_pt_y2-ir_img_start_y

式中：

vis_pt_x1是可见光照片的像素坐标系内，某一个刀闸识别框的左上角x轴坐标值；

vis_pt_y1是可见光照片的像素坐标系内，某一个刀闸识别框的左上角y轴坐标值；

vis_pt_x2是可见光照片的像素坐标系内，某一个刀闸识别框的右下角x轴坐标值；

vis_pt_y2是可见光照片的像素坐标系内，某一个刀闸识别框的右下角y轴坐标值；

ir_pt_x1是对应的红外照片像素坐标系内，对应刀闸识别框的左上角x轴坐标值；

ir_pt_y1是对应的红外照片像素坐标系内，对应刀闸识别框的左上角y轴坐标值；

ir_pt_x2是对应的红外照片像素坐标系内，对应刀闸识别框的右下角x轴坐标值；

ir_pt_y2是对应的红外照片像素坐标系内，对应刀闸识别框的右下角y轴坐标值。

9.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，所述温度检测方法还包括：

S6：根据同一组检测对象中可见光图像和红外图像的映射关系，得到可见光图像中对应刀闸设备开关接触点的温度信息。

10.根据权利要求1所述的基于无人机双光影像融合的变电站刀闸温度检测方法，其特征在于，所述温度检测方法还包括：

S7：用拼图软件将一次变电站巡检所拍摄的所有可见光图像进行拼接，得到一张完整的变电站图像，再根据每一张可见光巡检图像与拼图得到的完整变电站图像之间的坐标对应关系，得到完整变电站图像中所有刀闸设备开关接触点的温度信息。

Images