CN114821035A - 一种电力设备红外测温设备距离参数识别方法 - Google Patents

Abstract

本发明请求保护一种电力设备红外测温设备距离参数识别方法，能够准确识别红外测温时手持式红外热像仪与电力设备之间的拍摄距离，包括对红外图像进行预处理、标记红外图像中的电力设备区域、基于SSD算法进行设备类型自动识别、基于图像处理得到设备的最小邻接矩形框、识别目标设备的像素宽度、基于改进的单目测距算法实现图像中的设备距离的自动识别。本发明的技术方法能够利用红外图像中电力设备的像素宽度自动识别设备距离，解决电力设备红外成像因拍摄角度变换及设备拍摄不全导致的距离识别难度大的问题。

Description

一种电力设备红外测温设备距离参数识别方法

技术领域

本发明涉及红外测距技术领域，特别涉及一种电力设备红外测温设备距离参数识别方法。

背景技术

变电站电力设备在长久的运行中不可避免的会产生故障，当其出现故障时最明显的特征是温度异常。红外热像仪可以在不停电、不接触设备的情况下检测设备运行温度，监测设备运行状态，适合高电压带电体温度的实时监测。所以近年来，红外热像仪在电力设备状态监测中已开展大范围应用。

然而，尽管热成像在电力设备监测中的应用越来越多，但针对热成像的潜在缺陷和局限性的研究相对较少。影响红外成像的因素有很多，其中，拍摄距离是影响红外成像效果的主要因素之一，拍摄距离的精确测量是提升红外成像检测设备故障准确度的主要方法之一。

针对目前红外带电检测存在的问题，本发明主要涉及电力设备红外测温设备距离参数识别方法。针对目前适用于电气检测的热像仪产品在使用时拍摄距离设置不准确导致红外图像测温数据异常的问题，提出一种基于目标像素宽度识别的电力设备红外成像单目测距改进算法，实现了利用红外图像中电力设备的像素宽度自动识别设备距离，解决了电力设备红外成像因拍摄角度变换及设备拍摄不全导致的距离识别难度大的问题，结果表明该改进算法可以满足电力设备红外图像的单目测距需求。

本发明主要利用红外图像拍摄时目标设备的像素宽度不受拍摄角度的影响，据此对单目测距算法进行改进。由于在拍摄时相机与水平垂直方向存在角度，成像坐标系与像素坐标系之间不是平行关系，据此近似将目标平面垂直于光轴，结合成像坐标系与世界坐标系之间的关系，采用像素宽度求解出设备的距离。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种电力设备红外测温设备距离参数识别方法。本发明的技术方案如下：

一种电力设备红外测温设备距离参数识别方法，其包括以下步骤：

输入电力设备红外图像，并对电力设备红外图像进行去除冗余信息、数据集增强的预处理；

采用labelme软件标记红外图像中的电力设备区域；

基于SSD(单发多框检测器)算法进行目标检测获取设备类型自动识别；

通过OpenCV中的图像处理算法得到电力设备的最小邻接矩形框，输出最小邻接矩形框的顶点坐标，计算出识别目标设备的像素宽度；

基于改进的单目测距算法实现图像中的设备距离的自动识别，提出近似将目标平面垂直于光轴，世界坐标系与摄像机坐标系之间只存在Z轴上的相对位置变化，从而利用成像坐标系与世界坐标系之间的关系求解出设备的距离。

进一步的，所述对电力设备红外图像进行去除冗余信息、数据集增强在内的预处理，具体包括：

通过Python中的OS模块编写批处理程序对原始热图像的文字和符号在内的冗余信息进行去除，并通过重新调整成像的温度范围设置，对数据集进行增强，完成对样本图像的预处理，

进一步的，所述采用labelme软件标记红外图像中的电力设备区域，具体包括：

Labelme软件标注图像对应的设备类型，用于分析不同设备的图像特征，并通过设备分类问题评估设计的深度学习模型，通过标注设备位置用于训练和测试目标识别模型。深度学习模型为用于图像识别的卷积神经网络，由若干个卷积层、激活层、池化层及全连接层组成。其中卷积层用于降维处理和提取特征，激活层用于模拟任意函数，增强网络的表征能力，池化层用于降低计算量，提高泛化能力，全连接层用于特征分类，提高输出品质。

进一步的，所述采用SSD算法进行目标检测获取设备类型自动识别，具体包括：

SSD目标测试模型结构分为两个部分：第一部分为目标基础特征提取网络；第二部分为多尺度特征检测网络，用于对第一部分提取的特征层实施多尺度特征提取；SSD目标检测算法流程由两步骤构成：一个是目标定位，即给出目标对象在图片中的位置；一个是分类检测，给出每个候选属于特定类别的概率。

进一步的，所述目标测试模型具体包括：

输入图片后，经过前向网络传播，所有区域候选框会产生类别概率预测值和位置偏移量预测值，根据设定好的阈值，删除概率预测值低于阈值的框，即认为这些框中没有目标。然后以类别为单位经过非极大值抑制去除冗余框，得到与待检测目标匹配的检测框。

进一步的，所述通过OpenCV中的图像处理算法得到电力设备的最小邻接矩形框，输出最小邻接矩形框的顶点坐标，计算出识别目标设备的像素宽度，具体包括：

首先得到SSD目标检测框，读取设备box顶点坐标并去除box之外的图像，然后基于掩模技术提取图像中的设备区域部分，通过对图像进行腐蚀膨胀的开运算操作，去除设备周围的有线电在内的噪声干扰，最后对图片进行轮廓拟合识别设备的最小邻接矩形，输出矩形4个顶点的坐标；像素宽度等于最小邻接矩形框短边长，从而可以计算出设备的距离。

进一步的，所述基于掩模技术提取图像中的设备区域部分具体包括：首先对图像进行二值化处理，使得图像中只含有黑、白两种颜色，然后对图像进行滤波和去噪，得到较为清晰的设备轮廓，最后运用图像分割方法对图像进行分割，获得图像掩模区域，提取出图像中的设备区域部分。

所述像素宽度等于最小邻接矩形框短边长，从而可以计算出设备的距离，目标像素宽度计算公式为：

其中，dx、dy为通过相机标定获得的参数，u、u₀、v、v₀为红外图像中识别的参数。

进一步的，所述基于改进的单目测距算法实现图像中的设备距离的自动识别，具体包括：基于几何测距算法中的相似三角形原理，最终相机与目标之间的距离计算如下：

其中，D为设备实际宽度，w为目标像素宽度，f、dx、dy为通过相机标定获得的参数，u、u₀、v、v₀为红外图像中识别的参数。

本发明的优点及有益效果如下：

本发明的创新主要由权利要求的步骤5到步骤7实现，采用改进的单目测距算法，利用世界坐标系、成像坐标系和像素坐标系之间的关系实现图像中的设备距离的自动识别。步骤1到步骤4是为后续步骤作铺垫，主要是为了输出最小邻接矩形框的顶点坐标，为后续改进的单目测距算法的实现提供数据支撑。由于目前适用于电气检测的热像仪产品在使用时需要自己输入拍摄距离，检测人员通常只能通过目测的方式设置平均距离，导致红外图像数据并不准确，据此提出单目测距的改进算法，实现距离的自动识别。

附图说明

图1是本发明提供优选实施例红外图像预处理过程示意图；

图2是SSD模型结构图；

图3是识别设备的像素宽度流程；

图4是实际宽度和像素宽度的对应关系；

图5是本发明优选实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图5所示，一种电力设备红外测温设备距离参数识别方法，能够准确识别红外测温时手持式红外热像仪与电力设备之间的拍摄距离，包括对红外图像进行预处理、标记红外图像中的电力设备区域、基于SSD算法进行设备类型自动识别、基于图像处理得到设备的最小邻接矩形框、识别目标设备的像素宽度、基于改进的单目测距算法实现图像中的设备距离的自动识别。

1、基于SSD算法的电力设备目标检测和类型识别

本发明在构建电力设备红外图像数据集的基础上，对红外图像数据集进行了预处理。通过编写批处理程序对原始热图像的文字和符号等冗余信息进行去除，并通过重新调整成像的温度范围设置，对数据集进行增强，完成对样本图像的预处理，处理过程如图1所示。在完成对红外图像的预处理后，再使用labelme软件标记红外图像中的电力设备区域。Labelme软件标注图像对应的设备类型，用于分析不同设备的图像特征，并通过设备分类问题评估设计的深度学习模型，通过标注设备位置用于训练和测试目标识别模型。

以SSD(单发多框检测器)算法为代表的单阶段目标检测模型较好实现计算精度、计算速度与计算复杂度之间的折中。SSD目标测试模型结构分为两个部分：第一部分为目标基础特征提取网络；第二部分为多尺度特征检测网络，可对前一部分提取的特征层实施多尺度特征提取。SSD目标检测算法流程由两步骤构成：一个是目标定位，即给出目标对象在图片中的位置；一个是分类检测，给出每个候选属于特定类别的概率，其架构图如图2所示。

2、基于图像处理算法的目标设备像素宽度识别

对于红外图像，本发明通过OpenCV中的图像处理算法识别目标设备的像素宽度。首先得到其SSD目标检测框，读取设备box坐标并去除box之外的图像，然后基于掩模技术提取图像中的设备区域部分，通过对图像进行腐蚀膨胀的开运算操作，去除设备周围的有线电等噪声干扰，最后对图片进行轮廓拟合识别设备的最小邻接矩形，输出矩形4个顶点的坐标。可以发现，像素宽度等于最小邻接矩形框短边长，从而可以计算出设备的距离。具体实现步骤如图3所示。

3、基于改进的单目测距算法的设备距离自动识别

本发明针对现有红外图像在拍摄时镜头与水平面会存在角度导致光轴与地面不平行问题，提出了可以近似将目标平面垂直于光轴，世界坐标系与摄像机坐标系之间只存在Z轴上的相对位置变化。针对因设备拍摄角度倾斜导致目标检测框的像素宽度不是设备实际宽度所对应的像素宽度问题，提出了通过目标像素宽度求解成像坐标系与像素坐标系之间的变换。可以发现，即使设备角度倾斜，由于电力设备外观整体呈圆柱形，无论从哪个角度拍摄，设备的最大宽度并不会发生变化；即使设备拍摄不全，但其宽度仍可以体现。本发明中设备的实际宽度与像素宽度之间对应关系如图4所示。

基于几何测距算法中的相似三角形原理，最终相机与目标之间的距离计算如下：

其中，D为设备实际宽度，w为目标像素宽度，f、dx、dy为通过相机标定获得的参数，u、u₀、v、v₀为红外图像中识别的参数。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种电力设备红外测温设备距离参数识别方法，其特征在于，包括以下步骤：

输入电力设备红外图像，并对电力设备红外图像进行去除冗余信息、数据集增强的预处理；

采用labelme软件标记红外图像中的电力设备区域；

基于SSD单发多框检测器算法进行目标检测获取设备类型自动识别；

通过OpenCV中的图像处理算法得到电力设备的最小邻接矩形框，输出最小邻接矩形框的顶点坐标，计算出识别目标设备的像素宽度；

基于改进的单目测距算法实现图像中的设备距离的自动识别，提出近似将目标平面垂直于光轴，世界坐标系与摄像机坐标系之间只存在Z轴上的相对位置变化，从而利用成像坐标系与世界坐标系之间的关系求解出设备的距离。

2.根据权利要求1所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述对电力设备红外图像进行去除冗余信息、数据集增强在内的预处理，具体包括：

通过Python中的OS模块编写批处理程序对原始热图像的文字和符号在内的冗余信息进行去除，并通过重新调整成像的温度范围设置，对数据集进行增强，完成对样本图像的预处理。

3.根据权利要求1所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述采用labelme软件标记红外图像中的电力设备区域，具体包括：

Labelme软件标注图像对应的设备类型，用于分析不同设备的图像特征，并通过设备分类问题评估设计的深度学习模型，通过标注设备位置用于训练和测试目标识别模型，深度学习模型为用于图像识别的卷积神经网络，由若干个卷积层、激活层、池化层及全连接层组成，其中卷积层用于降维处理和提取特征，激活层用于模拟任意函数，增强网络的表征能力，池化层用于降低计算量，提高泛化能力，全连接层用于特征分类，提高输出品质。

4.根据权利要求1所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述采用SSD算法进行目标检测获取设备类型自动识别，具体包括：

SSD目标测试模型结构分为两个部分：第一部分为目标基础特征提取网络；第二部分为多尺度特征检测网络，用于对第一部分提取的特征层实施多尺度特征提取；SSD目标检测算法流程由两步骤构成：一个是目标定位，即给出目标对象在图片中的位置；一个是分类检测，给出每个候选属于特定类别的概率。

5.根据权利要求4所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述目标测试模型具体包括：

输入图片后，经过前向网络传播，所有区域候选框会产生类别概率预测值和位置偏移量预测值，根据设定好的阈值，删除概率预测值低于阈值的框，即认为这些框中没有目标。然后以类别为单位经过非极大值抑制去除冗余框，得到与待检测目标匹配的检测框。

6.根据权利要求5所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述通过OpenCV中的图像处理算法得到电力设备的最小邻接矩形框，输出最小邻接矩形框的顶点坐标，计算出识别目标设备的像素宽度，具体包括：

首先得到SSD目标检测框，读取设备box顶点坐标并去除box之外的图像，然后基于掩模技术提取图像中的设备区域部分，通过对图像进行腐蚀膨胀的开运算操作，去除设备周围的有线电在内的噪声干扰，最后对图片进行轮廓拟合识别设备的最小邻接矩形，输出矩形4个顶点的坐标；像素宽度等于最小邻接矩形框短边长，从而可以计算出设备的距离。

7.根据权利要求6所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述基于掩模技术提取图像中的设备区域部分具体包括：

首先对图像进行二值化处理，使得图像中只含有黑、白两种颜色，然后对图像进行滤波和去噪，得到较为清晰的设备轮廓，最后运用图像分割方法对图像进行分割，获得图像掩模区域，提取出图像中的设备区域部分；

所述像素宽度等于最小邻接矩形框短边长，从而可以计算出设备的距离，目标像素宽度计算公式为：

其中，dx、dy为通过相机标定获得的参数，u、u₀、v、v₀为红外图像中识别的参数。

8.根据权利要求7所述的一种电力设备红外测温设备距离参数识别方法，其特征在于，所述基于改进的单目测距算法实现图像中的设备距离的自动识别，具体包括：基于几何测距算法中的相似三角形原理，最终相机与目标之间的距离计算如下：

其中，D为设备实际宽度，w为目标像素宽度，f、dx、dy为通过相机标定获得的参数，u、u₀、v、v₀为红外图像中识别的参数。

Images