CN113469178B - 一种基于深度学习的电力表计识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的电力表计识别方法，其步骤包括：1、采用深度学习目标检测网络YOLOv4来检测图片中电力表计的位置；2、使用深度学习实例分割网络Mask R‑CNN对表计目标区域做指针掩膜定位；3、使用线性回归算法对指针掩模进行线性拟合，计算出指针的斜率；4、最后基于表计类别信息和配置参数计算得到其数值。本发明方法精度高、速度快、鲁棒性强，相比传统技术大大减少了手工特征的设计，并且适用于多种电力场景。

Description

一种基于深度学习的电力表计识别方法

技术领域

本发明涉及图像识别技术，计算机视觉，深度学习技术领域，具体涉及一种基于深度学习的电力表计识别方法。

背景技术

电力***中(例如变电站)需要对电力仪表进行实时监控，防止一些参数超标而引发意外。实现指针式仪表读数识别，不仅可以提高变电站设备的智能化程度，还可以为研究高精度的指针式仪表识别***提供一定的研究思路。近年来，图像处理算法、计算机技术已被广泛应用于指针式仪表的检测与识别。指针式仪表识别技术使用摄像机采集仪表图像，并将采集的图像传输至计算机进行后续处理。

现阶段，指针式仪表检测与读数识别技术的主要研究内容包含仪表目标检测、表盘轮廓提取、指针直线检测三个步骤。目前，针对指针式仪表自动识别的研究大多基于Hough变换获取指针位置，这类方法在遇到较大干扰时，往往会出现指针区域提取困难的问题。而且，研究的***只针对某一单一类型的电力仪表且大多难以同时到达高精度与高效率。虽然指针式仪表读数识别技术的研究己经取得了一定的效果，但是识别精度普遍较低，目前还没有高精度的适用于实际环境的仪表识别***。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度学习的电力表计识别方法，以期能快速准并确检测仪表数据，从而提高变电站无人抄表的数据检测率，满足变电站设备故障诊断的实际需求。

本发明为解决技术问题采用如下技术方案：

本发明一种基于深度学习的电力表计识别方法的特点是按如下步骤进行：

步骤1、基于YOLOv4算法对电力表计图像进行目标检测模型D的训练；

步骤1.1、采集变电站c种类别的待检测的c×M张表计图像样本；

步骤1.2、对c×M张表计图像样本进行标注，框出表计仪表盘所在的边界框，并记录各个边界框的坐标位置{x_min,y_min,x_max,y_max}和所属的类别i，从而得到标注后的表计图像样本作为目标检测的训练集合T；其中，(x_min,y_min)为边界框左上顶点坐标，(x_max,y_max)为边界框右下顶点坐标；

步骤1.3、构建基于YOLOv4算法的BackBone主干网络；

所述BackBone主干网络是由CSPDarknet53模块、Mish激活函数和Dropblock模块构成；

将训练集合T作为BackBone主干网络的输入并进行训练，从而得到表计图像仪表盘的目标检测模型D；

步骤2、基于MaskR-CNN算法对仪表盘图像进行实例分割模型D′的训练；

步骤2.1、使用目标检测模型D对c×M张待检测的表计图片样本进行仪表盘的检测，得到N个仪表盘图像；

步骤2.2、对N张仪表盘图像进行标注后，再对仪表盘的指针进行掩膜处理，以提取指针在仪表盘的位置，同时记录整个指针掩膜的坐标位置{(x₁,y₁),(x₂,y₂),······,(x_N,y_N)}，从而得到标注后的仪表盘图像作为实力分割的训练集合T′；其中，(x_N,y_N)表示第N张仪表盘图像的指针掩膜的坐标位置；

步骤2.3、构建实力分割Mask R-CNN算法的网络模型；所述网络模型是由特征图提取网络、区域推荐网络RPN、ROIAlign层和预测网络构成；

将训练集合T′作为网络模型的输入，并经过所述特征图提取网络得到对应的特征图，再通过所述区域推荐网络RPN在特征图上生成候选区域ROI，然后通过所述ROIAlign层得到固定尺寸的特征图并输入到所述预测网络中，以输出由类型、边界框、掩膜构成的像素级掩膜，从而得到指针掩膜的实例分割模型D′；

步骤3、使用线性回归算法对指针掩膜像素进行线性拟合，计算出指针的斜率和角度；

步骤3.1、使用实例分割模型D′对N个仪表盘图像进行处理，得到N个指针的像素级掩膜，且每一个指针的像素点坐标(x_i,y_i)在二维平面上均构成线性分布；

步骤3.2、对每一个指针的m个像素点建立线性回归模型，并使用均方误差最小化算法定义如式(1)所示的核心目标优化式：

式(1)中：w表示拟合直线的斜率，b表示拟合直线的截距；w^*表示最优斜率，b^*表示最优截距，并有：

式(2)中：表示m个像素点在x轴上坐标的平均值；

步骤3.3、根据拟合直线的最优斜率w^*计算其角度α，将指针像素所在区域切分成坐标四个象限，即：第一、二、三、四象限；

根据YOLOv4算法得到的仪表盘图像，计算表盘中心点坐标(x_c,y_y)；

根据Mask R-CNN算法得到的指针的像素级掩膜，计算每一个指针的像素点坐标(x_i,y_i)；

若α＞0：则表示指针在第一或第三象限，并计算指针右上顶点到中心点坐标(x_c,y_y)的距离d₁和指针左下顶点到中心点坐标(x_c,y_y)的距离d₃，当d₁＞d₃，则表示指针指向第一象限，当d₁＜d₃，则表示指针指向第三象限；

若α＜0：则表示指针在第、或第二四象限，并计算指针左上顶点到中心点坐标(x_c,y_y)的距离d₂和指针右下顶点到中心点坐标(x_c,y_y)的距离d₄，当d₂＞d₄，则表示指针指向第二象限，当d₂＜d₄，则表示指针指向第四象限；根据所确定的指针指向，获得指针的实际角度α′；

步骤3.4、定义不同类型表计的配置信息为：起始角度refAngle、角度量程rangeAngle、指针起始数值startVal、指针终止数值endVal，并存储在配置文件中，由表计类别来索引；

根据YOLOv4算法检测出的表计类型，获取配置文件中对应的参数，并结合实际角度α′，从而利用式(3)计算出表计的实际读数num：

与已有技术相比，本发明的有益效果体现在：

1、本发明使用了深度学习目标检测YOLOv4网络模型，能够快速、精准地定位出表计表盘的位置，克服传统图像处理算法难以准确定位表盘位置的缺陷。同时YOLOv4在实时性方面表现突出，可满足电网变电站实时检测需求。

2、本发明使用深度学习实例分割Mask R-CNN网络模型，能够精准定位出表盘指针的掩膜。传统的霍夫直线检测算法定位指针易受干扰、鲁棒性不强，实际效果较差，而本发明采用的实例分割算法能够较好地适应变电站复杂的应用场景。

3、本发明使用线性回归算法对指针掩膜像素进行线性拟合，从而得到指针的斜率值，相比直接使用传统的直线检测算法，该发明有更好的蒜贩鲁棒性，准确率也较高。

4、本发明使用欧式距离判定算法确定指针所在的平面象限和指针指向，从而更准确地获得了指针的相对角度信息。

5、本发明仅在配置文件里录入各个类型表计的4个关键参数，结合YOLOv4目标检测结果，通过类别信息得到对应的4个关键参数，利用指针相对角度，从而准确计算表计读数，算法流畅度较高。

6、本发明可以将实现功能的代码和神经网络模型储存在嵌入式设备上，布置在本地端，克服了传统仪表检测***在本地端布置的难题，具有很高的应用性。可以对所需要检测的仪表进行周期性的检测，保存所有仪表数据，检测仪表数据是否存在大偏差，并将检测结果与报警信息上传云端服务器，解决了其他发明所不具有的故障诊断功能，从而提高了变电站无人抄表的数据检测率，满足了变电站设备故障诊断的实际需求，具有实用性与通用性。

附图说明

图1为4种表计类型；

图2为指针实例分割掩模；

图3为图片处理过程图；

图4为整体方法流程图。

具体实施方式

本实施例中，如图3和图4所示，一种基于深度学习的电力表计识别方法是按如下步骤进行：

步骤1、基于YOLOv4算法对表计仪表盘图像进行定位分类训练；

步骤1.1、如图1所示，对变电站内的油位计、油温表、避雷器泄露电流表、SF6压力表进行图像采集，得到包含c＝4种类型的变电站表计图像集，每个类别包含表计图片M张，总共4×M张表计图片。

步骤1.2、将油位计、油温表、避雷器泄露电流表、SF6压力表共4×M张图片进行人工标注，框出仪表盘所在的边界框；并记录各个边界框的坐标位置，对于每个仪表盘图像建立符合标准的PASCALVOC格式的xml标签文件，标签文件中包括以下信息：图片ID号，图像的像素高度，宽度与深度，图像的路径，图片所包含的目标类别种类，以及仪表盘图像目标区域所在矩形边界框的坐标(x_min,y_min,x_max,y_max)，其中，(x_min,y_min)为边界框左上顶点坐标，(x_max,y_max)为边界框右下顶点坐标，从而得到标注后的变电站仪表盘图像集并作为变电站仪表盘检测的训练集合T。

步骤1.3、使用YOLOv4目标检测模型对训练集合T进行训练，得到仪表盘目标检测模型D。具体方法是将人工标注后的训练集合T作为YOLOv4算法的输入，训练集合的每张图像都包含标签信息：{x_min,y_min,x_max,y_max,i}，将CSPDarknet53结构、Mish激活函数和Dropblock结构结合起来作为YOLOv4的BackBone主干网络。

步骤2、基于MaskR-CNN算法对仪表盘图像进行实例分割模型的训练；

步骤2.1、使用训练好的目标检测模型D对训练集合T进行检测，得到仪表盘图片。

步骤2.2、所有仪表盘图像进行人工掩膜标注，使用多边形框出仪表盘指针所在的掩膜位置；并记录掩膜多边形各个顶点的坐标位置，对于每个仪表盘图像建立符合标准的json标签文件，标签文件中包括以下信息：图片ID号，图像的像素高度，宽度与深度，图像的路径，图片所包含的目标类别种类，以及指针目标区域所在多边形顶点坐标{(x₁,y₁),(x₂,y₂),······,(x_N,y_N)}，从而得到标注后的指针掩膜图像集并作为实例分割检测的训练集合T′；其中，(x_N,y_N)表示第N张仪表盘图像的指针掩膜的坐标位置；

步骤2.3、使用MaskR-CNN实例分割模型对训练集合T′进行训练，得到指针实例分割模型D′。具体方法是将人工标注后的训练集合T′作为MaskR-CNN的输入，训练集合的每张图像都包含标签信息：{(x₁,y₁),(x₂,y₂),······,(x_N,y_N)}，图片经过特征图提取网络得到对应的特征图，之后利用区域推荐网络(RPN)在特征图上生成候选区域ROI，再通过ROIAlign层得到固定的特征图尺寸输入到预测网络中，对类型、边界框、掩膜进行预测。

步骤3、模型训练完毕，将油位计、油温表、避雷器泄露电流表、SF6压力表这4类表计的4个核心参数：起始角度(refAngle)、角度量程(rangeAngle)、指针起始数值(startVal)、指针终止数值(endVal)写在配置文件中。

步骤4、变电站前端高清摄像头采集到表计图片作为YOLOv4目标检测模型的输入，图片长宽尺寸统一归一化到416×416，便于模型的统一化处理。利用之前训练好的目标检测模型D，对表计图片进行表盘的定位，最终得到表盘区域图像。

步骤5、如图2所示，将表盘图像作为Mask R-CNN实例分割模型的输入，利用之前训练好的实例分割模型D′，对表盘图像进行指针的定位和掩膜，得到指针的像素掩膜区域。

步骤6、对指针掩膜区域像素使用线性拟合算法，定义算法的损失函数如式(1)所示：

式(1)中，n表示总的样本个数，y_i表示第i个样本的真实值，表示第i个样本的预测值。J一般称之为均方误差(Mean Square Error,MSE)。

对每一个指针的m个指针像素点建立线性回归模型：其中，/>是预测值，w即指拟合直线的斜率，b是指拟合直线的截距。使用均方误差(Mean Square Error,MSE)最小化算法，定义核心目标优化式如式(2)所示：

现在的任务是计算最小化J时斜率w和截距b的值，根据最小二乘算法原理，最终利用式(3)得到最优斜率w^*和最优截距b^*的最优闭式(closed-form)解：

步骤7、根据拟合直线的最优斜率w^*计算其角度α。若α＞0：则表示指针在第一或第三象限，当d₁＞d₃，则说明指针指向第一象限，α′＝α；当d₁＜d₃，则说明指针指向第三象限，α′＝α+180；若α＜0：则表示指针在第二或第四象限，当d₂＞d₄，则说明指针指向第二象限，α′＝α+180；当d₂＜d₄，则说明指针指向第四象限，α′＝α+360。

步骤8、计算指针相对角度α′之后，根据YOLOv4目标检测获得的表计类别信息，索引到配置文件中的对应表计参数：起始角度(refAngle)、角度量程(rangeAngle)、指针起始数值(startVal)、指针终止数值(endVal)，最终利用式(4)计算出表计的实际读数num：

步骤9、机器人在巡检周期下完成巡检区域内所有仪表盘的图像采集，并得到在巡检周期下的全部仪表数据，并利用socket协议传输给云端的服务器中保存。检测结果上传云端服务器可以实现无人抄表，减轻了人工抄表的负担。

Claims (1)

1.一种基于深度学习的电力表计识别方法，其特征是按如下步骤进行：

步骤1、基于YOLOv4算法对电力表计图像进行目标检测模型D的训练；

步骤1.1、采集变电站c种类别的待检测的c×M张表计图像样本；

步骤1.2、对c×M张表计图像样本进行标注，框出表计仪表盘所在的边界框，并记录各个边界框的坐标位置{x_min,y_min,x_max,y_max}和所属的类别i，从而得到标注后的表计图像样本作为目标检测的训练集合T；其中，(x_min,y_min)为边界框左上顶点坐标，(x_max,y_max)为边界框右下顶点坐标；

步骤1.3、构建基于YOLOv4算法的BackBone主干网络；

所述BackBone主干网络是由CSPDarknet53模块、Mish激活函数和Dropblock模块构成；

将训练集合T作为BackBone主干网络的输入并进行训练，从而得到表计图像仪表盘的目标检测模型D；

步骤2、基于MaskR-CNN算法对仪表盘图像进行实例分割模型D′的训练；

步骤2.1、使用目标检测模型D对c×M张待检测的表计图片样本进行仪表盘的检测，得到N个仪表盘图像；

步骤2.2、对N张仪表盘图像进行标注后，再对仪表盘的指针进行掩膜处理，以提取指针在仪表盘的位置，同时记录整个指针掩膜的坐标位置{(x₁,y₁),(x₂,y₂),······,(x_N,y_N)}，从而得到标注后的仪表盘图像作为实例分割的训练集合T′；其中，(x_N,y_N)表示第N张仪表盘图像的指针掩膜的坐标位置；

步骤2.3、构建实例分割Mask R-CNN算法的网络模型；所述网络模型是由特征图提取网络、区域推荐网络RPN、ROIAlign层和预测网络构成；

将训练集合T′作为网络模型的输入，并经过所述特征图提取网络得到对应的特征图，再通过所述区域推荐网络RPN在特征图上生成候选区域ROI，然后通过所述ROIAlign层得到固定尺寸的特征图并输入到所述预测网络中，以输出由类型、边界框、掩膜构成的像素级掩膜，从而得到指针掩膜的实例分割模型D′；

步骤3、使用线性回归算法对指针掩膜像素进行线性拟合，计算出指针的斜率和角度；

步骤3.1、使用实例分割模型D′对N个仪表盘图像进行处理，得到N个指针的像素级掩膜，且每一个指针的像素点坐标(x_i,y_i)在二维平面上均构成线性分布；

步骤3.2、对每一个指针的m个像素点建立线性回归模型，并使用均方误差最小化算法定义如式(1)所示的核心目标优化式：

式(1)中：w表示拟合直线的斜率，b表示拟合直线的截距；w^*表示最优斜率，b^*表示最优截距，并有：

式(2)中：表示m个像素点在x轴上坐标的平均值；

步骤3.3、根据拟合直线的最优斜率w^*计算其角度α，将指针像素所在区域切分成坐标四个象限，即：第一、二、三、四象限；

根据YOLOv4算法得到的仪表盘图像，计算表盘中心点坐标(x_c,y_y)；

根据Mask R-CNN算法得到的指针的像素级掩膜，计算每一个指针的像素点坐标(x_i,y_i)；

若α＞0：则表示指针在第一或第三象限，并计算指针右上顶点到中心点坐标(x_c,y_y)的距离d₁和指针左下顶点到中心点坐标(x_c,y_y)的距离d₃，当d₁＞d₃，则表示指针指向第一象限，当d₁＜d₃，则表示指针指向第三象限；

若α＜0：则表示指针在第二或第四象限，并计算指针左上顶点到中心点坐标(x_c,y_y)的距离d₂和指针右下顶点到中心点坐标(x_c,y_y)的距离d₄，当d₂＞d₄，则表示指针指向第二象限，当d₂＜d₄，则表示指针指向第四象限；根据所确定的指针指向，获得指针的实际角度α′；

步骤3.4、定义不同类型表计的配置信息为：起始角度refAngle、角度量程rangeAngle、指针起始数值startVal、指针终止数值endVal，并存储在配置文件中，由表计类别来索引；

根据YOLOv4算法检测出的表计类型，获取配置文件中对应的参数，并结合实际角度α′，从而利用式(3)计算出表计的实际读数num：