CN106951900A - 一种避雷器仪表读数的自动识别方法 - Google Patents

Abstract

本发明公开了一种避雷器仪表读数的自动识别方法，将避雷器仪表的识别分为区域分割和读数识别两部分；首先利用连通域检测算法和矩形拟合算法将仪表表盘分割成多个区域；然后利用先验知识检测这些区域，保留代表指针区域和数字区域的连通域；再次对两个连通域进行最小面积矩形拟合，得到两个具有偏转角度的矩形；根据角度对图像进行旋转校正，然后从校正图像中分割出指针和数字区域；最后，分别利用角度法和卷积神经网络法对指针区域和数字区域进行读数识别。本发明能够同时完成指针读数识别和数字读数识别，能够对图像进行有效的校正，提高读数的精确度。

Description

一种避雷器仪表读数的自动识别方法

技术领域

本发明属于图像识别技术领域，特别涉及一种避雷器仪表读数的自动识别方法。

背景技术

避雷器是变电站内专门用于限制雷电过电压或操作过电压的一种电气设备，内部含有一个电阻值随电压发生变化的阀片。在额定电压下，阀片电阻值很大，相当于一个绝缘体，此时流过该阀片的电流值很小且稳定；当两端电压超过阈值后，阀片被导通，会有很大的电流通过阀片，然后倒入大地，这样就避免了大电流冲击其他并联的设备，以此完成过电压保护；当电压恢复时，阀片状态恢复为绝缘，电流值也随之恢复。阀片在经受过电压冲击后，很可能受损，因此需要经常检测避雷器的工作状况。

为了便于检测避雷器的工作状况，设备上配置有一个避雷器仪表。仪表表盘上含有指针和数字两个读数区域：指针的读数代表流过避雷器的电流值，数字读数代表该避雷器受到雷击次数(经受过电压冲击的次数)。电流值的大小和避雷器异常状况直接相关，是巡检时需要记录的关键数据；为确保避雷器能够正常工作，在其受到过电压冲击后，需要进行一次彻底的人工检查，因此，雷击次数同样需要记录。目前，这种记录工作仍然由人工完成，这种方式一方面容易出现漏检，另一方面记录的数据和真实数据容易出现较大偏差。因此，需要一种自动化的仪表识别记录过程。

目前的仪表识别，所处理的对象都是具有单一读数区域的仪表。对于指针式仪表的识别，常用的方法是通过直线拟合检测表盘上的指针，然后利用角度信息和先验知识计算读数。这种方法适用于指针长度与表盘长度接近且指针颜色纹理较明显的仪表；当仪表位置较正时，指针读数比较精确，但是当拍摄的仪表出现倾斜时，识别的结果往往偏差较大。因此，不适合处理变电站内摆放位置不一的仪表，且对于避雷器仪表的指针识别失效。

对于数字式仪表的识别，方法较多，包括模板匹配法、统计决策法、BP神经网络法等。其中，模板匹配法是通过将待识别的数字和模板库中的模板数字进行比较，以相似度最大的那一个模板所对应的数字作为识别结果；该方法在识别印刷数字时效果很好，但是易受噪声干扰，不适合识别室外仪表。统计决策法难以反映数字中的细小特征，所以使用较少。BP神经网络法能够在训练过程中不断地学习和修改各级参数，从而达到对训练样本极佳的分类效果；但是它过度依赖于输入特征向量的选取。此外，目前所研究的数字式仪表，不需要进行区域的分割，重点都在分类识别上；而避雷器仪表中的数字区域较小，需要在分割后才能处理，所以要对现有的方法进行改进。

发明内容

本发明的目的是为了提供一种自适应强的、能够同时完成指针读数识别和数字读数识别的避雷器仪表读数的自动识别方法。

为此，本发明的技术方案是：一种避雷器仪表读数的自动识别方法，包括以下步骤：

1）图像预处理：利用高斯金字塔下采样图像，将输入的仪表图像降低分辨率，然后将彩色图像转换为灰度图像，并对灰度图像进行滤波处理；

2）区域分割：根据仪表识别区域的特点，确定图像分割的具体流程如下：

a1）边缘提取和形态学处理；使用Canny算子进行边缘检测，得到一个二值图像，然后利用膨胀处理连接断裂的边缘；

a2）连通域检测；以像素的8领域为邻接关系，寻找并标记图像中的连通域，整幅图像将被分成N个连通域；

a3）计算每个连通域的外接矩形；包含某个连通域的所有像素点的正矩形就是这个连通域的外接矩形；

a4）滤除干扰连通域；根据指针区域和数字区域在表盘的相对位置信息，可以滤除掉一些面积过小、面积过大、比例信息差距大等不正确的外界矩形，也即过滤掉不合格的连通域；设图像的分辨率为，外界矩形的信息为：，其中前两个信息代表矩形顶点的坐标，后两个信息代表举行的宽度和高度；当这个矩形满足以下（I）、（II）、（III）任一条件时，删除其所对应的联通域；如果剩余的连通域>2，占用的百分比最多的作为保留项；

（I）

（II）

（III）

如果将满足（I）、（II）、（III）中任一条件的联通域滤除后，剩余的连通域个数为2，则进入步骤a6），否则，对剩余的连通域按下式进行计算：，其中分子代表连通域内有效点的个数，分母代表外界矩形的面积；将计算结果进行排序，选出其中最大的两个，即为剩余的两个连通域；

a5）对剩余的两个连通域进行最小面积矩形拟合；最小面积矩形是指能够包含连通域内所有像素点的面积最小的矩形，而这个矩形很可能是倾斜的；

设拟合的两个矩形的中心点分别为和，偏转角分别为和，计算；

a6）根据校正彩色图像和二值图像；校正是通过空间变换将原始的图像映射为新的图像，将原始坐标按下式转换为新的坐标：其中，两行三列的矩阵称为仿射矩阵；

仪表图像校正时只进行旋转校正，不进行平移，因此仿射矩阵为: ；在进行空间变换时，从输出图像的像素点反过来寻找对应于输入图像的位置，若映射的像素点非整数，则利用一阶插值法计算该点像素值；若映射的像素点超出输入图像的范围，则将该点赋值为零；

a7）从校正的二值图像中分割出指针区域，并从校正的彩色图像中分割出指针区域和数字区域；

3）读数识别：避雷器仪表有指针和数字两个读数区域，使用Hough变换检测直线和角度法识别指针读数；使用投影法分割数字、神经网络法识别数字；完成整个仪表的读数识别。

进一步地，所述步骤2）中a2）所述的连通域检测具体步骤为：

b1）对图像进行逐行扫描，把每一个行中像素值为255的像素点组成一个整体，并标记它的行号、标记号、起点、终点，将这个整体所包含的所有像素点的像素值赋值为标记号；

b2）从第二行起，观察这一行联通的区域是否与上一行的区域相交，如果相交，则将该区域的标记号改为与他相交区域的标记号，所覆盖的像素点的像素值也改为标记号的值；否则不变；

b3）当图像扫描结束后，所有非零像素点的像素值均被更新；

b4）重新对图像进行扫描，将像素值相同的像素点看作一个连通域，这样整幅图像将被分成N个连通域。

进一步地，所述步骤2）中a7）所述的分割出指针区域，并从校正的彩色图像中分割出指针区域和数字区域的具体分割步骤为：

c1) 以校正后的二值图像为对象，检测其中的连通域，拟合连通域的外接矩形并计算矩形的中心点坐标；

c2) 将所有的中心点坐标和步骤a5）的和进行比较，保留坐标最接近的两个矩形；

c3) 从校正的图像中分别分割出。

进一步地，所述步骤3）中所述的指针识别的具体步骤如下：

d1) 计算指针区域的边界线角度；利用Hough变换检测区域的两条边界线，计算两条线段的角度；因为是从二值图像中分割的区域，只包含边界明显的线段，没有指针和刻度线的干扰，可以比较准确的检测到代表仪表边界的两条线段；

d2) 对区域进行灰度转换、同态滤波处理和分段线性变换处理；同态滤波通过将反射光和入射光分离，滤除其中的入射光，从而降低了光照对图像造成的影响；经过同态滤波处理后的图像对比度低，使用分段线性变换以图像的灰度均值为界限，提高整个图像的对比度；

d3) 图像二值化；使用最大类间方差法计算二值化阈值，然后得出二值化图像；

d4) 计算指针的偏转角；首先利用Hough变换检测二值化图像中的线段；然后筛选线段，在检测的多条线段中，过滤掉和边界线位置相近的线段，再从剩余线段中选出长度最大的一条；最后计算这条线段的角度；

d5) 计算读数；仪表的刻度范围是，则通过计算，得出指针读数。

进一步地，所述步骤3）中所述的数字识别的具体步骤如下：

e1) 以区域为对象，进行灰度转换、同态滤波处理和分段线性变换处理；同态滤波通过将反射光和入射光分离，滤除其中的入射光，从而降低了光照对图像造成的影响；经过同态滤波处理后的图像对比度低，使用分段线性变换以图像的灰度均值为界限，提高整个图像的对比度；进行灰度处理、滤波处理、分段线性变换、二值化；图像二值化；使用最大类间方差法计算二值化阈值，然后得出二值化图像；

e2) 单个数字分割；假设图像的分辨率为，逐行扫描该图像，得到一个含有个元素的一维数组，其中，第个元素的值代表第行的非0像素点个数；逐列扫描，得到一个含有个元素的一维数组，其中，第个元素的值代表第列的非0像素点个数；求的两个局部极小值所在位置，保留和内部区域，其余区域视为边界；求的局部极小值，会得到多个位置，根据仪表中数字的位置信息，筛选出代表数字边界的四个点；最后，按如下矩形信息分割数字：

和；

e3) 基于卷积神经网络的数字识别；卷积神经网络的结构使用内部5层结构，即，除输入、输出层外，选取两层卷积层、两层池化层和一层全链接层；其中，输入层将使用灰度图作为输入向量，输出层使用softmax多分类函数进行分类；训练样本直接使用投影分割的数字，每个数字的样本数量最少为50个；数字识别时，将直接使用训练好的神经网络进行分类，完成数字区域的读数识别。

本发明将避雷器仪表的识别分为区域分割和读数识别两部分。首先利用连通域检测算法和矩形拟合算法将仪表表盘分割成多个区域；然后利用先验知识检测这些区域，过滤掉没有意义的区域，保留代表指针区域和数字区域的连通域。再次对两个连通域进行最小面积矩形拟合，得到两个具有偏转角度的矩形；根据角度对图像进行旋转校正，然后从校正图像中分割出指针和数字区域。最后，分别利用角度法和卷积神经网络法对指针区域和数字区域进行读数识别。

本发明能够同时完成指针读数识别和数字读数识别，此外，本发明还能够克服室外环境对仪表图像造成的不良影响，具有良好的适应性；同时，能够对图像进行有效的校正，提高读数的精确度。

附图说明

以下结合附图和本发明的实施方式来作进一步详细说明

图1为本发明的***框图；

图2为本发明的区域分割流程图；

图3为本发明的读数识别流程图。

具体实施方式

参见附图。本实施例所述的一种避雷器仪表读数的自动识别方法，同时完成指针读数识别和数字读数识别的识别方法。利用连通域检测算法和矩形拟合算法完成两个读数区域的分割，然后分别利用角度法和卷积神经网络法对两个区域进行读数识别。整体结构图如图1所示。

具体包括以下步骤：

1）图像预处理：

输入的仪表图像一般是分辨率为1920×1080的彩色图像。对输入图像进行预处理的过程为：

f1)图像下采样。利用高斯金字塔下采样图像，处理后，将得到一个分辨率为960×540的彩色图像；

f2)彩色图像转换为灰度图像；

f3)滤波处理。以灰度图像为滤波对象，首先进行中值滤波，去除图像中的椒盐噪声；然后利用高斯滤波去除图像中的高斯噪声，同时平滑细小边缘。

2）区域分割

区域分割是进行后期读数识别前提条件，其分割效果的好坏直接影响读数识别的效果。本发明的对象是同时具有指针区域和数字区域的双区域仪表，根据仪表识别区域的特点，确定图像分割的具体流程如下：

a1）边缘提取和形态学处理；使用Canny算子进行边缘检测，得到一个二值图像，然后利用膨胀处理连接断裂的边缘；

a2）连通域检测；以像素的8领域为邻接关系，寻找并标记图像中的连通域，具体流程为：

b1）对图像进行逐行扫描，把每一个行中像素值为255的像素点组成一个整体，并标记它的行号、标记号、起点、终点，将这个整体所包含的所有像素点的像素值赋值为标记号；

b2）从第二行起，观察这一行联通的区域是否与上一行的区域相交，如果相交，则将该区域的标记号改为与他相交区域的标记号，所覆盖的像素点的像素值也改为标记号的值；否则不变；

b3）当图像扫描结束后，所有非零像素点的像素值均被更新；

b4）重新对图像进行扫描，将像素值相同的像素点看作一个连通域，这样整幅图像将被分成N个连通域；

a3）计算每个连通域的外接矩形；包含某个连通域的所有像素点的正矩形就是这个连通域的外接矩形；

a4）滤除干扰连通域；根据指针区域和数字区域在表盘的相对位置信息，可以滤除掉一些面积过小、面积过大、比例信息差距大等不正确的外界矩形，也即过滤掉不合格的连通域；设图像的分辨率为，外界矩形的信息为：，其中前两个信息代表矩形顶点的坐标，后两个信息代表举行的宽度和高度；当这个矩形满足以下（I）、（II）、（III）任一条件时，删除其所对应的联通域；如果剩余的连通域>2，占用的百分比最多的作为保留项；

（I）

（II）

（III）

如果将满足（I）、（II）、（III）中任一条件的联通域滤除后，剩余的连通域个数为2，则进入步骤a6），否则，对剩余的连通域按下式进行计算：，其中分子代表连通域内有效点的个数，分母代表外界矩形的面积；将计算结果进行排序，选出其中最大的两个，即为剩余的两个连通域；

a5）对剩余的两个连通域进行最小面积矩形拟合；最小面积矩形是指能够包含连通域内所有像素点的面积最小的矩形，而这个矩形很可能是倾斜的；

设拟合的两个矩形的中心点分别为和，偏转角分别为和，计算；

a6）根据校正彩色图像和二值图像；校正是通过空间变换将原始的图像映射为新的图像，将原始坐标按下式转换为新的坐标：其中，两行三列的矩阵称为仿射矩阵；

仪表图像校正时只进行旋转校正，不进行平移，因此仿射矩阵为:；在进行空间变换时，从输出图像的像素点反过来寻找对应于输入图像的位置，若映射的像素点非整数，则利用一阶插值法计算该点像素值；若映射的像素点超出输入图像的范围，则将该点赋值为零；

a7）从校正的二值图像中分割出指针区域，并从校正的彩色图像中分割出指针区域和数字区域。具体分割流程为：

c1) 以校正后的二值图像为对象，检测其中的连通域，拟合连通域的外接矩形并计算矩形的中心点坐标；

c2) 将所有的中心点坐标和步骤a5）的和进行比较，保留坐标最接近的两个矩形；

c3) 从校正的图像中分别分割出。

3）读数识别

避雷器仪表有指针和数字两个读数区域，本发明使用Hough变换检测直线和角度法识别指针读数；使用投影法分割数字、神经网络法识别数字；完成整个仪表的读数识别。具体流程如下。

指针识别的具体步骤如下：

d1) 计算指针区域的边界线角度；利用Hough变换检测区域的两条边界线，计算两条线段的角度；因为是从二值图像中分割的区域，只包含边界明显的线段，没有指针和刻度线的干扰，可以比较准确的检测到代表仪表边界的两条线段；

d2) 对区域进行灰度转换、同态滤波处理和分段线性变换处理；同态滤波通过将反射光和入射光分离，滤除其中的入射光，从而降低了光照对图像造成的影响；经过同态滤波处理后的图像对比度低，使用分段线性变换以图像的灰度均值为界限，提高整个图像的对比度；

d3) 图像二值化；使用最大类间方差法计算二值化阈值，然后得出二值化图像；

d4) 计算指针的偏转角；首先利用Hough变换检测二值化图像中的线段；然后筛选线段，在检测的多条线段中，过滤掉和边界线位置相近的线段，再从剩余线段中选出长度最大的一条；最后计算这条线段的角度；

d5) 计算读数；仪表的刻度范围是，则通过计算，得出指针读数。

数字识别的具体步骤如下：

e1) 以为对像，进行灰度处理、滤波处理、分段线性变换、二值化；同指针识别的步骤d2)和步骤d3)；

e2) 单个数字分割；假设图像的分辨率为，逐行扫描该图像，得到一个含有个元素的一维数组，其中，第个元素的值代表第行的非0像素点个数；逐列扫描，得到一个含有个元素的一维数组，其中，第个元素的值代表第列的非0像素点个数；求的两个局部极小值所在位置，保留和内部区域，其余区域视为边界；求的局部极小值，会得到多个位置，根据仪表中数字的位置信息，筛选出代表数字边界的四个点；最后，按如下矩形信息分割数字：

和；

e3) 基于卷积神经网络的数字识别；卷积神经网络的结构使用内部5层结构，即，除输入、输出层外，选取两层卷积层、两层池化层和一层全链接层；其中，输入层将使用灰度图作为输入向量，输出层使用softmax多分类函数进行分类；训练样本直接使用投影分割的数字，每个数字的样本数量最少为50个；数字识别时，将直接使用训练好的神经网络进行分类，完成数字区域的读数识别。

Claims (5)

1.一种避雷器仪表读数的自动识别方法，其特征在于：包括以下步骤：

1）图像预处理：利用高斯金字塔下采样图像，将输入的仪表图像降低分辨率，然后将彩色图像转换为灰度图像，并对灰度图像进行滤波处理；

2）区域分割：根据仪表识别区域的特点，确定图像分割的具体流程如下：

a1）边缘提取和形态学处理；使用Canny算子进行边缘检测，得到一个二值图像，然后利用膨胀处理连接断裂的边缘；

a2）连通域检测；以像素的8领域为邻接关系，寻找并标记图像中的连通域，整幅图像将被分成N个连通域；

a3）计算每个连通域的外接矩形；包含某个连通域的所有像素点的正矩形就是这个连通域的外接矩形；

a4）滤除干扰连通域；根据指针区域和数字区域在表盘的相对位置信息，可以滤除掉一些面积过小、面积过大、比例信息差距大等不正确的外界矩形，也即过滤掉不合格的连通域；设图像的分辨率为，外界矩形的信息为：，其中前两个信息代表矩形顶点的坐标，后两个信息代表举行的宽度和高度；当这个矩形满足以下（I）、（II）、（III）任一条件时，删除其所对应的联通域；如果剩余的连通域>2，占用的百分比最多的作为保留项；

（I）

（II）

（III）

如果将满足（I）、（II）、（III）中任一条件的联通域滤除后，剩余的连通域个数为2，则进入步骤a6），否则，对剩余的连通域按下式进行计算：，其中分子代表连通域内有效点的个数，分母代表外界矩形的面积；将计算结果进行排序，选出其中最大的两个，即为剩余的两个连通域；

a5）对剩余的两个连通域进行最小面积矩形拟合；最小面积矩形是指能够包含连通域内所有像素点的面积最小的矩形，而这个矩形很可能是倾斜的；

设拟合的两个矩形的中心点分别为和，偏转角分别为和，计算；

a6）根据校正彩色图像和二值图像；校正是通过空间变换将原始的图像映射为新的图像，将原始坐标按下式转换为新的坐标：其中，两行三列的矩阵称为仿射矩阵；

仪表图像校正时只进行旋转校正，不进行平移，因此仿射矩阵为: ；在进行空间变换时，从输出图像的像素点反过来寻找对应于输入图像的位置，若映射的像素点非整数，则利用一阶插值法计算该点像素值；若映射的像素点超出输入图像的范围，则将该点赋值为零；

a7）从校正的二值图像中分割出指针区域，并从校正的彩色图像中分割出指针区域和数字区域；

3）读数识别：避雷器仪表有指针和数字两个读数区域，使用Hough变换检测直线和角度法识别指针读数；使用投影法分割数字、神经网络法识别数字；完成整个仪表的读数识别。

2.如权利要求1所述的一种避雷器仪表读数的自动识别方法，其特征在于：所述步骤2）中a2）所述的连通域检测具体步骤为：

b1）对图像进行逐行扫描，把每一个行中像素值为255的像素点组成一个整体，并标记它的行号、标记号、起点、终点，将这个整体所包含的所有像素点的像素值赋值为标记号；

b2）从第二行起，观察这一行联通的区域是否与上一行的区域相交，如果相交，则将该区域的标记号改为与他相交区域的标记号，所覆盖的像素点的像素值也改为标记号的值；否则不变；

b3）当图像扫描结束后，所有非零像素点的像素值均被更新；

b4）重新对图像进行扫描，将像素值相同的像素点看作一个连通域，这样整幅图像将被分成N个连通域。

3.如权利要求1所述的一种避雷器仪表读数的自动识别方法，其特征在于：所述步骤2）中a7）所述的分割出指针区域，并从校正的彩色图像中分割出指针区域和数字区域的具体分割步骤为：

c1) 以校正后的二值图像为对象，检测其中的连通域，拟合连通域的外接矩形并计算矩形的中心点坐标；

c2) 将所有的中心点坐标和步骤a5）的和进行比较，保留坐标最接近的两个矩形；

c3) 从校正的图像中分别分割出。

4.如权利要求1所述的一种避雷器仪表读数的自动识别方法，其特征在于：所述步骤3）中所述的指针识别的具体步骤如下：

d1) 计算指针区域的边界线角度；利用Hough变换检测区域的两条边界线，计算两条线段的角度；因为是从二值图像中分割的区域，只包含边界明显的线段，没有指针和刻度线的干扰，可以比较准确的检测到代表仪表边界的两条线段；

d2) 对区域进行灰度转换、同态滤波处理和分段线性变换处理；同态滤波通过将反射光和入射光分离，滤除其中的入射光，从而降低了光照对图像造成的影响；经过同态滤波处理后的图像对比度低，使用分段线性变换以图像的灰度均值为界限，提高整个图像的对比度；

d3) 图像二值化；使用最大类间方差法计算二值化阈值，然后得出二值化图像；

d4) 计算指针的偏转角；首先利用Hough变换检测二值化图像中的线段；然后筛选线段，在检测的多条线段中，过滤掉和边界线位置相近的线段，再从剩余线段中选出长度最大的一条；最后计算这条线段的角度；

d5) 计算读数；仪表的刻度范围是，则通过计算，得出指针读数。

5.如权利要求1所述的一种避雷器仪表读数的自动识别方法，其特征在于：所述步骤3）中所述的数字识别的具体步骤如下：

e1) 以区域为对像，进行灰度转换、同态滤波处理和分段线性变换处理；同态滤波通过将反射光和入射光分离，滤除其中的入射光，从而降低了光照对图像造成的影响；经过同态滤波处理后的图像对比度低，使用分段线性变换以图像的灰度均值为界限，提高整个图像的对比度；进行灰度处理、滤波处理、分段线性变换、二值化；图像二值化；使用最大类间方差法计算二值化阈值，然后得出二值化图像；

e2) 单个数字分割；假设图像的分辨率为，逐行扫描该图像，得到一个含有个元素的一维数组，其中，第个元素的值代表第行的非0像素点个数；逐列扫描，得到一个含有个元素的一维数组，其中，第个元素的值代表第列的非0像素点个数；求的两个局部极小值所在位置，保留和内部区域，其余区域视为边界；求的局部极小值，会得到多个位置，根据仪表中数字的位置信息，筛选出代表数字边界的四个点；最后，按如下矩形信息分割数字：

和；

e3) 基于卷积神经网络的数字识别；卷积神经网络的结构使用内部5层结构，即，除输入、输出层外，选取两层卷积层、两层池化层和一层全链接层；其中，输入层将使用灰度图作为输入向量，输出层使用softmax多分类函数进行分类；训练样本直接使用投影分割的数字，每个数字的样本数量最少为50个；数字识别时，将直接使用训练好的神经网络进行分类，完成数字区域的读数识别。