CN109635806B - 基于残差网络的电表数值识别方法 - Google Patents

Abstract

一种基于残差网络的电表数值识别方法，包括图像采集装置、图像预处理模块、卷积神经网络；采用以下步骤，S1：图像采集装置采集电表图像，将该电表图像传送到图像预处理模块；S2：图像预处理模块对采集到的电表图像进行灰度化处理；S3：图像预处理模块对灰度化处理后的电表图像进行平滑滤波，消除电表图像中的噪声；S4：图像预处理模块对平滑滤波后的电表图像进行图像锐化处理。不仅解决了人工读数效率低、容易出错和已有的自动识表方法精度不足等诸多问题，而且顺应了智能化发展的新趋势，可应用于对电网仪表设备的监控，在电力***的工程应用中，具有很好的应用前景。

Description

基于残差网络的电表数值识别方法

技术领域

本发明涉及精密仪器领域，具体涉及基于残差网络的电表数值识别方法。

背景技术

指针式仪表作为一种测量仪器，广泛应用于社会生产生活中的各种领域，并发挥着举足轻重的作用。目前，对指针式仪表的读数主要由人工判读来完成，然而这种方法受人为因素的影响大，可靠性差、效率低。近年来，随着数字图像处理技术的不断发展和完善，指针式仪表的识别也获得了巨大的进步。Robert Sablatning等人基于机器视觉的图像处理技术，研究了水表和百分表的识别方法。这类仪表的指针可以在表盘上旋转0-360度，且刻度均匀分布。识别的过程主要包括：采用图像分割算法对图像上的表盘进行分割，利用Hough变换取得指针的偏转角度，通过角度法来确定读数。F.Correa Alegria等人^[5-6]针对指针式仪表的自动判读，利用机器视觉技术进行了研究，极大的扩充了自动识别***的可适用范围，能有效的对常见的电力表等进行识别。他们使用剪影法获得指针图像，并用Hough变换检测出两个指针间的夹角，完成读数识别，另外还提出了对数字式仪表的自动识别方法。综上所述，现阶段指针和刻度线的定位方法主要有剪影法、Hough变换法,这些方法大都假设仪表成像环境较为理想，即表盘放置规整、摄像头的光轴与表盘平面垂直、光照均匀。剪影法在光照充足时有较高的识别精度，但当环境较不理想时，识别精度很差；Hough方法在处理较粗的指针时，由于光照不均或其他因素的干扰，可能检测到的直线与实际指针中心线存在一定的偏差，影响了算法的识别精度。然而，实际测试工作的环境复杂，例如：有各种形式的表盘、照明光线不均匀、仪表表面的玻璃会产生反射、摄像头的光轴与表盘平面不垂直以及表盘倾斜等，这些因素都会对仪表图像的识别造成困难，大多数的识别方法将会产生较大的误差，甚至失效。

针对已有识表方法的不足，本文面向电力巡视检修电表的复杂环境，提出一种基于残差网络的电表数值识别方法，利用了深度学习中卷积神经网络对图像处理的强大能力，通过设计多层卷积神经网络对采集到的表盘图像信息进行智能识别，识别出表计的数字信息。基于深度学习的智能表计数值识别***主要包括离线训练和在线预测两个步骤。对于离线训练，我们通过历史人工收集到的表盘图像和表盘的刻度对卷积神经网络进行训练。对于在线预测，我们使用训练好的网络用于表计识别。具体实施时首先我们通过可穿戴设备上的摄像头采集电表数字码盘的图像信息，然后通过对采集到图像信息进行预处理，最后通过多层神经网络对预测处理后的图像进行识别，达到获取正确表计的目的。

发明内容

本发明针对现有技术的不足，提出基于残差网络的电表数值识别方法，具体技术方案如下：

一种基于残差网络的电表数值识别方法，其特征在于：包括图像采集装置、图像预处理模块、卷积神经网络；

采用以下步骤，

S1：图像采集装置采集电表图像，将该电表图像传送到图像预处理模块；

S2：图像预处理模块对采集到的电表图像进行灰度化处理；

S3：图像预处理模块对灰度化处理后的电表图像进行平滑滤波，消除电表图像中的噪声；

S4：图像预处理模块对平滑滤波后的电表图像进行图像锐化处理；

S5：图像预处理模块将锐化处理后的图像转变为二值图像；

S6：设置有训练数据集和标签集，采集N张通过人工抄表保存的电表图像，将每张电表图像中的表盘图像对应的刻度值作为标签数据，加入到标签集中；

将N张电表图像按照步骤2至步骤5依次进行预处理，将预处理后的电表图像加入到数据集中，所述标签集中的标签数据与所述数据集中的数据对应；

S7：建立卷积神经网络，对神经网络进行训练，该神经网络的训练方式为：

将数据集中的数据作为神经网络的输入，

设置f_all和Θ_all分别设为整个神经网络的识别函数和所有参数，整个神经网络的表达式为：

y＝f_all(IMG,Θ_all)

其中神经网络的输入为IMG，该IMG为输入的电表表盘的原始图像，该原始图像为历史通过人工抄表保存的表盘图像，标签数据为电表表盘的原始图像对应的刻度值，y为整个神经网络的输出；

得到整个网络的均方误差表达式为

通过最小化上式对神经网络进行训练，其中label为标签向量，该标签向量对应为表盘的刻度；

S8：将待处理数据集中经过预处理的图片作为输入参数输入到卷积神经网络中，该卷积神经网络的输出为电表读数。

进一步地：所述神经网络设置学习率为0.01，迭代步数为1000次，批处理大小设置为200，使用ADAM算法不断迭代缩小网络的损失函数值来更新网络的参数。

进一步地：所述S4中锐化处理方法采用的是拉普拉斯锐化。

本发明的有益效果为：本文以电网巡检中的指针式仪表为研究对象，结合图像处理技术和深度学习知识，利用卷积神经网络对图像具有高效处理的特点，提出了一种指针式仪表的自动识别方法。该方法通过多层卷积神经网络对预处理后的图像进行自动识别，不仅解决了人工读数效率低、容易出错和已有的自动识表方法精度不足等诸多问题，而且顺应了智能化发展的新趋势，可应用于对电网仪表设备的监控，在电力***的工程应用中，具有很好的应用前景。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

一种基于残差网络的电表数值识别方法，包括图像采集装置、图像预处理模块、卷积神经网络；

采用以下步骤，

S1：图像采集装置采集电表图像，将该电表图像传送到图像预处理模块；

S2：图像预处理模块对采集到的电表图像进行灰度化处理；

S3：图像预处理模块对灰度化处理后的电表图像进行平滑滤波，消除电表图像中的噪声；

S4：图像预处理模块对平滑滤波后的电表图像进行图像锐化处理；

S5：图像预处理模块将锐化处理后的图像转变为二值图像；

S6：设置有训练数据集和标签集，采集N张通过人工抄表保存的电表图像，将每张电表图像中的表盘图像对应的刻度值作为标签数据，加入到标签集中；

将N张电表图像按照步骤2至步骤5依次进行预处理，将预处理后的电表图像加入到数据集中，所述标签集中的标签数据与所述数据集中的数据对应；

S7：建立卷积神经网络，对神经网络进行训练，该神经网络的训练方式为：

将数据集中的数据作为神经网络的输入，

设置f_all和Θ_all分别设为整个神经网络的识别函数和所有参数，整个神经网络的表达式为：

y＝f_all(IMG,Θ_all)

其中神经网络的输入为IMG，该IMG为输入的电表表盘的原始图像，该原始图像为历史通过人工抄表保存的表盘图像，标签数据为电表表盘的原始图像对应的刻度值，y为整个神经网络的输出；

得到整个网络的均方误差表达式为

通过最小化上式对神经网络进行训练，其中label为标签向量，该标签向量对应为表盘的刻度；

S8：将待处理数据集中经过预处理的图片作为输入参数输入到卷积神经网络中，该卷积神经网络的输出为电表读数。

具体工作过程为，识别的对象是电表，用一个带有深度学习自动识别***的可穿戴设备去识别采集到的电表图像，可穿戴设备自动识别出表盘的指针所指的位置并把所指位置的度数显示出来，最终完成自动识表功能。其***模型如图1所示。自动识别***主要包括图像采集与预处理和基于深度学习的表盘自动识别。

图像采集与预处理过程为：

图像采集为，图像采集是实现可穿戴设备自动判读的第一个环节，该环节主要是在实际的生产生活环境中采集到指针式仪表的图像，传送到我们的可穿戴设备仪器进行判读。目前有很多图像采集设备能完成指针式仪表自动识别***中的图像采集需求，诸如数字摄像机、图像采集卡和数字图像信号采集卡等等。同时，在图像采集环节，采集到的图像质量越好，后期识别效果就越精确。好的图像应该十分清晰，具有较高的分辨率，图像的目标区域与背景区域的边界分明，且背景应该尽量简单，干扰因素少，包括光照多少也要适中。但是相应的，为了采集分辨率高的图像，对摄像机的要求就十分的高，价格也十分昂贵。且图像采集环境多种多样，有些环境背景复杂，有些环境光照很强或者很弱，这些环境也是在指针式仪表自动识别***的实际运用中经常遇见的。

图像预处理为，摄像头在采集仪表图像时由于受到光照、气候等各种原因使得采集的图像中可能含有噪声，影响最终识别结果的准确性。因此就需要利用图像处理的方法对从摄像头获得的彩色图像进行预处理，突出图像中有用信息，去除干扰信息，为下一步表盘定位和指针识别服务。对指针式仪表图像预处理主要包括以下步骤：图像的灰度化、图像平滑滤波、图像增强和图像二值化。

图像灰度化。由摄像头采集的图像是彩色图像，包含着大量的颜色信息，如果直接对彩色图像进行处理，不仅运算复杂而且占用的存储空间大。因此，在进行仪表指针定位前需要将彩色仪表图像转化为灰度图像。虽然灰度图像只包含亮度信息而没有颜色信息，但它也能反映整幅图像的色度和亮度等级的分布和特征，并且可以大大减少后续对仪表图像处理的计算量。

图像平滑滤波。在图像采集过程中由于各种因素的影响，会使采集的仪表图像中不可避免地出现各种噪声。噪声对图像后续的处理影响很大，会加大识别误差出现几率，导致识别错误，所以必须对仪表图像进行滤波处理，以抑制噪声、改善图像质量。对于单幅图像，噪声点的灰度值与周围像素的灰度值存在明显的差别，利用噪声点的这一特点可以通过滤波的方法去除噪声的影响。

图像锐化。在图像预处理过程中通常要对图像进行平滑处理以达到消除噪声的目的，在去噪过程中图像边缘会变得模糊，模糊的图像会影响仪表指针的定位与识别效果，不利于以后的边缘检测，所以需要对仪表图像进行锐化处理，图像锐化可以使图像边缘变得清晰。最常用的锐化方法是拉普拉斯锐化，拉普拉斯锐化可以有效地改善因扩散效应引起的图像模糊。

图像二值化。图像二值化将具有多灰度级的图像转变为二值图像，就是根据特定的条件将图像的灰度值转化为只用0和255两个值来表示的图像处理方法，图像二值化是数字图象处理的一个十分重要的环节，在图像分割方面具有广泛的应用。

基于深度学习的表盘识别设计为，数据采集，在训练网络之前，需要准备电表标识的数据集。首先我们采集大量的用摄像头已拍好的电表图像，剔除掉一些显示效果比较差的图片，用第3节的图像预处理方法对它们进行预处理，然后对样本添加标签进行以便于网络学习，在这里我们标签设为表盘指针所指向的刻度值。我们将预处理好的数据集分为训练集、验证集和测试集。在这里，我们的训练集为10000张电表图片，验证集为1000张电表图片，测试集为1000张电表图片。

基于卷积神经网络的表盘识别为，深度学习是人工智能的一种算法，它学习的过程主要是通过卷积网络对所识别的图像进行特征提取，卷积神经网络是深度学习中最经典的模型之一，近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法。它巧妙地利用很少的权重却达到了全连接网络实现不了的效果，具有结构简单、训练参数少和适应性强等特点，该特点在网络的输入是多维图像时表现更为明显。一个卷积网络一般包含若干卷积层和池化层，卷积神经网络在图像在处理时，要经过多层的卷积操作，随着卷积层数的增多，网络对于图像“理解”的更深，学习到的特征也会更全面。

首先采用一个残差神经网络(ResNet)对预处理后的图像进行识别，残差网络里面包含3个卷积层对特征进行提取，残差层后面连接一个池化层对残差网络输出的特征向量进行降维，然后将池化后得到的特征向量输入到一个全连接层，最后再将全连接层的输出输入到一个神经元里得到最终的电表数值。

传统的卷积层或全连接层在传递信息时，或多或少会存在信息丢失、损耗等问题，并且网络逐渐加深会对网络的反向传播能力提出挑战，层数多会导致梯度在多层传播时越来越小，直到梯度消失，表现结果为训练误差随层数增多越来越大。ResNet在某种程度上解决了这些问题，它是允许原始输入信息直接传输到后面的层中，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。

ResNet里的卷积层主要用于初始化输入数据和提取图片特征值，主要由一系列并行滤波器组成，这些滤波器通过一组权重连接到输入信号，沿着输入的频域计算卷积。通常，一个CNN网络中每个滤波器处理不同时序上的数据，通过滑动窗口对数据进行卷积求和。我们在本文中用一个滤波器简单的描述CNN网络，设卷积滤波器的卷积核大小为M×N，通过在待卷积数据上滑动滤波器，对MN个数据加权求和得到卷积输出。因此CNN的变换公式为:

其中，b为偏置，f(·)为激活函数，本文中使用的激活函数为relu激活函数，其表达式为：f(x)＝max(0,x)

残差网络里第一个卷积层包含2个卷积核，每个卷积核大小为3×3，输入图像经过第一个卷积层输出2个特征图；第二个卷积层包含4个卷积核，每个卷积核大小为4×4，图像经过第二个卷积层输出4个特征图，第三个卷积层包含1个卷积核，卷积核大小为5×5，图像经过第三个卷积层输出1个特征图，第三个卷积后的输出与原始输入相加得到残差层的输出，残差层后面连接着Maxpooling层，Maxpooling层通过移动池化窗口取窗口里的最大值，其变化表达式如下式所示：

x^*＝max(x) (2)

池化层主要用于降低计算时间并逐步建立起更高的空间和数据结构不变性，并通过比较小的降采样系数来表示原始的图片特征。其池化窗口大小为3×3，输入图像经过Maxpooling层后的图片大小将变为原来的三分之一。通过残差神经网络和池化层，我们压缩图片并且提取具有代表性的特征矢量，然后输入全连接层得到全连接的输出，最后通过一个神经元并利用relu激活函数输出最终的表盘刻度值。输入层是经过预处理后的图片，在本文中即为电表的表盘图像。为了训练神经网络，我们使用点对点的学习方式学习网络中的所有权重和偏置我们将f_all和Θ_all分别设为整个神经网络的识别函数和所有参数。因此整个神经网络的表达式为：

y＝f_all(IMG,Θ_all) (3)

其中IMG为原始输入的电表表盘图像，y为整个神经网络的输出。我们神经网络的输入为历史通过人工抄表保存的表盘图像，标签数据为每个表盘图像对应的刻度值。网络中的所有参数通过ADAM算法进行更新，以此我们可以得到整个网络的均方误差(MSE)表达式为

其中label为标签向量，即为真实的表盘刻度。我们通过最小化上式对神经网络进行训练。

至此，完成了基于深度学习的表盘识别***设计。

我们通过试验对所提方法进行验证。我们首先通过人工收集历史的表盘数据

然后，将预处理好的数据集图片输入到卷积神经网络里进行训练，设置学***均识别准确率可以达到90％。

Claims (2)

1.一种基于残差网络的电表数值识别方法，其特征在于：包括图像采集装置、图像预处理模块、卷积神经网络；

采用以下步骤，

S1：图像采集装置采集电表图像，将该电表图像传送到图像预处理模块；

S2：图像预处理模块对采集到的电表图像进行灰度化处理；

S3：图像预处理模块对灰度化处理后的电表图像进行平滑滤波，消除电表图像中的噪声；

S4：图像预处理模块对平滑滤波后的电表图像进行图像锐化处理；

S5：图像预处理模块将锐化处理后的图像转变为二值图像；

S6：设置有训练数据集和标签集，采集N张通过人工抄表保存的电表图像，将每张电表图像中的表盘图像对应的刻度值作为标签数据，加入到标签集中；

将N张电表图像按照步骤2至步骤5依次进行预处理，将预处理后的电表图像加入到数据集中，所述标签集中的标签数据与所述数据集中的数据对应；

S7：建立卷积神经网络，对神经网络进行训练，该神经网络的训练方式为：将数据集中的数据作为神经网络的输入，

设置f_all和Θ_all分别设为整个神经网络的识别函数和所有参数，整个神经网络的表达式为：

y＝f_all(IMG,Θ_all)

其中神经网络的输入为IMG，该IMG为输入的电表表盘的原始图像，该原始图像为历史通过人工抄表保存的表盘图像，标签数据为电表表盘的原始图像对应的刻度值，y为整个神经网络的输出；

得到整个网络的均方误差表达式为

通过最小化上式对神经网络进行训练，其中label为标签向量，该标签向量对应为表盘的刻度；

S8：将待处理数据集中经过预处理的图片作为输入参数输入到卷积神经网络中，该卷积神经网络的输出为电表读数；

所述卷积神经网络设置学习率为0.01，迭代步数为1000次，批处理大小设置为200，使用ADAM算法不断迭代缩小网络的损失函数值来更新网络的参数。

2.根据权利要求1所述基于残差网络的电表数值识别方法，其特征在于：所述S4中锐化处理方法采用的是拉普拉斯锐化。