CN110033037A - 一种数字式仪表读数的识别方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，为一种数字式仪表读数的识别方法。包括利用图像拼接得到实际仪表中多张连续图片；制作出实际仪表的单个数字框获得单个数字模板图片；将单个数字框置于连续图片的顶部，从顶向下滑动数字框，依次得到相应的连续图片及其标签值；将仪表图片集进行卷积神经网络训练；获得待测的实际仪表图片及单个数字框参数；运用模板匹配进行模板图匹配，按单个数字框参数切分得到若干单个数字图片，并与单个数字模板图片进行规定化处理；放入训练好的卷积神经网络得到连续型回归结果；对回归结果四舍五入，从而得到数字识别结果。本方法解决了数字遮挡和多个数字出现的读数问题，对数字相对位置进行回归处理，提高了识别精度。

Description

一种数字式仪表读数的识别方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种高效、准确的齿轮数字式仪表读数自动识别方法。

背景技术

随着智能机器人技术诞生与发展，在变电站应用方面，机器人巡检逐渐成为一种更优，更安全的巡检方式。但因为更换新型仪表难度大成本高，以及随着图像处理技术逐渐成熟和广泛运用，在机器人识别仪表读数方面，图像处理技术占据很大比重。但是在处理变电站中齿轮式数字仪表时，由于数字可能出现遮挡，多个数字的现象，运用传统数字分类识别方法会出现错读、无法检测的情况。因此，需要发明一种可以识别更高精度的方法，解决齿轮式数字仪表数字遮挡，多个数字的问题。

现有技术中数字式仪表自动识别读数方法的基本步骤是：智能机器人获取图像，获取数字显示区域，将分割的图像进行灰度化、均衡化和阈值处理，得到最大连通域作为数字区域，把原图片对应的区域的图片进行提取HOG特征，将特征运用之前训练的支持向量机进行分类处理得到识别结果。

在《基于全卷积网络的数字仪表字符识别方法》(蔡梦倩，张蕾，王炎，莫娟(四川大学计算机学院，成都610065)中，提出通过加权融合全卷积网络中多尺度多层级的特征，直接得到字符串的识别类别结果，而忽略复杂的预处理和定位过程。该方法创新的运用了多尺度多层级的特征，采用全卷积网络进行数字定位和结果数字分类。使得过程更加简单，但是位置定位不准确，并特征提取和选择方面很繁琐，难度大。并且也没有解决本文中提出的数字遮挡以及多个数字出现时读数的问题。

在中国专利CN109034160A中提出一种基于卷积神经网络的带小数点数字仪表自动识别方法，对带有LED灯数字仪表进行运用深度卷积神经网络对字符进行分类处理。解决数字中含有小数点识别的问题，但是该方法无法解决数字遮挡问题。

在中国专利CN109255336A中提出了一种基于Adaboost分类器对仪表进行定位，运用模板匹配和卷积神经网络对区域分割下的单个数字进行识别，但是在进行区域分割时由于光照，污点以及阴影对区域分割影响较大，并且仪表可能出现数字部分遮挡和多个数字的情况，就使得切割下单个数字无法正确分类。

从以上分析可以看出，在现有的数字仪表自动读数方法中，大多采用对数字进行分类的方法进行识别，并且没有考虑数字遮挡和多个数字的问题。因此，有必要提供一种可以解决数字部分遮挡以及多个数字同时出现的识别方法。但在进行数字定位时，若采用阈值处理然后区域分割的方法，会因光照，角度倾斜等因素出错，从而导致识别错误。若采用人工智能算法进行多尺度扫描检测，会使得算法时间消耗过大，不满足工业的实时性。

发明内容

基于现有技术存在的问题，本发明提出了一种数字式仪表读数的识别方法，包括仪表图片集训练阶段和待测仪表图片识别阶段；

其中，所述仪表图片集训练阶段包括：

步骤一：利用图像拼接得到实际仪表中各个数字连续跳变的多张连续图片；

步骤二：选择仪表模板图，制作出实际仪表的单个数字框，得到单个数字模板图片，并获得相应参数；

步骤三：将各个单个数字框置于连续图片的顶部，从顶向下滑动数字框，依次得到相应的连续图片及其标签值，即为仪表图片集；

步骤四：将仪表图片集作为训练样本，进行卷积神经网络训练；

所述待测仪表图片识别阶段包括：

步骤一：获得待测的实际仪表图片，获取相应的仪表型号，获得单个数字框参数；

步骤二：运用模板匹配进行模板图匹配对齐，按单个数字框参数切分得到若干单个数字图片，并与单个数字模板图片进行规定化处理；

步骤三：将规定化处理后的单个数字图片放入已经训练好的卷积神经网络得到连续型回归结果；

步骤四：对回归结果四舍五入，从而得到数字识别结果；

其中，各个数字连续跳变的多张连续图片表示从数字0依次到数字9再到数字0的连续图片。

进一步的，所述利用图像拼接得到实际仪表中数字连续跳变的连续图片；包括：

1)以固定焦距拍摄包含仪表数字的仪表图片；

2)将仪表图片均衡化，并进行自适应阈值处理，从而将数字与背景分割开；

3)获取最大连通域，即为中央的数字区域，分割出对应数字区域，将分割出的数字图片以数字连续跳变的方式进行排列，按照仪表类型间隔相同距离排布背景图上，最终得到各个数字连续跳变的多张连续图片。

进一步的，仪表图片集的获取方式包括以仪表数字区域大小的窗口，在连续图片上进行滑动，每隔固定距离N选取一张图片，并修改标签值，即图像集。

进一步的，卷积神经网络的训练包括卷积神经网络结构包括顺次连接的2个卷积层以及1个全连接层，层与层之间均通过最大池化层进行分隔，所有隐含层的激活单元都采用线性整流函数。具体的，依次为第一卷积层、第一最大池化层、第二卷积层、第二最大池化层以及全连接层。

进一步的，所述卷积神经网络的训练具体包括：

利用第一卷积层的卷积核采用卷积层公式对大小为(n_p,m_p)的输入图像进行卷积；将卷积后的结果经过最大池化层池化后输出为((n_p-n_c+1)/2)*((m_p–m_c+1)/2)*k₁的输出神经元；再依次经过第二卷积层和第二最大池化层最后输出变成((n_p-3n_c+3)/4)*((m_p-3m_p+3)/4)*k₂的输出神经元；将该输出神经元作为第一全连接层的输入，第一全连接层对其每一个输入的神经元进行加权求和得到其输出神经元的值，再将第一全连接层输出的输出神经元经过一个第二全连接层，最终得到一个输出神经元；经过迭代更新加权求和中的权值，直至其损失最小；其中，k₁表示第一卷积层的卷积核个数；k₂表示第二卷积层的卷积核个数；n_p表示输入图像的宽，m_p表示输入图像的高；n_c表示卷积层卷积核的宽，m_c表示卷积层卷积核的高。

进一步的，所述卷积层公式为：

其中，表示第L+1卷积层输入图像在(j，k)位置的像素值；σ表示激活函数；表示第L卷积层输入图像在(j+n，k+m)位置的像素值，j∈{1,2,...,n_p-n_c+1}；k∈{1,2,..,m_p-m_c+1}；b^L+1表示在L+1卷积层偏置；W^L+1表示L+1卷积层的卷积核。

进一步的，所述损失的计算公式为：

其中，W表示卷积层的卷积核；b表示偏置；x表示训练数据的输入；y表示训练数据正确的标签；a^L表示卷积层正向传播公式，即第L卷积层层神经元的输出。

进一步的，所述第L层的输出神经元的计算公式为：a^L＝σ(a^L-1*W^L+b^L)；a^L-1表示第L-1卷积层的输出神经元；b^L表示在第L卷积层的偏置；W^L表示L卷积层的卷积核。

进一步的，所述更新中采用的方法为反向传播算法，更新公式如下：

其中，←表示更新；η是梯度下降的学习率。

本发明中，利用链式求导法，求得W和b的梯度；具体如下：

其中，⊙表示矩阵内积；δ^L表示第L卷积层上的误差，

则有：

继续使用链式求导法可以得出：

z^L+1＝W^L+1a^L+b^L+1＝W^L+1σ(z^L)+b^L+1

则

代入求解得

对于最大池化层，误差向上传播；

上式最右侧两项分别表示对池化层求导和对激活函数求导。其中最大池化层的unsample就为将误差指定给小范围矩阵像素最大值的点。

对于全连接层的输出层上：

所以根据通过下一层误差δ^L+1来表示上一层误差δ^L从而就可以通过反向传播误差，实现权值更新。从而使得损失函数逐渐减小，使得训练结果与实际标签相差更小。

进一步的，所述模板匹配包括将实际图片灰度化后与模板图模板匹配对齐，并按单个数字区域参数切分，得到实际图片内若干张单个数字图片；将得到的若干张单个数字图片分别与灰度化后的模板图单个数字图片进行规定化处理，即将图片的像素分布调整到和模板图一致；以[N,M]大小的图片中点为中心，对包含图像2/3区域进行搜索，计算每个位置误差度：X_i,j表示测试样本在(i，j)的像素值；X′_i,j表示模板图在(i,j)的像素值；i表示横坐标，j表示纵坐标；找到误差度最小位置对齐后，按模板图的单个数字区域切分实际图片得到单个数字图片。

本发明的有益效果：

1、本发明通过构建连续性图片及其标签值能够有效的解决数字遮挡、多个数字以及实时性的问题。

2、本发明通过构建连续型图片以及标签值，可以很大程度减小样本采集的工作量和避免人工标注标签的主观性。

3、本方法解决了数字遮挡和多个数字出现的读数问题，并对预处理的要求低，对光照、阴影等干扰具有较强的鲁棒性，对数字相对位置进行回归处理，可以提高识别精度。

4、本发明运用简单的卷积神经网络结构，实现对数字式仪表读数的识别。并且通过网络自学习特征，则无需对数字图像进行特征提取，并且对数字的偏移和数字的仿射变换具有很强得到鲁棒性。

附图说明

图1为本发明采用的方法流程图；

图2为本发明采用的仪表图片；

图3为本发明采用的数字连续跳变的连续图；

图4为本发明采用的单个数字区域剪切图；

图5为本发明采用的规定化后的单个数字图；

图6为本发明采用的卷积神经网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明提出了一种数字式仪表读数的识别方法，包括仪表图片集训练阶段和待测仪表图片识别阶段；如图1所示，具体包括以下步骤：

(1)利用图像拼接技术拍摄实际仪表，如图2所示，从而形成如图3所示的0～9～0的多张连续图片，即01234567890。

(2)人工选择一张清晰的仪表模板图，人工选定并制作实际单个数字框，得到单个数字模板图片，并记录相应参数。

(3)把数字框放在连续图片顶部，从顶向下滑动数字框，得到相应的连续图片与标签值，即为图片集。

(4)将图片集作为训练样本，进行卷积神经网络训练。

(5)获得实际仪表图片，读取相应的仪表型号，读取单个数字框参数。

(6)运用模板匹配进行模板图匹配对齐，按单个数字框参数切分得到若干如图4所示的单个数字图片并与如图5所示的单个数字模板图片进行规定化处理。

(7)将规定化后的单个数字图片放入已经训练好的如图6所示的卷积神经网络，从而得到连续型回归结果。

(8)对回归结果四舍五入得到数字识别结果。

所述图像拼接方式具体为：

在固定焦距的情况下，拍摄数字0-9在区域中央的仪表图片。然后将图片均衡化，自适应阈值处理，从而将数字与背景分割开。获取最大连通域，即为中央的数字区域，分割出对应数字区域，然后将切割出的数字图片以0～9～0数字排列方式，间隔相同距离排布黑色背景图上，最终得到0～9～0数字排列的连续图片，如图2。其中间隔距离由仪表类型决定。本领域技术人员可根据实际情况进行相应的处理。

所述样本图片制作具体为：运用前面得到的连续图片，运用仪表数字区域大小的窗口，在连续图片上进行滑动，每隔固定距离取一张图片，修改相应的标签值并保存，即图像集。

所述模板匹配包括：将实际图片灰度化后与模板图模板匹配对齐，并按单个数字区域参数切分，得到实际图片内若干张单个数字图片；将得到的若干张单个数字图片分别与灰度化后的模板图单个数字图片进行规定化处理；即图片的像素分布调整到和模板图一致或大致一致；以[N,M]大小的图片中点为中心，对包含图像2/3区域进行搜索，计算每个位置误差度：X_i,j表示测试样本在(i，j)的像素值；X′_i,j表示模板图在(i,j)的像素值；i表示横坐标，j表示纵坐标；找到误差度最小位置对齐后，按模板图的单个数字区域切分实际图片得到单个数字图片。

找到误差度最小位置对齐后，按模板图的单个数字区域切分实际图片得到单个数字图片。

所述得到的目标图进行训练好的卷积神经网络模型进行检测，卷积神经网络模型，样本采用32*32*1的图像作为输出，2个卷积层，2个池化层，2个全连接层，层与层之间使用max-pooling(最大化池)分开，所有隐含层的激活单元都采用线性整流函数，如图6样本经过第一个卷积核为5*5，步长为1，通道数32，卷积层之后得到28*28*32的特征图，再经过池化核为2*2，步长为2的池化层，得到14*14*32的压缩特征；然后再经过相同的参数卷积层和池化层后，最后得到了5*5*64的特征图，作为全连接层的输入，然后经过两个全连接层，第一个全连接层的输入为1024个神经元，输出为512个神经元。第二个全连接层的输入为512个神经元，输出为1个神经元，即最终检测结果。然后计算损失，并进行迭代5300次。

得到需检测的数字图像，然后经过步骤(2)，(3)得到的卷积神经网络模型进行检测，实例得到的结果分别为9.1、6.1、7.2的检测结果。将结果四舍五入处理得到967的识别结果。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数字式仪表读数的识别方法，包括仪表图片集训练阶段和待测仪表图片识别阶段；其特征在于，

所述仪表图片集训练阶段包括：

步骤一：利用图像拼接得到实际仪表中数字连续跳变的连续图片；

步骤二：选择仪表模板图，制作出实际仪表的单个数字框，得到单个数字模板图片，并获得相应参数；

步骤三：将各个单个数字框置于连续图片的顶部，从顶向下滑动数字框，依次得到相应的连续图片及其标签值，即为仪表图片集；

步骤四：将仪表图片集作为训练样本，进行卷积神经网络训练；

所述待测仪表图片识别阶段包括：

步骤一：获得待测的实际仪表图片，获取相应的仪表型号，获得单个数字框参数；

步骤二：运用模板匹配进行模板图匹配对齐，按单个数字框参数切分得到若干单个数字图片，并与单个数字模板图片进行规定化处理；

步骤三：将规定化处理后的单个数字图片放入已经训练好的卷积神经网络得到连续型回归结果；

步骤四：对回归结果四舍五入，从而得到数字识别结果；

其中，各个数字连续跳变的多张连续图片表示从数字0依次到数字9再到数字0的连续图片。

2.根据权利要求1所述的一种数字式仪表读数的识别方法，其特征在于，所述利用图像拼接得到实际仪表中各个数字连续跳变的多张连续图片包括：

1)以固定焦距拍摄包含仪表数字的仪表图片；

2)将仪表图片均衡化，并进行自适应阈值处理，从而将数字与背景分割开；

3)获取最大连通域，即为中央的数字区域，分割出对应数字区域，将分割出的数字图片以数字连续跳变的方式进行排列，按照仪表类型间隔相同距离排布背景图上，最终得到各个数字连续跳变的多张连续图片。

3.根据权利要求1所述的一种数字式仪表读数的识别方法，其特征在于，仪表图片集的获取方式包括以仪表数字区域大小的窗口，在连续图片上进行滑动，每隔固定距离N选取一张图片，并修改标签值，即当前窗口图片的示数。

4.根据权利要求1所述的一种数字式仪表读数的识别方法，其特征在于，卷积神经网络的训练包括卷积神经网络结构包括顺次连接的2个卷积层以及1个全连接层，层与层之间均通过最大池化层进行分隔，所有隐含层的激活单元都采用线性整流函数。

5.根据权利要求4所述的一种数字式仪表读数的识别方法，其特征在于，所述卷积神经网络的训练具体包括：

利用第一卷积层的卷积核采用卷积层公式对大小为(n_p,m_p)的输入图像进行卷积；将卷积后的结果经过最大池化层池化后输出为((n_p-n_c+1)/2)*((m_p–m_c+1)/2)*k₁的输出神经元；再依次经过第二卷积层和第二最大池化层最后输出变成((n_p-3n_c+3)/4)*((m_p-3m_p+3)/4)*k₂的输出神经元；将该输出神经元作为第一全连接层的输入，第一全连接层对其每一个输入的神经元进行加权求和得到其输出神经元的值，再将第一全连接层输出的输出神经元经过一个第二全连接层，最终得到一个输出神经元；经过迭代更新加权求和中的权值，直至其损失最小；其中，k₁表示第一卷积层的卷积核个数；k₂表示第二卷积层的卷积核个数；n_p表示输入图像的宽，m_p表示输入图像的高；n_c表示卷积层卷积核的宽，m_c表示卷积层卷积核的高。

6.根据权利要求5所述的一种数字式仪表读数的识别方法，其特征在于，所述卷积层公式包括：

其中，表示第L+1卷积层输入图像在(j，k)位置的像素值；σ表示激活函数；表示第L卷积层输入图像在(j+n，k+m)位置的像素值，j∈{1,2,...,n_p-n_c+1}；k∈{1,2,..,m_p-m_c+1}；b^L+1表示在L+1卷积层偏置；W^L+1表示L+1卷积层的卷积核。

7.根据权利要求5所述的一种数字式仪表读数的识别方法，其特征在于，所述损失的计算公式为：

其中，W表示卷积层的卷积核；b表示偏置；x表示训练数据的输入；y表示训练数据正确的标签；a^L表示卷积层正向传播公式，即第L卷积层神经元的输出。

8.根据权利要求7所述的一种数字式仪表读数的识别方法，其特征在于，所述第L层的输出神经元的计算公式为：a^L＝σ(a^L-1*W^L+b^L)；a^L-1表示第L-1卷积层的输出神经元；b^L表示在第L卷积层的偏置；W^L表示L卷积层的卷积核。

9.根据权利要求8所述的一种数字式仪表读数的识别方法，其特征在于，所述更新中采用的方法为反向传播算法，更新公式如下：

其中，←表示更新；η是梯度下降的学习率。

10.根据权利要求8所述的一种数字式仪表读数的识别方法，其特征在于，所述模板匹配包括将实际图片灰度化后与模板图模板匹配对齐，并按单个数字区域参数切分，得到实际图片内若干张单个数字图片；将得到的若干张单个数字图片分别与灰度化后的模板图单个数字图片进行规定化处理，即将图片的像素分布调整到和模板图一致；以[N,M]大小的图片中点为中心，对包含图像2/3 区域进行搜索，计算每个位置误差度：X_i,j表示测试样本在(i，j)的像素值；X′_i,j表示模板图在(i,j)的像素值；i表示横坐标，j表示纵坐标；找到误差度最小位置对齐后，按模板图的单个数字区域切分实际图片得到单个数字图片。