CN111160337B - 一种指针式仪表读数的自动识别方法、***、介质及设备 - Google Patents

Abstract

本发明涉及一种指针式仪表读数的自动识别方法、***、介质及设备，其中的方法包括：对获取的包含表盘的目标区域的图像进行预处理；从经过预处理的目标区域的图像中提取表盘图像；从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。本发明通过对所获取的包含表盘的目标区域的图像进行图像处理来自动完成对指针式仪表的读数识别，可以减少仪表自动化识别过程中人工的参与，帮助巡检机器人顺利的完成巡检任务，适用于各种指针式仪表识别，具有很好的实用性和拓展性。

Description

一种指针式仪表读数的自动识别方法、***、介质及设备

技术领域

本发明涉及图像模式识别领域，尤其涉及一种指针式仪表读数的自动识别方法、***、介质及设备。

背景技术

指针式仪表以其构造简单，价格便宜，性能可靠，方便维护，抗磁抗干扰能力强等优势，大范围的被应用于智能变电站。智能变电站中采用巡检机器人对指针式仪表进行巡检，巡检机器人主要执行的任务过程主要包括：按照基于变电站环境所规划的路径行走，到达巡检点，云台带动摄像头对准要检测的仪表并拍摄仪表图像，现有的巡检机器人无法对仪表的读数进行自动识别，需要将仪表图像传输给运维人员，以便运维人员通过仪表图像进行人工读数，自动化程度较低。

发明内容

针对上述技术问题，本发明提供一种指针式仪表读数的自动识别方法、***、介质及设备。

本发明解决上述技术问题的技术方案如下：一种指针式仪表读数的自动识别方法，包括：

对获取的包含表盘的目标区域的图像进行预处理；

从经过预处理的目标区域的图像中提取表盘图像；

从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；

根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。

本发明的有益效果是：通过对所获取的包含表盘的目标区域的图像进行图像处理来自动完成对指针式仪表的读数识别，可以减少仪表自动化识别过程中人工的参与，帮助巡检机器人顺利的完成巡检任务，适用于各种指针式仪表识别，具有很好的实用性和拓展性。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述从经过预处理的目标区域的图像中提取表盘图像，具体包括：

采用SURF算法对经过预处理的目标区域的图像和表盘正面图像进行配准，求解出透视变换矩阵，按照所述透视变换矩阵对所述经过预处理的目标区域的图像进行仿射变换；

采用霍夫圆变换从经过仿射变换的目标区域的图像中提取表盘图像。

采用上述进一步方案的有益效果是，可将由于观测角度而被拉伸的图像通过仿射变换纠正成正面图像，提高指针式仪表的读数精确性。

进一步，从所述表盘图像中确定指针位置，具体包括：

沿径向搜索所述表盘图像中的各个圆环区域，计算所述各个圆环区域的非零像素和，将其中非零像素和最小值对应的圆环区域作为目标圆环区域；

采用八邻域轮廓跟踪所述目标圆环区域中的每一个非零像素点，确定指针的位置。

进一步，从所述表盘图像中确定最小刻度线位置和最大刻度线位置，具体包括：

根据所述表盘图像的HSV特征提取所述表盘图像中的刻度线区域，根据所述刻度线区域确定最小刻度线位置和最大刻度线位置。

进一步，根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数，具体包括：

将所述指针和所述最小刻度线之间夹角的度数与所述最小刻度线和所述最大刻度线之间夹角的度数之比与指针式仪表的最大刻度值相乘，得到所述指针式仪表的读数。

为实现上述发明目的，本发明还提供一种指针式仪表读数的自动识别***，包括：

图像预处理模块，用于对获取的包含表盘的目标区域的图像进行预处理；

图像提取模块，用于从经过预处理的目标区域的图像中提取表盘图像；

位置确定模块，用于从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；

读数计算模块，用于根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。

进一步，所述图像提取模块，具体包括：

图像纠正单元，用于采用SURF算法对经过预处理的目标区域的图像和表盘正面图像进行配准，求解出透视变换矩阵，按照所述透视变换矩阵对所述经过预处理的目标区域的图像进行仿射变换；

表盘提取单元，用于采用霍夫圆变换从经过仿射变换的目标区域的图像中提取表盘图像。

进一步，所述读数计算模块，具体用于：

将所述指针和所述最小刻度线之间夹角的度数与所述最小刻度线和所述最大刻度线之间夹角的度数之比与指针式仪表的最大刻度值相乘，得到所述指针式仪表的读数。

本发明还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述方法。

本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

附图说明

图1为本发明实施例提供的一种指针式仪表读数的自动识别方法的流程图；

图2为本发明实施例对指针式仪表图像处理过程中的效果图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种指针式仪表读数的自动识别方法的流程图，该方法中的各个步骤可基于windows10操作***下的Visual Studio2015，以及版本为3.0.4的开源OpenCV库中的各个库函数实现。

如图1所示，该方法包括：

S1、对获取的包含表盘的目标区域的图像进行预处理；

具体的，将通过巡检机器人拍摄的表盘存储为图像，然后读入图像并进行预处理，预处理包括去噪、灰度化和5x5高斯卷积核进行平滑滤波处理等过程。

S2、从经过预处理的目标区域的图像中提取表盘图像；

具体的，该步骤中，基于表盘的圆形特征，可采用Hough霍夫圆变换方法提取出目标区域图像中的表盘图像，从而确定表盘图像所在圆面的圆中心和对应的半径。

S3、从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；

具体的，该步骤中，采用图像识别算法确定表盘图像中指针位置、最小刻度线位置和最大刻度线位置，其中，基于指针所在圆环的干扰因素最少这一先验知识，对步骤S2中获取的表盘图像做帧差处理，即选取合适圆环区间半径，每次用上一帧与当前帧的同心但不同半径的圆盘做差，则可获取相应的圆环区域，计算每个圆环区域的非零像素和，得到非零像素和最小值对应的圆环区域则是干扰因素最小的圆环即为所求，在指针所在圆环区域中，计算每一个非零像素点的八邻域特征，获取连续的指针轮廓，输出其中的指针中心对应的坐标，连接圆心和指针中心所在位置的坐标即为检测到的指针的位置。

另外，指针式仪表的刻度线区域一般会采用红色和绿色进行标识，因此，可根据不同颜色的HSV特征，分别提取刻度线的红色区域和绿色区域，找到两个区域中y值最大的像素点，所找到的两个像素点与圆心的连线即为对应的最小刻度线位置和最大的刻度线位置。

S4、根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。

具体的，由于指针式仪表一般采用均匀的刻度，该步骤中，可将所述指针和所述最小刻度线之间夹角的度数与所述最小刻度线和所述最大刻度线之间夹角的度数之比与指针式仪表的最大刻度值相乘，即可得到所述指针式仪表的读数。

本发明实施例提供的一种指针式仪表读数的自动识别方法,通过对所获取的包含表盘的目标区域的图像进行图像处理来自动完成对指针式仪表的读数识别，可以减少仪表自动化识别过程中人工的参与，帮助巡检机器人顺利快速地完成巡检任务，可适用于气压表、泄露电流表等各种指针式仪表识别，具有很好的实用性和拓展性。

可选地，在该实施例中，步骤S2具体包括：

S2.1、采用SURF(Speeded Up Robust Features,加速鲁棒特征)算法对经过预处理的目标区域的图像和表盘正面图像进行配准，求解出透视变换矩阵，按照所述透视变换矩阵对所述经过预处理的目标区域的图像进行仿射变换；

具体的，在实际运行过程中，当巡检机器人没有到达指定的巡检点，或者巡检机器人的云台高度和仪表放置的高度相差较大时，观测角度会出现仰视或斜视等情况，如图2中a部分所示，此时抓取的仪表图像会出现一定的拉伸程度，影响读数的准确性，针对这一问题，步骤S2.1中利用SURF配准算法对图像进行矫正，具体过程是：

首先获取标准的模板仪表图像，提取所检测的仪表图像与标准的模板图像的SURF特征矩阵，保存匹配效果较好的四对点，最后求解透视变换矩阵。

透视变换原理如下：

透视变换的本质是将图像投影到一个新的视平面，其通用公式为：

x＝x′/w′,y＝y'/w'

式(1)和式(2)中，[x' y' w']是变换后的坐标，[u v w]是变换前的坐标，a矩阵是透视变换矩阵，(u，v)为原始图像像素坐标,(x,y)是变换后像素坐标，由于处理的是二维图像，所以变换前的坐标中的w恒为1，即式(1)的透视变换矩阵中的a₃₃恒为1。

按照上述透视变换矩阵对经过预处理的目标区域的图像进行仿射变换，即可获取到纠正后的表盘图像，如图2中b部分所示。

S2.2、采用霍夫圆变换从经过仿射变换的目标区域的图像中提取表盘图像。

具体的，步骤S2.2的具体过程是：首先用Canny算法对图像进行边缘提取，再对图像进行二值化处理，获取图像的边缘。计算图像边缘中非零像素点在x和y方向的导数，获取图像的梯度，其中，计算图像梯度的公式如下：

G_x＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)+(-2)*f(x1,y)+0*f(x,y)+2*f(x-1,y)+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1) (3)

G_y＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1) (4)

式(3)和式(4)中，G_x和G_y分别为图像在(x,y)点处在x方向和y方向上的梯度，f()为灰度变换函数，f(a,b)表示图像在(a,b)点的灰度值。

然后利用式(5)和式(6)来计算在每个像素点位置的梯度和梯度方向：

ang(x,y)＝arctan(G_y/G_x) (6)

式中G(x,y)表示(x,y)位置像素的梯度值，ang(x,y)表示(x,y)处像素的梯度方向。

然后从梯度的方向和其相反的方向，对半径参数最小值和最大值范围内的每一个像素，在累计器中进行叠加计算，并且记下这些像素点的位置信息，最后在累加器中挑选候选中心，所有的候选中心按照总和大小降序排列，挑选出总和最大的候选中心为最佳中心，然后找到最大支持的一条半径，作为表盘所在圆面的圆心和半径。另外，对于中心有镂空部分的指针式仪表，还需要利用mask掩膜去掉表盘中心的镂空部分，从而提取出表盘的圆环区域，如图2中c部分所示。

该实施例中，将由于观测角度而被拉伸的图像通过仿射变换纠正成正面图像，再进行后续的读数识别，提高指针式仪表的读数精确性。

可选地，在该实施例中，步骤S3中从所述表盘图像中确定指针位置，具体包括：

S3.1、沿径向搜索所述表盘图像中的各个圆环区域，计算所述各个圆环区域的非零像素和，将其中非零像素和最小值对应的圆环区域作为目标圆环区域；

具体的，该步骤中，可沿径向由外向内搜索圆环或者由内向外搜索圆环，针对中心镂空的指针式仪表，由于在镂空部分中无法识别指针，则需要沿径向由外向内进行搜索，具体的搜索过程如下：

S3.1.1、利用mask掩膜提取整个圆盘的圆心center和半径r，则初始圆盘的面积区域为：

S＝π*r^2 (7)

S3.1.2、搜索的进步尺寸dp＝0.01,以像素为单位的距离精度，搜索的圆环区域为：

S1＝(π*r^2)-(π*(r-dp)^2) (8)

S3.1.3、计算S1区域中非零像素的总数sum，输出最小sum所对应的包含指针的圆环区域，对于中心镂空的指针式仪表，则可在搜索到镂空部分的半径时停止搜索，例如，当搜索到达的圆半径r1<0.3r时结束搜索。

S3.2、采用八邻域轮廓跟踪所述目标圆环区域中的每一个非零像素点，确定指针位置。

具体的，在步骤S3.1中搜到到的对应的圆形区域中，使用Canny算法获取边缘，检测像素值为255的点，采用八领域轮廓跟踪找到指针的位置。输出指针中心对应的坐标，连接圆心和指针中心所在位置的坐标即为检测到的指针，如图2中d部分所示。

可选地，在该实施例中，步骤S3中从所述表盘图像中确定最小刻度线位置和最大刻度线位置，具体包括：

根据所述表盘图像的HSV特征提取所述表盘图像中的刻度线区域，根据所述刻度线区域确定最小刻度线位置和最大刻度线位置。

具体的，HSV分别表示Hue色调，Saturation饱和度，Value明度，关于红色刻度线区域h值提取范围为320-360，S取值为90-255，V取值为90-255，关于绿色刻度线区域的h值提取值为113-189，S取值为90-255，V取值为90-255。取红色区域像素坐标y值最大的点即为最小刻度线的位置，取绿色区域像素坐标y值最大的点即为最大刻度线的位置，如图2中e和f部分所示。

本发明实施例提供一种指针式仪表读数的自动识别***，包括：

图像预处理模块，用于对获取的包含表盘的目标区域的图像进行预处理；

图像提取模块，用于从经过预处理的目标区域的图像中提取表盘图像；

位置确定模块，用于从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；

读数计算模块，用于根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。

可选地，在该实施例中，所述图像提取模块，具体包括：

图像纠正单元，用于采用SURF算法对经过预处理的目标区域的图像和表盘正面图像进行配准，求解出透视变换矩阵，按照所述透视变换矩阵对所述经过预处理的目标区域的图像进行仿射变换；

表盘提取单元，用于采用霍夫圆变换从经过仿射变换的目标区域的图像中提取表盘图像。

可选地，在该实施例中，所述读数计算模块，具体用于：

将所述指针和所述最小刻度线之间夹角的度数与所述最小刻度线和所述最大刻度线之间夹角的度数之比与指针式仪表的最大刻度值相乘，得到所述指针式仪表的读数。

本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述方法实施例中的方法步骤；或者存储上述***实施例的各个软件模块对应的指令。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例中的方法步骤。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述***实施例中的模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种指针式仪表读数的自动识别方法，其特征在于，包括：

对获取的包含表盘的目标区域的图像进行预处理；

从经过预处理的目标区域的图像中提取表盘图像；

从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；

根据所述指针位置、最小刻度线位置和最大刻度线位置确定指针式仪表的读数；

所述表盘图像中确定指针位置，具体包括：

沿径向搜索所述表盘图像中的各个圆环区域，计算所述各个圆环区域的非零像素和，将其中非零像素和最小值对应的圆环区域作为目标圆环区域；

采用八邻域轮廓跟踪所述目标圆环区域中的每一个非零像素点，确定指针位置。

2.根据权利要求1所述的一种指针式仪表读数的自动识别方法，其特征在于，所述从经过预处理的目标区域的图像中提取表盘图像，具体包括：

采用SURF算法对经过预处理的目标区域的图像和表盘正面图像进行配准，求解出透视变换矩阵，按照所述透视变换矩阵对所述经过预处理的目标区域的图像进行仿射变换；

采用霍夫圆变换从经过仿射变换的目标区域的图像中提取表盘图像。

3.根据权利要求1所述的一种指针式仪表读数的自动识别方法，其特征在于，从所述表盘图像中确定最小刻度线位置和最大刻度线位置，具体包括：

根据所述表盘图像的HSV特征提取所述表盘图像中的刻度线区域，根据所述刻度线区域确定最小刻度线位置和最大刻度线位置。

4.根据权利要求1至3任一项所述的一种指针式仪表读数的自动识别方法，其特征在于，根据所述指针位置、最小刻度线位置和最大刻度线位置确定指针式仪表的读数，具体包括：

将所述指针和所述最小刻度线之间夹角的度数与所述最小刻度线和所述最大刻度线之间夹角的度数之比与指针式仪表的最大刻度值相乘，得到所述指针式仪表的读数。

5.一种指针式仪表读数的自动识别***，其特征在于，包括：

图像预处理模块，用于对获取的包含表盘的目标区域的图像进行预处理；

图像提取模块，用于从经过预处理的目标区域的图像中提取表盘图像；

位置确定模块，用于从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置；

读数计算模块，用于根据所述指针位置、最小刻度线位置和最大刻度线位置确定指针式仪表的读数；

所述位置确定模块，具体用于：

沿径向搜索所述表盘图像中的各个圆环区域，计算所述各个圆环区域的非零像素和，将其中非零像素和最小值对应的圆环区域作为目标圆环区域；

采用八邻域轮廓跟踪所述目标圆环区域中的每一个非零像素点，确定指针位置。

6.根据权利要求5所述的一种指针式仪表读数的自动识别***，其特征在于，所述图像提取模块，具体包括：

图像纠正单元，用于采用SURF算法对经过预处理的目标区域的图像和表盘正面图像进行配准，求解出透视变换矩阵，按照所述透视变换矩阵对所述经过预处理的目标区域的图像进行仿射变换；

表盘提取单元，用于采用霍夫圆变换从经过仿射变换的目标区域的图像中提取表盘图像。

7.根据权利要求5或6所述的一种指针式仪表读数的自动识别***，其特征在于，所述读数计算模块，具体用于：

将所述指针和所述最小刻度线之间夹角的度数与所述最小刻度线和所述最大刻度线之间夹角的度数之比与指针式仪表的最大刻度值相乘，得到所述指针式仪表的读数。

8.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1至4任一项所述的方法。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。

Images