CN105303168A - 一种多视角的指针式仪表识别方法和装置 - Google Patents

Abstract

本发明公开了一种多视角的指针式仪表识别方法和装置，该方法通过图像获取、图像预处理、仪表自动定位裁剪、仪表图像校正、提取仪表指针信息、仪表读数自动生成等步骤实现。本发明通过对仪表图像的校正，克服了传统仪表识别方法中出现透视，平移，仿射等变换的情况下无法识别的问题。同时，本发明不需要过多的仪表先验知识，简化了人工参与，提高了识别的自动化程度，而且针对仪表表面出现破损，轻微反光，轻微抖动等都有很强的鲁棒性和较高的识别精度。

Description

一种多视角的指针式仪表识别方法和装置

技术领域

本发明涉及到数字图像处理领域，特别涉及到一种多视角的指针式仪表识别方法和装置，并应用于嵌入式工程化产品中。

背景技术

随着社会科学技术的发展，数字图像处理技术和模式识别已经渗入到社会生产和生活的各个方面，而其中，实现仪表自动化识别是各电力公司面临的迫切需求。目前，大部分电力公司对仪表读数还是采取人工巡检的方式，这不但是一个繁琐的工作，而且还会出现漏检、误检等情况。而数字图像处理技术的发展，使得仪表自动巡检代替人工巡检成为了可能，通过摄像机进行远程监控及自动识别，无需人工参与，不但提高了电力公司的管理技术和工作效率，也降低了人力和时间成本。

目前，国内外在仪表识别方面都有研究。专利号为201110359130.0，发明名称为《高鲁棒仪表指针图像识别方法》的中国专利中，公开了一种高鲁棒仪表指针图像识别方法，主要包括离线标定和在线识别两个阶段，但在自动化程度要求较高的情况下，该方法失效，其中，离线标定阶段会消耗大量的时间，需要人为手动标记，不满足智能化要求。而专利号为200810115840.7，发明名称为《一种指针式仪表读数自动识别的方法及***》的中国专利中，公开了一种指针式仪表读数自动识别的方法及***，解决了目前仪表读数识别方法需要较多先验信息，且在刻度线存在部分丢失，仪表倾斜等情况下的识别问题，该方法需要提前刻度线等信息，但在图像发生轻微抖动或模糊的情况下，这些信息无法完全提取，算法的鲁棒性较差，在实际场景中无法使用，而且对仪表在多个视角发生旋转的情况下也无法识别。

国外在电力行业中，企业对自动抄表(AMR)技术研究较早，并已获得广泛应用，德国马尔(Mahr)公司的875系列全自动指示表检定仪，通过摄像机来获取仪表表盘图像，运用数字图像处理技术进行仪表指针示值的自动识别，其识别结果准确可靠，但价格昂贵，维修困难，很难被国内的广大用户所接受。学者CorraAlegria详细讲述了利用机器视觉算法对这类指针式仪表进行识别的过程，为后续仪表识别的研究奠定了理论基础，首先用摄像头采集全局的表盘图像，然后将两个不同指针位置的图像进行差分运算，差分之后，图像中保留了两个不同位置的指针的图像，再利用Hough变换得到指针的角度，最后通过先验信息，得到指针的读数。

发明内容

本发明的目的是提出一种多视角的指针式仪表识别方法及装置，可以准确地识别出仪表在任意视角下的读数，自动化程度高，满足电力公司工程化应用要求。本发明的技术方案是：一种多视角的指针式仪表识别方法，包括如下几个步骤：1)图像获取：保持摄像机与仪表之间无位置旋转，用摄像机获取含有仪表信息的高清图像；2)图像预处理：对步骤1)获取的高清图像手动裁剪，得到仪表图像I₁；并根据仪表图像显示的信息值拟合仪表指针刻度模型，得到指针位置角度和刻度之间关系；3)仪表自动定位裁剪：对步骤2)获取的仪表图像I₁进行二值化处理，得到轮廓状态的二值化图像I₂，根据轮廓的面积和长宽比，自动得到仪表在图像中的位置，然后自动截取二值化图像I₂中的仪表图像I₃；4)仪表图像校正：通过依据仪表轮廓的长宽比，通过长宽比信息将仪表图像步骤3)得到的仪表图像I₃进行校正，生成正面仪表图像I₄；5)提取仪表指针信息：将正面仪表图像I₄通过数字图像处理技术自动获取仪表读数，首先进行图像灰度及二值化处理，再运用形态学闭运算，得到仪表指针和边框信息；然后通过轮廓的提取，得到只含有仪表指针信息的图像；最后对指针信息用hough变换进行拟合，求出指针位置；6)仪表读数自动生成：将步骤5)得到的指针位置所对应的角度值代入步骤2)中的刻度模型，得到仪表的读数。

本发明通过摄像机获得多视角图像，在通过预处理，去掉很多需要辨别的部分，减小了计算机识别量，在通过仪表自动定位裁剪，实现精确辨别，最后，通过校正，得到准确的仪表图像，本发明通过多次平滑的方法将仪表读数进行修正，最终得到比较稳定的读数结果。本发明通过以上方式，克服了传统仪表识别方法中出现透视，平移，仿射等变换的情况下无法识别的问题，能够准确地识别出仪表在任意视角下的读数，自动化程度高，满足电力公司工程化应用要求。进一步，所述步骤2)中的刻度模型是其中，S是刻度值，A是与S对应的角度值，S₁和S₂是待检测指针的相邻两个刻度值，而A₁和A₂是相邻两个刻度所对应的角度值。

进一步，所述步骤3)的二值化处理包括以下步骤：3-1)统计图像灰度级N以及每个灰度级个数Num_i，i＝1,2,…,N；3-2)分别对相邻两组Num数据求和，即得到而其中k＝1,2,…,N，如果Sum1/Sum2＜α，即可求取阈值T₁＝k+2；3-3)遍历图像I₁，将I₁中像素值小于等于T₁的值重新赋值255，否则重新赋值0，这样就可以得到只有255和0的二值化图像I₂。

一种多视角的指针式仪表识别装置，包括以下模块：1)图像获取模块：用于保持摄像机与仪表之间无位置旋转，用摄像机获取含有仪表信息的高清图像；2)图像预处理模块：用于对步骤1)获取的高清图像手动裁剪，得到仪表图像I₁；并根据仪表图像显示的信息值拟合仪表指针刻度模型，得到指针位置角度和刻度之间关系；3)仪表自动定位裁剪模块：用于对步骤2)获取的仪表图像I₁进行二值化处理，得到轮廓状态的二值化图像I₂，根据轮廓的面积和长宽比，自动得到仪表在图像中的位置，然后自动截取二值化图像I₂中的仪表图像I₃；4)仪表图像校正模块：用于通过依据仪表轮廓的长宽比，通过长宽比信息将仪表图像步骤3)得到的仪表图像I₃进行校正，生成正面仪表图像I₄；5)提取仪表指针信息模块：用于将正面仪表图像I₄通过数字图像处理技术自动获取仪表读数，首先进行图像灰度及二值化处理，再运用形态学闭运算，得到仪表指针和边框信息；然后通过轮廓的提取，得到只含有仪表指针信息的图像；最后对指针信息用hough变换进行拟合，求出指针位置；6)仪表读数自动生成模块：用于将步骤5)得到的指针位置所对应的角度值代入步骤2)中的刻度模型，得到仪表的读数。

进一步，所述模块2)中的刻度模型是其中，S是刻度值，A是与S对应的角度值，S₁和S₂是待检测指针的相邻两个刻度值，而A₁和A₂是相邻两个刻度所对应的角度值。

本发明的有益效果是：通过对仪表图像的校正，克服了传统仪表识别方法中出现透视，平移，仿射等变换的情况下无法识别的问题。同时，本发明不需要过多的仪表先验知识，简化了人工参与，提高了识别的自动化程度，而且针对仪表表面出现破损，轻微反光，轻微抖动等都有很强的鲁棒性和较高的识别精度。

附图说明

图1是本发明的总体流程图。

图2是本发明的仪表原始图。

图3是本发明的仪表自动定位图。

图4是本发明的校正后的仪表图。

图5是本发明的仪表指针提取图。

具体实施方式

如图1所示，本发明有五个主要的实施步骤，即图像获取及数据建模、仪表自动定位、仪表图像校正、仪表指针自动提取及仪表读数计算，各部分的具体实施方式如下：

1、图像获取及数据建模

如图2所示，用摄像机获取含有仪表信息的高清图像，摄像机与仪表之间要求无位置旋转，先手动裁剪得到仪表图像I，用于记录每一个显示刻度值S以及对应的角度值A，根据这些信息拟合出仪表指针刻度模型S＝F(A)，用于计算仪表的最终刻度值。针对指针式仪表刻度为均匀显示和非均匀显示的情况，S与相对应的A之间都满足线性模型：

$S=S_1+\frac{(A-A_1)}{(A_2-A_1)}\·(S_2-S_1)---\left(1\right)$

其中，S₁和S₂是待检测指针的相邻两个刻度值，而A₁和A₂是相邻两个刻度所对应的角度值，最后只需将检测指针的角度代入(1)式即可算出仪表的读数。

2、仪表图像自动定位

如图3所示，将摄像机获取的仪表图像I₁进行二值化处理，本发明根据图像特征，采用基于直方图的方法对I₁二值化，详细步骤是先统计图像灰度级N以及每个灰度级个数Num_i，i＝1,2,…,N；然后分别对相邻两组Num数据求和，即得到而其中k＝1,2,…,N，如果Sum1/Sum2＜α(在本发明实例中，α取0.1)，即可求取阈值T₁＝k+2，最后遍历图像I₁，将I₁中像素值小于等于T₁的值重新赋值255，否则重新赋值0，这样就可以得到只有255和0的二值化图像I₂。

根据得到的二值化图像I₂，进行连通域R提取和标记处理，得到R_i，i＝1,2,…,M，M表示连通域的个数，然后根据仪表在图像中的面积和形状特征，对每一个连通域R_i计算面积A_i和长宽比WH_i，得到具有唯一表示仪表特征的参数，如果A_i∈[minAmaxA]，那么就认为R_i有可能表示的是仪表区域，而在这个范围以外的连通域进行删除，其中，minA表示最小面积阈值，maxA表示最大面积阈值，具体取值根据仪表图像在整幅图像中所占比例而定，在本发明实施实例中minA取8000，maxA取20000。下面再通过长宽比进一步确定仪表区域，对于正方形仪表来说，在无旋转的情况下它的长宽比为1，如果发生旋转，那么它的长宽比有可能大于或小于1，所以，如果对于待选区域R_i的长宽比WH_i∈[minWHmaxWH]，其中，minWH表示较小长宽比阈值，maxWH表示较大长宽比阈值，在本发明实施实例中minWH取0.8，maxWH取1.2，那么就认为R_i表示的是仪表区域，同时记录仪表区域的坐标，将仪表图像I₃从整幅图像I₁中裁剪出来，至此，已经完成了仪表图像的自动定位和裁剪工作，下面将对I₃进行校正。

3、仪表图像自动校正

如图4所示，由于图像I₃只含有仪表信息，而且仪表位置的变化，使得仪表在摄像机图像中可能会发生各种旋转等变换，指针角度无法和模型中的角度信息对应，所以对仪表图像进行透视校正是不可或缺的一步。在具体实施中，根据步骤2中记录的长宽比以及仪表位置坐标信息，可以计算出仪表图像I₃和仪表校正图像I₄之间对应的变换矩阵H，最后，再通过双线性插值即可得到仪表校正图，即I₄＝H·I₃，如图4所示。

经过校正后的仪表图像基本处于同一个平面中，但是由于校正误差的存在，使得仪表在同一个平面中会存在一定角度的旋转，即仪表发生面内旋转，所以要计算出面内旋转的角度Rotate_A，在最后的读数中给予消除。假定图像I₄的宽度为w，高度为h，先对图像I₄按照(2)式进行灰化处理，得到灰度图像I₅，

I₅＝0.299·I₄(:,:,1)+0.587·I₄(:,:,2)+0.114·I₄(:,:,3)

(2)

再通过边缘检测canny算子对I₅进行边缘检测处理，得到仪表边缘图像I₆，最后，从图像I₆的初始位置开始遍历直到h/2高度时结束，通过hough变换算法检测仪表水平方向的直线，并求出最长直线以及最长直线的斜率，这样的斜率所对应的角度就是仪表发生面内旋转的角度值Rotate_A。

4、仪表指针信息提取

由步骤3可以得到仪表的校正图像I₄，I₄中含有仪表的刻度，指针，边框，类型等信息，通过分析仪表特征，首先进行二值化处理，本发明选择利用大津法全局二值化方法，得到二值化图像I₇，在I₇中，只有仪表的指针和边框信息比较明显，而且边框的像素数要远大于指针的像素数，所以，通过提取最大连通域就可以将指针信息和边框信息分开，假设提取最大连通域的图像为I₈，那么将图像I₇和I₈进行差分算法，即可得到含有指针信息的图像I₉。

5、计算仪表读数

如图5所示，图像I₉含有指针信息，而且指针所占的像素数较大，呈直线形状，本发明先对图像I₉采用2*2方形结构体的形态学腐蚀运算，去除噪声点及干扰信息；然后再进行细化处理，得到由单个像素组成的指针信息；最后，用hough变换算法进行直线检测，通常最长的直线就是指针信息，通过直线的斜率就可以求出指针在仪表中的角度Pointer_A。由于Pointer_A是仪表指针的在水平方向的绝对角度，在最后读数计算时，需要求出的是仪表指针的相对仪表边框的角度Angle，本发明通过步骤3已经求出仪表的面内旋转角度Rotate_A，只需计算Pointer_A和Rotate_A的差值，就可以得到Angle，最后，将Angle代入步骤1已建好的模型(1)中即可求出仪表的读数，由于hough变换在进行直线检测时会有误差的出现，本发明通过多次平滑的方法将仪表读数进行修正，最终得到比较稳定的读数结果。

本发明公开了一种多视角的指针式仪表识别方法和装置，通过对仪表图像的校正，克服了传统仪表识别方法中出现透视，平移，仿射等变换的情况下无法识别的问题。同时，本发明不需要过多的仪表先验知识，简化了人工参与，提高了识别的自动化程度，而且针对仪表表面出现破损，轻微反光，轻微抖动等都有很强的鲁棒性和较高的识别精度。

Claims (5)

1.一种多视角的指针式仪表识别方法，其特征是，包括如下几个步骤：

1)图像获取：保持摄像机与仪表之间无位置旋转，用摄像机获取含有仪表信息的高清图像；

2)图像预处理：对步骤1)获取的高清图像手动裁剪，得到仪表图像I₁；并根据仪表图像显示的信息值拟合仪表指针刻度模型，得到指针位置角度和刻度之间关系；

3)仪表自动定位裁剪：对步骤2)获取的仪表图像I₁进行二值化处理，得到轮廓状态的二值化图像I₂，根据轮廓的面积和长宽比，自动得到仪表在图像中的位置，然后自动截取二值化图像I₂中的仪表图像I₃；

4)仪表图像校正：通过依据仪表轮廓的长宽比，通过长宽比信息将仪表图像步骤3)得到的仪表图像I₃进行校正，生成正面仪表图像I₄；

5)提取仪表指针信息：将正面仪表图像I₄通过数字图像处理技术自动获取仪表读数，首先进行图像灰度及二值化处理，再运用形态学闭运算，得到仪表指针和边框信息；然后通过轮廓的提取，得到只含有仪表指针信息的图像；最后对指针信息用hough变换进行拟合，求出指针位置；

6)仪表读数自动生成：将步骤5)得到的指针位置所对应的角度值代入步骤2)中的刻度模型，得到仪表的读数。

2.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征是：所述步骤2)中的刻度模型是其中，S是刻度值，A是与S对应的角度值，S₁和S₂是待检测指针的相邻两个刻度值，而A₁和A₂是相邻两个刻度所对应的角度值。

3.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征是：所述步骤3)的二值化处理包括以下步骤：

3-1)统计图像灰度级N以及每个灰度级个数Num_i，i＝1,2,…,N；

3-2)分别对相邻两组Num数据求和，即得到而其中k＝1,2,…,N，如果Sum1/Sum2＜α，即可求取阈值T₁＝k+2；

3-3)遍历图像I₁，将I₁中像素值小于等于T₁的值重新赋值255，否则重新赋值0，这样就可以得到只有255和0的二值化图像I₂。

4.一种多视角的指针式仪表识别装置，其特征是：包括以下模块：

1)图像获取模块：用于保持摄像机与仪表之间无位置旋转，用摄像机获取含有仪表信息的高清图像；

2)图像预处理模块：用于对步骤1)获取的高清图像手动裁剪，得到仪表图像I₁；并根据仪表图像显示的信息值拟合仪表指针刻度模型，得到指针位置角度和刻度之间关系；

3)仪表自动定位裁剪模块：用于对步骤2)获取的仪表图像I₁进行二值化处理，得到轮廓状态的二值化图像I₂，根据轮廓的面积和长宽比，自动得到仪表在图像中的位置，然后自动截取二值化图像I₂中的仪表图像I₃；

4)仪表图像校正模块：用于通过依据仪表轮廓的长宽比，通过长宽比信息将仪表图像步骤3)得到的仪表图像I₃进行校正，生成正面仪表图像I₄；

5)提取仪表指针信息模块：用于将正面仪表图像I₄通过数字图像处理技术自动获取仪表读数，首先进行图像灰度及二值化处理，再运用形态学闭运算，得到仪表指针和边框信息；然后通过轮廓的提取，得到只含有仪表指针信息的图像；最后对指针信息用hough变换进行拟合，求出指针位置；

6)仪表读数自动生成模块：用于将步骤5)得到的指针位置所对应的角度值代入步骤2)中的刻度模型，得到仪表的读数。

5.根据权利要求4所述的一种多视角的指针式仪表识别装置，其特征是：所述模块2)中的刻度模型是其中，S是刻度值，A是与S对应的角度值，S₁和S₂是待检测指针的相邻两个刻度值，而A₁和A₂是相邻两个刻度所对应的角度值。