CN105930837A - 基于自主巡检机器人的变电站仪表设备图像识别方法 - Google Patents

Abstract

本发明公开了一种基于自主巡检机器人的变电站仪表设备图像识别方法，其特征在于：1）首先，利用基于图像匹配的逼近式图像采集方法来采集高质量的设备仪表状态图像；完整的采集高质量的设备仪表状态图像；2）然后，把采集到的设备图像进行分类，根据设备类型选择相对应的图像处理算法；通过特定的图像处理算法处理分析设备状态信息图像，获取当前运行设备的状态信息。本发明具有很好的鲁棒性和实用性，并针对变电站种类繁琐、数量庞大的设备仪表，制定一套合理的仪表状态图像分析处理和状态识别的方法。

Description

基于自主巡检机器人的变电站仪表设备图像识别方法

技术领域

本发明属于图像识别技术领域，特别涉及一种基于自主巡检机器人的变电站仪表设备图像识别方法。

背景技术

随着科技的发展，目前，我国变电站的日常运维已经由原先的人工巡检排查、自动化变电站***逐步转变为由变电站自主巡检机器人进行巡检排查。在不改变原先设备、仪表的同时，通过移动机器人及其所承载的一些信息采集设备，获取变电站设备、仪表的运行状态，实现变电站状态信息采集、远程监控等功能。通过巡检机器人获得运行设备的图像信息之后，把图像信息转化为设备的状态信息就是设备状态识别、安全隐患预防的重要环节。巡检机器人通过其搭载的高清网络摄像机、红外热成像仪等数据采集设备获取仪表设备的状态图像，实时的回传到后台监控中心的图像处理分析与识别模块，从而判断运行设备的状态是否发生异常。

实现机器人图像采集与图像处理识别模块，是机器人自主巡检识别设备运行状态的基础。针对变电站数量庞大、种类繁多的设备仪表，设计一套通用的或者是分类的图像采集与处理方法是自主巡检机器人检测变电站运行设备状态流程中的很重要的一个环节。变电站设备巡检***的主要目标之一就是通过自主巡检机器人获取设备的状态图像信息，然后通过特定的图像匹配与识别算法识别当前设备的状态信息，从而判断当前巡检设备是否处于异常状态。所以针对每一种类型的变电站仪表设备，应该有相适应的图像处理分析以及识别算法。但是由于机器人工作运行的环境一般都是室外复杂的变电站环境，面对数量庞大、种类繁多的变电站设备仪表，要实现通过采集的设备的状态图像数据来判断运行设备的当前运行状态很困难。此外，变电站设备仪表距机器人搭载的摄像机镜头有一定的距离。在远距离图像采集的条件限制下，丝毫的成像角度误差都导致图像成像产生较大的畸变，所以对导航的精度要求十分的高。但是在现有的导航算法、技术以及变电站复杂的室外环境等的条件约束下，导航精度很难满足该种需求。

发明内容

本发明的目的是为了解决上述问题，通过一种能够准确采集到高质量设备图像信息的基于自主巡检机器人的变电站仪表设备图像识别方法。

为此，本发明的技术方案是：基于自主巡检机器人的变电站仪表设备图像识别方法，其特征在于：

1）首先，利用基于图像匹配的逼近式图像采集方法来采集高质量的设备仪表状态图像；以不同的相机倍率采集图像并进行图像匹配，然后根据匹配的结果重新调整云台的角度信息；经过两次云台角度的调整，逐步的准确定位设备仪表的位置，完整的采集高质量的设备仪表状态图像；包括以下步骤a1)~ a4)：

a1)对每个巡检设备点的云台角度信息做一个基础的预设值，预设水平云台角度为Gh，竖直云台角度为Gv；同时在三个不同的倍率下分别采集设备信息图像模板，在倍率F1下采集模板A，在倍率F2下采集图像B，在倍率F3下采集图像C，其中F1<F2<F3；

a2) 自主巡检机器人到达预设的导航点，根据该点预设的云台角度基础值调整云台的角度；在倍率F1下拍摄设备状态信息图像，并与A模板做图像匹配，计算实时采集到的设备状态信息图像偏离相机视野中心的距离，即偏离角度值S1；

a3) 把步骤a2)中计算出的偏离角度值S1换算为云台角度的补偿角度值：水平值▽Gh1和竖直值▽Gv1，修正云台的角度；在倍率F2下再次拍摄设备状态信息图像，并与B模板做图像匹配，计算实时采集到的设备状态信息图像偏离相机视野中心的距离，即偏离角度值S2；

a4) 把步骤a3)中计算出的偏离角度值S2换算为云台角度的补偿角度值：水平值▽Gh2和竖直值▽Gv2，修正云台的角度；在倍率F3下拍摄设备状态信息图像，此时采集到的图像就是最终要得到的运行设备的状态信息图像；

2）然后，把a4)中采集到的设备图像进行分类，根据设备类型选择相对应的图像处理算法；通过特定的图像处理算法处理分析设备状态信息图像，获取当前运行设备的状态信息；为了让图像识别算法能够快速的对不同种类的仪表具有识别能力，在学习并获取模板文件之后，进行离线标定，获得被识别仪表的表盘轮廓、指针中心、表盘半径信息，选择最合适仪表的识别算法、识别空间，生成标定文件存储在相应的数据库表中并把这个信息作为在线识别时的参数；在线识别时，根据这些参数以及适当的识别算法，能够快速的完成最终的识别工作；

所述离线标定包括步骤b1)~ b4)：

b1) 读取图像，输入仪表编号，在磁盘上建立一个配置文件，用以保存此仪表的各项参数；

b2) 建立mark模板信息；利用事先在仪表周围的一些特殊纹理作为mark，建立模板并学***均灰度值，建立保存模板时的图像空间；

b3) 标定仪表与mark的图像空间关系；标定mark与仪表盘区域的齐次变换矩阵以及mark与指针旋转圆心的齐次变换矩阵；由于mark模板的图像特征已知，当图像发生变换的时候，根据mark模板的特征变化以及标定的齐次变换矩阵，计算得到表盘与指针在图像中的坐标位置；

b4) 标定指针的识别方法以及识别参数；根据标定过程中获得的指针中心信息，以指针中心为圆心，以表盘半径为投影长度，进行中心投影算法，在HSV空间中按灰度最大法进行依次搜索指针；由于标定人员能够在图像中看到指针的位置并告诉标定程序，标定程序根据提供的指针位置信息，寻找HSV三个空间中获得指针位置最接近的图像空间；从寻找的图像空间中，比较指针的特征信息是否与表盘其他划分区域的特征信息区分明显，最终以最为明显的图像空间作为在线识别时采用的指针搜索图像空间，并将这一信息保存到标定文件中；

所述在线识别包括步骤c1)~ c3)；

c1) 获取图像，输入仪表编号，读取磁盘上相应的配置文件，得到此仪表的各项参数以及仪表对应的mark模板信息；

c2) 做模板匹配，寻找mark；

c3) 根据匹配的mark在图像中的位置以及mark发生的旋转与平移变化，计算出仪表表盘与指针旋转中心位置；为了避免由于光照对识别结果的影响，根据mark匹配结果的平均灰度值与标定文件相比较，进行光照补偿。

本发明采用基于SIFT特征点的图像匹配算法，根据实时图像匹配的结果计算当前云台的角度误差并及时的补偿修正角度，通过这种逼近式的图像采集方法能够很好地满足变电站复杂的现场环境与导航精度误差的需求，具有很好的鲁棒性和实用性。并针对变电站种类繁琐、数量庞大的设备仪表，制定一套合理的仪表状态图像分析处理和状态识别的方法。整个方案可针对每一种类型的设备仪表图像，设计实现对应的图像识别算法，检测运行设备的状态信息是否发生异常。

附图说明

以下结合附图和本发明的实施方式来作进一步详细说明

图1为本发明步骤1）图像采集流程图；

图2为本发明步骤2）仪表检测流程图；

图3为本发明步骤2）离线标定流程图；

图4为本发明步骤2）在线识别流程图。

具体实施方式

本实施例提出的基于自主巡检机器人的变电站仪表设备图像识别方法包括基于图像匹配的逼近式图像采集方法和针对不同类别图像的具体识别算法；

基于SITF特征点图像匹配的逼近式图像采集方法能更加有效的采集设备的运行状态图像，对导航算法的精确度有很好的鲁棒性，能更好的适应复杂的变电站室外环境。同时针对每种设备仪表类型设计实现的图像处理分析与识别算法，能更好的克服变电站复杂的室外环境对仪表指针识别带来的噪声影响，比如光照的变化、设备仪表表面的灰尘、由于路边建筑等限制的采集图像角度比较偏等问题。

1）基于图像匹配的逼近式图像采集方法

SIFT特征点是图像的局部特征，该算法具有尺度不变性，其对旋转、尺度缩放、亮度变化都可以保持不变，对视角变化、仿射变化、噪声也保持一定程度的稳定性。同时该算法具有高速性，经过优化的SIFT匹配算法几乎可以达到实时性。基于SIFT特征点的这些特性，本文算法能够以很快的速度完成图像的匹配，甚至可以达到实时性。

在巡检机器人图像采集时，因为导航精度误差、机器人本体机械结构、变电站道路环境等因素，在一定程度上导致机器人的位姿或者角度发生偏差。又因部分待巡检的设备仪表距离巡检机器人镜头较远，使得待巡检的设备仪表偏离出实际拍摄到的图像，导致图像采集失败。

针对SIFT特征点的特性与巡检机器人图像采集时的需求，本文提出了基于SIFT图像匹配的逼近式图像采集方法。具体的步骤为：

a1)首先在学***云台角度为Gh，竖直云台角度为Gv。同时在三个不同的倍率下分别采集设备信息图像模板，在倍率F1下采集模板A，在倍率F2下采集图像B，在倍率F3下采集图像C，其中F1<F2<F3；

a2) 自主巡检机器人到达预设的导航点，根据该点预设的云台角度基础值调整云台的角度。在倍率F1下拍摄设备状态信息图像，并与A模板做图像匹配，计算实时采集到的设备状态信息图像偏离相机视野中心的距离；

a3) 把a2)中计算出的偏离角度值换算为云台角度的补偿角度值：水平值▽Gh1和竖直值▽Gv1，修正云台的角度。在倍率F2下再次拍摄设备状态信息图像，并与B模板做图像匹配，计算实时采集到的设备状态信息图像偏离相机视野中心的距离；

a4) 把a3)中计算出的偏离角度值换算为云台角度的补偿角度值：水平值▽Gh2和竖直值▽Gv2，修正云台的角度。在倍率F3下拍摄设备状态信息图像。此时采集到的图像就是最终要得到的运行设备的状态信息图像；

接着需要把a4)中采集到的设备图像进行分类，然后根据设备类型选择相对应的图像处理算法。通过特定的图像处理算法处理分析设备状态信息图像，获取当前运行设备的状态信息。

本实施例采用基于SIFT特征点的图像匹配算法，根据实时图像匹配的结果计算当前云台的角度误差并及时的补偿修正角度。通过这种逼近式的图像采集方法能够很好地满足变电站复杂的现场环境与导航精度误差的需求，具有很好的鲁棒性和实用性。算法的具体流程如图1所示。

2）针对不同类别图像的具体识别算法

在1）中利用逼近式的变电站设备仪表采集方法，能够获取高质量的准确的设备状态信息图像，下面就根据设备仪表的类型选择合适的图像识别算法，处理分析设备状态信息图像并识别设备状态。整个图像处理***基于“离线标定，在线识别”的思想，解决对多类型复杂设备仪表的快速识别问题。为了能够在变化的图像中找到仪表的位置，本实施例采用模板匹配的方式定位设备仪表在图像中的具***置。学习仪表附近特征明显的标记物或者纹理丰富的部件作为模板，在离线标定和在线识别过程中，均采用此模板进行匹配，找到仪表位置并进行识别。为了让图像识别算法能够快速的对不同种类的仪表具有识别能力，在学习并获取模板文件之后，进行离线标定，获得被识别仪表的表盘轮廓、指针中心、表盘半径等信息，选择最合适仪表的识别算法、识别空间，生成标定文件存储在相应的数据库表中并把这个信息作为在线识别时的参数。在线识别时，根据这些参数以及适当的识别算法，能够快速的完成最终的识别工作。具体的操作流程如图2所示。

基于本实施例提出的设备仪表图像识别流程，就可以把变电站数量庞大、种类繁多的设备仪表进行分类，然后根据不同的种类的仪表的特征选取合适的图像处理分析算法，识别仪表指针的读数。本文主要基于变电站指针式仪表的特种提出了一种改进的中心投影算法。该算法对于每一个指针仪表，先进行标定记录下表盘的位置、指针的中心、刻度表等信息，以每一个表自身作为一个模板进行学习。在线识别过程中调用标定时记录的信息，进行指针的搜索与刻度定位，最终计算得到仪表指针示数。离线标定的步骤如下：

b1) 读取图像，输入仪表编号，在磁盘上建立一个配置文件，用以保存此仪表的各项参数；

b2) 建立mark模板信息。利用事先在仪表周围的一些特殊纹理作为mark，建立模板并学***均灰度值，建立保存模板时的图像空间；

b3) 标定仪表与mark的图像空间关系。由于不同时刻拍摄的图像存在差异，包括尺度的伸缩、图像的平移与旋转。为了克服这些因素给识别过程带来的问题，需要标定mark与仪表盘区域的齐次变换矩阵以及mark与指针旋转圆心的齐次变换矩阵。由于mark模板的图像特征已知，当图像发生变换的时候，根据mark模板的特征变化以及标定的齐次变换矩阵，就能够计算得到表盘与指针在图像中的坐标位置；

b4) 标定指针的识别方法以及识别参数。根据标定过程中获得的指针中心信息，以指针中心为圆心，以表盘半径为投影长度，进行中心投影算法，在HSV空间中按灰度最大法进行依次搜索指针。由于标定人员能够在图像中看到指针的位置并告诉标定程序，标定程序根据提供的指针位置信息，寻找HSV三个空间中获得指针位置最接近的图像空间。从寻找的图像空间中，比较指针的特征信息是否与表盘其他划分区域的特征信息区分明显，最终以最为明显的图像空间作为在线识别时采用的指针搜索图像空间。将这一信息保存到标定文件，具体的流程图如图3所示。

在线识别时，根据标定文件计算指针示数，具体步骤如下：

c1) 获取图像，输入仪表编号，读取磁盘上相应的配置文件，得到此仪表的各项参数以及仪表对应的mark模板信息；

c2) 做模板匹配，寻找mark；

c3) 根据匹配的mark在图像中的位置以及mark发生的旋转与平移变化，计算出仪表表盘与指针旋转中心位置。为了避免由于光照对识别结果的影响，根据mark匹配结果的平均灰度值与标定文件相比较，进行光照补偿；具体的仪表指针在线识别流程如图4所示。

针对仪表盘存在有双指针的情况，处理流程与单指针仪表类似，同样需要mark学习，离线标定与在线识别三个过程。不同的是在标定和识别的过程中，需要考虑多引入一个指针带来的影响。例如在进行HSV空间处理时，需要从中心投影的结果中找到两个具有明显特征差异的方向作为指针的位置信息。

Claims (1)

1.基于自主巡检机器人的变电站仪表设备图像识别方法，其特征在于：

1）首先，利用基于图像匹配的逼近式图像采集方法来采集高质量的设备仪表状态图像；以不同的相机倍率采集图像并进行图像匹配，然后根据匹配的结果重新调整云台的角度信息；经过两次云台角度的调整，逐步的准确定位设备仪表的位置，完整的采集高质量的设备仪表状态图像；包括以下步骤a1)~ a4)：

a1)对每个巡检设备点的云台角度信息做一个基础的预设值，预设水平云台角度为Gh，竖直云台角度为Gv；同时在三个不同的倍率下分别采集设备信息图像模板，在倍率F1下采集模板A，在倍率F2下采集图像B，在倍率F3下采集图像C，其中F1<F2<F3；

a2) 自主巡检机器人到达预设的导航点，根据该点预设的云台角度基础值调整云台的角度；在倍率F1下拍摄设备状态信息图像，并与A模板做图像匹配，计算实时采集到的设备状态信息图像偏离相机视野中心的距离，即偏离角度值S1；

a3) 把步骤a2)中计算出的偏离角度值S1换算为云台角度的补偿角度值：水平值▽Gh1和竖直值▽Gv1，修正云台的角度；在倍率F2下再次拍摄设备状态信息图像，并与B模板做图像匹配，计算实时采集到的设备状态信息图像偏离相机视野中心的距离，即偏离角度值S2；

a4) 把步骤a3)中计算出的偏离角度值S2换算为云台角度的补偿角度值：水平值▽Gh2和竖直值▽Gv2，修正云台的角度；在倍率F3下拍摄设备状态信息图像，此时采集到的图像就是最终要得到的运行设备的状态信息图像；

2）然后，把a4)中采集到的设备图像进行分类，根据设备类型选择相对应的图像处理算法；通过特定的图像处理算法处理分析设备状态信息图像，获取当前运行设备的状态信息；为了让图像识别算法能够快速的对不同种类的仪表具有识别能力，在学习并获取模板文件之后，进行离线标定，获得被识别仪表的表盘轮廓、指针中心、表盘半径信息，选择最合适仪表的识别算法、识别空间，生成标定文件存储在相应的数据库表中并把这个信息作为在线识别时的参数；在线识别时，根据这些参数以及适当的识别算法，能够快速的完成最终的识别工作；

所述离线标定包括步骤b1)~ b4)：

b1) 读取图像，输入仪表编号，在磁盘上建立一个配置文件，用以保存此仪表的各项参数；

b2) 建立mark模板信息；利用事先在仪表周围的一些特殊纹理作为mark，建立模板并学***均灰度值，建立保存模板时的图像空间；

b3) 标定仪表与mark的图像空间关系；标定mark与仪表盘区域的齐次变换矩阵以及mark与指针旋转圆心的齐次变换矩阵；由于mark模板的图像特征已知，当图像发生变换的时候，根据mark模板的特征变化以及标定的齐次变换矩阵，计算得到表盘与指针在图像中的坐标位置；

b4) 标定指针的识别方法以及识别参数；根据标定过程中获得的指针中心信息，以指针中心为圆心，以表盘半径为投影长度，进行中心投影算法，在HSV空间中按灰度最大法进行依次搜索指针；由于标定人员能够在图像中看到指针的位置并告诉标定程序，标定程序根据提供的指针位置信息，寻找HSV三个空间中获得指针位置最接近的图像空间；从寻找的图像空间中，比较指针的特征信息是否与表盘其他划分区域的特征信息区分明显，最终以最为明显的图像空间作为在线识别时采用的指针搜索图像空间，并将这一信息保存到标定文件中；

所述在线识别包括步骤c1)~ c3)；

c1) 获取图像，输入仪表编号，读取磁盘上相应的配置文件，得到此仪表的各项参数以及仪表对应的mark模板信息；

c2) 做模板匹配，寻找mark；

c3) 根据匹配的mark在图像中的位置以及mark发生的旋转与平移变化，计算出仪表表盘与指针旋转中心位置；为了避免由于光照对识别结果的影响，根据mark匹配结果的平均灰度值与标定文件相比较，进行光照补偿。