CN109784257B - 一种变压器温度表检测与识别方法 - Google Patents

Abstract

本发明公开了一种变压器温度表检测与识别方法，所述方法包括，首先，巡检机器人到达指定位置获取图片；其次，对待检测的目标变压器温度表区域进行粗定位和精确定位，计算所述多个目标候选区域的感知哈希指标、互信息指标和交并比，并对所述多个目标候选区域进行筛选，得到最终目标图像；然后，读入目标图像，根据指针颜色采用不同的图像预处理操作；然后，用目标检测器定位仪表，分割出表盘区域，排除变压器温度表表盘外的干扰因素；然后，根据指针颜色使用相应方法提取指针轮廓；最后，利用余弦定理计算指针旋转方向以及指向的读数；采用该方法能检测识别多种光照、姿态变化下的变压器温度表。

Description

一种变压器温度表检测与识别方法

技术领域

本发明涉及电力巡检机器人领域，具体地涉及一种变压器温度表检测与识别方法。

背景技术

电力巡检机器人需要实现变电站内自主定位与导航、现场仪表示数识别、自动充电等基本功能。其中核心的功能就是检测和识别现场电力设备的仪器仪表的示数。

目前，电力巡检机器人在检测和识别变压器温度表示数的过程中，存在较大的难度。大部分变压器温度表由于成本和历史的原因，并不具有智能仪表的远传功能，只能是巡检机器人通过计算机视觉的方法去读取仪表示数。而准确识别变压器温度表示数的前提是准确检测到视觉图像中变压器温度表的位置，且大多数变压器温度表在室外，目前大多数方法，利用传统的图像处理手段进行检测和识别，在光照条件变化的情况下，检测效果不好，一般一种光照条件就需要一组参数，在识别过程中，还存在室外不同光照、巡检机器人不同拍摄角度等情况。这就需要提出一种较为通用的检测和识别方法，应对不同光照、姿态条件下的变压器温度表检测与识别任务。

发明内容

本发明的目的在于提供一种变压器温度表检测与识别方法，针对现场指示变压器温度表在不同光照、姿态等工况条件下的示数识别问题进行优化。

本发明目的的技术解决方案为：一种变压器温度表检测与识别方法，所述方法包括，

步骤1：巡检机器人到达指定位置获取待检测变压器温度表图片；

步骤2：基于所述待检测变压器温度表图片，对目标变压器温度表进行定位：

利用梅林傅里叶变换和相位相关技术对所述目标变压器温度表区域进行粗定位，获取粗定位目标变压器温度表区域；

利用机器学习的方法对所述目标变压器温度表区域进行精确定位，将所述待检测变压器温度表图片送入分类器，得到多个目标候选区域；

计算所述多个目标候选区域的感知哈希指标、互信息指标和交并比，并对所述多个目标候选区域进行筛选，得到最终目标图像；

步骤3：读入所述最终目标图像，对所述最终目标图像进行预处理操作；

步骤4：利用目标检测器定位仪表，分割出所述最终目标图像中变压器温度表的表盘区域；

步骤5：根据指针颜色，提取指针轮廓；

步骤6：计算指针旋转方向以及指向的读数。

进一步，所述步骤1中还包括,

利用变压器温度表图像数据集训练分类器，并为每个巡检点选取一张在该巡检点拍摄的变压器温度表居中的图像作为模板图像。

进一步，所述步骤2中计算所述多个目标候选区域的交并比、互信息指标和感知哈希指标，并对所述多个目标候选区域进行筛选，得到最终目标图像包括：

分别求取每个所述目标候选区域与所述粗定位目标变压器温度表区域的交并比；

分别计算每个目标候选区域图像与模板图像的互信息指标；

分别求取每个目标候选区域图像与模板图像中的变压器温度表区域图像的感知哈希指标；

将每一个所述目标候选区域的交并比、互信息指标以及感知哈希指标三种指标做加权运算，求出每一个所述目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

若备选检测结果的满足小于设定阈值thresholdIOU，且(pHash+1/I(G_(X),H_(y)))大于阈值thresholdA时，将所述粗定位目标变压器温度表区域作为最终目标图像；否则，以所述备选检测结果作为最终目标图像；其中，pHash为备选检测结果感知哈希指标，I(G_(X),H_(Y))为互信息指标。

进一步，所述置信度的计算公式为：

Confidence＝1-(pHash+1/I(G_(X),H_(y)))/(IOU+D)

式中，I(G_(X),H_(Y))为所述目标候选区的互信息指标，pHash为所述目标候选区的感知哈希指标，IOU为目标候选区域与粗定位目标变压器温度表区域的交并比指标，D为设定的常数。

进一步，所述阈值thresholdIOU取值范围0.1～0.4，所述阈值thresholdA取值范围10～50。

进一步，所述步骤3中对所述最终目标图像预处理操作包括：

若指针为红色，将所述最终目标图像转化为HSV格式；

若指针为非红色，将所述最终目标图像灰度化处理。

进一步，所述步骤5中提取指针轮廓包括，

若指针为红色，具体包括以下步骤：

利用HSV的颜色连续性提取红色区域，H取值范围为(0,10)(156,180)，S通道取值范围为(43,255)，V通道取值范围为(46,255)；

进行闭运算；

提取指针轮廓；

若指针非红色，具体包括以下步骤：

对图像进行直方图均衡化、高斯滤波；

利用大津算法对表盘区域二值化，将黑色指针变为白色区域，其他背景变为黑色；

进行开运算，提取指针轮廓。

进一步，所述步骤6包括，

提取所述指针轮廓的轮廓点集合；

找到所述轮廓集合点中相距最大的两个点，以这两点做直线；

继续找到指针轮廓上的点对，使其形成与所述直线垂直的线段，并从所述点对中找到相距最远的点对；

所述相距最远的点对形成的线段与所述直线相交的点，为所述变压器温度表的圆心，以圆心为原点建立坐标系；

基于轮廓集合点中相距最大的两个点形成的向量与坐标系中垂直轴中的任意两点向量，利用余弦定理计算指针旋转方向以及指向的读数。

本发明与现有技术相比，其显著优点为：(1)本发明融合了机器人已有的定位信息，由于机器人导航定位技术的精确度，定位误差小于5cm，解决了机器人位置不定时，目标尺度、角度变化大的问题；(2)摄像头拍出的图像尺度、旋转等变化较小，在此基础上利用相位相关进行粗检测，针对图像的光照变化、检测目标的姿态变化，采用机器学习的方法进行精确检测，解决了目标受光照影响大，比如过亮、过暗等问题；(3)检测到目标图像后，将指针按红色与非红色分别对图像进行预处理，通过闭运算，直方图均衡化等操作提高了变压器温度表示数识别准确率，较好地解决了不同光照、姿态条件下的变压器温度表示数识别问题，提高了机器人巡检效率。(4)利用HSV颜色空间，减少光照对示数识别的影响。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种变压器温度表检测与识别方法流程示意图；

图2为本发明实施例中变压器温度表检测与识别方法种步骤3-步骤5的具体流程示意图；

图3为本发明实施例中感知哈希计算过程示意图；

图4为本发明实施例中指针旋转方向与指向读数余弦定理计算示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例中介绍了一种变压器温度表检测与识别方法，包括以下步骤：

步骤1：巡检机器人到达指定位置获取待检测变压器温度表图片；

步骤2：基于所述待检测变压器温度表图片，对待检测的变压器温度表区域进行粗定位和精确定位，筛选目标候选区域得到最终目标图像；

步骤3：读入所述最终目标图像，根据指针颜色采用不同的图像预处理操作；

步骤4：用目标检测器定位所述目标变压器温度表区域，使得仪表位置在图片中央，然后分割出表盘区域；从而采用该方法排除变压器温度表表盘外的干扰因素；则直接根据坐标分割出预处理后图片的中央区域，此区域即包含表盘，从而便于指针提取。

步骤5：根据指针颜色按照预设方法提取指针轮廓；

步骤6：利用余弦定理计算指针旋转方向以及指向的读数；

进一步地，所述步骤1具体操作为：利用变压器温度表的仪表图像数据集训练分类器，并为每个巡检点选取一张在该巡检点拍摄的变压器温度表居中的图像作为模板图像，巡检机器人到达指定巡检点获取待检测仪表图片。优选地，所述分类器为Adaboost分类器。

进一步地，所述步骤2的具体操作如下：

步骤2.1：利用梅林傅里叶变换和相位相关技术对待检测变压器温度表图片中的目标变压器温度表区域进行粗定位；

步骤2.2：利用机器学习的方法对目标变压器温度表区域进行精确定位，将待检测变压器温度表图片送入训练过的分类器，得到若干个目标候选区域；

步骤2.3：计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标。

进一步地，步骤2.3包括以下步骤：

步骤2.3.1：分别将每个所述目标候选区域与所述粗定位目标变压器温度表区域求交并比参数IOU；

步骤2.3.2：分别将每个目标候选区域图像与模板图像中的变压器温度表区域图像做感知哈希计算，获得感知哈希指标；

步骤2.3.3：分别计算每个所述目标候选区域图像与模板图像的互信息指标；

步骤2.3.4：将每个所述目标候选区域的交并比IOU、互信息指标以及感知哈希指标三种指标做加权求出每个所述目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

步骤2.3.5：若备选检测结果的IOU满足同时小于设定阈值thresholdIOU，且(pHash+1/I(G_(X),H_(y)))大于阈值thresholdA时，将步骤2中确定的所述粗定位目标变压器温度表区域作为最终目标图像，否则以备选检测结果作为最终目标图像，pHash为备选检测结果感知哈希指标，I(G_(X),H_(Y))为互信息指标。

优选地，步骤2.3.1中将每个所述目标候选区域与所述粗定位目标仪表区域求交并比参数IOU的公式为：

式中，C为粗定位目标仪表区域，n_i为第i个目标候选区域。

优选地，步骤2.3.2中分别将每个所述目标候选区域图像与模板图像中的仪表区域图像做感知哈希计算的具体方法为：

A1、预处理：缩小图像尺寸，以及将图像灰度化；

A2、DCT变换：对预处理后的图像进行DCT变换,得到矩阵F(u，v)；

A3、缩小DCT矩阵，如图3所示，整幅图像的特征集中在左上角低频区域，我们提取矩阵左上角像素8*8矩阵，作为该图像的特征矩阵；

A4、矩阵二值化，图3中，对矩阵求均值，并将大于均值的置1，小于均值的置0；

A5、生成哈希值：将二值化后的矩阵排列为64位的序列，该序列即为输入图像的哈希序列；

A6、计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标；

优选地，步骤2.3.3中每个所述目标候选区域图像与所述模板图像的互信息指标的计算公式为：

G_(X)、H_(Y)分别为模板图像与候选图像灰度像素的数目，W、H分别为候选区域图像宽、高。

优选地，步骤2.3.4中置信度的计算公式为：

Confidence＝1-(pHash+1/I(G_(X),H_(y)))/(IOU+D)

式中，I(G_(X),H_(Y))为互信息指标，pHash为感知哈希指标，IOU为交并比指标，D为设定的常数。

优选地，阈值thresholdIOU取值范围0.1～0.4，阈值thresholdA取值范围10～50。

进一步地，如图2所示，介绍了步骤3-步骤5的具体流程示意图，其中，所述步骤3中机器人到指定巡检点，拍摄获取变压器温度表图片，将指针划分为红色与非红色两种类型，对应不同的图片处理方法。因为将图片置于HSV颜色空间下，黑色易受到光照影响，在HSV空间下容易模糊，而红色在HSV空间下不易受到光照影响，因此针对红色指针，将图片转到HSV格式，针对非红色指针，将图片灰度化处理。

进一步地，图2中，根据指针颜色使用相应方法提取指针。在HSV颜色空间下，如表1所示，颜色分布是连续的，因此根据下表，利用指针颜色为红色的特点，提取指针部分。针对非红色指针，将图片灰度化处理。

表1，HSV颜色空间下的颜色取值范围

进一步地，步骤5具体操作如下：

针对红色指针：

步骤5.1.1：指针为红色，由于变压器温度表其他部分没有红色区域，利用HSV的颜色连续性提取红色区域，H取值在(0,10)(156,180)，S通道取值在(43,255)，V通道(46,255)；

步骤5.1.2：进行闭运算，减少噪音点对提取指针的干扰以及使得轮廓圆滑。

步骤5.1.3：提取面积最大红色区域，即为指针轮廓。

针对非红色指针：

步骤5.2.1：对图像进行直方图均衡化、高斯滤波，减少光照干扰。

步骤5.2.2：由于变压器温度表指针和表盘颜色差异明显，故利用大津算法对表盘区域二值化，将黑色指针变为白色区域，其他背景变为黑色。

步骤5.2.3：进行开运算，提取指针轮廓。

进一步地，如图4所示，所述步骤6具体操作为：

步骤6.1：找到步骤5中得到的指针区域并提取该区域的轮廓点集合，找出该集合中相距最的远两个点，以这两点做直线a，找轮廓上的点对，使其形成的直线b垂直于直线a，从这些点对中找到相距最远的点对。

步骤6.2：直线a、b相交的点，即为变压器温度表的圆心O，以O为原点建立坐标系。

步骤6.3：由于指针整体成三角形的形状，指针的顶点A和圆心O相距最远，根据此特点找到轮廓点集合中最远的点即为顶点A，利用向量AO和垂直轴上任意向量BC，通过余弦定理计算指针旋转方向以及指向的读数：

AO·BC＝||AO||||BC||cosθ

Θ＝antcos(AO·BC/||AO||*||BC||)

其中AO、BC为向量,AO·BC为向量的内积，θ为两向量的夹角。

本发明与现有技术相比，其显著优点为：(1)本发明融合了机器人已有的定位信息。由于机器人导航定位技术的精确度，定位误差小于5cm，解决了机器人位置不定时，目标尺度、角度变化大的问题；(2)摄像头拍出的图像尺度、旋转等变化较小，在此基础上利用相位相关进行粗检测，针对图像的光照变化、检测目标的姿态变化，采用机器学习的方法进行精确检测，解决了目标受光照影响大，比如过亮、过暗等问题；(3)检测到目标图像后，将指针按红色与非红色分别对图像进行预处理，通过闭运算，直方图均衡化等操作提高了变压器温度表示数识别准确率，较好地解决了不同光照、姿态条件下的变压器温度表示数识别问题，提高了机器人巡检效率。(4)利用HSV颜色空间，减少光照对示数识别的影响。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种变压器温度表检测与识别方法，其特征在于，所述方法包括，

步骤1：融合机器人已有的定位信息，巡检机器人到达指定位置获取待检测变压器温度表图片，定位误差小于5cm；利用变压器温度表图像数据集训练分类器，并为每个巡检点选取一张在该巡检点拍摄的变压器温度表居中的图像作为模板图像；

步骤2：基于所述待检测变压器温度表图片，筛选目标变压器温度表区域的最终目标图像：

利用梅林傅里叶变换和相位相关技术对所述目标变压器温度表区域进行粗定位，获取粗定位目标变压器温度表区域；

利用机器学习的方法对所述目标变压器温度表区域进行精确定位，将所述待检测变压器温度表图片送入分类器，得到多个目标候选区域；

计算所述多个目标候选区域的感知哈希指标、互信息指标和交并比，并对所述多个目标候选区域进行筛选，得到最终目标图像；

步骤3：读入所述最终目标图像，对所述最终目标图像进行预处理操作；

步骤4：利用目标检测器定位仪表，分割出所述最终目标图像中变压器温度表的表盘区域；

步骤5：根据指针颜色，提取指针轮廓；

步骤6：计算指针旋转方向以及指向的读数，其中，计算方式为：指针的顶点A和圆心O相距最远，根据此特点找到轮廓点集合中最远的点即为顶点A，利用向量AO和垂直轴上任意向量BC，通过余弦定理计算指针旋转方向以及指向的读数：

AO·BC＝||AO||||BC||cosθ

Θ＝antcos(AO·BC/||AO||*||BC||)

其中AO、BC为向量，AO·BC为向量的内积，θ为两向量的夹角；

所述步骤2中计算所述多个目标候选区域的交并比、互信息指标和感知哈希指标，并对所述多个目标候选区域进行筛选，得到最终目标图像包括：

分别求取每个所述目标候选区域与所述粗定位目标变压器温度表区域的交并比；

分别计算每个目标候选区域图像与模板图像的互信息指标；

分别求取每个目标候选区域图像与模板图像中的变压器温度表区域图像的感知哈希指标；

将每一个所述目标候选区域的交并比、互信息指标以及感知哈希指标三种指标做加权运算，求出每一个所述目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

若备选检测结果的交并比满足小于设定阈值thresholdIOU，且(pHash+1/I(G_(X)，H_(y))大于阈值thresholdA时，将所述粗定位目标变压器温度表区域作为最终目标图像；否则，以所述备选检测结果作为最终目标图像；其中，pHash为备选检测结果感知哈希指标，I(G_(X)，H_(Y))为所述备选检测结果的互信息指标。

2.根据权利要求1所述的变压器温度表检测与识别方法，其特征在于，所述置信度的计算公式为：

Confidence＝1-(pHash+1/I(G_(X)，H_(y)))/(IOU+D)

式中，I(G_(X)，H_(Y))为所述目标候选区的互信息指标，pHash为所述目标候选区的感知哈希指标，IOU为目标候选区域与粗定位目标变压器温度表区域的交并比指标，D为设定的常数。

3.根据权利要求2所述的变压器温度表检测与识别方法，其特征在于，所述阈值thresholdIOU取值范围0.1～0.4，所述阈值thresholdA取值范围10～50。

4.根据权利要求1所述的变压器温度表检测与识别方法，其特征在于，所述步骤3中对所述最终目标图像预处理操作包括：

若指针为红色，将所述最终目标图像转化为HSV格式；

若指针为非红色，将所述最终目标图像灰度化处理。

5.根据权利要求1所述的变压器温度表检测与识别方法，其特征在于，所述步骤5中提取指针轮廓包括，若指针为红色，具体包括以下步骤：

利用HSV的颜色连续性提取红色区域，H取值范围为(0，10)(156，180)，S通道取值范围为(43，255)，V通道取值范围为(46，255)；

进行闭运算；

提取指针轮廓；

若指针非红色，具体包括以下步骤：

对图像进行直方图均衡化、高斯滤波；

利用大津算法对表盘区域二值化，将黑色指针变为白色区域，其他背景变为黑色；

进行开运算，提取指针轮廓。

6.根据权利要求1所述的变压器温度表检测与识别方法，其特征在于，所述步骤6包括，

提取所述指针轮廓的轮廓点集合；

找到所述轮廓集合点中相距最大的两个点，以这两点做直线；

继续找到指针轮廓上的点对，使其形成与所述直线垂直的线段，并从所述点对中找到相距最远的点对；

所述相距最远的点对形成的线段与所述直线相交的点，为所述变压器温度表的圆心，以圆心为原点建立坐标系；

基于轮廓集合点中相距最大的两个点形成的向量与坐标系中垂直轴中的任意两点向量，利用余弦定理计算指针旋转方向以及指向的读数。

Images