CN110781731A

CN110781731A - 一种基于镜面反射去除的巡检机器人仪表识别方法

Info

Publication number: CN110781731A
Application number: CN201910877355.1A
Authority: CN
Inventors: 刘杨; 刘俊; 李冰
Original assignee: Shanghai Dianji University
Current assignee: Shanghai Dianji University
Priority date: 2019-09-17
Filing date: 2019-09-17
Publication date: 2020-02-11

Abstract

本发明涉及一种基于镜面反射去除的巡检机器人仪表识别方法，该方法包括如下步骤：(1)获取待识别的仪表图像；(2)检测待识别的仪表图像中的镜面反射区域面积，若小于阈值则识别该图像中的读数，否则执行(3)；(3)控制巡检机器人移动并持续拍摄目标仪表图像；(4)对巡检机器人停止移动后的目标仪表图像进行镜面反射区域面积检测，若小于阈值则识别该图像中的读数，否则执行步骤(5)；(5)对巡检机器人移动过程中的目标仪表图像进行处理去除镜面反射光斑；(6)将去除镜面反射光斑的图像作为新的待识别的仪表图像，返回(1)。与现有技术相比，本发明可以有效去除镜面反射，实现巡检机器人在恶劣的光照环境中进行仪表的数据读取。

Description

一种基于镜面反射去除的巡检机器人仪表识别方法

技术领域

本发明涉及一种仪表识别方法，尤其是涉及一种基于镜面反射去除的巡检机器人仪表识别方法。

背景技术

随着工业的发展及城市化的加快，电力对人类社会来说有着至关重要的作用。而变电站是电力***中的重要部分，它的平稳运行至关重要。但是由于它位于室外环境中，除了电力设备本身的自然损耗之外，还要忍受雨雪等不良天气带来的影响。这些会加速电力设备的老化，因此我们需要对变电站进行定期检查来确保安全。目前，由于指针式仪表的抗干扰性和稳定性，我国变电站仍有大部分仪表设备是指针式仪表，这类仪表不能直接输出数字信号，目前大多数采用人工巡检。但巡视效果易受巡视人员心理素质、业务水平等诸多条件的制约，误检漏检等现象时而发生。据中国电力科学院电网运行统计报告显示，每年由于变电设备漏检、误检等操作造成的经济损失高达26亿元以上。此外，长期处于高压条件下工作，对巡检人员伤害较大，雷雨等不良天气下也不适合人工巡检。所以，随着巡检机器人技术的不断发展，机器人开始逐步代替人工完成巡检任务。变电站巡检机器人的实际运用中由于获取图像的环境非常复杂，存在光照不均，遮挡物，雨水遮盖等恶劣情况，获得的指针式仪表表盘图像仍会带有周围环境的干扰，所以图像的质量会给后期的图像预处理及仪表读取带来很大的干扰，会导致读数不准等问题。特别是强烈的镜面反射会遮盖部分指针，从而极大影响识别的准确率。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于镜面反射去除的巡检机器人仪表识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于镜面反射去除的巡检机器人仪表识别方法，该方法包括如下步骤：

(1)巡检机器人获取待识别的仪表图像；

(2)检测待识别的仪表图像中的镜面反射区域面积，若镜面反射区域面积小于阈值则识别该图像中的读数，否则执行步骤(3)；

(3)控制巡检机器人移动并持续拍摄目标仪表图像；

(4)对巡检机器人停止移动后的目标仪表图像再次进行镜面反射区域面积检测，若镜面反射区域面积小于阈值则识别该图像中的读数，否则执行步骤(5)；

(5)基于特征匹配对巡检机器人移动过程中的目标仪表图像进行处理去除镜面反射光斑；

(6)将去除镜面反射光斑的图像作为新的待识别的仪表图像，返回步骤(1)。

所述的镜面反射区域面积通过如下方式获得：

(a)将待检测的RGB图像转换到YUV亮度空间中；

(b)求取RGB图像中每一个像素点的亮度显著值；

(c)将亮度显著值大于阈值的像素点确定为高亮像素点，其余确定为漫反射点；

(d)将待检测的RGB图像中高亮像素点所占区域面积确定为镜面反射区域面积。

步骤(a)通过如下公式进行转换：

其中，Y表示亮度通道，U和V表示色度差，R、G、B分别表示RGB图像中三个颜色通道。

步骤(b)亮度显著值通过下式获取：

其中，S(p)为待求像素点p的亮度显著值，Y_p为像素点p在亮度通道的灰度值，Y_q为像素点q在亮度通道的灰度值，||·||表示灰度距离，N为RGB图像总像素点。

步骤(c)中阈值确定为

步骤(5)具体包括如下子步骤：

(51)分别对目标仪表图像中的角点进行检测并确定为特征点；

(52)将目标仪表图像两两分别进行特征点匹配；

(53)消除误匹配的特征点；

(54)对完成匹配的两张图像进行卷曲处理完成图像对齐；

(55)将对齐的图像中的重叠区域采用两个图像中的像素最小值进行替换；

(56)将完成重叠区域替换后的图像进行重叠区域平滑处理完成去除镜面反射光斑的图像。

步骤(51)中采用Harris算法进行特征点检测。

步骤(52)通过归一化互相关算法进行特征点匹配。

步骤(53)通过随机抽样一致算法消除误匹配的特征点。

步骤(56)采用Multiband blender算法进行平滑处理。

与现有技术相比，本发明具有如下优点：

(1)本发明能够帮助自动巡检机器人在恶劣的光照环境中进行仪表的数据读取，掌握变电站各仪表的运行状况，减少安全隐患，对于促进智能变电站的发展有着非常重要的意义；

(2)本发明利用巡检机器人的便捷移动性获取多个角度的仪表图像，通过相邻图像的有效信息进行图像复原，从而间接去除光斑，不需要额外安装传感器便可以消除镜面反射，恢复图像的原始信息，提高了质量和识别精度，同时实现成本低。

附图说明

图1为本发明基于镜面反射去除的巡检机器人仪表识别方法的整体流程框图；

图2为本发明巡检机器人移动示意图；

图3为本发明去除镜面反射光斑的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

如图1所示，一种基于镜面反射去除的巡检机器人仪表识别方法，该方法包括如下步骤：

(1)巡检机器人获取待识别的仪表图像；

(3)控制巡检机器人移动并持续拍摄目标仪表图像；

镜面反射区域面积通过如下方式获得：

(a)将待检测的RGB图像转换到YUV亮度空间中，具体通过如下公式进行转换：

(b)求取RGB图像中每一个像素点的亮度显著值：

(c)将亮度显著值大于阈值的像素点确定为高亮像素点，其余确定为漫反射点：

阈值确定为

当像素的显著值大于阈值时则将该像素点设为高亮像素，而当像素的显著值小于Y时，则将该点设为漫反射点。

本实施例步骤(3)中控制巡检机器人沿着弧线移动，以减少因为机器人运动引起的目标仪表的偏移，如图2所示。由于机器人只需要移动一小段距离或转动很小的角度，就可以获得具有不同反射区域的图像，因此不会对已获得的仪表的位置产生影响。在移动期间，巡检机器人对目标仪表进行多角度拍摄获取同一仪表的多张图像。移动停止后再次对镜面反射面积进行检测，若此时仍超过阈值则基于特征对应进行图像修复。

步骤(5)采用一种新的基于特征匹配的光斑去除算法去除光斑，具体如图3所示。首先，采用基于Harris算法进行特征点检测，然后利用NCC算法进行特征匹配并通过RANSAC算法点，之后进行图像卷曲和图像重叠区域的替换，最后对图像的重叠区域进行平滑消除边界。最终输出的图像能有效消除镜面反射。具体步骤如下：

(51)分别对目标仪表图像中的角点进行检测并确定为特征点；

(52)将目标仪表图像两两分别进行特征点匹配；

(53)消除误匹配的特征点；

(54)对完成匹配的两张图像进行卷曲处理完成图像对齐；

更为具体地：

1、角点检测

在第一步中，从捕获的多个图像中检测特征点。图像特征即包含丰富信息的点，例如图像的角落或纹理发生剧烈变化的位置。目前常用的角点检测算法包括Harris算法、SIFT算法、SURF算法等。上述算法中，Harris算法在检测变电站仪表特征点时具有抗噪性，此外Harris算法计算简单并具有旋转和照明的不变性，能够适应不同光照的影响。所以本发明实施例采用Harris算法进行特征点检测。Harris算子通过窗口的运动计算图像中的灰度变换，以确定角点。

假设图像I(x,y)在点(x,y)处移动(m,n)，则获得的自适应相关函数如公式(1)和(2)所示：

其中w(x,y)是以点(x,y)为中心的窗口函数(这里使用高斯加权函数)，I_x和I_y是偏导数，M是通过计算其特征值来确定像素属性的偏导数矩阵。另外，角响应函数R在公式(3)中创建。

R＝detM-k(traceM)² (3)

其中det M是矩阵M的行列式，而M是矩阵的迹。如果某个点的R值大于设定的阈值则其为角点，反之如果某个点的R值小于设定的阈值则其不是角点。

2、特征点匹配

通过Harris算法获得特征点后，下一步中搜索可能的匹配将特征点一一对应。根据特征匹配的准确性和速度要求，研究采用归一化互相关算法(Normalized CrossCorrelation)进行匹配。NCC算法通过计算两个图像之间的相关系数来确定两个图像是否相关，如公式(4)所示。

其中G和H是待匹配的两张图像，m*n和M*N分别表示两张图像的大小，H_x,y是大小为m*n且其左上坐标为(x,y)的子图像。计算得到的NCC值越大则说明两张图像的线性相关越高。

3、误匹配消除

在完成特征点匹配后，由于灰度值的相近和部分特征点的相似，两张图片间将存在一些被误匹配的点。为了保证匹配精度并保护图像的细节部分，有必要消除不匹配。因此，本文通过RANdom SAmple Consensus算法(RANSAC)来过滤本文中的误匹配点。RANSAC的基本思想是：从每次获得的匹配点中随机选取特征点，并通过计算和迭代获得特征点最匹配的最优模型。此外，由于图像之间的运动涉及不同方向和角度的旋转，因此需要将图像投影到同一平面上。两个图像之间的关系可以用单应矩阵H来描述，如公式(5)所示。

其中h_ij为任意数字，h₃₃通常设置为1。获得最匹配特征点的最优矩阵H的过程如下所示：

1.从N个数据点的集合P中随机选择n个数据点,且n的大小不超过N。

2.使用n个数据点拟合出模型M.

3.计算P中剩余点与模型M之间的距离。如果该点的值超出阈值，则将其作为异常点，否则将其确定为内点。并记录此时模型M对应的局内点的个数m。

4.迭代k次后，选择具有最大m值的模型M作为拟合的结果。所选模型正确的概率如(6)所示：

p＝1-(1-w^m)^k (6)

其中p是RANSAC选择的模型正确的概率，w是内部点的比率，m是计算模型所需的点数，k是算法的迭代次数。每次试验中使用的点数是m＝4，k＝100(能够产生可靠的单应性)。

4、图像翘曲

由于单独使用单应矩阵会导致对齐误差，因此有必要重新对齐它们。首先使用计算的投影变换矩阵形成两个相同的环境地图。然后可以将图像分别扭曲到环境地图中。为了避免原始图像的失真，网格由笛卡尔坐标系创建，其中复合曲面的创建如(7)所示。

其中C是合成矩阵，x_col、y_row分别表示匹配图像的列和行大小。在(5)中获得的H中，可以根据齐次坐标的概念获得如(8)中所示的等式。

最终映射点的坐标计算如(9)和(10)所示：

其中x'，y'是透视投影后映射像素位置的坐标。通过两个图像的翘曲可以精确地对准重叠部分。

5、重叠区域的替换

对于已经对齐的两张图像，图像之间会存在重叠区域和没有有效信息的部分。此外，由于镜像反射点即光斑区域的像素值高且漫反射的像素值低，因此在此步骤中用两个图像的像素最小值用于替换重叠部分的像素。

K_overlap＝min(K_{1_overlap},K_{2_overlap}) (11)

6、重叠区域的平滑

由于不同的照明条件和色度，在图像之间的重叠区域的边界处可能出现缝合间隙。为了重叠区域的平滑过渡和更好的拼接效果，引入了Multiband blender算法以逐渐减小强度不连续性。通过以下五步完成平滑操作。

1.首先计算输入图像的高斯金字塔。

2.计算输入图像的拉普拉斯金字塔。

3.融合处于同一水平的拉普拉斯金字塔。

4.依次扩展高级拉普拉斯金字塔，直到它与源图像具有相同的分辨率。

5.连续叠加在步骤4中获得的图像并获得输出图像。

本发明能够帮助自动巡检机器人在恶劣的光照环境中进行仪表的数据读取，掌握变电站各仪表的运行状况，本发明利用图像之间的对应关系和几何变换，然后使用相邻图像的有效信息来减少或消除镜面反射。不需要额外安装传感器便可以消除镜面反射，实验结果表明，可以有效去除反射，恢复图像的原始信息。可以减少安全隐患，对于促进智能变电站的发展有着非常重要的意义。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。