CN110648307A - 一种利用图像比对技术核对变电站压板状态的方法 - Google Patents

Abstract

本发明公开了一种利用图像比对技术核对变电站压板状态的方法，该方法包括以下步骤：图像采集设备采集目标变电站的压板图片，并通过图像传输模块将所拍摄的图像传输到处理模块；基于OpenCV的距离变换和分水岭算法把所接收到的图像中的压板提取出来，并通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标；再运用已经训练好的SSD模型对标注完成的压板图像进行识别，判断状态图中各个压板为投状态或退状态，并输出识别结果；最后将输出结果中的压板状态与相对应压板坐标传输到***数据库，并与***数据库中的相对应坐标压板标准状态进行对比，对比后将结果输出。本发明提高了压板状态检查效率和准确率，避免了潜在的安全隐患。

Description

一种利用图像比对技术核对变电站压板状态的方法

技术领域

本发明涉及图像识别和神经网络的领域，尤其是涉及一种利用图像比对技术核对变电站压板状态的方法。

背景技术

目前，变电站压板状态的检查方式主要是由人工进行的，由一个人读取压板的名称和状态，另一个人在检查记录上做出相应的标记，但是由于一个变电站的压板数量很多，使用人力来日常核对存在着许多的弊端。一方面，工作人员面对着这成百上千个压板，进行重复性核对，容易产生疲劳，这样一来不仅会使工作人员产生抵触心理从而不认真核对，而且也会因此而对压板状态的记录或判断有误，产生了潜在的安全隐患；另一方面，由于并不是每一个压板状态都会发生改变，但是用人力去判断每一个压板状态是否正常，就意味着每次工作人员都要花较长时间核对一千多个压板，大大降低了工作效率。

例如，中国专利文献CN109446982A公开了“一种基于AR眼镜的电力屏柜压板状态识别方法及***”，其方法包括：接收AR眼镜在现场拍摄的电力屏柜中的压板图片；通过OpenCV颜色识别法分割出所述电力屏柜中的压板图片中每个单独的压板图片；通过训练好的VGG模型对每个单独的压板图片进行识别，识别出电力屏柜中每个单独压板为投状态或退状态。

即使有使用AR眼镜对压板状态进行判断，但是仍需要工作人员亲自佩戴AR眼镜，在现场进行核对，不能够很好地提高工作效率以及减少人工的投入。再者虽然有采用图像技术对压板状态进行识别，其所采用的算法并不是识别压板的最优解，其所采用的算法为颜色识别或者与颜色有关的方法来进行目标的提取，但是这种方法无法避免在不同光线照射下目标与背景的颜色特征差异的不同所引起的识别的误差，而且有些压板各个地方的颜色不尽相同，有些则是相邻的压板颜色相同，如果采取单一的颜色识别或与颜色有关的算法进行识别，容易使压板不能够完整的提取出来，给压板状态的进一步检测带来困难，而且如果采取单一的颜色识别或与颜色有关的算法进行识别，则该方法适用的范围就缩小了。

发明内容

本发明是为了克服现有压板状态检查效率低下、错误率高的技术问题，提供一种利用图像比对技术核对变电站压板状态的方法，提高压板状态检查效率和准确率。

为了实现上述目的，本发明采用以下技术方案：

本发明的一种利用图像比对技术核对变电站压板状态的方法，包括以下步骤：

(1)图像采集设备采集目标变电站的压板图片，并通过图像传输模块将所拍摄的图像传输到处理模块；

(2)处理模块基于OpenCV的距离变换和分水岭算法把所接收到的图像中的每个单独压板的图像提取出来；

(3)处理模块通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标；

(4)处理模块运用已经训练好的SSD模型对标注完成的压板图像进行识别，判断状态图中各个压板为投状态或退状态，并将识别结果输出至分析模块；

(5)分析模块进行压板状态比对并将结果输出。

通过图像采集设备对变电站的电力屏柜划定区域的压板进行拍照，并通过图像传输模块传输到处理模块，采用摄像机这一类的图像采集设备能够提高识别效率。OpenCV的距离变换和分水岭算法，它会把跟临近像素间的相似性作为重要的参考依据，从而将在空间位置上相近并且灰度值相近(求梯度)的像素点互相连接起来构成一个封闭的轮廓，将相邻像素进行比较，避免了因为外在条件比如光照所引起的压板颜色呈现不一的问题，能够更高准确率识别压板。连接组件标记算法标记出每一个压板的中心位置，与数据库压板中心位置进行对比，能够高效地找到状态不一的压板。使用神经网络能够提高识别精度，减轻工作人员的工作负担。分析模块将识别输出结果中的压板状态与相对应压板标准状态进行对比，对比后，将结果输出。

作为优选，所述处理模块基于OpenCV的距离变换和分水岭算法把所接收到的图像中的每个单独压板的图像提取出来，包括：

①对于所接收到的图像使用K-means聚类分离出背景并将背景像素改为黑色；

②将①所得到的图像通过二值化处理转为二值图像；

③对②所得到的二值图像进行距离变换，把每个像素赋值为离它最近的背景像素点与该像素的距离；

④对③所得到的距离变换后的图像进行归一化处理；

⑤对④所得到的的图像使用阈值，当像素高于这个阈值就赋予该像素一个新值，否则赋予另一个值，阈值后再对该图像进行二值化处理；

⑥对⑤所得到的图像用OpenCV里的腐蚀、查找轮廓和绘制轮廓进行处理标记；

⑦对⑥所得到的的图像通过分水岭算法，先对图像进行梯度处理，得到图像梯度图，再把在空间位置上相近并且灰度值相近的像素点互相连接起来最后构成一个封闭的轮廓，从而得到图像各个边沿线，从而对图像中的压板进行提取。

距离变换算法法用于计算图像中每一个非零点距离离自己最近的零点的距离，距离变换算法的第二个Mat矩阵参数dst保存了每一个点与最近的零点的距离信息，图像上越亮的点，代表了离零点的距离越远。OpenCV提供了一种分水岭算法使用一系列预定义标记来引导图像分割的定义方式，使用OpenCV的分水岭算法，需要输入一个标记图像，图像的像素值为32位有符号正数，每个非零像素代表一个标签。它的原理是对图像中部分像素做标记，表明它的所属区域是已知的。分水岭算法可以根据这个初始标签确定其他像素所属的区域。它会把跟临近像素间的相似性作为重要的参考依据，从而将在空间位置上相近并且灰度值相近(求梯度)的像素点互相连接起来构成一个封闭的轮廓，将相邻像素进行比较，避免了因为外在条件比如光照所引起的压板颜色呈现不一的问题，能够更高准确率识别压板。

作为优选，所述处理模块通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标，包括：

i默认像素和像素之间为8连通，寻找提取的图像中连通组件之间的连通域；

ii输出每个组件的中心位置坐标。

作为优选，所述OpenCV连接组件标记算法包括：

a扫描图像，寻找当前像素点为1的像素，并记录其位置；

b赋予该像素位置一个标记，并且寻找该像素位置附近的前景像素，并将其***栈中；

c将栈顶像素不断弹出并赋予栈顶像素与b中像素位置相同的标记；

d继续寻找与c中栈顶像素相邻的前景像素并***栈中；

重复bcd步骤，直到该栈为空。

连接组件标记算法的实质是扫描一幅图像的每个像素，对于像素值相同的分为相同的组，最终得到图像中所有的像素连通组件。扫描的方式可以是从上到下、从左到右，对于一幅有N个像素的图像来说，最大连通组件个数为N/2。扫描是基于每个像素单位，对于二值图像而言，连通组件集合可以是V＝{1}或者V＝{0},取决于前景色与背景色的不同。对于灰度图像来说，连图组件像素集合可能是一系列在0～255之间的灰度值。连接组件标记算法可以确定压板的信息，主要是得到压板的中心坐标，以便于和数据库中压板信息对比。

作为优选，所述SSD模型训练方法包括：

I制作数据集，首先将经过OpenCV的距离变换和分水岭算法后所得到的提取后的压板各种状态的图像进行收集，存入文件夹中；

II其次使用标注工具对所述文件夹中的压板图像进行退或投的状态标注并保存；最后，将数据集分成训练集、测试集和验证集；

III训练SSD模型，首先配置SSD，并对模型代码进行微调；其次下载预训练模型；最后，开始训练模型。

本发明所采用的的SSD算法通过回归的思想减少了神经网络的计算量，提升了算法运行的速度。SSD在VGG-16基础网络上填加了特征提取层，它不需要生成候选框，而是直接提取输入图片的特征信息，然后直接在特征图上回归这个位置的边界框以及对物体类别进行分类；运用局部特征提取的方法得到不同位置，不同宽高比、尺寸的特征，特征图分辨率高，原图中信息更完整，感受野较小，可以用来检测图像中的小目标，这一点相比于YOLO针对某一位置进行全局特征提取的方式更加有效率。此外，为了增加模型检测不同大小物体的鲁棒性，SSD算法选取网络中多个层次的特征图进行预测。而且SSD训练过程中使用的数据增强对网络性能影响很大，大约有6.7％的mAP提升。SSD是基于回归的卷积神经网络目标检测的算法，在多个尺度特征映射上进行了回归，低层的特征映射蕴含更多的信息，有利于细节保留及训练误差回传，提高了精度及小目标的适应能力，所以能提取到更多完整的信息，能够很好地识别目标体积较小的压板。SSD算法将候选区域和分类统一成一个步骤来使得模型更加简单并且速度更快。虽然YOLO算法与SSD算法可以一步到位完成检测，但相比YOLO算法而言，SSD采用卷积神经网络(CNN)来直接进行检测，而不是像Yolo那样在全连接层之后做检测，对于形状为m×n×p的特征图，只需要采用3×3×p这样比较小的卷积核得到检测值。SSD模型和其他的模型相比有着更好的检测速度和检测准确率。

作为优选，所述分析模块将所述识别结果中的压板状态与相对应压板坐标传输到***数据库，并与***数据库中的相对应坐标压板标准状态进行对比，对比后，将与压板标准状态不一致的压板坐标以及压板状态输出。

将所述识别结果中的压板状态与相对应压板坐标传输到***数据库中，与数据库中标准压板状态进行比对，在比对输出结果的同时，又可以将此次核对拍摄的压板信息记录下来，有利于以后的查询。

因此，本发明具有如下有益效果：采用了OpenCV的距离变换和分水岭算法以及OpenCV连接组件标记算法，使得本发明的适用范围增大，可以识别各种各样的压板，不再被压板的颜色等局限，同时可以提高压板识别的准确率以及压板状态比对的效率；采用SSD模型作为压板状态识别的模型，并应用大量的图像进行训练，最终训练好的模型有着较高的识别速度和准确率；减少了人工的输入，提高工作人员的工作效率。

附图说明

图1是本发明方法的一种流程图。

图2是本发明***的一种结构框图。

图中：21.用户模块，22.智能核对模块，23.图像采集模块，24.图像传输模块，25.图像分割模块，26.图像识别模块，27.分析模块，28.记录查询模块，29.处理模块。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步的描述。

实施例：如图1所示，一种利用图像比对技术核对变电站压板状态的方法，包括：

(1)选择需要核对压板状态的变电站、设备的编号以及核对模式；

具体的，工作人员可以待在办公室中，通过移动应用端上的智能核对模块先选择变电站编号，选择完变电站编号后，再具体选择所需要核对压板状态的设备编号以及核对模式，选择完成以后，将所选择的信息通过无线网络传送给相对应的智能控制摄像机的控制端。

(2)拍摄压板图片；

具体的，智能控制摄像机的控制端接受到智能核对模块所选择的信息后，控制智能控制摄像机移动到相应设备所在位置，调整角度，对所需设备的压板进行拍摄，拍摄完成以后将图像通过传输模块传输到处理模块。

(3)处理模块基于OpenCV的距离变换和分水岭算法把所接收到的图像中的每个单独压板的图像提取出来；

具体的，处理模块基于OpenCV的距离变换和分水岭算法把所接收到的图像中的压板分单个提取出来，首先对于所接收到的图像使用K-means聚类分离出背景并将背景像素改为黑色；其次将所得到的图像通过二值化处理转为二值图像；再对所得到的二值图像进行距离变换，把每个像素赋值为离它最近的背景像素点与该像素的距离；然后对所得到的距离变换后的图像进行归一化处理；并对上述所得到的的图像使用阈值，当像素高于这个阈值就赋予该像素一个新值，否则赋予另一个值，阈值后再对该图像进行二值化处理；对上述所得到的图像用OpenCV里的腐蚀、查找轮廓和绘制轮廓进行处理标记；最后对经过上述处理所得到的的图像通过分水岭算法，先对图像进行梯度处理，得到图像梯度图，再把在空间位置上相近并且灰度值相近的像素点互相连接起来最后构成一个封闭的轮廓，从而得到图像各个边沿线，从而对图像中的压板进行提取。

(4)处理模块通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标；

具体的，处理模块通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标，首先扫描图像，寻找当前像素点为1的像素，并记录其位置；其次赋予该像素位置一个标记，并且寻找该像素位置附近的前景像素，并将其***栈中；其次将栈顶像素不断弹出并赋予栈顶像素与上述像素位置相同的标记；然后继续寻找与上述栈顶像素相邻的前景像素并***栈中；最后重复上述步骤，直到该栈为空，最终得到图像中所有的像素连通组件，输出每个组件的中心位置坐标，上述中心位置坐标即每一个提取的压板图像的标注坐标。

(5)处理模块运用已经训练好的SSD模型对标注完成的压板图像进行识别，判断状态图中各个压板为投状态或退状态，并将识别结果输出至分析模块；

具体的，因为要利用已经训练好的SSD模型对标注完成的压板图像进行识别，故首先需训练SSD模型。训练SSD模型包括以下步骤：(1)制作数据集，首先将经过OpenCV的距离变换和分水岭算法后所得到的提取后的压板各种状态的图像进行收集，存入文件夹中；其次安装标注工具，并使用标注工具对所述文件夹中的压板图像进行退或投的状态标注并保存；最后，将数据集分成训练集、测试集和验证集；(2)训练SSD模型，首先配置SSD，并对模型代码进行微调，同时对文件格式进行转换和修改物体类别；其次下载预训练模型；最后，开始训练模型。SSD模型训练结束后，则可以运用已经训练好的SSD模型对标注完成的压板图像进行识别，判断出图中各个压板的状态为投状态还是退状态，并将判断出来的结果输出给分析模块。

(6)分析模块进行压板状态比对并将结果输出；

具体的，分析模块将输出结果中的压板状态与相对应压板坐标传输到***数据库，并与***数据库中的相对应坐标压板标准状态进行对比，对比后，将与压板标准状态不一致的压板坐标以及压板状态输出。

基于上述利用图像比对技术核对变电站压板状态的方法，开发了基于安卓***的移动应用端(APP)和基于OpenCV图像比对功能的服务端，其后台管理***由PHP实现相关功能，使用easyUI、LayUI等第三方组件搭建WEB页面，如图2所示，包括：

用户模块21，显示的是注册用户的基本信息，可以进行用户注册、修改密码和登入、退出操作；

智能核对模块22，用于选择变电站编号和所需要核对压板状态的设备编号以及核对模式；

图像采集模块23，用于采集目标变电站的压板图像；

图像传输模块24，用于将采集到的压板图像传输到处理模块；

处理模块29，处理模块包括图像分割模块25和图像识别模块26，所述图像分割模块，用于通过OpenCV的距离变换和分水岭算法对所述压板图像中的单个压板进行分割提取并过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标，所述图像识别模块，用于通过训练好的SSD模型对单个压板图片进行投或退的状态识别；

分析模块27，用于将图像识别模块输出结果中的压板状态与相对应压板坐标传输到***数据库，并与***数据库中的相对应坐标压板标准状态进行对比，对比后，将与压板标准状态不一致的压板坐标以及压板状态输出；

记录查询模块28，用于记录用户上传图片的历史数据和识别结果，同时也可筛选查看之前的核对记录和核对结果。

所述基于OpenCV图像比对功能的服务端包含了处理模块和分析模块，所述处理模块又包括了图像分割模块和图像识别模块，所述基于安卓***的移动应用端包含了智能核对模块、记录查询模块、用户模块。

Claims (6)

1.一种利用图像比对技术核对变电站压板状态的方法，其特征是，包括以下步骤：

(1)图像采集设备采集目标变电站的压板图片，并通过图像传输模块将所拍摄的图像传输到处理模块；

(2)处理模块基于OpenCV的距离变换和分水岭算法把所接收到的图像中的每个单独压板的图像提取出来；

(3)处理模块通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标；

(4)处理模块运用已经训练好的SSD模型对标注完成的压板图像进行识别，判断状态图中各个压板为投状态或退状态，并将识别结果输出至分析模块；

(5)分析模块进行压板状态比对并将结果输出。

2.根据权利要求1所述的一种利用图像比对技术核对变电站压板状态的方法，其特征是，所述处理模块基于OpenCV的距离变换和分水岭算法把所接收到的图像中的每个单独压板的图像提取出来，包括下列步骤：

①对于所接收到的图像使用K-means聚类分离出背景并将背景像素改为黑色；

②将①所得到的图像通过二值化处理转为二值图像；

③对②所得到的二值图像进行距离变换，把每个像素赋值为离它最近的背景像素点与该像素的距离；

④对③所得到的距离变换后的图像进行归一化处理；

⑤对④所得到的的图像使用阈值，当像素高于这个阈值就赋予该像素一个新值，否则赋予另一个值，阈值后再对该图像进行二值化处理；

⑥对⑤所得到的图像用OpenCV里的腐蚀、查找轮廓和绘制轮廓进行处理标记；

⑦对⑥所得到的的图像通过分水岭算法，先对图像进行梯度处理，得到图像梯度图，再把在空间位置上相近并且灰度值相近的像素点互相连接起来最后构成一个封闭的轮廓，从而得到图像各个边沿线，从而对图像中的压板进行提取。

3.根据权利要求1所述的一种利用图像比对技术核对变电站压板状态的方法，其特征是，所述处理模块通过OpenCV连接组件标记算法对每一个提取的压板图像进行标注坐标，包括下列步骤：

i默认像素和像素之间为8连通，寻找提取的图像中连通组件之间的连通域；

ii输出每个组件的中心位置坐标。

4.根据权利要求3所述的一种利用图像比对技术核对变电站压板状态的方法，其特征是，所述OpenCV连接组件标记算法包括下列步骤：

a扫描图像，寻找当前像素点为1的像素，并记录其位置；

b赋予该像素位置一个标记，并且寻找该像素位置附近的前景像素，并将其***栈中；

c将栈顶像素不断弹出并赋予栈顶像素与b中像素位置相同的标记；

d继续寻找与c中栈顶像素相邻的前景像素并***栈中；

重复步骤b、步骤c和步骤d，直到该栈为空。

5.根据权利要求1所述的一种利用图像比对技术核对变电站压板状态的方法，其特征是，所述SSD模型训练方法包括下列步骤：

I制作数据集，首先将经过OpenCV的距离变换和分水岭算法后所得到的提取后的压板各种状态的图像进行收集，存入文件夹中；

II其次使用标注工具对所述文件夹中的压板图像进行退或投的状态标注并保存；最后，将数据集分成训练集、测试集和验证集；

III训练SSD模型，首先配置SSD，并对模型代码进行微调；其次下载预训练模型；最后，开始训练模型。

6.根据权利要求1或2或3或5所述的一种利用图像比对技术核对变电站压板状态的方法，其特征是，所述步骤(5)为：所述分析模块将所述识别结果中的压板状态与相对应压板坐标传输到***数据库，并与***数据库中的相对应坐标压板标准状态进行对比，对比后，将与压板标准状态不一致的压板坐标以及压板状态输出。

Images