CN109191419A - 基于机器学习的实时压板检测及状态识别***及方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的实时压板检测及状态识别***及方法，加载用于训练的压板检测和状态判断模型文件；对采集的压板实时检测图像进行预处理；利用深度卷积神经网络训练压板的检测，判断采集的检测图像内是否有压板，如果具有压板则进行压板的状态识别，否则继续接收检测图像，对检测结果进行分类输出；提取压板的轮廓特征与颜色特征，利用支持向量机构建特征分类器，利用分类后的特征向量和颜色标志，识别压板开关的开、关状态。

Description

基于机器学习的实时压板检测及状态识别***及方法

技术领域

本发明涉及一种基于机器学习的实时压板检测及状态识别***及方法。

背景技术

目前，机器人在电力行业应用越来越广泛，可以自动完成很多任务，比如线路巡检、仪表检测等。

对于变电站而言，继电保护压板检测是检测的一个重要环节，目前的做法多是利用机器人自带的摄像头拍摄压板图像，通过处理器进行分析判断出压板的状态，从而判断出目前***是否正常。

然而，在实际应用中，由于每次检测时机器人拍摄位置不同，检测时刻的光线不同，以及玻璃板反光等导致同一位置的压板在不同的图像中具有不同的形变、遮挡或/和倒影等影响因素，给识别带来了很大难度。

发明内容

本发明为了解决上述问题，提出了一种基于机器学习的实时压板检测及状态识别***及方法，本发明能够解决现有检测方式中存在的压板的形变、遮挡或倒影等干扰因素的影响问题，快速准确的识别出压板的位置及状态。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一目的是提供一种基于机器学习的实时压板检测及状态识别方法，包括以下步骤：

加载用于训练的压板检测和状态判断模型文件；

对采集的压板实时检测图像进行预处理；

利用深度卷积神经网络训练压板的检测，判断采集的检测图像内是否有压板，如果具有压板则进行压板的状态识别，否则继续接收检测图像，对检测结果进行分类输出；

提取压板的轮廓特征与颜色特征，利用支持向量机构建特征分类器，利用分类后的特征向量和颜色标志，识别压板开关的开、关状态。

进一步的，深度卷积神经网络采用LeNet5模型，具体包括输入层、卷积层、子采样层、第二卷积层、第二子采样层、全连接层、第二全连接层和分类层。

进一步的，深度卷积神经网络对输入为采集的检测图像，输出为分类结果，且该分类结果利用softmax回归以及批量随机梯度下降算法进行优化。

进一步的，在训练样本中加入有形变、遮挡或倒影干扰因素的压板正样本。

进一步的，提取压板的轮廓特征中具体包括：

获取跟开关的两个圆之间的直线有关系的特征；

获取跟开关的两个圆之间的捏手有关系的特征；

获取跟开关上边的圆有关的特征；

获取跟开关标志的颜色有关的特征。

进一步的，提取压板的颜色特征具体包括获取跟开关标志的颜色有关的特征，获取标志上的HSV色***的H、S成分。

进一步的，利用支持向量机构建特征分类器中，设置参加学***面的参数，根据参数的取值确定压板的开关状态。

更进一步的，设(x_i，y_i)，i＝1，2，...，N为参加学习的特征向量以及此标志，即如果x_i是打开的开关的特征向量，则y_i＝1，如果不是，y_i＝-1；

优化凸规划模型为：

y_i[w^Tx_i+w₀]≥1-ξ_i，i＝1，2，...N；

ξ_i≥0，i＝1，2，...N；

这里，w，w₀是想要得到的分离超平面的参数，ξ_i是松弛变量，C是控制在目的函数里两个量之间的相对影响的正数。

这是一个凸规划，它的拉格朗日函数就是：

这里，λ，μ是拉格朗日乘子。

对应的Karush-Kuhn-Tucker条件就是：

λ_i[y_i(w^Tx_i+w₀)-1+ξ_i]＝0，i＝1，2，...N

μ_iξ_i＝0，i＝1，2，...N

μ_i≥0，λ_i≥0，i＝1，2，...N

那么，要解决的优化凸规划模型变更为：

C-μ_i-λ_i＝0，i＝1，2，...N

λ_i≥0，μ_i≥0，i＝1，2，...N

Minimize L(w，w₀，ξ，λ，μ)

本发明的第二目的提供了一种基于机器学习的实时压板检测及状态识别***，包括：

加载模块，被配置为加载用于训练的压板检测和状态判断模型文件和压板实时检测图像进行预处理；

训练模块，被配置为利用深度卷积神经网络训练压板的检测，判断采集的检测图像内是否有压板，如果具有压板则进行压板的状态识别，否则继续接收检测图像，对检测结果进行分类输出；

识别模块，被配置为提取压板的轮廓特征与颜色特征，利用支持向量机构建特征分类器，利用分类后的特征向量和颜色标志，识别压板开关的开、关状态。

与现有技术相比，本发明的有益效果为：

1、本发明在训练样本中加入有形变、遮挡或倒影干扰因素的压板正样本，能够解决现有检测方式中存在的压板的形变、遮挡或倒影等干扰因素的影响问题，快速准确的识别出压板的位置及状态。

2、经过试验验证，本发明的压板检测结果和状态识别结果均具有较高的效率与正确率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为卷积神经网络的稀疏连接图；

图2为卷积神经网络的权值共享图；

图3为本实施例中的卷积神经网络模型示意图；

图4为本发明的流程示意图；

图5为压板图像实物示意图；

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

基于机器学习的实时压板检测及状态识别***很大程度上解决了压板的形变、遮挡、倒影等，能够快速准确的识别出压板的位置及状态。本发明采用深度卷积神经网络(Deep CNN)训练来检测压板，用支持向量机(SVM)来判断压板状态。

如图4所示，加载训练的压板检测和压板状态判断模型文件，输入图像对图像预处理去除噪声、反光等影响，然后检测压板位置，对检测出的压板进行开、关状态判断。

压板检测模型文件用来检测图像中压板的位置，压板状态判断模型文件用来判断检测出的压板的状态。模型文件中的数据是通过训练得出参数。

检测压板的过程就是利用卷积神经网络(网络中的参数即是训练出来的模型文件)判断图像中是否存在压板。

深度卷积神经网络(Deep CNN)训练检测压板

神经网络是一种受大脑结构启发而设计出的层级模型，其由一系列按照一定规则相连接的节点组成，形成一种层次化的结构，最简单的一个神经网络只包含3层：输入层、隐层(和外部的输入、输出没有直接关联)和输出层。卷积神经网络(CNN)最大的特点就是引入了卷积操作，将前馈网络中的全连接替换为局部连接，在不同的连接之间进行权值共享，将一个卷积核作用于一张图像时，卷积核就像检测时的观察窗口，其从图像的左上角逐步滑动到右下角，其滑动的每个位置对应于一个输出节点，这个节点只和窗口内的输入节点(图像上每一个点都对应于一个输入节点)相连接，而不同输出节点和对应输入节点连接的权值是相同的。卷积操作可以自然地保留图像的空间信息，其只作用域局部，因而输出节点的空间结构和输入节点的空间结构是对应的，

CNN可以表示足够多足够复杂的变换，而不具体设计特征提取的细节，用训练数据来取代人的角色。CNN的最大特点是稀疏连接(局部感受)和权值共享。图1为稀疏连接，图2为权值共享。稀疏连接和权值共享可以减少所要训练的参数，减少计算复杂度。

卷积神经网络(CNN)的基本结构就是输入层、卷积层、子采样层(pooling)、全连接层、输出层(分类器)。卷积层+子采样层一般都会有若干个。

本发明的CNN模型参考LeNet5，LeNet5如图3所述，LeNet5从左到右，先是输入层(input-layer)，即输入的图片，input-layer到C1是一个卷积层，C1到S2是一个子采样层(pooling运算)，S2到C3是卷积，C3到S4是子采样，S4到C5之间是全连接，C5到F6是全连接，F6到输出层是一个分类器，也叫分类层。

本发明的deep cnn训练有一个输入层、两个“卷积+子采样层”LeNetConvPoolLayer、两个全连接层，一个输出层，全连接层相当于MLP(多层感知机)中的隐含层(HiddenLayer)。

输出层即分类器，采用softmax回归，其中优化算法采用批量随机梯度下降算法(MSGD)。

输出层即分类器层，分类器层里面采用的是softmax回归方法，其中softmax回归方法中的优化算法采用批量随机梯度下降算法(MSGD)。

深度卷积神经网络训练时输入的是32*32像素大小的压板正样本和不含压板的负样本。

其次，本发明是利用支持向量机(svm)来判断压板状态，如图5所示，具体可以包括：

(1)获取跟开关的两个圆之间的直线有关系的特征：

设(x₁，y₁)，(x₁′，y₁′)为该开关的上下的圆的中心，A为检测图像。

这里，N₁是特征的个数，grad是梯度，r是已预测过的半径。

(2)获取跟开关的两个圆之间的捏手有关系的特征。

设(x₁，y₁)，(x₁′，y₁′)为该开关的上下的圆的中心，A为图像。

这里，N₂是特征的个数，grad是梯度，r是已预测过的半径。

(3)获取跟开关上边的圆有关的特征。

设(x₁，y₁)为该开关的上的圆的中心，A为图像。

这里，U是开关上边的圆的范围，grad是梯度，r是已预测过的半径。

(4)获取跟开关标志的颜色有关的特征。

找开关下面的标志的范围，然后获取这个标志上的HSV色***的H，S成分。

用支持向量机学习方法，构建每个特征的分类器，然后继续构建用四个特征的结果的分类器。

具体的，设(x_i，y_i)，i＝1，2，...，M为参加学习的特征向量以及此标志，即如果x_i是打开的开关的特征向量，则y_i＝1，如果不是，y_i＝-1。

那么，要解决的优化问题就是

y_i[w^Tx_i+w₀]≥1-ξ_i，i＝1，2，...N

ξ_i≥0，i＝1，2，...N

这里，w，w₀是想要得到的分离超平面的参数，ξ_i是松弛变量。

这个优化问题就是凸规划问题。

它的拉格朗日函数就是

对应的Karush-Kuhn-Tucker条件就是

λ_i[y_i(w^Tx_i+w₀)-1+ξ_i]＝0，i＝1，2，...N

μ_iξ_i＝0，i＝1，2，...N

μ_i≥0，λ_i≥0，i＝1，2，...N

那么，要解决的优化问题就是

C-μ_i-λ_i＝0，i＝1，2，...N

λ_i≥0，μ_i≥0，i＝1，2，...N

Minimize L(w，w₀，ξ，λ，μ)

经过计算，得到分离超平面的参数w，w₀。

用这个参数去进行状态识别，判断过程就是：

是判断为打开的开关

是判断为关闭的开关

为了证明上述过程具有较好的效果，进行压板图像的验证，利用1000张压板图像进行上述方法的操作，每个图像上压板数量不少于10个，经过试验，压板检测成功率为99％，状态判断成功率99.9％。因此，通过本发明的压板***能够快速、稳定地检测压板并判断压板状态。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于机器学习的实时压板检测及状态识别方法，其特征是：包括以下步骤：

加载用于训练的压板检测和状态判断模型文件；

对采集的压板实时检测图像进行预处理；

利用深度卷积神经网络训练压板的检测，判断采集的检测图像内是否有压板，如果具有压板则进行压板的状态识别，否则继续接收检测图像，对检测结果进行分类输出；

提取压板的轮廓特征与颜色特征，利用支持向量机构建特征分类器，利用分类后的特征向量和颜色标志，识别压板开关的开、关状态。

2.如权利要求1所述的一种基于机器学习的实时压板检测及状态识别方法，其特征是：深度卷积神经网络采用LeNet5模型，具体包括输入层、卷积层、子采样层、第二卷积层、第二子采样层、全连接层、第二全连接层和分类层。

3.如权利要求1所述的一种基于机器学习的实时压板检测及状态识别方法，其特征是：深度卷积神经网络对输入为采集的检测图像，输出为分类结果，且该分类结果利用softmax回归以及批量随机梯度下降算法进行优化。

4.如权利要求1所述的一种基于机器学习的实时压板检测及状态识别方法，其特征是：在训练样本中加入有形变、遮挡或倒影干扰因素的压板正样本。

5.如权利要求1所述的一种基于机器学习的实时压板检测及状态识别方法，其特征是：提取压板的轮廓特征中具体包括：

获取跟开关的两个圆之间的直线有关系的特征；

获取跟开关的两个圆之间的捏手有关系的特征；

获取跟开关上边的圆有关的特征；

获取跟开关标志的颜色有关的特征。

6.如权利要求1所述的一种基于机器学习的实时压板检测及状态识别方法，其特征是：提取压板的颜色特征具体包括获取跟开关标志的颜色有关的特征，获取标志上的HSV色***的H、S成分。

7.如权利要求1所述的一种基于机器学***面的参数，根据参数的取值确定压板的开关状态。

8.如权利要求7所述的一种基于机器学习的实时压板检测及状态识别方法，其特征是：设(x_i，y_i)，i＝1，2，...，M为参加学习的特征向量以及此标志，即如果x_i是打开的开关的特征向量，则y_i＝1，如果不是，y_i＝-1；

优化凸规划模型为：

y_i[w^Tx_i+w₀]≥1-ξ_i，i＝1，2，...N；

ξ_i≥0，i＝1，2，...N；

这里，w，w₀是想要得到的分离超平面的参数，ξ_i是松弛变量，C是控制在目的函数里两个量之间的相对影响的正数。

9.如权利要求7所述的一种基于机器学习的实时压板检测及状态识别方法，其拉格朗日函数就是：

这里，λ，μ是拉格朗日乘子；

对应的Karush-Kuhn-Tucker条件就是：

λ_i[y_i(w^Tx_i+w₀)-1+ξ_i]＝0，i＝1，2，...N

μ_iξ_i＝0，i＝1，2，...N

μ_i≥0，λ_i≥0，i＝1，2，...N。

10.一种基于机器学习的实时压板检测及状态识别***，其特征是：包括：

加载模块，被配置为加载用于训练的压板检测和状态判断模型文件和压板实时检测图像进行预处理；

训练模块，被配置为利用深度卷积神经网络训练压板的检测，判断采集的检测图像内是否有压板，如果具有压板则进行压板的状态识别，否则继续接收检测图像，对检测结果进行分类输出；

识别模块，被配置为提取压板的轮廓特征与颜色特征，利用支持向量机构建特征分类器，利用分类后的特征向量和颜色标志，识别压板开关的开、关状态。