CN111666984B - 一种基于迁移学习的过电压智能识别方法 - Google Patents

Abstract

本发明提供一种基于迁移学习的过电压智能识别方法，包括下列步骤：S1、采集过电压波形数据，形成过电压波形图数据库；S2、构建过电压特征提取基础模型，基于ImageNet训练数据库，实现所述过电压特征提取基础模型的学习训练；S3、保存训练好的所述过电压特征提取基础模型中的配制参数，在所述过电压特征提取基础模型的基础上建立过电压迁移学习模型；S4、基于所述过电压波形图数据库，实现所述过电压迁移学习模型的学习训练；S5、通过训练后的过电压迁移学习模型实现过电压波形图的分类识别。

Description

一种基于迁移学习的过电压智能识别方法

技术领域

本发明涉及电网过电压智能识别技术领域，尤其涉及一种基于迁移学习的过电压智能识别方法。

背景技术

传统的过电压分类模型往往是基于仿真数据库建立，对各类仿真波形的特征提取与分类识别效果上佳，而对采集于变电站中的实测过电压数据(非标准且受到各种干扰影响)的关键特征提取能力与分类准确率则会大幅降低，然而利用实测过电压数据训练具有相对较高适应能力的过电压特征提取与分类模型却存在以下两大难题：1、由于过电压数据量不足，导致模型结构简单，所提取的特征肤浅片面，容易以偏概全，模型应用价值降低；2、如果强制复杂化模型结构以提取深度特征，由于现阶段采集获得的过电压数据库数据不足，难以满足网络参数训练要求，产生过拟合，模型训练失去意义。

发明内容

本发明的目的在于提供一种基于迁移学习的过电压智能识别方法，能够满足变电站实测过电压的时域波形识别要求，以解决上述背景技术中提出的问题。

本发明是通过以下技术方案实现的：一种基于迁移学习的过电压智能识别方法，包括下列步骤：

S1、采集过电压波形数据，形成过电压波形图数据库；

S2、构建过电压特征提取基础模型，基于ImageNet训练数据库，实现所述过电压特征提取基础模型的学习训练；

S3、保存训练好的所述过电压特征提取基础模型中的配制参数，在所述过电压特征提取基础模型的基础上建立过电压迁移学习模型；

S4、基于所述过电压波形图数据库，实现所述过电压迁移学习模型的学习训练；

S5、通过训练后的过电压迁移学习模型实现过电压波形图的分类识别。

优选的，所述过电压特征提取基础模型包括卷积特征提取网络、逻辑修正网络、分类识别网络。

优选的，所述卷积特征提取网络包括全卷积层、深度卷积提取层、逐点卷积提取层，所述全卷积层的输出接入所述深度卷积提取层的输入，所述深度卷积提取层的输出接入所述逐点卷积提取层的输入，且所述深度卷积提取层、逐点卷积提取层之间交错搭建；

所述全卷积层用于实现图像特征信息的完全扫描；

所述深度卷积提取层用于图像特征信息的滤波；

所述逐点卷积提取层用于实现图像特征信息的组合。

优选的，所述逻辑修正网络包括平均池化层以及卷积修正层，所述逐点卷积提取层的输出接入所述平均池化层的输入，所述平均池化层的输出接入所述卷积修正层的输入，所述平均池化层以及卷积修正层用于实现图像特征信息的降维。

优选的，所述分类识别网络包括第一softmax分类器，所述卷积修正层的输出接入所述第一softmax分类器的输入，所述第一softmax分类器用于实现所述ImageNet训练数据库的分类识别。

优选的，建立过电压迁移学习模型的过程包括：

保留所述卷积特征提取网络、所述逻辑修正网络，将所述分类识别网络修改为带有全连接层以及第二softmax分类器的浅层神经网络，所述逻辑修正网络的输出接入所述全连接层的输入，所述全连接层的输出接入所述第二softmax分类器的输入，所述第二softmax分类器用于实现所述过电压波形图数据库的分类识别。

优选的，所述过电压迁移学习模型的学习训练过程包括：

将所述过电压波形图数据库依次输入所述卷积特征提取网络、所述逻辑修正网络后获得过电压特征集；

将所述过电压特征集输入全连接层以及第二softmax分类器进行学习训练，获得过电压波形分类识别结果。

与现有技术相比，本发明达到的有益效果如下：

本发明提供的一种基于迁移学习的过电压智能识别方法，引入迁移学习的思想，利用大型数据库ImageNet训练过电压特征提取基础模型，然后导入过电压数据库完成基础模型微调，实现过电压特征提取迁移学习模型构建，其对过电压波形具有较好的识别效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于迁移学习的过电压智能识别方法的流程图；

图2为本发明提供的过电压特征提取基础模型示意图；

图3为本发明提供的过电压迁移学习模型示意图。

图中，1卷积特征提取网络，2逻辑修正网络，3分类识别网络，4浅层神经网络。

具体实施方式

为了更好理解本发明技术内容，下面提供具体实施例，并结合附图对本发明做进一步的说明。

参见图1至图3，一种基于迁移学习的过电压智能识别方法，包括下列步骤：

S1、在变电站设置过电压在线监测装置，采集过电压波形数据，形成过电压波形图数据库；

S2、构建过电压特征提取基础模型，基于ImageNet训练数据库，实现所述过电压特征提取基础模型的学习训练；

所述过电压特征提取基础模型包括卷积特征提取网络1、逻辑修正网络2、分类识别网络3；

其中卷积特征提取网络1一共有27层，包括全卷积层、深度卷积提取层、逐点卷积提取层，全卷积层为第一层，所述全卷积层用于实现图像特征信息的完全扫描，而不会发生信息遗漏，所述全卷积层的输出接入所述深度卷积提取层的输入，所述深度卷积提取层的输出接入所述逐点卷积提取层的输入，所述深度卷积提取层、逐点卷积提取层共有13组，并且深度卷积提取层、逐点卷积提取层之间交错搭建，其深度卷积提取层、逐点卷积提取层二者的结构具体如表1：

表1

所述深度卷积提取层用于图像特征信息的滤波，从而实现对每个输入通道执行单通道特征提取，逐点卷积提取层创建深度卷积提取层的线性叠加，通过上述过程能极大减少计算量和模型大小，便于增加模型层数，放大网络计算能力与特征提取能力，提高模型特征挖掘能力与效率。

具体的，所述逻辑修正网络2包括平均池化层以及卷积修正层，所述逐点卷积提取层的输出接入所述平均池化层的输入，所述平均池化层的输出接入所述卷积修正层的输入，所述平均池化层以及卷积修正层用于实现图像特征信息的降维，其所述平均池化层具体参数如表2：

表2

层	28th	输入尺寸	1×4×4×256
				类型	平均池化	核函数尺寸	[1,4,4,1]
步长	[1,2,2,1]	输出尺寸	1×1×1×256

具体的，所述分类识别网络3包括第一softmax分类器，所述卷积修正层的输出接入所述第一softmax分类器的输入，第一softmax分类器的分类结果由下式进行计算：

其中θj是分类器中的参数，y是对应于输入向量x的输出类。输入x被分配给具有最高概率t的类y。m为所采用的ImageNet训练数据库数据的总类别。

并且第一softmax分类器中内置有以下损失函数：

本实施例中采用ImageNet训练数据库对过电压特征提取基础模型进行学习训练，ImageNet训练数据库中包含训练集1281167个图片数据，测试集50000个图片，共1001个分类，根据所采用的训练数据集，不断修正过电压特征提取基础模型结构参数，结合批量随机梯度下降梯度下降算法，迭代计算梯度并更新θ值，最小化J(θ)，实现模型内部卷积特征提取网络1，逻辑修正网络2，以及分类识别网络3参数最优配置，完成过电压特征提取基础模型训练

S3、保存训练好的所述过电压特征提取基础模型中的配制参数，在所述过电压特征提取基础模型的基础上建立过电压迁移学习模型，而建立过电压迁移学习模型的过程包括：

保留所述卷积特征提取网络1、所述逻辑修正网络2，使得所述过电压迁移学习模型中的所述卷积特征提取网络1的参数与所述过电压特征提取基础模型的所述卷积特征提取网络1一致；

所述过电压迁移学习模型中的所述逻辑修正网络2的参数与所述过电压特征提取基础模型的所述逻辑修正网络2一致，然后舍弃原分类识别网络3，并将所述分类识别网络3修改为带有全连接层以及第二softmax分类器的浅层神经网络4，所述逻辑修正网络2的输出接入所述全连接层的接入，所述全连接层的输出接入所述第二softmax分类器的输入。

其中全连接层的输出表征为：

y＝W*x+b

其中w表示权重参数矩阵，b是全连接层中的偏差项。

第二softmax分类器的分类结果由下式进行计算：

其中θj是分类器中的参数，y是对应于输入向量x的输出类。输入x被分配给具有最高概率t的类y。m为实测过电压训练数据库数据的总类别

并且第二softmax分类器中内置有以下损失函数：

S4、以所述过电压波形图数据库作为输入数据，将过电压波形图数据库传入固化的卷积特征提取网络1与逻辑修正网络2，不断实现特征提取，获得过电压特征集，利用实测过电压训练数据集不断训练并调整更新浅层神经网络4内部结构参数，迭代计算梯度并更新值θ，最小化J(θ)，实现该浅层神经网络4参数最优配置，该过程不涉及固化的卷积特征提取网络1与逻辑修正网络2，以此完成过电压迁移学习模型训练。

S5、通过训练后的过电压迁移学习模型实现过电压波形图的分类识别。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (2)

1.一种基于迁移学习的过电压智能识别方法，其特征在于，包括下列步骤：

S1、采集过电压波形数据，形成过电压波形图数据库；

S2、构建过电压特征提取基础模型，基于ImageNet训练数据库，实现所述过电压特征提取基础模型的学习训练；

S3、保存训练好的所述过电压特征提取基础模型中的配制参数，在所述过电压特征提取基础模型的基础上建立过电压迁移学习模型；

S4、基于所述过电压波形图数据库，实现所述过电压迁移学习模型的学习训练；

S5、通过训练后的过电压迁移学习模型实现过电压波形图的分类识别；

所述过电压特征提取基础模型包括卷积特征提取网络、逻辑修正网络、分类识别网络；

所述卷积特征提取网络包括全卷积层、深度卷积提取层、逐点卷积提取层，所述全卷积层的输出接入所述深度卷积提取层的输入，所述深度卷积提取层的输出接入所述逐点卷积提取层的输入，且所述深度卷积提取层、逐点卷积提取层之间交错搭建；

所述全卷积层用于实现图像特征信息的完全扫描；

所述深度卷积提取层用于图像特征信息的滤波；

所述逐点卷积提取层用于实现图像特征信息的组合；

所述逻辑修正网络包括平均池化层以及卷积修正层，所述逐点卷积提取层的输出接入所述平均池化层的输入，所述平均池化层的输出接入所述卷积修正层的输入，所述平均池化层以及卷积修正层用于实现图像特征信息的降维；

所述分类识别网络包括第一softmax分类器，所述卷积修正层的输出接入所述第一softmax分类器的输入，所述第一softmax分类器用于实现所述ImageNet训练数据库的分类识别；

建立过电压迁移学习模型的过程包括：

保留所述卷积特征提取网络、所述逻辑修正网络，将所述分类识别网络修改为带有全连接层以及第二softmax分类器的浅层神经网络，所述逻辑修正网络的输出接入所述全连接层的输入，所述全连接层的输出接入所述第二softmax分类器的输入，所述第二softmax分类器用于实现所述过电压波形图数据库的分类识别。

2.根据权利要求1所述的一种基于迁移学习的过电压智能识别方法，其特征在于，所述过电压迁移学习模型的学习训练过程包括：

将所述过电压波形图数据库依次输入所述卷积特征提取网络、所述逻辑修正网络后获得过电压特征集；

将所述过电压特征集输入全连接层以及第二softmax分类器进行学习训练，获得过电压波形分类识别结果。