CN112884758B - 一种基于风格迁移方法的缺陷绝缘子样本生成方法及*** - Google Patents

一种基于风格迁移方法的缺陷绝缘子样本生成方法及*** Download PDF

Info

Publication number
CN112884758B
CN112884758B CN202110270530.8A CN202110270530A CN112884758B CN 112884758 B CN112884758 B CN 112884758B CN 202110270530 A CN202110270530 A CN 202110270530A CN 112884758 B CN112884758 B CN 112884758B
Authority
CN
China
Prior art keywords
image
sample
style
insulator
style migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110270530.8A
Other languages
English (en)
Other versions
CN112884758A (zh
Inventor
张凌浩
闫志杰
唐勇
梁晖辉
陈亮
张菊玲
向思屿
刘姗梅
潘文分
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority to CN202110270530.8A priority Critical patent/CN112884758B/zh
Publication of CN112884758A publication Critical patent/CN112884758A/zh
Application granted granted Critical
Publication of CN112884758B publication Critical patent/CN112884758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种基于风格迁移方法的缺陷绝缘子样本生成方法及***，首先将采集的多幅绝缘子图像样本根据视觉差异划分为多个图像域并对每个图像域进行编码，再通过风格迁移网络对图像域进行风格迁移训练，获得任意两个图像域之间的风格迁移器；最后使用获得的风格迁移器将图像域内的缺陷绝缘子样本进行风格迁移生成新的缺陷绝缘子样本；本发明通过风格迁移器来对图像域内的缺陷绝缘子样本进行风格迁移，生成新的较为逼真的风格迁移图像样本，生成的缺陷绝缘子图像样本质量高，保留了绝缘子样本的语义连接信息，且生成的缺陷绝缘子样本可以有效提供基于深度学习的目标检测模型的准确率及召回率，具有一定实用价值。

Description

一种基于风格迁移方法的缺陷绝缘子样本生成方法及***
技术领域
本发明涉及技术领域，具体涉及一种基于风格迁移方法的缺陷绝缘子样本生成方法及***。
背景技术
近年来，在电力***智能巡检工作中，国家电网尝试引入新颖的人工智能技术来解决巡检工作中劳动密集问题，如通过基于深度学习的目标检测算法来实现智能化巡检目标，但是由于电力***中部分故障缺陷出现的频率较低，从而导致可收集的缺陷样本较少，很难满足深度学习对数据量的需求，因此亟需一种生成缺陷样本的方法来解决上述问题。
对于缺陷绝缘子样本而言，当前可用数据量仍达不到神经网络训练的需求，因而在对人工智能技术实际验证工作中，对缺陷绝缘子的检测准确率较低，难以实际应用。针对绝缘子缺陷样本缺少问题，主要有以下两种数据增强样本扩充技术，分别是变换式和生成式技术。
变换式生成方法侧重使用镜像翻转，仿射变换等传统方法来实现数据增强，有部分方法通过ps软件将缺陷绝缘子与新的背景融合来实现数据增强，也有部分方法通过对融合后的图像添加噪音等来实现数据增强，虽然这些方法一定程度上增加了缺陷样本的数量，但几乎没有增加缺陷样本的多样性，在实际电网环境中，绝缘子会随着环境的改变呈现出不同的外观特性，而变换式增强方法很难生成多样性丰富的绝缘子样本。
生成式方法最具代表性的便是生成对抗网络(Gan)，Ian J.Goodfellow依据零和博弈思想创造了Gan，其由生成器与判别器组成，通过二者博弈训练，可以生成真实的样本来实现样本扩充。基于Gan的生成式方法大致分为以下两种，一是通过隐变量生成真实样本的方法，特点是通过生成器与判别器的对抗训练，从隐空间生成符合期望分布的样本，但此种生成方法依赖大量的原始样本训练，并不适合样本量本身就较少的绝缘子数据；二是而通过风格迁移来实现样本扩充的方法，特点是将当前风格的缺陷样本作为输入，生成多种不同风格的样本数据，此种方法对样本依赖量相较隐空间生成法而言比较少，而基于Cycle-Gan的方法生成了多种环境风格下缺陷绝缘子样本，虽然风格迁移类方法一定程度上能实现绝缘子样本的数据增强，但现有的算法往往存在以下几个问题：
1.缺陷样本生成比不足；
2.缺陷样本生成质量较差；
3.缺陷样本不能供深度学习目标检测模型训练使用。
发明内容
为解决上述技术问题，本发明基于如何在现有小样本缺陷绝缘子数据的基础上生成大量质量较高、可供深度学习目标检测模型训练使用的绝缘子缺陷样本为出发点，本发明提供一种基于风格迁移方法的缺陷绝缘子样本生成方法及***。
本发明通过下述技术方案实现：
本方案提供一种基于风格迁移方法的缺陷绝缘子样本生成方法，包括步骤：
S1.采集多幅绝缘子图像样本；
S2.将绝缘子图像样本根据视觉差异划分为多个图像域并对每个图像域进行编码；
S3.通过风格迁移网络对图像域进行风格迁移训练，获得任意两个图像域之间的风格迁移器；
S4.使用S3得到的风格迁移器将图像域内的缺陷绝缘子样本进行风格迁移生成新的缺陷绝缘子样本。
本方案工作原理：现有的生成缺陷图像样本方法需要依赖大量的原始样本训练，并不适合样本量本身就较少的绝缘子数据，本发明基于采集多幅绝缘子图像样本中的少量样本缺陷绝缘子图像样本便可生成不不同风格的大量缺陷绝缘子图像样本，可一对多生成，生成转换比高；通过风格迁移来实现样本扩充的方法，特点是将当前风格的缺陷样本作为输入，生成多种不同风格的样本数据，此种方法对样本依赖量相现有的生成方法而言比较少；本方案通过风格迁移器来对图像域内的缺陷绝缘子样本进行风格迁移，生成新的较为逼真的风格迁移图像样本，生成的缺陷绝缘子图像样本质量高，保留了绝缘子样本的语义连接信息，且生成的缺陷绝缘子样本可以有效提供基于深度学习的目标检测模型的准确率及召回率，具有一定实用价值。
进一步优化方案为，S3包括以下子步骤：
S31.任意选取两个图像域，并从两个图像域中各取一张绝缘子图像样本分别作为源域图像样本与目标域图像样本；
S32.提取源域图像样本的绝缘子区域分割掩码图；
S33.基于绝缘子区域分割掩码图和目标域图像样本建立风格迁移网络Tw_CycleGan实现从源域到目标域的转换；
S34.以风格迁移网络Tw_Cycle Gan作为两个图像域之间的风格迁移器。
进一步优化方案为，S32包括以下子步骤：
S321.通过labelme软件对源域图像样本中的绝缘子区域进行图像标注；(包含完整绝缘子图像标注和部分缺陷绝缘子图像标注)
S322.建立U_net区域分割网络，实现对图像标注后的源域图像样本进行绝缘子图像像素级分类，从而获得绝缘子区域分割掩码图。
本方案使用U_net分割网络，其可实现像素级别的归类，对于小样本量数据仍可适用。通过labelme标注部分绝缘子图像样本，由于图像分割网络会对像素级别归类，就像素而言，缺陷样本与非缺陷样本几乎不存在差异，因而训练好的分割网络可以同时提取缺陷样本及非缺陷样本的分割掩码图。
进一步优化方案为，S33包括以下子步骤：
建立由五个下采样残差块、四个上采样残差块和五个中间残差块组成的生成网络，并使用实例归一化和自适应实例归一化来使生成网络实现风格迁移效果；
建立判别网络，判别网络用于判别生成图像样本的真假，同时判断生成图像样本所属图像域；判别网络由多任务卷积网络组成，使用k个完全连接的层对每个域进行真假分类，其中k表示域的数量，判别网络在判别生成图像样本真假的同时，还能判断生成图像样本所属图像域；
建立与判别网络具有相同架构的风格编码网络，所述风格编码网络用于提取目标域图像样本的风格编码；风格编码网络与判别网络使用相同架构，同样具有k个全连接层，每个域有自己的全连接层，风格编码网络接收绝缘子图像样本，提取目标域图像样本的风格编码；
建立映射网络；映射网络由k个输出多层感知机组成，k代表域的数量，所有域共享四个全连接层，每个域由四个特定的全连接层；
基于分割掩码图建立风格迁移损失和局部约束损失。
风格属于全局信息，且包含一定的内容信息，由于缺少对局部绝缘子及缺陷的约束，使用非缺陷样本作为参考的缺陷样本风格迁移会导致缺陷特征遭到破坏，为保证局部缺陷特征及绝缘子本身在风格迁移过程中尽量保持不变加入下述损失函数加强局部特征的约束：基于分割掩码图建立风格迁移损失和局部约束损失。
进一步优化方案为，所述局部约束损失包括目标循环一致损失和目标掩码损失；所述风格迁移损失包括生成对抗损失、风格重建损失、风格多样性损失和循环一致损失。
进一步优化方案为，使用实例归一化对生成网络的下采样残差块实现风格迁移效果，使用自适应实例归一化对生成网络的上采样残差块实现风格迁移效果。
目标循环一致损失Lw_cyc模型为：
Figure GDA0003935818550000031
给定一幅绝缘子图像x，它属于绝缘子图像域集合X,即x∈X，且x属于原始域y，y所属域集合Y(0,1,···)，即y∈Y，
Figure GDA0003935818550000032
为目标域编码，z为随机生成高斯分布隐变量，其属于高斯分布隐变量集合Z,即z∈Z，mask为输入绝缘子图像x的分割掩码图，
Figure GDA0003935818550000041
为目标域
Figure GDA0003935818550000042
的一个风格编码，
Figure GDA0003935818550000043
为原始域y的一个风格编码，生成器G将x生成为目标域风格编码
Figure GDA0003935818550000044
下的输出绝缘子图像
Figure GDA0003935818550000045
生成器G又将
Figure GDA0003935818550000046
生成为源域
Figure GDA0003935818550000047
下的循环一致输出绝缘子图像
Figure GDA0003935818550000048
计算输入图像x与循环一致输出
Figure GDA0003935818550000049
二者分别与mask做矩阵对应元素乘积后L1差距，期望
Figure GDA00039358185500000410
L1差距尽量小，||·||1为算L1范数。
目标掩码损失LM模型为：
Figure GDA00039358185500000411
生成器G将x生成为目标域风格编码
Figure GDA00039358185500000412
下的输出绝缘子图像
Figure GDA00039358185500000413
计算输入图像x与输出
Figure GDA00039358185500000414
二者分别与mask做矩阵对应元素乘积后L1差距，期望
Figure GDA00039358185500000415
L1差距尽量小。
进一步优化方案为，S4包括以下子步骤：
S41.选取一幅缺陷绝缘子图像样本作为源图输入，以一幅非缺陷绝缘子图像样本作为参考风格图像样本；
S42.风格迁移器提取非缺陷绝缘子图像样本的风格编码对源图进行风格迁移后得到新的缺陷绝缘子图像样本。
根据上述一种基于风格迁移方法的缺陷绝缘子样本生成方法本方案提供一种基于风格迁移方法的缺陷绝缘子样本生成***，包括：
图像采集模块，用于采集多幅绝缘子图像样本；
划分模块，用于将绝缘子图像样本根据视觉差异划分为多个图像域并对每个图像域进行编码；
风格迁移网络模块，用于通过风格迁移网络对图像域进行风格迁移训练，获得任意两个图像域之间的风格迁移器；
样本生成模块，样本生成模块使用由风格迁移网络模块得到的风格迁移器将图像域内的缺陷绝缘子样本进行风格迁移生成新的缺陷绝缘子样本。
本发明与现有技术相比，具有如下的优点和有益效果：
1.本发明提出的一种基于风格迁移方法的缺陷绝缘子样本生成方法及***，基于小样本缺陷绝缘子图像样本便可生成大量缺陷绝缘子图像样本，可一对多生成，生成转换比高。
2.本发明提出的一种基于风格迁移方法的缺陷绝缘子样本生成方法及***，其风格迁移器基于分割掩码图在风格迁移过程中建立了风格迁移损失和局部约束损失，通过生成器与判别器博弈训练以及生成对抗损失的约束，以此使生成器生成的图像更加逼真；通过风格多样性损失、风格重建损失约束，增强映射网络及编码网络的风格提取能力；通过循环一致损失约束，减少全局内容信息的改变；保留了绝缘子样本的语义连接信息，生成的缺陷样本质量高。
3.本发明提出的一种基于风格迁移方法的缺陷绝缘子样本生成方法及***，生成的缺陷绝缘子样本可以有效提供基于深度学习的目标检测模型的准确率及召回率，具有一定实用价值。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1是基于风格迁移方法的缺陷绝缘子样本生成方法流程示意图；
图2是绝缘子风格迁移器结构示意图；
图3是掩码计算流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提供一种基于风格迁移方法的缺陷绝缘子样本生成方法，具体步骤如下：
S1：采集多幅绝缘子图像样本；
S2：将绝缘子图像样本根据视觉差异划分为多个图像域并对每个图像域进行编码。
具体实施过程如下，首先采集电力线路上的缺陷及非缺陷绝缘子样本，我们基于视觉区分人为将其分为两个不同的图像域，例如黄色风格、绿色风格图像域，由于风格属于全局的信息特征，缺陷样本及非缺陷样本只存在局部缺陷差异，就风格迁移任务而言，二者差异较小。
使用(0,1,···)对每个图像域进行编码，0，1依次代表第一个图像域，第二个图像域。
S3：通过风格迁移方法对划分的图像域进行风格迁移训练，获得任意两个图像域之间的风格迁移器。
本实施例中我们对划分的两个图像域进行风格迁移训练，当然本方法对多个域间风格迁移仍然适用。
如图2所示，风格迁移网络包括四部分组成：生成网络、判别网络、编码网络、映射网络。
表1
Figure GDA0003935818550000061
建立生成网络：如表1所示，生成网络由五个下采样残差块、四个上采样残差块、五个中间残差块组成，对于下采样残差块及上采样残差块，分别使用实例归一化及自适应实例归一化来实现风格迁移效果，示例归一化公式如下：
Figure GDA0003935818550000062
对于输入tensor：
Figure GDA0003935818550000063
实例归一化会将每个通道的特征图均值及标准差进行归一化，γ、β是可学习的仿射参数，μ(x)、σ(x)分别表示均值和标准差，在空间维度上计算得到，独立于通道和批次。
自适应实例归一化公式如下：
Figure GDA0003935818550000064
与实例归一化不同的是，自适应实例归一化不需要训练参数，只需要接收源图输入x及风格输入y，将x的通道级均值和标准差匹配到y的通道级均值和标准差上即可。
表2
Figure GDA0003935818550000065
Figure GDA0003935818550000071
建立判别网络：如表2所示，判别网络由多任务卷积网络组成，使用K个完全连接的层对每个域进行真假分类，其中K表示域的数量，D为输出维度，判别网络在判别生成图像样本真假的同时，还能判断生成图像样本所属图像域。
建立编码网络：如表2所示，风格编码网络与判别网络使用相同架构，同样具有K个全连接层，每个域有自己的全连接层，风格编码网络接收绝缘子图像样本，提取输入目标绝缘子图像样本的风格编码，本实施例中使用512维度风格编码。
表3
Figure GDA0003935818550000072
建立映射网络：如表3所示，映射网络由K个输出多层感知机组成，K代表域的数量，所有域共享四个全连接层，每个域由四个特定的全连接层，输出为512维度风格编码。
通过上述步骤建立网络模型后，进一步地，为实现风格迁移目标，需要设定损失函数加以约束来实现风格迁移效果，初步建立风格迁移损失如下：
生成对抗损失：
下述公式中，G、F、E、D分别代表生成网络、判别网络、编码网络、映射网络。
Figure GDA0003935818550000081
给定一幅绝缘子图像x∈X,它的原始域y∈Y，y为域编码，其由(0,1,···)组成，代表不同域，随机生成高斯分布隐变量z∈Z，由映射网络生成目标域
Figure GDA0003935818550000082
下的风格编码
Figure GDA0003935818550000083
将其与绝缘子图像x输入得到生成图像样本
Figure GDA0003935818550000084
通过判别网络D，来判断生成图像样本的真实性。
风格重建损失：
Figure GDA0003935818550000085
由映射网络F生成风格编码
Figure GDA0003935818550000086
并给定绝缘子图像x，得到输出绝缘子图像
Figure GDA0003935818550000087
通过风格编码网络E，对生成绝缘子图像进行再次编码，计算二者风格编码之间的差距，这允许G合成反映参考图像x的风格
Figure GDA0003935818550000088
的输出绝缘子图像。
风格多样性损失：
Figure GDA0003935818550000089
由映射网络F将隐变量z1、z2生成
Figure GDA00039358185500000810
计算生成样本之间的差距，为保证多样性，期望生成样本差距尽量大，因而最后计算损失时，风格多样性损失权重系数设为负号。
循环一致损失：
Figure GDA00039358185500000811
由生成网络G将x，
Figure GDA00039358185500000812
输入得到风格
Figure GDA00039358185500000813
下绝缘子图像样本
Figure GDA00039358185500000814
再经风格编码网络E，提取输入x风格编码
Figure GDA00039358185500000815
再经过生成网络G生成，得到输入x风格编码
Figure GDA00039358185500000816
下的绝缘子图像样本
Figure GDA00039358185500000817
保证此输出与原始输入x尽量保持一致。
通过上述初步损失函数的约束，能实现绝缘子图像风格迁移目标，如图2所示，输入为source，通过编码网络或映射网络提取参考图像及目标域风格编码s输入进生成网络得到输出output，通过生成网络与判别网络的博弈训练，得到较为逼真的风格迁移图像样本。但是风格属于全局信息，且包含一定的内容信息，由于缺少对局部绝缘子及缺陷的约束，使用非缺陷样本作为参考的缺陷样本风格迁移会导致缺陷特征遭到破坏，为保证局部缺陷特征及绝缘子本身在风格迁移过程中尽量保持不变，如图3所示，加入下述损失函数加强局部特征的约束：
目标循环一致损失：
Figure GDA0003935818550000091
其中mask为输入绝缘子图像x分割掩码图，
Figure GDA0003935818550000092
仍然为循环一致输出绝缘子样本，计算二者分别与mask做矩阵对应元素乘积后的目标掩码损失：
Figure GDA0003935818550000093
其中mask为输入绝缘子图像x分割掩码图，
Figure GDA0003935818550000094
为目标风格
Figure GDA0003935818550000095
下的输出结果，计算二者分别与mask做矩阵对应元素乘积后的差距。
分割网络：计算前需要提取绝缘子目标物的mask图像，本发明使用U_net分割网络，其可实现像素级别的归类，对于小样本量数据仍可适用。通过labelme标注部分绝缘子图像样本，由于图像分割网络会对像素级别归类，就像素而言，缺陷样本与非缺陷样本几乎不存在差异，因而训练好的分割网络可以同时提取缺陷样本及非缺陷样本的掩码图。
训练细节：目标循环一直损失及目标掩码损失权重设为4，其余损失权重设为1，风格迁移网络使用Adam优化器，β1、β2设为0.99，生成网络、判别网络、编码网络学习率设为0.0001，映射网络学习率设为0.000001，图像分割网络及风格迁移网络在不同的GPU上运行，图像输入输出尺寸为512*512，风格迁移网络需要11G以上显存，风格迁移网络迭代80000次的时间大约为三天。
风格迁移工作流程：如图2所示，每次迭代获得一幅源域图像source及目标域图像reference，通过编码网络级映射网络，可以获得目标域图像或目标域下的风格编码s，通过生成器与判别器博弈训练以及生成对抗损失的约束，以此使生成器生成的图像更加逼真；通过风格多样性损失、风格重建损失约束，增强映射网络及编码网络的风格提取能力；通过循环一致损失约束，减少全局内容信息的改变；为进一步增强绝缘子局部约束，如图3所示，提取绝缘子目标区域的分割掩码图，并通过目标循环一致损失及目标掩码损失，以此来约束局部绝缘子，使生成的缺陷绝缘子能减少形态上的变化。
S4：使用所述风格迁移器将一个域内缺陷绝缘子样本按照其他域参考绝缘子样本进行风格迁移实现样本扩增。
如图2所示，使用某一风格缺陷图像作为输入，使用编码网络提取另一个参考图像的风格编码，将二者输入进生成网络，得到参考图像风格缺陷图像。通过将生成样本扩充进基于深度学习目标检测模型数据中，我们进行训练实验，可以有效提高深度学习目标检测模型的性能，证明使用本发明生成的缺陷绝缘子样本，具有一定的实用价值。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于风格迁移方法的缺陷绝缘子样本生成方法，其特征在于，包括步骤：
S1.采集多幅绝缘子图像样本；
S2.将绝缘子图像样本根据视觉差异划分为多个图像域并对每个图像域进行编码；
S3.通过风格迁移网络对图像域进行风格迁移训练，获得任意两个图像域之间的风格迁移器；
S4.使用S3得到的风格迁移器将图像域内的缺陷绝缘子样本进行风格迁移生成新的缺陷绝缘子样本；
其中，S3包括以下子步骤：
S31.任意选取两个图像域，并从两个图像域中各取一张绝缘子图像样本分别作为源域图像样本与目标域图像样本；
S32.提取源域图像样本的绝缘子区域分割掩码图；
S33.基于绝缘子区域分割掩码图和目标域图像样本建立风格迁移网络Tw_Cycle Gan实现从源域到目标域的转换；
S34.以风格迁移网络Tw_Cycle Gan作为两个图像域之间的风格迁移器；
S4包括以下子步骤：
S41.选取一幅缺陷绝缘子图像样本作为源图输入，以一幅非缺陷绝缘子图像样本作为参考风格图像样本；
S42.风格迁移器提取非缺陷绝缘子图像样本的风格编码对源图进行风格迁移后得到新的缺陷绝缘子图像样本。
2.根据权利要求1所述的一种基于风格迁移方法的缺陷绝缘子样本生成方法，其特征在于，S32包括以下子步骤：
S321.通过labelme软件对源域图像样本中的绝缘子区域进行图像标注；
S322.建立U_net区域分割网络，实现对图像标注后的源域图像样本进行绝缘子图像像素级分类，从而获得绝缘子区域分割掩码图。
3.根据权利要求1所述的一种基于风格迁移方法的缺陷绝缘子样本生成方法，其特征在于，S33包括以下子步骤：
建立由五个下采样残差块、四个上采样残差块和五个中间残差块组成的生成网络，并使用实例归一化和自适应实例归一化来使生成网络实现风格迁移效果；
建立判别网络，判别网络用于判别生成图像样本的真假，同时判断生成图像样本所属图像域；
建立与判别网络具有相同架构的风格编码网络，所述风格编码网络用于提取目标域图像样本的风格编码；
建立映射网络；
基于分割掩码图建立风格迁移损失和局部约束损失。
4.根据权利要求3所述的一种基于风格迁移方法的缺陷绝缘子样本生成方法，其特征在于，所述局部约束损失包括目标循环一致损失和目标掩码损失；所述风格迁移损失包括生成对抗损失、风格重建损失、风格多样性损失和循环一致损失。
5.根据权利要求3所述的一种基于风格迁移方法的缺陷绝缘子样本生成方法，其特征在于，使用实例归一化对生成网络的下采样残差块实现风格迁移效果，使用自适应实例归一化对生成网络的上采样残差块实现风格迁移效果。
6.一种基于风格迁移方法的缺陷绝缘子样本生成***，运用于权利要求1-5任意一种基于风格迁移方法的缺陷绝缘子样本生成方法，其特征在于，包括：
图像采集模块，用于采集多幅绝缘子图像样本；
划分模块，用于将绝缘子图像样本根据视觉差异划分为多个图像域并对每个图像域进行编码；
风格迁移网络模块，用于通过风格迁移网络对图像域进行风格迁移训练，获得任意两个图像域之间的风格迁移器；
样本生成模块，样本生成模块使用由风格迁移网络模块得到的风格迁移器将图像域内的缺陷绝缘子样本进行风格迁移生成新的缺陷绝缘子样本；
其中，风格迁移网络模块用于执行以下过程：
任意选取两个图像域，并从两个图像域中各取一张绝缘子图像样本分别作为源域图像样本与目标域图像样本；
提取源域图像样本的绝缘子区域分割掩码图；
基于绝缘子区域分割掩码图和目标域图像样本建立风格迁移网络Tw_Cycle Gan实现从源域到目标域的转换；
以风格迁移网络Tw_Cycle Gan作为两个图像域之间的风格迁移器；
风格迁移网络模块用于执行以下过程：
选取一幅缺陷绝缘子图像样本作为源图输入，以一幅非缺陷绝缘子图像样本作为参考风格图像样本；风格迁移器提取非缺陷绝缘子图像样本的风格编码对源图进行风格迁移后得到新的缺陷绝缘子图像样本。
CN202110270530.8A 2021-03-12 2021-03-12 一种基于风格迁移方法的缺陷绝缘子样本生成方法及*** Active CN112884758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270530.8A CN112884758B (zh) 2021-03-12 2021-03-12 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270530.8A CN112884758B (zh) 2021-03-12 2021-03-12 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***

Publications (2)

Publication Number Publication Date
CN112884758A CN112884758A (zh) 2021-06-01
CN112884758B true CN112884758B (zh) 2023-01-10

Family

ID=76041648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270530.8A Active CN112884758B (zh) 2021-03-12 2021-03-12 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***

Country Status (1)

Country Link
CN (1) CN112884758B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332086B (zh) * 2022-03-14 2022-05-13 启东市固德防水布有限公司 基于风格迁移和人工智能的纺织品缺陷检测方法及***
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN116664839B (zh) * 2023-05-31 2024-02-13 博衍科技(珠海)有限公司 一种弱监督半监督缺陷感知分割方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767328B (zh) * 2017-10-13 2021-12-17 上海媒智科技有限公司 基于少量样本生成的任意风格和内容的迁移方法和***
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
CN109117863B (zh) * 2018-07-04 2021-08-13 全球能源互联网研究院有限公司 基于深度卷积生成对抗网络的绝缘子样本扩充方法及装置
CN109961491B (zh) * 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN110222757A (zh) * 2019-05-31 2019-09-10 华北电力大学（保定） 基于生成对抗网络的绝缘子图像样本扩充方法、***
CN111291885B (zh) * 2020-01-20 2023-06-09 北京百度网讯科技有限公司 近红外图像的生成方法、生成网络的训练方法和装置
CN111598842A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种绝缘子缺陷样本生成模型的方法、***及存储介质
CN111783525B (zh) * 2020-05-20 2022-10-18 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法
CN111681162B (zh) * 2020-06-09 2023-09-01 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN111932438B (zh) * 2020-06-18 2024-06-18 浙江大华技术股份有限公司 图像风格迁移方法、设备及存储装置

Also Published As

Publication number Publication date
CN112884758A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN110310221B (zh) 一种基于生成对抗网络的多域图像风格迁移方法
Chen et al. The face image super-resolution algorithm based on combined representation learning
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN113450278B (zh) 一种基于跨域协同学习的图像去雨方法
CN114820871A (zh) 字体生成方法、模型的训练方法、装置、设备和介质
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN114723950A (zh) 一种基于对称自适应网络的跨模态医学图像分割方法
CN114359269A (zh) 基于神经网络的虚拟食品盒缺陷生成方法及***
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN114581789A (zh) 一种高光谱图像分类方法及***
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及***
CN112784831A (zh) 融合多层特征增强注意力机制的文字识别方法
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN114529450A (zh) 基于改进深度迭代协作网络的人脸图像超分辨方法
Ma et al. Cloud-egan: Rethinking cyclegan from a feature enhancement perspective for cloud removal by combining cnn and transformer
Jiang et al. Mask‐guided image person removal with data synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant