CN113570603A - 一种基于CycleGAN的接触网零部件缺陷数据生成方法及*** - Google Patents
一种基于CycleGAN的接触网零部件缺陷数据生成方法及*** Download PDFInfo
- Publication number
- CN113570603A CN113570603A CN202111127121.9A CN202111127121A CN113570603A CN 113570603 A CN113570603 A CN 113570603A CN 202111127121 A CN202111127121 A CN 202111127121A CN 113570603 A CN113570603 A CN 113570603A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- cyclegan
- normal
- normal image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000002950 deficient Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 18
- 239000012212 insulator Substances 0.000 claims description 11
- 230000001351 cycling effect Effects 0.000 claims description 5
- 238000005491 wire drawing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 238000013434 data augmentation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于CycleGAN的接触网零部件缺陷数据生成方法及***,属于接触网零部件缺陷图片处理技术领域。目前含有缺陷的接触网零部件图像非常少,远远不能满足模型训练时所需要的正负样本数量。本发明的一种基于CycleGAN的接触网零部件缺陷数据生成方法,构建CycleGAN模型,CycleGAN模型对少量的缺陷图片进行学习,获取缺陷图片的风格特征,然后将这些风格特征赋予正常图像,以形成新的缺陷图像。由于正常图片容易获得,并且数量巨大,因此利用CycleGAN模型可以轻松获得大批量的缺陷图像,方案简单,实用,切实可行;本发明能直接利用正常图片转换成缺陷图片,构思巧妙,打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
Description
技术领域
本发明涉及一种基于CycleGAN的接触网零部件缺陷数据生成方法及***,属于接触网零部件缺陷图片处理技术领域。
背景技术
接触网是沿高铁线路上空架设的向动车组供电的特殊形式的输电线路,高铁列车运行所仰赖的电流就是通过机车上端的接触网来输送的。其由接触悬挂、支持装置、定位装置、支柱与基础几部分组成。由于接触网无备用,且需承受高速列车受电弓的动态取流,所以其设备状态的好坏直接影响到行车。
高铁接触网通过接触导线给电力机车供电,其运营状态的实时监测是实现高铁安全可靠运行的关键环节。但是,目前含有缺陷的接触网零部件图像非常少,远远不能满足模型训练时所需要的正负样本数量,因此,如何实现接触网零部件缺陷图像的自动生成是缺陷智能识别的首要问题。
进一步,中国专利(公布号:CN110310261A)公开了一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法,通过构建基于两层卷积神经网络的接触网吊弦缺陷检测模型,来提取接触网吊弦的图像特征并对吊弦的缺陷进行分类,利用卷积算法的优势,不受图像中吊弦几何形状、遮挡等客观情况的干扰,相比传统的利用人工看图的检测方式,鲁棒性与效率更高。同时整理现有的接触网吊弦图像,采用图像标注工具标注出接触网吊弦的组成部件,再通过数据增广的方式进行数据扩充,建立第一训练样本集;整理训练好的YOLO-v3卷积神经网络模型的定位结果,采用图像标注工具标注出其中接触网吊弦的缺陷类型,再通过数据增广的方式进行数据扩充,建立第二训练样本集。
上述方案通过数据增广的方式扩展样本量,使样本集中每类样本量不少于40000张。但上述方案没有公开数据增广的具体方案,导致本领域技术人员依旧无法获取大批量缺陷样本,如果只是缺陷样本简单复制或打乱顺序,则只会影响缺陷检测模型训练精度以及模型识别的准确性。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种通过构建CycleGAN模型,能对少量的缺陷图片进行学习,获取缺陷图片的风格特征,然后将这些风格特征赋予正常图像,以形成新的缺陷图像;进而能将容易获得的并且数量巨大的正常图片直接转换成缺陷图片的基于CycleGAN的接触网零部件缺陷数据生成方法及***。
为实现上述目的,本发明的技术方案为:
一种基于CycleGAN的接触网零部件缺陷数据生成方法,
包括以下步骤:
第一步, 采集接触网零部件样本图像,样本图像包括正常图像和缺陷图像;
第二步, 对第一步中的正常图像和缺陷图像分别进行图像缩放,形成正常图像域和缺陷图像域;
第三步,构建CycleGAN模型,并利用第二步中的正常图像域和缺陷图像域,对CycleGAN模型进行训练;
所述CycleGAN模型能获取缺陷图片的风格特征,并将所述风格特征赋予正常图像,以形成新的缺陷图像;
第四步,通过若干正常图像,并利用第三步中的CycleGAN模型,生成若干缺陷图像。
本发明充分考虑现有图像样本的特点:接触网零部件的正常图像容易获得,并且样本数量巨大;但接触网零部件的缺陷图像很少,很难获得大批量的样本,进而无法满足智能模型训练时所需要的正负样本数量。
为解决上述难点,本发明经过不断探索以及试验,构建CycleGAN模型(两个镜像对称的生成对抗网络模型),CycleGAN模型能对少量的缺陷图片进行学习,获取缺陷图片的风格特征,然后将这些风格特征赋予正常图像,以形成新的缺陷图像。
由于正常图片容易获得,并且数量巨大,因此利用CycleGAN模型可以轻松获得大批量的缺陷图像,方案简单,实用,切实可行;本发明能直接利用正常图片转换成缺陷图片,构思巧妙,打破现有的必须通过缺陷图像生成缺陷图像的技术偏见,进而能有效提高缺陷检测模型训练精度以及模型识别的准确性。
作为优选技术措施:
所述第一步中,接触网零部件样本图像至少包括U型抱箍图、绝缘子图、导电线图和管帽图;
所述U型抱箍图、绝缘子图、导电线图和管帽图分别包括正常图像、缺陷图像两种形态图。
作为优选技术措施:
所述第二步中,图像缩放方法如下:
采用双线性插值方法对样本图像中的正常图像和缺陷图像进行图像缩放,缩放后的图像尺寸为256×256;
所述双线性插值方法中插值点Z的计算方法如下:
S1,至少获知四个像素点的坐标,其包括像素点M11、像素点M21、像素点M12、像素点M22;
S2,在x轴方向上,根据S1中的四个已知像素点坐标,对像素点N1和像素点N2进行线性插值,其像素值计算公式如下:
S3,在y轴方向,根据S2中两像素点的像素值,进行线性插值,得到插值点Z的像素值计算公式:
S4,将S3中插值点Z的像素值,用四个已知像素点坐标进行表示,其具体的计算公式如下:
其中,a1表示像素点M11的横向坐标值,a2表示像素点M21的横向坐标值,a表示插值点Z的横向坐标值,b1表示像素点M1l的纵向坐标值,b2表示像素点M2l的纵向坐标值,b表示插值点Z的纵向坐标值;
f(M11)表示像素点Ml1的像素值,f(M21)表示像素点M21的像素值,f(M12)表示像素点M12的像素值,f(M22)表示像素点M22的像素值,f(N1)表示点N1的像素值,f(N2)表示点N2的像素值。
如果选择一个坐标***使得 f 的四个已知点坐标分别为 (0, 0)、(0, 1)、(1,0) 和 (1, 1),那么插值公式就可以化简为:
作为优选技术措施:
所述第三步中,CycleGAN模型构建方法如下:
步骤一,将正常图像域中的正常图像x输入到生成器G中,生成样本缺陷图像x';
即,将来自正常图像域的图像转换到缺陷图像域中的图像;
同样,将缺陷图像域中的缺陷图像y输入到生成器F中,生成样本正常图像y';
即,将来自缺陷图像域的图像转换到正常图像域中的图像;
步骤二,将步骤一中的样本缺陷图像x'和缺陷图像y同时输入到判别器D Y ,对样本缺陷图像x'和缺陷图像y相似程度进行判断,并计算缺陷图像的对抗损失;
同样,将样本正常图像y'和正常图像x同时输入到判别器D X ,对正常图像x和样本正常图像y'相似程度进行判断,并计算正常图像的对抗损失;
步骤三,当步骤二中的两个对抗损失都达到预设值时,停止CycleGAN模型的训练;
当缺陷图像的对抗损失达到预设值时,说明生成器G根据正常图像x生成的样本缺陷图像x'和缺陷图像y相同或相似;
当正常图像的对抗损失达到预期值时,说明生成器F根据缺陷图像y生成的样本正常图像y'和正常图像x相同或相似。
作为优选技术措施:
其中,x, y分别代表正常图像域和缺陷图像域中的图像,
G代表将正常图像域映射到缺陷图像域的生成器,
F代表将缺陷图像域映射到正常图像域的生成器,
DX, DY分别代表正常图像域和缺陷图像域的判别器,用来判定输入图像的真假;
其中,
作为优选技术措施:
还包括:
步骤四,将步骤一中的样本缺陷图像x'输入到生成器F中,生成重建正常图像x'';
同样,将样本正常图像y'像输入到生成器G中,生成重建缺陷图像y'';
步骤五,将步骤四中的重建正常图像x''与正常图像x进行对比,计算正常图像的循环稳定性损失;
将重建缺陷图像y''与缺陷图像y进行对比,计算缺陷图像的循环稳定性损失;
所述循环稳定性损失,用来约束生成器生成的图像属性,使其按照预期的风格方向生成,并能避免模式崩溃。
作为优选技术措施:
作为优选技术措施:
所述第三步中,训练和测试的方法如下:
正常图像域和缺陷图像域分别按照N:1的比例划分为训练集和测试集;
所述训练集至少包括训练trainA、训练trainB、训练trainC、测试testA。
作为优选技术措施:
将训练trainA、训练trainB、训练trainC送入CycleGAN模型中进行训练,使得CycleGAN模型能够准确生成缺陷图片;
将测试testA送入CycleGAN模型中进行评估;
所述2≤N≤6。
作为优选技术措施:
一种基于CycleGAN的接触网零部件缺陷数据生成***,
其包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述的一种基于CycleGAN的接触网零部件缺陷数据生成方法。
本发明经过不断探索以及试验,构建CycleGAN模型,对少量的缺陷图片进行学习,获取缺陷图片的风格特征,然后将这些风格特征赋予正常图像,以形成新的缺陷图像。
由于正常图片容易获得,并且数量巨大,因此利用CycleGAN模型可以轻松获得大批量的缺陷图像,方案简单,实用,切实可行;本发明能直接利用正常图片转换成缺陷图片,构思巧妙,打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
与现有技术相比,本发明具有以下有益效果:
本发明经过不断探索以及试验,构建CycleGAN模型,通过CycleGAN模型对少量的缺陷图片进行学习,获取缺陷图片的风格特征,然后将这些风格特征赋予正常图像,以形成新的缺陷图像。
由于正常图片容易获得,并且数量巨大,因此利用CycleGAN模型可以轻松获得大批量的缺陷图像,方案简单,实用,切实可行;本发明能直接利用正常图片转换成缺陷图片,构思巧妙,打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
附图说明
图1为本发明CycleGAN模型的一种训练流程图;
图2为本发明CycleGAN模型的一种测试流程图;
图3为本发明CycleGAN模型的一种架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1、图2、图3所示,一种基于CycleGAN的接触网零部件缺陷数据生成方法,
包括以下步骤:
第一步, 采集接触网零部件样本图像,样本图像包括正常图像和缺陷图像;
第二步, 对第一步中的正常图像和缺陷图像分别进行图像缩放,形成正常图像域和缺陷图像域;
第三步,构建CycleGAN模型,并利用第二步中的正常图像域和缺陷图像域,对CycleGAN模型进行训练以及测试;所述CycleGAN模型能获取缺陷图片的风格特征,并将所述风格特征赋予正常图像,以形成新的缺陷图像;
第四步,通过若干正常图像,并利用第三步中的CycleGAN模型,生成若干缺陷图像。
本发明充分考虑现有图像样本的特点:接触网零部件的正常图像容易获得,并且样本数量巨大;但接触网零部件的缺陷图像很少,很难获得大批量的样本,进而无法满足智能模型训练时所需要的正负样本数量。
为解决上述难点,本发明经过不断探索以及试验,构建CycleGAN模型(两个镜像对称的生成对抗网络模型),CycleGAN模型对少量的缺陷图片进行学习,获取缺陷图片的风格特征,然后将这些风格特征赋予正常图像,以形成新的缺陷图像。
由于正常图片容易获得,并且数量巨大,因此利用CycleGAN模型可以轻松获得大批量的缺陷图像,方案简单,实用,切实可行;本发明能直接利用正常图片转换成缺陷图片,构思巧妙,打破现有的必须通过缺陷图像生成缺陷图像的技术偏见。
本发明一种最佳实施例:
一种基于CycleGAN的接触网零部件缺陷数据生成方法,具体包括以下步骤:
步骤1)通过车载摄像头拍摄采集接触网零部件样本图像,样本图像至少包括U型抱箍、绝缘子、导电线和管帽等四类图片,每一类都有正常图像和缺陷图像两种形态;
步骤2)将样本图像按照U型抱箍、绝缘子、导电线和管帽进行分类,构造四组图像数据集,针对图像数据集中的样本图像进行图像缩放,调整图像尺寸为256×256;
步骤3)将每一组图像数据集按照正常形态和缺陷形态进行分类,正常形态的样本图像记作A,缺陷形态的样本图像记作B;
步骤4)将每一组图像数据集按照4:1的比例区分训练集和测试集,即每一组图像数据集又分为4份,分别为trainA、trainB、trainC、testA,将trainA、trainB、trainC送入CycleGAN模型中进行训练,获得生成模型(该流程如图1所示);
步骤5)将testA送入CycleGAN模型中进行测试,获得样本缺陷图像(该流程如图2所示)。
本发明解决了U型抱箍、绝缘子、导电线和管帽缺陷样本匮乏的问题,构建了U型抱箍、绝缘子、导电线和管帽数据集进行实验,实验验证了CycleGAN模型在接触网零部件缺陷数据生成任务中的有效性。
本发明获取接触网样本图像的一种具体实施例:
接触网样本图像是指巡逻车行走到接触网附近,摄像头朝向接触网设备,以接触网设备为目标物,水平正对目标物的水平左偏差30度视角和水平右偏差30度视角之间的范围内以及从上俯视偏差70度视角和从下仰视偏差70度视角之间的范围内采集获得的图像。
本发明图像缩放方法的一种具体实施例:
图像缩放方法采用双线性插值,所述双线性插值方法中插值点Z的计算方法如下:
S1,至少获知四个像素点的坐标,其包括像素点M11、像素点M21、像素点M12、像素点M22;
S2,在x轴方向上,根据S1中的四个已知像素点坐标,对像素点N1和像素点N2进行线性插值,其像素值计算公式如下:
S3,在y轴方向,根据S2中两像素点的像素值,进行线性插值,得到插值点Z的像素值计算公式:
S4,将S3中插值点Z的像素值,用四个已知像素点坐标进行表示,其具体的计算公式如下:
其中,a1表示像素点M11的横向坐标值,a2表示像素点M21的横向坐标值,a表示插值点Z的横向坐标值,b1表示像素点M1l的纵向坐标值,b2表示像素点M2l的纵向坐标值,b表示插值点Z的纵向坐标值;
f(M11)表示像素点Ml1的像素值,f(M21)表示像素点M21的像素值,f(M12)表示像素点M12的像素值,f(M22)表示像素点M22的像素值,f(N1)表示点N1的像素值,f(N2)表示点N2的像素值。
如果选择一个坐标***使得 f 的四个已知点坐标分别为 (0, 0)、(0, 1)、(1,0) 和 (1, 1),那么插值公式就可以化简为:
采用双线性插值方法对图像数据集中的样本图像进行图像缩放,调整图像尺寸为256×256。
本发明构建CycleGAN模型一种具体实施例:
CycleGAN模型架构如图3所示,x, y分别代表正常图像域和缺陷图像域中的图像,G代表将正常图像域映射到缺陷图像域的生成器,F代表将缺陷图像域映射到正常图像域的生成器,x', y' 分别代表两个生成器生成的另一个域的图像,x'', y'' 分别代表从另一个域重建回来的自己原来所属域的图像,DX, DY分别代表正常图像域和缺陷图像域的判别器,用来判定输入图像的真假。
应用本发明的一种具体实施例:
本发明构建的缺陷生成数据的分布信息如表1所示,采用表1中的训练集训练CycleGAN模型,测试集用来测试生成结果。
表 1 缺陷生成数据的分布信息
根据实验可知,本发明的生成器能够较好地生成缺陷图像,同时像绝缘子、导电线这样缺陷部位不固定的零部件,生成缺陷的部位和验证集中图像的缺陷部位并不相同,而且生成的缺陷图像整体内容还是与正常图像保持较高的一致性,只是在适当位置生成了缺陷。以上表明,该种方法生成的缺陷数据具有较好的细节信息。
由此可见,本发明能够实现U型抱箍、绝缘子、导电线和管帽缺陷数据的生成,具有较高的鲁棒性,并且具有稳定性好,抗干扰能力强,通用性高等优点,能够应用于U型抱箍、绝缘子、导电线和管帽缺陷数据生成***中。
应用本发明方法的一种***实施例:
一种基于CycleGAN的接触网零部件缺陷数据生成***,其包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的一种基于CycleGAN的接触网零部件缺陷数据生成方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
包括以下步骤:
第一步, 采集接触网零部件样本图像,样本图像包括正常图像和缺陷图像;
第二步, 对第一步中的正常图像和缺陷图像分别进行图像缩放,形成正常图像域和缺陷图像域;
第三步,构建CycleGAN模型,并利用第二步中的正常图像域和缺陷图像域,对CycleGAN模型进行训练;
所述CycleGAN模型能获取缺陷图片的风格特征,并将所述风格特征赋予正常图像,以形成新的缺陷图像;
第四步,通过若干正常图像,并利用第三步中的CycleGAN模型,生成若干缺陷图像。
2.如权利要求1所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
所述第一步中,接触网零部件样本图像至少包括U型抱箍图、绝缘子图、导电线图和管帽图;
所述U型抱箍图、绝缘子图、导电线图和管帽图分别包括正常图像、缺陷图像两种形态图。
3.如权利要求1所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
所述第二步中,图像缩放方法如下:
采用双线性插值方法对样本图像中的正常图像和缺陷图像进行图像缩放,缩放后的图像尺寸为256×256;
所述双线性插值方法中插值点Z的计算方法如下:
S1,至少获知四个像素点的坐标,其包括像素点M11、像素点M21、像素点M12、像素点M22;
S2,在x轴方向上,根据S1中的四个已知像素点坐标,对像素点N1和像素点N2进行线性插值,其像素值计算公式如下:
S3,在y轴方向,根据S2中两像素点的像素值,进行线性插值,得到插值点Z的像素值计算公式:
S4,将S3中插值点Z的像素值,用四个已知像素点坐标进行表示,其具体的计算公式如下:
其中,a1表示像素点M11的横向坐标值,a2表示像素点M21的横向坐标值,a表示插值点Z的横向坐标值,b1表示像素点M1l的纵向坐标值,b2表示像素点M2l的纵向坐标值,b表示插值点Z的纵向坐标值;
f(M11)表示像素点Ml1的像素值,f(M21)表示像素点M21的像素值,f(M12)表示像素点M12的像素值,f(M22)表示像素点M22的像素值,f(N1)表示点N1的像素值,f(N2)表示点N2的像素值。
4.如权利要求1所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
所述第三步中,CycleGAN模型构建方法如下:
步骤一,将正常图像域中的正常图像x输入到生成器G中,生成样本缺陷图像x';
即,将来自正常图像域的图像转换到缺陷图像域中的图像;
同样,将缺陷图像域中的缺陷图像y输入到生成器F中,生成样本正常图像y';
即,将来自缺陷图像域的图像转换到正常图像域中的图像;
步骤二,将步骤一中的样本缺陷图像x'和缺陷图像y同时输入到判别器D Y ,对样本缺陷图像x'和缺陷图像y相似程度进行判断,并计算缺陷图像的对抗损失;
同样,将样本正常图像y'和正常图像x同时输入到判别器D X ,对正常图像x和样本正常图像y'相似程度进行判断,并计算正常图像的对抗损失;
步骤三,当步骤二中的两个对抗损失都达到预设值时,停止CycleGAN模型的训练;
当缺陷图像的对抗损失达到预设值时,说明生成器G根据正常图像x生成的样本缺陷图像x'和缺陷图像y相同或相似;
当正常图像的对抗损失达到预期值时,说明生成器F根据缺陷图像y生成的样本正常图像y'和正常图像x相同或相似。
6.如权利要求5所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
还包括:
步骤四,将步骤一中的样本缺陷图像x'输入到生成器F中,生成重建正常图像x'';
同样,将样本正常图像y'像输入到生成器G中,生成重建缺陷图像y'';
步骤五,将步骤四中的重建正常图像x''与正常图像x进行对比,计算正常图像的循环稳定性损失;
将重建缺陷图像y''与缺陷图像y进行对比,计算缺陷图像的循环稳定性损失;
所述循环稳定性损失,用来约束生成器生成的图像属性,使其按照预期的风格方向生成,并能避免模式崩溃。
8.如权利要求1-7任一所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
所述第三步中,训练和测试的方法如下:
正常图像域和缺陷图像域分别按照N:1的比例划分为训练集和测试集;
所述训练集至少包括训练trainA、训练trainB、训练trainC、测试testA。
9.如权利要求8所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法,其特征在于,
将训练trainA、训练trainB、训练trainC送入CycleGAN模型中进行训练,使得CycleGAN模型能够准确生成缺陷图片;
将测试testA送入CycleGAN模型中进行评估;
2≤N≤6。
10.一种基于CycleGAN的接触网零部件缺陷数据生成***,其特征在于,
其包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-9任一所述的一种基于CycleGAN的接触网零部件缺陷数据生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127121.9A CN113570603A (zh) | 2021-09-26 | 2021-09-26 | 一种基于CycleGAN的接触网零部件缺陷数据生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127121.9A CN113570603A (zh) | 2021-09-26 | 2021-09-26 | 一种基于CycleGAN的接触网零部件缺陷数据生成方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113570603A true CN113570603A (zh) | 2021-10-29 |
Family
ID=78174573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111127121.9A Pending CN113570603A (zh) | 2021-09-26 | 2021-09-26 | 一种基于CycleGAN的接触网零部件缺陷数据生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113570603A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140662A (zh) * | 2021-11-29 | 2022-03-04 | 广州中科智巡科技有限公司 | 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法 |
WO2023179055A1 (zh) * | 2022-03-21 | 2023-09-28 | 华为云计算技术有限公司 | 一种偏见评估方法、装置、介质、程序产品及电子设备 |
WO2024007602A1 (zh) * | 2022-07-06 | 2024-01-11 | 中国华能集团清洁能源技术研究院有限公司 | 一种用于生成光伏板缺陷图像的CycleGAN模型的训练方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180114310A1 (en) * | 2015-05-08 | 2018-04-26 | Kla-Tencor Corporation | Method and System for Defect Classification |
CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
CN112668623A (zh) * | 2020-12-22 | 2021-04-16 | 中国铁道科学研究院集团有限公司 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
CN112906769A (zh) * | 2021-02-04 | 2021-06-04 | 国网河南省电力公司电力科学研究院 | 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 |
-
2021
- 2021-09-26 CN CN202111127121.9A patent/CN113570603A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180114310A1 (en) * | 2015-05-08 | 2018-04-26 | Kla-Tencor Corporation | Method and System for Defect Classification |
CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
CN112668623A (zh) * | 2020-12-22 | 2021-04-16 | 中国铁道科学研究院集团有限公司 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
CN112906769A (zh) * | 2021-02-04 | 2021-06-04 | 国网河南省电力公司电力科学研究院 | 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 |
Non-Patent Citations (3)
Title |
---|
GOODFELLOW: "Generative Adversarial Nets", 《2014 NEURAL INFORMATION PROCESSING SYSTEMS》 * |
JUN-YAN ZHU: "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
佟喜峰: "《图像处理与识别技术应用与实践》", 30 April 2019 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140662A (zh) * | 2021-11-29 | 2022-03-04 | 广州中科智巡科技有限公司 | 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法 |
WO2023179055A1 (zh) * | 2022-03-21 | 2023-09-28 | 华为云计算技术有限公司 | 一种偏见评估方法、装置、介质、程序产品及电子设备 |
WO2024007602A1 (zh) * | 2022-07-06 | 2024-01-11 | 中国华能集团清洁能源技术研究院有限公司 | 一种用于生成光伏板缺陷图像的CycleGAN模型的训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113570603A (zh) | 一种基于CycleGAN的接触网零部件缺陷数据生成方法及*** | |
Rudolph et al. | Same same but differnet: Semi-supervised defect detection with normalizing flows | |
Lyu et al. | A generic anomaly detection of catenary support components based on generative adversarial networks | |
CN114359283B (zh) | 基于Transformer的缺陷检测方法和电子设备 | |
Liu et al. | An automatic loose defect detection method for catenary bracing wire components using deep convolutional neural networks and image processing | |
Li et al. | An end-to-end defect detection method for mobile phone light guide plate via multitask learning | |
Liao et al. | Fusion of infrared-visible images in UE-IoT for fault point detection based on GAN | |
Zhu et al. | Tiny object tracking: A large-scale dataset and a baseline | |
CN114881956A (zh) | 基于霍夫变换的电池板栅线自适应提取方法及*** | |
Liu et al. | Anomaly-GAN: A data augmentation method for train surface anomaly detection | |
CN112395737A (zh) | 一种基于生成对抗网络高速列车量测数据缺失重建的方法 | |
Vater et al. | Quality control and fault classification of laser welded hairpins in electrical motors | |
CN111124896B (zh) | 一种主次峰值比计算算法的蜕变测试*** | |
CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
CN114022586A (zh) | 一种基于对抗生成网络的缺陷图像生成方法 | |
Sun et al. | Partial discharge pattern recognition of transformers based on the gray-level co-occurrence matrix of optimal parameters | |
Yi et al. | Insulator and defect detection model based on improved YOLO-S | |
Zhou et al. | BV-Net: Bin-based Vector-predicted Network for tubular solder joint detection | |
Shen et al. | A pantograph horn detection method based on deep learning network | |
CN114387524B (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和*** | |
Liu et al. | Fault diagnosis in power line inspection using normalized multihierarchy embedding matching | |
Guo et al. | A novel low-light catenary image enhancement approach for CSCs detection in high-speed railways | |
Xu et al. | Adaptive remote sensing image attribute learning for active object detection | |
CN115236272A (zh) | 多工况条件下的气体传感器故障诊断方法、装置及存储介质 | |
Li et al. | Industrial anomaly detection via teacher student network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |