CN113011480A - 一种基于循环生成对抗网络的弧面缺陷图像生成方法 - Google Patents

一种基于循环生成对抗网络的弧面缺陷图像生成方法 Download PDF

Info

Publication number
CN113011480A
CN113011480A CN202110253845.1A CN202110253845A CN113011480A CN 113011480 A CN113011480 A CN 113011480A CN 202110253845 A CN202110253845 A CN 202110253845A CN 113011480 A CN113011480 A CN 113011480A
Authority
CN
China
Prior art keywords
defect
image
arc
map
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110253845.1A
Other languages
English (en)
Inventor
黄茜
朱轲信
胡志辉
师聪颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110253845.1A priority Critical patent/CN113011480A/zh
Publication of CN113011480A publication Critical patent/CN113011480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于缺陷图像生成技术领域，涉及一种基于循环生成对抗网络的弧面缺陷图像生成方法，包括：步骤1、构建缺陷集和无缺陷集；步骤2、初始化循环生成对抗网络；循环生成对抗网络包括用于从无缺陷的弧面图像转换为含缺陷的弧面图像的GANB→A和用于从含缺陷的弧面图像转换为无缺陷的弧面图像的GANA→B，GANB→A和GANA→B网络结构完全一致；步骤3、训练循环生成对抗网络；步骤4、基于训练好的循环生成对抗网络将无缺陷的弧面图像生成含缺陷的弧面图像。本发明实现了弧面缺陷图像的快速生成，生成缺陷的形状以及面积具有随机性，仅需前期少量的标注工作就可以实现大量缺陷样本的自动化生成。

Description

一种基于循环生成对抗网络的弧面缺陷图像生成方法
技术领域
本发明涉及缺陷图像生成技术领域，特别涉及一种基于循环生成对抗网络的弧面缺陷图像生成方法。
背景技术
手机外壳作为手机组成中覆盖面最广的部分，体现着手机质感和体验，因此手机外壳质量问题的重要性不言而喻。手机外壳的制造过程中会经过粗铣、精铣、抛光等十几道复杂工艺流程，边框弧面可能会产生凹痕、碰伤或细小裂纹，所以手机外壳生产过程中间，会加上一道人工质检过程，确保产品质量过关可以进行下一道工艺流程。因此如果能够实现检测自动化，将会让手机外壳的制造过程进一步高效化，而基于深度学习的边框缺陷检测技术则是目前最具实用性和发展前景的技术。
一个好的缺陷检测算法，特别是基于深度学习的缺陷自动检测算法需要大量的缺陷样本作为支撑，而低次品率使有些缺陷样本较难大量收集。因此，需要一种能大量、自动生成仿真缺陷样本的方法来增加缺陷样本的数量。
目前缺陷图像生成方法主要有几种。第一种为基于CAD模型的缺陷图像生成方法，该类方法需要设计缺陷的三维模型，用时较长且不能呈现缺陷的多样性。第二种为基于图像处理方法的缺陷图像生成方法，该方法需要先根据真实缺陷的特征创建各种符合要求的模板，再由模板生成缺陷图像。虽然该类方法比较简单，适合大量生成图像，但其生成的图像与真实缺陷图像有一定的差距，因此对检测算法的检测精度会有一定的影响。第三种是基于传统图像处理算法进行缺陷样本的生成，但这类方法一般还是源于对原有缺陷的合成，对检测算法的泛化能力提升有限。
发明内容
针对现有技术的不足和缺点，本发明提供一种基于循环生成对抗网络的弧面缺陷图像生成方法。
本发明采用如下技术方案实现：
一种基于循环生成对抗网络的弧面缺陷图像生成方法，包括：
步骤1、获取含缺陷的弧面图像和无缺陷的弧面图像；对含缺陷的弧面图像，使用矩形框标注出所有带缺陷的位置；对无缺陷的弧面图像，使用矩形框标注出若干可能出现缺陷的位置；从标注的弧面图像中提取标注区域形成缺陷集和无缺陷集；
步骤2、初始化循环生成对抗网络；循环生成对抗网络包括两个生成对抗网络：GANB→A和GANA→B，其中：GANB→A用于从无缺陷的弧面图像转换为含缺陷的弧面图像，GANA→B用于从含缺陷的弧面图像转换为无缺陷的弧面图像，GANB→A和GANA→B网络结构完全一致；
步骤3、训练循环生成对抗网络；
步骤4、基于训练好的循环生成对抗网络将无缺陷的弧面图像生成含缺陷的弧面图像。
优选地，对无缺陷的弧面图像，采用以下两种标注方案之一进行标注：
①、人工精确标注出可能生成缺陷的区域；
②、首先对无缺陷的弧面图像粗略标注较大的区域，较大的区域为经常出现缺陷的位置；然后以固定分辨率的矩形框在较大的区域中随机选取子区域。
优选地，从标注的弧面图像中提取标注区域形成缺陷集和无缺陷集包括：
从标注的弧面图像中根据矩形框裁切出标注区域，使用双线性内插算法归一化为相同的尺寸，形成缺陷集和无缺陷集。
优选地，每个生成对抗网络由一个生成器G和一个判别器D组成，生成器G用于生成图像，判别器D用于将生成图像判伪，生成器G与判别器D的对抗式训练是生成对抗网络得以生成高质量图像的核心。
优选地，生成对抗网络权重使用高斯分布随机初始化。
优选地，生成器G是全卷积网络，其具体结构包括：
首先是7×7的卷积层，然后使用stride＝2的卷积进行下采样操作，然后使用9个残差块进行特征的提取映射，再使用最近邻内插算法上采样，最后使用7×7的卷积操作得到输入图像相同尺寸的生成缺陷图像。
优选地，判别器D使用PatchGan结构，将输入映射为特征图而不是一个实数，特征图是一个矩阵，特征图的每个位置对应输入图像的某块区域。
优选地，判别器D是一个全卷积的结构，输出尺寸为输入图像尺寸/16的特征图。
优选地，步骤3包括：
步骤3.1、将无缺陷集的图像B输入生成器GB→A得到从无缺陷的弧面图像生成的含缺陷的弧面图像AGen，将缺陷集的图像A输入生成器GA→B得到从含缺陷的弧面图像生成的无缺陷的弧面图像BGen；
步骤3.2、训练生成器，生成器损失函数LGAN为：
LGAN＝LG+λc×Lcycle+λid×Lidentity
其中：LG为生成器损失，Lcycle为循环损失，Lidentity为一致性损失；λc和λid是设定的参数；
LG、Lcycle、Lidentity计算公式为：
Figure BDA0002966983300000031
Figure BDA0002966983300000041
Figure BDA0002966983300000042
其中：
Figure BDA0002966983300000043
Figure BDA0002966983300000044
Figure BDA0002966983300000045
Figure BDA0002966983300000046
Figure BDA0002966983300000047
Figure BDA0002966983300000048
其中：A为缺陷图；B为无缺陷图；AGen为由无缺陷图生成的缺陷图；BGen为由缺陷图生成的无缺陷图；DA、DB分别为缺陷图A、无缺陷图B的判别器；GA→B、GB→A分别为“从缺陷图生成无缺陷图”和“从无缺陷图生成缺陷图”的生成器；L1_Loss和L2_Loss分别为L1范数损失和L2范数损失。
步骤3.3、训练判别器，判别器损失函数定义如下：
Figure BDA0002966983300000049
Figure BDA00029669833000000410
依次计算判别器损失函数，反向传播得到梯度并使用Adam优化算法更新判别器的参数。
步骤3.4、从数据集中获取数据，重复步骤3.1～步骤3.3，直到生成缺陷图质量较高或者进行足够次数的迭代后停止训练，得到训练好的循环生成对抗网络。
优选地，步骤4包括：
步骤4.1、在无缺陷的弧面图像上标注需要生成的区域；
步骤4.2、将需要生成的区域裁切之后输入已经训练好的从无缺陷图生成缺陷图的生成器GB→A中，得到生成缺陷块；
步骤4.3、将每个生成缺陷块使用双边滤波进行降噪处理；
步骤4.4、将降噪后的缺陷块拼接回原无缺陷的弧面图像，得到了完整的含缺陷的弧面图像(弧面缺陷图像)。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明实现了弧面缺陷图像的快速生成，生成缺陷的形状以及面积具有随机性，仅需前期少量的标注工作，就可以快速生成大量含缺陷的弧面图像，且生成缺陷的形状、种类、面积具有随机性，用生成图像扩充数据集可以有效提升检测算法的检测精度。
(2)本发明生成缺陷图像效果与真实图像非常接近。
(3)本发明可以在一个真实缺陷样本的基础上生成非常多的仿真缺陷图像，所生成的缺陷图像具有多样性，并且缺陷的形状以及面积具有随机性。
(4)本发明能显著减少人为标注成本，且除了生成缺陷的形态具有随机性，生成缺陷的位置也具有随机性，仅需少量的人为标注成本。
(5)本发明能以很快的速度全自动地生成任意数量的缺陷。
(6)本发明与传统的生成对抗网络相比，引入了对称式的双生成器结构和循环损失、一致性损失，使得训练更加容易收敛。
(7)无需组成一对一的配对式数据集，仅需将缺陷和无缺陷分为两个数据集即可完成两种图像的转换。
附图说明
图1是一个实施例中一种基于循环生成对抗网络的弧面缺陷图像生成方法示意图。
图2是一个实施例中在无缺陷图像上划定待生成区域后自动标注子区域的方法示意图。
图3是一个实施例中循环对抗生成网络的整体结构示意图，其中：A：缺陷图像，B：无缺陷图像，G：生成器，D：判别器。
图4是一个实施例中生成器网络的具体结构图。
图5是一个实施例中判别器网络的具体结构图。
图6是一个实施例中由无缺陷图像B生成缺陷图像A的生成器网络的损失函数示意图。
图7是一个实施例中对缺陷图像进行判断的判别器网络的损失函数示意图。
图8是一个实施例中采用数据集的部分真实缺陷图和部分生成缺陷图的对比示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细地描述，但本发明的实施方式不限于此。
一种基于循环生成对抗网络的弧面缺陷图像生成方法主要包括：(1)对弧面图像数据集进行标注，得到缺陷数据集和无缺陷的缺陷背景数据集；(2)根据标注提取图像，归一化为相同尺寸；(3)使用高斯分布随机初始化循环生成对抗网络的参数；(4)计算损失函数，使用反向传播算法计算梯度并使用Adam优化算法进行参数的更新；(5)使用一张无缺陷的弧面图像，标注待生成区域，使用训练完成的缺陷图像生成器获取生成缺陷，将生成缺陷图经过双边滤波后拼接回原图像。
图1是一种基于循环生成对抗网络的弧面缺陷图像生成方法示意图，用于从无缺陷手机壳弧面图像得到新的带生成缺陷的弧面图，包括以下步骤：
步骤1、构建数据集。
首先需要获取到含缺陷的机壳弧面图像和无缺陷的机壳弧面图像。对含缺陷的图像，使用矩形框框出所有带缺陷的位置，标注框需要较精确覆盖缺陷边界。对无缺陷的图像，使用矩形框框出若干可能出现缺陷的位置。然后从标注数据集中提取标注区域形成缺陷集和无缺陷集。
具体包括：
步骤1.1、获取含缺陷的手机壳弧面图像和无缺陷的手机壳弧面图像。
步骤1.2、对含缺陷的手机壳弧面图像，使用矩形框标注出所有带缺陷的位置，矩形框需要较精确覆盖缺陷边界。
步骤1.3、对无缺陷的图像，采用以下两种标注方案之一进行标注：
1.人工精确标注出可能生成缺陷的区域。
2.可以对无缺陷图像粗略标注较大的区域，然后从中随机采样几种固定分辨率的矩形框作为标注，有助于提升泛化能力，减少人力标注成本。
如图2所示，其中：图2(a)为划定待生成区域图，图2(b)为以几种分辨率在划定待生成区域中随机选取子区域图。仅粗略标注较大的区域，这些较大的区域为经常出现缺陷的位置，如对于手机壳而言空隙附近、弧面边界、表面、天线带是容易产生缺陷的位置，以几种选定分辨率在这些区域中随机选取子区域，如128×128、256×256、512×512，分辨率的大小取决于图像大小和实际缺陷可能的大小。当某个分辨率超过划定区域大小时，忽略该分辨率。对于每个分辨率生成的区域数量可自行设定，取决于想生成的数据集规模。
步骤1.4从标注数据集中根据标注框裁切出标注区域，使用双线性内插算法归一化为相同的尺寸，形成缺陷集和无缺陷集。本实施例中，归一化尺寸为256×256。
步骤2、初始化循环生成对抗网络。
如图3所示，一个循环生成对抗网络包括两个生成对抗网络：GANB→A和GANA→B，其中：GANB→A用于从无缺陷图像转换为缺陷图像，GANA→B用于从缺陷图像转换为无缺陷图像，这两个生成对抗网络结构完全一致。每个生成对抗网络由一个生成器G和一个判别器D组成，生成器用于生成图像，判别器用于将生成图像判伪，二者的对抗式训练是生成对抗网络得以生成高质量图像的核心。所有网络权重均使用高斯分布随机初始化。
生成器G是全卷积网络，其具体结构如图4所示。首先是7×7的卷积层，然后使用stride＝2的卷积进行下采样操作，然后使用9个残差块进行特征的提取映射，残差块是在ResNet的基础上得到的结构，再使用最近邻内插算法上采样，最后使用7×7的卷积操作得到输入图像相同尺寸的生成缺陷图像。需要说明的是：图4中矩形框表示卷积操作，忽略了padding(填充)，实际上所有的卷积操作会对其进行填充使得尺寸相对不变。当stride(步长)为1时填充使尺寸保持不变，stride为2时填充使尺寸保持为原尺寸1/2。
判别器D可使用PatchGan结构，将输入映射为特征图而不是一个实数，该特征图是一个矩阵，每个位置对应了输入的某块区域，相比于单纯映射为实数，考虑了图像的不同部分的影响，使模型更能关注图像细节。
判别器D具体结构如图5所示，是一个全卷积的结构，输出尺寸为输入图像尺寸/16的特征图(实际上是一个矩阵)，特征图的每个位置对应输入图像的某块区域。
步骤3、训练循环生成对抗网络，步骤如下：
步骤3.1、将无缺陷集的图像B输入生成器GB→A得到从无缺陷图生成的缺陷图AGen，将缺陷集的图像A输入生成器GA→B得到从缺陷图生成的无缺陷图像BGen。
步骤3.2、训练生成器，生成器损失函数为：
LGAN＝LG+λc×Lcycle+λid×Lidentity
生成器相关的损失函数LGAN由三部分组成：LG为生成器损失，Lcycle为循环损失，Lidentity为一致性损失。λc和λid是设定的参数，本实施例中分别取10.0、5.0。
循环生成对抗网络为GANA→B、GANB→A组成的对称结构，将两个对称变换过程的损失取均值得到LG、Lcycle、Lidentity：
Figure BDA0002966983300000091
Figure BDA0002966983300000092
Figure BDA0002966983300000093
其中：
Figure BDA0002966983300000094
Figure BDA0002966983300000095
Figure BDA0002966983300000096
Figure BDA0002966983300000097
Figure BDA0002966983300000098
Figure BDA0002966983300000099
其中：A为缺陷图，B为无缺陷图，AGen为生成的缺陷图，BGen为由缺陷图生成的无缺陷图，DA、DB分别为缺陷图A、无缺陷图B的判别器，GA→B、GB→A分别为“从缺陷图生成无缺陷图”和“从无缺陷图生成缺陷图”的生成器。L1_Loss和L2_Loss分别为L1范数损失和L2范数损失。
以GB→A生成器的相关损失函数为例，其示意图如图6所示，图6中冻结判别器的网络参数，以虚线框出。
求得生成器相关的损失函数LGAN后，反向传播得到梯度，使用Adam优化算法更新生成器GB→A的参数。
步骤3.3、训练判别器。图7为判别器DA的损失函数示意图。图7中冻结生成器的网络参数，以虚线框出。
判别器损失函数定义如下(沿用步骤3.1的符号定义)：
Figure BDA0002966983300000101
Figure BDA0002966983300000102
依次计算损失函数，反向传播得到梯度并使用Adam优化算法更新判别器的参数。
步骤3.4、从数据集中获取数据，重复步骤3.1～步骤3.3，直到生成缺陷质量较高或者进行足够次数的迭代后停止训练，得到训练完的循环生成对抗网络。
步骤4、从无缺陷的图像得到含生成缺陷的弧面缺陷图像。
使用双边滤波来对生成的缺陷块进行降噪处理，去除噪声并保留边缘信息。从无缺陷图像标注待生成区域时，可以对无缺陷图像粗略标注较大的区域，然后从中随机采样几种固定分辨率的矩形框作为标注，减去人力标注的成本，可快速生成大量随机缺陷样本。
具体包括：
步骤4.1、在无缺陷弧面图像上标注需要生成的区域，如需自动化生成缺陷，可采用步骤1的随机选取子区域的方法，如图2所示。
步骤4.2、将这些区域裁切之后输入已经训练好的从无缺陷图像到缺陷图像的生成器GB→A中，得到生成缺陷块。
步骤4.3、将每个生成缺陷块使用双边滤波进行降噪处理。
步骤4.4、将降噪后的缺陷块拼接回原无缺陷弧面图像，即得到了完整的成缺陷的手机壳弧面图像。与真实缺陷图相比较检验缺陷质量，如图8所示，图8(a)为真实缺陷图，图8(b)为生成缺陷图，肉眼已很难辨别。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于循环生成对抗网络的弧面缺陷图像生成方法，其特征在于，包括：
步骤1、获取含缺陷的弧面图像和无缺陷的弧面图像；对含缺陷的弧面图像，使用矩形框标注出所有带缺陷的位置；对无缺陷的弧面图像，使用矩形框标注出若干可能出现缺陷的位置；从标注的弧面图像中提取标注区域形成缺陷集和无缺陷集；
步骤2、初始化循环生成对抗网络；循环生成对抗网络包括两个生成对抗网络：GANB→A和GANA→B，其中：GANB→A用于从无缺陷的弧面图像转换为含缺陷的弧面图像，GANA→B用于从含缺陷的弧面图像转换为无缺陷的弧面图像，GANB→A和GANA→B网络结构完全一致；
步骤3、训练循环生成对抗网络；
步骤4、基于训练好的循环生成对抗网络将无缺陷的弧面图像生成含缺陷的弧面图像。
2.根据权利要求1所述的弧面缺陷图像生成方法，其特征在于，对无缺陷的弧面图像，采用以下两种标注方案之一进行标注：
①、人工精确标注出可能生成缺陷的区域；
②、首先对无缺陷的弧面图像粗略标注较大的区域，较大的区域为经常出现缺陷的位置；然后以固定分辨率的矩形框在较大的区域中随机选取子区域。
3.根据权利要求1所述的弧面缺陷图像生成方法，其特征在于，从标注的弧面图像中提取标注区域形成缺陷集和无缺陷集包括：
从标注的弧面图像中根据矩形框裁切出标注区域，使用双线性内插算法归一化为相同的尺寸，形成缺陷集和无缺陷集。
4.根据权利要求1所述的弧面缺陷图像生成方法，其特征在于，每个生成对抗网络由一个生成器G和一个判别器D组成，生成器G用于生成图像，判别器D用于将生成图像判伪，生成器G与判别器D的对抗式训练是生成对抗网络得以生成高质量图像的核心。
5.根据权利要求4所述的弧面缺陷图像生成方法，其特征在于，生成对抗网络权重使用高斯分布随机初始化。
6.根据权利要求4所述的弧面缺陷图像生成方法，其特征在于，生成器G是全卷积网络，其具体结构包括：
首先是7×7的卷积层，然后使用stride＝2的卷积进行下采样操作，然后使用9个残差块进行特征的提取映射，再使用最近邻内插算法上采样，最后使用7×7的卷积操作得到输入图像相同尺寸的生成缺陷图像。
7.根据权利要求4所述的弧面缺陷图像生成方法，其特征在于，判别器D使用PatchGan结构，将输入映射为特征图而不是一个实数，特征图是一个矩阵，特征图的每个位置对应输入图像的某块区域。
8.根据权利要求4所述的弧面缺陷图像生成方法，其特征在于，判别器D是一个全卷积的结构，输出尺寸为输入图像尺寸/16的特征图。
9.根据权利要求1所述的弧面缺陷图像生成方法，其特征在于，步骤3包括：
步骤3.1、将无缺陷集的图像B输入生成器GB→A得到从无缺陷的弧面图像生成的含缺陷的弧面图像AGen，将缺陷集的图像A输入生成器GA→B得到从含缺陷的弧面图像生成的无缺陷的弧面图像BGen；
步骤3.2、训练生成器，生成器损失函数LGAN为：
LGAN＝LG+λc×Lcycle+λid×Lidentity
其中：LG为生成器损失，Lcycle为循环损失，Lidentity为一致性损失；λc和λid是设定的参数；
LG、Lcycle、Lidentity计算公式为：
Figure FDA0002966983290000031
Figure FDA0002966983290000032
Figure FDA0002966983290000033
其中：
Figure FDA0002966983290000034
Figure FDA0002966983290000035
Figure FDA0002966983290000036
Figure FDA0002966983290000037
Figure FDA0002966983290000038
Figure FDA0002966983290000039
其中：A为缺陷图；B为无缺陷图；AGen为由无缺陷图生成的缺陷图；BGen为由缺陷图生成的无缺陷图；DA、DB分别为缺陷图A、无缺陷图B的判别器；GA→B、GB→A分别为“从缺陷图生成无缺陷图”和“从无缺陷图生成缺陷图”的生成器；L1_Loss和L2_Loss分别为L1范数损失和L2范数损失；
步骤3.3、训练判别器，判别器损失函数定义如下：
Figure FDA00029669832900000310
Figure FDA00029669832900000311
依次计算判别器损失函数，反向传播得到梯度并使用Adam优化算法更新判别器的参数；
步骤3.4、从数据集中获取数据，重复步骤3.1～步骤3.3，直到生成缺陷图质量较高或者进行足够次数的迭代后停止训练，得到训练好的循环生成对抗网络。
10.根据权利要求1所述的弧面缺陷图像生成方法，其特征在于，步骤4包括：
步骤4.1、在无缺陷的弧面图像上标注需要生成的区域；
步骤4.2、将需要生成的区域裁切之后输入已经训练好的从无缺陷图生成缺陷图的生成器GB→A中，得到生成缺陷块；
步骤4.3、将每个生成缺陷块使用双边滤波进行降噪处理；
步骤4.4、将降噪后的缺陷块拼接回原无缺陷的弧面图像，得到了完整的含缺陷的弧面图像。
CN202110253845.1A 2021-03-09 2021-03-09 一种基于循环生成对抗网络的弧面缺陷图像生成方法 Pending CN113011480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110253845.1A CN113011480A (zh) 2021-03-09 2021-03-09 一种基于循环生成对抗网络的弧面缺陷图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110253845.1A CN113011480A (zh) 2021-03-09 2021-03-09 一种基于循环生成对抗网络的弧面缺陷图像生成方法

Publications (1)

Publication Number Publication Date
CN113011480A true CN113011480A (zh) 2021-06-22

Family

ID=76409172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110253845.1A Pending CN113011480A (zh) 2021-03-09 2021-03-09 一种基于循环生成对抗网络的弧面缺陷图像生成方法

Country Status (1)

Country Link
CN (1) CN113011480A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612468A (zh) * 2022-05-09 2022-06-10 西南交通大学 一种基于正样本的设备外部缺陷检测方法
WO2023082760A1 (zh) * 2021-11-15 2023-05-19 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法
US20200394506A1 (en) * 2019-06-14 2020-12-17 Robert Bosch Gmbh Machine learning system
CN112102424A (zh) * 2019-06-18 2020-12-18 顺丰科技有限公司 车牌图像生成模型构建方法、生成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200394506A1 (en) * 2019-06-14 2020-12-17 Robert Bosch Gmbh Machine learning system
CN112102424A (zh) * 2019-06-18 2020-12-18 顺丰科技有限公司 车牌图像生成模型构建方法、生成方法及装置
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘华超等: "引入特征损失对CycleGAN的影响研究", 《计算机工程与应用》 *
刘清斌: "弧面缺陷检测技术和应用研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082760A1 (zh) * 2021-11-15 2023-05-19 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置
US11783474B1 (en) 2021-11-15 2023-10-10 Changzhou Microintelligence Co., Ltd. Defective picture generation method and apparatus applied to industrial quality inspection
CN114612468A (zh) * 2022-05-09 2022-06-10 西南交通大学 一种基于正样本的设备外部缺陷检测方法
CN114612468B (zh) * 2022-05-09 2022-07-15 西南交通大学 一种基于正样本的设备外部缺陷检测方法

Similar Documents

Publication Publication Date Title
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN107358636B (zh) 一种基于纹理合成的疏松缺陷图像生成方法
CN112241997A (zh) 基于多尺度点云上采样的三维模型建立、修复方法及***
CN113011480A (zh) 一种基于循环生成对抗网络的弧面缺陷图像生成方法
TW201732690A (zh) 半導體試樣的基於深度學習之檢查的方法及其系統
CN111553858B (zh) 基于生成对抗网络的图像修复方法、***及其应用
Guo et al. Application of computer aided modeling design in the expression techniques of sculpture art space
Jiangsha et al. Data augmentation by a CycleGAN-based extra-supervised model for nondestructive testing
CN105678712B (zh) 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法
CN114842201A (zh) 基于改进Mask_Rcnn的砂石骨料图像分割方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN114693570A (zh) 一种人体模型图像的融合处理方法、设备和存储介质
CN113240790B (zh) 一种基于3d模型和点云处理的钢轨缺陷图像生成方法
CN115661340B (zh) 一种基于源信息融合的三维点云上采样方法与***
CN116935226A (zh) 一种基于HRNet的改进型遥感图像道路提取方法、***、设备及介质
CN116402702A (zh) 基于深度神经网络的老照片修复方法及***
Leung et al. Tileable btf
CN114119874A (zh) 基于gan的单图重建高清3d面部纹理的方法
JP2022100292A (ja) ニューラルネットワーク訓練方法および欠陥検出方法、装置および記憶媒体
CN113222887A (zh) 基于深度学习的纳米铁标记神经干细胞示踪的方法
CN106204721B (zh) 基于照片的局部非完备颜面模型修复方法
CN117292067B (zh) 基于扫描实物获得的虚拟3d模型方法及***
CN116228797B (zh) 基于注意力和U-Net的页岩扫描电镜图像分割方法
Yang et al. Simultaneous structure and geometry detail completion based on interactive user sketches
Zhan et al. High-Quality Graphic Rendering and Synthesis of Design Graphics Using Generating Adversarial Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210622

WD01 Invention patent application deemed withdrawn after publication