CN113935977A - 一种基于生成对抗网络的太阳能电池板缺陷生成方法 - Google Patents
一种基于生成对抗网络的太阳能电池板缺陷生成方法 Download PDFInfo
- Publication number
- CN113935977A CN113935977A CN202111234513.5A CN202111234513A CN113935977A CN 113935977 A CN113935977 A CN 113935977A CN 202111234513 A CN202111234513 A CN 202111234513A CN 113935977 A CN113935977 A CN 113935977A
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- generation
- generator
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 43
- 230000004913 activation Effects 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 229910021419 crystalline silicon Inorganic materials 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002210 silicon-based material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于生成对抗网络的太阳能电池板缺陷生成方法，该方法通过自行设计的包含多注意力模块的改进型生成对抗网络，利用太阳能缺陷图像数据集对网络进行训练。数据集中的图像均可以resize为同样尺寸，若干张图像为一批在训练过程的对应阶段输入生成对抗网络中的生成器与判别器中进行训练，当判别器的损失函数值趋于平衡时则终止训练，最终得到的生成器即可进行高质量图像生成。本发明设计的改进型生成对抗网络可以改善模式坍塌问题，同时提高图像细节的清晰度。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种基于生成对抗网络的太阳能电池板缺陷生成方法。
背景技术
太阳可以向地球源源不断地输送丰富的、洁净的、免费的能量,如何有效利用太阳能这种能源成为人类研究的重要方向。太阳能发电主要载体为电池板,因晶体硅太阳能电池板的设备成本相对较低,光电转换效率高,宜在室外阳光下发电等原因,大部分的太阳能电池板材料都是晶体硅材料,但晶体硅切片通常都比较薄,极易造成断栅、开焊、实心黑、隐裂等缺陷。目前大多采用电池阵列安装方式,某一片缺陷电池板还将严重影响整体性能。因此,在生产过程中检测电池板缺陷是十分重要的。
过去,大多数的太阳能电池生产工厂还是通过人工观察检测出存在缺陷的太阳能电池板,该方法存在诸多问题,比如人工检测效率太低,易造成误判。近年来,随着计算机技术日趋成熟,越来越多的太阳能电池板生产厂开始使用机器视觉技术来替代人工检测技术,以降低人工成本并提高太阳能电池板缺陷的检测效率与准确率。但是传统的机器学习是远远不够的,一类新的特征学习方法的出现迅速在多个领域取得了突破性的进展。这类特征表示方法以人工神经网络为基础,主要采用深层神经网络模型,配合新的训练方法，称为深度学习，但深度学习的优势依赖于大数据,在大数据的驱动下,机器能够进行有效学习,如果没有足够多的训练样本,参数众多的神经网络就会存在过拟合的风险,在测试图像上表现出非常差的效果。然而在研究太阳能电池板缺陷时往往会存在样本量很少的问题。样本量过少会导致样本多样性变低,图像数据集不足以让模型捕捉到足够的数据,因此在数据量有限的情况下,可以通过数据增强来提高样本多样性。数据增强指借助辅助数据或辅助信息,对原有的少量数据集进行数据扩充或特征增强。
在早期的工作中,通常对现有的数据集应用固定的转换规则来生成新的样本。可以是围绕某一个样本进行操作,称为同类增强,如移位、旋转、缩放、裁剪、翻转等操作,也可以是同时针对多个样本进行操作,称为混类增强。然而人为的构建这些固定的数据转换规则需要大量相关领域的知识,同时这些转换规则不具有一般性,有的仅在作用于特定的数据集时有较好的表现,因此,采用固定转换规则的方式并不能完全解决样本少的问题。更先进且有效的方法是利用生成模型生成新的样本或者生成新的特征,生成模型是指通过对数据集进行训练,根据训练样本的数据分布生成期望的数据分布样本。目前生成模型中最具代表的是生成对抗网络,因为生成对抗网络在图像生成领域具有显著性优势,近几年也取得了飞速的发展。它可为训练样本提供更多的生成图像,增加训练样本的多样性。生成对抗网络由一个生成器和一个判别器构成,生成器通过输入噪声生成图片,判别器需要将生成图片与真实图片进行二分类，二者相互博弈直至最后判别器无法正确区分生成器生成的图片与真实图片之间的差异,以此来产生优良的输出。
之前的生成对抗网络很容易存在模式坍塌问题，样本模式单一缺乏多样性。具体来说，生成对抗网络通过对抗式的训练将生成器生成图像的数据分布向真实图像的数据分布拉近，通过使用真实图像数据训练判别器得到接近真实的图像数据分布，原始的生成对抗网络技术描述两种图像数据分布之间的距离的标准为交叉熵即JS散度，当两者分布在训练初期不存在相交时，采用JS散度的训练结果较差，不能够为生成器的训练提供有效的梯度从而导致模式坍塌。
发明内容
本发明的目的在于提供一种基于生成对抗网络的太阳能电池板缺陷生成方法。该方法基于生成对抗网络，并且在该网络中融合了多注意力模块，用于解决太阳能电池板缺陷很难收集到足够多的数据来训练模型,造成深层网络过拟合和模型性能不达标的问题。
为达到上述目的，本发明提供如下技术方案：设计一种基于生成对抗网络的太阳能电池板缺陷生成方法，其特征在于，该方法包括以下步骤：
S1：采集太阳能电池板图像样本，并将其分为合格样本和缺陷样本，选取缺陷样本图片为训练集；
S2：设计包含多注意力模块的改进型生成对抗网络，利用随机噪音变量和训练集图片对该改进型生成对抗网络进行参数训练；
S3：将随机噪声输入到步骤S2中已完成参数训练的包含多注意力模块的改进型生成对抗网络中，生成太阳能电池板缺陷图片(A)；
S4：将步骤S3中生成的太阳能电池板缺陷图片(A)与训练集图片采用mixup算法进行叠加融合，使电池板背景栅线更加清晰，缺陷更具有多样性，生成高质量的缺陷图片(B)。
与现有技术相比，本发明有益效果在于：通过自行设计的包含多注意力模块的改进型生成对抗网络，利用太阳能缺陷图像数据集对网络进行训练。数据集中的图像均可以resize为同样尺寸，若干张图像为一批在训练过程的对应阶段输入生成对抗网络中的生成器与判别器中进行训练，当判别器的损失函数值趋于平衡时则终止训练，最终得到的生成器即可进行高质量图像生成。本发明设计的改进型生成对抗网络可以改善模式坍塌问题，同时提高图像细节的清晰度。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明方法一种实施例的包含多注意力模块的改进型生成对抗网络的原理与结构框图；
图2为本发明方法一种实施例的生成的太阳能电池板缺陷图片A与训练集图片(真实缺陷图片)采用mixup算法进行叠加融合的原理示意图；
图3为本发明方法一种实施例的自注意力层与通道注意力层的原理与结构框图。
具体实施方式
下面结合具体实施例进一步阐述本发明。
本发明提供一种基于生成对抗网络的太阳能电池板缺陷生成方法，该方法包括以下步骤：
S1：采集太阳能电池板图像样本，并将其分为合格样本和缺陷样本，选取缺陷样本图片为训练集。
S2：设计包含多注意力模块的改进型生成对抗网络，利用随机噪音变量和训练集图片对该改进型生成对抗网络进行参数训练。
所述改进型生成对抗网络的生成器的包含七个神经网络模块，判别器包括五个神经网络模块，初始化生成器与判别器后，将随机噪音变量z输入到生成器的第一个神经网络模块，依次经过生成器的七个神经网络模块处理，生成第一代假的缺陷图片；将第一代假的缺陷图片和训练集图片输入到判别器中，依次经过判别器的五个神经网络模块的处理来判断初始假的缺陷图片与训练集图片的差异，判别器采用Wasserstein距离作为损失函数，接着通过数学变换将Wasserstein距离写成可求解的形式，利用一个参数数值范围受限的判别器神经网络来最大化这个形式，达到近似拟合Wasserstein距离，此时判别器的参数训练完成；在此近似最优判别器下优化生成器使得Wasserstein距离缩小，就能有效拉近生成分布与真实分布，此时保持判别器的参数不变，调整生成器的参数，随机噪音变量z经过生成器后生成第二代假的缺陷图片，将第二代假的缺陷图片与训练集图片输入到判别器中，最后通过判别器计算差异，当损失函数Wasserstein距离最小时，生成器参数训练完成，第二代假的缺陷图片即为符合要求的网络输出，否则继续调整生成器的参数，直到当前参数所得到的假的缺陷图片经判别器处理后其损失函数Wasserstein距离最小。
Wasserstein距离定义如下：
II(P1，P2)是P1和P2组合起来的所有可能的联合分布的集合，对于每一个可能的联合分布γ而言，可以从中采样得到一个真实样本x和生成样本y，并算出这对样本的距离||x-y||，所以可以计算该联合分布γ下样本对距离的期望值，在所有可能的联合分布中能够对这个期望值取到的下界，就定义为Wasserstein距离。接着通过数学变换将Wasserstein距离写成可求解的形式，利用一个参数数值范围受限的判别器神经网络来最大化这个形式，就是在一个连续函数f上面额外施加一个限制，即用Lipschitz连续条件限制一个连续函数的最大局部变动幅度，因此构造一个含参数w的判别器网络fw，L的计算公式如下：
L＝Ex～p1[fw(x)]-Ex～p1[fw(x)] (2)
在限制Wasserstein距离不超过某个范围的条件下，使得L尽可能取到最大，此时L就会近似真实分布与生成分布之间的Wasserstein距离，在此近似最优判别器下优化生成器使得Wasserstein距离缩小，就能有效拉近生成分布与真实分布。
生成器的第一个神经网络模块G1为全连接层，它是全连接的结构，用于全部结点的特征提取；第二个神经网络模块G2包括全连接层、BN层(批量标准化层)和Leaky ReLU激活函数，全连接层的每一个结点都与上一层的所有结点相连，用来把上一层提取到的特征再综合起来，BN层将经全连接层处理后的特征调整为均值为0、方差为1的标准正态分布，Leaky ReLU激活函数给经过BN层处理后所得的所有负值赋予一个非零斜率；
生成器的第三个神经网络模块G3是自注意力层，自注意力层是提高生成图像像素区域之间的关联性，它将上一层特征提取后的特征图进行1×1的卷积操作，进行降维处理，将特征图被转换到两个特定的特征空间f与g中，将f(x)的转置与g(x)进行矩阵相乘，经过softmax激活函数进行归一化以计算注意力值，之后点乘h(x)得到自注意力图，再与最开始的特征图加权得到自注意力机制下的最终输出特征图y，计算公式如下：
生成器的第四个神经网络模块G4是通道注意力层，通道注意力层是聚焦于有意义的输入图像，它对上一层的特征图y同时经过平均池化层(AvgPool)和最大池化层(MaxPool)后的结果传递到一个共享网络(share MLP)，以产生通道注意力图，再与特征图y进行元素相乘得到最终注意力图。
通道注意力图生成公式如下：
Mc(y)＝σ(MLP(AvgPool(y))+MLP(MaxPool(y))) (4)
AvgPool(y)表示平均池化特征，MaxPool(y)表示最大池化特征。然后，同时经过平均池化层和最大池化层后的结果传递到一个共享网络(share MLP)，以产生通道注意力图。共享网络由一个多层感知器组成，其中有一个隐含层。之后将输出的特征向量使用element-wise(对应元素逐个)求和进行合并。σ表示sigmoid函数。最后将通道注意力图Mc(y)与特征图y进行元素相乘得到最终注意力图。
生成器的第五个神经网络模块G5包括全连接层、BN层(批量标准化层)和LeakyReLU激活函数，全连接层将每一个结点都与上一层的所有结点相连，把上一层提取到的特征再综合起来，BN层将经全连接层处理后的特征调整为均值为0、方差为1的标准正态分布，Leaky ReLU激活函数给经过BN层处理后所得的所有负值赋予一个非零斜率；
生成器的第六个神经网络模块G6包括全连接层、BN层(批量标准化层)和LeakyReLU激活函数，全连接层将每一个结点都与上一层的所有结点相连，把上一层提取到的特征再综合起来，BN层将经全连接层处理后的特征调整为均值为0、方差为1的标准正态分布，Leaky ReLU激活函数给经过BN层处理后所得的所有负值赋予一个非零斜率，使得神经网络可以任意逼近任何非线性函数；
生成器的第七个神经网络模块G7包括全连接层和tanh激活函数，tanh激活函数是双曲正切函数，tanh函数输出以0为中心，区间为[-1,1]。
BN层的作用是增加训练速度，防止过拟合，避免激活函数进入非线性饱和区，从而造成梯度弥散问题。BN层添加在激活函数前，对激活函数的输入进行归一化，这样解决了输入数据发生偏移和增大的影响。激活函数的作用是给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，可以学习到比较复杂的映射关系，加入的Leaky ReLU激活函数是给所有负值赋予一个非零斜率；
判别器的第一个神经网络模块D1包括全连接层和Leaky ReLU激活函数，全连接层进行全部结点的特征提取，Leaky ReLU激活函数将经全连接层提取得到的特征中的所有负值赋予一个非零斜率；其第二个神经网络模块D2包括全连接层和Leaky ReLU激活函数，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，再经过Leaky ReLU激活函数，使提取到的特征中的所有负值赋予一个非零斜率；其第三个神经网络模块D3是自注意力层，该网络模块的结构与生成器的第三个神经网络模块结构相同；其第四个神经网络模块D4是通道注意力层，该网络模块的结构与生成器的第四个神经网络模块结构相同同；其第五个神经网络模块D5为全连接层，该全连接层对上一层提取的特征再进行综合。
S3：将随机噪声输入到步骤S2中已完成参数训练的包含多注意力模块的改进型生成对抗网络中，生成太阳能电池板缺陷图片A。
S4：将步骤S3中生成的太阳能电池板缺陷图片A与训练集图片采用mixup算法进行叠加融合，使电池板背景栅线更加清晰，缺陷更具有多样性，生成高质量的缺陷图片B。
mixup是一种运用在计算机视觉中的对图像进行混类增强的算法，它可以将不同类型之间的图像进行混合，从而扩充训练数据集。即生成缺陷图片A与真实缺陷图片进行混合叠加，用原始图片来弥补生成图片中栅线不平滑问题，并且叠加之后缺陷位置更加具有多样性。
在实施例中所搭建的实验的软件环境是在Win10***下的以pytorch为后端的学习框架，所搭建的实验硬件环境为NVIDIA 2070s显卡。
本实验的生成数据是由SSIM和PSNR两个评价指标来评判的，SSIM是结构相似性，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性；PSNR是峰值信噪比，它是最普遍和使用最为广泛的一种图像客观评价指标，它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。
以太阳能电池板的线状缺陷为例，本次实验数据集为52张图片，经过生成对抗网络生成6000张图片，其中对比实验结果如下，最原始的生成对抗网络(GAN)所生成图片的评价指标SSIM为0.187，PSNR为8.621；使用WGAN网络模型所生成图片的评价指标SSIM为0.461，PSNR为14.386；在WGAN网络模型的生成器和判别器中加入自注意力机制，并且进行mixup算法进行真假融合所生成图片的评价指标SSIM为0.598，PSNR为17.973；在WGAN网络模型的生成器和判别器中加入自注意力机制所生成图片的评价指标SSIM为0.638，PSNR为19.339；在WGAN网络模型的生成器和判别器中加入自注意力机制和通道注意力机制相结合的多注意力模块所生成图片的评价指标SSIM为0.671，PSNR为19.556；在WGAN网络模型的生成器和判别器中加入自注意力机制和通道注意力机制相结合的多注意力模块，并且进行mixup算法进行真假融合所生成图片的评价指标SSIM为0.72，PSNR为20.086。
实验结果证明，本发明设计的改进型生成对抗网络在太阳能电池板缺陷的生成效果上有了很大的提升，证明了此发明可行性。
本发明未述及之处适用于现有技术。
Claims (4)
1.一种基于生成对抗网络的太阳能电池板缺陷生成方法，其特征在于，该方法包括以下步骤：
S1：采集太阳能电池板图像样本，并将其分为合格样本和缺陷样本，选取缺陷样本图片为训练集；
S2：设计包含多注意力模块的改进型生成对抗网络，利用随机噪音变量和训练集图片对该改进型生成对抗网络进行参数训练；
S3：将随机噪声输入到步骤S2中已完成参数训练的包含多注意力模块的改进型生成对抗网络中，生成太阳能电池板缺陷图片(A)；
S4：将步骤S3中生成的太阳能电池板缺陷图片(A)与训练集图片采用mixup算法进行叠加融合，使电池板背景栅线更加清晰，缺陷更具有多样性，生成高质量的缺陷图片(B)。
2.根据权利要求1所述的一种基于生成对抗网络的太阳能电池板缺陷生成方法，其特征在于，所述改进型生成对抗网络的生成器的包含七个神经网络模块，判别器包括五个神经网络模块，初始化生成器与判别器后，将随机噪音变量(z)输入到生成器的第一个神经网络模块，依次经过生成器的七个神经网络模块处理，生成第一代假的缺陷图片；将第一代假的缺陷图片和训练集图片输入到判别器中，依次经过判别器的五个神经网络模块的处理来判断初始假的缺陷图片与训练集图片的差异，判别器采用Wasserstein距离作为损失函数，接着通过数学变换将Wasserstein距离写成可求解的形式，利用一个参数数值范围受限的判别器神经网络来最大化这个形式，达到近似拟合Wasserstein距离，此时判别器的参数训练完成；在此近似最优判别器下优化生成器使得Wasserstein距离缩小，就能有效拉近生成分布与真实分布，此时保持判别器的参数不变，调整生成器参数，随机噪音变量(z)经过生成器后生成第二代假的缺陷图片，将第二代假的缺陷图片与训练集图片输入到判别器中，最后通过判别器计算差异，当损失函数Wasserstein距离最小时，生成器参数训练完成，第二代假的缺陷图片即为符合要求的网络输出，否则继续调整生成器的参数，直到当前参数所得到的假的缺陷图片经判别器处理后其损失函数Wasserstein距离最小。
3.根据权利要求2所述的一种基于生成对抗网络的太阳能电池板缺陷生成方法，其特征在于，生成器的第一个神经网络模块为全连接层，它是全连接的结构，用于全部结点的特征提取；第二个神经网络模块包括全连接层、BN层和Leaky ReLU激活函数，全连接层的每一个结点都与上一层的所有结点相连，用来把上一层提取到的特征再综合起来，BN层将经全连接层处理后的特征调整为均值为0、方差为1的标准正态分布，Leaky ReLU激活函数给经过BN层处理后所得的所有负值赋予一个非零斜率；
生成器的第三个神经网络模块是自注意力层，自注意力层是提高生成图像像素区域之间的关联性，它将上一层特征提取后的特征图进行1×1的卷积操作，进行降维处理，将特征图被转换到两个特定的特征空间f与g中，将f(x)的转置与g(x)进行矩阵相乘，经过softmax激活函数进行归一化以计算注意力值，之后点乘h(x)得到自注意力图，再与最开始的特征图加权得到自注意力机制下的最终输出特征图(y)，计算公式如下：
生成器的第四个神经网络模块是通道注意力层，通道注意力层是聚焦于有意义的输入图像，它对上一层的特征图(y)同时经过平均池化层和最大池化层后的结果传递到一个共享网络，以产生通道注意力图，再与特征图(y)进行元素相乘得到最终注意力图；
通道注意力图生成公式如下：
Mc(y)＝σ(MLP(AvgPool(y))+MLP(MaxPool(y))) (4)
AvgPool(y)表示平均池化特征，MaxPool(y)表示最大池化特征；然后，同时经过平均池化层和最大池化层后的结果传递到一个共享网络，以产生通道注意力图；共享网络由一个多层感知器组成，其中有一个隐含层；之后将输出的特征向量使用element-wise求和进行合并；σ表示sigmoid函数；最后将通道注意力图Mc(y)与特征图(y)进行元素相乘得到最终注意力图；
生成器的第五个神经网络模块包括全连接层、BN层和Leaky ReLU激活函数，全连接层将每一个结点都与上一层的所有结点相连，把上一层提取到的特征再综合起来，BN层将经全连接层处理后的特征调整为均值为0、方差为1的标准正态分布，Leaky ReLU激活函数给经过BN层处理后所得的所有负值赋予一个非零斜率；
生成器的第六个神经网络模块包括全连接层、BN层和Leaky ReLU激活函数，全连接层将每一个结点都与上一层的所有结点相连，把上一层提取到的特征再综合起来，BN层将经全连接层处理后的特征调整为均值为0、方差为1的标准正态分布，Leaky ReLU激活函数给经过BN层处理后所得的所有负值赋予一个非零斜率，使得神经网络可以任意逼近任何非线性函数；
生成器的第七个神经网络模块包括全连接层和tanh激活函数，tanh激活函数是双曲正切函数，tanh函数输出以0为中心，区间为[-1,1]。
4.根据权利要求2所述的一种基于生成对抗网络的太阳能电池板缺陷生成方法，其特征在于，判别器的第一个神经网络模块包括全连接层和Leaky ReLU激活函数，全连接层进行全部结点的特征提取，Leaky ReLU激活函数将经全连接层提取得到的特征中的所有负值赋予一个非零斜率；其第二个神经网络模块包括全连接层和Leaky ReLU激活函数，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，再经过Leaky ReLU激活函数，使提取到的特征中的所有负值赋予一个非零斜率；其第三个神经网络模块是自注意力层，该网络模块的结构与生成器的第三个神经网络模块结构相同；其第四个神经网络模块是通道注意力层，该网络模块的结构与生成器的第四个神经网络模块结构相同；其第五个神经网络模块为全连接层，该全连接层对上一层提取的特征再进行综合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111234513.5A CN113935977A (zh) | 2021-10-22 | 2021-10-22 | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111234513.5A CN113935977A (zh) | 2021-10-22 | 2021-10-22 | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113935977A true CN113935977A (zh) | 2022-01-14 |
Family
ID=79283914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111234513.5A Pending CN113935977A (zh) | 2021-10-22 | 2021-10-22 | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935977A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626470A (zh) * | 2022-03-18 | 2022-06-14 | 南京航空航天大学深圳研究院 | 基于多类型几何特征算子的飞机蒙皮关键特征检测方法 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及*** |
| CN116071352A (zh) * | 2023-03-06 | 2023-05-05 | 四川轻化工大学 | 一种电力安全工器具表面缺陷图像的生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
| CN112561838A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN112580782A (zh) * | 2020-12-14 | 2021-03-30 | 华东理工大学 | 基于通道增强的双注意力生成对抗网络及图像生成方法 |
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
-
2021
- 2021-10-22 CN CN202111234513.5A patent/CN113935977A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN112561838A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN112580782A (zh) * | 2020-12-14 | 2021-03-30 | 华东理工大学 | 基于通道增强的双注意力生成对抗网络及图像生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 屈尔庆;刘坤;陈海永;孙鹤旭;: "基于P-ReliefF特征选择方法的带钢表面缺陷识别", 电子测量与仪器学报, no. 07, 15 July 2017 (2017-07-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626470A (zh) * | 2022-03-18 | 2022-06-14 | 南京航空航天大学深圳研究院 | 基于多类型几何特征算子的飞机蒙皮关键特征检测方法 |
| CN114626470B (zh) * | 2022-03-18 | 2024-02-02 | 南京航空航天大学深圳研究院 | 基于多类型几何特征算子的飞机蒙皮关键特征检测方法 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及*** |
| CN116071352A (zh) * | 2023-03-06 | 2023-05-05 | 四川轻化工大学 | 一种电力安全工器具表面缺陷图像的生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113935977A (zh) | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 | |
| CN111275618A (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| CN112818969B (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
| CN112884712B (zh) | 一种显示面板缺陷分类的方法及相关装置 | |
| CN114973032B (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
| CN114021741A (zh) | 一种基于深度学习的光伏电池板巡检方法 | |
| CN114693064B (zh) | 一种建筑群方案生成性能评价方法 | |
| CN109376787A (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| Ni et al. | Intelligent defect detection method of photovoltaic modules based on deep learning | |
| CN115272777A (zh) | 面向输电场景的半监督图像解析方法 | |
| CN114863266A (zh) | 一种基于深度时空模式交互网络的土地利用分类方法 | |
| Wei et al. | Cloudprednet: an ultra-short-term movement prediction model for ground-based cloud image | |
| CN117392065A (zh) | 一种云边协同太阳能板覆灰状况自主评估方法 | |
| CN107622476A (zh) | 基于概率生成模型的图像超分辨处理方法 | |
| CN116309221A (zh) | 一种多光谱图像融合模型的构建方法 | |
| CN115409822A (zh) | 基于自监督缺陷检测算法的工业零件表面异常检测方法 | |
| CN114022362A (zh) | 一种基于金字塔注意力机制和对称网络的图像超分辨率方法 | |
| Heng et al. | Anti-vibration hammer detection in UAV image | |
| Yang et al. | Deep networks for image super-resolution using hierarchical features | |
| CN114140317A (zh) | 一种基于级联生成对抗网络的图像动漫化方法 | |
| CN114463192A (zh) | 一种基于深度学习的红外视频畸变校正的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |