CN110827297A - 基于改进的条件生成对抗网络的绝缘子分割方法 - Google Patents
基于改进的条件生成对抗网络的绝缘子分割方法 Download PDFInfo
- Publication number
- CN110827297A CN110827297A CN201911066870.8A CN201911066870A CN110827297A CN 110827297 A CN110827297 A CN 110827297A CN 201911066870 A CN201911066870 A CN 201911066870A CN 110827297 A CN110827297 A CN 110827297A
- Authority
- CN
- China
- Prior art keywords
- insulator
- segmentation
- image
- sample
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 200
- 230000011218 segmentation Effects 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000011176 pooling Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 241000023320 Luma <angiosperm> Species 0.000 claims description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 9
- 238000007689 inspection Methods 0.000 abstract description 6
- 230000003042 antagnostic effect Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 26
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分割、高压输电线路巡检领域，具体涉及一种基于改进的条件生成对抗网络的绝缘子分割方法、***、装置，旨在解决基于条件生成对抗网络的绝缘子分割方法分割精度差、效率低的问题。本***方法包括获取包含绝缘子的图像，作为输入图像；基于输入图像，通过绝缘子分割模型获取绝缘子分割图像；绝缘子分割模型基于条件生成对抗网络的生成器构建；生成器基于自编码器构建，其包括编码器和解码器；编码器包括非对称卷积层、最大池化层；解码器包括非对称卷积层、上采样层；绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。本发明通过改进的条件生成对抗网络，提升了绝缘子的分割精度和效率。
Description
技术领域
本发明属于图像分割、高压输电线路巡检领域，具体涉及一种基于改进的条件生成对抗网络的绝缘子分割方法、***、装置。
背景技术
绝缘子在电力***中被广泛使用，一旦损坏将导致电力网崩溃，造成严重的电力经济损失，所以检测绝缘子成为电力巡检过程中不可或缺的一个任务。随着机器人、无人机的迅速发展和图像检测技术的提高，危险复杂的人工电力巡检逐渐被机器所取代。近年来人工智能神经网络的不断发展，基于深度学习的电力巡检近几年成为了研究者们关注的焦点，如何使用深度学习将绝缘子准确的分割识别出来成为当前巡线检测的重要研究方向。
图像分割在计算机视觉中是一个重要的研究课题。它主要研究为图像中的每一个像素分配一个标签的任务，对目标进行像素级的识别。图像分割方法主要可以分为三大类。首先是基于传统方法，比如”Normalized cut”，”Grab cut”。这一类方法分割时主要使用像素级的底层信息，整个算法复杂度低，不需要训练，分割效率比较高。但是面对背景稍微复杂的图像，则需要添加辅助信息来帮助其分割，否则效果不够理想。
另外一种很重要的方式是深度学习方法。目前，深度学习的图像分割方法主要有全卷积网络、自编码器网络、生成式对抗网络(GAN)。全卷积网络FCN利用反卷积层对最后一个卷积层输出的特征图进行上采样，得到与输入尺寸相同的图像，并在此图像上完成像素级的分割。FCN采用全卷积网络，成为图像分割算法中的经典算法。自编码器方法主要使用编码器来提取图像特征，得到特征图，利用解码器将特征图进行像素级的分割。这种方法相比全卷积网络复杂度更高，耗时更多。生成式对抗网络完成的图像分割一般由生成器将提取低维度的特征映射成物体的分割模型，判别器网络一般与生成器网络对称，用来区分预测的分割模型是否为真。通过不断训练，得到高质量的生成器模型，用训练得到的生成器模型完成图像分割。这种方法分割精度更高，在效率上可以得到更好的提高。但面对图像背景复杂，种类姿态多样的绝缘子图像，分割的精度和效率还是较差。
因此，本专利提出一种基于改进的条件生成对抗网络的绝缘子分割方法，该方法在图像分割精度和效率上相比于现有方法有较大优势。
发明内容
为了解决现有技术中的上述问题，即为了解决现有基于条件生成对抗网络的绝缘子分割方法分割精度差、效率低的问题，本发明第一方面，提出了一种基于改进的条件生成对抗网络的绝缘子分割方法，该方法包括：
步骤S100，获取包含绝缘子的图像，作为输入图像；
步骤S200，基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像；
所述绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建；所述生成器基于自编码器构建，其包括编码器和解码器；所述编码器包括非对称卷积层、最大池化层；所述解码器包括非对称卷积层、上采样层；所述绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
在一些优选的实施方式中，所述编码器的非对称卷积层由卷积函数、批量归一化函数、线性整流函数构成；所述解码器的非对称卷积层由反卷积函数、批量归一化函数、线性整流函数构成。
在一些优选的实施方式中，所述绝缘子分割模型，其训练方法为：
步骤A100，获取包含绝缘子的图像，通过预设的图像增强方法构建样本集，所述样本集包括输入图像样本、及其中所包含的绝缘子的真实分割图像；将所述样本集拆分为训练样本集和测试样本集；
步骤A200，基于所述训练样本集中的输入图像样本通过绝缘子分割模型获取绝缘子分割图像；将其作为绝缘子生成分割图像；
步骤A300，根据所述绝缘子生成分割图像及对应训练样本的绝缘子真实分割图像，通过条件生成对抗网络cGAN的判别器得到所述绝缘子分割图像中各区域的分割结果，并获取绝缘子分割模型的损失值；
步骤A400，获取当前迭代次数，若所述损失值小于预设的训练损失值阈值或所述迭代次数大于预设的训练迭代次数，输出训练好的绝缘子分割模型，将其作为第一模型，跳转步骤A500；否则基于所述损失值，通过反向传播算法，更新所述绝缘子分割模型的参数，令迭代次数加1，跳转步骤A200；
步骤A500，通过所述第一模型获取所述测试样本集中所有输入图像样本的绝缘子分割图像，并将所述绝缘子分割图像和所述测试样本集中所包含的绝缘子的真实分割图像进行对比，获取mIoU评估值；
步骤A600，若所述mIoU评估值大于预设的评估值，将所述第一模型作为最终训练好的绝缘子分割模型，否则，跳转步骤A200。
在一些优选的实施方式中，步骤A100中“通过预设的图像增强方法构建样本集”，其方法为：
获取包含绝缘子的图像，作为预处理图像样本；
基于预设的亮度倍数集合，随机选取亮度倍数对所述预处理图像样本进行亮度处理，得到亮度处理图像样本；
对所述预处理图像样本进行旋转，得到多张旋转处理图像样本；
将所述亮度处理图像样本和所述旋转处理图像样本缩放至预设尺寸；基于缩放后的图像，构建样本集。
在一些优选的实施方式中，所述条件生成对抗网络cGAN的判别器由五层卷积层组成；第一层卷积层由卷积函数、Leaky ReLU函数构成，最后一层由卷积函数构成，其余三层卷积层由卷积函数、Leaky ReLU函数、批量归一化函数构成。
在一些优选的实施方式中，所述条件生成对抗网络cGAN的判别器其输出为16×16大小的矩阵。
本发明的第二方面，提出了一种基于改进的条件生成对抗网络的绝缘子分割***，该***包括获取模块、输出模块；
所述获取模块，配置为获取包含绝缘子的图像，作为输入图像；
所述输出模块，配置为基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像；
所述绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建；所述生成器基于自编码器构建，其包括编码器和解码器；所述编码器包括非对称卷积层、最大池化层；所述解码器包括非对称卷积层、上采样层；所述绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于改进的条件生成对抗网络的绝缘子分割方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于改进的条件生成对抗网络的绝缘子分割方法。
本发明的有益效果：
本发明通过改进的条件生成对抗网络，提升了绝缘子的分割精度和效率。本发明通过构建包含非对称的卷积层的编码器、解码器，组成自编码器网络，将其作为改进的条件生成对抗网络cGAN的生成器，降低了绝缘子分割的计算量，提高分割效率。
同时本发明将条件生成对抗网络cGAN的判别器的输出改为16×16的矩阵，可以判别生成器输出的绝缘子分割图像各区域的分割结果，基于判别器输出的结果更新生成器(绝缘子分割模型)，相较于现有的判别器输出的0、1值，训练的绝缘子模型具有更高的精度，实现了在背景复杂、种类姿态多样的绝缘子图像中高质量的分割。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于改进的条件生成对抗网络的绝缘子分割方法的流程示意图；
图2是本发明一种实施例的基于改进的条件生成对抗网络的绝缘子分割***的框架示意图；
图3是本发明一种实施例的绝缘子模型的训练方法的流程示意图；
图4是本发明一种实施例的改进的条件生成对抗网络的示例图；
图5是本发明一种实施例的不同网络模型的检测结果对比的示例图；
图6是本发明一种实施例的本发明的检测结果的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于改进的条件生成对抗网络的绝缘子分割方法，如图1所示，包括以下步骤：
步骤S100，获取包含绝缘子的图像，作为输入图像；
步骤S200，基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像；
所述绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建；所述生成器基于自编码器构建，其包括编码器和解码器；所述编码器包括非对称卷积层、最大池化层；所述解码器包括非对称卷积层、上采样层；所述绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
为了更清晰地对本发明基于改进的条件生成对抗网络的绝缘子分割方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
下文优选实施例中，先对的绝缘子分割模型的训练方法进行详述，在对基于改进的条件生成对抗网络的绝缘子分割方法获取绝缘子分割图像进行详述。
1、绝缘子分割模型的训练方法
绝缘子分割模型，如图3所示，包括以下步骤：
步骤A100，获取包含绝缘子的图像，通过预设的图像增强方法构建样本集，所述样本集包括输入图像样本、及其中所包含的绝缘子的真实分割图像；将所述样本集拆分为训练样本集和测试样本集；
步骤A200，基于所述训练样本集中的输入图像样本通过绝缘子分割模型获取绝缘子分割图像；将其作为绝缘子生成分割图像；
步骤A300，根据所述绝缘子生成分割图像及对应训练样本的绝缘子真实分割图像，通过条件生成对抗网络cGAN的判别器得到所述绝缘子分割图像中各区域的分割结果，并获取绝缘子分割模型的损失值；
步骤A400，获取当前迭代次数，若所述损失值小于预设的训练损失值阈值或所述迭代次数大于预设的训练迭代次数，输出训练好的绝缘子分割模型，将其作为第一模型，跳转步骤A500；否则基于所述损失值，通过反向传播算法，更新所述绝缘子分割模型的参数，令迭代次数加1，跳转步骤A200；
步骤A500，通过所述第一模型获取所述测试样本集中所有输入图像样本的绝缘子分割图像，并将所述绝缘子分割图像和所述测试样本集中所包含的绝缘子的真实分割图像进行对比，获取mIoU评估值；
步骤A600，若所述mIoU评估值大于预设的评估值，将所述第一模型作为最终训练好的绝缘子分割模型，否则，跳转步骤A200。
下文针对以上的训练步骤进行详细展开，具体如下：
步骤A100，获取包含绝缘子的图像，通过预设的图像增强方法构建样本集，所述样本集包括输入图像样本、及其中所包含的绝缘子的真实分割图像；将所述样本集拆分为训练样本集和测试样本集。
步骤A101，获取包含绝缘子的图像，作为原始图像。
步骤A102，为了丰富样本，本发明对原始图像进行亮度处理和旋转处理。
亮度处理方法为：使用0.5至1.5倍于原始图片亮度的范围内随机选取两个值对原始图像亮度进行处理。
旋转处理：对原始图像每24°进行旋转一次，每张图像可得到15张增强图像。本发明优选的是每24°进行旋转一次，在其他优选实施例中，可以根据实际情况进行设置。
在本发明中，使用以上的图像增强方法，对350张绝缘子图像进行处理，得到6000张增强后的图像。
步骤A103，将增强后的图像缩放为256×256大小，并按照1.jpg到6000.jpg命名，并对样本集图像进行标注，得到绝缘子分割图，完成图像样本集的制作。
样本集包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
将样本集拆分为训练样本集和测试样本集，其中，5000张作为训练样本集，1000张作为测试样本集。
步骤A200，基于所述训练样本集中的输入图像样本通过绝缘子分割模型获取绝缘子分割图像；将其作为绝缘子生成分割图像。
在本实施例中，条件生成对抗网络cGAN基于生成器和判别器组成，如图4所示。绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建，生成器为自编码器，包括编码器和解码器，即编码部分和解码部分。将编码部分的采样索引进行保存，并将其传递给上采样层，从而降低信息损失。将绝缘子的真实分割图像及其对应的图像样本、生成器输出的绝缘子分割图像及其对应的输入图像样本，作为真、假图像对。基于真、假图像对中的生成器输出的绝缘子分割图像和绝缘子的真实分割图像，作为输入，通过判别器输出16×16的矩阵，矩阵的每一个元素代表对应的patch(区域)属于真还是假。
生成器中每一个编码器包含非对称卷积层和最大池化层。非对称卷积层由卷积函数、批量归一化函数、线性整流函数构成，即Conv+BN+ReLU的结构，可以加深网络复杂度的同时减少网络参数。解码器包含非对称卷积层、上采样层；解码器和编码器对称，采用反卷积函数、批量归一化函数、线性整流函数，即Conv+BN+ReLU的结构。如表1所示：
表1
表1中，Set为框架，包括Input(输入)、Encoder1-Encoder5(编码器)、Decoder1-Decoder5(解码器)，Layer name表示生成器中各层的命名，RGB image为输入图像，Conv表示卷积层，MP表示最大池化层，Deconv表示反卷积层、UP表示上采样层，Type of layers为层类型，fs为卷积核，window为窗口大小，Max-pooling为最大池化，UpSampling为上采样，Output size表示输出尺寸。
将所述训练样本集中的输入图像样本输入到生成器，输入图像样本的分辨率为256×256×3，获取绝缘子分割图像；将其作为绝缘子生成分割图像。
在对绝缘子分割模型进行训练时，对条件生成对抗网络cGAN的各个参数进行初始化，本发明将一次性送入训练模型的批量设为8，初始学习率设为0.0001，优化器参数为β1＝0.9，β2＝0.99，最大训练迭代次数设为50000。
步骤A300，根据所述绝缘子生成分割图像及对应训练样本的绝缘子真实分割图像，通过条件生成对抗网络cGAN的判别器得到所述绝缘子分割图像中各区域的分割结果，并获取绝缘子分割模型的损失值。
在本实施例中，条件生成对抗网络cGAN的判别器主要由五层编码器组成，即五层卷积层，第一层卷积层由卷积函数、Leaky ReLU函数构成；最后一层由卷积函数构成，其余三层卷积层由卷积函数、Leaky ReLU函数、批量归一化函数构成，即Conv+Leaky ReLU+BN，卷积核采用4×4，步长为2。如表2所示：
表2
表2中，RGB image and generated image为生成器的生成图像及对应训练样本的绝缘子真实分割图像。
判别器输入为生成器的生成图及对应训练样本的绝缘子真实分割图像，输出16×16大小的矩阵，矩阵的每一个元素代表对应的patch属于真还是假。
根据绝缘子生成分割图像及对应训练样本的绝缘子真实分割图像，通过条件生成对抗网络cGAN的判别器得到绝缘子分割图像中各区域的分割结果。让输入样本在网络中进行前馈传导，经过比较生成的分割图与真实分割图获得训练误差，根据当前网络参数值，经过生成器、判别器不断对读取的训练样本进行操作，直到网络输出生成器和判别器的训练损失值。
步骤A400，获取当前迭代次数，若所述损失值小于预设的训练损失值阈值或所述迭代次数大于预设的训练迭代次数，输出训练好的绝缘子分割模型，将其作为第一模型，跳转步骤A500；否则基于所述损失值，通过反向传播算法，更新所述绝缘子分割模型的参数，令迭代次数加1，跳转步骤A200。
在本实施例中，根据当前的迭代次数或者损失值阈值，来判断训练是否继续还是终止，若终止，则获取训练好的绝缘子分割模型，否则，基于损失值，通过反向传播，获取条件生成对抗网络cGAN的变化量，进行参数的更新，令迭代次数加1，跳转步骤A200。
步骤A500，通过所述第一模型获取所述测试样本集中所有输入图像样本的绝缘子分割图像，并将所述绝缘子分割图像和所述测试样本集中所包含的绝缘子的真实分割图像进行对比，获取mIoU评估值。
在本实施例中，基于步骤S400训练好的绝缘子分割模型，通过测试样本集对模型进行测试。即将测试样本集中的输入图像样本全部生成绝缘子分割图像，与测试样本集中所包含的绝缘子的真实分割图像进行对比，获得mIoU评估值，并统计平均的测试时间。
步骤A600，若所述mIoU评估值大于预设的评估值，将所述第一模型作为最终训练好的绝缘子分割模型，否则，跳转步骤A200。
一般来说，mIoU评估值越高，说明平均分割效果越好，所以获取的mIoU值若大于预设的评估值，则表示当前训练的模型效果较好，否则进行重新训练。
本发明为了评估改进的条件生成对抗网络的绝缘子分割效果，将本网络与其他经典网络模型相比较，实验结果如表3所示：
表3
其中，表3中Models表示实验使用的网络模型，Ours为本发明提取的改进的网络，即图5和6中的本网络，Pix2pix、SegNet、Unet、FCN为像素对像素模型、语义分割网络、深度学***均的测试时间，由表3可以看出，本发明中的分割的mIoU评估值最高，说明平均分割效果最好。与此同时，该网络所需参数最少，这很大程度上减少了网络复杂度，提高了分割效率。图5表示了最终的分割结果图。可以看出本发明的网络因为加入判别器，可以提高绝缘子的分割精度，在微小细节处也可以完成像素级分割。
为了验证本网络对不同尺度的绝缘子的分割能力，我们挑选背景较为复杂，背景物体远大于绝缘子大小的图像作为测试对象，做了绝缘子分割实验。如图6所示，即使背景非常复杂，物体大于绝缘子大小，但是本网络仍然可以准确的识别出绝缘子的位置，并将其高精度的分割。由此可以看出本网络解决了复杂环境下绝缘子检测较为困难的问题。
2、基于改进的条件生成对抗网络的绝缘子分割方法
步骤S100，获取包含绝缘子的图像，作为输入图像。
在本实施例中，基于实际获取的包含绝缘子的图像，作为输入图像。包含绝缘子的图像可以通过人工拍摄，也可以通过航拍或者其他途径获取。
步骤S200，基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像。
在本实施例中，基于获取的包含绝缘子的图像，通过训练好的绝缘子分割模型，获取绝缘子分割图像。
本发明第二实施例的一种基于改进的条件生成对抗网络的绝缘子分割***，如图2所示，包括：获取模块100、输出模块200；
所述获取模块100，配置为获取包含绝缘子的图像，作为输入图像；
所述输出模块200，配置为基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像；
所述绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建；所述生成器基于自编码器构建，其包括编码器和解码器；所述编码器包括非对称卷积层、最大池化层；所述解码器包括非对称卷积层、上采样层；所述绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于改进的条件生成对抗网络的绝缘子分割***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于改进的条件生成对抗网络的绝缘子分割方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于改进的条件生成对抗网络的绝缘子分割方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于改进的条件生成对抗网络的绝缘子分割方法，其特征在于，该方法包括以下步骤：
步骤S100，获取包含绝缘子的图像，作为输入图像；
步骤S200，基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像；
所述绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建；所述生成器基于自编码器构建，其包括编码器和解码器；所述编码器包括非对称卷积层、最大池化层；所述解码器包括非对称卷积层、上采样层；所述绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
2.根据权利要求1所述的基于改进的条件生成对抗网络的绝缘子分割方法，其特征在于，所述编码器的非对称卷积层由卷积函数、批量归一化函数、线性整流函数构成；所述解码器的非对称卷积层由反卷积函数、批量归一化函数、线性整流函数构成。
3.根据权利要求1所述的基于改进的条件生成对抗网络的绝缘子分割方法，其特征在于，所述绝缘子分割模型，其训练方法为：
步骤A100，获取包含绝缘子的图像，通过预设的图像增强方法构建样本集，所述样本集包括输入图像样本、及其中所包含的绝缘子的真实分割图像；将所述样本集拆分为训练样本集和测试样本集；
步骤A200，基于所述训练样本集中的输入图像样本通过绝缘子分割模型获取绝缘子分割图像；将其作为绝缘子生成分割图像；
步骤A300，根据所述绝缘子生成分割图像及对应训练样本的绝缘子真实分割图像，通过条件生成对抗网络cGAN的判别器得到所述绝缘子分割图像中各区域的分割结果，并获取绝缘子分割模型的损失值；
步骤A400，获取当前迭代次数，若所述损失值小于预设的训练损失值阈值或所述迭代次数大于预设的训练迭代次数，输出训练好的绝缘子分割模型，将其作为第一模型，跳转步骤A500；否则基于所述损失值，通过反向传播算法，更新所述绝缘子分割模型的参数，令迭代次数加1，跳转步骤A200；
步骤A500，通过所述第一模型获取所述测试样本集中所有输入图像样本的绝缘子分割图像，并将所述绝缘子分割图像和所述测试样本集中所包含的绝缘子的真实分割图像进行对比，获取mIoU评估值；
步骤A600，若所述mIoU评估值大于预设的评估值，将所述第一模型作为最终训练好的绝缘子分割模型，否则，跳转步骤A200。
4.根据权利要求3所述的基于改进的条件生成对抗网络的绝缘子分割方法，其特征在于，步骤A100中“通过预设的图像增强方法构建样本集”，其方法为：
获取包含绝缘子的图像，作为预处理图像样本；
基于预设的亮度倍数集合，随机选取亮度倍数对所述预处理图像样本进行亮度处理，得到亮度处理图像样本；
对所述预处理图像样本进行旋转，得到多张旋转处理图像样本；
将所述亮度处理图像样本和所述旋转处理图像样本缩放至预设尺寸；基于缩放后的图像，构建样本集。
5.根据权利要求3所述的基于改进的条件生成对抗网络的绝缘子分割方法，其特征在于，所述条件生成对抗网络cGAN的判别器由五层卷积层组成；第一层卷积层由卷积函数、Leaky ReLU函数构成，最后一层由卷积函数构成，其余三层卷积层由卷积函数、Leaky ReLU函数、批量归一化函数构成。
6.根据权利要求5所述的基于改进的条件生成对抗网络的绝缘子分割方法，其特征在于，所述条件生成对抗网络cGAN的判别器其输出为16×16大小的矩阵。
7.一种基于改进的条件生成对抗网络的绝缘子分割***，其特征在于，该***包括获取模块、输出模块；
所述获取模块，配置为获取包含绝缘子的图像，作为输入图像；
所述输出模块，配置为基于所述输入图像，通过绝缘子分割模型获取绝缘子分割图像；
所述绝缘子分割模型基于条件生成对抗网络cGAN的生成器构建；所述生成器基于自编码器构建，其包括编码器和解码器；所述编码器包括非对称卷积层、最大池化层；所述解码器包括非对称卷积层、上采样层；所述绝缘子分割模型的训练样本包括输入图像样本、及其中所包含的绝缘子的真实分割图像。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-6任一项所述的基于改进的条件生成对抗网络的绝缘子分割方法。
9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于改进的条件生成对抗网络的绝缘子分割方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911066870.8A CN110827297A (zh) | 2019-11-04 | 2019-11-04 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
| PCT/CN2019/117494 WO2021088101A1 (zh) | 2019-11-04 | 2019-11-12 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911066870.8A CN110827297A (zh) | 2019-11-04 | 2019-11-04 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827297A true CN110827297A (zh) | 2020-02-21 |
Family
ID=69552793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911066870.8A Pending CN110827297A (zh) | 2019-11-04 | 2019-11-04 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110827297A (zh) |
| WO (1) | WO2021088101A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN112085162A (zh) * | 2020-08-12 | 2020-12-15 | 北京师范大学 | 基于神经网络的磁共振脑组织分割方法、装置、计算设备及存储介质 |
| CN112733756A (zh) * | 2021-01-15 | 2021-04-30 | 成都大学 | 一种基于w散度对抗网络的遥感图像语义分割方法 |
| CN112927220A (zh) * | 2021-03-25 | 2021-06-08 | 郑州大学 | 基于对抗学习的绝缘子故障检测方法、装置及终端设备 |
| CN113762120A (zh) * | 2021-08-27 | 2021-12-07 | 南京南瑞信息通信科技有限公司 | 绝缘子图像分割方法、装置、电子设备及存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113627073B (zh) * | 2021-07-01 | 2023-09-19 | 武汉大学 | 一种基于改进的Unet++网络的水下航行器流场结果预测方法 |
| CN113534837B (zh) * | 2021-07-06 | 2024-03-22 | 深圳市科卫泰实业发展有限公司 | 基于生成对抗网络的无人机飞行状态融合控制***及控制方法 |
| CN117315354B (zh) * | 2023-09-27 | 2024-04-02 | 南京航空航天大学 | 基于多判别器复合编码gan网络的绝缘子异常检测方法 |
| CN117914656B (zh) * | 2024-03-13 | 2024-05-10 | 北京航空航天大学 | 一种基于神经网络的端到端通信***设计方法 |
| CN118333862A (zh) * | 2024-06-13 | 2024-07-12 | 之江实验室 | 一种卫星降水遥感图像时空超分辨率重建方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| CN108961235A (zh) * | 2018-06-29 | 2018-12-07 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
| CN109166126A (zh) * | 2018-08-13 | 2019-01-08 | 苏州比格威医疗科技有限公司 | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| US20190252073A1 (en) * | 2018-02-12 | 2019-08-15 | Ai.Skopy, Inc. | System and method for diagnosing gastrointestinal neoplasm |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106960178B (zh) * | 2017-02-23 | 2020-02-07 | 中国科学院自动化研究所 | 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法 |
| CN108520503B (zh) * | 2018-04-13 | 2020-12-22 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
| CN109753929B (zh) * | 2019-01-03 | 2022-10-28 | 华东交通大学 | 一种高铁绝缘子巡检图像识别方法 |
| US10387753B1 (en) * | 2019-01-23 | 2019-08-20 | StradVision, Inc. | Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same |
| CN110222837A (zh) * | 2019-04-28 | 2019-09-10 | 天津大学 | 一种基于CycleGAN的图片训练的网络结构ArcGAN及方法 |
| CN110223304B (zh) * | 2019-05-20 | 2023-01-24 | 山东大学 | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 |
-
2019
- 2019-11-04 CN CN201911066870.8A patent/CN110827297A/zh active Pending
- 2019-11-12 WO PCT/CN2019/117494 patent/WO2021088101A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| US20190252073A1 (en) * | 2018-02-12 | 2019-08-15 | Ai.Skopy, Inc. | System and method for diagnosing gastrointestinal neoplasm |
| CN108961235A (zh) * | 2018-06-29 | 2018-12-07 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
| CN109166126A (zh) * | 2018-08-13 | 2019-01-08 | 苏州比格威医疗科技有限公司 | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋芸 等: "基于条件生成对抗网络的咬翼片图像分割", 《计算机工程》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN111429464B (zh) * | 2020-03-11 | 2023-04-25 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN112085162A (zh) * | 2020-08-12 | 2020-12-15 | 北京师范大学 | 基于神经网络的磁共振脑组织分割方法、装置、计算设备及存储介质 |
| CN112085162B (zh) * | 2020-08-12 | 2024-02-09 | 北京师范大学 | 基于神经网络的磁共振脑组织分割方法、装置、计算设备及存储介质 |
| CN112733756A (zh) * | 2021-01-15 | 2021-04-30 | 成都大学 | 一种基于w散度对抗网络的遥感图像语义分割方法 |
| CN112927220A (zh) * | 2021-03-25 | 2021-06-08 | 郑州大学 | 基于对抗学习的绝缘子故障检测方法、装置及终端设备 |
| CN113762120A (zh) * | 2021-08-27 | 2021-12-07 | 南京南瑞信息通信科技有限公司 | 绝缘子图像分割方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021088101A1 (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827297A (zh) | 基于改进的条件生成对抗网络的绝缘子分割方法 | |
| CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| CN108664981B (zh) | 显著图像提取方法及装置 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN112581462A (zh) | 工业产品的外观缺陷检测方法、装置及存储介质 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN114842180B (zh) | 一种点云补全方法、装置、设备及介质 | |
| CN114742985A (zh) | 一种高光谱特征提取方法、装置及存储介质 | |
| CN115187530A (zh) | 超声自动乳腺全容积图像的识别方法、装置、终端及介质 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、***及存储介质 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN113487550B (zh) | 一种基于改进激活函数的目标检测方法及装置 | |
| CN113538387B (zh) | 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 | |
| CN112200275B (zh) | 人工神经网络的量化方法及装置 | |
| CN112800952B (zh) | 一种基于改进ssd算法的海洋生物识别方法及*** | |
| CN113762120A (zh) | 绝缘子图像分割方法、装置、电子设备及存储介质 | |
| CN113920311A (zh) | 一种基于边缘辅助信息的遥感图像分割方法及*** | |
| CN118155270B (zh) | 模型训练方法、人脸识别方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |