CN113361443A - 一种输电线路图像样本对抗学习增广方法及*** - Google Patents

一种输电线路图像样本对抗学习增广方法及*** Download PDF

Info

Publication number
CN113361443A
CN113361443A CN202110687728.6A CN202110687728A CN113361443A CN 113361443 A CN113361443 A CN 113361443A CN 202110687728 A CN202110687728 A CN 202110687728A CN 113361443 A CN113361443 A CN 113361443A
Authority
CN
China
Prior art keywords
images
image
image sample
module
transmission line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110687728.6A
Other languages
English (en)
Inventor
何勇
原瀚杰
陈亮
王一名
董承熙
李翔天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110687728.6A priority Critical patent/CN113361443A/zh
Publication of CN113361443A publication Critical patent/CN113361443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种输电线路图像样本对抗学习增广方法及***，通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。

Description

一种输电线路图像样本对抗学习增广方法及***
技术领域
本申请涉及输电线路巡检技术领域，尤其涉及一种输电线路图像样本对抗学习增广方法及***。
背景技术
随着科技的不断革新与进步，无人机器人被广泛应用到各个领域中，在危险作业中，逐渐取代作业人员。尤其是在输电线路巡检领域中，基于输电线路的覆盖面广的特点，作业人员很难快速的对输电线路进行巡检，就充分发挥了无人机器人例如无人机在输电线路巡检中的作用，通过无人机能够快速的对输电线路进行巡检。
而无人机在对输电线路进行巡检时，需要准确的识别出检测目标，在现有技术中，通常对无人机的神经网络进行训练，使无人机能够准确的识别出输电线路中的检测目标。而对无人机的神经网络进行训练时，就需要较多的图像样本，但目前采用拍照采集的方式获取图像样本的方法不仅耗时耗力，而且，图像中的特征也较少。
发明内容
本申请提供了一种输电线路图像样本对抗学习增广方法及***，用于解决现有技术获取图像样本耗时耗力且特征较少的技术问题。
有鉴于此，本申请第一方面提供了一种输电线路图像样本对抗学习增广方法，包括以下步骤：
获取输电线路的巡检视频，所述巡检视频包含检测目标；
将所述影像视频解帧处理，获得多个解帧图像；
提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像；
将所述原始图像进行分组，从而得到多组所述原始图像；
根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
基于对抗网络构建数据生成模型，通过所述数据生成模型对所述图像样本集进行增广处理，得出增广图像样本集。
优选地，所述提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像的步骤具体包括：
基于python软件中的gdal模块对所述多个解帧图像进行切割，从而得到多个切割图像；
基于labelme软件标注所述多个切割图像中包含有所述检测目标的切割图像，将标注有所述检测目标的局部位置的切割图像作为所述原始图像。
优选地，所述根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集的步骤具体包括：
基于图像处渲染技术向多组所述原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
优选地，所述根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集的步骤之后包括：
对所述图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90°旋转、180°旋转、270°旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
优选地，所述对抗网络包括生成器和判别器；所述生成器用于将所述图像样本集生成扩展图像样本；所述判别器用于根据所述扩展图像样本生成相应的真实高质量图像样本。
优选地，所述生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层，其中，所述第六转置卷积层包括有第六卷积子层和第六激活子层，所述第六卷积子层的卷积核大小为1，其步长为1，所述第六激活子层为Tanh激活子层。
第二方面，本发明还提供了一种输电线路图像样本对抗学习增广***，包括：
获取模块，用于获取输电线路的巡检视频，所述巡检视频包含检测目标；
解帧模块，用于将所述影像视频解帧处理，获得多个解帧图像；
提取模块，用于提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像；
分组模块，用于将所述原始图像进行分组，从而得到多组所述原始图像；
环境添加模块，用于根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
增广模块，用于基于对抗网络构建数据生成模型，还用于通过所述数据生成模型对所述图像样本集进行增广处理，得出增广图像样本集。
优选地，所述提取模块具体包括切割子模块和标注子模块；
所述切割子模块，用于基于python软件中的gdal模块对所述多个解帧图像进行切割，从而得到多个切割图像；
所述标注子模块，用于基于labelme软件标注所述多个切割图像中包含有所述检测目标的切割图像，将标注有所述检测目标的局部位置的切割图像作为所述原始图像。
优选地，所述环境添加模块具体用于基于图像处渲染技术向多组所述原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
优选地，本***还包括变形模块，用于对所述图像样本集中的图像进行变形处理。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。
附图说明
图1为本申请实施例提供的一种输电线路图像样本对抗学习增广方法的流程图；
图2为本申请实施例提供的生成器的网络结构图；
图3为本申请实施例提供的一种输电线路图像样本对抗学习增广***的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种输电线路图像样本对抗学习增广方法，包括以下步骤：
S1、获取输电线路的巡检视频，巡检视频包含检测目标；
S2、将影像视频解帧处理，获得多个解帧图像；
S3、提取多个解帧图像中包含有检测目标的局部位置的图像以作为原始图像；
S4、将原始图像进行分组，从而得到多组原始图像；
S5、根据预设的环境添加规则向多组原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
需要说明的是，工作人员可以根据工作需求或应用场景预先设定环境添加规则，如阴天、晴天、雨天、雪天、雾天天气环境下，则需要向多组原始图像分别添加相应的环境条件。
S6、基于对抗网络构建数据生成模型，通过数据生成模型对图像样本集进行增广处理，得出增广图像样本集。
本发明通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。
以下为本发明提供的输电线路图像样本对抗学习增广方法的详细描述。
本发明提供的一种输电线路图像样本对抗学习增广方法，包括以下步骤：
S100、获取输电线路的巡检视频，巡检视频包含检测目标；
需要说明的是，输电线路由线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等装置构成，将上述装置作为检测目标。
其获取视频可以通过摄像机、摄像头、手机、数码相机等摄像设备获取包含检测目标的巡检视频，在一般示例中，将摄像设备设置在无人机上，设定无人机的飞行路线或工作人员操控无人机，使无人机沿输电线路飞行，在阴天天气光线均匀的环境下录制具有检测目标的影像视频。在阴天天气光线均匀的环境下录制视频，能够便于后续对图像的处理，便于向图像上施加环境条件。
S200、将影像视频解帧处理，获得多个解帧图像；
具体地，假如巡检视频的时长为300秒，视频的帧率为10帧/秒，即可将300秒的巡检视频解帧为3000张解帧图像。
S300、提取多个解帧图像中包含有检测目标的局部位置的图像以作为原始图像；
具体地，步骤S300包括：
S301、基于python软件中的gdal模块对多个解帧图像进行切割，从而得到多个切割图像；
其中，python软件也即语言编程软件，其中，gdal模块即开放源代码的栅格空间数据处理包，其是python软件中的图像功能接口，能够实现图像批量处理。
在本实施例中，使用python软件中的gdal模块对解帧图像进行无缝切割，将3000张解帧图像切割为15000张尺寸一致的切割图像，切割图像的大小为解帧图像的1/10-1/5。
S302、基于labelme软件标注多个切割图像中包含有检测目标的切割图像，将标注有检测目标的局部位置的切割图像作为原始图像。
其中，labelme软件也即数据标注软件。
在本实施例中，在15000张切割图像中，有5000张切割图像中包括有检测目标的局部位置，则将该5000张切割图像作为原始图像。
其中，包含有整体检测目标或局部检测目标即为检测目标的局部位置。
S400、将原始图像进行分组，从而得到多组原始图像；
在本实施例中，将原始图像5000张原始图像均分为5组，分别为第一组图像、第二组图像、第三组图像、第四组图像、第五组图像，每组包括有1000张原始图像。
S500、向多组原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
具体地，基于图像处渲染技术向多组原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
在本实施例中，第一组图像不进行处理，即模拟为在阴天天气光线均匀的环境下获取的图像；对第二组图像进行处理，增加第二组图像的亮度，将第二组图像模拟为在晴朗天气光线较亮的环境下获取的图像；对第三组图像进行处理，向第三组图像中添加细小的透明圆点，将第三组图像模拟为在雨天天气的环境下获取的图像；对第四组图像进行处理，向第四组图像中添加细小的白色圆点，将第四组图像模拟为在下雪天气的环境下获取的图像；对第五组图像进行处理，对第五组图像进行渲染，获取雾化的效果，将第五组图像模拟为在雾天天气的环境下获取的图像。
由第一组图像、处理后的第二组图像、处理后的第三组图像、处理后的第四组图像和处理后的第五组图像组成具有不同的环境条件的图像样本集。即5000张包括有阴天、晴天、雨天、雪天、雾天天气下获取的附加环境图像。从而提高附加环境图像的天气覆盖范围，能够增加图像样本的特征量，获取更加准确的训练结果。
S600、对图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90°旋转、180°旋转、270°旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
在本实施例中，对5000张附加环境图像进行变形，由此，即可获得50000张附加环境和变形的图像，进而能够增加图像样本的特征量，提供样本多样性，获取更加准确的训练结果。
S700、基于对抗网络构建数据生成模型，通过数据生成模型对图像样本集进行增广处理，得出增广图像样本集。
其中，对抗网络包括生成器和判别器；生成器用于将图像样本集生成扩展图像样本；判别器用于根据扩展图像样本生成相应的真实高质量图像样本。
进一步地，如图2所示，生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层。
进一步地，第一全连接层包括依次连接的第一连接子层、第一标准化子层、第一激活子层，第一激活子层为ReLU激活层。
其中，ReLU全称为Rectified Linear Units，也即修正线性单元。
进一步地，第一转置卷积层、第二转置卷积层、第三转置卷积层、第四转置卷积层和第五转置卷积层均包括依次连接的第二卷积子层、第二标准化子层、第二激活子层，第二激活子层为ReLU激活层。
进一步地，第六转置卷积层包括有第六卷积子层和第六激活子层，第六卷积子层的卷积核大小为1，其步长为1，第六激活子层为Tanh激活子层。
在本实施例中，图像样本集输入到第一全连接层，由第一全连接层对图像样本的维度进行扩展，然后输入到第一转置卷积层，通过第一转置卷积层处理后转化为特征矩阵，然后使用第一残差块、第二残差块进行处理，以此来提高生成器的表征能力，与后续的卷积层和残差块结合，以渐进的方式扩展图像样本的分辨率，避免图像样本中信息的丢失和学习到错误的特征。经过多个转置卷积层和残差块后，由最后的卷积核大小为1，步长为1的卷积层输出扩展后的图像样本，最后的卷积层减少上述处理过程中产生的重叠，从而提高图像的质量，最后输出扩展图像样本。
生成器输出的扩展图像样本输入到判别器中，通过判别器中的卷积层提取特征信息、残差块加深网络深度，从而生成相应的真实高质量图像样本，提高图像的质量。
以上为本发明提供的一种输电线路图像样本对抗学习增广方法的实施例的详细描述，以下为本发明提供的一种输电线路图像样本对抗学习增广***的实施例的详细描述。
为了方便理解，请参阅图3，本发明提供的一种输电线路图像样本对抗学习增广***，包括：
获取模块10，用于获取输电线路的巡检视频，巡检视频包含检测目标；
需要说明的是，输电线路由线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等装置构成，将上述装置作为检测目标。
其获取视频可以通过摄像机、摄像头、手机、数码相机等摄像设备获取包含检测目标的巡检视频，在一般示例中，将摄像设备设置在无人机上，设定无人机的飞行路线或工作人员操控无人机，使无人机沿输电线路飞行，在阴天天气光线均匀的环境下录制具有检测目标的影像视频。在阴天天气光线均匀的环境下录制视频，能够便于后续对图像的处理，便于向图像上施加环境条件。
解帧模块20，用于将影像视频解帧处理，获得多个解帧图像；
提取模块30，用于提取多个解帧图像中包含有检测目标的局部位置的图像以作为原始图像；
分组模块40，用于将原始图像进行分组，从而得到多组原始图像；
在本实施例中，将原始图像5000张原始图像均分为5组，分别为第一组图像、第二组图像、第三组图像、第四组图像、第五组图像，每组包括有1000张原始图像。
环境添加模块50，用于根据预设的环境添加规则向多组原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
需要说明的是，工作人员可以根据工作需求或应用场景预先设定环境添加规则，如阴天、晴天、雨天、雪天、雾天天气环境下，则需要向多组原始图像分别添加相应的环境条件。
增广模块60，用于基于对抗网络构建数据生成模型，还用于通过数据生成模型对图像样本集进行增广处理，得出增广图像样本集。
其中，对抗网络包括生成器和判别器；生成器用于将图像样本集生成扩展图像样本；判别器用于根据扩展图像样本生成相应的真实高质量图像样本。
生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层。
进一步地，第一全连接层包括依次连接的第一连接子层、第一标准化子层、第一激活子层，第一激活子层为ReLU激活层。
进一步地，第一转置卷积层、第二转置卷积层、第三转置卷积层、第四转置卷积层和第五转置卷积层均包括依次连接的第二卷积子层、第二标准化子层、第二激活子层，第二激活子层为ReLU激活层。
进一步地，第六转置卷积层包括有第六卷积子层和第六激活子层，第六卷积子层的卷积核大小为1，其步长为1，第六激活子层为Tanh激活子层。
在本实施例中，图像样本集输入到第一全连接层，由第一全连接层对图像样本的维度进行扩展，然后输入到第一转置卷积层，通过第一转置卷积层处理后转化为特征矩阵，然后使用第一残差块、第二残差块进行处理，以此来提高生成器的表征能力，与后续的卷积层和残差块结合，以渐进的方式扩展图像样本的分辨率，避免图像样本中信息的丢失和学习到错误的特征。经过多个转置卷积层和残差块后，由最后的卷积核大小为1，步长为1的卷积层输出扩展后的图像样本，最后的卷积层减少上述处理过程中产生的重叠，从而提高图像的质量，最后输出扩展图像样本。
生成器输出的扩展图像样本输入到判别器中，通过判别器中的卷积层提取特征信息、残差块加深网络深度，从而生成相应的真实高质量图像样本，提高图像的质量。
本发明通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。
进一步地，提取模块具体包括切割子模块和标注子模块；
切割子模块，用于基于python软件中的gdal模块对多个解帧图像进行切割，从而得到多个切割图像；
标注子模块，用于基于labelme软件标注多个切割图像中包含有检测目标的切割图像，将标注有检测目标的局部位置的切割图像作为原始图像。
进一步地，环境添加模块具体用于基于图像处渲染技术向多组原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
在本实施例中，第一组图像不进行处理，即模拟为在阴天天气光线均匀的环境下获取的图像；对第二组图像进行处理，增加第二组图像的亮度，将第二组图像模拟为在晴朗天气光线较亮的环境下获取的图像；对第三组图像进行处理，向第三组图像中添加细小的透明圆点，将第三组图像模拟为在雨天天气的环境下获取的图像；对第四组图像进行处理，向第四组图像中添加细小的白色圆点，将第四组图像模拟为在下雪天气的环境下获取的图像；对第五组图像进行处理，对第五组图像进行渲染，获取雾化的效果，将第五组图像模拟为在雾天天气的环境下获取的图像。
由第一组图像、处理后的第二组图像、处理后的第三组图像、处理后的第四组图像和处理后的第五组图像组成具有不同的环境条件的图像样本集。即5000张包括有阴天、晴天、雨天、雪天、雾天天气下获取的附加环境图像。从而提高附加环境图像的天气覆盖范围，能够增加图像样本的特征量，获取更加准确的训练结果。
进一步地，还包括变形模块，用于对图像样本集中的图像进行变形处理。
在本实施例中，对图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90°旋转、180°旋转、270°旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
在本实施例中，对5000张附加环境图像进行变形，由此，即可获得50000张附加环境和变形的图像，进而能够增加图像样本的特征量，提供样本多样性，获取更加准确的训练结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种输电线路图像样本对抗学习增广方法，其特征在于，包括以下步骤：
获取输电线路的巡检视频，所述巡检视频包含检测目标；
将所述影像视频解帧处理，获得多个解帧图像；
提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像；
将所述原始图像进行分组，从而得到多组所述原始图像；
根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
基于对抗网络构建数据生成模型，通过所述数据生成模型对所述图像样本集进行增广处理，得出增广图像样本集。
2.根据权利要求1所述的输电线路图像样本对抗学习增广方法，其特征在于，所述提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像的步骤具体包括：
基于python软件中的gdal模块对所述多个解帧图像进行切割，从而得到多个切割图像；
基于labelme软件标注所述多个切割图像中包含有所述检测目标的切割图像，将标注有所述检测目标的局部位置的切割图像作为所述原始图像。
3.根据权利要求1所述的输电线路图像样本对抗学习增广方法，其特征在于，所述根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集的步骤具体包括：
基于图像处渲染技术向多组所述原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
4.根据权利要求1所述的输电线路图像样本对抗学习增广方法，其特征在于，所述根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集的步骤之后包括：
对所述图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90°旋转、180°旋转、270°旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
5.根据权利要求1所述的输电线路图像样本对抗学习增广方法，其特征在于，所述对抗网络包括生成器和判别器；所述生成器用于将所述图像样本集生成扩展图像样本；所述判别器用于根据所述扩展图像样本生成相应的真实高质量图像样本。
6.根据权利要求5所述的输电线路图像样本对抗学习增广方法，其特征在于，所述生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层，其中，所述第六转置卷积层包括有第六卷积子层和第六激活子层，所述第六卷积子层的卷积核大小为1，其步长为1，所述第六激活子层为Tanh激活子层。
7.一种输电线路图像样本对抗学习增广***，其特征在于，包括：
获取模块，用于获取输电线路的巡检视频，所述巡检视频包含检测目标；
解帧模块，用于将所述影像视频解帧处理，获得多个解帧图像；
提取模块，用于提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像；
分组模块，用于将所述原始图像进行分组，从而得到多组所述原始图像；
环境添加模块，用于根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
增广模块，用于基于对抗网络构建数据生成模型，还用于通过所述数据生成模型对所述图像样本集进行增广处理，得出增广图像样本集。
8.根据权利要求7所述的输电线路图像样本对抗学习增广***，其特征在于，所述提取模块具体包括切割子模块和标注子模块；
所述切割子模块，用于基于python软件中的gdal模块对所述多个解帧图像进行切割，从而得到多个切割图像；
所述标注子模块，用于基于labelme软件标注所述多个切割图像中包含有所述检测目标的切割图像，将标注有所述检测目标的局部位置的切割图像作为所述原始图像。
9.根据权利要求7所述的输电线路图像样本对抗学习增广***，其特征在于，所述环境添加模块具体用于基于图像处渲染技术向多组所述原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
10.根据权利要求7所述的输电线路图像样本对抗学习增广***，其特征在于，还包括变形模块，用于对所述图像样本集中的图像进行变形处理。
CN202110687728.6A 2021-06-21 2021-06-21 一种输电线路图像样本对抗学习增广方法及*** Pending CN113361443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110687728.6A CN113361443A (zh) 2021-06-21 2021-06-21 一种输电线路图像样本对抗学习增广方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110687728.6A CN113361443A (zh) 2021-06-21 2021-06-21 一种输电线路图像样本对抗学习增广方法及***

Publications (1)

Publication Number Publication Date
CN113361443A true CN113361443A (zh) 2021-09-07

Family

ID=77535425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110687728.6A Pending CN113361443A (zh) 2021-06-21 2021-06-21 一种输电线路图像样本对抗学习增广方法及***

Country Status (1)

Country Link
CN (1) CN113361443A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414362A (zh) * 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
CN110706308A (zh) * 2019-09-07 2020-01-17 创新奇智(成都)科技有限公司 一种基于gan的钢卷端面边损人造样本生成方法
CN110717863A (zh) * 2019-08-16 2020-01-21 天津大学 一种基于生成对抗网络的单图像去雪方法
CN111126446A (zh) * 2019-11-29 2020-05-08 西安工程大学 一种机器人视觉工业产品缺陷图像数据增广方法
CN111325236A (zh) * 2020-01-21 2020-06-23 南京大学 一种基于卷积神经网络的超声图像分类方法
CN111950424A (zh) * 2020-08-06 2020-11-17 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机及可读存储介质
CN111967393A (zh) * 2020-08-18 2020-11-20 杭州师范大学 一种基于改进YOLOv4的安全帽佩戴检测方法
CN112669264A (zh) * 2020-12-17 2021-04-16 国网山西省电力公司运城供电公司 配网线路无人机巡检的人工智能缺陷识别方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414362A (zh) * 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
CN110717863A (zh) * 2019-08-16 2020-01-21 天津大学 一种基于生成对抗网络的单图像去雪方法
CN110706308A (zh) * 2019-09-07 2020-01-17 创新奇智(成都)科技有限公司 一种基于gan的钢卷端面边损人造样本生成方法
CN111126446A (zh) * 2019-11-29 2020-05-08 西安工程大学 一种机器人视觉工业产品缺陷图像数据增广方法
CN111325236A (zh) * 2020-01-21 2020-06-23 南京大学 一种基于卷积神经网络的超声图像分类方法
CN111950424A (zh) * 2020-08-06 2020-11-17 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机及可读存储介质
CN111967393A (zh) * 2020-08-18 2020-11-20 杭州师范大学 一种基于改进YOLOv4的安全帽佩戴检测方法
CN112669264A (zh) * 2020-12-17 2021-04-16 国网山西省电力公司运城供电公司 配网线路无人机巡检的人工智能缺陷识别方法和***

Similar Documents

Publication Publication Date Title
Wu et al. Dcan: Dual channel-wise alignment networks for unsupervised scene adaptation
CN110033453B (zh) 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN108805979B (zh) 一种动态模型三维重建方法、装置、设备和存储介质
Zhang et al. FINet: An insulator dataset and detection benchmark based on synthetic fog and improved YOLOv5
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN109063748A (zh) 基于数据增强的目标检测方法
CN111241615A (zh) 一种高度真实感的变电站多源融合三维建模方法
CN113378744A (zh) 一种输电线路巡检目标识别方法及装置
CN114419444A (zh) 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法
CN113743515A (zh) 基于自监督自学习特征点的遥感影像特征匹配方法
CN113361443A (zh) 一种输电线路图像样本对抗学习增广方法及***
KR102567128B1 (ko) 개선된 적대적 어텐션 네트워크 시스템 및 이를 이용한 이미지 생성 방법
CN110599416B (zh) 一种基于空间目标图像数据库的非合作目标图像盲复原方法
CN116843589A (zh) 遥感图像的融合方法、装置、设备及存储介质
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
CN115661117A (zh) 一种接触网绝缘子可见光图像检测方法
CN111898671B (zh) 激光成像仪和彩色相机编码融合目标识别方法及***
Xing et al. Synthetic aerial dataset for UAV detection via text-to-image diffusion models
Pei et al. MWNet: Object detection network applicable for different weather conditions
CN113610838A (zh) 一种螺栓缺陷数据集扩充方法
CN113420823A (zh) 自然图像中天气状况翻译方法
CN114219870A (zh) 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***
CN111915533A (zh) 一种基于低动态范围的高精图像信息提取方法
CN111968067B (zh) 基于硅传感器相机的短波红外图像处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination