CN110133443A - 基于平行视觉的输电线路部件检测方法、***、装置 - Google Patents
基于平行视觉的输电线路部件检测方法、***、装置 Download PDFInfo
- Publication number
- CN110133443A CN110133443A CN201910468525.0A CN201910468525A CN110133443A CN 110133443 A CN110133443 A CN 110133443A CN 201910468525 A CN201910468525 A CN 201910468525A CN 110133443 A CN110133443 A CN 110133443A
- Authority
- CN
- China
- Prior art keywords
- transmission line
- component
- model
- image
- line part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 126
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000005611 electricity Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000033228 biological regulation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/08—Locating faults in cables, transmission lines, or networks
- G01R31/081—Locating faults in cables, transmission lines, or networks according to type of conductors
- G01R31/085—Locating faults in cables, transmission lines, or networks according to type of conductors in power transmission or distribution lines, e.g. overhead
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/08—Locating faults in cables, transmission lines, or networks
- G01R31/088—Aspects of digital computing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于电力***管理与检测领域，具体涉及了一种基于平行视觉的输电线路部件检测方法、***、装置，旨在解决数据获取成本高、模型性能受限且不能及时调整更新的问题。本发明方法包括：获取输电线路各部件视频图像；通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别；输出部件边界框大小、位置以及部件所属类别。本发明一方面通过建立虚实结合的场景，扩展了输电线路各部件的训练和测试样本，降低了数据获取的成本，提高了模型的性能；另一方面通过在线学习的方法，不断利用新的数据更新模型达到更好的检测效果。
Description
技术领域
本发明属于电力***运行管理与检测领域，具体涉及了一种基于平行视觉的输电线路部件检测方法、***、装置。
背景技术
中国地域辽阔，对电力***正常运转有很高的要求，保证输电线路的正常运行关乎亿万国人的生活工作。输电线路电力传输距离长，高压输电线路应用广泛，要求电力检修人员保证输电线路在工作中的正常使用，但是由于外界关键复杂多变，自然的破坏和输电线路各个部分自身可能也存在的材料问题导致输电线路故障。因此，对输电线路进行及时的检修非常重要，过去常常进行人工输电线路检修，一方面受限于人力资源和工作人员安全的限制，一方面又无法满足及时的甚至是在线的检验输电线路状态。
现阶段计算机视觉的核心是依赖大规模的带标签的图像数据集进行视觉模型的学***行视觉建立在实际场景与人工场景之上，是一种虚实互动的智能视觉计算方法。通过构建色彩逼真的人工场景,模拟实际场景中可能出现的环境条件,并且自动得到精确的标注信息.结合大规模的人工场景数据集和适当规模的实际场景数据集,能够训练出更有效的机器学习和视觉计算模型.利用人工场景,能够进行各种计算实验,全面评价视觉算法在复杂环境下的有效性,或者优化设置模型的自由参数[3]。
以下文献是与本发明相关的技术背景资料：
[1]杨晓旭,温招洋.深度学习在输电线路绝缘子故障检测中的研究与应用[J].中国新通信,2018(10).
[2]张骥,余娟,汪金礼,et al.基于深度学习的输电线路外破图像识别技术[J].计算机***应用,27(8).
[3]Xing Y,Lv C,Chen L,et al.Advances in Vision-Based Lane Detection:Algorithms,Integration,Assessment,and Perspectives on ACP-Based ParallelVision[J].IEEE/CAA Journal of Automatica Sinica,2018,5(3):645-661.
发明内容
为了解决现有技术中的上述问题，即数据获取成本高、模型性能受限且不能及时调整更新的问题，本发明提供了一种基于平行视觉的输电线路部件检测方法，包括：
步骤S10，获取输电线路各部件视频图像作为待检测数据；
步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；
步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果；
其中，所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：
步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息；
步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数；
步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。
在一些优选的实施例中，所述虚拟图像子集，其获取方法为：
步骤T10，构建三维仿真环境，创建需要检测的输电线路部件的模型；
步骤T20，基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真，并构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息，作为部件虚拟图像子集。
在一些优选的实施例中，步骤T20中“基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真”，其方法为：
基于三维仿真环境，进行真实场景的环境要素仿真，复现环境因素，使虚拟场景与真实场景的相似度大于预设值。
在一些优选的实施例中，步骤T20中“构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息”，其方法为：
构建虚拟摄像装置，基于三维转二维接口，模仿真实场景中摄像装置对各部件的图像采集，采用虚拟摄像装置进行虚拟场景中各部件图像的采集，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息。
在一些优选的实施例中，所述真实场景图像子集，其获取方法为：
采用无人机和/或人工巡检的方法采集真实场景中各部件的图像，作为真实场景图像子集。
在一些优选的实施例中，所述人工标注信息，包括：
图像对应的目标部件边界框大小、位置以及部件所属类别、状态信息。
在一些优选的实施例中，步骤B30中“获得训练好的目标检测模型”之后还设置有在线模型更新的步骤，其方法为：
步骤G10，在预设的时间点，通过测试集对模型进行评估测试，判断模型性能是否下降；
步骤G20，当步骤G10判断结果为“否”时，结束；当判断结果为“是”时，在模型的网络之后增加预设数量的层级，计算获取的模型更新图像集的拟合程度，并通过深度神经网络的容量自适应特性提升模型的性能。
本发明的另一方面，提出了一种基于平行视觉的输电线路部件检测***，包括输入模块、目标检测模块、输出模块；
所述输入模块，配置为获取输电线路各部件视频图像作为待检测数据并输入；
所述目标检测模块，配置为对待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；
所述输出模块，配置为将获取的部件边界框大小、位置以及部件所属类别、状态信息输出。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于平行视觉的输电线路部件检测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于平行视觉的输电线路部件检测方法。
本发明的有益效果：
(1)本发明基于平行视觉的输电线路部件检测方法，基于平行视觉理论，一方面通过创建输电线路3D仿真场景，为输电线路检测提供源源不断的人工训练数据，相较于巨大的人工标注成本，有效降低了人工标注成本，大大提高数据库创建效率；另一方面人工输电线路场景能够根据输电线路和关键部件实际变更进行调整，保证检测模型的拟合效果及其泛化能力；第三方面提供一种集深度学***台，有效提升和保证深度网络模型在输电线路检测中的性能，实现多目标的输电线路部件检测，同时还可以不断进行部件检测范围的更新与扩展。
(2)本发明基于平行视觉的输电线路部件检测方法，采用定位三维场景各部件坐标信息的方法获取带标注图像数据集，对特定部件研究的数据集的采集和创建有重要实际意义。
(3)本发明基于平行视觉的输电线路部件检测方法，基于国家标准规范创建部件模型，搭建输电线路场景并能够同步于国家相关标准规程规范进行模型库的调整和场景更新，使得人工场景更贴近于真实。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于平行视觉的输电线路部件检测方法的技术流程示意图；
图2是本发明基于平行视觉的输电线路部件检测方法的一种实施例的用于目标检测的YOLO算法模型示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于平行视觉的输电线路部件检测方法，通过创建输电线路3D仿真场景，为输电线路检测提供源源不断的人工训练数据，并且能够提供一种集深度学***台，有效提升和保证深度网络模型在输电线路检测中的性能，实现多目标的输电线路部件检测，同时还可以不断进行部件检测范围的更新与扩展。
本发明的一种基于平行视觉的输电线路部件检测方法，包括：
步骤S10，获取输电线路各部件视频图像作为待检测数据；
步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；
步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果；
其中，所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：
步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息；
步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数；
步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。
为了更清晰地对本发明基于平行视觉的输电线路部件检测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于平行视觉的输电线路部件检测方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取输电线路各部件视频图像作为待检测数据。
视频图像就是连续的静态图像的序列，是一种对客观事物更为形象，生动地描述。本发明的一个实施例中，采用无人机和/或人工巡检的方法采集输电线路各部件的图像。
步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息。
图像分类、检测及分割是计算机视觉领域的三大任务。图像分类模型是将图像划分为单个类别，通常对应于图像中最突出的物体。但是现实世界的很多图片通常包含不只一个物体，此时如果使用图像分类模型为图像分配一个单一标签其实是非常粗糙的，并不准确。对于这样的情况，就需要采用目标检测模型，目标检测模型可以识别一张图片的多个物体，并可以定位出不同物体(给出边界框)。目标检测在很多场景有广泛的应用，如无人驾驶和安防***等。
目标检测有很多方法，比如传统方法的Haar特征+Adaboost算法、Hog特征+SVM算法(SVM，Support Vector Machine)、DPM算法(DPM，Deformable Part Model)等，比如基于深度神经网络的RCNN系列(RCNN，Regions with Convolutional Neural Network)算法、YOLO系列(YOLO，You Only Look Once)等。本发明的一个实施例中基于深度神经网络构建YOLO网络模型，并对其优化训练，采用优化训练后的网络进行目标检测。
如图2所示，为本发明基于平行视觉的输电线路部件检测方法的一种实施例的用于目标检测的YOLO算法用来提取特征的卷积网络模型，YOLO网络结构参考GooLeNet模型，Conv.Layer代表卷积层，其下数字为卷积尺寸，Maxpool Layer代表最大池化层，其下为最大池化参数，每个模块最下端代表每层的通道数，横边和纵边的数字代表每层的长宽，内部模块代表卷积，其周围数字代表卷积核的长宽，大括号后×*代表省略并重复相同的层进行特征提取。
所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：
步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息。
所述人工标注信息，包括：
图像对应的目标部件边界框大小、位置以及部件所属类别、状态信息。
所述虚拟图像子集，其获取方法为：
步骤T10，构建三维仿真环境，创建需要检测的输电线路部件的模型。
本发明一个实施例中，采用Delta3D游戏引擎构建三维仿真环境，Delta3D主要目标是提供一套简单可行的API函数库，构成搭建任何可视化软件的基本要素，通过对输电线路真实场景设计草图，根据场景草图进行搭建，输出三维模型，用于设定输电线路背景的基本样式场景，由此生成了输电线路环境的人造背景。
输电线路单个部件检测目标库依据国家现行不同架空输电线路设计技术规程进行金具模型建库，并进行架空输电线路的模拟和搭建，包括：《200kV～500kV紧凑型架空输电线路设计技术规程》(DL/T 5217-2013)、《重覆冰架空输电线路设计技术规程》(DL/T5440-2009)、《高压直流架空输电线路设计规程》(DL5479-2015)、《采动影响区架空输电线路设计规范》(DL/T5539-2018)、《110Kv～750kV架空输电线路设计规范》(GB 50545-2010)、《1000kV架空输电线路设计规范》(GB 50665-2011)等。
输电线路关键部件故障则依据相应的国家标准规范创建所需要检测的输电线路故障部件的模型，包括：《输变电一次设备缺陷分类标准》(QGDW1906-2013标准等。
输电电路各部件以及关键部件故障信息，尽可能全面覆盖所需要检测的目标与相应目标对象的各种样式。
步骤T20，基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真，并构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息，作为部件虚拟图像子集。
当前许多3D游戏场景制作已达到非常贴近真实的效果，表明当前的三维场景渲染已经可以做到非常贴近真实世界，为突破当前输电线路检修瓶颈，本方法基于平行视觉理论，提出一种输电线路检测的方法，创建输电线路三维模拟场景采集数据训练输电线路检测网络，实现及时且安全的输电线路状态的检测与监控。
本发明一个实施例中，利用3DMax软件进行输电线路人工场景的搭建，将输电线路模型输入到人工场景并创建，在输入到人工场景时，输入输电线路各部件在人工背景中的各个位置，记录其分类信息和位置信息。
步骤T20中“基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真”，其方法为：
基于三维仿真环境，进行真实场景的环境要素仿真，复现环境因素，使虚拟场景与真实场景的相似度大于预设值。
本发明一个实施例中，利用3DMax软件，对已创建的人工输电线路场景进行真实场景的要素仿真，复现相应的光照、天气等环境因素，并对照真实场景进行渲染，创建尽可能贴近真实环境的人工场景。
步骤T20中“构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息”，其方法为：
构建虚拟摄像装置，基于三维转二维接口，模仿真实场景中摄像装置对各部件的图像采集，采用虚拟摄像装置进行虚拟场景中各部件图像的采集，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息。
本发明一个实施例中，采用OpenGL的对应3D转2D的接口API，可以模仿现实中进行输电线路检测的观测，生成各个角度视角的图像。相当于在人工场景构建虚拟计算机摄像网络，能够全方位的观测输电线路场景，用来模拟实际状态观察输电线路，灵活采集场景中的情况，从各个视角生成大规模多样的视频图像数据。3D转2D则能够直接利用计算机进行坐标变换，提取出目标位置和分类信息。
所述真实场景图像子集，其获取方法为：
与上述输电电路各部件检测过程视频图像的获取方式相同，在此不再赘述。
输电线路数据属于特定高危任务领域内容，其图像样本并非像日常生活中的目标样本图像一样可轻易从互联网获取。由于数据集的限制，针对输电线路部件以及关键部件故障进行状态检测任务，简单的数据增强方法，无法满足输电线路检测中出现的多种多样的问题与复杂的形状。
针对训练数据不足这一问题，本发明基于平行视觉的理论，建立虚实结合的场景，用于辅助生成大规模带标签视觉模型训练的图像数据。
步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数。
步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。
步骤B30中“获得训练好的目标检测模型”之后还设置有在线模型更新的步骤，其方法为：
步骤G10，在预设的时间点，通过测试集对模型进行评估测试，判断模型性能是否下降。
步骤G20，当步骤G10判断结果为“否”时，结束；当判断结果为“是”时，在模型的网络之后增加预设数量的层级，计算获取的模型更新图像集的拟合程度，并通过深度神经网络的容量自适应特性提升模型的性能。
步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果。
采用本发明方法可以创建输电线路图像大数据库：
首先，依据具体应用场景可控地采集人工场景模拟样本图像，创建人工输电线路图像样本库。
然后，不断扩充实际应用情景中无人机或人工巡检采集到的真实输电线路样本图像，作为真实图像样本数据库。
第三步，在国家相关规范的变动出现部件标准的变化与增加时，同步更新3D输电线路关键部件模型库及人工场景，定时对数据库进行更新。
最后，人工、真实输电线路图像样本库数据依据实际应用场景采取动态变动及扩充方案，创建动态、可控的人工/真实样本数据库。
本发明第二实施例的基于平行视觉的输电线路部件检测***，包括输入模块、目标检测模块、输出模块；
所述输入模块，配置为获取输电线路各部件视频图像作为待检测数据并输入；
所述目标检测模块，配置为对待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；
所述输出模块，配置为将获取的部件边界框大小、位置以及部件所属类别、状态信息输出。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于平行视觉的输电线路部件检测***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于平行视觉的输电线路部件检测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于平行视觉的输电线路部件检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于平行视觉的输电线路部件检测方法，其特征在于，该输电线路部件检测方法包括：
步骤S10，获取输电线路各部件视频图像作为待检测数据；
步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；
步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果；
其中，所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：
步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息；
步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数；
步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。
2.根据权利要求1所述的基于平行视觉的输电线路部件检测方法，其特征在于，所述虚拟图像子集，其获取方法为：
步骤T10，构建三维仿真环境，创建需要检测的输电线路部件的模型；
步骤T20，基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真，并构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息，作为部件虚拟图像子集。
3.根据权利要求2所述的基于平行视觉的输电线路部件检测方法，其特征在于，步骤T20中“基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真”，其方法为：
基于三维仿真环境，进行真实场景的环境要素仿真，复现环境因素，使虚拟场景与真实场景的相似度大于预设值。
4.根据权利要求2所述的基于平行视觉的输电线路部件检测方法，其特征在于，步骤T20中“构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息”，其方法为：
构建虚拟摄像装置，基于三维转二维接口，模仿真实场景中摄像装置对各部件的图像采集，采用虚拟摄像装置进行虚拟场景中各部件图像的采集，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息。
5.根据权利要求1所述的基于平行视觉的输电线路部件检测方法，其特征在于，所述真实场景图像子集，其获取方法为：
采用无人机和/或人工巡检的方法采集真实场景中各部件的图像，作为真实场景图像子集。
6.根据权利要求1所述的基于平行视觉的输电线路部件检测方法，其特征在于，所述人工标注信息，包括：
图像对应的目标部件边界框大小、位置以及部件所属类别、状态信息。
7.根据权利要求1所述的基于平行视觉的输电线路部件检测方法，其特征在于，步骤B30中“获得训练好的目标检测模型”之后还设置有在线模型更新的步骤，其方法为：
步骤G10，在预设的时间点，通过测试集对模型进行评估测试，判断模型性能是否下降；
步骤G20，当步骤G10判断结果为“否”时，结束；当判断结果为“是”时，在模型的网络之后增加预设数量的层级，计算获取的模型更新图像集的拟合程度，并通过深度神经网络的容量自适应特性提升模型的性能。
8.一种基于平行视觉的输电线路部件检测***，其特征在于，包括输入模块、目标检测模块、输出模块；
所述输入模块，配置为获取输电线路各部件视频图像作为待检测数据并输入；
所述目标检测模块，配置为对待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；
所述输出模块，配置为将获取的部件边界框大小、位置以及部件所属类别、状态信息输出。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于平行视觉的输电线路部件检测方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-7任一项所述的基于平行视觉的输电线路部件检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910468525.0A CN110133443B (zh) | 2019-05-31 | 2019-05-31 | 基于平行视觉的输电线路部件检测方法、***、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910468525.0A CN110133443B (zh) | 2019-05-31 | 2019-05-31 | 基于平行视觉的输电线路部件检测方法、***、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110133443A true CN110133443A (zh) | 2019-08-16 |
| CN110133443B CN110133443B (zh) | 2020-06-16 |
Family
ID=67583280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910468525.0A Active CN110133443B (zh) | 2019-05-31 | 2019-05-31 | 基于平行视觉的输电线路部件检测方法、***、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110133443B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738164A (zh) * | 2019-10-12 | 2020-01-31 | 北京猎户星空科技有限公司 | 零件异常检测方法、模型训练方法及装置 |
| CN111461209A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
| CN112949849A (zh) * | 2021-01-27 | 2021-06-11 | 武汉星巡智能科技有限公司 | 采用边缘计算优化智能摄像头检测模型的方法和装置 |
| CN113569432A (zh) * | 2021-09-22 | 2021-10-29 | 南通宏耀锅炉辅机有限公司 | 一种液气密元件的模拟检测方法及*** |
| CN114264911A (zh) * | 2022-03-03 | 2022-04-01 | 成都市克莱微波科技有限公司 | 一种功率放大器可靠性测试方法及测试*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978580A (zh) * | 2015-06-15 | 2015-10-14 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
| CN106895824A (zh) * | 2017-01-24 | 2017-06-27 | 国网四川省电力公司检修公司 | 基于计算机视觉的无人机定位方法 |
| CN108010030A (zh) * | 2018-01-24 | 2018-05-08 | 福州大学 | 一种基于深度学习的航拍图像绝缘子实时检测方法 |
| US20190050667A1 (en) * | 2017-03-10 | 2019-02-14 | TuSimple | System and method for occluding contour detection |
| CN109753929A (zh) * | 2019-01-03 | 2019-05-14 | 华东交通大学 | 一种图库联合的高铁绝缘子巡检图像识别方法 |
| CN109801284A (zh) * | 2019-01-25 | 2019-05-24 | 华中科技大学 | 一种基于深度学习的高铁接触网绝缘子故障检测方法 |
| CN109816724A (zh) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
-
2019
- 2019-05-31 CN CN201910468525.0A patent/CN110133443B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978580A (zh) * | 2015-06-15 | 2015-10-14 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
| CN106895824A (zh) * | 2017-01-24 | 2017-06-27 | 国网四川省电力公司检修公司 | 基于计算机视觉的无人机定位方法 |
| US20190050667A1 (en) * | 2017-03-10 | 2019-02-14 | TuSimple | System and method for occluding contour detection |
| CN108010030A (zh) * | 2018-01-24 | 2018-05-08 | 福州大学 | 一种基于深度学习的航拍图像绝缘子实时检测方法 |
| CN109816724A (zh) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
| CN109753929A (zh) * | 2019-01-03 | 2019-05-14 | 华东交通大学 | 一种图库联合的高铁绝缘子巡检图像识别方法 |
| CN109801284A (zh) * | 2019-01-25 | 2019-05-24 | 华中科技大学 | 一种基于深度学习的高铁接触网绝缘子故障检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| WENWEN ZHANG，等: "A parallel vision approach to scene-specific pedestrian detection", 《NEUROCOMPUTING》 * |
| 王坤峰，等: "平行图像：图像生成的一个新型理论框架", 《模式识别与人工智能》 * |
| 王坤峰，等: "平行视觉：基于ACP的智能视觉计算方法", 《自动化学报》 * |
| 翟永杰，等: "平行视觉框架下深度卷积神经网络可视化分析", 《计算机工程与应用》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738164A (zh) * | 2019-10-12 | 2020-01-31 | 北京猎户星空科技有限公司 | 零件异常检测方法、模型训练方法及装置 |
| CN110738164B (zh) * | 2019-10-12 | 2022-08-12 | 北京猎户星空科技有限公司 | 零件异常检测方法、模型训练方法及装置 |
| CN111461209A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
| CN111461209B (zh) * | 2020-03-30 | 2024-04-09 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
| CN112949849A (zh) * | 2021-01-27 | 2021-06-11 | 武汉星巡智能科技有限公司 | 采用边缘计算优化智能摄像头检测模型的方法和装置 |
| CN112949849B (zh) * | 2021-01-27 | 2024-03-26 | 武汉星巡智能科技有限公司 | 采用边缘计算优化智能摄像头检测模型的方法和装置 |
| CN113569432A (zh) * | 2021-09-22 | 2021-10-29 | 南通宏耀锅炉辅机有限公司 | 一种液气密元件的模拟检测方法及*** |
| CN114264911A (zh) * | 2022-03-03 | 2022-04-01 | 成都市克莱微波科技有限公司 | 一种功率放大器可靠性测试方法及测试*** |
| CN114264911B (zh) * | 2022-03-03 | 2022-05-20 | 成都市克莱微波科技有限公司 | 一种功率放大器可靠性测试方法及测试*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110133443B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110133443A (zh) | 基于平行视觉的输电线路部件检测方法、***、装置 | |
| CN109643125A (zh) | 用于训练自动驾驶***的逼真的3d虚拟世界创造与模拟 | |
| CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
| CN112819830A (zh) | 基于深度学习与机载激光点云的单株树冠分割方法 | |
| CN110135437A (zh) | 用于车辆的定损方法、装置、电子设备和计算机存储介质 | |
| Lu et al. | P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images | |
| CN109712127A (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
| CN108280852A (zh) | 一种基于激光点云数据的门窗点云形状检测方法及*** | |
| CN101364311A (zh) | 大规模城市仿真中快速自动建立模型的方法 | |
| Wu et al. | Detection of foreign objects intrusion into transmission lines using diverse generation model | |
| Uggla et al. | Towards synthesized training data for semantic segmentation of mobile laser scanning point clouds: Generating level crossings from real and synthetic point cloud samples | |
| CN115186473A (zh) | 一种基于平行智能的场景感知建模与验证方法 | |
| CN108717522A (zh) | 一种基于深度学习和相关滤波的人体目标跟踪方法 | |
| CN109472228A (zh) | 一种基于深度学习的哈欠检测方法 | |
| Singh et al. | Real time object detection using neural networks: a comprehensive survey | |
| Xia et al. | Neural detection of foreign objects for transmission lines in power systems | |
| Li et al. | Speed regulation of overhead catenary system inspection robot for high-speed railway through reinforcement learning | |
| Liu | Multidimensional nonlinear landscape planning based on parameter feature extraction and multimedia technology | |
| CN112883785A (zh) | 基于平行视觉理论的铁路运行环境安全图像检测*** | |
| CN109670556B (zh) | 基于火点和夜光数据的全球热源重工业区域识别方法 | |
| Niu et al. | [Retracted] Analysis of the 3D Application Evaluation System of Landscape Based on Hybrid Cooperation of VR and AI | |
| Alaya et al. | CNN-based tree model extraction | |
| Wang et al. | Application of 3D Image Reconstruction on Landscape Architecture in Environmental Design System | |
| Bajcsy et al. | Image filtering-A context dependent process | |
| Elliott et al. | An application of faster R-CNNs in object detection efforts applied to the critical infrastructure domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |