CN114898291B - 一种基于摄像头巡检路径的视觉监测方法 - Google Patents
一种基于摄像头巡检路径的视觉监测方法 Download PDFInfo
- Publication number
- CN114898291B CN114898291B CN202210531825.0A CN202210531825A CN114898291B CN 114898291 B CN114898291 B CN 114898291B CN 202210531825 A CN202210531825 A CN 202210531825A CN 114898291 B CN114898291 B CN 114898291B
- Authority
- CN
- China
- Prior art keywords
- inspection
- power transmission
- camera
- data
- transmission tower
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 title claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000010223 real-time analysis Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于摄像头巡检路径的视觉监测方法，包括：设置摄像头固定巡检路线，对每一路径采集图像帧数据，进行预处理，挑选满足条件的图像数据；利用已训练的深度卷积网络模型提取预处理后图像的特征值，对数据进行训练识别；分析数据，对危险信号进行预警，并将结果反馈于管理人员。本发现提出的基于摄像头巡检路径的视觉监测方法可以有效的完成视觉上对输电塔及其周围事物进行监测，提高输电线路巡检的高效性和安全性。本发明利用深度学习卷积网络计算的特征来代替传统人工巡检，具有高精度、高可靠性和鲁棒性强的优点，降低人力和物力成本。适用于面向输电塔线路巡检摄像头实时监测输电塔及其周围事物任务的应用需求。
Description
技术领域
本发明涉及机器视觉技术、数字图像处理技术及模式识别技术领域，特别涉及一种面向输电塔及其周围事物巡检的实时检测方法，即一种基于摄像头巡检路径的视觉监测方法。
背景技术
电力是现代社会最重要的能源之一，我国幅员辽阔，能源分布极不均衡，电力运输需要依靠输电塔和高压输电线，对于输电线路的巡检是保证电网正常运作的重要一环，及时更换达到使用寿命的零部件，保证输电线路和输电塔周围无异物是极其重要的。提前预防，避免发生重大事故。受到各种条件限制，输电塔和输电线路通常是翻山越岭，远离城市地方，这就对输电线路的日常检测有很大的挑战，目前，我国对输电线路的日常检测还是依靠人力去完成的，巡线工人经常要在荒郊野外进行爬塔作业，这不仅耗时耗力，而且具有一定的危险性。
为解决上述缺陷，研究人员将目光投入到了机器学习，并提出了有效的检测方法，目前基于卷积神经网络的检测方法被广泛使用，基于卷积神经网络的方法优点在于它是一种端到端学习损伤特征的方法，而不是依赖于提取的特征。在此基础上还提出了一种快速的基于区域的卷积神经网络的多重损伤检测的方法。研究结果表明，基于一种快速的基于区域的卷积神经网络的快速检测方法在自动识别和定位多重损伤时，其性能要优于卷积神经网络。
在本研究中，提出了一种基于快速的基于区域的卷积神经网络的输电塔防及其周围事物的检测方法，这种通过摄像头+人工智能配合人工巡检，将极大的改变日常巡检的工作模式，保障工作人员的生命安全，提高工作效率。
发明内容
本发明的目的在于提供一种基于摄像头巡检路径的视觉监测方法，以适应于输电塔监测摄像头的日常使用，主要对输电塔、输电塔线路及输电塔周边事物的监测检测，在保证预警率的同时降低误检率。摄像头处于规定的巡检路线之上，拍摄实时图像，本发明方法采用深度学习卷积网络架构，对巡检摄像头采集的图像帧序列提特定场景的供检测服务。
为了实现上述目的，本发明的一种基于摄像头巡检路径的视觉监测方法，包括如下步骤：
步骤S1，对摄像头进行巡检路径的编程，使其可以在相应的时间中完成对输电线路、输电塔和输电塔周边三条巡检路径的巡检。
步骤S2，对于每一条巡检路径进行视频数据采集，保证在一天内的各个时段都能获得符合要求的数据资料。前期将采集到的数据输入步骤S3，进行深度学习卷积神经网络的训练。一段时间后，训练模型训练完成后，步骤S2采集的数据输入步骤S5，完成日常的巡检任务。
步骤S3，对步骤S2输入的视频数据进行图像抽帧处理，筛选满足条件的图像数据，根据相应的规范，建立输电线路，输电塔和输电塔周围事物异常情况数据集。将获得的数据集输入步骤S4进行模型训练。
步骤S4，利用深度学习卷积神经网络进行特征值模型的训练。本方法采用的算法主网络为VGG16，主要包括：特征提取网络、区域建议网络、特征金字塔网络以及目标区域池化层、分类和回归层。建立特征值数据模型。
步骤S5，输入数据为步骤S2采集所获得的数据和步骤S4建立的特征值训练模型，将数据输入模型中，输出结果为输电塔及其周边事物的异常检测结果，并将结果输入步骤S6。
步骤S6，通过步骤S5的输出结果，对存在异常的信息进行文本记录，对管理人员进行预警。
本发明方法与现有技术相比，具有以下优势和积极效果：
（1）本发明方法提供单帧图像的输电塔及其周边事物的异常检测。现有输电塔巡检方案，以人工检测为主，巡检工作费时费力，对于异常情况不能及时发现并处理，本发明方法通过对样本集和异常情况检测框架的设计，能够通过对视频流抽帧的方法实现对监控视频的实时处理对存在的异常情况进行判别，满足了摄像头在输电塔巡检过程中的工作场景要求。
(2)本发明方法采用卷积神经网络快速提取图像的深度特征。建立数据库，不再依赖巡检人员的单一经验，而是通过在大量数据中学习，通过显著特征，实现自动识别，同时，卷积神经网络模型通过结合局域感受野、权值共享与降采样等技术，对图像中光照变化、位移、缩放和扭曲等方面，具有一定的鲁棒性。
(3)本发明方法利用深度学习卷积神经网络计算的特征来代替传统人工经验来判断异常的相关信息，具有高精度、高可靠性和鲁棒性强的优点，适用于面向输电塔及其周围事物异常情况的实时监测应用需求。
附图说明
图1是本发明的流程图。
具体实施方式
参见图1，一种基于摄像头巡检路径的视觉监测方法，首先对摄像头的巡检路线进行编程设计，规划三条巡检路径，输电线路方向；输电塔方向；输电塔塔基方向。每十分钟更换一次巡检路径，保证在一天的各个时段中，都能对输电塔及其周围事物做到监测。将拍摄得到的数据，经过卷积神经网络模型，输出检测结果，做到对视频图像的实时处理，判断是否存在异常情况。本发明可以有效地完成视觉上对巡检路径上的异常情况检测问题，提高来巡检的准确性和高效性。
本发明实施例的一种基于摄像头巡检路径的视觉监测方法，分为如下步骤S1～S6来说明。
步骤S1，对摄像头进行巡检路径的编程，使其可以在相应的时间中完成对输电线路、输电塔和输电塔周边三条巡检路径的巡检。
步骤S2，对于每一条巡检路径进行视频数据采集，保证在一天内的各个时段都能获得符合要求的数据资料。将采集到的数据输入步骤S5，利用已训练好的卷积神经网络模型进行判断。
其中卷积神经网络模型由步骤S3和S4来说明。通过步骤S2采集到的视频数据进行图像抽帧处理，当间隔帧数较短时，即相当于对视频的实时处理。筛选满足条件的图像数据，根据相应的规范，建立输电线路，输电塔和输电塔周围事物异常情况数据集。将获得的数据集输入步骤S4进行模型训练。利用深度学习卷积神经网络进行特征值模型的训练。本方法采用的算法主网络为VGG16，主要包括：特征提取网络、区域建议网络、特征金字塔网络以及目标区域池化层、分类和回归层。建立特征值数据模型。模型准确率达95%以上。
步骤S5，输入数据为步骤S2采集所获得的数据和步骤S4建立的特征值训练模型，将数据输入模型中，输出结果为输电塔及其周边事物的异常检测结果，并将结果输入步骤S6。
步骤S6，通过步骤S5的输出结果，对存在异常的信息进行文本记录，对管理人员进行预警。
上面描述，只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制。
Claims (5)
1.一种基于摄像头巡检路径的视觉监测方法，对输电塔上的摄像头在固定巡检路线中拍摄的图像进行输电塔及其周围事物的实时监测，其特征在于，监测步骤包括：
步骤S1，对摄像头进行巡检路线的设置，包括沿输电线方向，输电塔方向和输电塔周围三条摄像头巡检路线；
步骤S2，在三条摄像头的巡检路线上，进行图像数据采集，对采集到的图像进行预处理，评估图像的清晰度，将满足清晰度条件的图像，统一图像尺寸，前期数据输入步骤S3，在获得足够多的图像帧数据后，数据输入步骤S5；
步骤S3，从步骤S2的视频数据中，按一定时间间隔获取图像帧数据，建立输电塔及其周围事物的数据集；将数据集输入步骤S4；
步骤S4，利用深度卷积网络提取的特征值训练模型；其中，训练模型采用深度学习卷积网络VGG 16算法主网络，提取数据库中图片特征图，形成特征值金字塔；
步骤S5，将步骤S2采集到的数据利用步骤S4训练好的模型进行识别；将候选区域映射到特征图，输出候选区域的检测结果；网络的输入为步骤S2输出的图像，输出为检测后的图像信息，及输电塔及其周围事物检测结果，将结果输入步骤S6；
步骤S6，通过规范对检测结果进行分析，判断其危险程度，对危险信号及时发出预警，并反馈于管理人员。
2.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤S1中，摄像头的巡检路线可以根据需求进行编程，可以自主设定巡检路线和每条线路的巡检时间，灵活可变。
3.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤S2、S3中，可根据具体的需要设定采集图像的间隔，采用视频图像抽帧的方式，实现对监控视频的实时分析。
4.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤S4中，深度卷积网络包括特征提取网络、区域建议网络、特征金字塔网络以及目标区域池化层、分类和回归层；特征提取网络卷积神经网络采用ResNet101残差网络结构，其中包括卷积层、激活层和池化层。
5.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤S6中，可实现对监测结果的实时记录，出现异常结果可及时报警反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210531825.0A CN114898291B (zh) | 2022-05-17 | 2022-05-17 | 一种基于摄像头巡检路径的视觉监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210531825.0A CN114898291B (zh) | 2022-05-17 | 2022-05-17 | 一种基于摄像头巡检路径的视觉监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898291A CN114898291A (zh) | 2022-08-12 |
| CN114898291B true CN114898291B (zh) | 2024-02-20 |
Family
ID=82723467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210531825.0A Active CN114898291B (zh) | 2022-05-17 | 2022-05-17 | 一种基于摄像头巡检路径的视觉监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898291B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164270A1 (zh) * | 2019-02-15 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于深度学习的行人检测方法、***、装置及存储介质 |
| CN111860143A (zh) * | 2020-06-10 | 2020-10-30 | 北京航空航天大学 | 一种面向巡检机器人的火焰实时检测方法 |
-
2022
- 2022-05-17 CN CN202210531825.0A patent/CN114898291B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164270A1 (zh) * | 2019-02-15 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于深度学习的行人检测方法、***、装置及存储介质 |
| CN111860143A (zh) * | 2020-06-10 | 2020-10-30 | 北京航空航天大学 | 一种面向巡检机器人的火焰实时检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张庆庆 ; 朱仲杰 ; 高明 ; 葛志峰 ; 白永强 ; 屠仁伟 ; .基于CornerNet-Lite的输电塔与绝缘子目标识别与检测.浙江万里学院学报.2020,(03),全文. * |
| 徐振磊 ; 曾懿辉 ; 郭圣 ; 邵校嘉 ; 麦俊佳 ; 胡壮丽 ; .基于图像识别技术的输电线路智能监控***应用.计算机***应用.2020,(01),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898291A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110031477B (zh) | 基于图像监控数据的桥梁关键构件病害预警***及方法 | |
| CN110738127B (zh) | 基于无监督深度学习神经网络算法的安全帽识别方法 | |
| CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警*** | |
| CN107679495B (zh) | 一种输电线路周边活动工程车辆的检测方法 | |
| CN111339883A (zh) | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 | |
| CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
| CN116152748B (zh) | 基于蓝藻识别的河湖监管方法及其*** | |
| CN112183313A (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
| CN110334750A (zh) | 输电线路铁塔螺栓锈蚀程度图像分类识别方法 | |
| CN113989711B (zh) | 一种配电施工安全工器具使用识别方法及*** | |
| CN112508911A (zh) | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测***及其检测方法 | |
| CN110059076A (zh) | 一种输变电线路设备的故障数据库半自动化建立方法 | |
| CN115393347A (zh) | 一种基于城市大脑的电网智能巡检方法及*** | |
| CN113469938B (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及*** | |
| CN110378866B (zh) | 一种基于无人机巡检的渠道衬砌破损图像识别方法 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测*** | |
| CN107977531A (zh) | 一种基于图像处理和领域数学模型进行接地电阻软测量的方法 | |
| CN110969192A (zh) | 一种电力巡检图像智能识别方法 | |
| CN114898291B (zh) | 一种基于摄像头巡检路径的视觉监测方法 | |
| CN111310723A (zh) | 基于深度学习技术的变电站人员穿戴规范分析方法 | |
| CN110827264A (zh) | 一种混凝土构件表观缺陷的评价*** | |
| CN112784914B (zh) | 一种基于云端处理的管廊视频智能属性检测方法及*** | |
| CN111930982A (zh) | 一种电网图像智能标签方法 | |
| CN113188662A (zh) | 一种红外热成像故障自动识别***和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |