CN112381778A - 一种基于深度学***台 - Google Patents
一种基于深度学***台 Download PDFInfo
- Publication number
- CN112381778A CN112381778A CN202011243056.1A CN202011243056A CN112381778A CN 112381778 A CN112381778 A CN 112381778A CN 202011243056 A CN202011243056 A CN 202011243056A CN 112381778 A CN112381778 A CN 112381778A
- Authority
- CN
- China
- Prior art keywords
- image data
- training
- deep learning
- personnel
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 43
- 238000003062 neural network model Methods 0.000 claims abstract description 35
- 230000006399 behavior Effects 0.000 claims abstract description 28
- 230000007547 defect Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 89
- 238000012544 monitoring process Methods 0.000 claims description 46
- 238000012795 verification Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 19
- 230000003631 expected effect Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000009194 climbing Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Evolutionary Biology (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
Abstract
本发明公开了一种基于深度学***台,包括:异物和外观缺陷自动识别模块:通过异物和外观缺陷检测的深度学习神经网络模型自动识别图像中各种异物和外观缺陷,标定出异物、外观缺陷的位置和种类;误闯禁区和超范围作业自动报警模块:通过误闯禁区和超范围作业自动报警的深度学习神经网络模型对误闯禁区和超范围作业的行为进行自动检测和报警;站内工作人员违章行为自动检测模块:通过站内工作人员违章行为自动检测的深度学习神经网络模型自动检测站内工作人员是否出现违章行为。本发明保证了区域人员的有效识别,提高了人员作业安全性。
Description
技术领域
本发明属于电力工程技术领域,具体涉及变电站安全管控平台。
背景技术
随着我国智能变电站发展脚步的加快,智能变电站内增多的设备与有限的人员之间矛盾日益加大,其中人员安全管控缺乏有效手段最为突出。传统的运维依赖人工到站巡视,采用固定的巡视周期,缺乏对运行设备不同的缺陷情况、关键参数的分析,不仅脱离了设备运行的实际情况,更是极大地浪费了人力、物力,已远远不能满足智能变电站生产要求,因此基于传统人工到站运维策略的优化势在必行。同时,传统变电站安全管理十分粗放,由于自动化和信息技术水平不高,主要依靠人工管理,存在事后管理、随机性、无量化等方面缺陷。一直以来,变电站设备的运行、检修及检查主要依靠人工操作和完成,人员的人身安全在变电站管理中显得尤为重要,但是运维管理中针对人员安全管控,缺乏有效的技术手段,变电站内随时存在着误入带电间隔和超范围作业以及监控不到位等安全问题。变电站的安全管控的一大方式就是视频管控,然而目前常规变电站安全管控仍主要采用人工分析监控视频的方式,属于被动监控,不仅费时费力,而且容易产生误报错报的情况。
发明内容
针对目前主流变电站安全管控机制缺乏多维度视角管控、全局协同性较差、主动预警缺失、***融合数据具有滞后性等固有弊端,本发明所要解决的技术问题就是提供一种基于深度学***台,提高基于视频监控的变电站安全管控的智能化水平。
为解决上述技术问题,本发明采用如下技术方案:
一种基于深度学***台,包括:
异物和外观缺陷自动识别模块:采集变电站中设备的图像数据,并通过异物和外观缺陷检测的深度学习神经网络模型自动识别图像中各种异物和外观缺陷,标定出异物、外观缺陷的位置和种类;
误闯禁区和超范围作业自动报警模块:采集变电站中的人员图像数据并对其进行轨迹跟踪,并通过误闯禁区和超范围作业自动报警的深度学习神经网络模型对误闯禁区和超范围作业的行为进行自动检测和报警;
站内工作人员违章行为自动检测模块:采集变电站中工作人员的图像数据,并通过站内工作人员违章行为自动检测的深度学习神经网络模型自动检测站内工作人员是否出现违章行为。
优选的,异物和外观缺陷检测的深度学习神经网络模型搭建过程包括如下步骤:
S11:采集变电站中设备的图像数据,该图像数据至少包含异物的图像数据、设备本身的外观图像数据以及当设备上有异物时的外观图像数据三种;
S12:对采集的相关图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集;
S13:训练神经网络模型,当视频监控中的某区域设备上有异物时,此监控区域在监控显示屏上进行闪红示警,并在监控视频中标定出异物的位置及其种类;
S14:对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,否则调整训练参数,继续训练,直至达到预期效果。
优选的,误闯禁区和超范围作业自动报警的深度学习神经网络模型搭建过程包括如下步骤:
S21:对变电站中的违禁区域进行标定,并从不同角度采集站内违禁区域的图像数据,同时采集变电站中的人员图像数据制作数据集,其中所采集的人员图像数据应包含从不同角度拍摄的各种姿态的人员图像数据;
S22:对采集的相关的违禁区域图像数据以及相关的人员图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集,每个标注框的中心点位为人员轨迹的追踪点,某段时间内同一个人的移动,体现为标注框的移动,标注框中心点位的移动轨迹即认定为此人的移动轨迹,进而达到轨迹跟踪的目的;
S23:训练神经网络模型,视频监控区域中有人员存在时,区域内的人员会被标定并编号,其移动轨迹会在监控显示屏幕上显示;当有人员或物体误闯入禁区时,此视频监控区域在监控显示屏上进行闪红示警;
S24:对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,否则调整训练参数,继续训练,直至达到预期效果。
优选的,禁区内的人员识别方法具体为:人员标注框超出设定范围已经进入禁区;超范围作业为工作人员标注框超出设定范围已经脱离此设备所在的监控区域。
优选的,站内工作人员违章行为自动检测的深度学习神经网络模型搭建过程包括如下步骤:
S31:采集变电站中工作人员的图像数据,其中所采集的图像数据应包含变电站内所有工种的图像数据、规范佩戴安全帽与未佩戴安全帽的图像数据、人员撑伞的图像数据;
S32:对相关的图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集;
S33:训练神经网络模型,当视频监控中的某区域内有人员着装不符合要求时,该类人员的标注框显示为红色并标注警示原因为着装类;当视频监控中的某区域内有人员未佩戴安全帽或者未正确佩戴安全帽时,该类人员的标注框显示为红色并标注警示原因为安全帽类;当视频监控中的某区域内有人员撑伞时,该类人员的标注框显示为红色并标注警示原因为撑伞类;当通过人体关键点检测到视频监控中的某区域内有人员正在进行攀高动作时,该人员的标注框显示为黄色并标注警示原因为正在进行攀爬;
S34:对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,否则调整训练参数,继续训练。
优选的,将异物和外观缺陷检测的深度学习神经网络模型、误闯禁区和超范围作业自动报警的深度学习神经网络模型、站内工作人员违章行为自动检测的深度学习神经网络模型安装在嵌入式硬件设备中。
优选的,所述嵌入式硬件设备包括板卡和摄像头。
优选的,所述板卡和摄像头安装于无人机和机器人。
本发明通过搭建基于深度学***台实现变电站作业人员精确定位,有效的解决了人员管控难、变电站电磁干扰强等问题。通过***中定位报警与视频监控的联动,保证了区域人员的有效识别,提高了人员作业安全性,降低了触电事故发生,提升了变电站整体管理效率。
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中进行详细的说明。
附图说明
下面结合附图和具体实施方式对本发明作进一步描述:
图1为深度学习模型搭建流程示意图;
图2为模型训练流程示意图;
图3为平台功能架构图。
具体实施方式
下面将结合本发明实施例对本发明技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明应用于精益运维、精益检修与精益管控的变电站、工地等各类应用场景,通过搭建基于深度学***台,对工作场景中的人员行为和异物进行检测,保障应用场景下作业的正常进行以及工作人员的安全。
如图3所示,一种基于深度学***台,包括:
异物和外观缺陷自动识别模块:采集变电站中设备的图像数据,并通过异物和外观缺陷检测的深度学习神经网络模型自动识别图像中各种异物和外观缺陷,标定出异物、外观缺陷的位置和种类;
误闯禁区和超范围作业自动报警模块:采集变电站中的人员图像数据并对其进行轨迹跟踪,并通过误闯禁区和超范围作业自动报警的深度学习神经网络模型对误闯禁区和超范围作业的行为进行自动检测和报警;
站内工作人员违章行为自动检测模块:采集变电站中工作人员的图像数据,并通过站内工作人员违章行为自动检测的深度学习神经网络模型自动检测站内工作人员是否出现违章行为。
深度学习模型的整体搭建流程框架图如图1所示,深度学习模型搭建步骤:
步骤1:人工采集相关设备、工作区域以及人员的图像数据;
步骤2:对采集到的数据进行预处理,核验后,将其作为训练数据集;
步骤3:训练神经网络模型;
步骤4:对模型训练结果进行验证;
步骤5:将验证通过的模型部署实施到板卡、摄像头等嵌入式设备中;
深度学习模型搭建具体步骤如下:
步骤1具体为:在变电站场景下,数据采集人员利用摄像设备从不同角度对变电站内的异物进行图像数据采集,同时也对变电站内工作人员的着装、安全帽的佩戴等人员的行为状态数据进行采集。
步骤2具体为:对采集到的数据进行精细化的标注并制作成数据集。数据集切分为训练集、验证集和测试集,训练集用于训练深度学习模型;验证集用以评估模型结果,进而辅助模型调参;测试集用于模型的预测;考虑到光照以及雾霾等非人为不可控因素可能对所采集到的图像数据造成图像失真等影响,针对采集到的各类图像数据进行预处理,集成多尺度融合算法对图像细节进行提升。
步骤3具体为:本发明所用网络模型即较为常用的深度学习目标识别模型,其输入为本专利特有的数据集,针对不同的功能模块使用不同种类的数据集进行模型的训练,当模型训练达到训练目标后结束训练;具体如图2所示。
步骤4具体为:经过基础训练后,深度学习模型已经有了一定的准确率。为了得到一个性能更加稳定、准确率更高的模型,需要对模型的训练结果进行验证,当验证结果符合预期情况时,认为模型验证通过,可以进行部署实施。
步骤5具体为:首先在集成了深度学习的板卡、摄像头等嵌入式硬件设备上配置相关环境,环境配置好以后,将验证通过的模型在其上进行适配调试。模型部署完成后,运行***进行测试,根据实际检测情况即具体的检测效果决定是否需要更新深度学习模型。若实际检测效果与预期有较大偏差,则实地采集新的数据,对模型进行迭代训练,提升模型准确率。在***运行过程中,根据变电站的设备更新、工作区域变更等情况,不断更新训练数据集进行模型的迭代训练。
本发明主要功能模块及其实现步骤:
功能模块1:异物和外观缺陷自动识别模块,自动识别图像中各种异物和外观缺陷标定出异物的位置和种类。
功能模块1实现步骤:
1、采集变电站中设备的图像数据;其中所采集的数据应至少包含异物的图像数据、设备本身的外观图像数据以及当设备上有异物时的外观图像数据三种,异物数据种类应尽可能的多。
2、对相关的图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集。
3、训练神经网络模型。当视频监控中的某区域设备上有异物时,此监控区域在监控显示屏上进行闪红示警,并在监控视频中标定出异物的位置及其种类。
4、对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,执行步骤5,否则调整训练参数,继续训练。
5、将验证通过的模型部署实施到板卡、摄像头等嵌入式设备中。
功能模块2:误闯禁区和超范围作业自动报警模块,自动检测监控视频中的人员并对其进行轨迹跟踪;对误闯禁区和超范围作业的行为进行报警。
功能模块2实现步骤:
1、对变电站中的违禁区域进行标定,并从不同角度采集站内违禁区域的图像数据,同时采集变电站中的人员图像数据制作数据集。其中所采集的人员图像数据应包含从不同角度拍摄的各种姿态的人员图像数据,如站立、行走、攀爬等。
2、对相关的违禁区域图像数据以及相关的人员图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集。每个标注框的中心点位为人员轨迹的追踪点,某段时间内(1s)同一个人的移动,体现为标注框的移动。标注框中心点位的移动轨迹即认定为此人的移动轨迹,进而达到轨迹跟踪的目的。
3、训练神经网络模型。视频监控区域中有人员存在时,区域内的人员会被标定并编号,其移动轨迹会在监控显示屏幕右侧显示;当有人员或动物等其他物体误闯入禁区时,此视频监控区域在监控显示屏上进行闪红示警;禁区内的人员识别方法具体为:人员标注框超出一定范围(1/2)已经进入禁区。禁区内的动物等其他物体的识别方法具体为功能1在违禁区域内的实现。超范围作业即工作人员标注框超出一定范围(1/4)已经脱离此设备所在的监控区域。
4、对模型训练结果进行验证。当模型训练结果达到预期效果时,通过验证,执行步骤5,否则调整训练参数,继续训练。
5、将验证通过的模型部署实施到板卡、摄像头等嵌入式设备中。
6、训练神经网络模型。
功能模块3:站内工作人员违章行为自动检测模块,实现站内工作人员违章行为自动检测,包括人员着装检测、工作人员佩戴安全帽及打雨伞情况检测、攀高检测等。
功能模块3实现步骤:
1、采集变电站中工作人员的图像数据;其中所采集的数据应包含变电站内所有工种(不同工种的工作服不同)的图像数据、规范佩戴安全帽与未佩戴安全帽的图像数据、人员撑伞的图像数据等。人员的攀爬行为主要通过人体关键点的检测进行判断。
2、对相关的图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集。
3、训练神经网络模型。当视频监控中的某区域内有人员着装不符合要求时,该类人员的标注框显示为红色并标注警示原因为着装类;当视频监控中的某区域内有人员未佩戴安全帽或者未正确佩戴安全帽时,该类人员的标注框显示为红色并标注警示原因为安全帽类;当视频监控中的某区域内有人员撑伞时,该类人员的标注框显示为红色并标注警示原因为撑伞类;当通过关键点检测到视频监控中的某区域内有人员正在进行攀高动作时,该人员的标注框显示为黄色并标注警示原因为正在进行攀爬。
4、对模型训练结果进行验证。当模型训练结果达到预期效果时,通过验证,执行步骤5,否则调整训练参数,继续训练。
5、将验证通过的模型部署实施到板卡、摄像头等嵌入式设备中。
综上,本发明利用基于卷积神经网络的深度学习目标识别算法,实现:
(1)自动识别图像中各种异物和外观缺陷并标定出异物的位置和种类。
(2)实现监控视频中的人员检测与轨迹跟踪,并对误闯禁区和超范围作业的行为进行报警。
(3)进行站内工作人员违章行为自动检测。
因此,本发明具有如下有益效果:
1:创新地将深度学习模型集成到板卡、摄像头等嵌入式硬件设备中,大大增加了可扩展性和移动便捷性。
2:创新地将边缘计算集成在板卡、摄像头等嵌入式硬件设备中,增加了计算力,有效增强了变电站设备的管控力,增强了变电站安全生产保障能力。
3:在传统的视频监控分析基础上,可结合无人机、机器人和传感器等多种检测监控手段,统筹设备数据,实现面向精益运维、精益检修与精益管控的各类场景的应用,而不只是局限于变电站这一特定应用场景。
本发明优势:
优势1:可以获取全景信息,及时发现、预见故障,并能快速隔离、快速自愈。
优势2:电网运行控制将更加安全、灵活、经济、高效。
优势3:提高了运检精益管理水平,赋能基于数据驱动的智能变电站运维管理发展与效能提升。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。
Claims (8)
1.一种基于深度学***台,其特征在于,包括:
异物和外观缺陷自动识别模块:采集变电站中设备的图像数据,并通过异物和外观缺陷检测的深度学习神经网络模型自动识别图像中各种异物和外观缺陷,标定出异物、外观缺陷的位置和种类;
误闯禁区和超范围作业自动报警模块:采集变电站中的人员图像数据并对其进行轨迹跟踪,并通过误闯禁区和超范围作业自动报警的深度学习神经网络模型对误闯禁区和超范围作业的行为进行自动检测和报警;
站内工作人员违章行为自动检测模块:采集变电站中工作人员的图像数据,并通过站内工作人员违章行为自动检测的深度学习神经网络模型自动检测站内工作人员是否出现违章行为。
2.根据权利要求1所述的一种基于深度学***台,其特征在于:异物和外观缺陷检测的深度学习神经网络模型搭建过程包括如下步骤:
S11:采集变电站中设备的图像数据,该图像数据至少包含异物的图像数据、设备本身的外观图像数据以及当设备上有异物时的外观图像数据三种;
S12:对采集的相关图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集;
S13:训练神经网络模型,当视频监控中的某区域设备上有异物时,此监控区域在监控显示屏上进行闪红示警,并在监控视频中标定出异物的位置及其种类;
S14:对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,否则调整训练参数,继续训练,直至达到预期效果。
3.根据权利要求2所述的一种基于深度学***台,其特征在于:误闯禁区和超范围作业自动报警的深度学习神经网络模型搭建过程包括如下步骤:
S21:对变电站中的违禁区域进行标定,并从不同角度采集站内违禁区域的图像数据,同时采集变电站中的人员图像数据制作数据集,其中所采集的人员图像数据应包含从不同角度拍摄的各种姿态的人员图像数据;
S22:对采集的相关的违禁区域图像数据以及相关的人员图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集,每个标注框的中心点位为人员轨迹的追踪点,某段时间内同一个人的移动,体现为标注框的移动,标注框中心点位的移动轨迹即认定为此人的移动轨迹,进而达到轨迹跟踪的目的;
S23:训练神经网络模型,视频监控区域中有人员存在时,区域内的人员会被标定并编号,其移动轨迹会在监控显示屏幕上显示;当有人员或物体误闯入禁区时,此视频监控区域在监控显示屏上进行闪红示警;
S24:对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,否则调整训练参数,继续训练,直至达到预期效果。
4.根据权利要求3所述的一种基于深度学***台,其特征在于:禁区内的人员识别方法具体为:人员标注框超出设定范围已经进入禁区;超范围作业为工作人员标注框超出设定范围已经脱离此设备所在的监控区域。
5.根据权利要求1所述的一种基于深度学***台,其特征在于:站内工作人员违章行为自动检测的深度学习神经网络模型搭建过程包括如下步骤:
S31:采集变电站中工作人员的图像数据,其中所采集的图像数据应包含变电站内所有工种的图像数据、规范佩戴安全帽与未佩戴安全帽的图像数据、人员撑伞的图像数据;
S32:对相关的图像数据进行标注,制作训练数据集,将其分为训练集、测试集与验证集;
S33:训练神经网络模型,当视频监控中的某区域内有人员着装不符合要求时,该类人员的标注框显示为红色并标注警示原因为着装类;当视频监控中的某区域内有人员未佩戴安全帽或者未正确佩戴安全帽时,该类人员的标注框显示为红色并标注警示原因为安全帽类;当视频监控中的某区域内有人员撑伞时,该类人员的标注框显示为红色并标注警示原因为撑伞类;当通过人体关键点检测到视频监控中的某区域内有人员正在进行攀高动作时,该人员的标注框显示为黄色并标注警示原因为正在进行攀爬;
S34:对模型训练结果进行验证,当模型训练结果达到预期效果时,通过验证,否则调整训练参数,继续训练。
6.根据权利要求1至5中任意一项所述的一种基于深度学***台,其特征在于:将异物和外观缺陷检测的深度学习神经网络模型、误闯禁区和超范围作业自动报警的深度学习神经网络模型、站内工作人员违章行为自动检测的深度学习神经网络模型安装在嵌入式硬件设备中。
7.根据权利要求6所述的一种基于深度学***台,其特征在于:所述嵌入式硬件设备包括板卡和摄像头。
8.根据权利要求7所述的一种基于深度学***台,其特征在于:所述板卡和摄像头安装于无人机和机器人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011243056.1A CN112381778A (zh) | 2020-11-10 | 2020-11-10 | 一种基于深度学***台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011243056.1A CN112381778A (zh) | 2020-11-10 | 2020-11-10 | 一种基于深度学***台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112381778A true CN112381778A (zh) | 2021-02-19 |
Family
ID=74579209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011243056.1A Pending CN112381778A (zh) | 2020-11-10 | 2020-11-10 | 一种基于深度学***台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112381778A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192229A (zh) * | 2021-05-12 | 2021-07-30 | 西安图迹信息科技有限公司 | 一种基于无线蓝牙设备的发电厂巡检方法 |
CN113500596A (zh) * | 2021-07-07 | 2021-10-15 | 上海建工七建集团有限公司 | 动火作业辅助机器人***及其监控方法 |
CN113537007A (zh) * | 2021-07-02 | 2021-10-22 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 应用于铁路站台的非工作人员入侵检测与报警方法和装置 |
CN113743214A (zh) * | 2021-08-02 | 2021-12-03 | 国网安徽省电力有限公司检修分公司 | 一种智能云台摄像机 |
CN114937247A (zh) * | 2022-07-21 | 2022-08-23 | 四川金信石信息技术有限公司 | 一种基于深度学习的变电站监测方法、***、电子设备 |
CN114943884A (zh) * | 2022-06-10 | 2022-08-26 | 慧之安信息技术股份有限公司 | 基于深度学习的设备保护方法 |
CN115690061A (zh) * | 2022-11-08 | 2023-02-03 | 北京国泰星云科技有限公司 | 一种基于视觉的集装箱码头集卡车检测方法 |
CN117197757A (zh) * | 2023-11-07 | 2023-12-08 | 华雁智能科技(集团)股份有限公司 | 变电站禁区闯入监测方法、***及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145789A (zh) * | 2018-08-09 | 2019-01-04 | 炜呈智能电力科技(杭州)有限公司 | 供电***安全作业保障方法及*** |
CN110246175A (zh) * | 2019-05-24 | 2019-09-17 | 国网安徽省电力有限公司检修分公司 | 全景相机与云台相机结合的变电站巡检机器人图像检测***及方法 |
CN110807353A (zh) * | 2019-09-03 | 2020-02-18 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于深度学习的变电站异物识别方法、装置及*** |
CN111144232A (zh) * | 2019-12-09 | 2020-05-12 | 国网智能科技股份有限公司 | 基于智能视频监控的变电站电子围栏监测方法、存储介质及设备 |
-
2020
- 2020-11-10 CN CN202011243056.1A patent/CN112381778A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145789A (zh) * | 2018-08-09 | 2019-01-04 | 炜呈智能电力科技(杭州)有限公司 | 供电***安全作业保障方法及*** |
CN110246175A (zh) * | 2019-05-24 | 2019-09-17 | 国网安徽省电力有限公司检修分公司 | 全景相机与云台相机结合的变电站巡检机器人图像检测***及方法 |
CN110807353A (zh) * | 2019-09-03 | 2020-02-18 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于深度学习的变电站异物识别方法、装置及*** |
CN111144232A (zh) * | 2019-12-09 | 2020-05-12 | 国网智能科技股份有限公司 | 基于智能视频监控的变电站电子围栏监测方法、存储介质及设备 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192229A (zh) * | 2021-05-12 | 2021-07-30 | 西安图迹信息科技有限公司 | 一种基于无线蓝牙设备的发电厂巡检方法 |
CN113537007A (zh) * | 2021-07-02 | 2021-10-22 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 应用于铁路站台的非工作人员入侵检测与报警方法和装置 |
CN113500596B (zh) * | 2021-07-07 | 2023-03-31 | 上海建工七建集团有限公司 | 动火作业辅助机器人***及其监控方法 |
CN113500596A (zh) * | 2021-07-07 | 2021-10-15 | 上海建工七建集团有限公司 | 动火作业辅助机器人***及其监控方法 |
CN113743214A (zh) * | 2021-08-02 | 2021-12-03 | 国网安徽省电力有限公司检修分公司 | 一种智能云台摄像机 |
CN113743214B (zh) * | 2021-08-02 | 2023-12-12 | 国网安徽省电力有限公司超高压分公司 | 一种智能云台摄像机 |
CN114943884A (zh) * | 2022-06-10 | 2022-08-26 | 慧之安信息技术股份有限公司 | 基于深度学习的设备保护方法 |
CN114937247B (zh) * | 2022-07-21 | 2022-11-01 | 四川金信石信息技术有限公司 | 一种基于深度学习的变电站监测方法、***、电子设备 |
CN114937247A (zh) * | 2022-07-21 | 2022-08-23 | 四川金信石信息技术有限公司 | 一种基于深度学习的变电站监测方法、***、电子设备 |
CN115690061A (zh) * | 2022-11-08 | 2023-02-03 | 北京国泰星云科技有限公司 | 一种基于视觉的集装箱码头集卡车检测方法 |
CN115690061B (zh) * | 2022-11-08 | 2024-01-05 | 北京国泰星云科技有限公司 | 一种基于视觉的集装箱码头集卡车检测方法 |
CN117197757A (zh) * | 2023-11-07 | 2023-12-08 | 华雁智能科技(集团)股份有限公司 | 变电站禁区闯入监测方法、***及电子设备 |
CN117197757B (zh) * | 2023-11-07 | 2024-01-23 | 华雁智能科技(集团)股份有限公司 | 变电站禁区闯入监测方法、***及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112381778A (zh) | 一种基于深度学***台 | |
CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
CN112785798B (zh) | 面向电力变电站工程建设项目施工人员的行为分析方法 | |
CN103069434B (zh) | 用于多模式视频事件索引的方法和*** | |
CN111080260A (zh) | 一种智慧工地管理平台 | |
CN105989682A (zh) | 一种输电线路线下施工机械安全预警监控***及监控方法 | |
CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位*** | |
CN107145851A (zh) | 建筑作业区危险源智能识别*** | |
CN108491758A (zh) | 一种轨道检测方法及机器人 | |
CN201278180Y (zh) | 一种自动追踪识别*** | |
CN104787084A (zh) | 一种铁路异物侵限检测***及检测方法 | |
CN101751744A (zh) | 一种烟雾检测和预警方法 | |
CN104994334A (zh) | 基于实时视频的变电站自动监控方法 | |
CN103259206A (zh) | 基于计算机视觉定位技术的变电站作业安全管控*** | |
CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
CN103152558B (zh) | 基于场景识别的入侵检测方法 | |
CN111753705B (zh) | 一种基于视频分析的智慧工地安全作业的检测方法 | |
CN108846331A (zh) | 一种动车组底盘螺丝紧固件是否脱落的视频识别方法 | |
CN109241847A (zh) | 基于视觉图像的油田作业区安全监控*** | |
CN114267011A (zh) | 配电间带电设备误操作检测*** | |
CN201037962Y (zh) | 一种电子桩考*** | |
CN117115728A (zh) | 一种应用于变电站现场作业的风险识别方法及*** | |
CN109345787A (zh) | 一种基于智能图像识别技术的输电线路防外损监控报警*** | |
Li et al. | Application research of artificial intelligent technology in substation inspection tour | |
CN103489202A (zh) | 基于视频的入侵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |