CN112347916A - 基于视频图像分析的电力现场作业安全监控方法及装置 - Google Patents

基于视频图像分析的电力现场作业安全监控方法及装置 Download PDF

Info

Publication number
CN112347916A
CN112347916A CN202011224459.1A CN202011224459A CN112347916A CN 112347916 A CN112347916 A CN 112347916A CN 202011224459 A CN202011224459 A CN 202011224459A CN 112347916 A CN112347916 A CN 112347916A
Authority
CN
China
Prior art keywords
image
acquiring
violation
area
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011224459.1A
Other languages
English (en)
Other versions
CN112347916B (zh
Inventor
徐海青
陈是同
陶俊
赵云龙
吴小华
毛舒乐
林胜
张天奇
浦正国
杨彬彬
李小威
宋杰
石锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd, Anhui Jiyuan Software Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN202011224459.1A priority Critical patent/CN112347916B/zh
Publication of CN112347916A publication Critical patent/CN112347916A/zh
Application granted granted Critical
Publication of CN112347916B publication Critical patent/CN112347916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了基于视频图像分析的电力现场作业安全监控方法及装置，包括：基于静态图像进行绝对违章状态分析，获取电力现场作业监控视频的静态图像并进行预处理；通过聚类算法获取图像中的作业人员目标区域；获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；本发明通过基于多种图像区域的特征融合，实现了对人体和环境交互特征的融合，同时融合了人体骨架关键点位置特征，提高了行为种类识别判断的准确性，通过关键区域的高效特征表示进行行为种类分析，减少冗余图像信息带来的计算量。

Description

基于视频图像分析的电力现场作业安全监控方法及装置
技术领域
本发明涉及电力安全技术领域，具体涉及基于视频图像分析的电力现场作业安全监控方法及装置。
背景技术
近几年来，为了有效保障电力作业现场工作人员的安全和对用户供电的连续性、稳定性，国家电网对电力的安全生产和管理提出了更高的要求。但是，由于相关监督部门监督不当，管理人员的管理失职和电力作业施工人员本身对规章制度的不遵守或理解不到位，容易导致大型安全事故的发生。
围绕及时发现现场作业人员在作业现场是否存在潜在风险的行为问题，大多是采用人工设计并提取特征再进行行为识别分类，这样不仅存在人工设计特征的复杂性问题，还存在鲁棒性和推广性差问题，而对于采用深度学习的方法来进行行为识别，相比于传统的基于人工特征方法进行行为分析，采用深度学习方法的模型能够自动地获取有意义的分层特征表示，然而，从电力现场获取的视频片段更加复杂，如何从视频图像中提取有效的特征仍然是众多研究人员的核心工作。
发明内容
针对上述现有技术存在的问题，本发明提供了基于视频图像分析的电力现场作业安全监控方法，包括如下步骤：
(1)基于静态图像进行绝对违章状态分析
获取电力现场作业监控视频的静态图像并进行预处理；
通过聚类算法获取图像中的作业人员目标区域；
通过关键点检测模型获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；
结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；
(2)基于动态视频进行轨迹违章分析
基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系；
获取待分析的施工区域监控视频图像，对出现的作业人员进行人脸识别获取身份信息，基于人脸识别结果获取工作人员工种和工作人员资质等级；
基于施工现场区域环境参数、工作人员工种、工作人员资质根据拟合关系，预测施工区域相对于工作人员的危险等级；
当预测的危险等级大于第二预设值时发出告警信息。
作为上述方案的进一步优化，所述绝对违章现象包括带电作业未佩戴绝缘手套、接地线挂接不牢靠、现场规范着装、典型违章行为，所述轨迹违章包括警戒区域闯入。
作为上述方案的进一步优化，所述通过聚类算法获取图像中的目标区域，包括：
(31)根据预设第一计算方法获取静态图像中点的密度；
(32)以密度最大的点作为第一聚类中心，对以第一聚类中心为原点预设半径范围的点根据预设第二计算方法进行密度削减；
(33)在非聚类中心的所有点中获取密度最大的点，判断密度最大的点的密度值是否大于预设第一阈值，若是则将所述非聚类中心的所有点中密度最大的点作为下一聚类中心，对以下一聚类中心为原点预设半径范围的点根据预设第二计算方法进行密度削减，重复步骤(33)；否则进入步骤(34)；
(34)完成所有目标区域的获取，获取多个聚类中心形成的聚类区域作为目标区域。
作为上述方案的进一步优化，所述通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果，包括：
将人体分区域图像和所述作业人员目标区域输入第一卷积神经网络，经过第一卷积层网络进行特征提取，并将提取的特征输入特征融合层网络进行特征融合，基于融合特征输入第一分类层网络获取图像分类结果；
将所述静态图像整体输入第二卷积神经网络，经过第二卷积层网络进行特征提取，并将提取的特征输入第二分类层网络获取图像分类结果；
所述第一分类层网络和第二分类层网络输出结果输入分类融合层网络获取作业人员行为种类的概率。
作为上述方案的进一步优化，所述第一卷积神经网络和第二卷积神经网络在训练时，采用不同模型参数作为初始化模型参数进行训练，分别在第一分类层和第二分类层后通过计算输出结果的损失函数值进行反向传播修正模型参数。
作为上述方案的进一步优化，所述人体分区域图像的获取方法包括：
基于人体骨架关键点图像数据集进行关键点检测模型的训练；
将所述静态图像输入关键点检测模型获取关键点位置检测和分类；
获取包含单人所有关键点且面积最小的区域图像，并根据人体关键点类别将所述区域图像分为至少一个分区域。
作为上述方案的进一步优化，所述关键点检测模型进行关键点检测的方法为：
通过高分辨率网络对输入图像进行特征提取获取多种分辨率不同的特征图；
从高分辨率网络输出的所述特征图中选择一个输入至少两个扩张率不同的空洞卷积层获取不同尺度的特征图，所述空洞卷积层的输出通道均为256；
将多个尺度的特征图进行融合获取融合特征图；
基于融合特征图计算图像上每个点为关键点的概率，获取概率最大点点作为关键点。
作为上述方案的进一步优化，所述基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系，采用神经网络进行拟合。
本发明还提供了基于视频图像分析的电力现场作业安全监控装置，包括：
绝对违章状态分析模块，用于基于静态图像进行绝对违章状态分析，包括：
静态图像预处理单元，用于获取电力现场作业监控视频的静态图像并进行预处理；
目标区域提取单元，用于通过聚类算法获取图像中的作业人员目标区域；
分区域图像获取单元，用于通过关键点检测模型获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；
行为种类分析单元，用于结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；
轨迹违章分析模块，用于基于动态视频进行轨迹违章分析，包括：
相关参数拟合单元，用于基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系；
作业人员信息获取单元，用于获取待分析的施工区域监控视频图像，对出现的作业人员进行人脸识别获取身份信息，基于人脸识别结果获取工作人员工种和工作人员资质等级；
作业人员轨迹违章分析单元，用于基于施工现场区域环境参数、工作人员工种、工作人员资质根据拟合关系，预测施工区域相对于工作人员的危险等级，当预测的危险等级大于第二预设值时发出告警信息。
作为上述方案的进一步优化，所述绝对违章现象包括带电作业未佩戴绝缘手套、接地线挂接不牢靠、现场规范着装、典型违章行为，所述轨迹违章包括警戒区域闯入。
本发明的一种基于视频图像分析的电力现场作业安全监控方法及装置，具备如下有益效果：
通过结合分区域图像、作业人员目标区域图像以及静态图像整体图像，基于多种图像区域的特征融合，尤其是人体关键区域和包含环境图像和人体图像的整体图像结合，实现了对人体和环境交互特征的融合，提高作业人员行为种类分类判断的准确性，并且其中融合了人体骨架关键点位置信息形成的分区域图像，实现通过关键区域的高效特征表示进行行为种类分析，减少冗余图像信息带来的计算量。
附图说明
图1是本申请实施例的基于视频图像分析的电力现场作业安全监控方法的整体流程框图；
图2是图1中卷积神经网络模型的结构框图；
图3是图1中卷积神经网络模型判断作业人员行为种类获取违章行为分析结果的方法流程框图；
图4是图1中获取作业人员目标区域以及分区域图像的方法流程框图；
图5是本申请实施例的基于视频图像分析的电力现场作业安全监控装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的基于视频图像分析的电力现场作业安全监控方法，包括对绝对违章状态和轨迹违章行为进行监控，具体的绝对违章状态包括带电作业未佩戴绝缘手套、接地线挂接不牢靠、现场规范着装、典型违章行为，轨迹违章包括警戒区域闯入。
对于上述五大类违章行为的监控分析，本申请实施例提供的方法包括如下步骤：
(1)基于静态图像进行绝对违章状态分析
获取电力现场作业监控视频的静态图像并进行预处理，优选的电力现场监控视频图像包括三维图像数据，以为后续图像分析提供更多特征；
通过聚类算法获取图像中的作业人员目标区域；
通过关键点检测模型获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；
结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；
本实施例中，通过结合分区域图像、作业人员目标区域图像以及静态图像整体图像，基于多种图像区域的特征融合，尤其是人体关键区域和包含环境图像和人体图像的整体图像结合，实现了对人体和环境交互特征的融合，提高作业人员行为种类分类判断的准确性，并且其中融合了人体骨架关键点位置信息形成的分区域图像，实现通过关键区域的高效特征表示进行行为种类分析，减少冗余图像信息带来的计算量。
(2)基于动态视频进行轨迹违章分析
基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系；
获取待分析的施工区域监控视频图像，对出现的作业人员进行人脸识别获取身份信息，基于人脸识别结果获取工作人员工种和工作人员资质等级；
基于施工现场区域环境参数、工作人员工种、工作人员资质根据拟合关系，预测施工区域相对于工作人员的危险等级；
当预测的危险等级大于第二预设值时发出告警信息。
本实施例中，考虑到在电力现场影响作业人员安全的因素包括工作人员资质即自身安全能力情况等主观因素和施工现场区域环境参数即客观因素，不同安全能力的工作人员在同一工作区域的危险等级不同，所以采用针对不同工作人员确定不同危险区域的方法，其中工作人员资质通过将人员信息结合培训记录、安全考试信息、参与工程项目信息、违章记录等信息融合进行安全综合能力分析。其中，环境参数包括电力设备的安全状态和作业工具的安全状态。
本实施例中，采用卷积神经网络拟合施工现场区域环境参数、工作人员工种、工作人员资质等级信息和施工区域危险等级预测值之间的关系，基于施工现场区域环境参数、工作人员工种、工作人员资质等级信息作为网络的输入特征数据，经过多层卷积层的进行深度特征提取，在分类层经过softmax输出各个进入施工现场的工作人员的不同危险等级的概率，其中概率最大的危险等级作为预测结果，当危险等级超出预设范围值时视为工作人员警戒区域闯入，属于轨迹违章。
本实施例中，上述通过聚类算法获取图像中的目标区域，包括如下步骤：
(31)根据预设第一计算方法获取静态图像中点的密度，以静态图像采用三维图像数据为例，第一计算方法为：
Figure BDA0002763187060000061
其中，rax,ray,raz分别是图像中以点(xi,yi,zi)为中心点在三维方向上的长度范围数值，该三维方向上的长度范围形成一个以点(xi,yi,zi)为中心点的长方体空间范围；
(32)以密度最大的点作为第一聚类中心，对以第一聚类中心为原点预设半径范围的点根据预设第二计算方法进行密度削减，所述第二计算方法为：
Figure BDA0002763187060000062
其中，(xc,yc,zc)为聚类中心坐标，Dc为点(xc,yc,zc)的密度值，rbx,rby,rbz分别是以聚类中心为中心点在三维方向上的长度范围数值，即需要进行密度削减的点的范围，优选的rbx,rby,rbz的取值分别是rax,ray,raz的1.5倍；
(33)在非聚类中心的所有点中获取密度最大的点，判断密度最大的点的密度值是否大于预设第一阈值，若是则将所述非聚类中心的所有点中密度最大的点作为下一聚类中心，对以下一聚类中心为原点预设半径范围的点根据预设第二计算方法进行密度削减，重复步骤(33)；否则进入步骤(34)；
(34)完成所有目标区域的获取，获取多个聚类中心形成的聚类区域作为目标区域。
基于深度摄像设备采集三维图像数据和三维的点云密度减法聚类,比较准确的提取图像中单个作业人员的聚类区域，即目标区域，有效减小目标区域的冗余图像数据。
上述通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果，本实施例中该卷积神经网络模型采用两个，分别对人体分区域图像、作业人员目标区域和静态图像整体图像进行图像特征提取和行为种类判断分类，具体的方法包括如下步骤：
将人体分区域图像和所述作业人员目标区域输入第一卷积神经网络，经过第一卷积层网络进行特征提取，并将提取的特征输入特征融合层网络进行特征融合，基于融合特征输入第一分类层网络获取图像分类结果；
将静态图像整体图像输入第二卷积神经网络，经过第二卷积层网络进行特征提取，并将提取的特征输入第二分类层网络获取图像分类结果；
将第一分类层网络和第二分类层网络输出结果输入分类融合层网络获取作业人员行为种类的概率。
本实施例中，第一卷积神经网络和第二卷积神经网络在训练时，采用不同模型参数作为初始化模型参数进行训练，分别在第一分类层和第二分类层后通过计算输出结果的损失函数值进行反向传播修正模型参数，优选的，第二卷积神经网络模型的初始化参数采用本实施例中关键点检测模型的模型参数，即第二卷积网络模型在训练时融合了有助于行为分类判断的关键点特征信息，提高了第二卷积网络模型的行为分类准确性，同时在第一卷积网络中基于输入数据为人体分区域图像和作业人员目标区域，其中的人体分区域图像是基于人体骨架关键点位置获得的，作业人员目标区域图像提供作业人员的轮廓特征，缩减了图像分析范围，提高模型训练速度和作业人员行为种类识别准确性。
上述人体分区域图像的获取方法包括：
基于人体骨架关键点图像数据集进行关键点检测模型的训练；
将静态图像输入关键点检测模型获取关键点位置检测和分类，在该模型基于输入图像进行关键点检测的方法，包括：
通过高分辨率网络对输入图像进行特征提取获取多种分辨率不同的特征图，该高分辨率网络中由原始输入图像并行获取多个分辨率不同的特征图，并进行多种分辨率特征之间的融合，输出的每个分辨率不同的特征图像均融合了不同分辨率特征信息，然后通过下述步骤进行多个不同分辨率特征图的融合获取一个最终的融合特征图；
从高分辨率网络输出的特征图中选择一个输入至少两个扩张率不同的空洞卷积层获取不同尺度的特征图，空洞卷积层的输出通道均为256，优选的，从高分辨率网络输出的特征图中选择分辨率最低的一个输入至少两个扩张率不同的空洞卷积层；
将多个尺度的特征图进行融合获取融合特征图；
基于融合特征图计算图像上每个点为关键点的概率，获取概率最大的点作为关键点位置；
获取包含单人所有关键点且面积最小的区域图像，单人所有关键点包括：左眼、右眼、左耳、右耳、左手、右手等，并根据人体关键点类别将所述区域图像分为至少一个分区域，比如将属于头部的所有关键点划分为一类作为一个分区域，考虑到在一张图像中具有多个作业人员时，包含单人所有关键点且面积最小的区域图像中可能包含的并不是同一个人的关键点，所以对分类关键点分区域的面积大小进行限定，当面积小于预设值时，该区域内包含的关键点判定为非同一个人的关键点，可以理解的是，包含单人所有关键点且面积最小的区域图像内不会具有相同的关键点。
本实施例还提供了一种基于视频图像分析的电力现场作业安全监控装置，用于对绝对违章状态和轨迹违章行为进行监控，其中绝对违章状态包括带电作业未佩戴绝缘手套、接地线挂接不牢靠、现场规范着装、典型违章行为，轨迹违章包括警戒区域闯入，本实施例的电力现场作业安全监控装置包括：
绝对违章状态分析模块，用于基于静态图像进行绝对违章状态分析，包括：
静态图像预处理单元，用于获取电力现场作业监控视频的静态图像并进行预处理；
目标区域提取单元，用于通过聚类算法获取图像中的作业人员目标区域；
分区域图像获取单元，用于通过关键点检测模型获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；
行为种类分析单元，用于结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；
轨迹违章分析模块，用于基于动态视频进行轨迹违章分析，包括：
相关参数拟合单元，用于基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系；
作业人员信息获取单元，用于获取待分析的施工区域监控视频图像，对出现的作业人员进行人脸识别获取身份信息，基于人脸识别结果获取工作人员工种和工作人员资质等级；
作业人员轨迹违章分析单元，用于基于施工现场区域环境参数、工作人员工种、工作人员资质根据拟合关系，预测施工区域相对于工作人员的危险等级；
当预测的危险等级大于第二预设值时发出告警信息。
关于电力现场作业安全监控装置的具体限定可以参见上文中对于电力现场作业安全监控方法的限定，在此不再赘述。上述电力现场作业安全监控装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (10)

1.基于视频图像分析的电力现场作业安全监控方法，其特征在于，包括如下步骤：
(1)基于静态图像进行绝对违章状态分析
获取电力现场作业监控视频的静态图像并进行预处理；
通过聚类算法获取图像中的作业人员目标区域；
通过关键点检测模型获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；
结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；
(2)基于动态视频进行轨迹违章分析
基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系；
获取待分析的施工区域监控视频图像，对出现的作业人员进行人脸识别获取身份信息，基于人脸识别结果获取工作人员工种和工作人员资质等级；
基于施工现场区域环境参数、工作人员工种、工作人员资质根据拟合关系，预测施工区域相对于工作人员的危险等级；
当预测的危险等级大于第二预设值时发出告警信息。
2.根据权利要求1所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述绝对违章现象包括带电作业未佩戴绝缘手套、接地线挂接不牢靠、现场规范着装、典型违章行为，所述轨迹违章包括警戒区域闯入。
3.根据权利要求1所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述通过聚类算法获取图像中的目标区域，包括：
(31)根据预设第一计算方法获取静态图像中点的密度；
(32)以密度最大的点作为第一聚类中心，对以第一聚类中心为原点预设半径范围的点根据预设第二计算方法进行密度削减；
(33)在非聚类中心的所有点中获取密度最大的点，判断密度最大的点的密度值是否大于预设第一阈值，若是则将所述非聚类中心的所有点中密度最大的点作为下一聚类中心，对以下一聚类中心为原点预设半径范围的点根据预设第二计算方法进行密度削减，重复步骤(33)；否则进入步骤(34)；
(34)完成所有目标区域的获取，获取多个聚类中心形成的聚类区域作为目标区域。
4.根据权利要求3所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果，包括：
将人体分区域图像和所述作业人员目标区域输入第一卷积神经网络，经过第一卷积层网络进行特征提取，并将提取的特征输入特征融合层网络进行特征融合，基于融合特征输入第一分类层网络获取图像分类结果；
将所述静态图像整体输入第二卷积神经网络，经过第二卷积层网络进行特征提取，并将提取的特征输入第二分类层网络获取图像分类结果；
所述第一分类层网络和第二分类层网络输出结果输入分类融合层网络获取作业人员行为种类的概率。
5.根据权利要求4所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述第一卷积神经网络和第二卷积神经网络在训练时，采用不同模型参数作为初始化模型参数进行训练，分别在第一分类层和第二分类层后通过计算输出结果的损失函数值进行反向传播修正模型参数。
6.根据权利要求4所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述人体分区域图像的获取方法包括：
基于人体骨架关键点图像数据集进行关键点检测模型的训练；
将所述静态图像输入关键点检测模型获取关键点位置检测和分类；
获取包含单人所有关键点且面积最小的区域图像，并根据人体关键点类别将所述区域图像分为至少一个分区域。
7.根据权利要求6所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述关键点检测模型进行关键点检测的方法为：
通过高分辨率网络对输入图像进行特征提取获取多种分辨率不同的特征图；
从高分辨率网络输出的所述特征图中选择一个输入至少两个扩张率不同的空洞卷积层获取不同尺度的特征图，所述空洞卷积层的输出通道均为256；
将多个尺度的特征图进行融合获取融合特征图；
基于融合特征图计算图像上每个点为关键点的概率，获取概率最大点点作为关键点。
8.根据权利要求1所述的基于视频图像分析的电力现场作业安全监控方法，其特征在于，所述基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系，采用神经网络进行拟合。
9.基于视频图像分析的电力现场作业安全监控装置，其特征在于，包括：
绝对违章状态分析模块，用于基于静态图像进行绝对违章状态分析，包括：
静态图像预处理单元，用于获取电力现场作业监控视频的静态图像并进行预处理；
目标区域提取单元，用于通过聚类算法获取图像中的作业人员目标区域；
分区域图像获取单元，用于通过关键点检测模型获取目标区域内的人体骨架关键点位置，并获取人体分区域图像；
行为种类分析单元，用于结合分区域图像、作业人员目标区域图像以及静态图像整体图像通过卷积神经网络模型判断作业人员行为种类获取违章行为分析结果；
轨迹违章分析模块，用于基于动态视频进行轨迹违章分析，包括：
相关参数拟合单元，用于基于训练数据拟合施工现场区域环境参数、工作人员工种、工作人员资质等级与施工区域危险等级预测值之间的关系；
作业人员信息获取单元，用于获取待分析的施工区域监控视频图像，对出现的作业人员进行人脸识别获取身份信息，基于人脸识别结果获取工作人员工种和工作人员资质等级；
作业人员轨迹违章分析单元，用于基于施工现场区域环境参数、工作人员工种、工作人员资质根据拟合关系，预测施工区域相对于工作人员的危险等级，当预测的危险等级大于第二预设值时发出告警信息。
10.根据权利要求9所述的基于视频图像分析的电力现场作业安全监控装置，其特征在于，所述绝对违章现象包括带电作业未佩戴绝缘手套、接地线挂接不牢靠、现场规范着装、典型违章行为，所述轨迹违章包括警戒区域闯入。
CN202011224459.1A 2020-11-05 2020-11-05 基于视频图像分析的电力现场作业安全监控方法及装置 Active CN112347916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011224459.1A CN112347916B (zh) 2020-11-05 2020-11-05 基于视频图像分析的电力现场作业安全监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011224459.1A CN112347916B (zh) 2020-11-05 2020-11-05 基于视频图像分析的电力现场作业安全监控方法及装置

Publications (2)

Publication Number Publication Date
CN112347916A true CN112347916A (zh) 2021-02-09
CN112347916B CN112347916B (zh) 2023-11-17

Family

ID=74428579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011224459.1A Active CN112347916B (zh) 2020-11-05 2020-11-05 基于视频图像分析的电力现场作业安全监控方法及装置

Country Status (1)

Country Link
CN (1) CN112347916B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159633A (zh) * 2021-05-11 2021-07-23 河北云酷科技有限公司 一种工业领域现场作业人员风险等级评定的方法
CN113240695A (zh) * 2021-06-02 2021-08-10 四川轻化工大学 基于姿态感知的电力作业人员穿戴识别方法
CN113361968A (zh) * 2021-07-05 2021-09-07 广东电网有限责任公司佛山供电局 基于人工智能和大数据的电网基建人员安全风险评估方法
CN113516383A (zh) * 2021-06-30 2021-10-19 南通四建集团有限公司 一种建筑施工安全管控方法和装置
CN114092888A (zh) * 2021-12-03 2022-02-25 国网四川省电力公司电力科学研究院 一种电力作业实验室实验人员触电风险检测***
CN115171006A (zh) * 2022-06-15 2022-10-11 武汉纺织大学 基于深度学习的自动识别人员进入电力危险区的检测方法
CN115392407A (zh) * 2022-10-28 2022-11-25 中建五局第三建设有限公司 基于无监督学习的危险源预警方法、装置、设备及介质
CN115797850A (zh) * 2023-02-06 2023-03-14 中国石油大学(华东) 基于视频流的油田生产安全预警分析***
CN116108397A (zh) * 2022-12-22 2023-05-12 福建亿榕信息技术有限公司 融合多模态数据分析的电力现场作业违章行为识别方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086513A1 (zh) * 2016-11-08 2018-05-17 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管***及方法
CN108776814A (zh) * 2018-06-01 2018-11-09 广东电网有限责任公司 一种电力通信数据资源并行化聚类方法
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技（杭州）有限公司 供电***安全作业保障方法及***
CN109218673A (zh) * 2018-09-20 2019-01-15 国网江苏省电力公司泰州供电公司 基于人工智能实现配电网施工安全协同管理控制的***及方法
CN110119656A (zh) * 2018-02-07 2019-08-13 中国石油化工股份有限公司 作业现场违章人员的智能监控***及现场违章监控方法
CN110425005A (zh) * 2019-06-21 2019-11-08 中国矿业大学 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN110443143A (zh) * 2019-07-09 2019-11-12 武汉科技大学 多分支卷积神经网络融合的遥感图像场景分类方法
WO2019218621A1 (zh) * 2018-05-18 2019-11-21 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN110610592A (zh) * 2019-09-25 2019-12-24 捻果科技(深圳)有限公司 一种视频分析和深度学习的机坪安全运行监控方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN110991315A (zh) * 2019-11-28 2020-04-10 江苏电力信息技术有限公司 一种基于深度学习的安全帽佩戴状态实时检测方法
CN111027481A (zh) * 2019-12-10 2020-04-17 浩云科技股份有限公司 基于人体关键点检测的行为分析方法及装置
CN111079658A (zh) * 2019-12-19 2020-04-28 夸氪思维(南京)智能技术有限公司 基于视频的多目标连续行为分析方法、***、装置
CN111339883A (zh) * 2020-02-19 2020-06-26 国网浙江省电力有限公司 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN111414873A (zh) * 2020-03-26 2020-07-14 广州粤建三和软件股份有限公司 基于安全帽佩戴状态的告警提示方法、装置和告警***
CN111460988A (zh) * 2020-03-31 2020-07-28 国网河北省电力有限公司沧州供电分公司 一种违规行为识别方法及装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及***
CN111582129A (zh) * 2020-04-30 2020-08-25 中铁工程装备集团有限公司 一种盾构机司机工作状态实时监测报警方法及装置
CN111652128A (zh) * 2020-06-02 2020-09-11 浙江大华技术股份有限公司 一种高空电力作业安全监测方法、***和存储装置
CN111832443A (zh) * 2020-06-28 2020-10-27 华中科技大学 一种施工违规行为检测模型的构建方法及其应用

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086513A1 (zh) * 2016-11-08 2018-05-17 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管***及方法
CN110119656A (zh) * 2018-02-07 2019-08-13 中国石油化工股份有限公司 作业现场违章人员的智能监控***及现场违章监控方法
WO2019218621A1 (zh) * 2018-05-18 2019-11-21 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN108776814A (zh) * 2018-06-01 2018-11-09 广东电网有限责任公司 一种电力通信数据资源并行化聚类方法
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技（杭州）有限公司 供电***安全作业保障方法及***
CN109218673A (zh) * 2018-09-20 2019-01-15 国网江苏省电力公司泰州供电公司 基于人工智能实现配电网施工安全协同管理控制的***及方法
CN110425005A (zh) * 2019-06-21 2019-11-08 中国矿业大学 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN110443143A (zh) * 2019-07-09 2019-11-12 武汉科技大学 多分支卷积神经网络融合的遥感图像场景分类方法
CN110610592A (zh) * 2019-09-25 2019-12-24 捻果科技(深圳)有限公司 一种视频分析和深度学习的机坪安全运行监控方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN110991315A (zh) * 2019-11-28 2020-04-10 江苏电力信息技术有限公司 一种基于深度学习的安全帽佩戴状态实时检测方法
CN111027481A (zh) * 2019-12-10 2020-04-17 浩云科技股份有限公司 基于人体关键点检测的行为分析方法及装置
CN111079658A (zh) * 2019-12-19 2020-04-28 夸氪思维(南京)智能技术有限公司 基于视频的多目标连续行为分析方法、***、装置
CN111339883A (zh) * 2020-02-19 2020-06-26 国网浙江省电力有限公司 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN111414873A (zh) * 2020-03-26 2020-07-14 广州粤建三和软件股份有限公司 基于安全帽佩戴状态的告警提示方法、装置和告警***
CN111460988A (zh) * 2020-03-31 2020-07-28 国网河北省电力有限公司沧州供电分公司 一种违规行为识别方法及装置
CN111582129A (zh) * 2020-04-30 2020-08-25 中铁工程装备集团有限公司 一种盾构机司机工作状态实时监测报警方法及装置
CN111652128A (zh) * 2020-06-02 2020-09-11 浙江大华技术股份有限公司 一种高空电力作业安全监测方法、***和存储装置
CN111832443A (zh) * 2020-06-28 2020-10-27 华中科技大学 一种施工违规行为检测模型的构建方法及其应用
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG-PING HU等: "Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》, pages 1 - 11 *
王云峰: "基于深度学习的视频人体动作识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2019, no. 1, pages 138 - 2392 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159633A (zh) * 2021-05-11 2021-07-23 河北云酷科技有限公司 一种工业领域现场作业人员风险等级评定的方法
CN113240695A (zh) * 2021-06-02 2021-08-10 四川轻化工大学 基于姿态感知的电力作业人员穿戴识别方法
CN113516383A (zh) * 2021-06-30 2021-10-19 南通四建集团有限公司 一种建筑施工安全管控方法和装置
CN113516383B (zh) * 2021-06-30 2024-05-03 南通四建集团有限公司 一种建筑施工安全管控方法和装置
CN113361968B (zh) * 2021-07-05 2023-01-20 广东电网有限责任公司佛山供电局 基于人工智能和大数据的电网基建人员安全风险评估方法
CN113361968A (zh) * 2021-07-05 2021-09-07 广东电网有限责任公司佛山供电局 基于人工智能和大数据的电网基建人员安全风险评估方法
CN114092888B (zh) * 2021-12-03 2023-05-02 国网四川省电力公司电力科学研究院 一种电力作业实验室实验人员触电风险检测***
CN114092888A (zh) * 2021-12-03 2022-02-25 国网四川省电力公司电力科学研究院 一种电力作业实验室实验人员触电风险检测***
CN115171006A (zh) * 2022-06-15 2022-10-11 武汉纺织大学 基于深度学习的自动识别人员进入电力危险区的检测方法
CN115392407A (zh) * 2022-10-28 2022-11-25 中建五局第三建设有限公司 基于无监督学习的危险源预警方法、装置、设备及介质
CN116108397A (zh) * 2022-12-22 2023-05-12 福建亿榕信息技术有限公司 融合多模态数据分析的电力现场作业违章行为识别方法
CN116108397B (zh) * 2022-12-22 2024-01-09 福建亿榕信息技术有限公司 融合多模态数据分析的电力现场作业违章行为识别方法
CN115797850A (zh) * 2023-02-06 2023-03-14 中国石油大学(华东) 基于视频流的油田生产安全预警分析***

Also Published As

Publication number Publication date
CN112347916B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN112347916B (zh) 基于视频图像分析的电力现场作业安全监控方法及装置
CN111428617A (zh) 一种基于视频图像的配网违规检修行为的识别方法和***
CN106778650A (zh) 基于多类型信息融合的场景自适应行人检测方法和***
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及***
CN116110012B (zh) 用于智慧工地的危险违规动作识别方法及***
CN111401131A (zh) 隧道管廊的图像处理方法、装置、计算机设备和存储介质
CN115880722A (zh) 一种配电作业人员穿戴的智能识别方法、***和介质
CN114022846A (zh) 作业车辆的防碰撞监控方法、装置、设备和介质
CN113569682A (zh) 一种智能捕捉矿井识别要素的视频监测方法及装置
CN112381435A (zh) 水电站作业过程动态风险的网格化定向推送管理方法
CN114665608A (zh) 用于变电站的智能感知巡检***及方法
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及***
CN113743725B (zh) 基于边缘计算的登高作业人员的登高资质检测方法及***
CN116579601B (zh) 矿山安全生产风险监测预警***及方法
CN113688713A (zh) 基于危险行为识别的线缆保护方法、装置、***和介质
CN117392611A (zh) 工地安全监测方法、***、设备及存储介质
CN113128760A (zh) 安全生产的双控管理方法、装置、设备及存储介质
CN116524428A (zh) 基于目标检测及场景融合的电力作业安全风险识别方法
CN115909212A (zh) 一种电力作业典型违章行为实时预警方法
CN114241400A (zh) 电网***的监控方法及其装置、计算机可读存储介质
CN115311560A (zh) 一种输电通道外破隐患辨识方法及装置
CN114821806A (zh) 作业人员行为确定方法、装置、电子设备及存储介质
CN112883889A (zh) 一种适用于电力施工场景下违章行为检测方法
CN115082865B (zh) 基于视觉图像识别的桥机入侵危险行为预警方法及***
CN111126771A (zh) 基于区域关注度预测安检员识图质量监督保障***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant