CN115240365A - 一种融合多维信息的电力作业人员危险态势动态感知方法 - Google Patents

一种融合多维信息的电力作业人员危险态势动态感知方法 Download PDF

Info

Publication number
CN115240365A
CN115240365A CN202210845661.9A CN202210845661A CN115240365A CN 115240365 A CN115240365 A CN 115240365A CN 202210845661 A CN202210845661 A CN 202210845661A CN 115240365 A CN115240365 A CN 115240365A
Authority
CN
China
Prior art keywords
situation
safety
trend
operator
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210845661.9A
Other languages
English (en)
Other versions
CN115240365B (zh
Inventor
谢晓娜
常政威
陈明举
邓元实
吴杰
李世龙
熊兴中
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayan Intelligent Technology Group Co ltd
Chengdu University of Information Technology
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Sichuan University of Science and Engineering
Original Assignee
Huayan Intelligent Technology Group Co ltd
Chengdu University of Information Technology
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayan Intelligent Technology Group Co ltd, Chengdu University of Information Technology, Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd, Sichuan University of Science and Engineering filed Critical Huayan Intelligent Technology Group Co ltd
Priority to CN202210845661.9A priority Critical patent/CN115240365B/zh
Publication of CN115240365A publication Critical patent/CN115240365A/zh
Application granted granted Critical
Publication of CN115240365B publication Critical patent/CN115240365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种融合多维信息的电力作业人员危险态势动态感知方法，该方法从三个维度对建立了针对电力作业人员在作业场内的作业安全预警体系：一是将UWB定位标签附在供电力作业人员穿戴的安全保护设备上，利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别；二是结合UWB定位技术及3D建模，实现作业人员与作业场中带电点的安全距离的监测判断；三是结合摄像技术和肢体语言识别技术，采用深度学习算法进行电力作业人员的行为状态识别；各个维度均可根据识别结果进行危险报警或态势感知预警，实现了对电力作业人员危险态势全面的动态感知预警，有效降低安全事故的发生概率，提高电力作业***的全面性和可靠性。

Description

一种融合多维信息的电力作业人员危险态势动态感知方法
技术领域
本发明涉及作业安全监测的技术领域，尤其涉及一种融合多维信息的电力作业人员危险态势动态感知方法。
背景技术
目前，应用智能装备技术手段对电力作业人员进行现场安全作业监管，是电力生产企业实现生产现场安全的重要技术保障。引用现代科技辅助手段，对改善电力作业人员的安全生产状况起到了一定的效果，但由于目前的科技监测手段通常仅对电力作业人员是否正确穿戴安全保护装备（如是否佩戴安全帽等）进行监测判断，判断角度单一；当电力工作人员出现非未正确穿戴安全保护装备的其他危险行为（如摔倒、依附、与带电物超过安全距离等）时，无法进行监测预警，因而不能从整体上对电力作业人员进行全面的现场安全监测和危险预警。为此，亟待进行科技创新研发，解决目前电力作业人员现场作业安全预警体系不完善，不能有效的降低安全事故的发生概率的现状，提高电力作业人员现场作业***的全面性和可靠性。
发明内容
针对上述现有技术存在的缺陷，本发明提供一种融合多维信息的电力作业人员危险态势动态感知方法，以实现对电力作业人员危险态势全面的动态感知预警。
所述融合多维信息的电力作业人员危险态势动态感知方法，包括以下步骤：
步骤S1：将UWB定位标签附在供电力作业人员穿戴的安全保护设备上；
步骤S2：利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
步骤S3：通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，采用深度学习算法进行电力作业人员的行为状态识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
步骤S4：通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，从而获得电力作业人员在作业场中的实时三维坐标；通过计算电力作业人员与作业场中带电点的距离，判断是否达到安全距离的阈值，若判断结果达到报警阈值，则进行危险报警；若判断结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
其中，所述步骤S2、步骤S3、步骤S4无先后顺序，且可同时进行。
作为本发明的一个实施例，所述融合多维信息的电力作业人员危险态势动态感知方法还包括：
步骤S5：对所述步骤S2、步骤S3、步骤S4感知的态势进行并联结构融合，得到融合多维信息的电力作业人员态势动态感知模型，实时感知电力作业人员的整体态势，并进行整体态势发展趋势预测，当预测值达到预警输出阈值时，进行预警输出。
作为本发明的一个实施例，在所述步骤S1中，所述安全保护设备包括安全帽、安全带、工作衣裤、手套和工作鞋。
作为本发明的一个实施例，在所述步骤S2中，所述深度学习网络是以YOLOv4网络为主干网络。
作为本发明的一个实施例，在所述步骤S2中，利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警，具体包括：
步骤S21：
利用YOLOv4网络，实现对作业场内作业人员穿戴安全保护设备的正可信率
Figure 100002_DEST_PATH_IMAGE002
，和未穿戴安全保护设备的负可信率
Figure 100002_DEST_PATH_IMAGE004
；
其中，i取值1、2、3、4、5，分别对应安全保护设备中的安全帽、安全带、工作衣裤、手套和工作鞋；
步骤S22：
以0.7为界，当
Figure 229107DEST_PATH_IMAGE004
≥0.7，则判定未穿戴安全保护设备，进行危险报警；
当
Figure 411827DEST_PATH_IMAGE004
＜0.7，则对单个作业人员目标进行穿戴作业态势感知；
步骤S23：
所述对单个作业人员目标进行穿戴作业态势感知的方法为：
定义
Figure 100002_DEST_PATH_IMAGE006
为单个作业人员目标穿戴为i的正可信率参量，
Figure 100002_DEST_PATH_IMAGE008
为单个作业人员目标穿戴为i的质疑参量，
Figure 100002_DEST_PATH_IMAGE010
为单个作业人员目标穿戴为i的负可信率参量，则：
Figure 408208DEST_PATH_IMAGE006
=
Figure 209942DEST_PATH_IMAGE002
;
Figure 289894DEST_PATH_IMAGE010
=
Figure 768148DEST_PATH_IMAGE004
;
如果，
Figure 300761DEST_PATH_IMAGE002
<0.5且
Figure 30819DEST_PATH_IMAGE004
>0.5，则
Figure 106223DEST_PATH_IMAGE008
=
Figure 365166DEST_PATH_IMAGE002
;
如果，
Figure 385074DEST_PATH_IMAGE002
>0.5且
Figure 279343DEST_PATH_IMAGE004
<0.5，则
Figure 333887DEST_PATH_IMAGE008
=-
Figure 904677DEST_PATH_IMAGE004
;
如果，
Figure 677461DEST_PATH_IMAGE002
<0.5且
Figure 218163DEST_PATH_IMAGE004
<0.5，则
Figure 517427DEST_PATH_IMAGE008
=
Figure 100002_DEST_PATH_IMAGE012
;
单个电力作业人员目标穿戴作业态势（U 1）表示为:
Figure 100002_DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE016
，
Figure 100002_DEST_PATH_IMAGE018
,
Figure 100002_DEST_PATH_IMAGE020
，
Figure 100002_DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标穿戴作业的正向态势趋势（
Figure 100002_DEST_PATH_IMAGE024
）表示为：
Figure 100002_DEST_PATH_IMAGE026
Figure 100002_DEST_PATH_IMAGE028
为正向质疑系数，
Figure 100002_DEST_PATH_IMAGE030
；
单个作业人员目标穿戴作业的负向态势趋势（
Figure 100002_DEST_PATH_IMAGE032
）表示为：
Figure 100002_DEST_PATH_IMAGE034
Figure 100002_DEST_PATH_IMAGE036
为负向质疑系数，
Figure 100002_DEST_PATH_IMAGE038
；
单个作业人员目标穿戴作业态势的整体发展趋势（
Figure 100002_DEST_PATH_IMAGE040
）表示为：
Figure 100002_DEST_PATH_IMAGE042
Figure 100002_DEST_PATH_IMAGE044
时，表明穿戴作业态势趋势向正方向发展，作业安全在增强；当
Figure 100002_DEST_PATH_IMAGE046
时，表明穿戴作业态势趋势向负方向发展，当
Figure 100002_DEST_PATH_IMAGE048
时，表明穿戴作业态势趋势维持不变；
步骤S24：
当
Figure 466576DEST_PATH_IMAGE046
的持续时间大于时间阈值T1（T1=10秒）时，则进行穿戴作业态势预警。
作为本发明的一个实施例，在所述步骤S3中，通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，采用深度学习算法进行电力作业人员的行为状态识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警，具体包括：
步骤S31：
通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，通过肢体语言识别***OpenPose提取电力作业人员的骨架信息，再采用深度神经网络对骨架信息进行行为状态识别，输出各种行为状态的可信度
Figure 100002_DEST_PATH_IMAGE050
；
其中， c取值1、2、3、4、5、6，分别对应行为状态中的站立（包括行走）、正常下蹲、吸烟、打电话、摔倒和依附禁止；
步骤S32：
以0.7为界，当
Figure 116869DEST_PATH_IMAGE050
≥0.7（c取值3、4、5、6），则判定发生禁止事件，进行危险报警；
当
Figure 461263DEST_PATH_IMAGE050
＜0.7（c取值3、4、5、6），则对单个作业人员目标进行行为状态态势感知；
步骤S33：
所述对单个作业人员目标进行行为状态态势感知的方法为：
针对单个作业人员，同一时间仅存在一个行为状态，定义
Figure 100002_DEST_PATH_IMAGE052
为正常行为可信率参量，
Figure 100002_DEST_PATH_IMAGE054
为质疑行为参量，
Figure 100002_DEST_PATH_IMAGE056
为异常行为可信率参量，令：
Figure 100002_DEST_PATH_IMAGE058
Figure 100002_DEST_PATH_IMAGE060
质疑行为参量
Figure 523022DEST_PATH_IMAGE054
针对单个作业人员目标在遮挡或摄像头角度不佳等情况下产生对其行为状态无法识别的情况，定义为
Figure 100002_DEST_PATH_IMAGE062
单个作业人员目标行为状态态势（U 2）表示为:
Figure 100002_DEST_PATH_IMAGE064
其中，
Figure 419303DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标行为状态的正向态势趋势（
Figure 100002_DEST_PATH_IMAGE066
）表示为：
Figure 100002_DEST_PATH_IMAGE068
Figure 100002_DEST_PATH_IMAGE070
为正向质疑系数，
Figure 100002_DEST_PATH_IMAGE072
；
单个作业人员目标行为状态的负向态势趋势（
Figure 100002_DEST_PATH_IMAGE074
）表示为：
Figure 100002_DEST_PATH_IMAGE076
Figure 100002_DEST_PATH_IMAGE078
为负向质疑系数，
Figure 100002_DEST_PATH_IMAGE080
；
单个作业人员目标行为状态态势的整体发展趋势（
Figure 100002_DEST_PATH_IMAGE082
）表示为：
Figure 100002_DEST_PATH_IMAGE084
Figure 100002_DEST_PATH_IMAGE086
时，表明行为状态态势趋势向正方向发展，行为状态安全在增强；当
Figure 100002_DEST_PATH_IMAGE088
时，表明行为状态态势趋势向负方向发展，当
Figure 100002_DEST_PATH_IMAGE090
时，表明行为状态态势趋势维持不变；
步骤S34：
当
Figure 399635DEST_PATH_IMAGE088
的持续时间大于时间阈值T2（T2=10秒）时，则进行行为状态态势预警。
作为本发明的一个实施例，在所述步骤S4中，通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，从而获得电力作业人员在作业场中的实时三维坐标；通过计算电力作业人员与作业场中带电点的距离，判断是否达到安全距离的阈值，若判断结果达到报警阈值，则进行危险报警；若判断结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警，具体包括：
步骤S41：
通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，获得电力作业人员在作业场中的实时三维坐标；
步骤S42：
确定作业场中的带电点，分别计算作业人员与带电点的真实距离
Figure 100002_DEST_PATH_IMAGE092
；
其中，h表示各个带电点，h取值为1~x；
步骤S43：
对电力作业人员与带电点的真实距离
Figure 954244DEST_PATH_IMAGE092
进行判定；在诸如变电站等作业场中，对定位电磁波遮挡严重，造成多径效应，实时位置信息波动较大，对于波动较大的
Figure 837887DEST_PATH_IMAGE092
需进判定，判定方法为：
将
Figure 46014DEST_PATH_IMAGE092
分为正确的位置信息
Figure 100002_DEST_PATH_IMAGE094
与错误位置信息
Figure 100002_DEST_PATH_IMAGE096
两类，采用下面的公式进行分类：
Figure 100002_DEST_PATH_IMAGE098
时，则判定为错误的位置信息
Figure 841538DEST_PATH_IMAGE096
；
Figure 100002_DEST_PATH_IMAGE100
时，则判定为正确的位置信息
Figure 917948DEST_PATH_IMAGE094
；
其中：
Figure 100002_DEST_PATH_IMAGE102
，式中
Figure 100002_DEST_PATH_IMAGE104
与
Figure 100002_DEST_PATH_IMAGE106
分别为
Figure 124938DEST_PATH_IMAGE092
在10秒内的期望与方差；
步骤S44：
根据不同电压的作业保持的最小间距
Figure 100002_DEST_PATH_IMAGE108
，选择正确的位置信息
Figure 661224DEST_PATH_IMAGE094
，计算作业人员的安全作业距离
Figure 100002_DEST_PATH_IMAGE110
:
Figure 100002_DEST_PATH_IMAGE112
；
步骤S45：
对作业人员的安全作业距离
Figure 179930DEST_PATH_IMAGE110
进行归一化处理，得到归一化安全距离
Figure 100002_DEST_PATH_IMAGE114
：
Figure 100002_DEST_PATH_IMAGE116
归一化安全距离最小值为
Figure 100002_DEST_PATH_IMAGE118
，min表述取最小值；
归一化安全距离最大值为
Figure 100002_DEST_PATH_IMAGE120
，max表述取最大值；
归一化安全距离均值为
Figure 100002_DEST_PATH_IMAGE122
，mean表述取均值；
步骤S46：
若
Figure 100002_DEST_PATH_IMAGE124
，则进行危险报警；若
Figure 100002_DEST_PATH_IMAGE126
，则对单个作业人员目标进行安全距离态势感知与预测；
步骤S47：
所述若
Figure 761827DEST_PATH_IMAGE126
，则对单个作业人员目标进行安全距离态势感知与预测的方法为：
针对单个作业人员与带电点的安全距离，定义
Figure 100002_DEST_PATH_IMAGE128
为可信度参量，
Figure 100002_DEST_PATH_IMAGE130
为质疑参量，
Figure 100002_DEST_PATH_IMAGE132
为危险可信率参量，其中，
Figure 100002_DEST_PATH_IMAGE134
；
Figure 100002_DEST_PATH_IMAGE136
，
式中，
Figure 100002_DEST_PATH_IMAGE138
为前10秒错误位置信息
Figure 100002_DEST_PATH_IMAGE140
的个数，
Figure 100002_DEST_PATH_IMAGE142
为前10秒总共位置信息的个数；
Figure 100002_DEST_PATH_IMAGE144
；
单个作业人员目标安全距离态势（U 3）表示为:
Figure 100002_DEST_PATH_IMAGE146
其中，
Figure 433111DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标安全距离的正向态势趋势（
Figure 100002_DEST_PATH_IMAGE148
）表示为：
Figure 100002_DEST_PATH_IMAGE150
Figure 100002_DEST_PATH_IMAGE152
为正向质疑系数，
Figure 100002_DEST_PATH_IMAGE154
；
单个作业人员目标安全距离的负向态势趋势（
Figure 100002_DEST_PATH_IMAGE156
）表示为：
Figure 100002_DEST_PATH_IMAGE158
Figure 100002_DEST_PATH_IMAGE160
为负向质疑系数，
Figure 100002_DEST_PATH_IMAGE162
；
单个作业人员目标安全距离态势的整体发展趋势（
Figure 100002_DEST_PATH_IMAGE164
）表示为：
Figure 100002_DEST_PATH_IMAGE166
Figure 100002_DEST_PATH_IMAGE168
时，表明安全距离态势趋势向正方向发展，距离安全在增强；当
Figure 100002_DEST_PATH_IMAGE170
时，表明安全距离态势趋势向负方向发展，当
Figure 100002_DEST_PATH_IMAGE172
时，表明安全距离态势趋势维持不变；
步骤S48：
当
Figure 12735DEST_PATH_IMAGE170
的持续时间大于时间阈值T3（T3=10秒）时，则进行安全距离态势预警。
作为本发明的一个实施例，在所述步骤S5中，对所述步骤S2、步骤S3、步骤S4获得的感知态势进行并联结构融合，得到融合多维信息的电力作业人员态势动态感知模型，实时感知电力作业人员的整体态势，并进行态势发展趋势预测，当预测值达到预警输出阈值时，进行预警输出，具体包括：
步骤S51，单个作业人员目标整体作业态势U表示为：
Figure 100002_DEST_PATH_IMAGE174
Figure 100002_DEST_PATH_IMAGE176
其中，
Figure 100002_DEST_PATH_IMAGE178
Figure 100002_DEST_PATH_IMAGE180
，
Figure 100002_DEST_PATH_IMAGE182
；
其中，
Figure 100002_DEST_PATH_IMAGE184
取值为1、2、3，且分别对应穿戴作业、行为状态、安全距离分量，
Figure 100002_DEST_PATH_IMAGE186
、
Figure 100002_DEST_PATH_IMAGE188
、
Figure 100002_DEST_PATH_IMAGE190
为融合过程中穿戴作业、行为状态、安全距离的权重。
单个作业人员目标整体作业态势的整体发展趋势（
Figure 100002_DEST_PATH_IMAGE192
）表示为：
Figure 100002_DEST_PATH_IMAGE194
Figure 100002_DEST_PATH_IMAGE196
为正向质疑系数，
Figure 100002_DEST_PATH_IMAGE198
；
Figure 100002_DEST_PATH_IMAGE200
为负向质疑系数，
Figure 100002_DEST_PATH_IMAGE202
；
Figure 100002_DEST_PATH_IMAGE204
时，表明整体作业态势趋势向正方向发展，作业安全在增强；当
Figure 100002_DEST_PATH_IMAGE206
时，表明整体作业态势趋势向负方向发展；当
Figure 100002_DEST_PATH_IMAGE208
时，表明整体作业态势趋势维持不变；
步骤S52，当
Figure 609283DEST_PATH_IMAGE206
的持续时间大于时间阈值Tt（Tt=10秒），则进行作业态势预警。
与现有技术相比，本发明的有益效果体现在：
本发明的融合多维信息的电力作业人员危险态势动态感知方法，融合了电力作业人员在工作场内的安全保护设备穿戴作业的监测预警、行为状态的监测预警，以及与工作场内带电点安全距离的监测预警，从三个维度建立了针对电力作业人员在作业场内的作业安全预警体系，实现了对电力作业人员危险态势全面的动态感知预警，防患危险事件于未然，可有效降低安全事故的发生概率，提高电力作业人员现场作业***的全面性和可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的融合多维信息的电力作业人员危险态势动态感知方法的流程示意图。
图2为本发明所述方法中穿戴作业识别结果示例一效果图。
图3为本发明所述方法中穿戴作业识别结果示例二效果图。
图4为本发明所述方法中穿戴作业识别结果示例三效果图。
图5为本发明所述方法中穿戴作业识别结果示例四效果图。
图6为本发明所述方法中行为状态识别结果为正常下蹲的效果图。
图7为本发明所述方法中行为状态识别结果为摔倒的效果图。
图8为本发明所述方法中行为状态识别结果为站立的效果图。
图9为本发明所述方法中行为状态识别结果为站立和下蹲的效果图。
图10为本发明所述方法中UWB定位后在3D模型中的呈现效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供了一种融合多维信息的电力作业人员危险态势动态感知方法，用于对电力作业人员危险态势进行全面的动态感知预警，提高电力作业人员现场作业***的全面性和可靠性。
参阅图1，为本发明提供的融合多维信息的电力作业人员危险态势动态感知方法的流程示意图。该融合多维信息的电力作业人员危险态势动态感知方法包括以下步骤：
步骤S1，将UWB定位标签附在供电力作业人员穿戴的安全保护设备上，安全保护设备包括安全帽、安全带、工作衣裤、手套和工作鞋；
步骤S2，利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
步骤S3，通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，采用深度学习算法进行电力作业人员的行为状态识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
步骤S4，通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，从而获得电力作业人员在作业场中的实时三维坐标；通过计算电力作业人员与作业场中带电点的距离，判断是否达到安全距离的阈值，若判断结果达到报警阈值，则进行危险报警；若判断结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
其中，步骤S2、步骤S3、步骤S4无先后顺序，为同时进行。
本融合多维信息的电力作业人员危险态势动态感知方法，面向广大电力作业现场，如变电站、电气实验室等，充分利用UWB定位技术和深度学习网络，实现针对电力作业人员在工作场内的安全保护设备穿戴作业、行为状态以及与工作场内带电点安全距离这三个维度实施全面的实时监测和危险报警、预警，实现了对电力作业人员危险态势全面的动态感知预警，防患危险事件于未然，可有效降低安全事故的发生概率，提高电力作业人员现场作业***的全面性和可靠性。
步骤S1针对后续要进行的感知算法提供了硬件基础，步骤S2目的是利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别，并根据识别结果进行危险报警或态势感知预警。图2-图5示出了步骤S2实现穿戴作业识别的四种结果示例。对步骤S2分四步实施：
步骤S21：
为了提高网络对弱小目标(安全帽、安全带、工作衣裤、手套、工作鞋)的检测能力，以YOLOv4网络为主干网络进行穿戴作业的识别；YOLOv4网络实现对作业场内作业人员穿戴安全帽、安全带、工作衣裤、手套、工作鞋的正可信率
Figure 168440DEST_PATH_IMAGE002
，同时也实现未穿戴安全帽、安全带、工作衣裤、手套、工作鞋的负可信率
Figure 241701DEST_PATH_IMAGE004
；
其中，i取值1、2、3、4、5，i=1对应安全帽，i=2对应安全带，i=3对应工作衣裤，i=4对应手套，i=5对应工作鞋；
步骤S22：
该步骤实现单个作业人员安全保护设备(安全帽、安全带、工作衣裤、手套、工作鞋)穿戴情况的监测与危险报警和预警，具体为：
以0.7为界，当
Figure 962532DEST_PATH_IMAGE004
≥0.7，则判定未穿戴安全保护设备，进行危险报警；
当
Figure 127934DEST_PATH_IMAGE004
＜0.7，则对单个作业人员目标进行穿戴作业态势感知；
步骤S23：
该步骤是在未发生危险报警的情况下，对单个作业人员目标进行穿戴作业态势的感知，具体为：
定义
Figure 834990DEST_PATH_IMAGE006
为单个作业人员目标穿戴为i的正可信率参量，
Figure 667817DEST_PATH_IMAGE008
为单个作业人员目标穿戴为i的质疑参量，
Figure 684183DEST_PATH_IMAGE010
为单个作业人员目标穿戴为i的负可信率参量，则：
Figure 336881DEST_PATH_IMAGE006
=
Figure 237841DEST_PATH_IMAGE002
;
Figure 269382DEST_PATH_IMAGE010
=
Figure 597596DEST_PATH_IMAGE004
;
如果，
Figure 472011DEST_PATH_IMAGE002
<0.5且
Figure 799830DEST_PATH_IMAGE004
>0.5，则
Figure 341670DEST_PATH_IMAGE008
=
Figure 450572DEST_PATH_IMAGE002
;
如果，
Figure 77862DEST_PATH_IMAGE002
>0.5且
Figure 55045DEST_PATH_IMAGE004
<0.5，则
Figure 576025DEST_PATH_IMAGE008
=-
Figure 246041DEST_PATH_IMAGE004
;
如果，
Figure 970415DEST_PATH_IMAGE002
<0.5且
Figure 751289DEST_PATH_IMAGE004
<0.5，则
Figure 2142DEST_PATH_IMAGE008
=
Figure 469157DEST_PATH_IMAGE012
;
单个电力作业人员目标穿戴作业态势（U 1）表示为:
Figure DEST_PATH_IMAGE014A
其中，
Figure DEST_PATH_IMAGE016A
，
Figure DEST_PATH_IMAGE018A
,
Figure DEST_PATH_IMAGE020A
，
Figure 133357DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标穿戴作业的正向态势趋势（
Figure 98949DEST_PATH_IMAGE024
）表示为：
Figure DEST_PATH_IMAGE026A
Figure 141992DEST_PATH_IMAGE028
为正向质疑系数，
Figure 153810DEST_PATH_IMAGE030
；
单个作业人员目标穿戴作业的负向态势趋势（
Figure 836464DEST_PATH_IMAGE032
）表示为：
Figure DEST_PATH_IMAGE034A
Figure 896824DEST_PATH_IMAGE036
为负向质疑系数，
Figure 122269DEST_PATH_IMAGE038
；
单个作业人员目标穿戴作业态势的整体发展趋势（
Figure 665508DEST_PATH_IMAGE040
）表示为：
Figure DEST_PATH_IMAGE042A
Figure 445245DEST_PATH_IMAGE044
时，表明穿戴作业态势趋势向正方向发展，作业安全在增强；当
Figure 496247DEST_PATH_IMAGE046
时，表明穿戴作业态势趋势向负方向发展，当
Figure 310619DEST_PATH_IMAGE048
时，表明穿戴作业态势趋势维持不变；
步骤S24：
该步骤设定穿戴作业态势趋势向负方向发展的时间阈值并进行态势预警：当
Figure 805185DEST_PATH_IMAGE046
的持续时间大于时间阈值T1（T1=10秒）时，则进行穿戴作业态势预警。
通过步骤S2，可对电力场作业人员是否穿戴安全保护设备进行准确的监测并进行危险报警，在未达到报警阈值时，进行实时的穿戴作业态势感知，当穿戴作业态势趋势向负方向发展到一定时限时，进行态势预警，从实现对已发生的、以及未发生却将要发生的不规范穿戴行为都进行报警提醒，防止作业人员疏忽安全保护设备的穿戴而在发生意外情况时不能有效保障身体安全、生命安全的情况发生。
步骤S3目的是结合摄像技术和肢体语言识别技术，采用深度学习算法进行电力作业人员的行为状态识别，并根据识别结果进行危险报警或态势感知预警。图6-图9示出了步骤S3实现行为状态识别的四种结果示例。对步骤S3分四步实施：
步骤S31：
通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端；视频帧图通过肢体语言识别***OpenPose提取电力作业人员的骨架信息，再采用深度神经网络对骨架信息进行姿态的识别，即对作业人员进行行为状态识别，输出各种行为状态的可信度
Figure 337798DEST_PATH_IMAGE050
；
其中， c取值1、2、3、4、5、6，c=1对应站立（包括行走），c=2对应正常下蹲，c=3对应吸烟，c=4对应打电话，c=5对应摔倒，c=6对应依附禁止；
步骤S32：
该步骤实现单个作业人员行为状态的监测与危险报警和预警，具体为：
以0.7为界，当
Figure 67856DEST_PATH_IMAGE050
≥0.7（c取值3、4、5、6，即吸烟、打电话、摔倒和依附禁止），则判定发生禁止事件，进行危险报警；
当
Figure 359904DEST_PATH_IMAGE050
＜0.7（c取值3、4、5、6即吸烟、打电话、摔倒和依附禁止），则对单个作业人员目标进行行为状态态势感知；
步骤S33：
该步骤是在未发生危险报警的情况下，对单个作业人员目标进行行为状态态势的感知。针对单个作业人员，同一时间仅存在一个行为状态，因此：
定义
Figure 150005DEST_PATH_IMAGE052
为正常行为可信率参量，
Figure 310860DEST_PATH_IMAGE054
为质疑行为参量，
Figure 313451DEST_PATH_IMAGE056
为异常行为可信率参量，令：
Figure DEST_PATH_IMAGE058A
Figure DEST_PATH_IMAGE060A
质疑行为参量
Figure 695890DEST_PATH_IMAGE054
针对单个作业人员目标在遮挡或摄像头角度不佳等情况下产生对其行为状态无法识别的情况，定义为
Figure DEST_PATH_IMAGE062A
单个作业人员目标行为状态态势（U 2）表示为:
Figure DEST_PATH_IMAGE064A
其中，
Figure 548571DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标行为状态的正向态势趋势（
Figure 914830DEST_PATH_IMAGE066
）表示为：
Figure DEST_PATH_IMAGE068A
Figure 658795DEST_PATH_IMAGE070
为正向质疑系数，
Figure 833425DEST_PATH_IMAGE072
；
单个作业人员目标行为状态的负向态势趋势（
Figure 57339DEST_PATH_IMAGE074
）表示为：
Figure DEST_PATH_IMAGE076A
Figure 989523DEST_PATH_IMAGE078
为负向质疑系数，
Figure 333917DEST_PATH_IMAGE080
；
单个作业人员目标行为状态态势的整体发展趋势（
Figure 487687DEST_PATH_IMAGE082
）表示为：
Figure DEST_PATH_IMAGE084A
Figure 197017DEST_PATH_IMAGE086
时，表明行为状态态势趋势向正方向发展，行为状态安全在增强；当
Figure 944393DEST_PATH_IMAGE088
时，表明行为状态态势趋势向负方向发展，当
Figure 718576DEST_PATH_IMAGE090
时，表明行为状态态势趋势维持不变；
步骤S34：
该步骤设定行为状态态势趋势向负方向发展的时间阈值并进行态势预警：当
Figure 602218DEST_PATH_IMAGE088
的持续时间大于时间阈值T2（T2=10秒）时，则进行行为状态态势预警。
通过步骤S3，可对电力场作业人员吸烟、打电话、摔倒和依附禁止的姿态进行准确的监测并进行危险报警，在未达到报警阈值时，进行实时的行为状态态势感知，当行为状态态势趋势向负方向发展到一定时限时，进行态势预警，从实现对已发生的、以及未发生却将要发生的不规范行为状态都进行报警提醒，防止作业人员在作业场内出现禁止行为导致影响工作秩序、影响现场设施设备的正常运行以及发生人身危险等情况。
步骤S4目的是结合UWB定位技术及3D建模，实现作业人员与作业场中带电点的安全距离的监测判断，并根据判断结果进行危险报警或态势感知预警。对步骤S4分八步实施：
步骤S41：
通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，获得电力作业人员在作业场中的实时三维坐标，如图10所示；
步骤S42：
确定作业场中的带电点，分别计算作业人员与带电点的真实距离
Figure 951291DEST_PATH_IMAGE092
；
其中，h表示各个带电点，本实施例中，设定h的取值为1、2、3、4、5，即设定有5个带电点；
步骤S43：
在诸如变电站等作业场中，对定位电磁波遮挡严重，造成多径效应，实时位置信息波动较大，因此该步骤的目的是对电力作业人员与带电点的波动较大的
Figure 920384DEST_PATH_IMAGE092
需进判定，判定方法为：
将
Figure 606580DEST_PATH_IMAGE092
分为正确的位置信息
Figure 734942DEST_PATH_IMAGE094
与错误位置信息
Figure 113971DEST_PATH_IMAGE096
两类，采用下面的公式进行分类判定：
Figure 180147DEST_PATH_IMAGE098
时，则判定为错误的位置信息
Figure 670034DEST_PATH_IMAGE096
；
Figure 528269DEST_PATH_IMAGE100
时，则判定为正确的位置信息
Figure 966947DEST_PATH_IMAGE094
；
其中：
Figure 645053DEST_PATH_IMAGE102
，式中
Figure 813998DEST_PATH_IMAGE104
与
Figure 261159DEST_PATH_IMAGE106
分别为
Figure 100002_DEST_PATH_IMAGE210
在10秒内的期望与方差；
步骤S44：
该步骤是实现安全作业距离的计算，具体为：根据不同电压的作业保持的最小间距
Figure 903362DEST_PATH_IMAGE108
，选择正确的位置信息
Figure 68764DEST_PATH_IMAGE094
，计算作业人员的安全作业距离
Figure 41399DEST_PATH_IMAGE110
:
Figure DEST_PATH_IMAGE112A
本实施例中，
带电点（h=1）的电压为10kv，
Figure 31483DEST_PATH_IMAGE108
=0.7m+0.5；
带电点（h=2）的电压为110kv，
Figure 188795DEST_PATH_IMAGE108
=1.5m+0.5；
带电点（h=3）的电压为220kv，
Figure 716860DEST_PATH_IMAGE108
=3m+0.5；
带电点（h=4）的电压为330kv，
Figure 352240DEST_PATH_IMAGE108
=4m+0.5；
带电点（h=5）的电压为500kv，
Figure 773994DEST_PATH_IMAGE108
=5m+0.5；
步骤S45：
对作业人员的安全作业距离
Figure 226841DEST_PATH_IMAGE110
进行归一化处理，得到归一化安全距离
Figure 366836DEST_PATH_IMAGE114
：
Figure 100002_DEST_PATH_IMAGE212
归一化安全距离最小值为
Figure 100002_DEST_PATH_IMAGE214
，min表述取最小值；
归一化安全距离最大值为
Figure DEST_PATH_IMAGE216
max表述取最大值；
归一化安全距离均值为
Figure DEST_PATH_IMAGE218
，mean表述取均值；
步骤S46：
该步骤实现单个作业人员安全距离的监测与危险报警和预警，具体为：
若
Figure 835601DEST_PATH_IMAGE124
，则进行危险报警；若
Figure 502074DEST_PATH_IMAGE126
，则对单个作业人员目标进行安全距离态势感知与预测；
步骤S47：
该步骤是在未发生危险报警的情况下，对单个作业人员目标进行安全距离态势的感知，具体方法为：
针对单个作业人员与带电点的安全距离，定义
Figure 735610DEST_PATH_IMAGE128
为可信度参量，
Figure 362900DEST_PATH_IMAGE130
为质疑参量，
Figure 215450DEST_PATH_IMAGE132
为危险可信率参量，其中，
Figure DEST_PATH_IMAGE220
；
Figure DEST_PATH_IMAGE136A
，
式中，
Figure 972315DEST_PATH_IMAGE138
为前10秒错误位置信息
Figure 642331DEST_PATH_IMAGE140
的个数，
Figure 615972DEST_PATH_IMAGE142
为前10秒总共位置信息的个数；
Figure DEST_PATH_IMAGE222
；
单个作业人员目标安全距离态势（U 3）表示为:
Figure DEST_PATH_IMAGE146A
其中，
Figure 488857DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标安全距离的正向态势趋势（
Figure 5289DEST_PATH_IMAGE148
）表示为：
Figure DEST_PATH_IMAGE150A
Figure 252730DEST_PATH_IMAGE152
为正向质疑系数，
Figure 979247DEST_PATH_IMAGE154
；
单个作业人员目标安全距离的负向态势趋势（
Figure 298233DEST_PATH_IMAGE156
）表示为：
Figure DEST_PATH_IMAGE158A
Figure 341275DEST_PATH_IMAGE160
为负向质疑系数，
Figure 979192DEST_PATH_IMAGE162
；
单个作业人员目标安全距离态势的整体发展趋势（
Figure 537212DEST_PATH_IMAGE164
）表示为：
Figure DEST_PATH_IMAGE166A
Figure 597572DEST_PATH_IMAGE168
时，表明安全距离态势趋势向正方向发展，距离安全在增强；当
Figure 947651DEST_PATH_IMAGE170
时，表明安全距离态势趋势向负方向发展，当
Figure 130371DEST_PATH_IMAGE172
时，表明安全距离态势趋势维持不变；
步骤S48：
该步骤设定安全距离态势趋势向负方向发展的时间阈值并进行态势预警：当
Figure 441266DEST_PATH_IMAGE170
的持续时间大于时间阈值T3（T3=10秒）时，则进行安全距离态势预警。
通过步骤S4，可对电力场作业人员与带电点的安全距离进行准确的监测并进行危险报警，在未达到报警阈值时，进行实时的安全距离态势感知，当安全距离态势趋势向负方向发展到一定时限时，进行态势预警，从实现对已发生的、以及未发生却将要发生的危险距离都进行报警提醒，防止作业人员突破与带电点的安全距离而埋下安全隐患。
考虑到穿戴作业、行为状态及安全距离此三个维度间的相关性较弱，为提高危险态势全面动态感知的灵敏度，提高危险事件的防患等级，在本实施例中，还将各维度的危险态势进行融合预警，具体的，本实施例还包括步骤S5，步骤S5是对步骤S2、步骤S3、步骤S4感知的态势进行并联结构融合，得到融合多维信息的电力作业人员态势动态感知模型，实时感知电力作业人员的整体态势，并进行整体态势发展趋势预测，当预测值达到预警输出阈值时，进行预警输出。具体的，步骤S5分两步实施：
步骤S51：
将单个作业人员目标整体作业态势U表示为：
Figure DEST_PATH_IMAGE174A
Figure DEST_PATH_IMAGE176A
其中，
Figure DEST_PATH_IMAGE178A
Figure DEST_PATH_IMAGE180A
，
Figure DEST_PATH_IMAGE182A
；
其中，
Figure 725224DEST_PATH_IMAGE184
取值为1、2、3，且分别对应穿戴作业、行为状态、安全距离分量，
Figure 805175DEST_PATH_IMAGE186
、
Figure 50474DEST_PATH_IMAGE188
、
Figure 583087DEST_PATH_IMAGE190
为融合过程中穿戴作业、行为状态、安全距离的权重。分析以往引起电力事故的原因，其中由安全距离引起的事故概率最大，行为状态与穿戴作业引起的事故次之，因此本实施例中，
Figure DEST_PATH_IMAGE224
，
Figure DEST_PATH_IMAGE226
，
Figure DEST_PATH_IMAGE228
。
单个作业人员目标整体作业态势的整体发展趋势（
Figure 985249DEST_PATH_IMAGE192
）表示为：
Figure DEST_PATH_IMAGE194A
Figure 982024DEST_PATH_IMAGE196
为正向质疑系数，
Figure 772125DEST_PATH_IMAGE198
；
Figure 526455DEST_PATH_IMAGE200
为负向质疑系数，
Figure 683373DEST_PATH_IMAGE202
；
Figure 737917DEST_PATH_IMAGE204
时，表明整体作业态势趋势向正方向发展，作业安全在增强；当
Figure 43127DEST_PATH_IMAGE206
时，表明整体作业态势趋势向负方向发展；当
Figure 815911DEST_PATH_IMAGE208
时，表明整体作业态势趋势维持不变；
步骤S52：
该步骤设定整体作业态势趋势向负方向发展的时间阈值并进行态势预警：当
Figure 622193DEST_PATH_IMAGE206
的持续时间大于时间阈值Tt（Tt=10秒），则进行作业态势预警。
通过步骤S5，可提高电力作业人员危险态势全面动态感知的灵敏度，提高危险事件的防患等级，进一步提高电力作业人员现场作业***的全面性和可靠性。

Claims (9)

1.一种融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，其包括如下步骤：
步骤S1：将UWB定位标签附在供电力作业人员穿戴的安全保护设备上；
步骤S2：利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
步骤S3：通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，采用深度学习算法进行电力作业人员的行为状态识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
步骤S4：通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，从而获得电力作业人员在作业场中的实时三维坐标；通过计算电力作业人员与作业场中带电点的距离，判断是否达到安全距离的阈值，若判断结果达到报警阈值，则进行危险报警；若判断结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警；
其中，所述步骤S2、步骤S3、步骤S4无先后顺序，且可同时进行。
2.根据权利要求1所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，还包括：
步骤S5：对所述步骤S2、步骤S3、步骤S4感知的态势进行并联结构融合，得到融合多维信息的电力作业人员态势动态感知模型，实时感知电力作业人员的整体态势，并进行整体态势发展趋势预测，当预测值达到预警输出阈值时，进行预警输出。
3.根据权利要求1所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S1中，所述安全保护设备包括安全帽、安全带、工作衣裤、手套和工作鞋。
4.根据权利要求1所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S2中，所述深度学习网络是以YOLOv4网络为主干网络。
5.根据权利要求1所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S2中，利用深度学习网络对作业场内的电力作业人员进行安全保护设备的穿戴作业识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警，具体包括：
步骤S21：
利用YOLOv4网络，实现对作业场内作业人员穿戴安全保护设备的正可信率
Figure DEST_PATH_IMAGE002
，和未穿戴安全保护设备的负可信率
Figure DEST_PATH_IMAGE004
；
其中，i取值1、2、3、4、5，分别对应安全保护设备中的安全帽、安全带、工作衣裤、手套和工作鞋；
步骤S22：
以0.7为界，当
Figure 967968DEST_PATH_IMAGE004
≥0.7，则判定未穿戴安全保护设备，进行危险报警；
当
Figure 213005DEST_PATH_IMAGE004
＜0.7，则对单个作业人员目标进行穿戴作业态势感知；
步骤S23：
所述对单个作业人员目标进行穿戴作业态势感知的方法为：
定义
Figure DEST_PATH_IMAGE006
为单个作业人员目标穿戴为i的正可信率参量，
Figure DEST_PATH_IMAGE008
为单个作业人员目标穿戴为i的质疑参量，
Figure DEST_PATH_IMAGE010
为单个作业人员目标穿戴为i的负可信率参量，则：
Figure 914113DEST_PATH_IMAGE006
=
Figure 637219DEST_PATH_IMAGE002
;
Figure 654853DEST_PATH_IMAGE010
=
Figure 805212DEST_PATH_IMAGE004
;
如果，
Figure 131632DEST_PATH_IMAGE002
<0.5且
Figure 924008DEST_PATH_IMAGE004
>0.5，则
Figure 655204DEST_PATH_IMAGE008
=
Figure 710884DEST_PATH_IMAGE002
;
如果，
Figure 668476DEST_PATH_IMAGE002
>0.5且
Figure 733384DEST_PATH_IMAGE004
<0.5，则
Figure 584665DEST_PATH_IMAGE008
=-
Figure 76826DEST_PATH_IMAGE004
;
如果，
Figure 646348DEST_PATH_IMAGE002
<0.5且
Figure 124734DEST_PATH_IMAGE004
<0.5，则
Figure 833451DEST_PATH_IMAGE008
=
Figure DEST_PATH_IMAGE012
;
单个电力作业人员目标穿戴作业态势（U 1）表示为:
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE018
,
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标穿戴作业的正向态势趋势（
Figure DEST_PATH_IMAGE024
）表示为：
Figure DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE028
为正向质疑系数，
Figure DEST_PATH_IMAGE030
；
单个作业人员目标穿戴作业的负向态势趋势（
Figure DEST_PATH_IMAGE032
）表示为：
Figure DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE036
为负向质疑系数，
Figure DEST_PATH_IMAGE038
；
单个作业人员目标穿戴作业态势的整体发展趋势（
Figure DEST_PATH_IMAGE040
）表示为：
Figure DEST_PATH_IMAGE042
Figure DEST_PATH_IMAGE044
时，表明穿戴作业态势趋势向正方向发展，作业安全在增强；当
Figure DEST_PATH_IMAGE046
时，表明穿戴作业态势趋势向负方向发展，当
Figure DEST_PATH_IMAGE048
时，表明穿戴作业态势趋势维持不变；
步骤S24：
当
Figure 274010DEST_PATH_IMAGE046
的持续时间大于时间阈值T1（T1=10秒）时，则进行穿戴作业态势预警。
6.根据权利要求1所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S3中，通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，采用深度学习算法进行电力作业人员的行为状态识别，若识别结果达到报警阈值，则进行危险报警；若识别结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警，具体包括：
步骤S31：
通过摄像头获得作业场面的视频信息，并通过无线网络传送至监控服务器端，通过肢体语言识别***OpenPose提取电力作业人员的骨架信息，再采用深度神经网络对骨架信息进行行为状态识别，输出行为状态的可信度
Figure DEST_PATH_IMAGE050
；
其中， c取值1、2、3、4、5、6，分别对应行为状态中的站立（包括行走）、正常下蹲、吸烟、打电话、摔倒和依附禁止；
步骤S32：
以0.7为界，当
Figure 268511DEST_PATH_IMAGE050
≥0.7（c取值3、4、5、6），则判定发生禁止事件，进行危险报警；
当
Figure 675222DEST_PATH_IMAGE050
＜0.7（c取值3、4、5、6），则对单个作业人员目标进行行为状态态势感知；
步骤S33：
所述对单个作业人员目标进行行为状态态势感知的方法为：
针对单个作业人员，同一时间仅存在一个行为状态，定义
Figure DEST_PATH_IMAGE052
为正常行为可信率参量，
Figure DEST_PATH_IMAGE054
为质疑行为参量，
Figure DEST_PATH_IMAGE056
为异常行为可信率参量，令：
Figure DEST_PATH_IMAGE058
Figure DEST_PATH_IMAGE060
质疑行为参量
Figure 302029DEST_PATH_IMAGE054
针对单个作业人员目标在遮挡或摄像头角度不佳等情况下产生对其行为状态无法识别的情况，定义为
Figure DEST_PATH_IMAGE062
单个作业人员目标行为状态态势（U 2）表示为:
Figure DEST_PATH_IMAGE064
其中，
Figure 591452DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标行为状态的正向态势趋势（
Figure DEST_PATH_IMAGE066
）表示为：
Figure DEST_PATH_IMAGE068
Figure DEST_PATH_IMAGE070
为正向质疑系数，
Figure DEST_PATH_IMAGE072
；
单个作业人员目标行为状态的负向态势趋势（
Figure DEST_PATH_IMAGE074
）表示为：
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE078
为负向质疑系数，
Figure DEST_PATH_IMAGE080
；
单个作业人员目标行为状态态势的整体发展趋势（
Figure DEST_PATH_IMAGE082
）表示为：
Figure DEST_PATH_IMAGE084
Figure DEST_PATH_IMAGE086
时，表明行为状态态势趋势向正方向发展，行为状态安全在增强；当
Figure DEST_PATH_IMAGE088
时，表明行为状态态势趋势向负方向发展，当
Figure DEST_PATH_IMAGE090
时，表明行为状态态势趋势维持不变；
步骤S34：
当
Figure 880439DEST_PATH_IMAGE088
的持续时间大于时间阈值T2（T2=10秒）时，则进行行为状态态势预警。
7.根据权利要求1所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S4中，通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，从而获得电力作业人员在作业场中的实时三维坐标；通过计算电力作业人员与作业场中带电点的距离，判断是否达到安全距离的阈值，若判断结果达到报警阈值，则进行危险报警；若判断结果未达到报警阈值，则进行态势感知，并根据态势感知结果进行预警，具体包括：
步骤S41：
通过UWB定位标签获得电力作业人员的实时位置信息，对作业场进行1:1的3D建模，并将获得的电力作业人员的实时位置信息在3D模型中呈现，获得电力作业人员在作业场中的实时三维坐标；
步骤S42：
确定作业场中的带电点，分别计算作业人员与带电点的真实距离
Figure DEST_PATH_IMAGE092
；
其中，h表示各个带电点，h取值为1~ x；
步骤S43：
对电力作业人员与带电点的真实距离
Figure 294103DEST_PATH_IMAGE092
进行判定，判定方法为：
将
Figure 977413DEST_PATH_IMAGE092
分为正确的位置信息
Figure DEST_PATH_IMAGE094
与错误位置信息
Figure DEST_PATH_IMAGE096
两类，采用下面的公式进行分类：
Figure DEST_PATH_IMAGE098
时，则判定为错误的位置信息
Figure 106912DEST_PATH_IMAGE096
；
Figure DEST_PATH_IMAGE100
时，则判定为正确的位置信息
Figure 76005DEST_PATH_IMAGE094
；
其中：
Figure DEST_PATH_IMAGE102
，式中
Figure DEST_PATH_IMAGE104
与
Figure DEST_PATH_IMAGE106
分别为
Figure 683573DEST_PATH_IMAGE092
在10秒内的期望与方差；
步骤S44：
根据不同电压的作业保持的最小间距
Figure DEST_PATH_IMAGE108
，选择正确的位置信息
Figure 809005DEST_PATH_IMAGE094
，计算作业人员的安全作业距离
Figure DEST_PATH_IMAGE110
:
Figure DEST_PATH_IMAGE112
；
步骤S45：
对作业人员的安全作业距离
Figure 109405DEST_PATH_IMAGE110
进行归一化处理，得到归一化安全距离
Figure DEST_PATH_IMAGE114
：
Figure DEST_PATH_IMAGE116
归一化安全距离最小值为
Figure DEST_PATH_IMAGE118
，min表述取最小值；
归一化安全距离最大值为
Figure DEST_PATH_IMAGE120
max表述取最大值；
归一化安全距离均值为
Figure DEST_PATH_IMAGE122
，mean表述取均值；
步骤S46：
若
Figure DEST_PATH_IMAGE124
，则进行危险报警；若
Figure DEST_PATH_IMAGE126
，则对单个作业人员目标进行安全距离态势感知与预测；
步骤S47：
所述若
Figure 473784DEST_PATH_IMAGE126
，则对单个作业人员目标进行安全距离态势感知与预测的方法为：针对单个作业人员与带电点的安全距离，定义
Figure DEST_PATH_IMAGE128
为可信度参量，
Figure DEST_PATH_IMAGE130
为质疑参量，
Figure DEST_PATH_IMAGE132
为危险可信率参量，其中，
Figure DEST_PATH_IMAGE134
；
Figure DEST_PATH_IMAGE136
，
式中，
Figure DEST_PATH_IMAGE138
为前10秒错误位置信息
Figure DEST_PATH_IMAGE140
的个数，
Figure DEST_PATH_IMAGE142
为前10秒总共位置信息的个数；
Figure DEST_PATH_IMAGE144
；
单个作业人员目标安全距离态势（U 3）表示为:
Figure DEST_PATH_IMAGE146
其中，
Figure 787172DEST_PATH_IMAGE022
分别为正可信率单位矢量、质疑单位矢量、负可信率单位矢量；
单个作业人员目标安全距离的正向态势趋势（
Figure DEST_PATH_IMAGE148
）表示为：
Figure DEST_PATH_IMAGE150
Figure DEST_PATH_IMAGE152
为正向质疑系数，
Figure DEST_PATH_IMAGE154
；
单个作业人员目标安全距离的负向态势趋势（
Figure DEST_PATH_IMAGE156
）表示为：
Figure DEST_PATH_IMAGE158
Figure DEST_PATH_IMAGE160
为负向质疑系数，
Figure DEST_PATH_IMAGE162
；
单个作业人员目标安全距离态势的整体发展趋势（
Figure DEST_PATH_IMAGE164
）表示为：
Figure DEST_PATH_IMAGE166
Figure DEST_PATH_IMAGE168
时，表明安全距离态势趋势向正方向发展，距离安全在增强；当
Figure DEST_PATH_IMAGE170
时，表明安全距离态势趋势向负方向发展，当
Figure DEST_PATH_IMAGE172
时，表明安全距离态势趋势维持不变；
步骤S48：
当
Figure 619360DEST_PATH_IMAGE170
的持续时间大于时间阈值T3（T3=10秒）时，则进行安全距离态势预警。
8.根据权利要求2所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S5中，对所述步骤S2、步骤S3、步骤S4获得的感知态势进行并联结构融合，得到融合多维信息的电力作业人员态势动态感知模型，实时感知电力作业人员的整体态势，并进行态势发展趋势预测，当预测值达到预警输出阈值时，进行预警输出，具体包括：
步骤S51：
单个作业人员目标整体作业态势U表示为：
Figure DEST_PATH_IMAGE174
Figure DEST_PATH_IMAGE176
其中，
Figure DEST_PATH_IMAGE178
，
Figure DEST_PATH_IMAGE180
，
Figure DEST_PATH_IMAGE182
；
其中，
Figure DEST_PATH_IMAGE184
取值为1、2、3，且分别对应穿戴作业、行为状态、安全距离分量，
Figure DEST_PATH_IMAGE186
、
Figure DEST_PATH_IMAGE188
、
Figure DEST_PATH_IMAGE190
为融合过程中穿戴作业、行为状态、安全距离的权重；
单个作业人员目标整体作业态势的整体发展趋势（
Figure DEST_PATH_IMAGE192
）表示为：
Figure DEST_PATH_IMAGE194
Figure DEST_PATH_IMAGE196
为正向质疑系数，
Figure DEST_PATH_IMAGE198
；
Figure DEST_PATH_IMAGE200
为负向质疑系数，
Figure DEST_PATH_IMAGE202
；
Figure DEST_PATH_IMAGE204
时，表明整体作业态势趋势向正方向发展，作业安全在增强；当
Figure DEST_PATH_IMAGE206
时，表明整体作业态势趋势向负方向发展；当
Figure DEST_PATH_IMAGE208
时，表明整体作业态势趋势维持不变；
步骤S52：
当
Figure 480875DEST_PATH_IMAGE206
的持续时间大于时间阈值Tt（Tt=10秒），则进行作业态势预警。
9.根据权利要求8所述的融合多维信息的电力作业人员危险态势动态感知方法，其特征在于，在所述步骤S51中，
Figure DEST_PATH_IMAGE210
，
Figure DEST_PATH_IMAGE212
，
Figure DEST_PATH_IMAGE214
。
CN202210845661.9A 2022-07-19 2022-07-19 一种融合多维信息的电力作业人员危险态势动态感知方法 Active CN115240365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210845661.9A CN115240365B (zh) 2022-07-19 2022-07-19 一种融合多维信息的电力作业人员危险态势动态感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210845661.9A CN115240365B (zh) 2022-07-19 2022-07-19 一种融合多维信息的电力作业人员危险态势动态感知方法

Publications (2)

Publication Number Publication Date
CN115240365A true CN115240365A (zh) 2022-10-25
CN115240365B CN115240365B (zh) 2023-03-10

Family

ID=83672550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210845661.9A Active CN115240365B (zh) 2022-07-19 2022-07-19 一种融合多维信息的电力作业人员危险态势动态感知方法

Country Status (1)

Country Link
CN (1) CN115240365B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424410A (zh) * 2022-11-03 2022-12-02 国网浙江省电力有限公司金华供电公司 基于无线辐射感知与多模态数据的高压环境防护方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130085315A (ko) * 2012-01-19 2013-07-29 한국전자통신연구원 사람 식별을 기반으로 한 위험 인지 방법
CN103617699A (zh) * 2013-12-02 2014-03-05 国家电网公司 一种电力作业现场安全智能监护***
US20160110984A1 (en) * 2014-10-15 2016-04-21 Sejoongis Co., Ltd. Intelligent integrated safety management control system, server, and method
US20160343228A1 (en) * 2014-12-10 2016-11-24 Yong-Ho JEONG Real-time alarm system for field safety management and driving method thereof
CN107250947A (zh) * 2014-12-16 2017-10-13 索玛提克斯公司 用于监控和影响基于姿势的行为的方法和***
CN110634265A (zh) * 2019-09-06 2019-12-31 国网浙江省电力有限公司衢州供电公司 一种基于物联网的电力作业事故隐患预警***及方法
CN110795989A (zh) * 2019-08-28 2020-02-14 广东电网有限责任公司 一种电力作业智能安全监督***及其监督方法
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
US20200362686A1 (en) * 2019-05-15 2020-11-19 Schlumberger Technology Corporation Machine Learning Drill Out System
CN211979826U (zh) * 2020-04-27 2020-11-20 深圳市国脉科技有限公司 安全监测预警***
CN112001310A (zh) * 2020-08-24 2020-11-27 国网上海市电力公司 基于视觉感知与空间定位的变电站作业现场安全管控***
CN112465401A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于多维信息融合的电力作业安全管控***及其管控方法
CN112465811A (zh) * 2020-12-16 2021-03-09 国网四川省电力公司电力科学研究院 电力作业现场高精度动态目标定位方法及装置
CN114202126A (zh) * 2021-12-15 2022-03-18 国网四川省电力公司电力科学研究院 一种电力作业智能安全控制方法及***

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130085315A (ko) * 2012-01-19 2013-07-29 한국전자통신연구원 사람 식별을 기반으로 한 위험 인지 방법
CN103617699A (zh) * 2013-12-02 2014-03-05 国家电网公司 一种电力作业现场安全智能监护***
US20160110984A1 (en) * 2014-10-15 2016-04-21 Sejoongis Co., Ltd. Intelligent integrated safety management control system, server, and method
US20160343228A1 (en) * 2014-12-10 2016-11-24 Yong-Ho JEONG Real-time alarm system for field safety management and driving method thereof
CN107250947A (zh) * 2014-12-16 2017-10-13 索玛提克斯公司 用于监控和影响基于姿势的行为的方法和***
US20200362686A1 (en) * 2019-05-15 2020-11-19 Schlumberger Technology Corporation Machine Learning Drill Out System
CN110795989A (zh) * 2019-08-28 2020-02-14 广东电网有限责任公司 一种电力作业智能安全监督***及其监督方法
CN110634265A (zh) * 2019-09-06 2019-12-31 国网浙江省电力有限公司衢州供电公司 一种基于物联网的电力作业事故隐患预警***及方法
CN211979826U (zh) * 2020-04-27 2020-11-20 深圳市国脉科技有限公司 安全监测预警***
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN112001310A (zh) * 2020-08-24 2020-11-27 国网上海市电力公司 基于视觉感知与空间定位的变电站作业现场安全管控***
CN112465811A (zh) * 2020-12-16 2021-03-09 国网四川省电力公司电力科学研究院 电力作业现场高精度动态目标定位方法及装置
CN112465401A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于多维信息融合的电力作业安全管控***及其管控方法
CN114202126A (zh) * 2021-12-15 2022-03-18 国网四川省电力公司电力科学研究院 一种电力作业智能安全控制方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
常政威等: ""一种基于姿态感知的电力人员穿戴识别残差网络"", 《电讯技术》 *
王鸿等: ""基于深度学习的电力作业人员行为识别技术"", 《四川电力技术》 *
蒋毅: ""基于数据挖掘的现场作业风险态势评估方法"", 《计算机与现代化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424410A (zh) * 2022-11-03 2022-12-02 国网浙江省电力有限公司金华供电公司 基于无线辐射感知与多模态数据的高压环境防护方法
CN115424410B (zh) * 2022-11-03 2023-12-19 国网浙江省电力有限公司金华供电公司 基于无线辐射感知与多模态数据的高压环境防护方法

Also Published As

Publication number Publication date
CN115240365B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
Harrou et al. An integrated vision-based approach for efficient human fall detection in a home environment
CN111445524B (zh) 基于场景理解的施工现场工人不安全行为识别方法
CN107133564B (zh) 一种工装工帽检测方法
CN112804498B (zh) 一种安全防护装具佩戴情况监控***和方法
CN115240365B (zh) 一种融合多维信息的电力作业人员危险态势动态感知方法
CN111428617A (zh) 一种基于视频图像的配网违规检修行为的识别方法和***
CN206058455U (zh) 一种具备三种等级烟雾识别的火灾图像识别***
CN113705372B (zh) 一种应用于配网作业现场违章的ai识别***
CN112434669B (zh) 一种多信息融合的人体行为检测方法及***
CN110599735A (zh) 一种基于变电站作业违章行为智能识别的告警方法
CN108830143A (zh) 一种基于深度学习的视频分析***
KR102182008B1 (ko) 통합 환경 감시를 통한 관제시스템 및 방법
CN112491849B (zh) 一种基于流量特征的电力终端漏洞攻击防护方法
CN113283369A (zh) 一种港口码头作业人员安全防护措施监控***及方法
CN115375287B (zh) 一种电网运维作业违章行为监测预警管理***
CN111931652A (zh) 着装检测方法、装置和监测终端
CN115797856A (zh) 一种基于机器视觉的施工场景智慧安全监控方法
CN117373196B (zh) 一种电气火灾报警方法及***
CN113596408A (zh) 基于ai智能分析的辅助监控***
CN115620480A (zh) 一种基于高空智能自动监测的预警***
CN112949606B (zh) 工服穿戴状态检测方法、装置、存储介质及电子装置
CN115953815A (zh) 基建现场的监测方法及装置
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
CN115171006A (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN114697614A (zh) 一种基于人工智能的充电过程安全监控***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant