CN113095160A - 基于人工智能和5g的电力***人员安全行为识别方法及*** - Google Patents
基于人工智能和5g的电力***人员安全行为识别方法及*** Download PDFInfo
- Publication number
- CN113095160A CN113095160A CN202110310589.5A CN202110310589A CN113095160A CN 113095160 A CN113095160 A CN 113095160A CN 202110310589 A CN202110310589 A CN 202110310589A CN 113095160 A CN113095160 A CN 113095160A
- Authority
- CN
- China
- Prior art keywords
- neural network
- power system
- algorithm
- artificial intelligence
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 93
- 230000006399 behavior Effects 0.000 claims abstract description 78
- 238000013528 artificial neural network Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 43
- 230000005540 biological transmission Effects 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 23
- 238000004519 manufacturing process Methods 0.000 claims description 20
- 230000006854 communication Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000010248 power generation Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 15
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Evolutionary Biology (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提高一种基于人工智能和5G的电力***人员安全行为识别方法,包括以下步骤:步骤1.获取电力工作人员操作行为视频信息;步骤2.采用VIBE算法检测视频信息中的运动区域,得到运动区域;步骤3.采用Itti算法提取运动区域特征,特征包括亮度特征、颜色特征、方向特征、纹理特征、形状特征五类特征;步骤4.利用训练好的目标BP神经网络算法对运动区域进行电力***工作人员行为进行安全识别。本发明基于现有的Itti算法,通过改进,实现除常规的亮度特征、颜色特征、方向特征之外的纹理特征和形状特征共计5类特征的提取,并提供了纹理特征和形状特征的提取过程,从而提高识别精度。
Description
技术领域
本发明涉及人员安全行为识别技术领域,具体来说是基于人工智能和5G的电力***人员安全行为识别方法及***。
背景技术
随着电力***的迅速发展,电力产品设备的升级换代导致其操作流程也日益增多,即在电力***日常生产运行过程中出现的安全事故与电力生产人员的违章行为存在直接关系。提高电力生产人员的专业素养、增强其安全意识成为降低电力生产环节事故发生的重要手段。但在实际工作中,电力生产现场环境复杂、电力设备作业多,且监督人员匮乏,无法对电力生产过程进行有效监管,导致电力生产环节存在一定安全隐患。因此,对电力生产者进行安全行为识别来监督管理,可规避生产中违章现象发生的风险,保障电力***的安全稳定运行。
近年来,人工智能等新兴技术迅速发展,促使行为检测、目标跟踪等智能算法也得到了广泛应用,如电缆的无人机巡检可对线缆是否存在异物进行分析和识别,极大降低电力安全事故发生的可能性。但人工智能算法复杂度较高,且对于电力生产过程进行检测和识别定位的过程基于4G网络,存在一定传输和处理延时,不利于实际电力生产工作需求。
目前发电厂可实现对电力***的现场环境和设备进行实时视频监控,但缺乏针对监控内容特定行为的安全识别和告警,即监控***不能实现自动检测和分析,并对违规行为进行实时报警。若将行为识别等人工智能算法应用到电力***领域,并发挥5G技术低延时和传输可靠性的优势,将弥补传统人工识别违章操作效率低、基于4G网络海量数据传输延时高的缺陷,提高电力***安全稳定运行系数。
如申请号为202010809552.2公开的基于5G网络的人工智能高风险作业管控***,该***包括:监控设备;与监控设备基于5G网络通信相连的核心交换机;核心交换机将监控数据进行镜像备份,得到相同的两份监控数据;将两份监控数据中的一份发送至原始视频监控平台;将另一份发送至人工智能作业风险管控平台;原始视频监控平台接收并存储监控数据,以供客户端调用监控数据并显示;人工智能作业风险管控平台对接收到的监控数据进行特征提取,得到风险识别特征;在提取到风险识别特征时生成告警信息;可以解决人工判断违规场景的效率较低的问题;由于可以通过人工智能作业风险管控平台自动识别违规操作,可以提高违规场景判断的效率。该技术并未公开具体的智能识别技术,无法确定其识别精度和效率。
发明内容
本发明所要解决的技术问题在于针对现有技术中存在电力***人员安全行为识别技术存在识别效率低,稳定性差的问题。
本发明通过以下技术手段实现解决上述技术问题的:
基于人工智能和5G的电力***人员安全行为识别方法,包括以下步骤:
步骤1.获取电力工作人员操作行为视频信息;
步骤2.采用VIBE算法检测视频信息中的运动区域,得到运动区域;
步骤3.采用Itti算法提取运动区域特征,特征包括亮度特征、颜色特征、方向特征、纹理特征、形状特征五类特征;其中纹理特征D的计算方法为:
1)对于运动区域L(x,y),令Lx和Ly分别表示运动区域水平和垂直方向的梯度,则运动区域的结构张量矩阵T为:
2)由于矩阵T中的特征值λ1和λ2可表示特征向量方向上的对比度和窗口内灰度变化整体趋势,则由λ1和λ2表征运动区域帧的纹理特征D;
其中形状特征δ(σ,i)的计算方法为:
1)采用Harri角点算法提取运动区域的边界角点集合x(i),i=1,2,…M,M表示运动区域边界的长度;
2)采用边界函数δ(i)描述运动区域边界,
δ(i)=[x(i)-Ca(i)-Cb(i)] (4)
其中(Ca,Cb)表示运动区域中心;
3)以边界角点x(i)作为边界函数δ(i)的自变量,并在尺度σ下将δ(i)与高斯核函数进行线性卷积求得δ(σ,i),则由δ(σ,i)作为表征运动区域的形状特征。
δ(σ,i)=[x(i)*g(σ),y(i)*g(σ)] (5)
其中g(σ)表示尺度为σ的高斯核函数;
步骤4.利用训练好的目标BP神经网络算法对运动区域进行电力***工作人员行为进行安全识别。
本发明基于现有的Itti算法,通过改进,实现除常规的亮度特征、颜色特征、方向特征之外的纹理特征和形状特征共计5类特征的提取,并提供了纹理特征和形状特征的提取过程,从而提高识别精度。本发明引入纹理特征解决原算法表征纹理区域不明显的缺陷,引入形状特征将更精确的定位不同运动区域的边界。本发明选择事先提取好的五类特征作为构建BP神经网络的子特征,在通过对电力***正确人员行为动作基于神经网络的反复训练后,将得到关于电力***人员行为的神经网络架构,可更准确、可靠的识别电力***人员的不安全行为,同时该神经网络架构相较于传统神经网络架构基于5G网络运算效率更高、识别效果更佳。
进一步的,所述步骤4中BP神经网络算法的训练过程为:
(1)BP神经网络算法算法首先基于滑动窗口机制对检测的运动区域进行分割,以每个单元格作为样本,并计算每个单元格内的的五类特征描述子,即每个样本包含5个特征;
(2)以三层BP神经网络结构作为样本训练结构,三层结构包括:输入层、隐藏层和输出层,并分别在隐藏层和输出层上附加偏置单元,此时构建完成BP神经网络;
(3)在构建好BP神经网络后,将进行正向传播和反向传播两个步骤;在正向传播过程中,选择sigmoid函数作为输入层到隐藏层的激活函数;在反向传播过程中,因此采用交叉熵损失函数替代均方误差函数更新权值和偏置;引入泰勒公式确定误差精度;
进一步的,所述步骤4中电力***工作人员行为进行安全识别过程为:将步骤3特征提取后的运动区域输入目标BP神经网络进行特征分类;分类具体为:在权值范围集合偏差范围集合和偏置范围集合中随机选取数值进行特征分类,并判断输出层结果误差是否在指定精度范围内,进而对电力***工作人员行为进行安全识别。
本发明还提供一种基于人工智能和5G的电力***人员安全行为识别***,包括
视频采集模块,用以获取电力工作人员操作行为视频信息;
预处理模块,采用VIBE算法检测视频信息中的运动区域,得到运动区域;
特征提取模块,采用Itti算法提取运动区域特征,特征包括亮度特征、颜色特征、方向特征、纹理特征、形状特征五类特征;其中纹理特征D的计算方法为:
1)对于运动区域L(x,y),令Lx和Ly分别表示运动区域水平和垂直方向的梯度,则运动区域的结构张量矩阵T为:
2)由于矩阵T中的特征值λ1和λ2可表示特征向量方向上的对比度和窗口内灰度变化整体趋势,则由λ1和λ2表征运动区域帧的纹理特征D;
其中形状特征δ(σ,i)的计算方法为:
1)采用Harri角点算法提取运动区域的边界角点集合x(i),i=1,2,…M,M表示运动区域边界的长度;
2)采用边界函数δ(i)描述运动区域边界,
δ(i)=[x(i)-Ca(i)-Cb(i)] (4)
其中(Ca,Cb)表示运动区域中心;
3)以边界角点x(i)作为边界函数δ(i)的自变量,并在尺度σ下将δ(i)与高斯核函数进行线性卷积求得δ(σ,i),则由δ(σ,i)作为表征运动区域的形状特征。
δ(σ,i)=[x(i)*g(σ),y(i)*g(σ)] (5)
其中g(σ)表示尺度为σ的高斯核函数;
行为安全识别模块,利用训练好的目标BP神经网络算法对运动区域进行电力***工作人员行为进行安全识别。
进一步的,所述BP神经网络算法的训练过程为:
(1)BP神经网络算法算法首先基于滑动窗口机制对检测的运动区域进行分割,以每个单元格作为样本,并计算每个单元格内的的五类特征描述子,即每个样本包含5个特征;
(2)以三层BP神经网络结构作为样本训练结构,三层结构包括:输入层、隐藏层和输出层,并分别在隐藏层和输出层上附加偏置单元,此时构建完成BP神经网络;
(3)在构建好BP神经网络后,将进行正向传播和反向传播两个步骤;在正向传播过程中,选择sigmoid函数作为输入层到隐藏层的激活函数;在反向传播过程中,因此采用交叉熵损失函数替代均方误差函数更新权值和偏置;引入泰勒公式确定误差精度;
进一步的,所述电力***工作人员行为进行安全识别过程为:将步骤3特征提取后的运动区域输入目标BP神经网络进行特征分类;分类具体为:在权值范围集合偏差范围集合和偏置范围集合中随机选取数值进行特征分类,并判断输出层结果误差是否在指定精度范围内,进而对电力***工作人员行为进行安全识别。
进一步的,所述视频采集模块包括高清摄像头、CPE;所述高清摄像头以广角形式固定在电力***生产现场,监控电力生产现场实时画面并采集电力工作人员操作行为视频信息;所述CPE将高清摄像头采集的视频信息通过WebRTC技术传输至5G基站。
进一步的,***包括服务器终端;所述服务器终端包括MEC服务器、人工智能服务器;所述MEC服务器与人工智能服务器通信连接;所述MEC服务器将CPE通过5G网络传输的视频流信号进行分流,完成消息的接受和转发并实现视频流数据跳过运营商核心网的传输直接传输到内网的人工智能服务器;所述人工智能服务器内置所述预处理模块和特征提取模块,即将MEC服务器传输的视频流通过内置VIBE算法进行运动目标检测操作提取出电力生产人员行为运动区域,然后对运动区域通过改进Itti算法进行特征提取并在BP神经网络架构下完成特征识别和分类。
进一步的,***还包括显示终端;所述显示重点包括工业PC机,工业PC机与人工智能服务器通信连接。
本发明的优点在于:
本发明基于现有的Itti算法,通过改进,实现除常规的亮度特征、颜色特征、方向特征之外的纹理特征和形状特征共计5类特征的提取,并提供了纹理特征和形状特征的提取过程,本发明引入纹理特征解决原算法表征纹理区域不明显的缺陷,引入形状特征将更精确的定位不同运动区域的边界。本发明选择事先提取好的五类特征作为构建BP神经网络的子特征,在通过对电力***正确人员行为动作基于神经网络的反复训练后,将得到关于电力***人员行为的神经网络架构,可更准确、可靠的识别电力***人员的不安全行为,同时该神经网络架构相较于传统神经网络架构基于5G网络运算效率更高、识别效果更佳。
附图说明
图1为本发明实施例中基于人工智能和5G的电力***人员安全行为识别***总体结构框图;
图2为图1***具体展开状态结构框图;
图3为通信过程WebRTC总体框架图;
图4为人工智能算法服务器内置算法具体执行流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,本发明的一种基于人工智能和5G的电力***人员安全行为识别应用***,包括信息采集终端1、网络传输终端2、服务器终端3和信息显示终端4,所述网络传输终端2分别与信息采集终端1、服务器终端相连3,所述服务器终端3与信息显示终端4相连。
参照图1和图2,所述信息采集终端1包括:高清摄像头,CPE,所述高清摄像头以广角形式固定在电力***生产现场,监控电力生产现场实时画面并采集电力工作人员操作行为视频信息;所述CPE将高清摄像头采集的视频信息通过WebRTC技术传输至5G基站,CPE将增强视频信号传输距离并突破上行功率的限制,保证视频信号传输的可靠性。
所述网络传输终端2包括:5G基站,5G基站建设在电力***现场内,并与CPE连接,为高清视频提供5G网络传输;其中WebRTC技术为整个***运行提供通信服务。所述5G基站将接收CPE传输的视频信号,并将视频流通过5G网络传输至服务器终端3进行处理,5G基站将在场内通过云平台搭建,并实现高清视频流在5G网络下实时传输。
服务器终端包括:MEC服务器,人工智能服务器,新建MEC服务器数据平台部署在通信网络5G基站附近,可以实现将视频数据不经运营商核心网直接分流到企业内网的人工智能算法服务器;人工智能算法服务器部署在电厂集控室内。所述MEC服务器将CPE通过5G网络传输的视频流信号进行分流,完成消息的接受和转发并实现视频流数据跳过运营商核心网的传输直接传输到内网的人工智能服务器,通过MEC服务器分流,可实现视频流数据不出电厂,降低视频数据传输过程的时延并保证视频数据安全保密性;所述人工智能服务器将MEC服务器传输的视频流通过内置VIBE算法进行运动目标检测操作提取出电力生产人员行为运动区域,然后对运动区域通过改进Itti算法进行特征提取并在BP神经网络架构下完成特征识别和分类,并将结果反馈至信息显示终端4,实现电力***人员的行为识别。所述信息显示终端4包括:工业PC机,工业PC机将接收人工智能服务器反馈的行为识别结果,并对电力***人员违章操作行为进行告警,提高电力***安全系数;同时工业PC机也将显示电力***生产现场实时监控画面,降低电力***故障发生的概率。
所述信息显示终端包括:工业PC机,工业PC机部署在电厂集控室内,并与人工智能算法服务器连接,可实现实时显示现场传输视频和视频识别内容,并对人工智能算法服务器识别的不安全行为进行告警。
参照图1和图3,本***采用WebRTC技术实现视频流数据的实时传输,所述视频流通过WebRTC内置视频引擎模块使用VP8编码技术进行编解码处理,并通过WebRTC内置打洞服务器(STUN/TURN)模块实现NAT穿透。在5G网络低延时、高可靠性的基础上,本***可实现高清视频实时传输的目的;同时本***依据WebRTC技术自身优势可根据网络的抖动情况自适应调整码率使视频质量达到最佳状态。
本实施例以5G技术作为高清视频实时传输的网络技术,由于5G技术相较于4G技术具有高实时性、高可靠性以及超低时延传输架构,因此选用5G技术具有很高的实用价值;选用实时通信(Web Real-Time Communication,WebRTC)技术作为高清视频传输的通信技术,WebRTC技术相较于传统TCP/IP通信方式具有更高的实时通信能力,且WebRTC的通信方式可屏蔽操作***和硬件之间的差异,具有优秀的跨平台能力;选用视觉背景模型提取(VIBE)算法作为视频中运动区域的提取算法,VIBE算法相较于帧间差分法、光流法等运动目标检测算法具有背景建模速度快、抗干扰能力强、背景模型随机更新等优点,能有效的克服电力生产现场视频图像像素变化的不确定性问题;选用改进Itti算法对运动区域进行特征提取,Itti算法相较于HOG等特征提取算法具有处理视觉信息快、显著度认知能力高等诸多优点;选用改进BP神经网络算法对提取到的特征进行行为识别与分类,相较于传统深度学习算法可避免局部极小及收敛速度慢等问题,并准确判断和识别出不安全行为并发出报警。
本实施例目的是克服传统电力***基于4G网络传输延时高,视频监控不能对电力生产人员的特定行为进行安全识别等不足,提出一种科学合理,适用性强,效果佳,能够降低电力***因人为因素发生故障风险的基于人工智能和5G的电力***人员安全行为识别应用***。
本实施例一种基于人工智能和5G的电力***人员安全行为识别应用***,采用5G网络进行实时可靠传输,在传输中采用WebRTC技术为整个***的通信传输提供支撑,人工智能算法服务器对采集视频信息进行运动目标检测并对运动区域进行特征提取并基于BP神经网络对特征进行分类和识别,并在PC机终端显示识别结果并对不安全行为进行告警。应用在电力***现场实际工作环境可以大幅度降低电力工作人员不安全行为带来的安全隐患,提高电力***安全系数,具有科学合理,适用性强,效果佳等优点。
参照图2和图4,MEC服务器将视频流传输至人工智能算法服务器后,人工智能算法服务器将通过内置算法完成电力***工作人员的运动区域检测、特征提取和识别,具体执行步骤如下:
(1)VIBE算法检测视频帧中运动区域
MEC服务器传输至人工智能算法服务器的视频流首先需要经过VIBE算法对视频帧进行运动目标检测预处理,该过程包括视频帧的背景模型初始化、前景检测和背景模型更新,由于背景建模法检测运动目标实时性更高,且检测运动目标更精确,因此该过程将最终提取出视频帧的运动目标区域,即电力***工作人员的行为运动区域。
(2)改进Itti算法提取运动区域特征
经VIBE算法预处理得到的运动区域将采用改进Itti算法进行特征提取操作,传统Itti算法提取图像中的亮度特征、颜色特征和方向特征作为描述当前图像的子特征,为更准确的对电力生产人员行为从多尺度、多层次、多视角方面进行描述,基于图像金字塔思想引入纹理特征和形状特征作为描述图像的子特征。由于原Itti算法只提取图像帧的亮度特征、颜色特征和方向特征作为当前图像帧的特征,最终识别的区域为不规则区域,同时对于不同运动区域和静止区域等运动频率不同的区域纹理表征不明显。因此为更精确的识别图像帧中的人员运动行为区域,将引入纹理特征解决原算法表征纹理区域不明显的缺陷,引入形状特征将更精确的定位不同运动区域的边界。
其中纹理特征D的计算方法为:
1)对于运动区域L(x,y),令Lx和Ly分别表示运动区域水平和垂直方向的梯度,则运动区域的结构张量矩阵T为:
2)由于矩阵T中的特征值λ1和λ2可表示特征向量方向上的对比度和窗口内灰度变化整体趋势,则由λ1和λ2表征运动区域帧的纹理特征D。
其中形状特征δ(σ,i)的计算方法为:
1)采用Harri角点算法提取运动区域的边界角点集合x(i),i=1,2,…M,M表示运动区域边界的长度。
2)采用边界函数δ(i)描述运动区域边界,
δ(i)=[x(i)-Ca(i)-Cb(i)] (4)
其中(Ca,Cb)表示运动区域中心。
3)以边界角点x(i)作为边界函数δ(i)的自变量,并在尺度σ下将δ(i)与高斯核函数进行线性卷积求得δ(σ,i),则由δ(σ,i)作为表征运动区域的形状特征。
δ(σ,i)=[x(i)*g(σ),y(i)*g(σ)] (5)
其中g(σ)表示尺度为σ的高斯核函数。
(3)改进BP神经网络算法对运动区域进行识别
1)算法首先基于滑动窗口机制对检测的运动区域进行分割,以每个单元格作为样本,并计算每个单元格内的的五类特征描述子(亮度特征、颜色特征、方向特征、纹理特征和形状特征),即每个样本包含5个特征,
2)以三层BP神经网络结构作为样本训练结构,三层结构包括:输入层、隐藏层和输出层,并分别在隐藏层和输出层上附加偏置单元,此时构建完成BP神经网络。
3)在构建好BP神经网络后,将进行正向传播和反向传播两个步骤。在正向传播过程中,选择sigmoid函数作为输入层到隐藏层的激活函数,考虑到Softmax函数可更精确的对样本进行分类,这里将Softmax函数作为隐藏层到输出层的激活函数;在反向传播过程中,传统BP神经网络算法以均方误差损失函数更新权值ω、偏差θ和偏置b,其收敛速度慢且容易陷入局部极小,因此采用交叉熵损失函数替代均方误差函数更新权值和偏置。考虑到终止迭代条件误差的精度η将影响分类的最终结果,这里引入泰勒公式更精确的确定误差精度。
(4)运动区域检测、特征提取和识别
1)首先采集电力***工作人员按电厂所有规范操作行为演示的视频,并根据步骤(1)对视频帧进行运动区域检测,然后按照步骤(2)对检测的运动区域进行特征提取操作,并在步骤(2)的基础上执行步骤(3),反复训练新建的BP神经网络,并保存满足精度范围的所有规范操作的权值范围集合偏差范围集合和偏置范围集合
2)对日常采集的电力***工作人员现场工作视频同样按照步骤(1)和步骤(2)分别进行目标检测、特征提取,并通过步骤(3)进行特征分类,这里在权值范围集合偏差范围集合和偏置范围集合中随机选取数值进行特征分类,并判断输出层结果误差是否在指定精度范围内,进而对电力***工作人员行为进行安全识别。
参照图1和图4,人工智能服务器将人员行为识别结果传输至工业PC机,工业PC机将对不安全行为进行告警,现场工作人员将根据告警的不安全行为采取下一步措施。
综上,即可实现基于人工智能和5G的电力***人员安全行为识别应用。
本发明是根据发明目的,采用现有技术之有机组合,为电力***领域提供一种创新的人员安全行为识别***,解决了现有技术的难题,为电力***人员行为识别提供了新的技术手段。本发明的硬件均为现有技术的市售产品,软件由熟悉本领域的人员依据通信原理、图像处理技术、人工智能算法技术编制,容易实施。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.基于人工智能和5G的电力***人员安全行为识别方法,其特征在于,包括以下步骤:
步骤1.获取电力工作人员操作行为视频信息;
步骤2.采用VIBE算法检测视频信息中的运动区域,得到运动区域;
步骤3.采用Itti算法提取运动区域特征,特征包括亮度特征、颜色特征、方向特征、纹理特征、形状特征五类特征;其中纹理特征D的计算方法为:
1)对于运动区域L(x,y),令Lx和Ly分别表示运动区域水平和垂直方向的梯度,则运动区域的结构张量矩阵T为:
2)由于矩阵T中的特征值λ1和λ2可表示特征向量方向上的对比度和窗口内灰度变化整体趋势,则由λ1和λ2表征运动区域帧的纹理特征D;
其中形状特征δ(σ,i)的计算方法为:
1)采用Harri角点算法提取运动区域的边界角点集合x(i),i=1,2,…M,M表示运动区域边界的长度;
2)采用边界函数δ(i)描述运动区域边界,
δ(i)=[x(i)-Ca(i)-Cb(i)] (4)
其中(Ca,Cb)表示运动区域中心;
3)以边界角点x(i)作为边界函数δ(i)的自变量,并在尺度σ下将δ(i)与高斯核函数进行线性卷积求得δ(σ,i),则由δ(σ,i)作为表征运动区域的形状特征。
δ(σ,i)=[x(i)*g(σ),y(i)*g(σ)] (5)
其中g(σ)表示尺度为σ的高斯核函数;
步骤4.利用训练好的目标BP神经网络算法对运动区域进行电力***工作人员行为进行安全识别。
2.根据权利要求1所述的基于人工智能和5G的电力***人员安全行为识别方法,其特征在于,所述步骤4中BP神经网络算法的训练过程为:
(1)BP神经网络算法算法首先基于滑动窗口机制对检测的运动区域进行分割,以每个单元格作为样本,并计算每个单元格内的的五类特征描述子,即每个样本包含5个特征;
(2)以三层BP神经网络结构作为样本训练结构,三层结构包括:输入层、隐藏层和输出层,并分别在隐藏层和输出层上附加偏置单元,此时构建完成BP神经网络;
(3)在构建好BP神经网络后,将进行正向传播和反向传播两个步骤;在正向传播过程中,选择sigmoid函数作为输入层到隐藏层的激活函数;在反向传播过程中,因此采用交叉熵损失函数替代均方误差函数更新权值和偏置;引入泰勒公式确定误差精度;
4.基于人工智能和5G的电力***人员安全行为识别***,其特征在于,包括
视频采集模块,用以获取电力工作人员操作行为视频信息;
预处理模块,采用VIBE算法检测视频信息中的运动区域,得到运动区域;
特征提取模块,采用Itti算法提取运动区域特征,特征包括亮度特征、颜色特征、方向特征、纹理特征、形状特征五类特征;其中纹理特征D的计算方法为:
1)对于运动区域L(x,y),令Lx和Ly分别表示运动区域水平和垂直方向的梯度,则运动区域的结构张量矩阵T为:
2)由于矩阵T中的特征值λ1和λ2可表示特征向量方向上的对比度和窗口内灰度变化整体趋势,则由λ1和λ2表征运动区域帧的纹理特征D;
其中形状特征δ(σ,i)的计算方法为:
1)采用Harri角点算法提取运动区域的边界角点集合x(i),i=1,2,…M,M表示运动区域边界的长度;
2)采用边界函数δ(i)描述运动区域边界,
δ(i)=[x(i)-Ca(i)-Cb(i)] (4)
其中(Ca,Cb)表示运动区域中心;
3)以边界角点x(i)作为边界函数δ(i)的自变量,并在尺度σ下将δ(i)与高斯核函数进行线性卷积求得δ(σ,i),则由δ(σ,i)作为表征运动区域的形状特征;
δ(σ,i)=[x(i)*g(σ),y(i)*g(σ)] (5)
其中g(σ)表示尺度为σ的高斯核函数;
行为安全识别模块,利用训练好的目标BP神经网络算法对运动区域进行电力***工作人员行为进行安全识别。
5.根据权利要求4所述的基于人工智能和5G的电力***人员安全行为识别***,其特征在于,所述BP神经网络算法的训练过程为:
(1)BP神经网络算法算法首先基于滑动窗口机制对检测的运动区域进行分割,以每个单元格作为样本,并计算每个单元格内的的五类特征描述子,即每个样本包含5个特征;
(2)以三层BP神经网络结构作为样本训练结构,三层结构包括:输入层、隐藏层和输出层,并分别在隐藏层和输出层上附加偏置单元,此时构建完成BP神经网络;
(3)在构建好BP神经网络后,将进行正向传播和反向传播两个步骤;在正向传播过程中,选择sigmoid函数作为输入层到隐藏层的激活函数;在反向传播过程中,因此采用交叉熵损失函数替代均方误差函数更新权值和偏置;引入泰勒公式确定误差精度;
7.根据权利要求5所述的基于人工智能和5G的电力***人员安全行为识别***,其特征在于,所述视频采集模块包括高清摄像头、CPE;所述高清摄像头以广角形式固定在电力***生产现场,监控电力生产现场实时画面并采集电力工作人员操作行为视频信息;所述CPE将高清摄像头采集的视频信息通过WebRTC技术传输至5G基站。
8.根据权利要求7所述的基于人工智能和5G的电力***人员安全行为识别***,其特征在于,***包括服务器终端;所述服务器终端包括MEC服务器、人工智能服务器;所述MEC服务器与人工智能服务器通信连接;所述MEC服务器将CPE通过5G网络传输的视频流信号进行分流,完成消息的接受和转发并实现视频流数据跳过运营商核心网的传输直接传输到内网的人工智能服务器;所述人工智能服务器内置所述预处理模块和特征提取模块,即将MEC服务器传输的视频流通过内置VIBE算法进行运动目标检测操作提取出电力生产人员行为运动区域,然后对运动区域通过改进Itti算法进行特征提取并在BP神经网络架构下完成特征识别和分类。
9.根据权利要求8所述的基于人工智能和5G的电力***人员安全行为识别***,其特征在于,***还包括显示终端;所述显示重点包括工业PC机,工业PC机与人工智能服务器通信连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110310589.5A CN113095160B (zh) | 2021-03-23 | 2021-03-23 | 基于人工智能和5g的电力***人员安全行为识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110310589.5A CN113095160B (zh) | 2021-03-23 | 2021-03-23 | 基于人工智能和5g的电力***人员安全行为识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113095160A true CN113095160A (zh) | 2021-07-09 |
CN113095160B CN113095160B (zh) | 2022-09-30 |
Family
ID=76669096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110310589.5A Active CN113095160B (zh) | 2021-03-23 | 2021-03-23 | 基于人工智能和5g的电力***人员安全行为识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095160B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469136A (zh) * | 2021-07-28 | 2021-10-01 | 大连海事大学 | 基于改进lstm-vgg16深层神经网络结构识别轮机员工作监控方法 |
CN114844873A (zh) * | 2022-04-11 | 2022-08-02 | 神马人工智能科技(深圳)有限公司 | 基于人工智能的物联网设备视听流实时处理*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140198031A1 (en) * | 2013-01-16 | 2014-07-17 | Huaixin XIONG | Palm gesture recognition method and device as well as human-machine interaction method and apparatus |
CN105550685A (zh) * | 2015-12-11 | 2016-05-04 | 哈尔滨工业大学 | 基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法 |
CN108171723A (zh) * | 2017-12-22 | 2018-06-15 | 湖南源信光电科技股份有限公司 | 基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机*** |
CN108198207A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法 |
CN109214420A (zh) * | 2018-07-27 | 2019-01-15 | 北京工商大学 | 基于视觉显著性检测的高纹理图像分类方法及*** |
CN110363197A (zh) * | 2019-06-22 | 2019-10-22 | 东北电力大学 | 基于改进视觉背景提取模型的视频感兴趣区域提取方法 |
CN112149513A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业(集团)有限责任公司 | 基于深度学习的工业制造现场安全帽佩戴识别***和方法 |
-
2021
- 2021-03-23 CN CN202110310589.5A patent/CN113095160B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140198031A1 (en) * | 2013-01-16 | 2014-07-17 | Huaixin XIONG | Palm gesture recognition method and device as well as human-machine interaction method and apparatus |
CN105550685A (zh) * | 2015-12-11 | 2016-05-04 | 哈尔滨工业大学 | 基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法 |
CN108171723A (zh) * | 2017-12-22 | 2018-06-15 | 湖南源信光电科技股份有限公司 | 基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机*** |
CN108198207A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法 |
CN109214420A (zh) * | 2018-07-27 | 2019-01-15 | 北京工商大学 | 基于视觉显著性检测的高纹理图像分类方法及*** |
CN110363197A (zh) * | 2019-06-22 | 2019-10-22 | 东北电力大学 | 基于改进视觉背景提取模型的视频感兴趣区域提取方法 |
CN112149513A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业(集团)有限责任公司 | 基于深度学习的工业制造现场安全帽佩戴识别***和方法 |
Non-Patent Citations (4)
Title |
---|
LÜ CHAOHUI等: "Extraction technique of region of interest from stereoscopic video", 《THE JOURNAL OF CHINA UNIVERSITIES OF POSTS AND TELECOMMUNICATIONS》 * |
RENJIE SONG ET AL: "Optimized Rate Control Algorithm of High-Efficiency Video Coding Based on Region of Interest", 《JOURNAL OF ELECTRICAL AND COMPUTER ENGINEERING》 * |
莫邵文等: "基于改进视觉背景提取的运动目标检测算法", 《光学学报》 * |
黄传波等: "结合视觉感知与LBP傅里叶直方图的图像检索", 《计算机辅助设计与图形学学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469136A (zh) * | 2021-07-28 | 2021-10-01 | 大连海事大学 | 基于改进lstm-vgg16深层神经网络结构识别轮机员工作监控方法 |
CN113469136B (zh) * | 2021-07-28 | 2024-05-14 | 大连海事大学 | 基于改进lstm-vgg16深层神经网络结构识别轮机员工作监控方法 |
CN114844873A (zh) * | 2022-04-11 | 2022-08-02 | 神马人工智能科技(深圳)有限公司 | 基于人工智能的物联网设备视听流实时处理*** |
Also Published As
Publication number | Publication date |
---|---|
CN113095160B (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
Franklin et al. | Anomaly detection in videos for video surveillance applications using neural networks | |
CN103069434B (zh) | 用于多模式视频事件索引的方法和*** | |
CN111047818A (zh) | 一种基于视频图像的森林火灾预警*** | |
CN113095160B (zh) | 基于人工智能和5g的电力***人员安全行为识别方法及*** | |
CN116629465B (zh) | 智能电网视频监控与风险预测响应*** | |
CN111222478A (zh) | 一种工地安全防护检测方法和*** | |
CN111223263A (zh) | 一种全自动综合型火灾预警响应*** | |
CN113177968A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112309068B (zh) | 一种基于深度学习的森林火灾预警方法 | |
KR102330055B1 (ko) | 드론을 이용한 구조물의 변화 검출 방법 및 시스템 | |
CN112560816A (zh) | 一种基于YOLOv4的设备指示灯识别方法及*** | |
CN117197713A (zh) | 一种基于数字视频监控***的提取方法 | |
CN113642403A (zh) | 基于边缘计算的人群异动智能安全检测*** | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测*** | |
CN115082813A (zh) | 检测方法、无人机、检测***及介质 | |
CN116052082A (zh) | 一种基于深度学习算法的配电站房异常检测方法及装置 | |
CN116310922A (zh) | 石化厂区监控视频风险识别方法、***、电子设备及存储介质 | |
CN105095891A (zh) | 一种人脸捕捉的方法,装置及*** | |
CN117612249A (zh) | 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置 | |
CN112866654A (zh) | 一种智能视频监控*** | |
CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示*** | |
CN114373162B (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及*** | |
CN111881863B (zh) | 一种区域群体异常行为检测方法 | |
CN112969057A (zh) | 一种5g mec分流的电力***人员行为自动识别*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |