CN116052035A - 一种基于卷积神经网络的电厂人员周界入侵检测方法 - Google Patents
一种基于卷积神经网络的电厂人员周界入侵检测方法 Download PDFInfo
- Publication number
- CN116052035A CN116052035A CN202211379670.XA CN202211379670A CN116052035A CN 116052035 A CN116052035 A CN 116052035A CN 202211379670 A CN202211379670 A CN 202211379670A CN 116052035 A CN116052035 A CN 116052035A
- Authority
- CN
- China
- Prior art keywords
- network
- neural network
- training
- key point
- power plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 230000006399 behavior Effects 0.000 claims abstract description 30
- 230000009194 climbing Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 230000002493 climbing effect Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 238000013145 classification model Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 31
- 230000004913 activation Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000009545 invasion Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000003546 flue gas Substances 0.000 description 1
- 230000007849 functional defect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的电厂人员周界入侵检测方法，包括算法模型训练和算法预测训练两个过程，算法模型训练过程包括：数据集准备及数据预处理、构建特征提取神经网络、构建关键点检测神经网络、关键点检测模型训练、利用关键点生成的骨架图制作分类数据集、构建攀爬动作分类网络、采用骨架数据集训练分类模型；算法预测训练包括获取输入视频流、融合三种网络模型并增设判断攀爬行为逻辑、输出实时的预测结果；本发明基于深度学习中的人体关键点检测和图像分类方法，深度提取图像特征，融合网络模型，设置置信规则，输出更为准确的识别结果。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于卷积神经网络的电厂人员周界入侵检测方法。
背景技术
在电厂中均会存在一些人员禁止入内的高风险区域，电厂往往会对这些危险区域进行人工增设围栏和警告牌，对现场的施工人员进行提醒和警告，但是往往有心存侥幸的工作人员因为缺乏安全意识或者贪图路近，会存在翻越围栏的违规行为，在攀爬围栏过程中可能存在摔伤、磕碰的危险。另外，如带有运煤轨道的煤场区域，一旦人员翻入围栏区域将会存在造成重大事故的隐患。
为防止上述事故发生，目前有很多传统的周界入侵检测技术，包括红外、泄露电缆、振动电缆、脉冲电子围栏、光纤围栏等。红外技术，其主要特点是采用对射的方式进行布防，在实际的运用中，经常会将多束红外光进行对射形成长排，即“红外栅栏”，一旦有人入侵周界，人体遮挡红外线信号，***便会报警。电缆在户外周界入侵监测中应用也十分广泛，基于泄漏电缆传感器的入侵检测方案有误报率低、隐蔽性强的特点，并且不易受到环境和地形的影响。脉冲电子围栏由脉冲发生器发出和接收高压脉冲信号，与前端围栏组成智能型周界***，当前端探知到围栏处于短路、断路等状态时，便触发报警***。光纤围栏是一种分布式围栏传感***，其原理是利用光纤作为传感介质，对光纤传感器布防范围内的对象进行远程和实时的安全监测。
上述周界安防检测技术虽然一定程度上起到了安防效果，但受自身技术条件限制存在诸多功能缺陷，如：可监测的距离短，单位距离成本高，在需要进行长距离监测的情况下，***造价高昂；传感器单元的寿命较短，长时间连续使用，维护成本较高；干扰机会多(电磁干扰、信号干扰、串扰等)，灵敏性下降，误报率、漏报率上升；对于大范围监控，以上传统方案本身没有定位功能，遇上侵入行为，无法快速定位。这意味着无法及时、准确地确定危险地点，无法及时采取制止措施减少侵入行为导致事故损失。
发明内容
为解决上述问题，本发明提供一种基于卷积神经网络的电厂人员周界入侵检测方法，是基于深度学习中的人体关键点检测和图像分类方法，深度提取图像特征，融合网络模型，设置置信规则，输出更为准确的识别结果，具有价格低廉、效率高、实时检测、不漏死角的优势，节省人力，物力，财力，对周界防范问题的解决具有非常重要的意义。
本发明技术方案如下：
本发明提供了一种基于卷积神经网络的电厂人员周界入侵检测方法，包括算法模型训练和算法预测训练两个过程；
所述算法模型训练过程包括以下步骤：
S11、数据集准备及数据预处理：在电厂的监控数据库中，选取多个场景、多个角度的含有人员攀爬行为和正常行走的视频录像，按照一定的帧率间隔，对视频进行抽帧处理，选取正常行为和攀爬行为的视频帧；准备好人体关键点检测数据集并进行划分；
S12、构建特征提取神经网络：在VGG-16分类网络的基础上，设置卷积步长为2替代每层的池化结构(池化结构会降低目标检测、分割等任务特征提取能力)，增加残差结构，加深整体网络深度，为了增加网络的感知能力和特征提取能力，分别在网络的2、3、4层添加注意力模块和膨胀系数为2的膨胀卷积模块，增大有效特征过滤的能力和网络的感受野；
S13、构建关键点检测神经网络：关键点检测神经网络基于原始的OpenPose关键点检测算法，其算法原理为：首先通过卷积神经网络提取一张图片的部位置信特征图和部位亲和向量场特征图，然后将两者结合通过贪心推理和图方法匹配输出每个人的姿态，即：对于一张图像，首先找到画面中出现的所有人的全部关键点，然后对这些点进行分组，让同一个人的点匹配相连；
S14、关键点检测模型训练，构建模型数据集：将划分好数据比例的人体关键点检测数据集送入关键点检测神经网络和骨架提取网络，利用梯度下降法对模型训练迭代优化，并保存最优的模型训练权重w1；
S15、利用关键点生成的骨架图制作分类数据集；
S16、构建攀爬动作分类网络：攀爬动作分类网络采用两层全连接的神经网络；
S17、采用骨架数据集训练分类模型：将步骤S15中处理得到的骨架模型送入步骤S16中的网络进行训练，设置分类loss为交叉熵损失函数(CrossEntropy Loss)；最后使用Adam梯度下降法进行网络优化得到训练权重w2；
所述算法预测训练过程包括以下步骤：
S21、获取输入视频流；
S22、将特征提取神经网络、关键点检测神经网络和攀爬动作分类网络进行融合并增设判断攀爬行为逻辑：将三种网络模型融合并集成到程序中。对于识别出的关键点与人为划定的周界进行判断，计算有多少个关键点落入周界范围内；
S23、输出实时的预测结果。
根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S11中，所述数据集采用开源MS COCO人体关键点检测数据集，并将数据集按照8:1:1的比例划分为关键点检测模型的训练数据、验证数据和测试数据。
根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S12中，所述注意力膨胀卷积模块算法流程如下：假设注意力膨胀卷积的输入是任意一个中间特征图F∈RH×W×C，F首先会输入模块的注意力层，经过全局平均池化操作压缩特征通道得到C×1×1的特征标识，之后通过基于简单的门机制和sigmoid激活函数，得到一维通道注意力图Fc∈R1×1×C，在得到Fc之后，Fc会与输入特征图F作矩阵乘积运算得到加权后的特征图，之后将特征图送入级联的膨胀卷积层，最后得到经过注意力膨胀卷积模块之后的输出特征图，注意力图提取过程可以公式化如下：
其中，σ1代表sigmoid激活函数，σ0代表relu激活函数，w*，b*分别代表卷积层的权重和偏置，
代表元素乘积运算。
根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S13中，所述关键点检测神经网络承接步骤S12中的特征提取神经网络得到的特征图，该步骤中的关键点提取模型首先会将特征图F送入一个初始关键点提取网络，其网络是由3×3的卷积和1×1卷积级联而成；这部分包括两个分支，分别对应生成的关键点热度图(Keypointheatmap)和部分向量场热度图(PAF heatmap)，之后是2组的关键点增强提取网路，其作用是为了进一步生成更加精确的特征图。原始的OpenPose是5组增强提取网络，通过实验发现，5层网络对准确率并没有太大的提升，因此本模块经过实验去掉3组模块，对模型的推理速度和精度做一定取舍。
进一步的，根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S14中，所述关键点检测模型的训练loss如下：
其中，
代表部位置信图标签，
表示部位亲和向量场图标签，W(p)是一个二值掩码，当标注在图像的p缺失时，W(p)＝0。
根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S15中，加载步骤S14中得到的权重w1，启动骨架生成模型对步骤S11中提取得到的电厂实际攀爬场景中的视频帧进行识别得到二值化的正常和攀爬行为的骨架图，并将两种类型的骨架图进行分类，打上类别标签，并按照训练集、验证集和测试集为8:1:1的比例制作成攀爬分类数据集。
根据本发明所述的基于集成混合模型的电厂再热烟气挡板操作预测方法，步骤S16中，所述两层全连接的神经网络，设置第一层网络的节点为(16384,100)，激活函数为Relu，第二层网络的结点设置为(100,2)，分类网络的分类激活函数为softmax函数，将攀爬行为与正常行为进行分类优化。
8.根据权利要求1或7所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S17中，所述交叉熵损失函数数学化公式为：
其中q代表某像素点的真实值，p代表某像素点的预测值。
进一步的，根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S17中，所述交叉熵损失函数数学化公式为：
其中q代表某像素点的真实值，p代表某像素点的预测值。
根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S21中，使用电厂中的枪机摄像头对几个具体场景布控，实时监测场景中作业人员的行为，程序将对多个摄像头进行多线程采集并将采集的视频数据进行抽帧处理，送入待预测图像队列。
根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S23中，将待预测图像队列送入融合之后的算法模型中，加载算法模型的权重，并根据步骤S22中设定的判断逻辑对攀爬越界行为进行计算，并实时展现预测结果。
根据本发明提出的基于卷积神经网络的电厂人员周界入侵检测方法，具有以下优点：(1)本发明采用基于深度学***滑。(5)本发明利用基于人体关键点检测和图像分类的方法，通过计算周界内人体关键点占比和攀爬行为检测的加权判别，增加了算法的鲁棒性和准确性。(6)本发明防周界入侵检测预警解决方案简单、方便、快捷，不需额外增加硬件传感设备，只需利用现场监控即可完成布控，施工维护简单，适用于大范围、远距离场景周界防入侵检测。(7)本发明可实时采集入侵周界相关数据进行智能分析，对周界范围内进行监控，用户可在视线区域内划定任意多边形虚拟周界，若有人闯入，则报警。只检测人形，误报率极低，不受环境干扰。(8)本发明可以实时调取监控，保存报警图像和报警时间，方便电厂工作人员纠察风险事件，与普通电子围栏方案相比，可做到有据可循。
附图说明
通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明的算法模型训练流程图；
图2为本发明的算法预测训练流程图；
图3为本发明的特征提取神经网络结构图；
图4为本发明的残差模块结构示意图；
图5为本发明的注意力膨胀卷积模块结构图；
图6为本发明的关键点检测神经网络结构图；
图7为本发明的攀爬动作分类网络结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，用于示例性的说明本发明的原理，并不被配置为限定本发明。
在本发明中，如果没有特别的说明，所描述的实施例是本发明的一部分实施例，而不是全部实施例。
在本发明中，如果没有特别的说明，本文所提到的所有实施方式以及优选实施方式可以相互组合形成新的技术方案。
在本发明中，如果没有特别的说明，本文所提到的所有技术特征以及优选特征可以相互组合形成新的技术方案。
下面结合具体实施例对本发明作进一步说明：
本实施例以某电厂工作人员攀爬越界行为进行检测，包括算法模型训练和算法预测训练两个过程，通过本实施例的详细阐述，进一步说明本发明的实施过程。某电厂工作人员攀爬越界行为算法模型训练的实施步骤如下：
步骤S11、数据集准备及数据预处理：选取某电厂监控数据库中易出现人员攀爬行为的多个场景、多个角度的含有人员攀爬行为和正常行走的视频录像，对有效的视频帧进行截取。采集早、中、晚三个时间段中单人和多人的攀爬数据，对视频按25帧/秒的频率进行抽帧处理得到攀爬行为的数据和正常行为的数据各2300张；准备好人体关键点检测数据集并进行划分；准备好开源MS COCO人体关键点检测数据集按8:1:1的比例划分为关键点检测模型的训练数据、验证数据和测试数据；
步骤S12、构建特征提取神经网络：如图3所示，在VGG-16分类网络的基础上，设置卷积步长为2替代每层的池化结构(池化结构会降低目标检测、分割等任务特征提取能力)，增加残差结构，加深整体网络深度，为了增加网络的感知能力和特征提取能力，分别在网络的2、3、4层添加注意力模块和膨胀系数为2的膨胀卷积模块，增大有效特征过滤的能力和网络的感受野；注意力膨胀卷积模块结构如图5所示，具体的算法流程为：假设注意力膨胀卷积的输入是任意一个中间特征图F∈RH×W×C，F首先会输入模块的注意力层，经过全局平均池化操作压缩特征通道得到C×1×1的特征标识，之后通过基于简单的门机制和sigmoid激活函数，得到一维通道注意图Fc∈R1×1×C，在得到Fc之后，Fc会与输入特征图F作矩阵乘积运算得到加权后的特征图，之后将特征图送入级联的膨胀卷积层，最后得到经过注意力膨胀卷积模块之后的输出特征图。注意力图提取过程可以公式化如下：
其中，σ1代表sigmoid激活函数，σ0代表relu激活函数，w*，b*分别代表卷积层的权重和偏置，
代表元素乘积运算。
本实施例特征提取网络模块的网络层参数如下表所示：
| 内容 | 卷积核大小 | 卷积核数目 | 卷积步长 | 特征图大小 |
| 原始数据 | —— | —— | —— | 大小不一 |
| 统一尺度 | —— | —— | —— | 640＊640 |
| 输入层 | —— | —— | —— | 640＊640 |
| 卷积层C1 | 3 | 32 | 2 | 320＊320 |
| 卷积层C2 | 3 | 64 | 2 | 160＊160 |
| 卷积层C3 | 3 | 128 | 2 | 80＊80 |
| 卷积层C4 | 3 | 256 | 1 | 80＊80 |
| 卷积层C5 | 3 | 512 | 1 | 80＊80 |
步骤S13、构建关键点检测神经网络：关键点检测神经网络基于原始的OpenPose关键点检测算法，其算法原理为：首先通过卷积神经网络提取一张图片的部位置信特征图和部位亲和向量场特征图，然后将两者结合通过贪心推理和图方法匹配输出每个人的姿态，即：对于一张图像，首先找到画面中出现的所有人的全部关键点，然后对这些点进行分组，让同一个人的点匹配相连，也就是对于一张图像，首先找到画面中出现的所有人的全部关键点，然后对这些点进行分组，让同一个人的点匹配相连。
关键点检测神经网络结构如图6所示，其承接步骤S12中的特征提取网络得到的特征图，该步骤中的关键点提取模型首先会将特征图F送入一个初始关键点提取网络，即图6中的stage 1，其网络是由3×3的卷积和1×1卷积级联而成。这部分有两个分支，分别对应生成的关键点热度图(Keypoint heatmap)和部分向量场热度图(PAF heatmap)，之后是2组的关键点增强提取网路，其作用是为了进一步生成更加精确的特征图，结构如图6中的stage t。原始的OpenPose是5组增强提取网络，通过实验发现，5层网络对准确率并没有太大的提升，因此本模块经过实验去掉3组模块，对模型的推理速度和精度做一定取舍。
本实施例关键点检测神经网络层参数如下表所示：
| 内容 | 卷积核大小 | 卷积核数目 | 卷积步长 | 特征图大小 |
| 输入层 | 3 | 128 | 1 | 80＊80 |
| InitialStage | 3,1 | 128 | 1 | 80＊80 |
| RefinementStages1 | 7,1 | 185 | 1 | 80＊80 |
| ReiinementStages2 | 7,1 | 185 | 1 | 80＊80 |
| 输出层 | —— | —— | —— | 640＊640 |
步骤S14、关键点检测模型训练：设置关键点检测模型的训练loss如下：
其中，
代表部位置信图标签，
表示部位亲和向量场标签，W(p)是一个二值掩码，当标注在图像的p缺失时，W(p)＝0。
硬件环境为：NVIDIA RTX 3090。软件环境为：CUDA、Cudnn、pytorchl.7、opencv等。采用MSCOCO中的人体关键点数据集对关键点模型进行训练，批次大小(batch size)设置为8，周期(epoch)设置为300，利用梯度下降法对模型训练迭代优化，梯度下降法采用SGD，初始学习率(learning rate，lr)设置为1e-4，设置训练中降低学习率策略，在150epoch时将lr降低为1e-5。通过优化迭代算法模型，设置保存最优的模型权重w1。
步骤S15、利用关键点生成的骨架图制作分类数据集：利用关键点检测模型对步骤S11中处理好的4600张攀爬数据进行骨架图预测，可生成二值化的正常和有攀爬行为的人体骨架图。对生成的骨架图进行数据清洗，剔除关键点错乱的情况，将经过预处理之后的图像(大约4000张)按8∶1∶1的比例划分为训练集、验证集和测试集；
步骤S16、构建攀爬动作分类网络：攀爬动作分类网络采用两层简单的全连接的神经网络；设置第一层网络的节点为(16384，100)，激活函数为Relu，第二层网络的结点设置为(100，2)，分类网络的分类激活函数为softmax函数，其作用是将攀爬行为与正常行为进行分类优化。
本实施例攀爬分类网络的参数如下表所示：
| 内容 | 激活函数 | 隐藏层数目 |
| 全连接层F1 | ReLU函数 | 16384 |
| 全连接层F2 | ReLU函数 | 100 |
| 分类层F3 | Softmax函数 | 2 |
步骤S17、采用骨架数据集训练分类模型：硬件环境为：NVIDIARTX 3090。
软件环境为：CUDA、Cudnn、pytorch1.7、opencv等。设置分类loss为交叉熵损失函数；交叉熵损失函数(CrossEntropy Loss)，数学化公式如下：
其中q代表某像素点的真实值，p代表某像素点的预测值；
将步骤S15中处理得到的骨架模型送入步骤S16中的网络进行训练，batch size设置为128，epoch设置为100000，梯度下降法采用Adam，初始lr设置为1e-4，设置训练中降低学习率策略，在50000epoch时将lr降低为1e-5。通过优化迭代算法模型，设置保存最优的模型权重w2。
本实施例对某电厂工作人员攀爬越界行为检测预测的实施步骤如下：
步骤S21：获取输入视频流：
利用电厂中原有的球机或者枪机摄像头、布控球等视频采集设备对具体的业务场景进行视频数据采集，由于算法模型与摄像头是一对多的关系，因此采用多线程的方式对数据进行读取，以提高设备的利用率。为提高模型的推理速度，将获取到各场景的视频后对视频进行抽帧和压缩处理，而后送入待预测图像队列。
步骤S22：将特征提取神经网络、关键点检测神经网络和攀爬动作分类网络进行融合并增设判断攀爬越界行为逻辑：将特征提取网络、关键点识别网络和攀爬分类网络三种模型进行级联数据融合并集成到程序中。对于识别出的关键点与人为划定的周界进行判断，计算有多少个关键点落入周界范围内。
摄像头获取到本场景的画面分辨率为1920x1080，手动划定周界范围为由[(845,5),(803,152),(780,248),(798,369),(860,410),(1085,1053),(1890,1053),(1889,5)]坐标点连成的周界线。
步骤S23：输出实时的预测结果：将待预测图像队列送入融合之后的算法模型中，加载总算法模型的权重对获取的待预测图片队列进行实时预测，并展示识别结果。
本发明主要应用于重点区域防范、半开放区域误闯入、周界闯入等场景。依托智能分析***，如发现有人员越界，可以在监控室进行报警图像展示、语音报警及现场点位语音报警。智能全自动分析，无需人员值守，无需人为操作。本发明为超远距区域警戒***，方案简单，易使用，易布控，可满足现代周界安防的要求。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或增减替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，包括算法模型训练和算法预测训练两个过程；
所述算法模型训练过程包括以下步骤：
S11、数据集准备及数据预处理：在电厂的监控数据库中，选取多个场景、多个角度的含有人员攀爬行为和正常行走的视频录像，对视频进行抽帧处理，选取正常行为和攀爬行为的视频帧；准备好人体关键点检测数据集并进行划分；
S12、构建特征提取神经网络：在VGG-16分类网络的基础上，设置卷积步长为2替代每层的池化结构，增加残差结构，加深整体网络深度，分别在网络的2、3、4层添加注意力模块和膨胀系数为2的膨胀卷积模块，增大有效特征过滤的能力和网络的感受野；
S13、构建关键点检测神经网络：关键点检测神经网络基于原始的OpenPose关键点检测算法，其算法原理为：首先通过卷积神经网络提取一张图片的部位置信特征图和部位亲和向量场特征图，然后将两者结合通过贪心推理和图方法匹配输出每个人的姿态；
S14、关键点检测模型训练，构建模型数据集：将划分好数据比例的人体关键点检测数据集送入关键点检测神经网络和骨架提取网络，利用梯度下降法对模型训练迭代优化，并保存最优的模型训练权重w1；
S15、利用关键点生成的骨架图制作分类数据集；
S16、构建攀爬动作分类网络：攀爬动作分类网络采用两层全连接的神经网络；
S17、采用骨架数据集训练分类模型：将步骤S15中处理得到的骨架模型送入步骤S16中的网络进行训练，设置分类loss为交叉熵损失函数；最后使用梯度下降法进行网络优化得到训练权重w2；
所述算法预测训练过程包括以下步骤：
S21、获取输入视频流；
S22、将特征提取神经网络、关键点检测神经网络和攀爬动作分类网络进行融合并增设判断攀爬行为逻辑；
S23、输出实时的预测结果。
2.根据权利要求1所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S11中，所述数据集采用开源MS COCO人体关键点检测数据集，并将数据集按照8:1:1的比例划分为关键点检测模型的训练数据、验证数据和测试数据。
3.根据权利要求2所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S12中，所述注意力膨胀卷积模块算法流程如下：假设注意力膨胀卷积的输入是任意一个中间特征图F∈RH×W×C，F首先会输入模块的注意力层，经过全局平均池化操作压缩特征通道得到C×1×1的特征标识，之后通过基于简单的门机制和sigmoid激活函数，得到一维通道注意力图Fc∈R1×1×C，在得到Fc之后，Fc会与输入特征图F作矩阵乘积运算得到加权后的特征图，之后将特征图送入级联的膨胀卷积层，最后得到经过注意力膨胀卷积模块之后的输出特征图，注意力图提取过程可以公式化如下：
其中，σ1代表sigmoid激活函数，σ0代表relu激活函数，w*，b*分别代表卷积层的权重和偏置，
代表元素乘积运算。
4.根据权利要求3所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S13中，所述关键点检测神经网络承接步骤S12中的特征提取神经网络得到的特征图，该步骤中的关键点提取模型首先会将特征图F送入一个初始关键点提取网络，其网络是由3×3的卷积和1×1卷积级联而成；包括两个分支，分别对应生成的关键点热度图和部分向量场热度图，之后是2组的关键点增强提取网路，其作用是为了进一步生成更加精确的特征图。
5.根据权利要求4所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S14中，所述关键点检测模型的训练loss如下：
其中，
代表部位置信图标签，
表示部位亲和向量场图标签，W(p)是一个二值掩码，当标注在图像的p缺失时，W(p)＝0。
6.根据权利要求5所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S15中，加载步骤S14中得到的权重w1，启动骨架生成模型对步骤S11中提取得到的电厂实际攀爬场景中的视频帧进行识别得到二值化的正常和攀爬行为的骨架图，并将两种类型的骨架图进行分类，打上类别标签，并按照训练集、验证集和测试集为8:1:1的比例制作成攀爬分类数据集。
7.据权利要求6所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S16中，所述两层全连接的神经网络，设置第一层网络的节点为(16384,100)，激活函数为Relu，第二层网络的结点设置为(100,2)，分类网络的分类激活函数为softmax函数，将攀爬行为与正常行为进行分类优化。
8.根据权利要求1或7所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S17中，所述交叉熵损失函数数学化公式为：
其中q代表某像素点的真实值，p代表某像素点的预测值。
9.根据权利要求1所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S21中，使用电厂中的枪机摄像头对几个具体场景布控，实时监测场景中作业人员的行为，程序将对多个摄像头进行多线程采集并将采集的视频数据进行抽帧处理，送入待预测图像队列。
10.根据权利要求1或9所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S23中，将待预测图像队列送入融合之后的算法模型中，加载算法模型的权重，并根据步骤S22中设定的判断逻辑对攀爬越界行为进行计算，并实时展现预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211379670.XA CN116052035A (zh) | 2022-11-04 | 2022-11-04 | 一种基于卷积神经网络的电厂人员周界入侵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211379670.XA CN116052035A (zh) | 2022-11-04 | 2022-11-04 | 一种基于卷积神经网络的电厂人员周界入侵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116052035A true CN116052035A (zh) | 2023-05-02 |
Family
ID=86132284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211379670.XA Pending CN116052035A (zh) | 2022-11-04 | 2022-11-04 | 一种基于卷积神经网络的电厂人员周界入侵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116052035A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612603A (zh) * | 2023-07-17 | 2023-08-18 | 微网优联科技(成都)有限公司 | 一种移动物监控***及方法 |
-
2022
- 2022-11-04 CN CN202211379670.XA patent/CN116052035A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612603A (zh) * | 2023-07-17 | 2023-08-18 | 微网优联科技(成都)有限公司 | 一种移动物监控***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101751744B (zh) | 一种烟雾检测和预警方法 | |
| CN112287816B (zh) | 一种基于深度学习的危险工作区事故自动检测报警方法 | |
| CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN113516076B (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN100585656C (zh) | 一种基于规则的全天候智能视频分析监控方法 | |
| CN100417223C (zh) | 基于全方位视觉传感器的智能安保装置 | |
| CN110321780B (zh) | 基于时空运动特性的异常摔倒行为检测方法 | |
| CN107665326A (zh) | 乘客运输装置的监测***、乘客运输装置及其监测方法 | |
| CN105678803A (zh) | 基于w4算法和帧间差分的视频监控目标检测方法 | |
| CN107437318B (zh) | 一种可见光智能识别算法 | |
| CN106241533A (zh) | 基于机器视觉的电梯乘员综合安全智能监控方法 | |
| CN101635835A (zh) | 智能视频监控方法及*** | |
| CN111144291A (zh) | 基于目标检测的视频监控区域人员入侵判别方法及装置 | |
| CN106815958A (zh) | 报警***、报警分析/显示装置，报警分析/显示方法 | |
| CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
| CN105426820A (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| CN110867046A (zh) | 一种基于云计算的智能洗车机视频监控预警*** | |
| CN112183472A (zh) | 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法 | |
| CN111783700B (zh) | 一种路面异物自动识别预警方法和*** | |
| CN111079722A (zh) | 一种吊装过程人员安全监测方法及*** | |
| CN116052035A (zh) | 一种基于卷积神经网络的电厂人员周界入侵检测方法 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测*** | |
| Foresti et al. | Event classification for automatic visual-based surveillance of parking lots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |