CN111460988B - 一种违规行为识别方法及装置 - Google Patents

一种违规行为识别方法及装置 Download PDF

Info

Publication number
CN111460988B
CN111460988B CN202010241982.9A CN202010241982A CN111460988B CN 111460988 B CN111460988 B CN 111460988B CN 202010241982 A CN202010241982 A CN 202010241982A CN 111460988 B CN111460988 B CN 111460988B
Authority
CN
China
Prior art keywords
image
feature
optical flow
neural network
convolution neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010241982.9A
Other languages
English (en)
Other versions
CN111460988A (zh
Inventor
郝翔宇
韩若冰
李相颖
戴婧姝
张通
焦书来
回博轩
马兴望
卢纯镇
周明
王曼曼
谷雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hebei Electric Power Co Ltd
Cangzhou Power Supply Co of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hebei Electric Power Co Ltd
Cangzhou Power Supply Co of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hebei Electric Power Co Ltd, Cangzhou Power Supply Co of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010241982.9A priority Critical patent/CN111460988B/zh
Publication of CN111460988A publication Critical patent/CN111460988A/zh
Application granted granted Critical
Publication of CN111460988B publication Critical patent/CN111460988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种违规行为识别方法及装置，属于图像识别领域，该违规行为识别方法包括：获取基于摄像头实时采集的图像序列；将图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取图像序列中每一帧图像的第一特征；基于光流估计算法计算图像序列中每相邻两帧图像的光流信息；以图像格式记录光流信息，得到光流图像；将光流图像输入时间通道深度卷积神经网络，以提取光流图像的第二特征；将第一特征和第二特征融合为第三特征；基于第三特征识别图像序列中是否存在违规行为；若存在违规行为，则输出报警信息。本申请通过深度卷积神经网络分别对违规行为进行识别，提高了人员违规行为识别的工作效率。

Description

一种违规行为识别方法及装置
技术领域
本申请属于图像识别领域，尤其涉及一种违规行为识别方法及装置。
背景技术
变电站作为电力***中电能传输的一个重要环节，在电网中有着不可替代的重要地位。由于变电站的数量逐年大幅度增加，变电站的数量以及站内的设备数量和需求仍在不断增加，造成在变电站内的工作大量增多，变电站内的作业人员也较多，增大了作业现场的安全管控难度，可能导致人员现场违规行为频发，违规作业行为不仅会造成设备、电网的安全隐患，严重时还可能导致人身安全事故的发生。因此，对现场作业人员的行为进行实时监控是尤为重要的。
目前，对变电站内人员违规行为的检测，仍采用检查人员到工作现场监控或者通过变电站内探头拍摄的视频进行监控，但通过人工进行监控不仅无法做到全过程无死角监控，且判断准确度低，实时性差，无法及时发现并阻止现场违规人员的违规行为。
发明内容
本申请的目的在于提供一种违规行为识别方法及装置，提高了人员违规行为识别的工作效率。
为实现上述目的，本申请第一方面提供了一种违规行为识别方法，包括：
获取基于摄像头实时采集的图像序列；
将上述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取上述图像序列中每一帧图像的第一特征，其中，上述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，上述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；
基于光流估计算法计算上述图像序列中每相邻两帧图像的光流信息；
以图像格式记录上述光流信息，得到光流图像；
将上述光流图像输入时间通道深度卷积神经网络，以提取上述光流图像的第二特征，其中，上述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，上述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
将上述第一特征和上述第二特征融合为第三特征；
基于上述第三特征识别上述图像序列中是否存在违规行为；
若存在违规行为，则输出报警信息。
基于本申请第一方面，在第一种可能的实现方式中，上述以图像格式记录上述光流信息，得到光流图像包括：
将上述光流信息在水平方向和竖直方向的分量以及光流的幅值大小分别存入一张RGB图像的三个通道，得到一张彩色的光流图像。
基于本申请第一方面或本申请第一方面的第一种可能的实现方式，在第二种可能的实现方式中，上述将上述第一特征和上述第二特征融合为第三特征具体为：
基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征。
基于本申请第一方面的第二种可能的实现方式，在第三种可能的实现方式中，上述将上述第一特征和上述第二特征融合为第三特征之前还包括：
对上述第一特征和上述第二特征进行归一化处理；
上述基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征具体为：
基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征。
基于本申请第一方面或本申请第一方面的第一种可能的实现方式，在第四种可能的实现方式中，上述输出报警信息包括：
输出报警信号和违规图像，其中，上述报警信号用以指示上述图像序列中存在违规行为，上述违规图像为上述图像序列中记录有相应违规行为的至少一张图像。
本申请第二方面提供了一种违规行为识别装置，包括：
获取模块，用于获取基于摄像头实时采集的图像序列；
第一特征提取模块，用于将上述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取上述图像序列中每一帧图像的第一特征，其中，上述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，上述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；
计算模块，用于基于光流估计算法计算上述图像序列中每相邻两帧图像的光流信息；
转换模块，用于以图像格式记录上述光流信息，得到光流图像；
第二特征提取模块，用于将上述光流图像输入时间通道深度卷积神经网络，以提取上述光流图像的第二特征，其中，上述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，上述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
融合模块，用于将上述第一特征和上述第二特征融合为第三特征；
识别模块，用于基于上述第三特征识别上述图像序列中是否存在违规行为；
输出模块，用于若存在违规行为，则输出报警信息。
基于本申请第二方面，在第一种可能的实现方式中，上述融合模块具体用于：
基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征。
基于本申请第二方面的第一种可能的实现方式，在第二种可能的实现方式中，上述违规行为识别装置还包括：
处理模块，用于对上述第一特征和上述第二特征进行归一化处理；
上述融合模块具体用于：基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征。
本申请第三方面提供了一种违规行为识别装置，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述第一方面或者上述第一方面的任一可能实现方式中的步骤。
本申请第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面或者上述第一方面的任一可能实现方式中的步骤。
由上可见，本申请首先获取基于摄像头实时采集的图像序列；通过空间通道深度卷积神经网络提取图像序列中每一帧图像的第一特征；基于光流估计算法计算图像序列中每相邻两帧图像的光流信息；以图像格式记录光流信息，得到光流图像；并通过时间通道深度卷积神经网络光流图像的第二特征；然后将第一特征和第二特征融合为第三特征并基于第三特征识别图像序列中是否存在违规行为；若存在违规行为，则输出报警信息，免去了人工特征提取过程中图像预处理等繁琐的过程，提高了人员违规行为识别的工作效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种违规行为识别方法的流程示意图；
图2为本申请实施例提供的一种违规行为识别装置的结构示意图；
图3为本申请另一实施例提供的一种违规行为识别装置的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本发明。在其它情况下，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例一
本申请实施例提供了一种违规行为识别方法，如图1所示，该方法包括：
步骤11：获取基于摄像头实时采集的图像序列；
步骤12：将上述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取上述图像序列中每一帧图像的第一特征；
其中，上述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，上述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；
具体的，上述空间通道深度卷积神经网络从图像序列中静止的每一帧图像中提取静态特征(即第一特征)。
可选的，上述第一训练集可以为记录有违规行为的样本视频图像序列，具体的，上述样本视频图像序列可包括记录有人员不戴安全帽、人员摘下安全帽以及人员跨越围栏等违规行为类型的静态图像。
可选的，在基于第一训练集训练对深度卷积神经网络进行训练时，可将从样本视频图像序列中记录有违规行为的静态图像以及其相应的违规行为类型作为输入对深度卷积神经网络进行训练，从而得到上述空间通道深度卷积神经网络。
步骤13：基于光流估计算法计算上述图像序列中每相邻两帧图像的光流信息；
可选的，上述光流估计算法可以为基于变分理论的高精度光流估计算法，能够准确的估计光流场且具有很好的鲁棒性，具体的，该基于变分理论的高精度光流估计算法基于灰度值连续假设、梯度连续假设以及光滑性假设推导而出。
进一步的，灰度值连续假设具体为：各个像素点在帧间发生位置变化时，其灰度值保持不变，该特性可通过以下公式表达：
I(x,y,t)＝I(x+u,y+v,t+1)
其中，I(x,y,t)代表时间序列上每一帧图像的灰度值信息，是某一像素点由t时间变化到t+1时间的变化向量；
梯度连续假设具体为：由于灰度值连续假设对光线轻微的变化都很敏感，因此适当地允许灰度值的变化有助于确定真实的变化向量，此时就需要找到当匹配的像素点灰度值变化时仍然保持不变的变量，即灰度值图像的梯度，具体公式为：
其中，表示空间梯度。
光滑性假设具体为：基于以上两个假设的像素位移估计只考虑了像素点本身，而没有考虑它周围相邻的其他像素；这就导致了一旦梯度在某处发散或是产生孔径问题时，会产生估计错误，因此，有必要再引入光流场的光滑性假设。由于最优位移场在物体边界处会产生不连续的情况，可以将光滑性假设放宽到仅要求保证光流场的分段光滑的情况。
基于以上三种假设，可以推出相应的能量方程，具体的，令x＝(x,y,t)T，w＝(u,v,1)T，可推导出以下能量方程：
其中，γ为平衡灰度值连续假设和梯度连续假设的权重，为了进一步增强能量方程的鲁棒性，可在上述能量方程中增加一个凹函数Ψ(S2)，从而得出以下计算公式：
其中，ε为一个小的正数，由于ε足够小，Ψ(s)还能够保证是凸函数，保证了能量方程最小化能够顺利进行；此外Ψ并不引入额外的参数变量，ε可设为常量，在计算中可采用ε＝0.001。
步骤14：以图像格式记录上述光流信息，得到光流图像；
可选的，得到上述光流信息后，将上述光流信息在水平方向和竖直方向的分量以及光流的幅值大小分别存入一张RGB图像的三个通道，得到一张彩色的光流图像。
可选的，由于图像像素值的取值在[0，255]，而光流估计算法的计算结果是落在靠近0且有正有负的实数范围内，因此，在得到光流图像之前，可先将上述光流信息变换为对应的像素值，具体的变换公式如下：
F＝min[max[(flow×scale+128),255],0]
其中，F是变换后的像素值；flow为原始的光流估计结果(光流信息在水平方向的分量、光流信息在竖直方向的分量或光流的幅值大小)，即光流信息；scale是放大调整倍数，经过初步试验确定scale的取值为16时可以将光流计算结果放大到跨度为255的范围内；为了防止有个别点的值在放大后超出范围，可在变换结果的上下界加上饱和非线性变换。
可选的，也可以通过不同的单通道灰度图像分别记录上述光流信息在水平方向和竖直方向的分量，得到两张单通道灰度图像作为光流图像。
可选的，得到的光流图像可直接输入时间通道深度卷积神经网络进行特征提取，也可以在将得到的光流图像进行存储后再将其输入时间通道深度卷积神经网络进行特征提取，此处不做限定。
步骤15：将上述光流图像输入时间通道深度卷积神经网络，以提取上述光流图像的第二特征；
其中，上述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，上述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
具体的，上述时间通道深度卷积神经网络基于光流图像提取上述图像序列中每相邻两帧图像之间的动态特征(即第二特征)。
可选的，上述第二训练集可以为记录有违规行为的样本视频图像序列，具体的，基于上述样本视频图像序列可得到记录有人员不戴安全帽、人员摘下安全帽以及人员跨越围栏等违规行为类型的动态图像(即光流图像)。
可选的，在基于第二训练集训练对深度卷积神经网络进行训练时，可将基于上述样本视频图像序列得到的动态图像以及其相应的违规行为类型作为输入对深度卷积神经网络进行训练，从而得到上述时间通道深度卷积神经网络。
步骤16：将上述第一特征和上述第二特征融合为第三特征；
可选的，基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征，以减少图像序列中无用帧或无效帧的干扰。
可选的，上述将上述第一特征和上述第二特征融合为第三特征之前还包括：对上述第一特征和上述第二特征进行归一化处理；
上述基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征具体为：基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征。
具体的，基于加权平均融合算法将归一化处理后的第一特征和第二特征进行融合的计算公式具体为：
其中，xspatial和xtemporal分别为上述第一特征和第二特征，cspatial和ctemporal分别为空间通道深度卷积神经网络和时间通道深度卷积神经网络的加权系数，可选的，加权系数cspatial和ctemporal可分别取1/2和1/2，也可以取1/3和2/3，此处不做限定。由于在行为分析研究中时间通道深度卷积神经网络的识别准确率普遍高于空间通道深度卷积神经网络的识别准确率，因此，适当增大时间通道深度卷积神经网络得到的第二特征的权重有利于最终识别准确率的提升。
步骤17：基于上述第三特征识别上述图像序列中是否存在违规行为；
通过将双通道(即时间通道和空间通道)深度卷积神经网络分别提取的第一特征和上述第二特征融合得到第三特征，并基于第三特征识别图像序列中是否存在违规行为，大大提高了违规行为识别结果的准确性。
步骤18：若存在违规行为，则输出报警信息。
可选的，上述输出报警信息包括：输出报警信号和违规图像，其中，上述报警信号用以指示上述图像序列中存在违规行为，上述违规图像为上述图像序列中记录有相应违规行为的至少一张图像。
由上可见，本申请实施例提供的违规行为识别方法包括：获取基于摄像头实时采集的图像序列；将图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取图像序列中每一帧图像的第一特征；基于光流估计算法计算图像序列中每相邻两帧图像的光流信息；以图像格式记录光流信息，得到光流图像；将光流图像输入时间通道深度卷积神经网络，以提取光流图像的第二特征；将第一特征和第二特征融合为第三特征；基于第三特征识别图像序列中是否存在违规行为；若存在违规行为，则输出报警信息。本申请实施例通过深度卷积神经网络分别对违规行为进行识别，提高了人员违规行为识别的工作效率。
实施例二
本申请实施例提供了一种违规行为识别装置，图2示出了本申请实施例提供的违规行为识别装置结构示意图。
具体的，请参阅图2，该违规行为识别装置20包括获取模块21、第一特征提取模块22、计算模块23、转换模块24、第二特征提取模块25、融合模块26、识别模块27和输出模块28。
其中，获取模块21用于获取基于摄像头实时采集的图像序列；
第一特征提取模块22用于将上述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取上述图像序列中每一帧图像的第一特征，其中，上述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，上述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；
计算模块23用于基于光流估计算法计算上述图像序列中每相邻两帧图像的光流信息；
转换模块24用于以图像格式记录上述光流信息，得到光流图像；
第二特征提取模块25用于将上述光流图像输入时间通道深度卷积神经网络，以提取上述光流图像的第二特征，其中，上述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，上述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
融合模块26用于将上述第一特征和上述第二特征融合为第三特征；
识别模块27用于基于上述第三特征识别上述图像序列中是否存在违规行为；
输出模块28用于若存在违规行为，则输出报警信息。
可选的，上述计算模块23具体用于：基于变分理论的高精度光流估计算法计算上述图像序列中每相邻两帧图像的光流信息。
可选的，上述转换模块24具体用于：得到上述光流信息后，将上述光流信息在水平方向和竖直方向的分量以及光流的幅值大小分别存入一张RGB图像的三个通道，得到一张彩色的光流图像。
可选的，上述转换模块24还可以用于：在得到光流图像之前，先将上述光流信息变换为对应的像素值。
可选的，上述融合模块26具体用于：基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征。
可选的，上述违规行为识别装置20还包括：处理模块(图中未示出)，用于对上述第一特征和上述第二特征进行归一化处理；则上述融合模块26具体用于：基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征。
可选的，上述输出模块28具体用于：输出报警信号和违规图像，其中，上述报警信号用以指示上述图像序列中存在违规行为，上述违规图像为上述图像序列中记录有相应违规行为的至少一张图像。
由上可见，本申请实施例提供的一种违规行为识别装置20可获取基于摄像头实时采集的图像序列；将图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取图像序列中每一帧图像的第一特征；基于光流估计算法计算图像序列中每相邻两帧图像的光流信息；以图像格式记录光流信息，得到光流图像；将光流图像输入时间通道深度卷积神经网络，以提取光流图像的第二特征；将第一特征和第二特征融合为第三特征；基于第三特征识别图像序列中是否存在违规行为；若存在违规行为，则输出报警信息。本申请实施例通过深度卷积神经网络分别对违规行为进行识别，提高了人员违规行为识别的工作效率。
实施例三
本申请实施例还提供了一种违规行为识别装置，请参阅图3，该违规行为识别装置包括存储器31、处理器32以及存储在上述存储器31中并可在上述处理器32上运行的计算机程序，其中，存储器31用于存储软件程序以及模块，处理器32通过运行存储在存储器31的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器31和处理器32通过总线33连接。具体地，处理器32通过运行存储在存储器31的上述计算机程序时实现以下步骤：
获取基于摄像头实时采集的图像序列；
将上述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取上述图像序列中每一帧图像的第一特征，其中，上述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，上述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；
基于光流估计算法计算上述图像序列中每相邻两帧图像的光流信息；
以图像格式记录上述光流信息，得到光流图像；
将上述光流图像输入时间通道深度卷积神经网络，以提取上述光流图像的第二特征，其中，上述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，上述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
将上述第一特征和上述第二特征融合为第三特征；
基于上述第三特征识别上述图像序列中是否存在违规行为；
若存在违规行为，则输出报警信息。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述以图像格式记录上述光流信息，得到光流图像包括：
将上述光流信息在水平方向和竖直方向的分量以及光流的幅值大小分别存入一张RGB图像的三个通道，得到一张彩色的光流图像。
在第一种可能的实施方式或第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述将上述第一特征和上述第二特征融合为第三特征具体为：
基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征。
在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述将上述第一特征和上述第二特征融合为第三特征之前还包括：
对上述第一特征和上述第二特征进行归一化处理；
上述基于加权平均融合算法将上述第一特征和上述第二特征融合为第三特征具体为：
基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征。
在第一种可能的实施方式或第二种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述输出报警信息包括：
输出报警信号和违规图像，其中，上述报警信号用以指示上述图像序列中存在违规行为，上述违规图像为上述图像序列中记录有相应违规行为的至少一张图像。
应当理解，在本申请实施例中，所称处理器32可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器32还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器31可以包括只读存储器、快闪存储器和随机存储器，并向处理器提供指令和数据。存储器31的一部分或全部还可以包括非易失性随机存取存储器。
由上可见，本申请实施例提供的违规行为识别装置可获取基于摄像头实时采集的图像序列；将图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取图像序列中每一帧图像的第一特征；基于光流估计算法计算图像序列中每相邻两帧图像的光流信息；以图像格式记录光流信息，得到光流图像；将光流图像输入时间通道深度卷积神经网络，以提取光流图像的第二特征；将第一特征和第二特征融合为第三特征；基于第三特征识别图像序列中是否存在违规行为；若存在违规行为，则输出报警信息。本申请实施例通过深度卷积神经网络分别对违规行为进行识别，提高了人员违规行为识别的工作效率。
应当理解，上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例所提供的方法及其细节举例可结合至实施例提供的装置和设备中，相互参照，不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (5)

1.一种违规行为识别方法，其特征在于，包括：
获取基于变电站内摄像头实时采集的图像序列；
将所述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取所述图像序列中每一帧图像的第一特征，其中，所述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，所述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；违规行为类型包括人员不戴安全帽、人员摘下安全帽以及人员跨越围栏；
基于光流估计算法计算所述图像序列中每相邻两帧图像的光流信息；
以图像格式记录所述光流信息，得到光流图像；
将所述光流图像输入时间通道深度卷积神经网络，以提取所述光流图像的第二特征，其中，所述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，所述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
基于加权平均融合算法将所述第一特征和所述第二特征融合为第三特征；
基于所述第三特征识别所述图像序列中是否存在违规行为；
若存在违规行为，则输出报警信息；
其中，所述以图像格式记录所述光流信息，得到光流图像包括：
将所述光流信息在水平方向和竖直方向的分量以及光流的幅值大小分别存入一张RGB图像的三个通道，得到一张彩色的光流图像；
在得到所述光流图像之前，还包括：
按照变换公式，将所述光流信息在水平方向和竖直方向的分量以及光流的幅值，变换成对应的像素值；所述变换公式为：
F＝min[max[(flow×scale+128),255],0]；
其中，F为变换后的像素值，flow为光流信息在水平方向的分量、竖直方向的分量或光流的幅值大小，scale为放大调整倍数，图像像素取值为[0,255]；
其中，所述基于加权平均融合算法将所述第一特征和所述第二特征融合为第三特征之前还包括：
对所述第一特征和所述第二特征进行归一化处理；
所述基于加权平均融合算法将所述第一特征和所述第二特征融合为第三特征具体为：
基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征；所述基于加权平均融合算法将归一化处理后的第一特征和第二特征进行融合应用第一公式；
所述第一公式为：
其中，xfinal为所述第三特征，xspatial为所述第一特征，xtemporal为所述第二特征，cspatial为所述空间通道深度卷积神经网络的加权系数，ctemporal为时间通道深度卷积神经网络的加权系数；空间通道深度卷积神经网络的加权系数小于时间通道深度卷积神经网络的加权系数。
2.如权利要求1所述的违规行为识别方法，其特征在于，所述输出报警信息包括：
输出报警信号和违规图像，其中，所述报警信号用以指示所述图像序列中存在违规行为，所述违规图像为所述图像序列中记录有相应违规行为的至少一张图像。
3.一种违规行为识别装置，其特征在于，包括：
获取模块，用于获取基于变电站内摄像头实时采集的图像序列；
第一特征提取模块，用于将所述图像序列的每一帧图像分别输入空间通道深度卷积神经网络，以提取所述图像序列中每一帧图像的第一特征，其中，所述空间通道深度卷积神经网络为预先基于第一训练集训练得到的深度卷积神经网络，所述第一训练集包括：记录有违规行为的静态图像、以及与静态图像对应的违规行为类型；违规行为类型包括人员不戴安全帽、人员摘下安全帽以及人员跨越围栏；
计算模块，用于基于光流估计算法计算所述图像序列中每相邻两帧图像的光流信息；
转换模块，用于以图像格式记录所述光流信息，得到光流图像；
第二特征提取模块，用于将所述光流图像输入时间通道深度卷积神经网络，以提取所述光流图像的第二特征，其中，所述时间通道深度卷积神经网络为预先基于第二训练集训练得到的深度卷积神经网络，所述第二训练集包括：记录有违规行为的动态图像、以及与动态图像对应的违规行为类型；
融合模块，用于基于加权平均融合算法将所述第一特征和所述第二特征融合为第三特征；
识别模块，用于基于所述第三特征识别所述图像序列中是否存在违规行为；
输出模块，用于若存在违规行为，则输出报警信息；
所述转换模块具体用于：将所述光流信息在水平方向和竖直方向的分量以及光流的幅值大小分别存入一张RGB图像的三个通道，得到一张彩色的光流图像；
所述转换模块还用于：在得到所述光流图像之前，按照变换公式，将所述光流信息在水平方向和竖直方向的分量以及光流的幅值，变换成对应的像素值；所述变换公式为：
F＝min[max[(flow×scale+128),255],0]；
其中，F为变换后的像素值，flow为光流信息在水平方向的分量、竖直方向的分量或光流的幅值大小，scale为放大调整倍数，图像像素取值为[0,255]；
处理模块，用于对所述第一特征和所述第二特征进行归一化处理；
所述融合模块具体用于：基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征；所述基于加权平均融合算法将所述第一特征和所述第二特征融合为第三特征具体为：
基于加权平均融合算法将归一化处理后的第一特征和第二特征融合为第三特征；所述基于加权平均融合算法将归一化处理后的第一特征和第二特征进行融合应用第一公式；
所述第一公式为：
其中，xfinal为所述第三特征，xspatial为所述第一特征，xtemporal为所述第二特征，cspatial为所述空间通道深度卷积神经网络的加权系数，ctemporal为时间通道深度卷积神经网络的加权系数；空间通道深度卷积神经网络的加权系数小于时间通道深度卷积神经网络的加权系数。
4.一种违规行为识别装置，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述方法的步骤。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述方法的步骤。
CN202010241982.9A 2020-03-31 2020-03-31 一种违规行为识别方法及装置 Active CN111460988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010241982.9A CN111460988B (zh) 2020-03-31 2020-03-31 一种违规行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010241982.9A CN111460988B (zh) 2020-03-31 2020-03-31 一种违规行为识别方法及装置

Publications (2)

Publication Number Publication Date
CN111460988A CN111460988A (zh) 2020-07-28
CN111460988B true CN111460988B (zh) 2023-08-22

Family

ID=71685087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010241982.9A Active CN111460988B (zh) 2020-03-31 2020-03-31 一种违规行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN111460988B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417989A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种监考人员违规行为识别方法及***
CN112347916B (zh) * 2020-11-05 2023-11-17 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112818868B (zh) * 2021-02-03 2024-05-28 招联消费金融股份有限公司 基于行为序列特征数据的违规用户识别方法和装置
CN113284350B (zh) * 2021-05-21 2022-08-16 深圳市大道至简信息技术有限公司 一种基于激光的违停检测方法及***
CN113361444B (zh) * 2021-06-22 2021-12-14 北京容联易通信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114283485B (zh) * 2022-03-04 2022-10-14 杭州格物智安科技有限公司 一种安全帽佩戴检测方法、装置、存储介质及安全帽
CN117422679B (zh) * 2023-10-20 2024-05-31 浙江大学 一种基于时序图像和稠密光流估计的裂缝变化监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201165A (zh) * 2010-03-25 2011-09-28 北京汉王智通科技有限公司 交通路口车辆违章的监测***及方法
CN103116756A (zh) * 2013-01-23 2013-05-22 北京工商大学 一种人脸检测与跟踪方法及装置
DE102012109481A1 (de) * 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测***
CN108986473A (zh) * 2017-05-31 2018-12-11 蔚来汽车有限公司 车载交通违规行为识别与处理***和方法
CN110135345A (zh) * 2019-05-15 2019-08-16 武汉纵横智慧城市股份有限公司 基于深度学习的行为识别方法、装置、设备及存储介质
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201165A (zh) * 2010-03-25 2011-09-28 北京汉王智通科技有限公司 交通路口车辆违章的监测***及方法
DE102012109481A1 (de) * 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
CN103116756A (zh) * 2013-01-23 2013-05-22 北京工商大学 一种人脸检测与跟踪方法及装置
CN108986473A (zh) * 2017-05-31 2018-12-11 蔚来汽车有限公司 车载交通违规行为识别与处理***和方法
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测***
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质
CN110135345A (zh) * 2019-05-15 2019-08-16 武汉纵横智慧城市股份有限公司 基于深度学习的行为识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111460988A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111460988B (zh) 一种违规行为识别方法及装置
CN107832721B (zh) 用于输出信息的方法和装置
CN110472566B (zh) 一种高精度的模糊人脸识别方法
CN113344475B (zh) 基于序列模态分解的变压器套管缺陷识别方法及***
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN114998830A (zh) 一种变电站人员安全帽佩戴检测方法及***
CN116579616B (zh) 一种基于深度学习的风险识别方法
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN114881867A (zh) 一种基于深度学习的图像去噪方法
CN116092119A (zh) 基于多维度特征融合的人体行为识别***及其工作方法
CN116993738A (zh) 一种基于深度学习的视频质量评价方法及***
CN117671396A (zh) 施工进度的智能监控预警***及方法
CN117274759A (zh) 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合***
CN108664886A (zh) 一种适应变电站进出监控需求的人脸快速识别方法
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警***及方法
CN107578372A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20220392225A1 (en) Concept for Detecting an Anomaly in Input Data
CN107770446A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN112651276A (zh) 一种基于双光融合的输电通道预警***及其预警方法
CN112288779A (zh) 一种目标跟踪方法及装置
CN112733714A (zh) 一种基于vgg网络的自动人群计数图像识别方法
CN113506441B (zh) 市政桥梁交通预警控制方法
CN118015737B (zh) 基于物联网的智能门锁联合控制***
CN117636908B (zh) 数字化矿山生产管控***
CN110096951B (zh) 基于布尔图理论的视频显著性检测方法、设备及存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant