CN112733734A - 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法 - Google Patents

一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法 Download PDF

Info

Publication number
CN112733734A
CN112733734A CN202110040380.1A CN202110040380A CN112733734A CN 112733734 A CN112733734 A CN 112733734A CN 202110040380 A CN202110040380 A CN 202110040380A CN 112733734 A CN112733734 A CN 112733734A
Authority
CN
China
Prior art keywords
manifold
features
hof
hog
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110040380.1A
Other languages
English (en)
Other versions
CN112733734B (zh
Inventor
夏利民
李振民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110040380.1A priority Critical patent/CN112733734B/zh
Publication of CN112733734A publication Critical patent/CN112733734A/zh
Application granted granted Critical
Publication of CN112733734B publication Critical patent/CN112733734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，包括：对视频帧子区域提取HOG、HOF特征分别作为外观特征和运动特征；对特征组成的时间序列提供流形表示，并使用ISOMAP算法嵌入到低维欧式空间中，解决传统特征无法反映外观变化率和运动变化率的问题；训练了一个单层单向LSTM网络用于特征预测，捕捉特征序列的时间变化规律；将均方误差和峰值信噪比相结合，提供判断当前子区域是否存在异常事件的异常得分。相对于传统的手工交通异常事件检测方法，实现了监控、检测的自动化、智能化、精准化，具有较高的检测效率和实时性，在处理大规模交通监控视频时可以快速准确的定位事故异常发生的场景与时间。

Description

一种基于黎曼流形特征和LSTM网络相结合的交通异常事件检 测方法
技术领域
本发明涉及视频监控领域，首次将黎曼流形应用于交通异常事件检测领域。
背景技术
交通异常事件检测的主要目的是自动的在交通监控视频中检测当前监控的图像中是否存在如逆行、违规变道、闯红灯等行为，并可以定位其发生的具***置。交通异常检测技术能够帮助我们更好的实施交通监控，及时有效的通知相关人员进行突发情况的处理，省去了传统监控人员的大量人工操作，可以大幅提升监控效率。此外，通过对事故多发路段进行监控和分析，还可以推断其事故易发的原因，从而通过城市规划手段进行优化处理，减少有关路段的事故发生频率。
由于交通异常事件涉及大量的运动异常和外观异常，这些异常不仅反映在外观、运动的变化上，还体现在其变化率上，传统的特征提取方法，SF(Social Force，社会力)、DT(Dense trajectory，稠密轨迹)等更加关注于单纯的外观或运动，而不能很好的反映外观、运动的变化率。为此，选择交通视频监控领域作为研究重点，针对大量交通监控视频构建大规模有标注数据库，利用流形学与深度学习算法相结合表征外观、运动的变化率，进一步完成交通异常事件检测，具有深远的研究意义。
发明内容
本发明的目的是为了传统交通场景监控中，人工监控效率低下，检测费时费力的问题。
本发明是这样实现的，一种基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，所述方法包括以下步骤：
将正常交通监控视频帧划分为多个不重叠的子区域，每个子区域将作为后续的异常检测模型的训练样本；
使用HOG和HOF对历史监控图像帧内的各个子区域进行特征提取，构成特征时间序列，其中HOG将作为外观特征，而HOF将作为运动特征；
使用ISOMAP与黎曼流形相结合的方法对特征序列进行表示，反映对象的外观和运动变化规律；
使用LSTM网络，作为特征预测网络，对当前时刻的HOG和HOF特征进行预测，从而捕捉正常事件特征的时序变化规律；
再次使用ISOMAP与黎曼流形相结合的方法对加入预测后的特征进行表示，得到当前时刻的预测流形特征，致使流形特征可以表征外观和运动变化率；
针对测试视频，同样将视频帧划分为多个不重叠的子区域，提取其HOG、HOF特征，并使用训练好的LSTM网络对当前时刻的特征进行预测，同时得到包含预测特征的流形表示；
设计了一个异常得分计算方法，考虑了预测特征和实际特征之间的区别，并考虑了预测流形和实际流形之间的差异，根据设计好的异常得分计算异常得分，最终那些异常得分超过阈值的子区域将被视为异常区域，而异常得分则表示了当前子区域的异常程度。
附图说明
图1，本发明的模型整体框架图；
图2，本发明的特征提取与流形表示方法流程图；
图3，本发明的流形表示方法实施细节的流程图；
图4，本发明使用的用于特征预测的单向单层LSTM网络结构图；
图5，本发明提供的交通异常事件检测***的原理框图；
图6，本发明使用的装置***、存储介质和电子设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提出的基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法使用正常监控视频作为训练集，将视频帧划分为若干不重叠的子区域，对相同位置不同时刻的每个子区域提取HOG和HOF特征，这些特征将分别构成两个流形，用于反映外观变化和运动变化。同时及将每个时刻的特征作为LSTM的每个时间步的输入，以当前时刻的特征作为期望输出，同时得到预测的流形。在后续的测试阶段，同样将测试视频划分为若干个不重叠的子区域，使用训练好的LSTM网络进行特征预测，并根据设计好的异常得分来判断当前区域是否存在异常事件。
图1示出了本发明第一实施例提供的基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法的流程，包括以下步骤：
S1:对于正常交通视频的帧图像，划分为若干个不重叠的子区域，并对每个子区域提取HOG作为外观特征，提取HOF作为运动特征，对于同一位置处连续20帧的子区域特征使用ISOMAP得到特征的流形表示。
进一步地，如图2所示，步骤S1又包括：
步骤S11：对正常的交通监控视频进行子区域划分，每个子区域互不重叠，且大小为16×16，不满16个像素的边缘使用“镜像补全”的方式进行补充。
步骤S12：对于每个子区域提取HOG特征，作为该区域的外观特征。
为了计算HOG特征，首先计算当前子区域每个像素的梯度大小和方向，然后根据每个像素的梯度方向划分到若干个统计窗口内，在本方法中划分为16个统计窗口内。
步骤S13：对于每个子区域提取HOF特征，作为该区域的运动特征。
为了计算HOF特征，建立光流估计方程，计算光流矢量与横轴的夹角，根据角度值将其投影到若干个统计窗口内，在本方法中划分为16个统计窗口内。
步骤S14：为了进一步得到能够反映外观变化、运动变化的特征，本发明使用黎曼流形对先前提取到的HOG和HOF特征进行进一步特征表示，具体流程如图3所示。
步骤S1401：取同一位置连续N时刻(本发明中取N＝20)的子区域所提取的特征组成矩阵L∈RK×N。假定N个特征之间的距离在原始流形中的距离矩阵为D∈RN×N，期望可以找到一个低维矩阵Z∈RM×N表示特征矩阵L。
步骤S1402：对特征矩阵L执行去中心化。
步骤S1403：使用迪杰斯特拉算法得到距离矩阵D，假设第i个特征和第j个特征在原始流形中的距离为dist[i,j]，而在Z中为||zi-zj||，其中zi为Z中的第i行的元素。为保证降维后特征点之间的相对位置不发生变化，有：
dist[i,j]＝||zi-zj||
令B＝ZTZ，则
Figure BDA0002895122340000031
可得：
Figure BDA0002895122340000032
可得：
Figure BDA0002895122340000033
以及：
Figure BDA0002895122340000034
还有：
Figure BDA0002895122340000035
最后可得：
Figure BDA0002895122340000036
对B进行奇异值分解，并取前q个特征值和特征向量得：B*＝V*Λ*1/2Λ*1/2V*T＝Z*Z*T
步骤S1404：得到降维后的的Z*＝Λ*1/2V*T，Z*中的每一列就对应了一个时刻某个补丁的HOG特征或者HOF特征在低维空间上的映射。
S2：对训练视频进行子区域划分，并完成HOG、HOF特征提取后，将相同位置不同时刻的区域的特征作为LSTM不同的时间步的输入，训练一个能够以当前时刻该子区域特征为输出的LSTM特征预测网络。
其中本发明所使用的LSTM网络是一个单向单层的LSTM网络，其网络结构如图4所示，其各时间步输入为相同位置处不同时刻的HOG特征和HOF特征所拼接起来的向量，其大小为1×32，并以最后一个时间步的隐藏层输出ht作为当前时刻该区域的HOG和HOF的预测输出。
为保证在训练时能够使LSTM网络具有较好的特征预测效果，选用实际特征和预测特征之间的均方误差(MSE)损失以及实际流形和预测特征的流形表示之间的峰值信噪比(PSNR)作为网络的损失函数，同时选用Adam算法进行网络迭代优化，其中损失函数为：
Figure BDA0002895122340000037
Figure BDA0002895122340000038
为实际的HOG特征，
Figure BDA0002895122340000039
为预测的HOG特征，
Figure BDA00028951223400000310
为实际的HOF特征，
Figure BDA00028951223400000311
为预测的HOF特征，
Figure BDA0002895122340000041
为实际HOG组成的流形，
Figure BDA0002895122340000042
为预测HOG组成的流形，
Figure BDA0002895122340000043
为实际HOF组成的流形，
Figure BDA0002895122340000044
为预测HOF组成的流形，λ1～λ4为超参数。
更进一步的，峰值信噪比(PSNR)的计算方法为：
Figure BDA0002895122340000045
zmax为一个较大的固定值。
S3：完成了LSTM特征预测网络训练之后，在测试阶段的异常检测中，同样使用特征预测的方法，并使用设计的异常得分对当前子区域进行异常评估。
进一步的，如图5所示，步骤S3具体包括如下步骤：
S31：首先仍然将测试视频划分为若干个子区域，每个子区域互不重叠，且大小为16×16，不满16个像素的边缘使用“镜像补全”的方式进行补充。
S32:对于每个子区域提取HOG特征，作为该区域的外观特征。
S33:对于每个子区域提取HOF特征，作为该区域的运动特征。
S34：将连续20个历史时刻的相同位置处子区域的HOG和HOF特征拼接起来，作为训练好的LSTM网络各时间步的输入，以当前时刻该位置处的特征作为输出。
S35：将预测到的特征与历史特征按照步骤S14的方法构建可以反映包括预测特征变化率在内的黎曼流形。
S36：同样计算预测特征和实际特征的均方误差(MSE)，以及预测流形和实际流形的峰值信噪比(PSNR)来完成异常得分计算。具体而言：
外观异常得分为，
Figure BDA0002895122340000046
为实际HOG特征，
Figure BDA0002895122340000047
为预测HOG特征；
运动异常得分为，
Figure BDA0002895122340000048
为实际HOF特征，
Figure BDA0002895122340000049
为预测HOF特征；
外观流形异常得分为，
Figure BDA00028951223400000410
为实际HOG组成的黎曼流形在低维空间的表示，
Figure BDA00028951223400000411
为预测HOG组成的黎曼流形在低维空间的表示；
运动流形异常得分为，
Figure BDA00028951223400000412
为实际HOF组成的黎曼流形在低维空间的表示，
Figure BDA00028951223400000413
为预测HOF组成的黎曼流形在低维空间的表示；
更进一步的，峰值信噪比(PSNR)的计算方法为：
Figure BDA00028951223400000414
zmax为一个较大的固定值。
最终整体的异常得分为：
Figure BDA00028951223400000415
其中λ1～λ4为超参数，在本发明中建议取λ1＝λ2＝0.4，λ3＝λ4＝0.1。
S37：在计算完子区域的异常得分后，将使用预设的阈值对当前子区域进行判断，决定当前区域内是否存在异常事件，进一步的，阈值判断方法如下：
当前子区域：
Figure BDA0002895122340000051
综上所述，本发明所提出的一种基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法在训练阶段是将正常视频划分为多个不重叠的子区域，并对每个子区域进行HOG和HOF特征提取，求解相同位置不同时刻的特征组成的流形表示。同时相同位置处不同时刻的特征将用于训练一个单层单方向的LSTM网络，用于预测当前时刻该区域的特征。同时，预测的特征也将使用同种方法得到预测特征的流形表示，LSTM网络的训练目标为使得预测的HOG、HOF特征以及特征的流形表示与实际的HOG、HOF特征以及特征的流形表示足够接近。在测试阶段，将测试视频按同样的方式划分为不重叠的子区域，同样提取测试样本的HOG和HOF特征，求解相同位置不同历史时刻特征组成的流形表示。并将历史时刻同一位置不同时刻的特征送入训练好的LSTM网络的各个时间步中，预测当前时刻该区域的特征，并构成预测特征的流形表示，最终对当前区域计算异常得分，判断当前区域是否包括异常事件。
参考图6，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，其特征在于，所述方法包括以下步骤：
在训练阶段，使用正常监控视频作为训练集，将视频帧划分为若干不重叠的子区域，对相同位置不同时刻的每个子区域提取HOG和HOF特征，其中HOG将作为子区域的外观特征，HOF将作为子区域的运动特征，相同位置不同时刻的特征将用来求解特征的流形表示。同时，相同位置处不同时刻的特征将用于训练一个单层单方向的LSTM网络，用于预测当前时刻该区域的特征。而且，预测的特征也将使用同种方法得到预测特征的流形表示，LSTM网络的训练目标为使得预测的HOG、HOF特征以及特征的流形表示与实际的HOG、HOF特征以及特征的流形表示足够接近。
在测试阶段，将测试视频按同样的方式划分为不重叠的子区域，同样提取测试样本的HOG和HOF特征，求解相同位置不同历史时刻特征组成的流形表示。并将历史时刻同一位置不同时刻的特征送入训练好的LSTM网络的各个时间步中，预测当前时刻该区域的特征，并构成预测特征的流形表示，最终对当前区域计算异常得分，判断当前区域是否包括异常事件。
2.根据权利要求1所述的基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，其特征在于，所述的提取HOG和HOF作为视频帧子区域外观特征和运动特征的步骤表示为：
为了计算HOG特征，首先计算当前子区域每个像素的梯度大小和方向，然后根据每个像素的梯度方向划分到若干个统计窗口内，在本方法中划分为16个统计窗口内。
3.根据权利要求1所述的基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，其特征在于，所述的不同时刻的特征的流形表示的计算方法的步骤表示为：
取同一位置连续N时刻(本发明中取N＝20)的子区域所提取的特征组成矩阵L∈RK×N。假定N个特征之间的距离在原始流形中的距离矩阵为D∈RN×N，期望可以找到一个低维矩阵Z∈RM×N表示特征矩阵L。对特征矩阵L执行去中心化后使用迪杰斯特拉算法得到距离矩阵D，假设第i个特征和第j个特征在原始流形中的距离为dist[i，j]，而在Z中为||zi-zj||，其中zi为Z中的第i行的元素。为保证降维后特征点之间的相对位置不发生变化，有：
dist[i，j]＝||zi-zj||
令B＝ZTZ，则
Figure FDA0002895122330000011
可得：
Figure FDA0002895122330000012
可得：(1)
Figure FDA0002895122330000013
(2)
Figure FDA0002895122330000014
Figure FDA0002895122330000015
(3)
Figure FDA0002895122330000016
最后可得：
Figure FDA0002895122330000017
对B进行奇异值分解，并取前q个特征值和特征向量得：B*＝V*Λ*1/2Λ*1/2V*T＝Z*Z*T。得到降维后的的Z*＝Λ*1/2V*T，Z*中的每一列对应了一个时刻某个补丁的HOG特征或者HOF特征在低维空间上的映射。
4.根据权利要求1所述的基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，其特征在于，所述的单向单层LSTM特征预测网络训练方法的步骤表示为：
单向单层LSTM网络共有20个时间步，各时间步输入为相同位置处不同时刻的HOG特征和HOF特征所拼接起来的向量，其大小为1×32，并以最后一个时间步的隐藏层输出ht作为当前时刻该区域的HOG和HOF的预测输出。
为保证在训练时能够使LSTM网络具有较好的特征预测效果，选用实际特征和预测特征之间的均方误差(MSE)损失以及实际流形和预测特征的流形表示之间的峰值信噪比(PSNR)作为网络的损失函数，同时选用Adam算法进行网络迭代优化，其中损失函数为：
Figure FDA0002895122330000021
Figure FDA0002895122330000022
为实际的HOG特征，
Figure FDA0002895122330000023
为预测的HOG特征，
Figure FDA0002895122330000024
为实际的HOF特征，
Figure FDA0002895122330000025
为预测的HOF特征，
Figure FDA0002895122330000026
为实际HOG组成的流形，
Figure FDA0002895122330000027
为预测HOG组成的流形，
Figure FDA0002895122330000028
为实际HOF组成的流形，
Figure FDA0002895122330000029
为预测HOF组成的流形，λ1～λ4为超参数。峰值信噪比(PSNR)的计算方法为：
Figure FDA00028951223300000210
zmax为一个较大的固定值。
5.根据权利要求1所述的基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法，其特征在于，所述的使用异常得分进行异常检测方法的步骤表示为：
将测试视频划分为若干个子区域，每个子区域互不重叠，且大小为16×16，不满16个像素的边缘使用“镜像补全”的方式进行补充。
对每个子区域提取HOG特征，作为该区域的外观特征，并对于每个子区域提取HOF特征，作为该区域的运动特征。将连续20个历史时刻的相同位置处子区域的HOG和HOF特征拼接起来，作为训练好的LSTM网络各时间步的输入，以当前时刻该位置处的特征预测结果作为输出。在预测完成之后同样构建可以反映包括预测特征变化率在内的黎曼流形。
计算预测特征和实际特征的均方误差(MSE)，以及预测流形和实际流形的峰值信噪比(PSNR)来完成异常得分计算。具体而言：
外观异常得分为，
Figure FDA00028951223300000211
Figure FDA00028951223300000212
为实际HOG特征，
Figure FDA00028951223300000213
为预测HOG特征；
运动异常得分为，
Figure FDA00028951223300000214
Figure FDA00028951223300000215
为实际HOF特征，
Figure FDA00028951223300000216
为预测HOF特征；
外观流形异常得分为，
Figure FDA00028951223300000217
Figure FDA00028951223300000218
为实际HOG组成的黎曼流形在低维空间的表示，
Figure FDA00028951223300000219
为预测HOG组成的黎曼流形在低维空间的表示；
运动流形异常得分为，
Figure FDA00028951223300000220
Figure FDA00028951223300000221
为实际HOF组成的黎曼流形在低维空间的表示，
Figure FDA00028951223300000222
为预测HOF 组成的黎曼流形在低维空间的表示；
更进一步的，峰值信噪比(PSNR)的计算方法为：
Figure FDA0002895122330000031
zmax为一个较大的固定值。
最终整体的异常得分为：
Figure FDA0002895122330000032
其中λ1～λ4为超参数，在本发明中建议取λ1＝λ2＝0.4，λ3＝λ4＝0.1。
在计算完子区域的异常得分后，将使用预设的阈值对当前子区域进行判断，决定当前区域内是否存在异常事件，进一步的，阈值判断方法如下：
Figure FDA0002895122330000033
CN202110040380.1A 2021-01-13 2021-01-13 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法 Active CN112733734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110040380.1A CN112733734B (zh) 2021-01-13 2021-01-13 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110040380.1A CN112733734B (zh) 2021-01-13 2021-01-13 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法

Publications (2)

Publication Number Publication Date
CN112733734A true CN112733734A (zh) 2021-04-30
CN112733734B CN112733734B (zh) 2023-04-21

Family

ID=75592798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110040380.1A Active CN112733734B (zh) 2021-01-13 2021-01-13 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法

Country Status (1)

Country Link
CN (1) CN112733734B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550289A (zh) * 2022-02-16 2022-05-27 中山职业技术学院 一种行为识别方法、***及电子设备
CN117541957A (zh) * 2023-11-08 2024-02-09 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、***及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169631A (zh) * 2011-04-21 2011-08-31 福州大学 基于流形学习的交通拥堵事件协同检测方法
US20130108177A1 (en) * 2011-11-01 2013-05-02 Google Inc. Image matching using motion manifolds
CN107979431A (zh) * 2017-11-28 2018-05-01 广东工业大学 基于黎曼中值的频谱感知的方法、装置以及设备
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN109409416A (zh) * 2018-09-29 2019-03-01 上海联影智能医疗科技有限公司 特征向量降维方法和医学图像识别方法、装置及存储介质
US20190135300A1 (en) * 2018-12-28 2019-05-09 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
CN110287870A (zh) * 2019-06-25 2019-09-27 大连大学 基于综合光流特征描述符及轨迹的人群异常行为检测方法
US10692004B1 (en) * 2015-11-15 2020-06-23 ThetaRay Ltd. System and method for anomaly detection in dynamically evolving data using random neural network decomposition
CN112179691A (zh) * 2020-09-04 2021-01-05 西安交通大学 基于对抗学习策略的机械装备运行状态异常检测***和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169631A (zh) * 2011-04-21 2011-08-31 福州大学 基于流形学习的交通拥堵事件协同检测方法
US20130108177A1 (en) * 2011-11-01 2013-05-02 Google Inc. Image matching using motion manifolds
US10692004B1 (en) * 2015-11-15 2020-06-23 ThetaRay Ltd. System and method for anomaly detection in dynamically evolving data using random neural network decomposition
CN107979431A (zh) * 2017-11-28 2018-05-01 广东工业大学 基于黎曼中值的频谱感知的方法、装置以及设备
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN109409416A (zh) * 2018-09-29 2019-03-01 上海联影智能医疗科技有限公司 特征向量降维方法和医学图像识别方法、装置及存储介质
US20190135300A1 (en) * 2018-12-28 2019-05-09 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
CN110287870A (zh) * 2019-06-25 2019-09-27 大连大学 基于综合光流特征描述符及轨迹的人群异常行为检测方法
CN112179691A (zh) * 2020-09-04 2021-01-05 西安交通大学 基于对抗学习策略的机械装备运行状态异常检测***和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KWANG-EUN KO: "Deep convolutional framework for abnormal behavior detection in a smart surveillance system", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 *
YACHUANG FENG: "Learning deep event models for crowd anomaly detection", 《NEUROCOMPUTING》 *
王军: "基于深度学习特征的异常行为检测", 《湖南大学学报（自然科学版）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550289A (zh) * 2022-02-16 2022-05-27 中山职业技术学院 一种行为识别方法、***及电子设备
CN114550289B (zh) * 2022-02-16 2023-05-26 中山职业技术学院 一种行为识别方法、***及电子设备
CN117541957A (zh) * 2023-11-08 2024-02-09 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、***及介质
CN117541957B (zh) * 2023-11-08 2024-05-24 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、***及介质

Also Published As

Publication number Publication date
CN112733734B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Porikli et al. Traffic congestion estimation using HMM models without vehicle tracking
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN105791774A (zh) 一种基于视频内容分析的监控视频传输方法
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
CN112733734B (zh) 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法
CN101022505A (zh) 复杂背景下运动目标自动检测方法和装置
CN112084928B (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
Moradi et al. Real-time defect detection in sewer closed circuit television inspection videos
CN112967252B (zh) 一种轨道车辆机感吊架组装螺栓丢失检测方法
Chen et al. An intelligent sewer defect detection method based on convolutional neural network
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和***
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN108846852A (zh) 基于多示例和时间序列的监控视频异常事件检测方法
CN114170144A (zh) 一种输电线路销钉缺陷检测方法、设备及介质
CN115527158A (zh) 一种基于视频监控的人员异常行为检测方法及装置
CN116343265A (zh) 一种全监督视频行人重识别方法、***、设备及介质
CN114373162A (zh) 用于变电站视频监控的危险区域人员入侵检测方法及***
CN107665325A (zh) 基于原子特征袋模型的视频异常事件检测方法及***
CN116229347A (zh) 一种人群安全异常事件识别方法
Zhang et al. Pavement crack detection based on deep learning
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及***
Yi et al. A Perspective-Embedded Scale-Selection Network for Crowd Counting in Public Transportation
CN115661786A (zh) 一种区域预搜索的轨道障碍物小目标检测方法
CN113723248A (zh) 一种基于视觉的智能网联公交客流检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant