CN108805015B - 加权卷积自编码长短期记忆网络人群异常检测方法 - Google Patents

加权卷积自编码长短期记忆网络人群异常检测方法 Download PDF

Info

Publication number
CN108805015B
CN108805015B CN201810385430.8A CN201810385430A CN108805015B CN 108805015 B CN108805015 B CN 108805015B CN 201810385430 A CN201810385430 A CN 201810385430A CN 108805015 B CN108805015 B CN 108805015B
Authority
CN
China
Prior art keywords
data
reconstruction
abnormal
wcae
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810385430.8A
Other languages
English (en)
Other versions
CN108805015A (zh
Inventor
杨彪
曹金梦
张御宇
吕继东
邹凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN201810385430.8A priority Critical patent/CN108805015B/zh
Publication of CN108805015A publication Critical patent/CN108805015A/zh
Application granted granted Critical
Publication of CN108805015B publication Critical patent/CN108805015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种加权卷积自编码长短期记忆网络(Weighted convolutional autoencoder‑long short‑term memory network,WCAE‑LSTM网络)进行异常检测的方法，致力于学习移动行人的生成模型进行异常检测及定位，以保证公共安全。本发明提出一种新颖的双通道框架，利用WCAE‑LSTM网络分别学习原始数据通道及对应的光流通道的生成模式并对数据进行重构，基于重构误差进行异常检测。此外，针对复杂背景问题，本发明提出采用分块鲁棒主成分分析分解将稀疏前景与低秩背景分离，根据得到的背景信息设计加权欧几里德损失函数，从而抑制背景噪声。本发明设计的WCAE‑LSTM网络不仅能从全局角度检测异常，还能从局部角度粗略地定位异常区域，并通过联合考虑全局‑局部异常分析和光流异常分析的结果，最终实现对异常事件鲁棒、准确地检测。

Description

加权卷积自编码长短期记忆网络人群异常检测方法
技术领域
本发明属于计算机视觉领域，具体涉及智能监控领域，特别涉及一种使用加权卷积自编码长短期记忆网络进行人群异常检测的方法。
背景技术
随着视频监控领域的发展，越来越多监控摄像机用于公共场所以保证公共安全。然而，大量的监控视频数据不仅存在过多冗余信息，对监控人员来说也是一个严峻的挑战，视频分析耗时且乏味。因此，开发能够自动检测视频异常的***对于减轻人力、财力都有着至关重要的作用。如果能够准确检测到连续的或潜在的异常情况，公共安全将得到进一步的保证。
传统的视频异常检测方法大多数通过光流信息检测异常，利用定向光流梯度直方图捕捉运动信息，考虑到人群中的相互关系使用社会力模型检测异常等。此外，提出使用动态混合纹理模型等检测异常。但是，这些方法仅适用于特定的异常行为，而不能通用于各种异常行为。随着稀疏表示与字典学习的成功使用，研究人员通过稀疏表示构建正常行为字典，并通过重构误差检测异常行为。尽管基于稀疏表示的异常检测方法取得了重大成功，但检测性能仍待提高。
近期，很多研究专注于基于深度学习的异常检测，其中，一些研究人员建立正常行为的生成模型，根据输入数据的重构误差检测异常。通过时空卷积捕获空间和时间维度特征，从而提取在每个移动立方体中编码的外观和运动信息，同时检测和定位视频中的异常事件，但是特征提取过程十分耗时。自动编码技术也能进行异常检测，通过对具有隐藏层的前馈多层感知器进行训练，将正常和异常行为进行分类，但自动编码都是对视频中每一帧逐一处理，因此无法有效捕捉视频中的时间变化信息。为捕捉时间信息，越来越多的研究人员使用卷积自编码的方式进行异常检测，通过长短期记忆网络(long short-term memorynetwork，LSTM网络)在视频预测框内进行异常检测，扩大异常事件的重构误差。然而，这些生成的模型容易收到复杂背景的影响，无法较好重构正常行为。同时，基于整个帧的重构误差检测异常的方法可能会忽略一小部分区域的异常行为。此外，生成式对抗网络(Generative Adversarial Network，GAN)也能检测异常，但是，GAN模型很难训练，并且无法很好地捕捉运动目标之间的差异。此外，该模型仍旧无法解决复杂背景和小区域异常的影响。基于上述讨论，本发明提出了一种加权卷积自编码长短期记忆网络(Weightedconvolutional autoencoder-long short-term memory network,WCAE-LSTM网络)进行人群异常检测的方法。
发明内容
本发明目的在于提出一种使用加权卷积自编码长短期记忆网络进行人群异常检测的方法。此方法对异常行为定义复杂、背景干扰严重、局部区域异常检测具有很强的鲁棒性。
本发明的技术方案为：
一种使用加权卷积自编码长短期记忆网络进行人群异常检测的方法，包括以下步骤：
1)：提出同时对原始数据及其对应光流信息进行行人特征编码、并根据双通道数据的编码重构结果进行异常检测的双通道框架。
2)：采用分块鲁棒主成分分析分解将运动前景与静止背景分离，设计加权欧几里德损失函数使WCAE-LSTM网络关注运动目标，抑制背景噪声的影响，并通过最小化加权欧几里德损失函数训练WCAE-LSTM网络，从而利用该网络估计不同通道数据的编码重构结果。
3)：根据原始数据及对应光流数据的编码重构结果计算不同通道的全局异常值，并通过加权融合方式得到融合的全局异常值。
4)：对原始数据的编码重构结果进行分块，计算子块的局部异常值，并通过阈值化处理检测异常子块，实现异常行为的粗略定位。综合考虑融合的全局异常值和子块的局部异常值，实现对异常行为的最终检测。
进一步，所述步骤1)具体包括：
(1)：将原始视频数据及对应的光流数据根据时间顺序依次输入到WCAE-LSTM网络，通过含三个卷积层的编码器对输入的双通道数据进行编码，得到不同通道数据的空间变化特征。
(2)：将编码后的双通道数据的空间变化特征输入含三个卷积长短期记忆网络单元的时空处理模块(sptiao-temporal processing module，STP)，获取序列输入的双通道数据的时空变化特征。
(3)：将STP模块输出的双通道数据的时空变化特征送到含三个解卷积层的解码器，进行不同通道的数据重构。
进一步，所述步骤2)具体为：
(1)：对于输入的原始视频数据，采用分块鲁棒主成分分析分解将运动前景与静止背景分离，分割过程如下：
Figure GDA0003028383820000021
其中，D表示输入图像，L表示静止的低秩背景，F表示运动的稀疏前景，|| ||*表示核范数，|| ||1表示L1范数。映射矩阵Pi()用于从全局图像中提取图像子块，惩罚参数λi表示第i个图像子块的运动显著性。
(2)：提出一种加权欧式损失函数，使WCAE-LSTM网络更加专注于学习移动前景目标的时空特征表示，抑制背景噪声对于网络学习能力的影响。加权欧式损失函数定义如下：L＝||(E(I,O)-I)e W||2，其中O是训练好的网络参数，I是输入数据，E(I,O)是数据的输出重构数据(用R表示)，W是根据前景分割结果得到的权重矩阵，与I大小相同，⊙表示对矩阵进行逐元素相乘。
(3)：对于不同通道的数据，在训练阶段，通过最小化加权欧式损失函数使WCAE-LSTM网络学习得到原始数据与对应光流数据的时空编码特征，在测试阶段利用训练好的网络分别估计原始数据与对应光流数据的编码重构结果，利用编码重构结果进行后续的异常行为检测。
进一步，所述步骤3)具体包括：
(1)：根据原始数据中某一帧的所有像素点处重构误差求和计算该帧处的重构误差，计算公式如下：ER(t)＝∑(x,y)eR(x,y,t)，其中eR(x,y,t)表示原始数据中第t帧在坐标(x,y)处的重构误差，即eR(x,y,t)＝||IR(x,y,t)-RR(x,y,t)||2，其中IR是原始数据的像素强度值，RR是编码重构结果的像素强度值。
(2)：计算第t帧原始数据的正则性得分SR(t)，定义如下：
Figure GDA0003028383820000031
其中T表示输入原始数据的总帧数。
(3)：根据(1)与(2)所示步骤计算光流数据的正则性得分SOP(t)，融合原始数据及对应光流的正则性得分，定义如下：
Figure GDA0003028383820000032
其中α1和α2是融合的权重。
进一步，所述步骤4)具体包括：
(1)：将原始数据的编码重构结果平均分成9×9的小块，计算每一小块的重构得分SLR(tm)(m＝1,2,…,81)。如果某一小块的重构得分小于给定阈值(阈值为(SLR(tm))-k×std(SLR(tm))，其中k是经验参数)，则视该小块为异常块，计算所得异常小块的重构得分的平均值
Figure GDA0003028383820000033
其中n表示异常块的个数。
(2)：根据融合的全局异常值SF(t)的大小判断其是否需要与
Figure GDA0003028383820000034
进行融合，阈值可按照经验值进行设定(假设为0.7)，如果需要进行再次融合，那么输入数据第t帧的异常得分定义为
Figure GDA0003028383820000035
其中α1和α2是融合的权重。
本发明的有益效果：
(1)通过构建一个双通道网络架构，将光流信息作为补充信息辅助原始数据完成异常检测。将原始视频数据及其光流信息根据时间顺序依次输入到WCAE-LSTM网络，通过含三个卷积层的编码器编码空间特征，将编码后的特征输入含三个卷积长短期记忆网络模块的STP模块编码时空特征，通过含三个解卷积层的解码器将时空特征重构输出，根据重构误差检测异常。
(2)考虑到背景噪声对人群异常检测的影响，对原始数据及其对应的光流信息进行前景检测，采用分块鲁棒主成分分析分解将稀疏前景与低秩背景分离，并通过设计加权欧几里德损失抑制背景噪声对网络的干扰，使网络关注感兴趣的移动行人的异常行为。
(3)由于一些异常事件多发生于小区域内，如果对整个帧进行检测容易忽略异常信息。本发明联合考虑全局异常检测及局部异常定位和重建光流的结果，扩大异常事件的重构误差，更精确地检测局部异常事件。
附图说明
图1是本发明基于加权卷积自编码长短期记忆网络进行人群异常检测的***流程图。
图2是本发明中提出的WCAE-LSTM网络结构示意图。
图3是本发明在Avenue，Ped1和Ped2数据集上分块前景分割示意图。
图4是本发明在Avenue数据集局部异常定位示意图。
具体实施方式
下面将结合附图对本发明作进一步的说明，但本发明的保护范围并不限于此。
图1给出了基于加权卷积自编码长短期记忆网络进行人群异常检测的***流程图：
本发明提出的人群异常检测方法，检测原始数据及其对应的光流信息中的前景信息，抑制背景噪声干扰。通过建立一个WCAE-LSTM网络，以卷积自编码方式获取空间变化信息，以三个卷积长短期记忆网络模块获取时域变化信息，对原始数据及其对应光流信息重构，基于重构误差进行异常检测。此外，通过全局检测异常，局部定位异常，联合考虑全局局部分析与光流重建的结果，实现对小区域异常事件的检测。
本发明的具体操作步骤：
(1)重构原始数据及其对应光流信息
首先将原始视频数据及其光流信息根据时间顺序依次输入到WCAE-LSTM网络，通过含三个卷积层的编码器编码空间特征，然后将编码后的空间特征输入含三个卷积长短期记忆网络模块的时空处理模块(sptiao-temporal processing module，STP)编码时空特征，最后通过含三个解卷积层的解码器将STP时空特征重构输出。
图2给出了本发明中提出的WCAE-LSTM网络结构示意图：
其中，编码器，解码器和STP模块中每一层的参数(Conv为C，ConvLSTM为CL，Deconv为D)分别为核大小—跨步—池化参数，滤波器个数附于网络层后。
(2)前景分割
图3给出了本发明在Avenue，Ped1和Ped2数据集上分块前景分割示意图。
将输入帧分为不同的图像子块，采用分块鲁棒主成分分析分解将运动前景与静止背景分离，分割过程如下：
Figure GDA0003028383820000051
其中，D表示输入图像，L表示静止的低秩背景，F表示运动的稀疏前景，|| ||*表示核范数，|| ||1表示L1范数。映射矩阵Pi()用于从全局图像中提取图像子块，惩罚参数λi表示第i个图像子块的运动显著性。
使用一种加权欧式损失函数突出移动的前景目标的时空变化，抑制背景噪声的影响。输入数据与对应重构结果之间的损失定义如下：L＝||(E(I,O)-I)e W||2，其中O是训练好的网络参数，I是输入数据，E(I,O)是数据的输出重构数据(用R表示)，W是根据前景分割结果得到的权重矩阵，与I大小相同，⊙表示对矩阵进行逐元素相乘。
(3)联合考虑全局-局部分析和重建光流的结果，实现对异常事件的最终检测
首先根据原始数据中某一帧的所有像素点处重构误差求和计算该帧处的重构误差，计算公式如下：ER(t)＝∑(x,y)eR(x,y,t)，其中eR(x,y,t)表示原始数据中第t帧在坐标(x,y)处的重构误差，即eR(x,y,t)＝||IR(x,y,t)-RR(x,y,t)||2，其中IR是原始数据的像素强度值，RR是编码重构结果的像素强度值。
其次计算第t帧原始数据的正则性得分SR(t)，定义如下：
Figure GDA0003028383820000052
其中T表示输入原始数据的总帧数。
然后根据上述步骤步骤计算光流数据的正则性得分SOP(t)，融合原始数据及对应光流的正则性得分，定义如下：
Figure GDA0003028383820000053
其中α1和α2是融合的权重。
SF(t)需要与局部异常定位的结果进行进一步融合。
图4给出了本发明在Avenue数据集局部异常定位示意图。
将原始数据的编码重构结果平均分成9×9的小块，计算每一小块的重构得分SLR(tm)(m＝1,2,…,81)。如果某一小块的重构得分小于给定阈值(阈值为(SLR(tm))-k×std(SLR(tm))，其中k是经验参数)，则视该小块为异常块，计算所得异常小块的重构得分的平均值
Figure GDA0003028383820000054
其中n表示异常块的个数。图中X轴表示图像子块的编号，Y轴表示每个图像子块的局部得分，得分低于阈值的图像子块视为异常，以填充点表示，这些异常图像子块编号可用于定位异常块。
根据融合的全局异常值SF(t)的大小判断其是否需要与
Figure GDA0003028383820000061
进行融合，阈值可按照经验值进行设定(假设为0.7)，如果需要进行再次融合，那么输入数据第t帧的异常得分定义为
Figure GDA0003028383820000062
其中α1和α2是融合的权重。

Claims (4)

1.一种加权卷积自编码长短期记忆网络(Weighted convolutional autoencoder-long short-term memory network，WCAE-LSTM)进行移动人群异常行为检测的方法，其特征在于：
步骤1)：提出同时对原始数据及其对应光流信息进行行人特征编码，并根据双通道数据的编码重构结果进行异常检测的双通道框架；
步骤2)：采用分块鲁棒主成分分析分解将运动前景与静止背景分离，设计加权欧几里德损失函数使WCAE-LSTM网络关注运动目标，抑制背景噪声的影响，并通过最小化加权欧几里德损失函数训练WCAE-LSTM网络，从而利用该网络估计不同通道数据的编码重构结果；
步骤3)：根据原始数据及对应光流数据的编码重构结果计算不同通道的全局异常值，并通过加权融合方式得到融合的全局异常值；
步骤4)：对原始数据的编码重构结果进行分块，计算子块的局部异常值，并通过阈值化处理检测异常子块，实现异常行为的粗略定位，综合考虑融合的全局异常值和子块的局部异常值，实现对异常行为的最终检测；
所述步骤2)具体包括：
(1)：对于输入的原始视频数据，采用分块鲁棒主成分分析分解将运动前景与静止背景分离，分割过程如下：
Figure FDA0003163469680000011
s.t.D＝L+F；其中，D表示输入图像，L表示静止的低秩背景，F表示运动的稀疏前景，|| ||*表示核范数，|| ||1表示L1范数；映射矩阵Pi()用于从全局图像中提取图像子块，惩罚参数λi表示第i个图像子块的运动显著性；
(2)：提出一种加权欧式损失函数，使WCAE-LSTM网络更加专注于学习移动前景目标的时空特征表示，抑制背景噪声对于网络学习能力的影响；加权欧式损失函数定义如下：L＝||(E(I，O)-I)⊙W||2，其中O是训练好的网络参数，I是输入数据，E(I，O)是数据的输出重构数据，所述输出重构数据用R表示，W是根据前景分割结果得到的权重矩阵，与I大小相同，⊙表示对矩阵进行逐元素相乘；
(3)：对于不同通道的数据，在训练阶段，通过最小化加权欧式损失函数使WCAE-LSTM网络学习得到原始数据与对应光流数据的时空编码特征，在测试阶段利用训练好的网络分别估计原始数据与对应光流数据的编码重构结果，利用编码重构结果进行后续的异常行为检测。
2.根据权利要求1所述的加权卷积自编码长短期记忆网络(Weightedconvolutionalautoencoder-long short-term memory network，WCAE-LSTM)进行移动人群异常行为检测的方法，其特征在于，所述步骤1)具体包括：
(1)：将原始视频数据及对应的光流数据根据时间顺序依次输入到WCAE-LSTM网络，通过含三个卷积层的编码器对输入的双通道数据进行编码，得到不同通道数据的空间变化特征；
(2)：将编码后的双通道数据的空间变化特征输入含三个卷积长短期记忆网络单元的时空处理模块(sptiao-temporal processing module，STP)，获取序列输入的双通道数据的时空变化特征；
(3)：将STP模块输出的双通道数据的时空变化特征送到含三个解卷积层的解码器，进行不同通道的数据重构。
3.根据权利要求1所述的加权卷积自编码长短期记忆网络(Weighted convolutionalautoencoder-long short-term memory network,WCAE-LSTM)进行移动人群异常行为检测的方法，其特征在于，所述步骤3)具体包括：
(1)：根据原始数据中某一帧的所有像素点处重构误差求和计算该帧处的重构误差，计算公式如下：
Figure FDA0003163469680000021
其中eR(x,y,t)表示原始数据中第t帧在坐标(x,y)处的重构误差，即eR(x,y,t)＝||IR(x,y,t)-RR(x,y,t)||2，其中IR是原始数据的像素强度值，RR是编码重构结果的像素强度值；
(2)：计算第t帧原始数据的正则性得分SR(t)，定义如下：
Figure FDA0003163469680000022
其中T表示输入原始数据的总帧数；
(3)：根据(1)与(2)所示步骤计算光流数据的正则性得分SOP(t)，融合原始数据及对应光流的正则性得分，定义如下：
Figure FDA0003163469680000023
其中α1和α2是融合的权重。
4.根据权利要求1所述的加权卷积自编码长短期记忆网络(Weighted convolutionalautoencoder-long short-term memory network,WCAE-LSTM)进行移动人群异常行为检测的方法，其特征在于，所述步骤4)具体包括：
(1)：将原始数据的编码重构结果平均分成9×9的小块，计算每一小块的重构得分SLR(tm)(m＝1,2,…,81)；如果某一小块的重构得分小于给定阈值，则视该小块为异常块，计算所得异常小块的重构得分的平均值
Figure FDA0003163469680000024
其中n表示异常块的个数；所述阈值为(SLR(tm))-k×std(SLR(tm))，其中k是经验参数；
(2)：根据融合的全局异常值SF(t)的大小判断其是否需要与
Figure FDA0003163469680000025
进行融合，阈值按照经验值进行设定为0.7，如果需要进行再次融合，那么输入数据第t帧的异常得分定义为
Figure FDA0003163469680000031
其中α1和α2是融合的权重。
CN201810385430.8A 2018-04-26 2018-04-26 加权卷积自编码长短期记忆网络人群异常检测方法 Active CN108805015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810385430.8A CN108805015B (zh) 2018-04-26 2018-04-26 加权卷积自编码长短期记忆网络人群异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810385430.8A CN108805015B (zh) 2018-04-26 2018-04-26 加权卷积自编码长短期记忆网络人群异常检测方法

Publications (2)

Publication Number Publication Date
CN108805015A CN108805015A (zh) 2018-11-13
CN108805015B true CN108805015B (zh) 2021-09-03

Family

ID=64093494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810385430.8A Active CN108805015B (zh) 2018-04-26 2018-04-26 加权卷积自编码长短期记忆网络人群异常检测方法

Country Status (1)

Country Link
CN (1) CN108805015B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711280B (zh) * 2018-12-10 2020-10-16 北京工业大学 一种基于ST-Unet的视频异常检测方法
CN109615019B (zh) * 2018-12-25 2022-05-31 吉林大学 基于时空自动编码器的异常行为检测方法
CN110033014A (zh) * 2019-01-08 2019-07-19 阿里巴巴集团控股有限公司 异常数据的检测方法及其***
CN109918995B (zh) * 2019-01-16 2023-07-28 上海理工大学 一种基于深度学习的人群异常检测方法
CN109886176B (zh) * 2019-02-14 2023-02-24 武汉大学 复杂驾驶场景下的车道线检测方法
CN109902601B (zh) * 2019-02-14 2023-04-07 武汉大学 一种结合卷积网络和递归网络的视频目标检测方法
CN109961019B (zh) * 2019-02-28 2021-03-26 华中科技大学 一种时空行为检测方法
CN110472726B (zh) * 2019-07-25 2022-08-02 南京信息工程大学 基于输出变化微分的灵敏长短期记忆方法
CN110766056B (zh) * 2019-09-27 2022-05-06 中山大学 一种融合图像生成和多标签分类的异常图像检测方法
CN111144375B (zh) * 2019-12-31 2022-07-05 中国民用航空总局第二研究所 基于特征编码的异常行为检测方法、装置及电子设备
CN111160485B (zh) * 2019-12-31 2022-11-29 中国民用航空总局第二研究所 基于回归训练的异常行为检测方法、装置及电子设备
CN111260620B (zh) * 2020-01-14 2023-08-18 三峡大学 图像异常检测方法、装置和电子设备
CN111242044B (zh) * 2020-01-15 2022-06-28 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111241688B (zh) * 2020-01-15 2023-08-25 北京百度网讯科技有限公司 复合生产工艺过程监控方法及装置
CN111459168B (zh) * 2020-04-23 2021-12-10 上海交通大学 一种融合的自动驾驶汽车过街行人轨迹预测方法及***
EP3919996A1 (en) 2020-06-02 2021-12-08 Siemens Aktiengesellschaft Method and apparatus for monitoring of industrial devices
CN111831870B (zh) * 2020-06-12 2024-02-13 北京百度网讯科技有限公司 时空数据的异常检测方法、装置、电子设备和存储介质
CN112069724B (zh) * 2020-07-21 2023-06-20 上海宇航***工程研究所 一种基于长短时记忆自编码器的火箭健康度评估方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
CN112486148B (zh) * 2020-12-29 2022-02-18 浙江大学 一种基于卷积记忆自编码网络的汽车故障诊断方法与***
CN113449660B (zh) * 2021-07-05 2024-04-05 西安交通大学 基于自注意增强的时空变分自编码网络的异常事件检测方法
CN113947612B (zh) * 2021-09-28 2024-03-29 西安电子科技大学广州研究院 基于前景背景分离的视频异常检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Abnormal Event Detection in Videos Using Spatiotemporal Autoencoder;Yong Shean Chong等;《Springer International Publishing》;20171231;全文 *
Autoencoders, Convolutional Neural Networks and Recurrent Neural Networks;Quoc V. Le;《A Tutorial on Deep Learning》;20151020;全文 *
LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection;Pankaj Malhotra等;《https://arxiv.org/pdf/1607.00148.pdf》;20160711;全文 *

Also Published As

Publication number Publication date
CN108805015A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN109359519B (zh) 一种基于深度学习的视频异常行为检测方法
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及***
CN110097028B (zh) 基于三维金字塔图像生成网络的人群异常事件检测方法
CN112329685A (zh) 一种融合型卷积神经网络人群异常行为检测的方法
CN112016500A (zh) 基于多尺度时间信息融合的群体异常行为识别方法及***
CN108416780B (zh) 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法
CN113449660B (zh) 基于自注意增强的时空变分自编码网络的异常事件检测方法
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及***
Khan et al. Revisiting crowd counting: State-of-the-art, trends, and future perspectives
CN113378775B (zh) 一种基于深度学习的视频阴影检测与消除方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN111738054A (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111079539A (zh) 一种基于异常追踪的视频异常行为检测方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及***
CN113763424A (zh) 基于嵌入式平台的实时智能目标检测方法及***
Vijayan et al. A fully residual convolutional neural network for background subtraction
US11580741B2 (en) Method and apparatus for detecting abnormal objects in video
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN112149596A (zh) 一种异常行为检测方法、终端设备及存储介质
CN115984568A (zh) 一种基于YOLOv3网络的雾霾环境下目标检测方法
Muhamad et al. A comparative study using improved LSTM/GRU for human action recognition
CN111931587B (zh) 基于可解释时空自编码器的视频异常检测方法
Fang et al. An attention-based U-Net network for anomaly detection in crowded scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant