CN107330410B - 复杂环境下基于深度学习的异常检测方法 - Google Patents

复杂环境下基于深度学习的异常检测方法 Download PDF

Info

Publication number
CN107330410B
CN107330410B CN201710535492.8A CN201710535492A CN107330410B CN 107330410 B CN107330410 B CN 107330410B CN 201710535492 A CN201710535492 A CN 201710535492A CN 107330410 B CN107330410 B CN 107330410B
Authority
CN
China
Prior art keywords
time
motion
adjacent
lstm model
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710535492.8A
Other languages
English (en)
Other versions
CN107330410A (zh
Inventor
邱鹏
霍瑛
黄陈蓉
陈行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing electronic Mdt InfoTech Ltd.
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201710535492.8A priority Critical patent/CN107330410B/zh
Publication of CN107330410A publication Critical patent/CN107330410A/zh
Application granted granted Critical
Publication of CN107330410B publication Critical patent/CN107330410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种复杂环境下基于深度学习的异常检测方法，通过将卷积神经网络回归法提取的物体时空特征输入LSTM模型，追踪复杂环境中多物体的运动轨迹；在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹；根据个体未来运动轨迹的异常概率来完成异常检测。该方法能够降低对于图像的误检率，现有技术主要是检测单个物体的时空特征，并未考虑复杂环境下相邻个体运动轨迹存在相互干扰的情况，本发明所述的LSTM模型，通过评估相干个体间的依赖性，使用编码解码框架预测物体未来运动轨迹，从而能够在对多物体运动进行异常检测时获得更精确的结果。

Description

复杂环境下基于深度学习的异常检测方法
技术领域
本发明涉及一种复杂环境下基于深度学习的异常检测方法。
背景技术
一般来说，异常检测是指检测环境中的异常行为或者不符合预期行为的数据。随着深度学习在人工智能领域的推广，使得在诸如地铁、体育场、机场等复杂环境中的异常检测得到了计算机视觉技术的广泛应用，然而这类高密度环境给异常检测带来了巨大的挑战。面对大量物体不断的无规则运动，如何解决物体相互间的干扰问题，如何在多物体运动轨迹相互影响的情况下检测异常，已成为目前异常检测研究中所面临的一个重要问题。
异常可以是罕见的外形或者动作，在已有的研究成果中，通过机器学习获得一个正常视频帧区域，并把这个区域作为参考模型，参考模型包含正常事件或者正常训练数据集。在测试阶段，研究人员把不同于参考模型的区域视作异常。然而这种非标准的参考模型往往很难准确的定义，因为存在具有特殊属性的正常事件，此外，很难准备涵盖不同领域的大量数据集进行训练。
目前在复杂环境中进行异常检测的方法主要有以下两种：1)基于轨迹法：如果一个物体没有按照正常轨迹运动或者它出现的频率更低，则被称作异常；2)基于动作法：跟正常运动物体相比较，异常物体有明显不同的动作模式。
复杂环境中的异常检测问题可以归结为构建深度学习模型进行异常检测问题，其研究难点在于如何设计带有静态数据、序列数据和空间数据的学习模型，如何将数据有效的应用到学习模型中。尤其是现有技术主要负责检测单个物体的时空特征，并未考虑复杂环境下相邻个体运动轨迹存在互相干扰的情况，使得异常检测效果不理想。因此，设计一种深度学习模型在复杂环境中进行异常检测的方法具有重要的理论意义和应用价值。但是，现有技术中尚无相关描述。
发明内容
本发明的目的是提供一种复杂环境下基于深度学习的异常检测方法，能够在相邻个体运动存在相互影响的情况下，降低对图像的误检率，尤其在拥挤环境中进行异常检测具有更良好的表现，为解决复杂环境中的异常检测问题提供了一种新的思路，解决现有技术中存在的未考虑复杂环境下相邻个体运动轨迹存在互相干扰的情况，使得异常检测效果不理想的问题。
本发明的技术解决方案是：
一种复杂环境下基于深度学习的异常检测方法，通过长短期记忆模型进行多物体轨迹追踪，之后捕捉相邻个体间的非线性时空动作并预测它们未来的运动轨迹，根据个体未来运动轨迹的异常概率来完成异常检测，具体包括以下步骤：
步骤1、将卷积神经网络回归法提取的物体时空特征输入LSTM模型，追踪复杂环境中多物体的运动轨迹；
步骤2、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹；
步骤3、根据个体未来运动轨迹的异常概率来完成异常检测。
进一步地，步骤1具体为：
步骤11、将卷积神经网络回归法提取的物体时空特征输入LSTM模型；引入YOLO将物体检测作为回归问题求解，完成从原始图像的输入到图像中所有物体的位置和其所属类别及相应的置信概率的输出，将通过YOLO得到的特征向量作为LSTM模型的输入帧；输入帧函数为
Figure GDA0002426881730000022
其中，ф(xt)表示LSTM模型的输入帧函数，xt为在时间t时的原始图像输入帧，convθc(.)为参数是θc的卷积神经网络，
Figure GDA0002426881730000023
表示在前一帧xt-1预测的物***置；
步骤12、追踪复杂环境中多物体的运动轨迹；LSTM模型是深度递归网络，用于回归物体边界框的像素亮度和位置，将它们作为原始输入帧进行逐帧检测和追踪，全程轨迹追踪概率的数学表达式为
Figure GDA0002426881730000021
其中，BT和XT分别是在最大时间T时物***置和输入帧，Bt则是表示在时间t物体的位置，且1≤t≤T，B<T是在时间T之前所有的位置，X≤T是到时间T为止所有的输入帧。
进一步地，步骤2具体为：
步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，具体为：
步骤211、判断两个相邻物体在时空域的两条运动轨迹是否相干，具体是如果两个动态物体的运动轨迹在时空域相干，即当相邻物体相对速度保持不变时，则它们具有相似的隐态；
步骤212、对于每一个物体的运动轨迹，LSTM模型将创建并追踪物体的一系列非线性时空动作，通过相干正则化整合自身物体和相邻物体状态，从而更新LSTM模型存储单元状态，相干正则化表达式为：
Figure GDA0002426881730000031
其中，ct代表存储单元状态信息累加器，ft为遗忘门，用来重置存储单元状态，如果遗忘门被激活，那么上一时间的存储单元状态ct-1将被忘记，
Figure GDA0002426881730000032
代表数组操作；it为输入门，在当前时间输入xt和上一时间的隐藏层ht-1被激活；W为权矩阵，Wxc为递归存储单元态输入矩阵，Whc递归隐态输入矩阵，bc为偏差向量；
Figure GDA0002426881730000033
代表相邻物体的轨迹和时空特征，λj(t)是物体间的依赖权值，fj t和cj t-1分别是LSTM模型相干物体的当前遗忘门状态和上一时间存储单元状态；
步骤22、评估相邻个体间运动轨迹的依赖性，具体包括以下步骤：
步骤221、通过LSTM模型的隐态信息获得相邻个体运动的时变特性；
步骤222、使用成对速度相关性评估相邻个体间运动轨迹的依赖性，相邻个体间运动轨迹依赖性的权值λj(t)的表达式为：
Figure GDA0002426881730000034
其中，i和j表示相邻个体的运动轨迹，vi(t)和vj(t)表示相邻物体各自的速度，σ为归一化常数，两个速度值相乘并且通过归一化常数进行归一化运算，γi用于求得依赖性权值，当相邻个体的运动轨迹i和j偏差越大时，λj(t)的值越趋近于0，当相邻个体运动轨迹i和j相似度越高时，λj(t)的值越趋近于1；
步骤23、采用编码-解码框架训练LSTM模型预测物体未来的运动轨迹。
进一步地，步骤23具体为：
步骤231、通过学习训练，基于LSTM模型的编码器将运动轨迹的输入映射到一个定长向量，在编码阶段的隐式向量用表达式描述为：hT＝LSTMe(ZT,hT-1)，hT为当前时间隐式向量，LSTMe表示基于LSTM模型的编码器将物体运动轨迹的输入ZT映射到上一时间隐式向量hT-1；
步骤232、在学习训练中，基于LSTM模型的解码器利用定长隐式向量预测物体未来的运动轨迹，隐式向量表达式为：
Figure GDA0002426881730000035
LSTMd表示基于LSTM模型的解码器利用上一时间隐式向量hT-1获得当前时间隐式向量hT之后，通过当前时间物体运动轨迹输入ZT预测作为输出的下一时间物体运动轨迹
Figure GDA0002426881730000041
本发明的有益效果是：该种复杂环境下基于深度学习的异常检测方法，与现有技术相比，其显著优点为：
一、现有技术误检率较高，本发明所述的将卷积神经网络回归法提取的物体时空特征输入LSTM模型，通过引入YOLO将物体检测作为回归问题求解，从而降低对于图像的误检率。
二、现有技术主要是检测单个物体的时空特征，并未考虑复杂环境下相邻个体运动轨迹存在相互干扰的情况，本发明所述的LSTM模型，通过评估相干个体间的依赖性，使用编码解码框架预测物体未来运动轨迹，从而优化了异常检测***的时空鲁棒性，能够在对多物体运动进行异常检测时获得更精确的结果。
附图说明
图1是物体运动轨迹追踪过程概述图。
图2是LSTM模型中相邻个体间的关系图。
图3是LSTM模型的编码-解码框架图。
图4是卷积神经网络在拥挤街道上追踪不可见序列轨迹图。
图5是实施例复杂环境下基于深度学习的异常检测方法的时间鲁棒性TRE(temporal robustness evaluation)评估图。
图6是实施例复杂环境下基于深度学习的异常检测方法的空间鲁棒性SRE(spatial robustness evaluations)评估图。
图7是实施例复杂环境下基于深度学习的异常检测方法的异常检测准确率图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例的一种复杂环境下基于深度学习的异常检测方法，通过长短期记忆模型进行多物体轨迹追踪和捕捉相邻个体的非线性时空动作并预测它们未来的运动轨迹两个部分。在通过长短期记忆模型(LSTM)进行多物体轨迹追踪中，通过引入YOLO(只需看一眼YouOnly Look Once-一种实时快速目标检测技术)检测，将卷积神经网络回归法提取的物体时空特征输入LSTM模型，追踪复杂环境中多物体的运动轨迹；在捕捉相邻个体间的非线性时空动作并预测它们未来的运动轨迹中，在多物体无规则运动的情况下，评估相邻个体间运动轨迹的依赖性，预测物体未来的运动轨迹，根据个体未来运动轨迹的异常概率来完成异常检测。本发明提出的异常检测方法可以在相邻个体运动存在相互影响的情况下，降低对图像的误检率，尤其在拥挤环境中进行异常检测具有更良好的表现，为解决复杂环境中的异常检测问题提供了一种新的思路。
实施例
一种复杂环境下基于深度学习的异常检测方法，首先通过长短期记忆模型(LSTM)进行多物体轨迹追踪，通过引入YOLO训练和检测，收集物体的时空特征以及对物体运行轨迹初步推断，将卷积神经网络回归法提取的物体时空特征输入LSTM模型，追踪复杂环境中多物体的运动轨迹；之后捕捉相邻个体间的非线性时空动作，在多物体无规则运动的情况下，评估相邻个体间运动轨迹的依赖性，预测物体未来的运动轨迹，从而根据个体未来运动轨迹的异常概率完成异常检测。具体包括以下步骤：
步骤1、将卷积神经网络回归法提取的物体时空特征输入LSTM模型，追踪复杂环境中多物体的运动轨迹，图1为物体运动轨迹追踪过程的概述图。
步骤11、将卷积神经网络回归法提取的物体时空特征输入LSTM模型；引入YOLO将物体检测作为回归问题求解，完成从原始图像的输入到图像中所有物体的位置和其所属类别及相应的置信概率的输出，将通过YOLO得到的特征向量作为LSTM模型的输入帧；输入帧函数为
Figure GDA0002426881730000051
其中，ф(xt)表示LSTM模型的输入帧函数，xt为在时间t时的原始图像输入帧，convθc(.)为参数是θc的卷积神经网络，
Figure GDA0002426881730000052
表示在前一帧xt-1预测的物***置；
步骤12、追踪复杂环境中多物体的运动轨迹；LSTM模型是深度递归网络，用于回归物体边界框的像素亮度和位置，将它们作为原始输入帧进行逐帧检测和追踪，全程轨迹追踪概率的数学表达式为
Figure GDA0002426881730000053
其中，BT和XT分别是在最大时间T时物***置和输入帧，Bt则是表示在时间t物体的位置，且1≤t≤T，B<T是在时间T之前所有的位置，X≤T是到时间T为止所有的输入帧。
步骤2、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹。
步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作。
步骤211、判断两个相邻物体在时空域的两条运动轨迹是否相干，具体是如果两个动态物体的运动轨迹在时空域相干，即当相邻物体相对速度保持不变时，则它们具有相似的隐态。
步骤212、对于每一个物体的运动轨迹，LSTM模型将创建并追踪物体的一系列非线性时空动作，通过相干正则化整合自身物体和相邻物体状态，从而更新LSTM模型存储单元状态，相干正则化表达式为：
Figure GDA0002426881730000061
其中，ct代表存储单元状态信息累加器，ft为遗忘门，用来重置存储单元状态，如果遗忘门被激活，那么上一时间的存储单元状态ct-1将被忘记，
Figure GDA0002426881730000062
代表数组操作；it为输入门，在当前时间输入xt和上一时间的隐藏层ht-1被激活；W为权矩阵，Wxc为递归存储单元态输入矩阵，Whc递归隐态输入矩阵，bc为偏差向量；
Figure GDA0002426881730000063
代表相邻物体的轨迹和时空特征，λj(t)是物体间的依赖权值，fj t和cj t-1分别是LSTM模型相干物体的当前遗忘门状态和上一时间存储单元状态；
步骤22、评估相邻个体间运动轨迹的依赖性，图2描述的是LSTM模型中相邻个体间的关系。
步骤221、通过LSTM模型的隐态信息获得相邻个体运动的时变特性；
步骤222、使用成对速度相关性评估相邻个体间运动轨迹的依赖性，相邻个体间运动轨迹依赖性的权值λj(t)的表达式为：
Figure GDA0002426881730000064
其中，i和j表示相邻个体的运动轨迹，vi(t)和vj(t)表示相邻物体各自的速度，σ为归一化常数，两个速度值相乘并且通过归一化常数进行归一化运算，γi用于求得依赖性权值，当相邻个体的运动轨迹i和j偏差越大时，λj(t)的值越趋近于0，当相邻个体运动轨迹i和j相似度越高时，λj(t)的值越趋近于1；
步骤23、如图3所示，采用编码-解码框架训练LSTM模型预测物体未来的运动轨迹。
步骤231、通过学习训练，基于LSTM模型的编码器将运动轨迹的输入映射到一个定长向量，在编码阶段的隐式向量用表达式描述为：hT＝LSTMe(ZT,hT-1)，hT为当前时间隐式向量，LSTMe表示基于LSTM模型的编码器将物体运动轨迹的输入ZT映射到上一时间隐式向量hT-1。
步骤232、在学习训练中，基于LSTM模型的解码器利用定长隐式向量预测物体未来的运动轨迹，隐式向量表达式为：
Figure GDA0002426881730000071
LSTMd表示基于LSTM模型的解码器利用上一时间隐式向量hT-1获得当前时间隐式向量hT之后，通过当前时间物体运动轨迹输入ZT预测作为输出的下一时间物体运动轨迹
Figure GDA0002426881730000072
步骤3、由步骤2得到的个体未来运动轨迹得出个体未来运动轨迹的异常概率,根据个体未来运动轨迹的异常概率来完成异常检测。
实验验证分析如下：
使用人工智能学习***Tensorflow运行不同的数据集检测、追踪和识别异常物体，在YOLO检测和LSTM模型进行训练的画面分别是20FPS(Frames Per Second)和60FPS。根据步骤1追踪复杂环境中多物体的运动轨迹，为了避免过拟合问题，深度学习结构要求对大量的数据集进行训练，所以提前把卷积神经网络放在目前世界上图像识别最大的数据库ImageNet中进行数据训练，然后使用LSTM模型在一个更小的数据集PASCAL VOC 2012上进行微调(Fine-tuning)，数据集PASCAL VOC 2012可以检测20个不同类别的物体。图4为通过卷积神经网络在拥挤街道上追踪不可见序列轨迹图。
步骤2在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹的具体步骤如下：
步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作。
LSTM模型在OTB-30数据集中进行训练和测试。80％的数据用在训练阶段，剩余的20％用在实验测试阶段，为了得到更好的实验结果，对模型进行了逐项训练。实验结果如图5和图6所示。由图5和图6可知，在时间和空间鲁棒性评估上，提出的方法都优于其他轨迹追踪方法。
步骤22、评估相邻个体间运动轨迹的依赖性，步骤23、采用编码-解码框架训练LSTM模型预测物体未来的运动轨迹，实验用到步长(step size)的概念，步长表示基于LSTM模型的编码-解码框架对未来轨迹进行预测时考虑的之前所有帧的数量，实验结果如图7所示。图7表示在步长变化的情况下，提出的方法依据检测评价函数intersection-over-union(IOU)画出的异常检测准确率图。
由上可知，实施例方法无论是在时空鲁棒性还是误检率上，相较其他算法都具有优势，尤其在多物体运动轨迹相互影响的复杂环境下，优势更为明显，从而验证了实施例方法的有效性。

Claims (2)

1.一种复杂环境下基于深度学习的异常检测方法，其特征在于：通过长短期记忆模型进行多物体轨迹追踪，之后捕捉相邻个体间的非线性时空动作并预测它们未来的运动轨迹，根据个体未来运动轨迹的异常概率来完成异常检测，具体包括以下步骤：
步骤1、将卷积神经网络回归法提取的物体时空特征输入LSTM模型，追踪复杂环境中多物体的运动轨迹；
步骤2、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹；步骤2具体为：
步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，具体为：
步骤211、判断两个相邻物体在时空域的两条运动轨迹是否相干，具体是如果两个动态物体的运动轨迹在时空域相干，即当相邻物体相对速度保持不变时，则它们具有相似的隐态；
步骤212、对于每一个物体的运动轨迹，LSTM模型将创建并追踪物体的一系列非线性时空动作，通过相干正则化整合自身物体和相邻物体状态，从而更新LSTM模型存储单元状态，相干正则化表达式为：
Figure FDA0002426881720000011
其中，ct代表存储单元状态信息累加器，ft为遗忘门，用来重置存储单元状态，如果遗忘门被激活，那么上一时间的存储单元状态ct-1将被忘记，⊙代表数组操作；it为输入门，在当前时间输入xt和上一时间的隐藏层ht-1被激活；W为权矩阵，Wxc为递归存储单元态输入矩阵，Whc递归隐态输入矩阵，bc为偏差向量；
Figure FDA0002426881720000012
代表相邻物体的轨迹和时空特征，λj(t)是物体间的依赖权值，fj t和cj t-1分别是LSTM模型相干物体的当前遗忘门状态和上一时间存储单元状态；
步骤22、评估相邻个体间运动轨迹的依赖性，具体包括以下步骤：
步骤221、通过LSTM模型的隐态信息获得相邻个体运动的时变特性；
步骤222、使用成对速度相关性评估相邻个体间运动轨迹的依赖性，相邻个体间运动轨迹依赖性的权值λj(t)的表达式为：
Figure FDA0002426881720000021
其中，i和j表示相邻个体的运动轨迹，vi(t)和vj(t)表示相邻物体各自的速度，σ为归一化常数，两个速度值相乘并且通过归一化常数进行归一化运算，γi用于求得依赖性权值，当相邻个体的运动轨迹i和j偏差越大时，λj(t)的值越趋近于0，当相邻个体运动轨迹i和j相似度越高时，λj(t)的值越趋近于1；
步骤23、采用编码-解码框架训练LSTM模型预测物体未来的运动轨迹；步骤23具体为：
步骤231、通过学习训练，基于LSTM模型的编码器将运动轨迹的输入映射到一个定长向量，在编码阶段的隐式向量用表达式描述为：hT＝LSTMe(ZT,hT-1)，hT为当前时间隐式向量，LSTMe表示基于LSTM模型的编码器将物体运动轨迹的输入ZT映射到上一时间隐式向量hT-1；
步骤232、在学习训练中，基于LSTM模型的解码器利用定长隐式向量预测物体未来的运动轨迹，隐式向量表达式为：
Figure FDA0002426881720000022
LSTMd表示基于LSTM模型的解码器利用上一时间隐式向量hT-1获得当前时间隐式向量hT之后，通过当前时间物体运动轨迹输入ZT预测作为输出的下一时间物体运动轨迹
Figure FDA0002426881720000023
步骤3、根据个体未来运动轨迹的异常概率来完成异常检测。
2.如权利要求1所述的复杂环境下基于深度学习的异常检测方法，其特征在于，步骤1具体为：
步骤11、将卷积神经网络回归法提取的物体时空特征输入LSTM模型；引入YOLO将物体检测作为回归问题求解，完成从原始图像的输入到图像中所有物体的位置和其所属类别及相应的置信概率的输出，将通过YOLO得到的特征向量作为LSTM模型的输入帧；输入帧函数为
Figure FDA0002426881720000024
其中，ф(xt)表示LSTM模型的输入帧函数，xt为在时间t时的原始图像输入帧，convθc(.)为参数是θc的卷积神经网络，
Figure FDA0002426881720000025
表示在前一帧xt-1预测的物***置；
步骤12、追踪复杂环境中多物体的运动轨迹；LSTM模型是深度递归网络，用于回归物体边界框的像素亮度和位置，将它们作为原始输入帧进行逐帧检测和追踪，全程轨迹追踪概率的数学表达式为
Figure FDA0002426881720000031
其中，BT和XT分别是在最大时间T时物***置和输入帧，Bt则是表示在时间t物体的位置，且1≤t≤T，B<T是在时间T之前所有的位置，X≤T是到时间T为止所有的输入帧。
CN201710535492.8A 2017-07-03 2017-07-03 复杂环境下基于深度学习的异常检测方法 Active CN107330410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710535492.8A CN107330410B (zh) 2017-07-03 2017-07-03 复杂环境下基于深度学习的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710535492.8A CN107330410B (zh) 2017-07-03 2017-07-03 复杂环境下基于深度学习的异常检测方法

Publications (2)

Publication Number Publication Date
CN107330410A CN107330410A (zh) 2017-11-07
CN107330410B true CN107330410B (zh) 2020-06-30

Family

ID=60198872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710535492.8A Active CN107330410B (zh) 2017-07-03 2017-07-03 复杂环境下基于深度学习的异常检测方法

Country Status (1)

Country Link
CN (1) CN107330410B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909084B (zh) * 2017-11-15 2021-07-13 电子科技大学 一种基于卷积-线性回归网络的雾霾浓度预测方法
CN107948166B (zh) * 2017-11-29 2020-09-25 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108090558B (zh) * 2018-01-03 2021-06-08 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
CN108288032B (zh) * 2018-01-08 2020-11-10 深圳市腾讯计算机***有限公司 动作特征获取方法、装置及存储介质
CN108537818B (zh) * 2018-03-07 2020-08-14 上海交通大学 基于集群压力lstm的人群轨迹预测方法
CN108320297B (zh) * 2018-03-09 2020-06-19 湖北工业大学 一种视频目标实时跟踪方法及***
CN108564118B (zh) * 2018-03-30 2021-05-11 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
CN108805015B (zh) * 2018-04-26 2021-09-03 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109086797B (zh) * 2018-06-29 2021-12-28 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及***
CN109359519B (zh) * 2018-09-04 2021-12-07 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109409499B (zh) * 2018-09-20 2022-03-15 北京航空航天大学 一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法
CN109787699B (zh) * 2018-10-18 2020-09-08 国网江苏省电力有限公司信息通信分公司 一种基于混合深度模型的无线传感器网络路由链路状态预测方法
CN109977840A (zh) * 2019-03-20 2019-07-05 四川川大智胜软件股份有限公司 一种基于深度学习的机场场面监视方法
CN110532852B (zh) * 2019-07-09 2022-10-18 长沙理工大学 基于深度学习的地铁站行人异常事件检测方法
CN111179365A (zh) * 2019-12-11 2020-05-19 中国科学院高能物理研究所 一种基于循环神经网络的移动放射源辐射图像自适应叠加优化方法
CN111200540A (zh) * 2019-12-27 2020-05-26 合肥学院 一种基于深度递归网络的大数据计算机***故障检测方法
CN111831870B (zh) * 2020-06-12 2024-02-13 北京百度网讯科技有限公司 时空数据的异常检测方法、装置、电子设备和存储介质
CN111783960A (zh) * 2020-07-09 2020-10-16 中国人民解放军国防科技大学 基于自动编码器和双向lstm的船舶轨迹预测方法及***
CN111783738A (zh) * 2020-07-29 2020-10-16 中国人民解放军国防科技大学 一种通信辐射源异常运动轨迹检测方法
CN112036267A (zh) * 2020-08-14 2020-12-04 珠海格力电器股份有限公司 一种目标检测方法、装置、设备和计算机可读存储介质
CN113516304B (zh) * 2021-06-29 2024-01-23 上海师范大学 基于时空图网络的区域污染物时空联合预测方法及装置
CN115019206B (zh) * 2022-06-13 2023-02-03 北京拙河科技有限公司 一种飞机起落环境安全检测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN104272377A (zh) * 2012-02-06 2015-01-07 莱金德3D有限责任公司 运动图片项目管理***
CN105791705A (zh) * 2016-05-26 2016-07-20 厦门美图之家科技有限公司 适用于移动式延时摄影的视频防抖方法、***及拍摄终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US10459615B2 (en) * 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN104272377A (zh) * 2012-02-06 2015-01-07 莱金德3D有限责任公司 运动图片项目管理***
CN105791705A (zh) * 2016-05-26 2016-07-20 厦门美图之家科技有限公司 适用于移动式延时摄影的视频防抖方法、***及拍摄终端

Also Published As

Publication number Publication date
CN107330410A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107330410B (zh) 复杂环境下基于深度学习的异常检测方法
Chang et al. Clustering driven deep autoencoder for video anomaly detection
CN111860162B (zh) 一种视频人群计数***及方法
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
Xu et al. Learning deep representations of appearance and motion for anomalous event detection
Chetverikov et al. Dynamic texture as foreground and background
Doulamis Adaptable deep learning structures for object labeling/tracking under dynamic visual environments
Bargi et al. AdOn HDP-HMM: An adaptive online model for segmentation and classification of sequential data
CN104219488B (zh) 目标图像的生成方法和装置、以及视频监控***
Medel Anomaly detection using predictive convolutional long short-term memory units
Wei et al. Detecting video anomaly with a stacked convolutional LSTM framework
Soyguder Intelligent control based on wavelet decomposition and neural network for predicting of human trajectories with a novel vision-based robotic
Wei et al. End-to-end video saliency detection via a deep contextual spatiotemporal network
Ansari et al. An expert video surveillance system to identify and mitigate shoplifting in megastores
Yu et al. Regularity learning via explicit distribution modeling for skeletal video anomaly detection
Yan et al. Memory clustering autoencoder method for human action anomaly detection on surveillance camera video
CN112488014B (zh) 基于门控循环单元的视频预测方法
US11810351B2 (en) Video analytic processing with neuro-symbolic artificial intelligence
Li Moving object detection for unseen videos via truncated weighted robust principal component analysis and salience convolution neural network
Muhamad et al. A comparative study using improved LSTM/GRU for human action recognition
Halim Intelligent Human Anomaly Identification and Classification in Crowded Scenes via Multi-fused Features and Restricted Boltzmann Machines
Chen et al. Learning to detect instantaneous changes with retrospective convolution and static sample synthesis
AlQaralleh et al. Smart Deep Learning Based Human Behaviour Classification for Video Surveillance.
Qiu et al. Anomaly detection in a crowd using a cascade of deep learning networks
Ashok et al. FINGER RECONGITION AND GESTURE BASED VIRTUAL KEYBOARD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210401

Address after: Room 503-2, 5 / F, R & D East Building, Guodian Nanzi, No. 9, Huida Road, Jiangbei new district, Nanjing City, Jiangsu Province, 210032

Patentee after: Nanjing electronic Mdt InfoTech Ltd.

Address before: 1 No. 211167 Jiangsu city of Nanjing province Jiangning Science Park Hongjing Road

Patentee before: NANJING INSTITUTE OF TECHNOLOGY