CN114821421A - 一种交通异常行为检测方法与*** - Google Patents

一种交通异常行为检测方法与*** Download PDF

Info

Publication number
CN114821421A
CN114821421A CN202210457144.4A CN202210457144A CN114821421A CN 114821421 A CN114821421 A CN 114821421A CN 202210457144 A CN202210457144 A CN 202210457144A CN 114821421 A CN114821421 A CN 114821421A
Authority
CN
China
Prior art keywords
abnormal
video
vehicle
target vehicle
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210457144.4A
Other languages
English (en)
Inventor
戚湧
曾鑫
庄员
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210457144.4A priority Critical patent/CN114821421A/zh
Publication of CN114821421A publication Critical patent/CN114821421A/zh
Priority to PCT/CN2023/089430 priority patent/WO2023207742A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于智能视频分析技术领域，公开了一种交通异常行为检测方法与***。本发明的方法包括；通过背景建模将交通监控视频异常静止的目标车辆保留在背景中；进行异常目标检测，裁剪出异常目标车辆的裁剪图片和视频片段；进行异常开始时间估计，将裁剪图片与裁剪视频片段输入孪生互相关与P3D‑Attention结合网络模型，给裁剪视频片段打上分类标签，并确定发生异常行为时的视频帧；确定该待匹配的车辆是否为异常目标车辆，结合发生异常行为时的视频帧，确定交通异常行为开始时间和结束时间。采用本发明能够提高对交通异常静止车辆状态检测的速度与性能，解决交通异常时间检测问题，从而准确估计异常行为开始时间。

Description

一种交通异常行为检测方法与***
技术领域
本发明属于智能视频分析技术领域，具体涉及一种交通异常行为检测方法与***。
背景技术
计算机视觉已经发展成为许多应用的关键技术。与人工监控、GPS、雷达信号等其他信息源相比，视觉数据包含了丰富的信息。因此，视觉数据在检测/预测交通拥堵、事故和其他异常现象方面也能起到至关重要的作用。
异常行为检测是监控场景行为理解的子领域，异常通常表述为场景实体与正常行为的偏差，是不符合所定义的良好的正常行为概念的数据模式。
典型的异常行为检测方法，通过训练学习正常行为、利用正常训练样本来建模异常概念，并将偏离正常模式识别为异常现象。任何明显偏离正常行为的行为都可以称为异常。如道路上的车辆失速、在交通路口绕行信号灯，或在红灯时车辆掉头都是一些异常现象。一些研究利用一系列统计模式来学习异常；如稀疏重建，以半监督的方式基于重建的方式计算误差来测量异常，将偏离正常行为的行为视为异常行为。且随着深度学习技术的发展，可以借助具有重构损失的深度自动编码器来解决异常预测任务。尽管这些方法在CUHKAvenue等异常数据集取得了长足的发展，但是并不适用于检测具有更复杂和未知场景的道路交通以及局部异常行为。
基于分类的异常行为检测方法，将带有标签信息的异常数据用来建模异常抽象，利用分类器在给定的特征空间内区分正常类和异常类。这需要大量的包含正常类和异常类的标记实例。一种方法是设计一个图卷积网络来纠正噪声标签，使得网络能够为动作分类器提供干净数据进行监督学习，在UCF-Crime上获得的帧级AUC分数为82.12％。采用标记较弱的训练视频，并将视频片段视为多实例学习（MIL）中的实例进行训练，训练出的深度异常排名模型可以在Real-world数据集上获得较高异常得分。
在图像分类、目标检测和跟踪等计算机视觉基础问题上，随着深度学习的迅速发展而取得巨大的成功，其分类精度甚至超过了人类。通常，在跟踪辅助异常检测中，不需要大规模的标记数据集，并且可以轻松地将其转移到其他未知场景。针对道路场景，依靠目标检测与跟踪的无监督异常检测方法吸引了相当多的研究者。但异常检测中使用的假设不能普遍适用于不同的交通场景。所以一些方法将道路交通分析***地分为四个层次，即图像的采集、静动态特征提取、行为理解及其后续服务。
在交通视觉监控的背景下，局部异常也被称为点异常。在正常道路上静止不动的车辆可以称为点异常。一些方法使用背景建模，移除所有移动物体的同时保持停滞的车辆停留在背景中，用以分析潜在的静态车辆。如，通过跟踪车辆轨迹中学***均背景建模方法、透视图统一裁剪和FPN-DCN网络重新检测提高检测精度，利用轨迹检测结果构造时空信息矩阵，估计异常开始时间。《Wang G, Yuan X, ZhangA, et al. Anomaly Candidate Identification and Starting Time Estimation ofVehicles from Traffic Videos[C]//IEEE Computer Society Conference on ComputerVision and Pattern Recognition Workshops, 2019: 382–390.》公开的方法中，使用背景建模与YOLOv3方法进行异常目标检测，训练TNT（TrackletNet Tracker，跟踪网络***）提取异常候选对象的轨迹，估计异常开始时间。《Li Y, Wu J, Bai X, et al. Multi-Granularity Tracking with Modularlized Components for Unsupervised VehiclesAnomaly Detection[C]//IEEE Computer Society Conference on Computer Vision andPattern Recognition Workshops, 2020, 2020-June: 2501–2510.》公开的方法中，利用MOG2（Mixture of Gaussians，高斯混合模型）背景建模与Faster R-CNN构建检测网络，提出多粒度跟踪算法，分别采用盒级别跟踪和像素级别跟踪来进行异常开始时间预测。
但是这些方法都需要使用目标跟踪获取高级轨迹特征，需要消耗大量计算成本、内存需求和时间成本。因此研究降低计算成本、提高预测效率、缩短检测时间的交通异常行为检测方法与***有着紧迫的需求和必要。
发明内容
本发明目的是：针对现有技术的不足，提供一种交通异常行为检测方法与***，能够提高对交通异常静止车辆状态检测的速度与性能，能够解决交通异常时间检测问题，从而准确估计异常行为开始时间。
具体地说，本发明是采用以下技术方案实现的。
一方面，本发明提供一种交通异常行为检测方法，包括；
通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中；
对通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小获得用于对所述交通监控视频进行裁剪的裁剪框；每隔第一帧数对所述交通监控视频进行一次异常目标检测，检测所述交通监控视频的视频帧中的异常目标车辆；在检测到异常目标车辆后，裁剪出异常目标车辆的裁剪图片，将所述交通监控视频以异常目标车辆的位置为中心，向前或向后裁剪出空间容量为若干倍车辆大小、时间为第二帧数的裁剪视频片段，用于之后进行异常时间估计；
根据异常目标车辆检测结果进行异常开始时间估计，包括异常车辆状态检测和异常目标匹配；
所述异常车辆状态检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标签，分别标记为异常、行驶或正常，并确定异常目标车辆发生异常行为时的视频帧；
所述异常目标匹配，将待匹配的车辆图片与异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定该待匹配的车辆是否为异常目标车辆，结合异常目标车辆检测结果中所确定的异常目标车辆发生异常行为时的视频帧，确定交通异常行为开始时间和结束时间。
进一步的，所述背景建采用MOG2算法。
进一步的，所述异常目标检测采用YOLOv3目标检测方法。
进一步的，所述异常车辆状态检测的输入，一是异常目标车辆的裁剪图片，二是以异常目标车辆为中心裁剪出的空间容量为2倍车辆大小、时间为设定的第二帧数的视频片段；
所述异常车辆状态检测包括：通过P3D-Attention模块分别提取输入的异常目标车辆的裁剪图片的特征图、输入的视频片段每一帧的特征图，并通过P3D-Attention提高重要通道特征的相关度；接着将分别提取的特征图选择在三个不同感受野大小的层通过孪生互相关操作进行融合；前两个孪生互相关操作结果使用multiply方法将输入图片和输入视频经过孪生互相关操作后提取的特征图与互相关之前经过P3D-Attention模块提取出的输入的视频片段每一帧的特征图融合；使用GAP进行池化；最后通过softmax层，直接将输入的异常目标车辆的裁剪图片和输入的视频片段进行分类，根据异常车辆状态检测结果分别给输入的视频片段打上分类标签，分别标记为异常、行驶或正常，并确定发生异常时间点所在的视频帧。
进一步的，所述异常目标车辆匹配的输入，一是异常目标车辆的裁剪图片，二是用于异常目标匹配模型的正负类图片；
所述异常目标车辆匹配包括：通过P3D-Attention模块分别提取两个输入图片的特征图，并且使用提取的两个输入的特征图进行孪生互相关操作；将分别提取的特征图选择在三个不同感受野大小的层通过孪生互相关操作进行融合；获得三个不同大小的特征图，并进行concatenate合并操作；最后通过softmax层，直接将输入的异常目标车辆的裁剪图片和用于异常目标匹配模型正负类图片进行分类，分类结果为匹配或不匹配。
进一步的，所述P3D-Attention模块由1×3×3卷积核和3×1×1卷积核分别在空间域和时间域上模拟3×3×3卷积，在时间和空间上将3×3×3卷积进行解耦； P3D-Attention模块还包括提高重要特征的相关度的双通道注意力模块和空间注意力模块。
进一步的，所述双通道注意力模块通过空间域上的1×3×3卷积核和时间域上3× 1×1卷积核结合成3×3×3卷积，学习帧注意力模块
Figure 627078DEST_PATH_IMAGE001
的权重来表达对帧的 关注，学习通道注意力模块
Figure 888295DEST_PATH_IMAGE002
的权重来表达对通道的关注；其中F代表特征 图
Figure 150649DEST_PATH_IMAGE003
的帧数，C代表特征图的通道数，H代表特征图的高，W代表特征图的宽。
进一步的，所述空间注意力模块通过一个2D卷积核学习单通道的特征图权重矩阵
Figure 501602DEST_PATH_IMAGE004
中的位置信息，来确定视频特征图每一个位置的重要性和相关度；其中F 代表特征图
Figure 318249DEST_PATH_IMAGE005
的帧数，C代表特征图的通道数，H代表特征图的高，W代表特征 图的宽。
另一方面，本发明还提供一种交通异常行为检测***，实现上述的交通异常行为检测方法，包括：
视频采集剪切模块，采集交通实时视频流，用于提供连续的交通视频流信息，显示在显示模块上，并作为输入信息传输到背景建模模块；
所述背景建模模块，预留接口，通过输入格式正确的视频流数据，通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中；
异常目标检测模块，对通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小获得用于对所述交通监控视频进行裁剪的裁剪框；每隔第一帧数对所述交通监控视频进行一次异常目标检测，检测所述交通监控视频的视频帧中的异常目标车辆；在检测到异常目标车辆后，裁剪出异常目标车辆的裁剪图片，将所述交通监控视频以异常目标车辆的位置为中心，向前或向后裁剪出空间容量为若干倍车辆大小、时间为第二帧数的裁剪视频片段，用于之后进行异常时间估计；
异常时间估计模块，包括异常车辆状态检测和异常目标匹配；所述异常车辆状态检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标签，分别标记为异常、行驶或正常，并确定异常目标车辆发生异常行为时的视频帧；所述异常目标匹配，将待匹配的车辆图片与异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定该待匹配的车辆是否为异常目标车辆，结合异常目标车辆检测结果中所确定的异常目标车辆发生异常行为时的视频帧，确定交通异常行为开始时间和结束时间；
显示模块，显示输入的视频、图像信息和输出的异常行为检测位置与异常时间信息及警告信息。
本发明的交通异常行为检测方法与***的有益效果如下：
本发明的交通异常行为检测方法是一种两阶段道路交通异常事件检测方法，基于孪生互相关与P3D-Attention网络结合的机制。孪生互相关主要用于加强对异常目标车辆的关注，充分融合时空特征与异常目标特征，关注特定目标（例如异常静止的车辆，作为异常目标车辆），对异常目标车辆状态检测方法与图像比较方法进行学***均时间为12.2 ms，相比使用跟踪轨迹方法的342 ms，消耗更小，在时间效率上更为优越。
附图说明
图1是本发明实施例1的流程图。
图2是本发明的抖动视角裁剪视频示意图，（a）为摄像头场景下的视频，（b）为将（a）随机裁剪生成的不同抖动摄像头场景下的视频，（c）为根据（b）生成的目标框。
图3是本发明的孪生互相关与P3D-Attention结合网络模型示意图。
图4是本发明的深度互相关操作示意图。
图5是本发明的深度互相关机制原理示意图。
图6是本发明的调整后的双通道注意力机制。
具体实施方式
下面结合实施例并参照附图对本发明作进一步详细描述。
实施例1：
本发明的一个实施例，为一种交通异常检测方法，基于孪生互相关与P3D-Attention网络结合的机制，可用于精确估计道路交通异常行为开始时间和结束时间。
如图1所示，本实施例的交通异常检测方法的输入为一个摄像头拍摄的交通监控视频，检测方法包括：
一、通过背景建模将异常目标车辆保留在背景中。
异常目标车辆，即异常静止的目标车辆。通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中。
背景建模的方法一般包括移动平均值背景建模方法和MOG2算法。MOG2算法为一种基于高斯混合概率密度的自适应算法，递归方程用于不断更新参数，同时也为每个像素选择适当的GMM分量。在小目标拥挤背景和车速较慢的道路背景下，移动平均值背景建模方法和MOG2算法相比，效果较差，且在拥挤的交通流当中，移动平均值背景建模方法会更多的将移动车辆信息保留在建模的背景中，使得后续进行异常目标车辆状态检测方法时对静止车辆出现误检。而且在摄像头晃动的场景下，MOG2算法比移动平均值背景建模方法更稳定。
因此，本发明采用MOG2算法，将异常目标车辆保留在背景中。MOG2算法是一种基于高斯混合概率密度的自适应算法，递归方程用于不断更新参数，同时也为每个像素选择适当的GMM分量，GMM分量在较长的时间段内逐渐更新，对不同的场景有更好的适应性。
在本实施例中，监控视频中，视频每秒传输帧数为30帧，将MOG2算法的更新间隔设置为120帧，对该120帧的视频进行异常目标车辆状态检测需要的时间为4 s。此时，所有正常移动的车辆都从框架中移除，静态车辆仍保留在背景中。
通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中。但是背景建模会导致车辆外观建模延迟的问题，例如前向背景建模会导致静止的车辆在异常静止发生一段时间后才会显示在背景中，得到的是异常的延迟开始时间。为了得到准确的异常开始时间，只能先通过背景建模得到异常的延迟开始时间，然后通过回溯分析原始图像得到更准确的时间定位。为此，本发明还需要对背景进行异常目标检测，获得异常目标车辆的裁剪图片和裁剪视频；将其输入孪生互相关与P3D-Attention网络模型，进行异常时间估计，以得到准确的异常开始时间和结束时间。
二、对背景进行异常目标检测，获得异常目标车辆的裁剪图片和裁剪视频。
对交通监控视频中通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小获得用于对监控视频进行裁剪的裁剪框；对交通监控视频的每一帧，每隔指定的第一帧数（例如30帧）使用异常目标检测方法检测一次背景，检测视频帧中的异常目标车辆；在检测到异常目标车辆后，以异常目标车辆的位置为中心，向前（或向后）裁剪出空间容量为2倍车辆大小、时间为设定帧数（例如12帧）的视频片段，用于之后进行异常时间估计。
可以采用的异常目标检测方法包括YOLOv3、Faster-RCNN等通用目标检测方法。优选的，本发明采用YOLOv3目标检测方法。
对于视频，除了存在小目标检测困难的问题之外，还有摄像头抖动的问题。为了能够很好地将异常静止的异常目标车辆与行驶启动车辆区分开来，本发明通过随机裁剪的形式生成了不同抖动摄像头场景下的视频，作为模拟抖动数据集。随机裁剪采用的方式一是根据抖动幅度大小进行裁剪，二是根据抖动是随机或是来回震颤抖动进行裁剪。抖动幅度大小设置分别为半个车辆容量和1个车辆容量等，如图2所示。优选的，考虑到从视频中裁剪出的异常目标车辆数据太少，为了防止孪生互相关与P3D-Attention结合网络模型学习偏向导致的过拟，通过目标跟踪算法制作若干数量（例如超过4000个）不同车辆的数据样本。
三、将异常目标车辆的裁剪图片和裁剪视频输入孪生互相关与P3D-Attention网络模型，进行异常时间估计，得到准确的异常开始时间和结束时间。
异常时间估计采用构建的孪生互相关与P3D-Attention结合网络模型，对输入图片和输入视频进行异常车辆状态检测和异常目标匹配。
异常车辆状态检测任务，主要是检测输入视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给视频片段打上分类标签，分别标记为异常（anomaly）、行驶（driving）或正常（normal），并确定发生异常时间点所在的视频帧。发生异常时间点即为行驶和静止这两种状态变化的瞬间。
1）异常（anomaly）：异常目标车辆停滞于路面，非异常目标车辆正常行驶，此时标定为异常。
2）行驶（driving）：异常目标车辆为正常行驶状态。
3）正常（normal）：没有异常目标车辆停滞于路面，但包括其他正常汽车驶过，以及路面无车的状态。
异常目标车辆匹配任务，用于辅助异常车辆状态检测，通过图片匹配确定待匹配的车辆是否为异常目标车辆，结合异常目标车辆检测结果中所确定的该异常目标车辆发生异常行为时所在的视频帧，从而确定交通异常行为开始时间和结束时间。
与本发明提出的孪生互相关与P3D-Attention网络结合的模型相对应有三个输入：一是异常目标车辆的裁剪图片，二是以异常目标车辆为中心裁剪出的空间容量为2倍车辆大小、时间为设定的第一帧数（例如12帧）的视频片段，三是用于异常目标匹配的正负类图片。
在神经网络中，卷积操作本质上是互相关操作(cross-correlation），具有权值共享的特点，即，所有基于卷积神经网络的同一层节点共享相同的连接权重。
本发明的孪生互相关与P3D-Attention结合网络模型，主体以P3D-Attention网络 结构为基础，在该P3D-Attention网络结构中融合互相关机制，如图3所示。孪生互相关结构 中，通过执行深度互相关操作提取图片与视频的特征；特征图是输入图片或输入视频经过 孪生互相关与P3D-Attention结合网络中孪生互相关的卷积核操作后提取的特征。本实施 例中，孪生互相关与P3D-Attention结合网络模型的输入是两张
Figure 415780DEST_PATH_IMAGE006
的图片与
Figure 267061DEST_PATH_IMAGE007
的视频，且三者都通过P3D-Attention主干 网络提取特征，即三个输入的主干网络是共享权重的。
异常车辆状态检测任务的输入，一是异常目标车辆的裁剪图片（例如
Figure 24802DEST_PATH_IMAGE006
），二是以异常目标车辆为中心裁剪出的空间容量为 2倍车辆大小、时间为设定的第二帧数（例如12帧，
Figure 86999DEST_PATH_IMAGE008
）的视频片段。每隔指定的第一帧数（例如30 帧）对异常目标检测结果中包含异常目标的视频进行异常车辆状态检测。首先通过P3D- Attention模块分别提取输入模板图片的特征图、输入视频每一帧的特征图，并通过P3D- Attention提高重要通道特征的相关度；接着将分别提取的特征图选择在三个不同感受野 大小的层通过孪生互相关操作（如图3中互相关1、互相关2、互相关3）进行融合。优选的，孪 生互相关操作采用SiamFC模型的互相关操作。前两个孪生互相关操作结果使用multiply方 法将输入图片和输入视频经过孪生互相关操作后提取的特征图与互相关之前经过P3D- Attention模块提取出的视频特征图融合；并使用GAP（Global Average Pooling，全局平均 池化层）代替全连接层进行池化；最后通过softmax层，直接将输入的异常目标车辆的裁剪 图片和输入的视频片段进行分类。使用multiply方法将输入图片和输入视频经过孪生互相 关操作后提取的特征图与互相关之前经过P3D-Attention模块提取出的视频特征图融合， 类似于空间注意力机制，其不同之处在于，空间注意力机制通过梯度下降拟合网络学习所 需要关注的部分，而孪生互相关机制的关注部分的输入为由预先设定的异常目标车辆裁剪 图片经P3D-Attention模块提取的特征图，该提取的特征图用作深度互相关的操作的卷积 核输入，强化异常目标车辆裁剪图片与输入视频匹配的特征，通过孪生互相关与P3D- Attention结合网络直接强化重要位置，如图5所示。GAP在特征图与最终的分类间转换更加 简单自然，不像全连接层需要大量训练调优的参数，降低了空间参数会使模型更加健壮，抗 过拟合效果更佳。使用GAP替代全连接层的网络，通常依然有较好的预测性能，还可以防止 模型过拟合，并能够大幅减少模型训练的计算量。
异常目标车辆匹配任务的输入，一是异常目标车辆的裁剪图片（例如
Figure 955598DEST_PATH_IMAGE006
），二是用于异常目标匹配模型的正负类图片（例如
Figure 661386DEST_PATH_IMAGE006
）。首先通过P3D-Attention模块分别提取两个输入 图片的特征图，并且使用提取的两个输入的特征图进行孪生互相关操作。依然将分别提取 的特征图选择在三个不同感受野大小的层通过孪生互相关操作（如图3中互相关4、互相关 5、互相关6）进行融合。孪生互相关操作使用VALID类型，也就是不添加padding进行互相关 操作，获得
Figure 590027DEST_PATH_IMAGE009
、
Figure 882731DEST_PATH_IMAGE010
和
Figure 86179DEST_PATH_IMAGE011
大小的特征图，并进行 concatenate合并操作，concatenate合并操作是将张量沿着指定维数拼接起来。最后通过 softmax层，直接将输入的异常目标车辆的裁剪图片和用于异常目标匹配模型正负类图片 进行分类，分类结果为匹配或不匹配。
1）匹配：每一对匹配的图片都是同一辆车在不同时间的裁剪图片。
2）不匹配：模板图片是异常目标车辆的裁剪图片，不匹配的图片可以是用于异常目标匹配模型的正负类图片中另外一辆车或任何可以出现在交通路面场景的图像。考虑到该任务是为了明确车辆静止时间，如果同一辆车IOU小于0.7将视为不匹配。
在第二个任务中互相关操作没有使用距离函数计算图片之间的相似度，而是使用与SiamFC相同的深度互相关操作，对相同形状大小的特征图进行了深度互相关操作，使用连接（concatenate）方法聚合不同尺度的特征，然后进行分类。
在对所有输入进行处理获得全部异常的开始时间与结束时间之后，进行异常融合。也就是将异常时间相交的异常视为同一个异常；例如对异常时间间隔不超过5秒，且IOU大于0.5的异常视为同一个异常。
常规互相关操作的每个卷积核同时操作输入图片的每个通道。本发明选择使用深 度互相关（Depthwise Cross Correlation）操作，深度互相关操作的一个卷积核只负责一 个通道，一个通道只与相对应的卷积核进行互相关操作，得到一个特征通道数非1的输出， 用来保留更多的特征，操作描述如图4所示，其中
Figure 410588DEST_PATH_IMAGE012
为深度互相关操作。
构建如图3所示的孪生互相关与P3D-Attention结合网络模型具体包括以下步骤。
步骤3.1，P3D-Attention网络对两种输入的调整。
本发明提取特征的主干网络为P3D-Attention网络。在实现孪生互相关与P3D-Attention网络融合时，需要将2D卷积操作替换为3D卷积操作。P3D-Attention网络首先由1×3×3卷积核和3×1×1卷积核分别在空间域和时间域上模拟3×3×3卷积，在时间和空间上将3×3×3卷积进行解耦；其次P3D-Attention网络还包括双通道注意力机制和空间注意力机制，提高重要特征的相关度。
孪生互相关与P3D-Attention结合网络模型的两种输入分别为图片和视频。其中 图片包括异常目标车辆的裁剪图片和用于异常目标匹配模型的正负类图片，例如
Figure 510131DEST_PATH_IMAGE013
（
Figure 54245DEST_PATH_IMAGE014
，即
Figure 766111DEST_PATH_IMAGE015
）的图片；视频为以异常目标车辆为中 心裁剪出的空间容量为2倍车辆大小、时间为第二帧数的视频片段，例如
Figure 712070DEST_PATH_IMAGE016
（
Figure 982515DEST_PATH_IMAGE017
，即
Figure 518319DEST_PATH_IMAGE018
）的视频。两 种输入都通过P3D-Attention主干网络提取特征，即异常车辆状态检测的两个输入及异常 目标匹配的两个输入的主干网络是共享权重的。两个输入在同时通过同一个网络的情况 下，不仅图片大小不同（80：40），输入维度也不同（4：3），在注意力机制结合时需要对网络结 构进行调整。
首先需要将图片（例如
Figure 532411DEST_PATH_IMAGE019
的图片）调整为添加时间维 度的数据（例如
Figure 332877DEST_PATH_IMAGE020
），以适应对视频维度的卷积操作； 但依然存在时间维度上大小不同的情况（12：1）。针对于此，孪生互相关与P3D-Attention结 合网络模型结构的实现需要分别在P3D模块和Attention模块中调整。
对于P3D模块，图片尺寸大小的不同并不是问题，两种输入都可以在1×3×3卷积 核上进行卷积操作；而对于时间维度大小的不同，在执行图片输入
Figure 275688DEST_PATH_IMAGE020
时需要忽略3×1×1的卷积核操作，因为对于时间维 度只有1的图片，卷积大小为3并没有意义。
对于Attention模块，分别使用双通道注意力模块与空间注意力模块在时间帧和空间帧上施加关注，强化关键帧，依据特征图自动给不同关节点分配不同的注意力，关注先验知识所提到的位置，去除背景和噪声对识别的干扰，具体步骤参见步骤3.2。注意力机制表达为：
Figure 528814DEST_PATH_IMAGE021
式中，M代表注意力模块，F为特征图，
Figure 81018DEST_PATH_IMAGE022
代表矩阵元素依次相乘。
步骤3.2：双通道注意力模块和空间注意力模块的调整。
由伪3D卷积神经网络与注意力机制结合的P3D-Attention网络，采用P3D-Attention模块实现使用注意力机制对通道与特征图施加关注，包括双通道注意力模块和空间注意力模块。
双通道注意力模块，分别在视频帧之间和每一帧的通道上施加关注。特征图
Figure 500105DEST_PATH_IMAGE023
，其中R中的F代表帧，C代表每一帧下的通道数，H和W代表不同通道下的特 征，学习
Figure 112352DEST_PATH_IMAGE024
的权重来决定每个通道的重要性，将
Figure 587196DEST_PATH_IMAGE025
的特征图转置 为
Figure 444556DEST_PATH_IMAGE026
，并嵌入到2D空间注意力模块中，分别学习
Figure 485193DEST_PATH_IMAGE001
与
Figure 268341DEST_PATH_IMAGE002
的权重来分别表达对帧与通道的关注。
空间注意力模块采用CBAM（Convolutional Block Attention Module，卷积块注 意力模块）模块实现，通过学习在空间维度上的权重图来关注空间特征。以视频每一帧的特 征图
Figure 12173DEST_PATH_IMAGE027
为例，其中F代表帧，C代表特征图的通道数，H代表特征图的高，W代表 特征图的宽，空间注意力模块主要通过一个2D卷积核学习单通道的特征图权重矩阵
Figure 906180DEST_PATH_IMAGE028
中的位置信息，来确定视频特征图每一个位置的重要性和相关度。卷积核 大小与特征图大小并不相关，所以视频特征和图片特征都可以直接级联空间注意力模块来 提高重要位置的相关度。
在P3D模块将3D卷积解耦成空间与时间卷积的基础上，注意力模块分为以下三个不同的P3D-Attention模块实现网络模型。
P3D-Attention-A：
时间1D卷积核
Figure 270165DEST_PATH_IMAGE029
级联到空间2D卷积核
Figure 725680DEST_PATH_IMAGE030
，通过在
Figure 440695DEST_PATH_IMAGE030
后级联空间注意力模块
Figure 669551DEST_PATH_IMAGE031
， 并在
Figure 917736DEST_PATH_IMAGE029
后级联通道注意力模块
Figure 42687DEST_PATH_IMAGE032
，实现P3D-Attention-A结构，时间1D卷积核
Figure 713840DEST_PATH_IMAGE029
直接连接 到最终输出，由式（2）给出：
Figure 451114DEST_PATH_IMAGE033
式中，
Figure 789691DEST_PATH_IMAGE034
表示输入特征图，
Figure 351122DEST_PATH_IMAGE035
表示施加注意力机制后的输出，
Figure 279545DEST_PATH_IMAGE034
与
Figure 584625DEST_PATH_IMAGE035
具有相 同的特征维度。
P3D-Attention-B：
原有的P3D-B采用两个卷积核之间的间接影响，使得两个卷积核以并行方式处理 卷积特征；在去掉残差单元基础上，在
Figure 43288DEST_PATH_IMAGE036
位置后级联空间注意力模块（
Figure 11506DEST_PATH_IMAGE037
），并接着在
Figure 922830DEST_PATH_IMAGE029
位 置后级联通道注意力模块（
Figure 500442DEST_PATH_IMAGE032
），表示为:
Figure 312147DEST_PATH_IMAGE038
P3D-Attention-C：
P3D-C模块是P3D-a和P3D-B之间的折衷，同时建立
Figure 215381DEST_PATH_IMAGE036
、
Figure 348422DEST_PATH_IMAGE029
和最终输出之间的直接 影响；为了实现基于级联P3D-A架构的
Figure 965610DEST_PATH_IMAGE036
和最终输出之间的直接连接，通过添加注意力模 块构建P3D-Attention-C，表示为:
Figure 133286DEST_PATH_IMAGE039
为了适应孪生网络与注意力机制的融合，需要对输入的不同分支进行对应调整， 调整后的双通道注意力机制如图6所示。以特征图
Figure 941842DEST_PATH_IMAGE040
为例，其中F代表帧数，C 代表特征图的通道数，H代表特征图的高，W代表特征图的宽，本发明为了适应3D卷积，构建 了双通道注意力模块（dual-channel attention model），通过空间域上的1×3×3卷积核 和时间域上3×1×1卷积核结合成3×3×3卷积，学习帧注意力模块
Figure 827759DEST_PATH_IMAGE041
的权 重来表达对帧的关注，学习通道注意力模块
Figure 974270DEST_PATH_IMAGE042
的权重来表达对通道的关注。
关于对帧的关注，即学习
Figure 527611DEST_PATH_IMAGE043
，需要将
Figure 772648DEST_PATH_IMAGE044
的特征图转置 为（
Figure 116166DEST_PATH_IMAGE045
）,通过最大池化和平均池化消除空间维度H与W。最大池化(maxpooling） 可以提取特征纹理。减少无用信息的影响。平均池化（avgpooling）可以保留背景信息。那么 两个输入（图片与视频）经池化后的维度将会有所不同，分别为
Figure 839272DEST_PATH_IMAGE046
和
Figure 247119DEST_PATH_IMAGE047
，所以在执 行图片输入的帧的注意力机制时本发明忽略帧的注意力操作。
关于对每一帧所属通道的关注，即学习
Figure 896013DEST_PATH_IMAGE048
，可以直接将时间维度上 的F池化消除，图片与视频两个输入池化后的维度是相同的（C：C），所以在执行图片输入的 图片通道注意力机制时，本发明忽略图片通道注意力操作。
本发明的交通异常行为检测方法，异常时间估计RMSE（均方根误差）为9.22，对12帧视频的检测平均时间为12 ms，在时间效率上具有较大的优越性。
本发明的交通异常行为检测方法，异常时间估计采用异常车辆状态检测与异常目标匹配结合，采用多任务训练，输入的两张图片和一个视频分别输入到孪生互相关与P3D-Attention结合网络的一个分支，三个分支为相同的结构，共享相同的参数；网络尾部使用两个Softmax层作为两个分类任务的结果。孪生互相关与P3D-Attention结合网络模型基于参数的共享同时对异常车辆状态检测方法与基于孪生网络的图像匹配方法进行多任务学习，通过对车辆的位置状态进行预测，并利用异常目标匹配方法进一步精确异常开始时间所在帧，能够很好的解决交通异常开始时间估计问题，准确估计异常行为开始时间。
更进一步，整个孪生互相关与P3D-Attention结合网络是一个卷积神经网络架构，在训练时为了减少模型的误判，本发明采用F1-Score而不是准确率来评估模型的性能。F1-Score又称平衡F分数（balanced F Score），被定义为查准率P和召回率R的调和平均数。
其中，P（Precision）是指准确率。
Figure 490943DEST_PATH_IMAGE049
式中，TP表示正样本，即分类器判定为正例，且判定正确；FP表示分类器判定为正例，但是判定错误。
R（Recall）是指召回率。
Figure 752160DEST_PATH_IMAGE050
式中，FN表示分类器判定为负例，但是判定错误。
F1得分是准确率和召回率的调和平均值。
Figure 250399DEST_PATH_IMAGE051
实施例2：
本发明的另一个实施例，为一种交通异常行为检测***，包括：
视频采集剪切模块，采集交通实时视频流，用于提供连续的交通视频流信息，显示在显示模块上，并作为输入信息传输到背景建模模块；
所述背景建模模块，预留接口，通过输入格式正确的视频流数据，通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中；
异常目标检测模块，对通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小获得用于对所述交通监控视频进行裁剪的裁剪框；每隔第一帧数对所述交通监控视频进行一次异常目标检测，检测所述交通监控视频的视频帧中的异常目标车辆；在检测到异常目标车辆后，裁剪出异常目标车辆的裁剪图片，将所述交通监控视频以异常目标车辆的位置为中心，向前或向后裁剪出空间容量为2倍车辆大小、时间为第二帧数的裁剪视频片段，用于之后进行异常时间估计；
异常时间估计模块，包括异常车辆状态检测和异常目标匹配；所述异常车辆状态检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标签，分别标记为异常、行驶或正常，并确定异常目标车辆发生异常行为时的视频帧；所述异常目标匹配，将待匹配的车辆图片与异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定该待匹配的车辆是否为异常目标车辆，结合异常目标车辆检测结果中所确定的异常目标车辆发生异常行为时的视频帧，确定交通异常行为开始时间和结束时间；
显示模块，显示输入的视频、图像信息和输出的异常行为检测位置与异常时间信息及警告信息。
在一些实施例中，上述技术的某些方面可以由执行软件的处理***的一个或多个处理器来实现。该软件包括存储或以其他方式有形实施在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁或光盘存储设备，诸如闪存、高速缓存、随机存取存储器(RAM）等的固态存储设备或其他非易失性存储器设备。存储在非临时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或被一个或多个处理器解释或以其他方式执行的其他指令格式。
计算机可读存储介质可以包括在使用期间可由计算机***访问以向计算机***提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD）、数字多功能光盘(DVD）、蓝光光盘）、磁介质(例如，软盘、磁带或磁性硬盘驱动器）、易失性存储器(例如，随机存取存储器(RAM）或高速缓存）、非易失性存储器(例如，只读存储器(ROM）或闪存）或基于微机电***(MEMS）的存储介质。计算机可读存储介质可以嵌入计算***(例如，***RAM或ROM）中，固定地附接到计算***(例如，磁性硬盘驱动器），可移除地附接到计算***(例如，光盘或通用基于串行总线(USB）的闪存），或者经由有线或无线网络(例如，网络可访问存储(NAS））耦合到计算机***。
请注意，并非上述一般性描述中的所有活动或要素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了描述的那些之外可以执行一个或多个进一步的活动或包括的要素。更进一步，活动列出的顺序不必是执行它们的顺序。而且，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离权利要求书中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的修改被包括在本公开的范围内。
上面已经关于具体实施例描述了益处、其他优点和问题的解决方案。然而，可能导致任何益处、优点或解决方案发生或变得更明显的益处、优点、问题的解决方案以及任何特征都不应被解释为任何或其他方面的关键、必需或任何或所有权利要求的基本特征。此外，上面公开的特定实施例仅仅是说明性的，因为所公开的主题可以以受益于这里的教导的本领域技术人员显而易见的不同但等同的方式进行修改和实施。除了在下面的权利要求书中描述的以外，没有意图限制在此示出的构造或设计的细节。因此明显的是，上面公开的特定实施例可以被改变或修改，并且所有这样的变化被认为在所公开的主题的范围内。

Claims (9)

1.一种交通异常行为检测方法，其特征在于，包括；
通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中；
对通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小获得用于对所述交通监控视频进行裁剪的裁剪框；每隔第一帧数对所述交通监控视频进行一次异常目标检测，检测所述交通监控视频的视频帧中的异常目标车辆；在检测到异常目标车辆后，裁剪出异常目标车辆的裁剪图片，将所述交通监控视频以异常目标车辆的位置为中心，向前或向后裁剪出空间容量为若干倍车辆大小、时间为第二帧数的裁剪视频片段，用于之后进行异常时间估计；
根据异常目标车辆检测结果进行异常开始时间估计，包括异常车辆状态检测和异常目标匹配；
所述异常车辆状态检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标签，分别标记为异常、行驶或正常，并确定异常目标车辆发生异常行为时的视频帧；
所述异常目标匹配，将待匹配的车辆图片与异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定该待匹配的车辆是否为异常目标车辆，结合异常目标车辆检测结果中所确定的异常目标车辆发生异常行为时的视频帧，确定交通异常行为开始时间和结束时间。
2.根据权利要求1所述的交通异常行为检测方法，其特征在于，所述背景建采用MOG2算法。
3.根据权利要求1所述的交通异常行为检测方法，其特征在于，所述异常目标检测采用YOLOv3目标检测方法。
4.根据权利要求1所述的交通异常行为检测方法，其特征在于，所述异常车辆状态检测的输入，一是异常目标车辆的裁剪图片，二是以异常目标车辆为中心裁剪出的空间容量为2倍车辆大小、时间为设定的第二帧数的视频片段；
所述异常车辆状态检测包括：通过P3D-Attention模块分别提取输入的异常目标车辆的裁剪图片的特征图、输入的视频片段每一帧的特征图，并通过P3D-Attention提高重要通道特征的相关度；接着将分别提取的特征图选择在三个不同感受野大小的层通过孪生互相关操作进行融合；前两个孪生互相关操作结果使用multiply方法将输入图片和输入视频经过孪生互相关操作后提取的特征图与互相关之前经过P3D-Attention模块提取出的输入的视频片段每一帧的特征图融合；使用GAP进行池化；最后通过softmax层，直接将输入的异常目标车辆的裁剪图片和输入的视频片段进行分类，根据异常车辆状态检测结果分别给输入的视频片段打上分类标签，分别标记为异常、行驶或正常，并确定发生异常时间点所在的视频帧。
5.根据权利要求4所述的交通异常行为检测方法，其特征在于，所述异常目标车辆匹配的输入，一是异常目标车辆的裁剪图片，二是用于异常目标匹配模型的正负类图片；
所述异常目标车辆匹配包括：通过P3D-Attention模块分别提取两个输入图片的特征图，并且使用提取的两个输入的特征图进行孪生互相关操作；将分别提取的特征图选择在三个不同感受野大小的层通过孪生互相关操作进行融合；获得三个不同大小的特征图，并进行concatenate合并操作；最后通过softmax层，直接将输入的异常目标车辆的裁剪图片和用于异常目标匹配模型正负类图片进行分类，分类结果为匹配或不匹配。
6.根据权利要求4所述的交通异常行为检测方法，其特征在于，所述P3D-Attention模块由1×3×3卷积核和3×1×1卷积核分别在空间域和时间域上模拟3×3×3卷积，在时间和空间上将3×3×3卷积进行解耦； P3D-Attention模块还包括提高重要特征的相关度的双通道注意力模块和空间注意力模块。
7.根据权利要求6所述的交通异常行为检测方法，其特征在于，所述双通道注意力模块 通过空间域上的1×3×3卷积核和时间域上3×1×1卷积核结合成3×3×3卷积，学习帧注 意力模块
Figure 909908DEST_PATH_IMAGE001
的权重来表达对帧的关注，学习通道注意力模块
Figure 764732DEST_PATH_IMAGE002
的权重来表达对通道的关注；其中F代表特征图
Figure 482152DEST_PATH_IMAGE003
的帧数， C代表特征图的通道数，H代表特征图的高，W代表特征图的宽。
8.根据权利要求7所述的交通异常行为检测方法，其特征在于，所述空间注意力模块通 过一个2D卷积核学习单通道的特征图权重矩阵
Figure 815045DEST_PATH_IMAGE004
中的位置信息，来确定视 频特征图每一个位置的重要性和相关度；其中F代表特征图
Figure 567100DEST_PATH_IMAGE005
的帧数，C代表 特征图的通道数，H代表特征图的高，W代表特征图的宽。
9.一种交通异常行为检测***，实现根据权利要求1至8任一所述的交通异常行为检测方法，其特征在于，包括：
视频采集剪切模块，采集交通实时视频流，用于提供连续的交通视频流信息，显示在显示模块上，并作为输入信息传输到背景建模模块；
所述背景建模模块，预留接口，通过输入格式正确的视频流数据，通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中移除，使得异常静止的目标车辆保留在背景中；
异常目标检测模块，对通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小获得用于对所述交通监控视频进行裁剪的裁剪框；每隔第一帧数对所述交通监控视频进行一次异常目标检测，检测所述交通监控视频的视频帧中的异常目标车辆；在检测到异常目标车辆后，裁剪出异常目标车辆的裁剪图片，将所述交通监控视频以异常目标车辆的位置为中心，向前或向后裁剪出空间容量为若干倍车辆大小、时间为第二帧数的裁剪视频片段，用于之后进行异常时间估计；
异常时间估计模块，包括异常车辆状态检测和异常目标匹配；所述异常车辆状态检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标签，分别标记为异常、行驶或正常，并确定异常目标车辆发生异常行为时的视频帧；所述异常目标匹配，将待匹配的车辆图片与异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定该待匹配的车辆是否为异常目标车辆，结合异常目标车辆检测结果中所确定的异常目标车辆发生异常行为时的视频帧，确定交通异常行为开始时间和结束时间；
显示模块，显示输入的视频、图像信息和输出的异常行为检测位置与异常时间信息及警告信息。
CN202210457144.4A 2022-04-28 2022-04-28 一种交通异常行为检测方法与*** Pending CN114821421A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210457144.4A CN114821421A (zh) 2022-04-28 2022-04-28 一种交通异常行为检测方法与***
PCT/CN2023/089430 WO2023207742A1 (zh) 2022-04-28 2023-04-20 一种交通异常行为检测方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210457144.4A CN114821421A (zh) 2022-04-28 2022-04-28 一种交通异常行为检测方法与***

Publications (1)

Publication Number Publication Date
CN114821421A true CN114821421A (zh) 2022-07-29

Family

ID=82509522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210457144.4A Pending CN114821421A (zh) 2022-04-28 2022-04-28 一种交通异常行为检测方法与***

Country Status (2)

Country Link
CN (1) CN114821421A (zh)
WO (1) WO2023207742A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690658A (zh) * 2022-11-04 2023-02-03 四川大学 一种融合先验知识的半监督视频异常行为检测方法
CN116188701A (zh) * 2023-04-27 2023-05-30 四川大学 一种基于散斑结构光的三维人脸重建方法及装置
CN116366790A (zh) * 2023-05-26 2023-06-30 深圳市神飞致远技术有限公司 一种网络视频存储方法及***
CN116912596A (zh) * 2023-08-04 2023-10-20 无锡学院 一种多源数据归一化处理与融合的方法及***
WO2023207742A1 (zh) * 2022-04-28 2023-11-02 南京理工大学 一种交通异常行为检测方法与***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888587B (zh) * 2021-09-01 2024-05-28 山东师范大学 基于改进的暹罗网络的目标跟踪方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286198A1 (en) * 2012-04-25 2013-10-31 Xerox Corporation Method and system for automatically detecting anomalies at a traffic intersection
CN109285341B (zh) * 2018-10-31 2021-08-31 中电科新型智慧城市研究院有限公司 一种基于实时视频的城市道路车辆异常停驶检测方法
CN111428699B (zh) * 2020-06-10 2020-09-22 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及***
CN113255611B (zh) * 2021-07-05 2021-10-01 浙江师范大学 基于动态标签分配的孪生网络目标跟踪方法及移动设备
CN114049771A (zh) * 2022-01-12 2022-02-15 华砺智行(武汉)科技有限公司 基于双模态的交通异常检测方法、***和存储介质
CN114821421A (zh) * 2022-04-28 2022-07-29 南京理工大学 一种交通异常行为检测方法与***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207742A1 (zh) * 2022-04-28 2023-11-02 南京理工大学 一种交通异常行为检测方法与***
CN115690658A (zh) * 2022-11-04 2023-02-03 四川大学 一种融合先验知识的半监督视频异常行为检测方法
CN115690658B (zh) * 2022-11-04 2023-08-08 四川大学 一种融合先验知识的半监督视频异常行为检测方法
CN116188701A (zh) * 2023-04-27 2023-05-30 四川大学 一种基于散斑结构光的三维人脸重建方法及装置
CN116366790A (zh) * 2023-05-26 2023-06-30 深圳市神飞致远技术有限公司 一种网络视频存储方法及***
CN116366790B (zh) * 2023-05-26 2023-10-27 深圳市神飞致远技术有限公司 一种网络视频存储方法及***
CN116912596A (zh) * 2023-08-04 2023-10-20 无锡学院 一种多源数据归一化处理与融合的方法及***
CN116912596B (zh) * 2023-08-04 2024-03-22 无锡学院 一种多源数据归一化处理与融合的方法及***

Also Published As

Publication number Publication date
WO2023207742A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
CN114821421A (zh) 一种交通异常行为检测方法与***
Ramanagopal et al. Failing to learn: Autonomously identifying perception failures for self-driving cars
CN112669349B (zh) 一种客流统计方法、电子设备及存储介质
Kim et al. Extracting vehicle trajectories using unmanned aerial vehicles in congested traffic conditions
Lin et al. A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO
CN108388834A (zh) 利用循环神经网络和级联特征映射的对象检测
CN114207541B (zh) 轨线预测
JP2013537654A (ja) 意味ラベル伝ぱのための方法及びシステム
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN105809718A (zh) 一种轨迹熵最小化的对象跟踪方法
Dimitrievski et al. Weakly supervised deep learning method for vulnerable road user detection in FMCW radar
Kim et al. Visual extensions and anomaly detection in the pNEUMA experiment with a swarm of drones
Chen et al. Investigating low level features in CNN for traffic sign detection and recognition
Schoonbeek et al. Learning to predict collision risk from simulated video data
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
CN116665188B (zh) 一种大客车图像***数据分析方法
CN113033356A (zh) 一种尺度自适应的长期相关性目标跟踪方法
CN107256382A (zh) 基于图像识别的虚拟保险杠控制方法和***
Li et al. Testing ground-truth errors in an automotive dataset for a DNN-based object detector
Muniruzzaman et al. Deterministic algorithm for traffic detection in free-flow and congestion using video sensor
CN114255450A (zh) 一种基于前向全景图像的近场车辆加塞行为预测方法
CN114241373A (zh) 一种端到端的车辆行为检测方法、***、设备及存储介质
Khasanova et al. Image denoising for video surveillance cameras based on deep learning techniques
EP4208814A1 (en) Object detection and tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination