CN116681722A - 一种基于孤立森林算法和目标跟踪的交通事故检测方法 - Google Patents

一种基于孤立森林算法和目标跟踪的交通事故检测方法 Download PDF

Info

Publication number
CN116681722A
CN116681722A CN202310596197.9A CN202310596197A CN116681722A CN 116681722 A CN116681722 A CN 116681722A CN 202310596197 A CN202310596197 A CN 202310596197A CN 116681722 A CN116681722 A CN 116681722A
Authority
CN
China
Prior art keywords
vehicle
abnormal
vehicles
score
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310596197.9A
Other languages
English (en)
Inventor
宋彬
王帅
秦浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310596197.9A priority Critical patent/CN116681722A/zh
Publication of CN116681722A publication Critical patent/CN116681722A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于孤立森林算法和目标跟踪的交通事故检测方法，针对现有技术中交通事故检测效果仍需改善的问题。该发明采用目标跟踪算法获取交通视频中各车辆行人的运动轨迹；根据各车辆的运动轨迹计算其运动指标；使用孤立森林算法筛选异常车辆；筛选后提出一种计分机制为每个异常车辆累计异常分；提出一种注意力重分配机制，使用该机制得到的注意力系数对各车辆的异常分进行加权，以突出同一时刻中所有异常车辆中的事故车辆；将视频分割为多个判别时段，在每个判别时段中，根据已累计的异常分计算各异常车辆的得分效率，根据得分效率判定事故车辆。本发明能在交通视频中精确高效检测出交通事故，并精准定位事故车辆。

Description

一种基于孤立森林算法和目标跟踪的交通事故检测方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于孤立森林算法和目标跟踪的交通事故检测方法。
背景技术
随着现今社会城市化进程的不断加快，城市交通规模愈发庞大，交通事故的发生也更加频繁，社会对智能交通事故识别的需求日益迫切。
在过去的几十年中，事件检测问题引发了国内外众多研究者的广泛兴趣，基于模式识别、神经网络、支持向量机、模糊逻辑、卡尔曼滤波和时间序列分析等方法的交通事故检测算法都取得了不同程度的成果。
加利福利亚算法是早期高速公路交通检测算法，该算法通过比较临近检测点之间的交通流量参数数据，对可能的突发交通事件进行判别。随后，又出现了标准偏差算法、双指数平滑算法、贝叶斯算法。基于突变理论的McMaster算法首次将过大交通需求引发的频繁性拥堵作为分析和判断的对象。在早期的交通事件检测算法中，加州算法和McMaster算法在准确性和实时性等方面优势明显，被认为是综合性能最好的两种经典算法，通常用作其他算法评估的标杆。20世纪90年代以后，一系列人工智能算法逐渐出现在交通事件自动检测算法中。其中，Chew等人提出了人工神经网络结构模型，在交通事件检测中取得良好的检测效果。Abdulhai将概率神经网络应用到突发交通事件检测中。Fang Yuan和Rucy LongCheu提出基于支持向量机的交通事件检测算法。Shaurya Agarwal提出利用小波变换和逻辑回归的混合模型检测交通事件。纵观交通事件检测发展历程，早期AID算法基于模式识别和突变理论，成为高速公路交通事件检测的经典算法。后期的人工智能AID算法是基于新兴理论和硬件技术的革新，在检测效果和检测性能上显得更有优势。但目前的交通事故检测算法还没有达到理想的效果，因而还需要深入研究核心算法。
发明内容
本发明针对现有技术中交通事故检测效果仍需改善的问题，提供一种在检测效果和性能上更有优势的基于孤立森林算法和目标跟踪的交通事故检测方法。
本发明的技术解决方案是，提供一种具有以下步骤的基于孤立森林算法和目标跟踪的交通事故检测方法：含有以下步骤，步骤1：对于输入的交通视频数据，首先使用目标跟踪技术获取其每一帧图像中的车辆、行人位置，并对不同帧中的车辆、行人位置进行数据关联，得到视频中各车辆、行人的运动轨迹；步骤2：根据各车辆的运动轨迹计算其运动指标；步骤3：使用孤立森林算法分别根据不同的运动指标筛选异常车辆；步骤4：根据孤立森林算法的筛选结果，提出计分机制为每个异常车辆累计异常分；步骤5：提出注意力重分配机制，通过得到的注意力系数对各车辆的异常分进行加权，突出同一时刻中所有异常车辆中的事故车辆；步骤6：将视频分割为多个判别时段，在每个判别时段中，根据已累计的异常分计算各异常车辆的得分效率，根据得分效率判定事故车辆。
优选地，所述步骤1中以视频的单一模态数据为基础进行交通事故检测，采用目标跟踪算法获取视频数据中车辆、行人的运动轨迹，对于每帧图像中的每一车辆、行人，其运动轨迹的具体形式为：中心点像素坐标、检测框像素高度、检测框像素宽度、track ID以及帧序号。
优选地，所述步骤2中根据各车辆的运动轨迹计算其运动指标，首先将车辆、行人的运动轨迹信息在时间维度上进行压缩，对于视频中每一秒所对应的多帧轨迹信息，根据trackID区分不同的车辆、行人，仅保留每一车辆、行人第一次出现时的轨迹信息，将轨迹压缩后的最小时间单位称为时刻，然后根据各车辆在多个时刻的位置，分别计算车辆的速度、加速度、航向角；具体步骤如下：以track ID区分不同的车辆，设同一车辆在两个相邻的时刻t1、t2(t1＜t2)中的两条轨迹信息分别为：t1时刻中心点像素横坐标x1、像素纵坐标y1、检测框像素高度h1、检测框像素宽度w1；t2时刻中心点像素横坐标x2、像素纵坐标y2、检测框像素高度h2和检测框像素宽度w2，
计算尺度归一化系数如下式：
计算速度如下式：
其中vt2 x为t2时刻x轴方向归一化分速度、vt2 y为t2时刻y轴方向归一化分速度、vt2为t2时刻速度；
计算加速度如下式：
计算航向角如下式：
其中σ为一极小的正数。
优选地，所述步骤3中使用提前训练好的孤立森林算法分别根据不同的运动指标筛选异常车辆，将同一时刻内所有车辆的速度、加速度、航向角分别送入三个孤立森林模型中，分别得到速度、加速度和航向角异常的车辆。
优选地，所述步骤4中根据孤立森林算法的筛选结果，提出一种计分机制为每个异常车辆累计异常分，计分机制包括：运动指标异常计分和车辆环境异常计分，对于运动指标存在异常的车辆计算其运动指标异常分，然后判断其车辆环境是否异常，若异常则计算车辆环境异常分，最后对两者取平均值得到异常分；
其中运动指标异常分计算公式为：
Smotion＝α·Sspeed+β·Sacc+γ·Sθ，(α+β+γ＝1),
上式中，α、β、γ分别为速度异常分权重、加速度异常分权重、航向角异常分权重；Sspeed、Sacc、Sθ分别为速度异常分、加速度异常分、航向角异常分，当车辆速度异常时Sspeed为1，否则为0；当车辆加速度异常时Sacc为1，否则为0；当车辆航向角异常时Sθ为1，否则为0；
其中车辆环境异常判定方式为：车辆附近有人且人车归一化距离小于1时计分，人车归一化距离的计算公式为：
上式中xperson为人的中心点像素横坐标、yperson为人的中心点像素纵坐标、hperson为人的检测框像素高度、wperson为人的检测框像素宽度、xcar为车的中心点像素横坐标、ycar为车的中心点像素纵坐标、hcar为车的检测框像素高度、wcar为车的检测框像素宽度；
对于每一异常车辆，若车辆环境无异常，即所有行人与车辆的人车归一化距离中最小值大于1，则车辆环境异常分为0，否则按照下式计算车辆环境异常分：
Sdistance＝1-dmin，
上式中，dmin为所有行人与车辆的人车归一化距离中最小值；
车辆异常分的计算公式为：
上式中，Smotion为运动指标异常分，Sdistance为车辆环境异常分。
优选地，所述步骤5中注意力重分配机制将同一时刻中部分异常车辆的注意力系数部分转移给其它异常车辆，使用其得到的注意力系数对各车辆的异常分进行加权，突出同一时刻中所有异常车辆中的事故车辆；其中注意力重分配机制为：注意力转移前每一异常车辆的注意力系数为1，每一时刻的注意力总值等于该时刻的异常车辆数量；对于每一异常车辆，查询其在当前时刻之前的预警次数T，按照下式将其预警次数T映射为权重Wt：
统计当前时刻所有异常车辆的最大异常分Smax，对于当前时刻的每一异常车辆，按照下式将其异常分S映射为权重Ws：
对于每一异常车辆，设当前时刻异常车辆总数为N，按照下式计算注意力重分配后每一异常车辆的注意力系数：
优选地，所述步骤6中将视频分割为多个判别时段，在每个判别时段中根据已累计的异常分计算各异常车辆的得分效率，根据得分效率判定事故车辆，其中以track ID区分不同的异常车辆，根据各异常车辆得分效率是否超过预警阈值累计其预警次数，将得分效率超过报警阈值的异常车辆判定为事故车辆，所述得分效率的计算公式为：
其中，L为该段连续帧的总时刻数，Wi j和Si j分别为第i个异常车辆在第j时刻的注意力系数和异常分。
与现有技术相比，本发明基于孤立森林算法和目标跟踪的交通事故检测方法具有以下优点：本发明基于目标跟踪算法获取的车辆运动轨迹计算车辆的各运动指标，能快速准确地定位、区分视频中的车辆，且仅使用图像这一单一模态数据作为算法输入，能有效提高算法运行效率并降低硬件成本。使用孤立森林算法筛选运动指标异常的车辆并计分，相比于直接根据运动指标是否异常判定事故，引入离群值判别方法对异常进行检测，能有效避免由红灯、堵车等特殊情况导致的误检。另外引入一种注意力重分配机制，突出异常车辆中的事故车辆，该机制能有效地增大事故车辆与其他异常车辆的异常分差距，减少因事故车辆引发周边车辆运动指标异常而导致的误检，提高算法的整体性能。最后通过计算一段连续帧内车辆的得分效率进行事故判别，采用分段判别的方式，能降低由司机临时制动、算法前置步骤误差等短时间内偶发因素造成的误检。
本发明能在交通视频中精确高效检测出交通事故，且可以精准定位事故车辆在图像中的位置，其实时性和细粒度定位能力极大地提高了本发明的实用性，使用户能快速准确地了解道路情况。
附图说明
图1是本发明的工作流程示意图；
图2是本发明的工作步骤示意图；
图3是本发明中注意力重分配机制的结构示意图；
图4是本发明中不使用注意力重分配机制时车辆异常的分折线示意图；
图5是本发明中使用注意力重分配机制时车辆异常的分折线示意图；
图6是本发明中检测结果的可视化示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面结合附图和具体实施方式对本发明基于孤立森林算法和目标跟踪的交通事故检测方法作进一步说明：本实施例中如图1和图2所示，步骤1：对于输入的交通视频数据，首先使用目标跟踪技术获取其每一帧图像中的车辆、行人位置，并对不同帧中的车辆、行人位置进行数据关联，得到视频中各车辆、行人的运动轨迹。所述车辆运动轨迹的具体形式为：每帧图像中各车辆在图像中的中心点像素坐标、检测框像素高度、检测框像素宽度、车辆track ID以及帧序号；采用YOLOX目标检测算法获取视频中每一帧的车辆、行人位置。YOLOX目标检测算法在训练过程的样本匹配算法中采用了无锚机制针对性地提升了小目标物检测的性能，而在本发明涉及的城市交通场景下，视频数据中的小目标物即为距离图像采集设备较远的目标，因此采用在小目标物上表现良好的目标检测算法能有效增大算法工作距离，进而降低硬件成本。需要说明的是，本发明对目标检测算法的选择不做限制。
在本实施例中采用ByteTrack多目标跟踪算法对不同帧中的车辆位置进行数据关联，得到视频中各车辆、行人的运动轨迹。在本发明涉及的城市交通场景下小目标物较多且目标间遮挡较为严重，导致目标检测算法倾向于输出大量低分检测框，同时相邻目标间ReID特征相似。ByteTrack多目标跟踪算法放弃了目标的ReID特征，只使用运动模型进行数据关联。且与其他目标跟踪算法相比，不直接抛弃低分检测框，而是利用低分框进行二次轨迹匹配。需要说明的是，本发明对目标跟踪算法的选择不做限制。
可选地，可以采用bdd100k数据集训练目标检测算法模型、目标跟踪算法模型。bdd100k数据集是伯努利大学AI实验室发布的大规模、多样化自动驾驶数据集，包含10万张图像、10个类别共计约184万个标记框。
在本实施例中采用YOLOX目标检测算法，使用官方提供的yolox-m预训练模型初始化网络模型参数，分别使用bdd100k数据集和自建数据集训练模型，训练周期均为300轮。将训练后的yolox-m模型嵌入到ByteTrack多目标跟踪算法中，获取视频中各车辆的运动轨迹。
步骤2：根据各车辆的运动轨迹计算其运动指标。其中，为保证运动指标计算准确和降低算法复杂度，首先将车辆、行人的运动轨迹信息在时间维度上进行压缩，将轨迹压缩后的最小时间单位称为时刻，然后根据各车辆在多个时刻的位置，分别计算车辆的速度、加速度、航向角。所述压缩轨迹信息的方法为：对于视频中每一秒所对应的多帧轨迹信息，根据track ID区分不同的车辆、行人，仅保留每一车辆、行人第一次出现时的轨迹信息。
在本实施例中视频的帧率为25帧每秒，压缩轨迹信息的方法为：每累计得到连续的25帧数据，根据track ID区分不同的车辆，仅保留每一车辆第一次出现时的轨迹信息。
具体地，轨迹信息包括：车辆在图像中的中心点像素坐标、检测框像素高度、检测框像素宽度、车辆track ID以及帧序号。其中帧序号为车辆在连续的25帧中第一次出现时的帧序号。
在本实施例中，速度、加速度、航向角的计算方法如下：以track ID区分不同的车辆，设同一车辆在两个相邻的时刻t1、t2(t1＜t2)中的两条轨迹信息分别为：t1时刻中心点像素横坐标x1、像素纵坐标y1、检测框像素高度h1、检测框像素宽度w1，t2时刻中心点像素横坐标x2、像素纵坐标y2、检测框像素高度h2、检测框像素宽度w2。
由于图像中远处车辆和近处车辆存在尺寸差异，须首先按照下式计算尺度归一化系数：
按照下式计算速度：
其中vt2 x为t2时刻x轴方向归一化分速度、vt2 y为t2时刻y轴方向归一化分速度、vt2为t2时刻速度。
按照下式计算加速度：
按照下式计算航向角：
其中σ为一极小的正数。
在本实施例中以track ID区分不同的车辆，维持一数据结构记录每一车辆的最新车辆状态，车辆状态包括：帧序号、像素横坐标、像素纵坐标、检测框像素高度、检测框像素宽度、速度、加速度和航向角。对于每一时刻中的所有车辆，根据track ID在该数据结构中查找其车辆状态，若不存在则新建一车辆状态；若存在则根据已有的车辆状态和当前时刻轨迹信息计算当前时刻的归一化运动状态，之后更新车辆状态。
具体地，使用python中的字典嵌套实现该数据结构。当一车辆的轨迹信息第一次出现时，记录其像素横坐标、像素纵坐标、检测框像素高度、检测框像素宽度；当一车辆的轨迹信息第二次出现时，根据已有的车辆状态和当前时刻轨迹信息，按照式(1)计算尺寸归一化系数，依次按照式(2)、式(3)和式(4)计算速度，之后更新车辆状态；当一车辆的轨迹信息第三次出现时，根据已有的车辆状态和当前时刻轨迹信息，按照式(1)计算尺寸归一化系数，依次按照式(2)、式(3)和式(4)计算速度，按照式(5)计算其加速度，按照式(6)计算其航向角，之后更新车辆状态。当一车辆的轨迹信息出现三次后，车辆状态中的所有变量均已赋值，当该车辆轨迹信息再次出现时，则按上述方式更新车辆状态。
步骤3：使用孤立森林算法分别根据不同的运动指标筛选异常车辆。其中，将同一时刻内所有车辆的速度、加速度、航向角分别送入三个孤立森林模型中，分别得到其中速度、加速度、航向角异常的车辆。所述三个孤立森林模型是提前训练得到的；在本实施例中，孤立森林模型的训练方法为：
步骤(1)：使用YOLOX目标检测算法获取视频每一帧中的车辆位置信息；
步骤(2)：使用ByteTrack多目标跟踪算法对不同帧中的车辆位置进行数据关联，得到视频中各车辆、行人的运动轨迹；
步骤(3)：根据各车辆的运动轨迹计算其运动指标，包括速度、加速度和航向角；
步骤(4)：使用开源机器学习工具包scikit-learn中的IsolationForest类初始化三个孤立森林模型，之后使用IsolationForest类的fit方法分别根据速度、加速度和航向角训练孤立森林模型。得到的三个孤立森林模型可分别用于筛选异常速度、异常加速度和异常航向角。
在本实施例中，使用孤立森林算法分别根据不同的运动指标筛选异常车辆的方法为，将同一时刻中各车辆的速度、加速度和航向角分别送入对应的孤立森林模型，使用IsolationForest类的decision_function方法分别获取异常的速度、加速度和航向角。具体地，对于输入的一组速度、加速度或航向角，IsolationForest类的decision_function方法对应地输出一组得分效率数，将小于0的得分效率数所对应的速度、加速度或航向角判定为异常值，所对应的车辆被标记为速度异常、加速度异常或航向角异常。
步骤4：根据孤立森林算法的筛选结果，提出一种计分机制为每个异常车辆累计异常分。在本实施例中，提出的计分机制为：根据孤立森林算法的筛选结果，对于运动指标存在异常的车辆计算其运动指标异常分，然后判断其车辆环境是否异常，若异常则计算车辆环境异常分，最后对两者取平均值得到异常分，具体包括：步骤(1)：对于任意时刻，根据当前时刻孤立森林算法输出的运动指标存在异常的车辆，按照下式计算运动指标异常分：
Smotion＝α·Sspeed+β·Sacc+γ·Sθ’(α+β+γ＝1), (7)；
其中，α、β、γ分别为速度异常分权重、加速度异常分权重、航向角异常分权重，取值分别为0.4、0.2、0.4；Sspeed、Sacc、Sθ分别为速度异常分、加速度异常分、航向角异常分，当车辆速度异常时Sspeed为1，否则为0；当车辆加速度异常时Sacc为1，否则为0；当车辆航向角异常时Sθ为1，否则为0。
步骤(2)：对于每一异常车辆，按照下式计算其与该时刻所有行人的归一化距离并选取其中的最小值，该最小值即为与该异常车辆归一化距离最近的行人，若该最小值小于1，则判定该车的车辆环境异常；
上式中xperson为人的中心点像素横坐标、yperson为人的中心点像素纵坐标、hperson为人的检测框像素高度、wperson为人的检测框像素宽度、xcar为车的中心点像素横坐标、ycar为车的中心点像素纵坐标、hcar为车的检测框像素高度、wcar为车的检测框像素宽度。
步骤(3)：对于每一异常车辆，若车辆环境无异常，即所有行人与车辆的人车归一化距离中最小值大于1，则车辆环境异常分为0，否则按照下式计算车辆环境异常分：
Sdistance＝1-d， (9)；
步骤(4)：按照下式计算车辆的异常分：
需要说明的是，按照上述计算过方法，每一异常车辆在每一时刻所能获取的异常分最大值为1。
需要说明的是，仅当车辆运动指标异常时才会被判定为异常车辆并计分，车辆环境异常但运动指标正常的车辆不会被判定为异常车辆。
步骤5：提出一种注意力重分配机制，使用该机制得到的注意力系数对各车辆的异常分进行加权，以突出同一时刻中所有异常车辆中的事故车辆。如图3注意力重分配机制示意图所示，所述注意力重分配机制为：自然地，注意力转移前每一异常车辆的注意力系数为1，每一时刻的注意力总值即等于该时刻的异常车辆数量；对于每一异常车辆，根据其trackID在预警ID池中查找其异常次数，并据此计算权重Wt；对于每一异常车辆，将其异常分除以当前时刻所有车辆异常分的最大值得到归一化异常分，并根据归一化异常分计算权重Ws；对于每一异常车辆，对其Wt和权重Ws取几何平均值获得其综合权重；使用softmax函数将所有车辆的综合权重转换为注意力重分配系数；对于每一异常车辆，将其注意力重分配系数乘以注意力总值，完成注意力重分配，具体包括：
步骤(1)：维持一预警ID池记录每一车辆的预警次数，对于每一时刻的每一异常车辆，根据其track ID在预警ID池中查询其异常次数T，并按照下式将其异常次数映射为权重Wt：
步骤(2)：对于任意时刻，统计当前时刻所有异常车辆的最大异常分Smax，对于当前时刻的每一异常车辆，按照下式将其异常分S映射为权重Ws：
上式中，将每一车辆的异常分S除以Smax，使其异常分取值归一化到(0，1]，再使用正弦函数将归一化异常分映射为权重Ws；
步骤(3)：对于每一异常车辆，设当前时刻异常车辆总数为N，按照下式计算注意力重分配后每一异常车辆的注意力系数：
上式中，对每一异常车辆，将其权重Wt和权重Ws取几何平均值得到综合权重。使用softmax函数将所有车辆的综合权重转化为注意力重分配系数，然后将该时刻的注意力总值乘以每一异常车辆的注意力重分配系数，即得到对应异常车辆注意力重分配后的注意力系数。
参见图4和图5，图4为不使用注意力重分配机制时车辆异常分折线图，图5为使用注意力重分配机制时车辆异常分折线图，在此二图中，横轴为帧序号，纵轴为异常分，标签为异常车辆的track ID。可以看到，与不使用注意力重分配机制相比，使用该机制可以有效增大异常车辆中的事故车辆与其他异常车辆的异常分差距，更有利于在计算得分效率后判别异常车辆。
步骤6：将视频分割为多个判别时段，在每个判别时段中，根据已累计的异常分计算各异常车辆的得分效率，将得分效率超过报警阈值的异常车辆判定为事故车辆，同时根据track ID根据各异常车辆得分效率是否超过预警阈值累计其预警次数作为注意力转移机制的计算依据。在本实施例中，每隔250帧根据已累计的异常分计算各异常车辆的得分效率。
具体地，在前文步骤二中已经提到：视频的帧率为25帧每秒、将每25帧轨迹信息压缩为1时刻的轨迹信息，250个连续帧的时刻数即为10。对于每一异常车辆，累计其在该段连续帧内所有时刻的注意力系数与异常分乘积，然后除以该段连续帧的时刻数，得到该异常车辆在该段连续帧内为事故车辆的得分效率。计算公式如下：
上式中，L为该段连续帧的总时刻数，Wi j和Si j分别为第i个异常车辆在第j时刻的注意力系数和异常分，Ci即为第i个异常车辆在该250连续帧内为事故车辆的得分效率。
在本实施例中，对于每一异常车辆，若其得分效率大于0.5，则在预警ID池中累计其预警次数作为后续时刻注意力重分配机制的计算依据；若其得分效率大于1，则判定为事故车辆。
请参见图6检测结果可视化图，在本实施例中，使用开源计算机视觉库opencv对检测结果进行可视化。具体地，将车辆的轨迹信息保存在txt文件中，文件内容包括：帧序号、车辆track ID、检测框位置；将检测结果保存在json文件中，文件内容包括：判别帧段长度、判别帧段起始帧序号、以及各判别帧段异常车辆的track ID、得分效率；读取并结合txt文件中的车辆轨迹信息的和json文件中的检测结果，使用opencv库中的rectangle函数在原视频中标注所有车辆的track ID和检测框，同时将事故车辆的检测框以(红色)填充。
本实施例使用的评价指标包括：分类准确率(ClassificationRate，简称CR)、检测率(Detection Rate，简称DR)、特效性(Specificity)、误警率(FalseAlarmRate，简称FAR)、精度(Precision)、F度量(F1-Score)。以上指标需要借助混淆矩阵进行计算，混淆矩阵如表1所示。其中，真阳(True Positive，简称TP)表示被正确分类的正类事件数目，真阴(TrueNegative，简称TN)表示被正确分类的负类事件数目，假阳(False Positive，简称FP)表示被错误分类的正类事件数目，假阴(FalseNegative，简称FN)表示被错误分类的负类事件数目。
表1混淆矩阵
在本实施例中，对于视频中的每一帧，若算法报警则预测分类(PredictionClass)为阳性(Positive)，否则预测分类(Prediction Class)为阴性(Negative)，若存在交通事故则真实分类(Actual Class)为正确(True)，否则真实分类(Actual Class)为错误(False)。在此基础上，各评价指标的意义及计算方法如下：
(1)分类准确率(Classification Rate，简称CR)
分类准确率为正确分类事件数目占所有发生事件数目的百分比，计算公式为：
(2)检测率(Detection Rate，简称DR)
检测率为被正确检测到的事件数目占实际所有发生事件数目的百分比，计算公式为：
(3)特效性(Specificity)
特效性为正确检测到的负例事件数目占实际所有发生的负类事件数目的百分比，计算公式为：
(4)误警率(FalseAlarm Rate，简称FAR)
误警率为错误预测为正确事件数目占实际所有发生的负类事件数目的百分比，计算公式为：
(5)精度(Precision)
精度为检测为正例事件数目占实际所有发生的正类事件数目的百分比，计算公式为：
(6)F度量(F1-Score)
F度量为精度和检测率的调和均值，计算公式为：
在本实施例中，分别在采用注意力重分配机制和不采用注意力重分配机制的情况下，使用自建数据集对算法进行了测试，实验结果参见表2、表3。
表2采用注意力重分配机制交通事故检测指标
表3不采用注意力重分配机制交通事故检测指标
从上表2、表3中可以看出，随着报警阈值的提高，分类准确率(CR)、检测率(DR)、误警率(FAR)、F度量(F1-Score)逐渐减小，特效性(Specificity)、精度(Precision)逐渐升高。需要说明的是，由于采用注意力重分配机制会导致得分效率上限提升，所以两次实验选取的报警阈值范围略有不同。对比两表可发现，与采用注意力重分配机制相比，不采用该机制时六项指标难以同时到达较好水平，原因在于不采用该机制时事故车辆与其他车辆得分效率差距不大，因此，当选取较高报警阈值时，筛选掉正常车辆的同时也筛选掉了大量事故车辆，导致虽然特效性(Specificity)、误警率(FAR)、精度(Precision)指标较好，但分类准确率(CR)、检测率(DR)、F度量(F1-Score)指标很差；相反，当选取较低报警阈值时，保留大部分事故车辆的同时也保留了大量普通车辆，导致分类准确率(CR)、检测率(DR)、F度量(F1-Score)指标较好，但特效性(Specificity)、误警率(FAR)、精度(Precision)指标很差。相比之下，采用注意力重分配机制时，各指标在不同报警阈值下皆较为稳定且表现较好。
另外，在本实施例中，算法的帧率(Frames Per Second，简称FPS)约为27.53帧每秒，大于视频帧率25帧每秒，故可以满足实时检测需求。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于：含有以下步骤，
步骤1：对于输入的交通视频数据，首先使用目标跟踪技术获取其每一帧图像中的车辆、行人位置，并对不同帧中的车辆、行人位置进行数据关联，得到视频中各车辆、行人的运动轨迹；
步骤2：根据各车辆的运动轨迹计算其运动指标；
步骤3：使用孤立森林算法分别根据不同的运动指标筛选异常车辆；
步骤4：根据孤立森林算法的筛选结果，提出计分机制为每个异常车辆累计异常分；
步骤5：提出注意力重分配机制，通过得到的注意力系数对各车辆的异常分进行加权，突出同一时刻中所有异常车辆中的事故车辆；
步骤6：将视频分割为多个判别时段，在每个判别时段中，根据已累计的异常分计算各异常车辆的得分效率，根据得分效率判定事故车辆。
2.根据权利要求1所述的基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于：所述步骤1中以视频的单一模态数据为基础进行交通事故检测，采用目标跟踪算法获取视频数据中车辆、行人的运动轨迹，对于每帧图像中的每一车辆、行人，其运动轨迹的具体形式为：中心点像素坐标、检测框像素高度、检测框像素宽度、track ID以及帧序号。
3.根据权利要求1所述的基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于，所述步骤2中根据各车辆的运动轨迹计算其运动指标，首先将车辆、行人的运动轨迹信息在时间维度上进行压缩，对于视频中每一秒所对应的多帧轨迹信息，根据track ID区分不同的车辆、行人，仅保留每一车辆、行人第一次出现时的轨迹信息，将轨迹压缩后的最小时间单位称为时刻，然后根据各车辆在多个时刻的位置，分别计算车辆的速度、加速度、航向角；
具体步骤如下：以track ID区分不同的车辆，设同一车辆在两个相邻的时刻t1、t2(t1＜t2)中的两条轨迹信息分别为：t1时刻中心点像素横坐标x1、像素纵坐标y1、检测框像素高度h1、检测框像素宽度w1；t2时刻中心点像素横坐标x2、像素纵坐标y2、检测框像素高度h2和检测框像素宽度w2，
计算尺度归一化系数如下式：
计算速度如下式：
其中vt2 x为t2时刻x轴方向归一化分速度、vt2 y为t2时刻y轴方向归一化分速度、vt2为t2时刻速度；
计算加速度如下式：
计算航向角如下式：
其中σ为一极小的正数。
4.根据权利要求1所述的基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于，所述步骤3中使用提前训练好的孤立森林算法分别根据不同的运动指标筛选异常车辆，将同一时刻内所有车辆的速度、加速度、航向角分别送入三个孤立森林模型中，分别得到速度、加速度和航向角异常的车辆。
5.根据权利要求1所述的基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于，所述步骤4中根据孤立森林算法的筛选结果，提出一种计分机制为每个异常车辆累计异常分，计分机制包括：运动指标异常计分和车辆环境异常计分，对于运动指标存在异常的车辆计算其运动指标异常分，然后判断其车辆环境是否异常，若异常则计算车辆环境异常分，最后对两者取平均值得到异常分；
其中运动指标异常分计算公式为：
Smotion＝α·Sspeed+β·Sacc+γ·Sθ，(α+β+γ＝1),
上式中，α、β、γ分别为速度异常分权重、加速度异常分权重、航向角异常分权重；Sspeed、Sacc、Sθ分别为速度异常分、加速度异常分、航向角异常分，当车辆速度异常时Sspeed为1，否则为0；当车辆加速度异常时Sacc为1，否则为0；当车辆航向角异常时Sθ为1，否则为0；
其中车辆环境异常判定方式为：车辆附近有人且人车归一化距离小于1时计分，人车归一化距离的计算公式为：
上式中xperson为人的中心点像素横坐标、yperson为人的中心点像素纵坐标、hperson为人的检测框像素高度、wperson为人的检测框像素宽度、xcar为车的中心点像素横坐标、ycar为车的中心点像素纵坐标、hcar为车的检测框像素高度、wcar为车的检测框像素宽度；
对于每一异常车辆，若车辆环境无异常，即所有行人与车辆的人车归一化距离中最小值大于1，则车辆环境异常分为0，否则按照下式计算车辆环境异常分：
Sdistance＝1-dmin，
上式中，dmin为所有行人与车辆的人车归一化距离中最小值；
车辆异常分的计算公式为：
上式中，Smotion为运动指标异常分，Sdistance为车辆环境异常分。
6.根据权利要求1所述的基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于，所述步骤5中注意力重分配机制将同一时刻中部分异常车辆的注意力系数部分转移给其它异常车辆，使用其得到的注意力系数对各车辆的异常分进行加权，突出同一时刻中所有异常车辆中的事故车辆；其中注意力重分配机制为：注意力转移前每一异常车辆的注意力系数为1，每一时刻的注意力总值等于该时刻的异常车辆数量；对于每一异常车辆，查询其在当前时刻之前的预警次数T，按照下式将其预警次数T映射为权重Wt：
统计当前时刻所有异常车辆的最大异常分Smax，对于当前时刻的每一异常车辆，按照下式将其异常分S映射为权重Ws：
对于每一异常车辆，设当前时刻异常车辆总数为N，按照下式计算注意力重分配后每一异常车辆的注意力系数：
7.根据权利要求1所述的基于孤立森林算法和目标跟踪的交通事故检测方法，其特征在于，所述步骤6中将视频分割为多个判别时段，在每个判别时段中根据已累计的异常分计算各异常车辆的得分效率，根据得分效率判定事故车辆，其中以track ID区分不同的异常车辆，根据各异常车辆得分效率是否超过预警阈值累计其预警次数，将得分效率超过报警阈值的异常车辆判定为事故车辆，所述得分效率的计算公式为：
其中，L为该段连续帧的总时刻数，Wi j和Si j分别为第i个异常车辆在第j时刻的注意力系数和异常分。
CN202310596197.9A 2023-05-24 2023-05-24 一种基于孤立森林算法和目标跟踪的交通事故检测方法 Pending CN116681722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310596197.9A CN116681722A (zh) 2023-05-24 2023-05-24 一种基于孤立森林算法和目标跟踪的交通事故检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310596197.9A CN116681722A (zh) 2023-05-24 2023-05-24 一种基于孤立森林算法和目标跟踪的交通事故检测方法

Publications (1)

Publication Number Publication Date
CN116681722A true CN116681722A (zh) 2023-09-01

Family

ID=87777969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310596197.9A Pending CN116681722A (zh) 2023-05-24 2023-05-24 一种基于孤立森林算法和目标跟踪的交通事故检测方法

Country Status (1)

Country Link
CN (1) CN116681722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012032A (zh) * 2023-09-28 2023-11-07 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的智能交通管理***以及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012032A (zh) * 2023-09-28 2023-11-07 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的智能交通管理***以及方法
CN117012032B (zh) * 2023-09-28 2023-12-19 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的智能交通管理***以及方法

Similar Documents

Publication Publication Date Title
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及***
Aboah A vision-based system for traffic anomaly detection using deep learning and decision trees
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
JP6570731B2 (ja) 乗客の混雑度の算出方法及びそのシステム
CN109948582B (zh) 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN109359536B (zh) 基于机器视觉的乘客行为监控方法
CN111242015B (zh) 一种基于运动轮廓语义图预测行车危险场景的方法
CN111898501B (zh) 一种针对拥堵路段的无人机在线航拍车辆识别及统计方法
CN111582380B (zh) 一种基于时空特征的船舶轨迹密度聚类方法及装置
CN113313012B (zh) 一种基于卷积生成对抗网络的危险驾驶行为识别方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及***
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN116681722A (zh) 一种基于孤立森林算法和目标跟踪的交通事故检测方法
CN110781873A (zh) 一种双模态特征融合的驾驶员疲劳等级识别方法
CN112613509B (zh) 一种铁路货车车厢号识别抓拍方法及***
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112435276A (zh) 一种车辆跟踪方法、装置、智能终端及存储介质
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN117953693B (zh) 一种基于视频ai的高速公路交通智能监测***
CN103208010B (zh) 一种基于视觉特征的交通状态量化识别方法
CN112700473A (zh) 一种基于图像识别进行车厢拥挤度判断***
CN114822044B (zh) 一种基于隧道的行车安全预警方法及设备
CN115907462A (zh) 基于无人机视频的交叉口安全状态感知与诊断治理***及方法
CN113239962A (zh) 一种基于单个固定摄像头的交通参与者的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination