CN114066968A - 一种基于视觉图像处理的车速测量方法 - Google Patents

一种基于视觉图像处理的车速测量方法 Download PDF

Info

Publication number
CN114066968A
CN114066968A CN202111302978.XA CN202111302978A CN114066968A CN 114066968 A CN114066968 A CN 114066968A CN 202111302978 A CN202111302978 A CN 202111302978A CN 114066968 A CN114066968 A CN 114066968A
Authority
CN
China
Prior art keywords
vehicle
tracking
speed
distance
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111302978.XA
Other languages
English (en)
Inventor
薛均晓
翟蓝航
李庆宾
王威立
毕宵飞
李荣德
吕彤辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Gaozhi Intelligent Technology Co ltd
Original Assignee
Zhengzhou Gaozhi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Gaozhi Intelligent Technology Co ltd filed Critical Zhengzhou Gaozhi Intelligent Technology Co ltd
Priority to CN202111302978.XA priority Critical patent/CN114066968A/zh
Publication of CN114066968A publication Critical patent/CN114066968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉图像处理的车速测量方法，属交通数据智能信息分析与处理领域。此方法从监控摄像机中提取视觉图像数据并进行智能分析和处理，实现车辆速度的实时检测。其中包括以下核心步骤：数据输入步骤，基于来自摄像机的输入数据，对于每辆车，实时采集和输入从第一次出现到最后一次出现的一系列图像；检测跟踪步骤，在所有可用的图像中检测到车辆或其它的代表性特征；距离和速度估计步骤，估计相关时间戳的距离，计算车辆与参考系的相对距离，最终计算车辆的速度。此方法能够解决距离传感器成本过高的问题，具有开发成本低、计算效率高、结果准确等特点。

Description

一种基于视觉图像处理的车速测量方法
技术领域
本发明涉及计算机视觉技术，尤其涉及到从基础设施（定点速度摄像头、交通摄像头）中进行基于视觉图像处理和同源性计算的车辆速度检测；车辆同步数据记录、表示、检测和跟踪、距离和速度估计等技术，属于计算机视觉图像处理领域。
背景技术
车速是交通状态最相关的参数之一，对于车辆速度的检测，在提高道路安全，改善智能城市的交通、排放和能耗起着举足轻重的作用。目前计算机视觉技术的最新进展提出使用视觉图像处理作为测量车速的唯一机制的工作数量的显著增加，且仅使用已经安装的交通摄像头而不需要集成新的传感器是一种成本效益高的解决方案。因此我们提出了一种基于计算机视觉技术和同源性计算的固定视觉车速测量方法。
该***数据输入模块、检测跟踪模块、距离和速度估计模块、应用程序模块这四大模块组成。
相机设置：这一类涉及相机固有的参数（传感器大小和分辨率、焦距）和外部参数（相对于路面的位置，包括基于无人机的摄像机）参数，以及相机的数量（单声道、立体声或多个）。根据这些参数，投影在图像平面上的真实场景可以代表沿着短段或大段路段的一条或几条车道。根据这种配置和车辆相对于相机的相对位置，可以得出最重要的变量之一：米像素比，即每个像素表示的路段长度。
距离估计：对于单目***，车辆距离的估计通常使用一组约束来计算，包括基于同质和使用增强入侵线、模式或区域的方法，或者通过使用关于一些物体的实际尺寸（例如，车牌或车辆的大小）的先验知识。当使用立体视觉时，这些限制得到了解决。
速度估计：在少数情况下，检测车辆速度的问题是作为检测一段路段上的交通速度的问题，即直接获得平均道路速度值。然而，在大多数情况下，检测是在个别车辆的水平上进行的。需要预先了解相机的帧率或每张图像的精确时间戳来计算测量之间的时间。使用连续的图像来估计速度是一个基本变量，对精度有相当大的影响。
发明内容
本方法是为了提高速度估计的精度、解决距离传感器成本过高问题、对车辆实现自动识别等而提出的一种基于视觉的车速估计***。
本发明采用的技术方案是：从基础设施中提取数据并分析进行基于视觉的车辆速度检测。其中包括：数据输入模块，基于来自摄像机的输入数据，对于每辆车，都将有从第一次出现到最后一次出现的一系列图像；可用图像的数量将取决于相机相对于道路的姿态、焦距、帧率和车辆的速度。检测跟踪模块，在所有可用的图像中检测到车辆或其它代表性特征，随着时间的推移，跟踪车辆或其特性对于获得速度测量值至关重要，此模块应用了不同的方法来解决这两个任务。距离和速度估计模块，估计相关时间戳的距离，使用不同的方法来计算车辆与某些全球参考文献的相对距离，以及不同的方法来最终计算车辆的速度。应用程序模块，具体监控、预测和控制应用、速度执行以及自动驾驶或智能车辆。
数据输入模块，来自摄像机的输入数据是该检测方法的基础。对于每辆车，都将有从第一次出现到最后一次出现的一系列图像。可用图像的数量将取决于相机相对于道路的姿态、焦距、帧率和车辆的速度。
检测跟踪模块，在所有可用的图像中检测到车辆或其一些代表性特征。随着时间的推移，跟踪车辆或其特性对于获得速度测量值至关重要。该模块应用不同的方法来解决这两个任务。
距离和速度估计模块，速度估计本质上涉及与相关时间戳的距离估计。
应用程序模块，完成具体监控、预测和控制应用、速度执行以及自动驾驶或智能车辆等的基本任务。
分类模块，完成正常行驶和超速车辆分类识别。
附图说明
图1为基于视觉的车速估计***的主要高级组成部分的框架图。
图2为提出的基于视觉处理的车速估计方法。
图3: 车辆跟踪的方法。
图4: 使用连续帧时的速度误差的说明。
具体实施方式
在该基于计算机视觉技术的固定视觉车速测量方法中的数据输入模块中，对于数据的输入包括如下步骤：
在数据输入模块，为了得到更加全面的数据，我们大致从三方面获取数据：交通/速度摄像头的内在参数、车辆属性、环境外部参数：
（1）交通摄像头：也被称为交通监控摄像头或交通闭路电视。它们用于手动或自动地监控交通流量、拥堵和事故（由人工操作员的视觉检查）。在大多数情况下，这些都是位于远离交通流量、基础设施或无人机位置的固定摄像头；
速度摄像头：也被称为交通执法摄像头。它们通常被认为是一种独立于监测车辆速度的设备，而不是独立于用于测量速度的传感器（雷达、激光或视觉）。即使是基于雷达或激光的***，也总是有一个相机来记录车辆的图像，因此就是术语相机。在这种情况下，我们以最真实的方式使用“速度相机”一词，即基于视觉的***来测量速度。它们的位置通常比交通摄像头更接近交通流量；
（2）其他形式的输入数据包括车辆属性，如车型、关键点、车牌尺寸等。相机校准在提供内在和外在参数方面起着关键作用。对路段大小的先验了解揭示了对计算道路与摄像头之间的外部关系，甚至车辆的速度至关重要的信息。
在该基于计算机视觉技术的固定视觉车速测量方法中的检测跟踪模块中，对于车速的检测方法如下：
（1）静态检测背景：我们使用最简单的逐帧方法和阈值方法来执行图像分割。基于背景减法，并进行一些形态学操作和斑点分析方法，逐帧或背景辅助牵引力与某些特征检测器（例如边缘、角或KLT特征）进行静态检测背景；
（2）以特性为基础检测：依赖于边缘，灰度特征，二进制特征或模式，角，SIFT/SURF特征或KLT特性；
（3）以学习为基础检测：基于积累的数据样本，利用R-CNN、YOLO等模型提高检测精度。
在该基于计算机视觉技术的固定视觉车速测量方法中的检测跟踪模块中，对于车速的跟踪方法如下：
速度检测是一个多帧化的问题。一旦检测到车辆或它们的某些部件/特征，通常将跟踪方法用于过滤和平滑噪声检测。我们可以建立两个主要的维度。首先，关于被跟踪的元素或部分的类型（方法），其次关于用于执行跟踪的具体方法。
跟踪方法：主要车辆跟踪方法的可视化表示如图3所示。我们使用四种车辆跟踪方法。，采用基于车灯等关键特征的方法，将车辆跟踪问题视为特征跟踪问题。在大多数情况下，在应用背景减法或基于学习的方法后，这些特征要么是车辆区域内的二进制值，要么是灰度级值。当跟踪被视为光流问题时，通常考虑KLT特征或角，分析车辆区域内的运动矢量。其他被跟踪的特性是二进制模式、边线或SIFT/SURF描述符。在任何情况下，使用质心作为车辆的代表性状态是非常不可靠的。一方面，大多数质心点检测方法并不是很准确，车辆轮廓可能由于多种因素（阴影、重叠、闭合物体等）而发生变化，视角的变化也会影响质心的位置，这使得质心很少代表车辆的同一时间点。利用基于深度学习的方法提高质心点检测的准确性。使用车辆的整个区域（基于轮廓或边界框）来执行跟踪的方法。这是最主要的方法。由于车牌的移动和车辆的移动是一致的，所以可以使用车牌跟踪计算车辆的速度。
跟踪原则：主要采用多种检测方法通过模板、区域或特征匹配/相关方法，检测车辆在预定义区域或入侵线等的交点，解决了数据关联问题（将每个跟踪的唯一标识符与每个对象关联），但不过滤被跟踪对象的状态。通过检测方法进行跟踪的一个特殊情况是车牌，使用光学字符识别(OCR)***作为解决数据关联问题的方法，使跟踪***更健壮。使用KLT特征进行车辆检测后，通常通过跟踪KLT来检测光流。
基于相机的距离误差的基本原理：
摄像机是一种传感器，它可以生成投影到二维平面上的三维世界的离散表示。考虑到光学中心与像素之间的实角，真实坐标中的面积
Figure 843990DEST_PATH_IMAGE001
随距离
Figure 169930DEST_PATH_IMAGE002
呈二次增加：
Figure 847904DEST_PATH_IMAGE003
其中
Figure 233886DEST_PATH_IMAGE004
是焦距，
Figure 748044DEST_PATH_IMAGE005
是一个像素的面积。即使有相机固有参数的完美校准，以及零像素定位误差，对于单目（例如，具有物体宽度或平坦道路假设）和立体***的先验知识，距离测量的不确定性或误差也随着物体距离的二次增加。单眼***的距离误差可表述为：
Figure 877674DEST_PATH_IMAGE006
其中，
Figure 895309DEST_PATH_IMAGE007
为以像素为单位的
Figure 717771DEST_PATH_IMAGE008
轴上的焦距，
Figure 968493DEST_PATH_IMAGE009
为已知的对象尺寸（例如，汽车或牌照的宽度），nm表示像素检测误差。对于立体声***，也可以表示一个类似的表达式：
Figure 370656DEST_PATH_IMAGE010
其中
Figure 773955DEST_PATH_IMAGE011
是相机之间的基线或距离，ns是视差误差，
根据前面的表达式，我们可以得出结论，为了最小化估计这些物体或这些特征的距离时的误差，(1) 使用伸缩镜头（高焦距），因为误差随着焦距的增加而减小；(2) 在立体***中使用尽可能大的立体基线，或在单眼***中使用尽可能大的已知尺寸的对象；(3)当车辆远离摄像头时，避免测量车辆。离物体越近，距离估计的误差就越小。
基于立体视觉的相对距离估计方法：在现实世界的坐标中测量距离是精确估计车速时需要解决的最关键的问题。当使用立体视觉时，这个任务很简单。对于每个检测到的车辆，相对距离可以直接使用车辆区域中包含的像素的视差值获得相对距离。然而，立体***给出的测量的精度受到几个因素的影响，例如车辆相对于立体对摄像机的距离、摄像机之间的基线和视差误差。由于强烈的校准要求以及大多数已经安装的交通摄像头都是单目***，使用立体摄像头来处理车辆距离估计的建议数量是有限的。
速度误差基础：在一个简单的场景中，分别使用在
Figure 767319DEST_PATH_IMAGE012
和
Figure 724911DEST_PATH_IMAGE013
时间检测到的车辆(
Figure 461922DEST_PATH_IMAGE014
)的线性段
Figure 968996DEST_PATH_IMAGE015
)计算速度。该车辆的平均速度将估计为：
Figure 602103DEST_PATH_IMAGE016
考虑到
Figure 578149DEST_PATH_IMAGE017
和
Figure 853272DEST_PATH_IMAGE018
两个位置的距离估计误差，在最坏的情况下，我们可以得到的速度为：
Figure 700006DEST_PATH_IMAGE019
所导致的绝对速度误差为：
Figure 35172DEST_PATH_IMAGE020
如果相对速度误差等于：
Figure 216624DEST_PATH_IMAGE021
。
等式中的（2）或（3）、（6）和（7）要看到速度误差与从相机到车辆的距离的平方成正比，这清楚地加强了对车辆应该尽可能接近相机进行速度测量的要求。此外，还有方程式（6）和（7）揭示了路段尺寸在速度估计精度中的重要性。也就是说，随距离的二次惩罚与路段长度线性补偿，对于远远大于距离误差的段，导致速度误差与车辆的相对距离线性增长。这就是为什么平均车速摄像头如此准确的主要原因。这些***是基于两个相距几公里的摄像机。以满足等式（1）的要求。测量相对车辆距离的误差可以是几米，但仍然保持相对速度误差在1−3%的范围内。
在固定速度摄像机的情况下，考虑长距离测量的绝对速度误差（6），对于相对车辆距离，当速度误差可能最小时，可以获得道路路段的最佳值。当使用一个照相机时，这段最佳路段可能超出了图像平面的范围。用于计算车速的路段的大小也与测量之间的时间直接相关。因此，当使用连续图像时，即使相机帧率低，
Figure 295438DEST_PATH_IMAGE022
的长度可以与距离误差
Figure 527836DEST_PATH_IMAGE023
相同的数量级，几乎不可能获得准确的速度测量（见图4）。
为了减少速度误差，做以下要求：(1) 当车辆接近相机时，使用车辆测量距离；(2)避免使用连续的短切片测量；(3) 如果可能，使用最佳路段来最小化速度误差；(4) 如果最佳路段位于图像平面之外，使用尽可能最大的路段。其他错误的误差来源包括违反平坦道路和恒定速度假设，这在测量长时间道路上的速度时尤其相关。
我们的方法侧重于测量沿路段的所有车辆的平均速度，或者在这些方法中，每辆车的测量速度的准确性并不重要，因为它们打算用作交通速度测量***（具有允许更高误差幅度的应用程序）。
一旦计算出车辆或部分车辆的相对距离，第一要求为每个测量（或图像）关联一个特定的时间戳相关联。可以使用关于相机帧率的先验知识。由于距离误差往往提供噪声值，与车辆行驶的距离具有相同的数量级。在使用非连续图像的情况下，我们区分了几种技术。首先，使用测量之间的固定距离或区域（例如，使用入侵线或区域的方法）。第二，使用测量之间预定义的帧数或固定的时间间隔（它们是等价的）。其他方法使用被跟踪车辆的第一和最后一次检测之间的最大可能距离。

Claims (3)

1.一种基于视觉图像处理的车速测量方法，其特征在于从监控摄像机中提取视觉图像数据并进行智能分析和处理，实现车辆速度的实时检测。
2.根据权利要求1所述的一种基于视觉图像处理的车速测量方法，其特征在于采用基于车灯等关键特征的方法，将车辆跟踪问题视为特征跟踪问题；在大多数情况下，在应用背景减法或基于学习的方法后，这些特征要么是车辆区域内的二进制值，要么是灰度级值；当跟踪被视为光流问题时，通常考虑KLT特征或角，分析车辆区域内的运动矢量；其他被跟踪的特性是二进制模式、边线或SIFT/SURF描述符；在任何情况下，使用质心作为车辆的代表性状态是非常不可靠的；大多数质心点检测方法并不是很准确，车辆轮廓可能由于多种因素（阴影、重叠、闭合物体等）而发生变化，视角的变化也会影响质心的位置，这使得质心很少代表车辆的同一时间点，利用基于深度学习的方法提高质心点检测的准确性，使用车辆的整个区域（基于轮廓或边界框）来执行跟踪的方法。
3.根据权利要求1所述的一种基于视觉图像处理的车速测量方法，其特征在于采用多种检测方法通过模板、区域或特征匹配/相关方法，检测车辆在预定义区域或入侵线等的交点，解决了数据关联问题（将每个跟踪的唯一标识符与每个对象关联），但不过滤被跟踪对象的状态，通过检测方法进行跟踪的一个特殊情况是车牌，使用光学字符识别(OCR)***作为解决数据关联问题的方法，使跟踪***更健壮，使用KLT特征进行车辆检测后，通常通过跟踪KLT来检测光流。
CN202111302978.XA 2021-11-05 2021-11-05 一种基于视觉图像处理的车速测量方法 Pending CN114066968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111302978.XA CN114066968A (zh) 2021-11-05 2021-11-05 一种基于视觉图像处理的车速测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111302978.XA CN114066968A (zh) 2021-11-05 2021-11-05 一种基于视觉图像处理的车速测量方法

Publications (1)

Publication Number Publication Date
CN114066968A true CN114066968A (zh) 2022-02-18

Family

ID=80273967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111302978.XA Pending CN114066968A (zh) 2021-11-05 2021-11-05 一种基于视觉图像处理的车速测量方法

Country Status (1)

Country Link
CN (1) CN114066968A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
CN101739829A (zh) * 2009-12-03 2010-06-16 北京中星微电子有限公司 一种基于视频的车辆超速监控方法及***
CN106370884A (zh) * 2016-09-09 2017-02-01 成都通甲优博科技有限责任公司 基于双目相机计算机视觉技术的车辆测速方法
CN109190523A (zh) * 2018-08-17 2019-01-11 武汉大学 一种基于视觉的车辆检测跟踪预警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
CN101739829A (zh) * 2009-12-03 2010-06-16 北京中星微电子有限公司 一种基于视频的车辆超速监控方法及***
CN106370884A (zh) * 2016-09-09 2017-02-01 成都通甲优博科技有限责任公司 基于双目相机计算机视觉技术的车辆测速方法
CN109190523A (zh) * 2018-08-17 2019-01-11 武汉大学 一种基于视觉的车辆检测跟踪预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
屈鉴铭: "智能视频监控中的运动目标检测与跟踪技术研究", 《中国博士学位论文全文数据库信息科技辑》 *
秦磊 等: "基于特征点轨迹的动作识别", 《计算机学报》 *

Similar Documents

Publication Publication Date Title
Fernández Llorca et al. Vision‐based vehicle speed estimation: A survey
Dubská et al. Automatic camera calibration for traffic understanding.
Klappstein et al. Moving object segmentation using optical flow and depth information
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
Grammatikopoulos et al. Automatic estimation of vehicle speed from uncalibrated video sequences
US8379926B2 (en) Vision based real time traffic monitoring
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
US20140348390A1 (en) Method and apparatus for detecting traffic monitoring video
CN111753797B (zh) 一种基于视频分析的车辆测速方法
US10187617B2 (en) Automatic detection of moving object by using stereo vision technique
Llorca et al. Two-camera based accurate vehicle speed measurement using average speed at a fixed point
Zhu et al. Reliable detection of overtaking vehicles using robust information fusion
Wedel et al. Realtime depth estimation and obstacle detection from monocular video
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
Jodoin et al. Tracking all road users at multimodal urban traffic intersections
Chiu et al. Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking.
CN108645375B (zh) 一种用于车载双目***快速车辆测距优化方法
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Meshram et al. Traffic surveillance by counting and classification of vehicles from video using image processing
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
KR101264282B1 (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
Khan et al. Estimating speeds of pedestrians in real-world using computer vision
JP2011064639A (ja) 距離計測装置及び距離計測方法
Pletzer et al. Robust traffic state estimation on smart cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220218

WD01 Invention patent application deemed withdrawn after publication