CN115457780A - 一种基于先验知识集合的车流量流速自动测算方法及*** - Google Patents
一种基于先验知识集合的车流量流速自动测算方法及*** Download PDFInfo
- Publication number
- CN115457780A CN115457780A CN202211082389.XA CN202211082389A CN115457780A CN 115457780 A CN115457780 A CN 115457780A CN 202211082389 A CN202211082389 A CN 202211082389A CN 115457780 A CN115457780 A CN 115457780A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- calculating
- knowledge set
- frame
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 238000006073 displacement reaction Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000003708 edge detection Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 6
- 229910003460 diamond Inorganic materials 0.000 claims description 5
- 239000010432 diamond Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于先验知识集合的车流量流速自动测算方法，其方法包括：步骤S1：用道路监控摄像头获取视频帧，输入目标检测模型，得到车辆的检测框和车辆类型；S2：基于检测框对所有车辆进行多目标跟踪，为每一车辆分配唯一ID；S3：对视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合；S4：基于先验知识集，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正；S5：基于车辆目标检测和多目标跟踪结果，统计车流量；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，计算车辆速度。本发明提供的方法可构建用于摄像头参数自动校正的先验知识集，据此实现车流量流速自动测算。
Description
技术领域
本发明涉及智能交通和图像识别领域，具体涉及一种基于先验知识集合的车流量流速自动测算方法及***。
背景技术
交通流量是指在一定的时间范围内通过某截面、短区间或某一路段的车辆数，在智能交通***背景下，基于流量时空信息能够进行交通信号灯控制、城市道路规划以及基于实时流量的导航等，因此，对于交通区域全方位全天候的实时流量监测显得尤为重要。对于特定车辆，流速是指在一定的时间内该车辆行驶的距离，流速作为一种体现车辆微观属性的物理量，在交通监管方面有着重要作用，例如道路异常情况检测、违法超***、拥堵路段检测等。
传统计算统计流量流速的方法大多基于提前布设的硬件设备，包括线圈、雷达、门架等，这几项技术相对成熟，也较为普及。但是，雷达测速价格昂贵且容易被电子狗反侦测；感应线圈测速只能用于固定路段检测，对路面有一定的破坏，难以进行大范围布设，且数据波动大；激光测速精度较高但数据重复性差且价格昂贵。
近年来，随着计算机视觉技术的不断发展和道路监控摄像头数量的增加，通过分析监控视频数据直接统计流量和测算速度的方法越来越受到人们的重视。基于监控摄像头数据实现流量流速测算的方法无需其他传感器，成本低，但目前的方法大多需要提前对摄像头参数进行人工标定，一旦摄像头位置改变或角度发生偏移等，则需要重新标定，难以实现自动化。
发明内容
为了解决上述技术问题，本发明提供一种基于先验知识集合的车流量流速自动测算方法及***。
本发明技术解决方案为：一种基于先验知识集合的车流量流速自动测算方法，包括：
步骤S1：用道路监控摄像头获取连续的视频帧数据，输入预训练的目标检测模型，得到每一帧中标识场景内所有车辆的检测框和车辆类型；
步骤S2：利用跟踪算法和连续帧的IOU匹配规则，基于所述检测框对视频帧内所有车辆进行多目标跟踪，为每一车辆分配唯一的标识身份的ID；
步骤S3：对所述视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合，其中，所述先验知识集合包括：场景中消失点的图像坐标；车道线的图像坐标和表示相邻车道宽度真实距离的线段，以及动态目标的图像坐标和真实尺寸；
步骤S4：基于所述先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正；
步骤S5：基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于所述位移量和所述运动时间计算车辆瞬时速度和平均速度。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于先验知识集合的车流量流速自动测算方法，基于道路监控摄像头数据，构建用于摄像头参数自动校正的先验知识集，该先验知识集的应用场景广泛，解决了目前摄像头标定需要人工介入的限制，减少了信息采集、传输和计算成本；基于目标检测算法和多目标跟踪结果，结合校正得到的图像坐标到真实世界坐标的映射关系，实现流量流速参数的自动测算。
附图说明
图1为本发明实施例中一种基于先验知识集合的车流量流速自动测算方法的流程图；
图2A为本发明实施例中第一个消失点示意图；
图2B为本发明实施例中第二个消失点示意图；
图3为本发明实施例中摄像头旋转矩阵和平移矩阵计算原理示意图；
图4为本发明实施例中一种基于先验知识集合的车流量流速自动测算方法流程示意图；
图5为本发明实施例中一种基于先验知识集合的车流量流速自动测算***的结构框图。
具体实施方式
本发明提供了一种基于先验知识集合的车流量流速自动测算方法，构建用于摄像头参数自动校正的先验知识集，并据此实现车流量流速自动测算，无需人工介入标定，具有较高的鲁棒性、实时性和准确性。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于先验知识集合的车流量流速自动测算方法，包括下述步骤：
步骤S1：用道路监控摄像头获取连续的视频帧数据，输入预训练的目标检测模型，得到每一帧中标识场景内所有车辆的检测框和车辆类型；
步骤S2：利用跟踪算法和连续帧的IOU匹配规则，基于检测框对视频帧内所有车辆进行多目标跟踪，为每一车辆分配唯一的标识身份的ID；
步骤S3：对所述视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合，其中，先验知识集合包括：场景中消失点的图像坐标；车道线的图像坐标和表示相邻车道宽度真实距离的线段，以及动态目标的图像坐标和真实尺寸；
步骤S4：基于先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正；
步骤S5：基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于位移量和运动时间计算车辆瞬时速度和平均速度。
在一个实施例中，上述步骤S1：用道路监控摄像头获取连续的视频帧数据，输入预训练的目标检测模型，得到每一帧中标识场景内所有车辆的检测框和车辆类型，具体包括：
用道路监控摄像头获取连续的视频帧数据，输入与训练好的目标检测模型，本发明实施例采用YOLOv3，处理连续视频帧数据，得到每一帧中所有车辆检测框，从而获取车辆位置的图像坐标，同时输出车辆对应的类型，例如轿车、卡车等。
在一个实施例中，上述步骤S2：利用跟踪算法和连续帧的IOU匹配规则，基于检测框对视频帧内所有车辆进行多目标跟踪，为每一车辆分配唯一的标识身份的ID，具体包括：
本发明实施例采用DeepSort跟踪算法计算预测检测框、预测特征向量与实际检测框、实际特征向量的差别，计算得到不同帧之间相同物体检测框的对应关系。由于本发明的场景较为简单，汽车运动模式较为单一，在DeepSort的基础上加入相邻帧之间不同检测框的交并比的计算也能辅助提升多目标检测的效果，并为每一车辆分配唯一的标识身份的ID，从而实现多目标跟踪。
在一个实施例中上述步骤S3：对视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合，其中，先验知识集合包括：场景中消失点的图像坐标；车道线的图像坐标和表示相邻车道宽度真实距离的线段，以及动态目标的图像坐标和真实尺寸，具体包括：
1、构建场景中消失点的图像坐标，包括下述步骤：
步骤S301：基于车辆目标检测和跟踪结果，获得车辆短时运动轨迹，对运动轨迹使用基于平行坐标(parallel coordinates)的霍夫变换(Hough transform)，将其从图像空间映射到钻石空间(diamond space)中，通过计算交点最多的位置，确定第一个消失点图像坐标，第一个消失点与车道线方向一致；
如图2A所示，各个车道线相交于图像外的第一个消失点(如黑色箭头所指方向)；
步骤S302：任取当前摄像头连续视频帧中的一帧图像帧，通过Canny边缘检测算法获取图像帧的边缘，过滤删除背景边缘、与第一消失点的方向一致的边缘及竖直方向上的边缘，采用与步骤S301中相同的方法，计算剩余边缘在钻石空间中交点最多的位置坐标，即第二个消失点图像坐标，第二个消失点与车道线垂直方向一致；
如图2B所示，第二个消失点位于车道线垂直方向的线段的交点处(如灰色箭头所指方向)。
2、构建车道线的图像坐标和表示相邻车道宽度真实距离的线段，包括下述步骤：
步骤S311：任取车辆视频帧中一帧图像帧，通过Canny边缘检测算法获取图像帧的边缘，过滤背景边缘，对轮廓数据进行多边形拟合，提取可以被凸四边形拟合的轮廓，生成车道线候选集合；
步骤S312：对车道线候选集合根据剪枝条件进行筛选，得到车道线集合，剪枝条件包括但不限于：
e)候选车道线像素区域大小在预设范围内，例如像素区域在(50，180)范围内；
f)候选车道线轮廓中心不与其他物体重合；
g)候选车道线的轮廓方向与图像帧的纵轴角度不小于预设角度，例如二者角度不小于15°；
h)候选车道线平均RGB值与白色(255,255,255)的欧式距离的倒数值大于预设阈值，该数值越大则表示候选车道线是真实车道线的概率越高；
步骤S313：任取所获车道线上的一点，求其与第二个消失点的连线，根据该连线确定相邻两车道线交点的图像坐标，并计算相邻两交点的像素距离可得到相邻两车道宽度真实距离；将相邻两车道线的交点坐标之间的连线作为表示相邻车道宽度真实距离的线段，加入先验知识集；
步骤S314：重复步骤S313，计算得到多组表示车道宽度的相邻交点的车道线图像坐标和像素距离，构成先验知识集中车道线的图像坐标和多个表示相邻车道宽度真实距离的线段。
3、构建动态目标的图像坐标和真实尺寸，包括下述步骤：
步骤S321：基于步骤S302中图像帧的边缘，得到车辆竖直方向上的边缘；
步骤S322：结合车辆的检测框，得到检测框范围内车辆竖直方向上的边缘并计算像素长度，根据检测得到的车辆类型，确定车辆的真实长宽高。
在一个实施例中，上述步骤S4：基于先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正，具体包括：
基于先验知识集，选择适用于当前道路交通场景的先验知识，分为下述两种情况：
a)如果先验知识集合中包含两个消失点的图像坐标和任一个已知距离的线段，则可以通过直接对成像原理进行建模的方法，基于主点位于图像中心的假设，计算得到摄像头参数矩阵P；
如图3所示，基于主点位于图像中心的假设，分别计算摄像头的内参和外参。
首先，根据如下公式计算摄像头焦距f，即内参：
其中，V1、V2为两个正交方向上消失点在成像平面上的投影点，Oc为摄像头中心，Oi为摄像头中心在成像平面上的投影点，Vi为过Oi直线在直线ViV2上的垂足。
考虑到两个消失点在世界坐标系的两个正交轴的方向上，以Ow为中心，所有平行线在一个消失点相交，建立矢量关系，如下述公式所示：
Zc′＝Xc′×Yc′
其次，计算摄像头坐标系的旋转矩阵R和平移矩阵T，即外参：
对检测所得已知长度的线段的两端端点(P1,P2),其在摄像头平面的坐标为P1m,P2m。将向量
平移使得P1m与P1px重合得到
连接OcP2e即交摄像头平面与P2px，交
平移过去的线于Q，计算得出平移矩阵
将旋转矩阵R和平移矩阵T相乘，可得到摄像头的参数矩阵P。
b)如果先验知识集合中包含两个消失点的图像坐标和任一个已知距离的线段，则可以通过直接对成像原理进行建模的方法，基于主点位于图像中心的假设，计算得到摄像头参数矩阵P；
如果先验知识集合中包含多组静态或动态图像坐标和表示真实距离的线段，则可以利用进化算法直接对摄像头参数矩阵P进行优化求解，包括如下步骤：
步骤S41：从先验知识集中取出若干已知图像坐标和表示真实距离的线段作为先验知识；
步骤S42：初始化摄像头的参数矩阵P，通过P对步骤S41中的线段进行图像坐标到世界坐标的映射计算，计算得到其在世界坐标系下的长度；
步骤S43：以先验知识集中所有线段映射到世界坐标系下的长度和其在先验知识集中的真实长度的差值之和作为目标，对P进行优化：
其中，N为先验知识集中线段的个数，Pk,Qk是第k条线段端点在世界坐标系中的坐标，pk,qk分别通过参数矩阵P反映射到世界坐标系中的坐标；
采用分布估计算法(EDA)进行最优化操作，直到误差之和小于阈值，停止优化，此时得到的最终的摄像头参数矩阵P。
在一个实施例中，上述步骤S5：基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于位移量和运动时间计算车辆瞬时速度和平均速度，具体包括：
步骤S51：根据行驶方向、车道、特定区间划分统计区域；确定统计流量的时间跨度，例如秒、分钟、小时、天、月、年等；
步骤S52：基于统计区域与时间跨度，统计流量结果；
步骤S53：根据已知视频帧率，计算连续两帧或若干帧之间的时间间隔；
步骤S54：基于车辆检测框的图像坐标以及根据摄像头参数，实现图像坐标到真实世界坐标的转换，并计算车辆位移量；
步骤S55：基于时间间隔和车辆位移量，计算车辆连续两帧间的瞬时速度或者若干帧间的平均速度。
图4展示了基于先验知识集合的车流量流速自动测算方法的流程示意图。
本发明公开了一种基于先验知识集合的车流量流速自动测算方法，基于道路监控摄像头数据，构建用于摄像头参数自动校正的先验知识集，该先验知识集的应用场景广泛，解决了目前摄像头标定需要人工介入的限制，减少了信息采集、传输和计算成本；基于目标检测算法和多目标跟踪结果，结合校正得到的图像坐标到真实世界坐标的映射关系，实现流量流速参数的自动测算。
实施例二
如图5所示，本发明实施例提供了一种基于先验知识集合的车流量流速自动测算***，包括下述模块：
目标检测模块，用于用道路监控摄像头获取连续的视频帧数据，输入预训练的目标检测模型，得到每一帧中所有车辆的检测框和车辆类型；
多目标跟踪模块，用于利用跟踪算法和连续帧的IOU匹配规则，基于检测框对视频帧内所有车辆进行多目标跟踪，为每一车辆分配唯一的标识身份的ID；
构建先验知识集合模块，用于对视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合，其中，先验知识集合包括：场景中消失点的图像坐标；车道线的图像坐标和表示相邻车道宽度真实距离的线段，以及动态目标的图像坐标和真实尺寸；
摄像头参数校正模块，用于基于先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正；
车流量流速统计模块，用于基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于位移量和运动时间计算车辆瞬时速度和平均速度。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (7)
1.一种基于先验知识集合的车流量流速自动测算方法，其特征在于，包括：
步骤S1：用道路监控摄像头获取连续的视频帧数据，输入预训练的目标检测模型，得到每一帧中所有车辆的检测框和车辆类型；
步骤S2：利用跟踪算法和连续帧的IOU匹配规则，基于所述检测框对视频帧内所有车辆进行多目标跟踪，为每一车辆分配唯一的标识身份的ID；
步骤S3：对所述视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合，其中，所述先验知识集合包括：场景中消失点的图像坐标；车道线的图像坐标和表示相邻车道宽度真实距离的线段，以及动态目标的图像坐标和真实尺寸；
步骤S4：基于所述先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正；
步骤S5：基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于所述位移量和所述运动时间计算车辆瞬时速度和平均速度。
2.根据权利要求1所述的基于先验知识集合的车流量流速自动测算方法，其特征在于，所述步骤S3中构建场景中消失点的图像坐标，具体包括：
步骤S301：基于车辆目标检测和跟踪结果，获得车辆短时运动轨迹，对运动轨迹使用基于平行坐标的霍夫变换，将其从图像空间映射到钻石空间中，通过计算交点最多的位置，确定第一个消失点图像坐标，所述第一个消失点与车道线方向一致；
步骤S302：任取当前摄像头连续视频帧中的一帧图像帧，通过Canny边缘检测算法获取所述图像帧的边缘，过滤删除背景边缘、与所述第一消失点的方向一致的边缘及竖直方向上的边缘，采用与步骤S301中相同的方法，计算剩余边缘在钻石空间中交点最多的位置坐标，即第二个消失点图像坐标，所述第二个消失点与车道线垂直方向一致。
3.根据权利要求2所述的基于先验知识集合的车流量流速自动测算方法，其特征在于，所述步骤S3中构建车道线的图像坐标和表示相邻车道宽度真实距离的线段，具体包括：
步骤S311：任取所述车辆视频帧中一帧图像帧，通过Canny边缘检测算法获取所述图像帧的边缘，过滤背景边缘，对轮廓数据进行多边形拟合，提取可以被凸四边形拟合的轮廓，生成车道线候选集合；
步骤S312：对所述车道线候选集合根据剪枝条件进行筛选，得到车道线集合，所述剪枝条件包括但不限于：
a)所述候选车道线像素区域大小在预设范围内；
b)所述候选车道线轮廓中心不与其他物体重合；
c)所述候选车道线的轮廓方向与所述图像帧的纵轴角度不小于预设角度；
d)所述候选车道线平均RGB值与白色的欧式距离的倒数值大于预设阈值；
步骤S313：任取所获车道线上的一点，求其与第二个消失点的连线，根据该连线确定相邻两车道线交点的图像坐标，并计算相邻两交点的像素距离可得到相邻两车道宽度真实距离；将相邻两车道线的交点坐标之间的连线作为表示相邻车道宽度真实距离的线段，加入所述先验知识集；
步骤S314：重复步骤S313，计算得到多组表示车道宽度的相邻交点的车道线图像坐标和像素距离，构成所述先验知识集中车道线的图像坐标和多个表示相邻车道宽度真实距离的线段。
4.根据权利要求3所述的基于先验知识集合的车流量流速自动测算方法，其特征在于，所述步骤S3中构建动态目标的图像坐标和真实尺寸，具体包括：
步骤S321：基于步骤S302中所述图像帧的边缘，得到车辆竖直方向上的边缘；
步骤S322：结合所述车辆的检测框，得到检测框范围内车辆竖直方向上的边缘并计算像素长度，根据检测得到的所述车辆类型，确定车辆的真实长宽高。
5.根据权利要求4所述的基于先验知识集合的车流量流速自动测算方法，其特征在于，所述步骤S4：基于所述先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正，具体包括：
基于所述先验知识集，选择适用于当前道路交通场景的先验知识：
如果所述先验知识集合中包含两个消失点的图像坐标和任一个已知距离的线段，则可以通过直接对成像原理进行建模的方法，基于主点位于图像中心的假设，计算得到摄像头参数矩阵P；
如果所述先验知识集合中包含多组静态或动态图像坐标和表示真实距离的线段，则可以利用进化算法直接对摄像头参数矩阵P进行优化求解，包括如下步骤：
步骤S41：从所述先验知识集中取出若干已知图像坐标和表示真实距离的线段作为先验知识；
步骤S42：初始化摄像头的参数矩阵P，通过P对步骤S41中的所述线段进行图像坐标到世界坐标的映射计算，计算得到其在世界坐标系下的长度；
步骤S43：以所述先验知识集中所有线段映射到世界坐标系下的长度和其在先验知识集中的真实长度的差值之和作为目标，对P进行优化：
其中，N为所述先验知识集中线段的个数，Pk,Qk是第k条线段端点在世界坐标系中的坐标，pk,qk分别通过所述参数矩阵P反映射到世界坐标系中的坐标；
采用分布估计算法进行最优化操作，直到误差之和小于阈值，停止优化，此时得到的最终的摄像头参数矩阵P。
6.根据权利要求5所述的基于先验知识集合的车流量流速自动测算方法，其特征在于，所述步骤S5：基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于所述位移量和所述运动时间计算车辆瞬时速度和平均速度，具体包括：
步骤S51：根据行驶方向、车道、特定区间划分统计区域；确定统计流量的时间跨度；
步骤S52：基于所述统计区域与所述时间跨度，统计流量结果；
步骤S53：根据已知视频帧率，计算连续两帧或若干帧之间的时间间隔；
步骤S54：基于所述车辆检测框的图像坐标以及根据所述摄像头参数，实现所述图像坐标到真实世界坐标的转换，并计算车辆位移量；
步骤S55：基于所述时间间隔和所述车辆位移量，计算车辆连续两帧间的瞬时速度或者若干帧间的平均速度。
7.一种基于先验知识集合的车流量流速自动测算***，其特征在于，包括下述模块：
目标检测模块，用于用道路监控摄像头获取连续的视频帧数据，输入预训练的目标检测模型，得到每一帧中所有车辆的检测框和车辆类型；
多目标跟踪模块，用于利用跟踪算法和连续帧的IOU匹配规则，基于所述检测框对视频帧内所有车辆进行多目标跟踪，为每一车辆分配唯一的标识身份的ID；
构建先验知识集合模块，用于对所述视频帧进行边缘检测，并基于车辆目标检测和跟踪结果构建先验知识集合，其中，所述先验知识集合包括：场景中消失点的图像坐标；车道线的图像坐标和表示相邻车道宽度真实距离的线段，以及动态目标的图像坐标和真实尺寸；
摄像头参数校正模块，用于基于所述先验知识集，选择适用于当前道路交通场景的先验知识，利用进化算法或直接对成像原理建模的方法，实现对摄像头参数的自动校正；
车流量流速统计模块，用于基于车辆目标检测和多目标跟踪结果，统计特定区域、特定时间段内的车流量指标；并利用校正后的摄像头参数，计算车辆的位移量，利用视频固定帧率计算车辆运动时间，基于所述位移量和所述运动时间计算车辆瞬时速度和平均速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211082389.XA CN115457780B (zh) | 2022-09-06 | 2022-09-06 | 一种基于先验知识集合的车流量流速自动测算方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211082389.XA CN115457780B (zh) | 2022-09-06 | 2022-09-06 | 一种基于先验知识集合的车流量流速自动测算方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115457780A true CN115457780A (zh) | 2022-12-09 |
| CN115457780B CN115457780B (zh) | 2024-06-14 |
Family
ID=84302761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211082389.XA Active CN115457780B (zh) | 2022-09-06 | 2022-09-06 | 一种基于先验知识集合的车流量流速自动测算方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457780B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953688A (zh) * | 2024-02-18 | 2024-04-30 | 广东云达智能物联科技有限公司 | 一种基于物联网的智慧城市车流量监控*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5404306A (en) * | 1994-04-20 | 1995-04-04 | Rockwell International Corporation | Vehicular traffic monitoring system |
| CN110033479A (zh) * | 2019-04-15 | 2019-07-19 | 四川九洲视讯科技有限责任公司 | 基于交通监控视频的交通流参数实时检测方法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测***及方法 |
| KR102283483B1 (ko) * | 2021-02-19 | 2021-07-29 | 주식회사 싸인텔레콤 | 교통량 산출을 위한 영상분석시스템 |
| US20210303871A1 (en) * | 2020-03-31 | 2021-09-30 | Flir Systems Trading Belgium Bvba | Real-time scene mapping to gps coordinates in traffic sensing or monitoring systems and methods |
-
2022
- 2022-09-06 CN CN202211082389.XA patent/CN115457780B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5404306A (en) * | 1994-04-20 | 1995-04-04 | Rockwell International Corporation | Vehicular traffic monitoring system |
| CN110033479A (zh) * | 2019-04-15 | 2019-07-19 | 四川九洲视讯科技有限责任公司 | 基于交通监控视频的交通流参数实时检测方法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测***及方法 |
| US20210303871A1 (en) * | 2020-03-31 | 2021-09-30 | Flir Systems Trading Belgium Bvba | Real-time scene mapping to gps coordinates in traffic sensing or monitoring systems and methods |
| KR102283483B1 (ko) * | 2021-02-19 | 2021-07-29 | 주식회사 싸인텔레콤 | 교통량 산출을 위한 영상분석시스템 |
Non-Patent Citations (1)
| Title |
|---|
| 汪辉;高尚兵;周君;周建;张莉雯;: "基于YOLOv3的多车道车流量统计及车辆跟踪方法", 国外电子测量技术, no. 02, 15 February 2020 (2020-02-15), pages 47 - 51 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953688A (zh) * | 2024-02-18 | 2024-04-30 | 广东云达智能物联科技有限公司 | 一种基于物联网的智慧城市车流量监控*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115457780B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111694010B (zh) | 一种基于视觉与激光雷达融合的路侧车辆识别方法 | |
| CN111986508A (zh) | 基于多目标跟踪和视觉定位的路侧停车管理方法及*** | |
| CN106156752B (zh) | 一种基于逆投影三视图的车型识别方法 | |
| CN110307791B (zh) | 基于三维车辆边界框的车辆长度及速度计算方法 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN113269040A (zh) | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 | |
| CN115717894A (zh) | 一种基于gps和普通导航地图的车辆高精度定位方法 | |
| Dawson et al. | An energy minimization approach to automatic traffic camera calibration | |
| Luo et al. | Multiple lane detection via combining complementary structural constraints | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| Tsai et al. | Horizontal roadway curvature computation algorithm using vision technology | |
| CN115457780B (zh) | 一种基于先验知识集合的车流量流速自动测算方法及*** | |
| CN115965970A (zh) | 基于隐式的集合预测实现鸟瞰图语义分割的方法及*** | |
| Ren et al. | Lightweight semantic-aided localization with spinning LiDAR sensor | |
| Wu et al. | Design and implementation of vehicle speed estimation using road marking-based perspective transformation | |
| Song et al. | Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework | |
| CN118053299A (zh) | 一种基于雷视融合的地下车库盲区显示方法和*** | |
| CN110415299B (zh) | 一种运动约束下基于设定路牌的车辆位置估计方法 | |
| CN116385994A (zh) | 一种三维道路线提取方法及相关设备 | |
| CN111353481A (zh) | 基于激光点云与视频图像的道路障碍物识别方法 | |
| CN114820931B (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
| CN115018926A (zh) | 车载相机的俯仰角确定方法、装置、设备和存储介质 | |
| Zhang et al. | End-to-end BEV perception via Homography matrix | |
| CN112766100A (zh) | 一种基于关键点的3d目标检测方法 | |
| Yu et al. | Road Traffic Marking Extraction Algorithm Based on Fusion of Single Frame Image and Sparse Point Cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |