CN212084368U - 一种高速公路车辆轨迹跟踪*** - Google Patents

一种高速公路车辆轨迹跟踪*** Download PDF

Info

Publication number
CN212084368U
CN212084368U CN202020989922.0U CN202020989922U CN212084368U CN 212084368 U CN212084368 U CN 212084368U CN 202020989922 U CN202020989922 U CN 202020989922U CN 212084368 U CN212084368 U CN 212084368U
Authority
CN
China
Prior art keywords
vehicle
data
tracking
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202020989922.0U
Other languages
English (en)
Inventor
郑于海
王长华
陶杰
汪内利
朱熙豪
倪双静
亓凌
于涵诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Original Assignee
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd filed Critical Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority to CN202020989922.0U priority Critical patent/CN212084368U/zh
Application granted granted Critical
Publication of CN212084368U publication Critical patent/CN212084368U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本实用新型涉及智能交通领域，特指一种高速公路车辆轨迹跟踪***，包括数据采集***，数据采集***采集到数据后上传到视频服务器并通过局域网传到视频解码服务器，经实时图像采集模块、图像处理与跟踪算法模块、数据储存模块的处理后，输出到***处理和展示平台上，通过闭路电视监控***观察。采用上述方案后，实现了高速公路间隔性视域的监控摄像机网络环境下的车辆轨迹跟踪方法，实现了广域视频监控环境下的目标跟踪。

Description

一种高速公路车辆轨迹跟踪***
技术领域
本实用新型涉及智能交通领域，特指一种高速公路车辆轨迹跟踪***。
背景技术
随着人们对交通安全的逐渐重视，加之国家相关政策的制定与推进，智能视频监控技术得以快速发展，高速公路的快速发展和扩张，目前已有的车辆轨迹跟踪是基于车辆经过两个高速公路卡口后才通过轨迹还原去显示车辆的虚拟轨迹，该技术无法具备准确还原车辆轨迹和未能满足轨迹跟踪实时性的能力，其技术已经满足不了当前业务需求。而现有已运行高速公路仍然是未将摄像机视域覆盖所有监控区域，如果需要改造成监控区域全覆盖则需要耗费大量人力物力。
针对以上问题，设计了基于高速公路间隔性视域的监控摄像机网络环境下的车辆轨迹跟踪方法，实现了广域视频监控环境下的目标跟踪，本发明人研发出一种高速公路车辆轨迹跟踪***，本案由此产生。
实用新型内容
为了实现上述目的，本实用新型的技术方案如下：
一种高速公路车辆轨迹跟踪***，包括数据采集***，数据采集***采集到数据后上传到视频服务器并通过局域网传到视频解码服务器，经实时图像采集模块、图像处理与跟踪算法模块、数据储存模块的处理后，输出到***处理和展示平台上，通过闭路电视监控***观察。
首先对车辆各个方面的特征进行提取，包括车辆的固有特征和运动特征，其次建立车辆在数据采集***间运动的时间和空间的约束；最后对观察到的所有车辆，使用车辆关联算法进行关联，在它们之中找到属于相同车辆的目标，从而实现在高速公路上间隔性的多个摄像机间的车辆轨迹跟踪。
进一步，数据采集***为摄像机设备。
进一步，图像处理与跟踪算法模块中，采用HOG算子和LBP算子记录目标车辆特征，采用SURF算法对比两个目标车辆之间相似程度。
HOG算子首先将摄像机监控画面的图像分割成小的连接区域，每个区域内生成各像素点的梯度或边缘的方向直方图，再采用了重叠的局部对比归一化技术把每个区域的局部直方图放在更大的区间范围内计算其密度，根据这个密度对更大区域范围中的其他区域进行归一化，使得HOG算子对光照变化和阴影拥有更好的鲁棒性，最后将直方图统计组合，即可构成了车辆的HOG特征描述算子。
LBP算子用来描述图像局部纹理特征，将车辆图片切割为多个3*3像素的窗口，计算每个窗口LBP的值，窗口中心点的像素是阈值，将周围8个像素点的灰度值与阈值做比较，如果小于阈值则将该点标记为0，否则记1。将这些标记值生成一个8位的二进制无符号数，该值就是这个窗口的LBP值，被用来描述该窗口区域的纹理特征。
本***将HOG算子和LBP算子融合起来使用，可以很好地对车辆特征进行标识。
采用上述方案后，本实用新型与现有技术相比，具有以下优点：
基于高速公路间隔性视域的监控摄像机网络环境下的车辆轨迹跟踪***很好地完成了多个摄像机网络间的车辆轨迹预测功能，提出的基于高速公路封闭性和单向性以及贝叶斯框架的最大后验概率算法具有一定的准确性、高效性与鲁棒性，同时，将摄像机网络子图划分，满足了***对于海量数据的处理需求。
附图说明
图1是本实用新型的示意图；
图2是间隔性摄像机网络拓扑图；
标号说明
摄像机设备1，视频服务器2，局域网3，视频解码服务器4，实时图像采集模块5，图像处理与跟踪算法模块6，数据储存模块7，***处理和展示平台8，闭路电视监控***9。
具体实施方式
下面结合附图和具体实施例对本实用新型作进一步的说明。
如图所示，一种高速公路车辆轨迹跟踪***，包括摄像机设备1，摄像机设备1采集到图像数据后上传到视频服务器2并通过局域网3传到视频解码服务器4，经实时图像采集模块5、图像处理与跟踪算法模块6、数据储存模块7的处理后，输出到***处理和展示平台8上，通过闭路电视监控***9观察。
理论上用多个摄像机的视域覆盖整个高速公路是最佳的监控情景，在实际应用中，高速公路的监控摄像机网络是间隔布置的，但是摄像机的视域之间是非重叠的，给整个高速公路监控区域造成了间断性盲区，使得摄像机捕获到的车辆是离散的，加之摄像机的角度以及光线情况存在的差异，这都给传统的车辆轨迹跟踪的研究带来了巨大的难度。
基于高速公路间隔性视域的监控摄像机网络环境下的车辆轨迹跟踪主要需要解决三个方面的问题：
1.目标匹配；
2.摄像机网络拓扑；
3.数据关联。
本***基于单个摄像机视频处理技术得到的车辆检测与跟踪结果，再对车辆的关联特征进行提取，再结合高速公路摄像机网络拓扑，使用高速公路的单向性来进行数据融合，把监控视频预处理后的车辆信息与高速公路摄像机网络拓扑信息进行融合，从而实现在多个摄像机之间的车辆轨迹跟踪。为了使本***能处理海量高速公路视频数据，将基于摄像机网络拓扑和高速公路单向性对其进行分割，可以将硕大的高速公路摄像机网络分为各个子图。
***组成
基于高速公路间隔性视域的监控摄像机网络环境下的车辆轨迹跟踪***由以下三个部分组成：
1.数据存储层，存放原始视频数据、视频中提取出的车辆信息、摄像机网络拓扑信息和用于车型匹配的数据库；
2.数据分析层，进行车辆检测、车辆关联特征提取、车型匹配和车辆关联的任务；
3.数据展现层，对摄像机监控画面、监控画面分析出的车辆信息和车辆的轨迹跟踪进行展示。
本车辆轨迹跟踪***主要完成高速公路多个摄像机之间的目标关联，多个摄像机目标关联：
1.首先对车辆各个方面的特征进行提取，包括车辆的固有特征和运动特征；
2.其次建立车辆在多摄像机间运动的时间和空间的约束；
3.最后对摄像机观察到的所有车辆，使用车辆关联算法进行关联，在它们之中找到属于相同车辆的目标，从而实现在高速公路上间隔性的多个摄像机间的车辆轨迹跟踪。
算法选用
基于单个摄像机视频处理技术即能获得车辆的基本信息，例如车辆颜色、车辆尺寸，车辆行进方向、车辆运动轨迹，但是由于对于其他摄像机而言这些信息都是独立的。本***算法将处理目标图片，对能构成车辆关联的特征进行提取。首先将车辆的两个图片中所包含的相关性特征进行分析，就能获得两个目标的相似度值。相似度值计算主要通过计算两个目标向量的余弦相似度来判别两个车辆图片的相似关系。本***算法提取的关联特征为：HOG算子、LBP算子。使用HOG算子训练捕获目标边缘和形状信息，针对HOG算子在不同图像的不同区域的可能会产生类型的梯度直方图，使用LBP算子作为互补。最后使用了SURF算法来计算车辆的特征相似度值。
目标关联特征提取：
本***将车辆的关联特征划分为两类：
1.直接信息；
2.特征向量信息。
所有的关联特征都会被用来判断两个目标的相似程度，同时语义信息会额外作为目标的选择或筛选条件。本***使用的目标关联特征：为了对目标的各种关联特征进行合理融合，本文提出一个相似度度量函数的概念。相似度度量函数将可以数值化的关联特征结合起来，并对每一个关联特征指定权值，由此来描述目标之间的相似程度从而确定目标之间的关联性。对于在任意摄像机中观察到的两个目标1和2，它们之间关联性由相似度函数Y(Xi,1,Xj,2)度量，相似度函数的定义如公式1所示：
Y(Xi,1,Xj,2)＝ωtT(ti,1,tj,2)ωtH(hi,1,hj,2)ωtE(ei,1,ej,2)ωtB(bi,1,bj,2) (1)
权值ω来控制该特征的重要程度，基于摄像机捕获目标的特征值并非每次都一样，因而权值ω的大小取决于该特征的准确度。两个目标车辆的时间关联特征的对比值为T(ti,1，tj,2)，地点关联特征的对比值为H(hi,1，hj,2)、大小关联特征的对比值为E(ei,1，ej,2)、外观模型关联特征的对比值为B(bi,1，bj,2)。
直接信息提取
直接信息又可分为两类：
1.车辆的外部信息，包括：车辆的颜色、形状、大小、挡风玻璃处的年检标志等特征，目标的出现时间与位置、目标的消失时间与位置、目标的运动方向、目标的运动轨迹等。目标的此类运动特征信息是基于单摄像机视频检测与跟踪技术获得的。为了得到上述运动信息，***使用了运动目标跟踪算法来跟踪运动目标。其中通过对目标车辆在单摄像机视域内的运动轨迹进行持续跟踪纪录，可以获得目标的运动方向与具体轨迹。
本***使用高斯滤波和卡尔曼滤波对多车辆的轨迹进行跟踪。高斯滤波广泛应用于图像处理的减噪过程，使用高斯滤波后车辆图像被平滑的程度取决于标准差。它的输出是领域像素的加权平均，同时离中心越近的像素权重越高。它的平滑效果更柔和，而且边缘保留的也更好。卡尔曼滤波是根据车辆前一帧位置状态，预测其在当前帧所处的位置范围，并将该范围内的车辆与目标车辆进行匹配，从而得到车辆在当前帧所处的真实位置，同时用该位置对模型参数进行更新。通过对此过程的迭代，实现多车辆的轨迹跟踪。
2.车辆的内部信息，指的是车辆的品牌和型号，***通过对车辆的头部信息进行提取建模，使用SURF算法将目标车辆的头部信息同数据库中的标准车型信息进行对比，从而获得车辆的品牌型号信息。
在对目标车辆进行品牌和型号匹配的过程中，本***首先针对车标和车灯边缘特征进行匹配。将提取出的目标车辆的车标与车灯边缘特征与特征库中的所有基准样本分别对比，本***将选取一个对比结果远大于其他的对比值，则将此目标车辆认定为该匹配结果最大值对应的车辆类型。如果并无远大于的情况，本***将再次进行对比，选取对比结果值最大的车辆类型，再认定为最有匹配结果。
特征值信息提取：
本***中使用到用于标识目标的特征向量有：SURF算法(Speeded Up RobustFeatures)、HOG算子、LBP算子。本***将LBP算子(Local Binary Pattern)和HOG算子(Histogram of Oriented Gradient)融合起来使用，可以很好地对车辆特征进行标识。
1.SURF算法用于对比两个目标车辆之间相似程度；
2.HOG算子首先将摄像机监控画面的图像分割成小的连接区域。每个区域内生成各像素点的梯度或边缘的方向直方图，再采用了重叠的局部对比归一化技术把每个区域的局部直方图放在更大的区间范围内计算其密度，根据这个密度对更大区域范围中的其他区域进行归一化，使得HOG算子对光照变化和阴影拥有更好的鲁棒性。最后将直方图统计组合，即可构成了车辆的HOG特征描述算子。
3.LBP算子用来描述图像局部纹理特征，将车辆图片切割为多个3*3像素的窗口，计算每个窗口LBP的值。窗口中心点的像素是阈值，将周围8个像素点的灰度值与阈值做比较，如果小于阈值则将该点标记为0，否则记1。将这些标记值生成一个8位的二进制无符号数，该值就是这个窗口的LBP值，被用来描述该窗口区域的纹理特征。
建立间隔性摄像机网络空间拓扑
本***根据高速公路的单向性以及摄像机的安装位置和道路连通关构建空间拓扑关系，安装位置则依据实际道路图纸对应。由于高速公路摄像机视域是相对固定的，根据检测到的车辆出现与离开的位置信息，将它们看作不同的节点。对任意一对结点(wi,zj)，wi∈Cm，zj∈Cn，i≠j，Cm≠Cn，用变量Vi,j＝{0,1}表示摄像机间的物理连通关系，其中0表示这两个摄像机间物理上直接不可达，而1表示这两个摄像机间物理上是可以直达的。在真实的应用场景中，路况信息会对目标穿越相邻摄像机所用时间造成一定影响，由于高速公路的封闭性与单向性则无需考虑这些信息的干扰。见图2，例如某车辆从C1到C3则C1到p2为摄像机监控画面内车辆轨迹跟踪，然后到达C3后再次被摄像机捕获q1到p4为摄像机监控画面内车辆轨迹跟踪，同时连接C1到C3的p2q1线，结合起来则为多摄像机间的车辆轨迹跟踪。
车辆关联算法
车辆关联算法是要把车辆关联特征和摄像机网络拓扑信息这两种信息进行融合以提高车辆关联的准确度。
传统的间隔性摄像机车辆关联算法最佳的选择是基于最大流原理和最短路的Floyd算法。但是其在算力上远不如基于贝叶斯框架的车辆关联算法，虽然贝叶斯框架的车辆关联算法无法考虑到目标被替换的问题。目标替换指的是在摄像机视域盲区内，从前一个摄像机视域中离开的目标被新出现的目标代替进入下一个摄像机视域中。但是由于高速公路的封闭性和单向性恰恰完美解决了这个缺陷。贝叶斯框架的车辆关联算法是计算目标在指定条件下出现的最大后验估计(MAP)，从而实现目标关联，将关联特征和网络拓扑信息进行融合。
基于贝叶斯的车辆关联算法：
***要实现的功能就是在多摄像机捕获到的所有目标之中寻找，找到属于同一个车辆的目标，并将它们彼此关联起来。把车辆关联求解建模为求MAP的问题，其具体实现如下：
1.假设间隔性高速公路摄像机网络包含h个摄像机，把它们分别记为C1,C2,…,Ch；
2.在一段时间里，摄像机Ci捕捉到mi个目标，将这些目标记为Oi＝{Oi,1,Oi,2,…,Oi,r}；
3.对捕获到的每个车辆Oi,a进行关联特征提取获，得到目标的表现特征Oi,a(T)；
4.对摄像机网络拓扑进行估计，得到目标的空间特征Oi,a(K)。
5.把车辆关联问题转换为一个寻找关联集合
Figure BDA0002518318230000081
的问题，令
Figure BDA0002518318230000082
表示一次关联，表示(Oi,1,Oj,2)为同一辆车，并且目标1先与目标2出现。其需要满足的条件如下：
1)Oi,1和Oj,2是同一辆车且
Figure BDA0002518318230000083
2)每个目标至多拥有一个前继和后继目标，即对所有的
Figure BDA0002518318230000084
有
Figure BDA0002518318230000085
假设
Figure BDA0002518318230000086
为车辆关联算法得到的一个解，假定每次关联都是独立的，则有：
Figure BDA0002518318230000087
其中
Figure BDA0002518318230000088
是捕获目标Oi,a和Oj,b后，关联
Figure BDA0002518318230000089
发生的概率。根据贝叶斯理论有：
Figure BDA00025183182300000810
引入车辆的外观特征Oi,a(T)和车辆的空间特征Oi,a(K)，可得到：
Figure BDA00025183182300000811
这样，多摄像机间的目标关联问题就被建模为在解空间Δ内寻找最大的后验概率M*：
Figure BDA00025183182300000812
先验概率
Figure BDA0002518318230000091
定义为目标从摄像机Ci到Cj的概率,用p(Ci,Cj)表示。若假定目标的出现是均匀分布的，则全概率pi,j(Oi,a,Oj,b)为一个不变的尺度参数。
车辆轨迹跟踪
本***基于贝叶斯的车辆关联算法将车辆关联起来后，既可根据传统的单摄像机车辆轨迹跟踪结合高速公路摄像机网络拓扑进行融合，形成在多摄像机内的轨迹跟踪。
上述仅为本实用新型的具体实施例，同时凡本实用新型中所涉及的如“上、下、左、右、中间”等词，仅作参考用，并非绝对限定，凡利用本实用新型进行非实质性的改动，均应属于侵犯本实用新型保护范围的行为。

Claims (3)

1.一种高速公路车辆轨迹跟踪***，其特征在于：包括数据采集***，数据采集***采集到数据后上传到视频服务器并通过局域网传到视频解码服务器，经实时图像采集模块、图像处理与跟踪算法模块、数据储存模块的处理后，输出到***处理和展示平台上，通过闭路电视监控***观察。
2.根据权利要求1所述的一种高速公路车辆轨迹跟踪***，其特征在于：数据采集***为摄像机设备。
3.根据权利要求1所述的一种高速公路车辆轨迹跟踪***，其特征在于：图像处理与跟踪算法模块中，采用HOG算子和LBP算子记录目标车辆特征，采用SURF算法对比两个目标车辆之间相似程度。
CN202020989922.0U 2020-06-01 2020-06-01 一种高速公路车辆轨迹跟踪*** Active CN212084368U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202020989922.0U CN212084368U (zh) 2020-06-01 2020-06-01 一种高速公路车辆轨迹跟踪***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202020989922.0U CN212084368U (zh) 2020-06-01 2020-06-01 一种高速公路车辆轨迹跟踪***

Publications (1)

Publication Number Publication Date
CN212084368U true CN212084368U (zh) 2020-12-04

Family

ID=73558977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202020989922.0U Active CN212084368U (zh) 2020-06-01 2020-06-01 一种高速公路车辆轨迹跟踪***

Country Status (1)

Country Link
CN (1) CN212084368U (zh)

Similar Documents

Publication Publication Date Title
CN108665487B (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
Sun et al. Benchmark data and method for real-time people counting in cluttered scenes using depth sensors
Foresti et al. Active video-based surveillance system: the low-level image and video processing techniques needed for implementation
CN111832457B (zh) 基于云边协同的陌生人入侵检测方法
US9323991B2 (en) Method and system for video-based vehicle tracking adaptable to traffic conditions
Rout A survey on object detection and tracking algorithms
Lian et al. Spatial–temporal consistent labeling of tracked pedestrians across non-overlapping camera views
Gomaa et al. Efficient vehicle detection and tracking strategy in aerial videos by employing morphological operations and feature points motion analysis
Fazli et al. Particle filter based object tracking with sift and color feature
Lin et al. Collaborative pedestrian tracking and data fusion with multiple cameras
Zhang et al. Moving vehicles segmentation based on Bayesian framework for Gaussian motion model
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
Hossain et al. Fast-D: When non-smoothing color feature meets moving object detection in real-time
Rao et al. Detection of anomalous crowd behaviour using hyperspherical clustering
Funde et al. Object detection and tracking approaches for video surveillance over camera network
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
Ansari et al. A fusion of dolphin swarm optimization and improved sine cosine algorithm for automatic detection and classification of objects from surveillance videos
KR et al. Moving vehicle identification using background registration technique for traffic surveillance
CN111667507A (zh) 一种高速公路车辆轨迹跟踪方法
Liu et al. A real-time vision-based vehicle tracking and traffic surveillance
CN212084368U (zh) 一种高速公路车辆轨迹跟踪***
de-la-Calle-Silos et al. Mid-level feature set for specific event and anomaly detection in crowded scenes
Karishma et al. Artificial Intelligence in Video Surveillance
Agrawal et al. Specific motion pattern detection: state-of-the-art and challenges
Ramasamy et al. Moving objects detection, classification and tracking of video streaming by improved feature extraction approach using K-SVM.

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant