CN110176022A - 一种基于视频检测的隧道全景监控***及方法 - Google Patents
一种基于视频检测的隧道全景监控***及方法 Download PDFInfo
- Publication number
- CN110176022A CN110176022A CN201910433925.8A CN201910433925A CN110176022A CN 110176022 A CN110176022 A CN 110176022A CN 201910433925 A CN201910433925 A CN 201910433925A CN 110176022 A CN110176022 A CN 110176022A
- Authority
- CN
- China
- Prior art keywords
- tunnel
- vehicle
- video
- map
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 description 12
- 230000006872 improvement Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 235000013350 formula milk Nutrition 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical compound O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于视频检测的隧道全景监控方法及***,通过对视频中车辆进行检测跟踪和车型识别,并转换成真实环境中车辆行进路径与速度、车类型,结合对隧道进行三维模型重建,实时显示隧道三维模型地图中车辆信息及交通状况,具有较好的实用性和便捷性。本发明涉及监控技术领域。
Description
技术领域
本发明涉及监控技术领域,尤其涉及一种基于视频检测的隧道全景监控***及方法。
背景技术
随着我国交通道路的快速发展,铁路及公路的隧道建设项目与日俱增。由于我国复杂的地理条件以及隧道本身的特点,隧道监控***在隧道的运营和管理以及事故处理中发挥着极其重要的作用。如不采用先进的监控管理措施,在交通量大、气候恶劣的情况下,极易发生交通事故和交通阻塞,隧道的监控管理成为车辆在隧道安全正常运行的重要保障。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的是提供一种基于视频检测的隧道全监控方法及***,实时监控隧道内的车辆信息及交通状况。
本发明所采用的技术方案是:
第一方面,本发明实施例提供了一种基于视频检测的隧道全景监控方法,其包括步骤:
标定相机参数;
对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型;
根据所述相机参数,将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型;
对隧道内部进行二维扫描,得到隧道二维栅格地图,将所述隧道二维栅格地图转换成隧道三维模型地图;
计算世界坐标与地图坐标的变换关系;
根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型。
作为上述方案的进一步改进,所述标定相机参数步骤具体包括:
根据图像信息,计算相机主点坐标c=(u0,v0);
根据隧道中的道路信息,计算世界坐标系上X、Y、Z三个方向上的灭点坐标PVX(UX,VX),PVY(UY,VY),PVZ(UZ,VZ),根据径向畸变约束计算相机焦距(fx,fy)初值以及相机旋转角度(ω,κ)值,根据相机旋转角度以及相机安装高度,计算平移矢量(tx,ty,tz)初值;
获取路面以上的特征点,通过最小化特征点在图像上的重投影误差对相机参数进行优化,得到畸变参数k1,k2。
作为上述方案的进一步改进,所述对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型步骤具体包括:
对视频序列图像进行处理,根据背景更新算法更新背景;
根据卡尔曼滤波跟踪算法,对视频中的车辆进行检测跟踪,得到视频中车辆行进路径与速度;
通过更新后生成的背景与视频中的原图进行差分,检测视频中的运动车辆,通过车辆数据集根据AlexNet分类网络进行训练,输出识别模型,将检测出的运动车辆输入所述识别模型中进行识别,得到车类型。
作为上述方案的进一步改进,所述对隧道内部进行二维扫描,得到隧道二维栅格地图,将所述隧道二维栅格地图转换成隧道三维模型地图步骤具体包括:
对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;
对所述隧道二维栅格地图进行美化,转换成jpg格式的隧道二维栅格地图;
将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。
作为上述方案的进一步改进,所述根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型步骤具体包括:
根据世界坐标与地图坐标的变换关系,将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置,进而得到地图坐标系下的车辆移动情况;
实时显示隧道三维模型地图中车辆移动情况、车类型。
第二方面,本发明实施例提供了一种基于视频检测的隧道全景监控***,适用于第一方面实施例所述的基于视频检测的隧道全景监控方法,所述***包括:
相机标定模块,用于标定相机参数;
视频车检模块,用于对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型;
隧道建模模块,用于对隧道内部进行二维扫描,得到隧道二维栅格地图,将所述隧道二维栅格地图转换成隧道三维模型地图;
数据转换模块,用于根据相机参数,将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型,还用于计算世界坐标与地图坐标的变换关系;
显示模块,用于根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型。
作为上述方案的进一步改进,所述相机标定模块具体包括:
第一计算单元,用于根据图像信息,计算相机主点坐标c=(u0,v0);
第二计算单元,用于根据隧道中的道路信息,计算世界坐标系上X、Y、Z三个方向上的灭点坐标PVX(UX,VX),PVY(UY,VY),PVZ(UZ,VZ),根据径向畸变约束计算相机焦距(fx,fy)初值以及相机旋转角度(ω,κ)初值,根据相机旋转角度以及相机安装高度,计算平移矢量(tx,ty,tz)初值;
优化单元,用于获取路面以上的特征点,通过最小化特征点在图像上的重投影误差对相机参数进行优化,得到畸变参数k1,k2。
作为上述方案的进一步改进,所述视频车检模块具体包括:
背景更新单元,用于对视频序列图像进行处理,根据背景更新算法更新背景;
车辆跟踪单元,用于根据卡尔曼滤波跟踪算法,对视频中车辆进行检测跟踪,得到视频中车辆行进路径与速度;
车型识别单元,用于通过更新后生成的背景与视频中的原图进行差分,检测视频中的运动车辆,通过车辆数据集根据AlexNet分类网络进行训练,输出识别模型,将检测出的运动车辆输入所述识别模型中进行识别,得到车类型。
作为上述方案的进一步改进,所述隧道建模模块具体包括:
扫描单元,用于对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;
转换单元,用于对所述隧道二维栅格地图进行美化,转换成jpg格式的隧道二维栅格地图;
制作单元,用于将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。
作为上述方案的进一步改进,所述显示模块具体包括:
转换计算单元,用于根据世界坐标与地图坐标的变换关系,将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置,进而得到地图坐标系下的车辆移动情况;
显示单元,用于实时显示隧道三维模型地图中车辆移动情况、车类型。
本发明的有益效果是:
本发明一种基于视频检测的隧道全景监控方法及***,通过对视频中车辆进行检测跟踪和车型识别,并转换成真实环境中车辆行进路径与速度、车类型,结合对隧道进行三维模型重建,实时显示隧道三维模型地图中车辆信息及交通状况,具有较好的实用性和便捷性。
附图说明
图1是本发明实施例一的基于视频检测的隧道全景监控方法流程示意图;
图2是本发明相机投影成像过程示意图;
图3是本发明实施例二的基于视频检测的隧道全景监控***模块框图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例一
图1是本发明实施例一的基于视频检测的隧道全景监控方法流程示意图,参照图1,一种基于视频检测的隧道全景监控方法,包括步骤S1至步骤S6。
S1,标定相机参数;
S2,对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型;
S3,根据相机参数,将视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型;
S4,对隧道内部进行二维扫描,得到隧道二维栅格地图,将隧道二维栅格地图转换成隧道三维模型地图;
S5,根据世界坐标与地图坐标的变换关系以及真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型。
本实施例中,步骤S1具体包括子步骤:
S11,根据图像信息,计算相机主点坐标c=(u0,v0);
S12,根据隧道中的道路信息,计算世界坐标系上X、Y、Z三个方向上的灭点坐标PVX(UX,VX),PVY(UY,VY),PVZ(UZ,VZ),根据径向畸变约束计算相机焦距(fx,fy)初值以及相机旋转角度(ω,κ)初值,根据相机旋转角度以及相机安装高度,计算平移矢量(tx,ty,tz)初值;
S13,获取路面以上的特征点,通过最小化特征点在图像上的重投影误差对相机参数进行优化,得到畸变参数k1,k2。
图2是本发明相机投影成像过程示意图,参照图2,点P在图像坐标系上的二维坐标为p=[pu,pv,1]T,变换到相机坐标系上的三维坐标为Pc=[pc,pc,f]T,最后相机坐标系变换到世界坐标系上的三维坐标为P=[PX,PY,PZ]T。整个过程的变换关系为:
其中,K为相机内部参数矩阵,由相机主点c=(u0,v0)和相机焦距(fx,fy)构成,s一般为0。[R T]为相机外部参数,T=[tx,ty,tz]T为平移矢量,R为旋转矩阵,具体为:
其中,(ω,κ)表示相机分别相对相机坐标系Xc轴、Yc轴、Zc轴的旋转角度。
对于步骤S11中相机主点坐标c=(u0,v0),的计算,根据图像信息,已知相机拍摄图像的大小为[w,h],假设相机的主光轴与图像中心重合,则相机的主点坐标为:
u0=w/2,v0=h/2 (3)
本实施例中,步骤S12具体为:根据隧道中的道路信息,确定灭点的方向,将沿道路面形成的灭点记为PVX(UX,VX),垂直与道路方向的灭点记为PVY(UY,VY),垂直与路面方向的灭点记为PVZ(UZ,VZ)。
对于灭点PVX(UX,VX),对隧道影像场景中的道路线等直线特征进行检测并利用Hough变换进行直线拟合,提取直线参数。根据直线参数将直线无限延长,一般情况下,影像中的直线不严格交于一点,因此需要用整体直线优化的方式求取灭点坐标。具体实现为:取初始灭点的坐标为PVX0(UX0,VX0),影像中有效的直线方程为:fi(x,y)=kiX+bi-y,i表示第i条直线,将初始灭点坐标带入直线方程,得到初始误差,利用最小二乘法优化方法,不断迭代更新灭点坐标使整体误差下降,最终得到精确的灭点坐标PVX(UX,VX)。
对于灭点PVY(UY,VY),由于隧道中没有明显的垂直道路方向的参照物,所以可利用经过的车辆作为参照物,进行直线特征提取。对检测到的车辆进行边缘提取,保留垂直道路方向的直线特征,类似的,利用Hough变换进行直线拟合,提取直线参数,通过最小二乘法优化得到精确的灭点坐标PVY(UY,VY)。
根据相机成像关系,将灭点坐标由像素坐标系转化为相机坐标系,PVX(UX,VX)和PVY(UY,VY)分别转换为P′VX(U′X,V′X)和P′VY(U′Y,V′Y),转换关系如下:
作为初始值,可令fx=fy=f,根据径向畸变约束(RAC),相机初始焦距计算公式为:
对于灭点PVZ(UZ,VZ),首先令向量rx=OcPVX,ry=OcPVY,rz=OcPVZ,在相机坐标系中Xc轴、Yc轴、Zc轴两两垂直,则向量rz可根据右手法则由向量rx,ry叉乘计算得到。为保证向量严格正交,需要重新计算:
r′y=ry-(rx*ry)rx,rz=rx×r′y (7)
所以PVZ(UZ,VZ)可由rz得到。
由于灭点方向表征相机坐标系的三个坐标轴方向,所以由向量rx,ry,rz组成的旋转矩阵[rx,r′y,rz]即为旋转矩阵R的初值。
在隧道场景中,监控相机的安装高度一般比较容易测量,所以以公路面为高度起点,摄像机的高度H已知,并且旋转矩阵R可得到旋转角度(ω,κ)的初始值。以摄像机在公路面的垂直投影点为世界坐标系的原点,根据空间位置关系,那么相机的平移矢量(tx,ty,tz)初值分别为:
取畸变系数k1,k2为0。
根据隧道实际场景,综合利用特征比较明显的标志物进行重投影计算,比如利用道路两旁的黄黑警戒线,墙面上、路面上的无源反光灯等具有固定尺寸的参照物,量取路面以上的特征点到路面的高度,即可得到这些特征点的世界坐标,这些特征点不仅包含了二维路面点,还包含了三维空间标识点,提高了标定优化精度。
待优化的相机参数有:u0,v0,fx,fy,ω,κ,tx,ty,tz,K1,K2,为提高优化精度,分阶段对参数进行优化。当初始参数不够准确时,特征点的重投影误差会比较大,有时导致全局优化时无法收敛,所以,为保证优化能够进行,第一阶段对相机外部参数(ω,κ,tx,ty,tz)进行优化,关于外部参数的重投影误差方程为:
其中Pi为第i个特征点Pw在图像的实际像点坐标,N为特征点个数,Pi′为空间点i根据全局标定参数计算得到的图像上的投影坐标,通过降低方程F1的误差以取得精度较高的外部参数。
当点数大于3时,利用LM(Levenberg-Marquardt)优化算法进行迭代优化,获得最优解。
由于误差方程非线性,当点数大于3时,利用LM(Levenberg-Marquardt)优化算法进行迭代优化,获得最优解。
第二阶段联合相机内部参数(ω,κ,tx,ty,tz,u0,v0,fx,fy,k1,k2)进行内外参数迭代优化。类似的,关于内外参数的重投影误差方程F2为:
同样地对上式进行泰勒展开,建立关于内外参数的误差方程,利用LM优化算法,获得最优内外参数解。
最后,取k1=k2=0,联合相机内外参数得到关于全局参数(ω,κ,tx,ty,tz,u0,v0,fx,fy,k1,k2)的重投影误差方程F3为:
用同样的方式进行迭代优化使误差最小化,即可得到最终的相机标定参数。
任取图像中某一点,均可计算出其在真实世界坐标中的位置,进而可以计算车辆的实际移动距离。
本实施例中,步骤S2具体包括子步骤:
S21,对视频序列图像进行处理,根据背景更新算法更新背景;
S22,根据卡尔曼滤波跟踪算法,对视频中的车辆进行检测跟踪,得到视频中车辆行进路径与速度;
S23,通过更新后生成的背景与视频中的原图进行差分,检测视频中的运动车辆,通过车辆数据集根据AlexNet分类网络进行训练,输出识别模型,将检测出的运动车辆输入所述识别模型中进行识别,得到车类型。
本实施例中,步骤S21具体包括子步骤:
S211,将第一帧图像I0作为原始背景B0,并令i=1;
S212,求当前帧的帧差二值图像BWi为:
其中,Ii,Ii-1分别为当前帧和上一帧图像;abs(Ii-Ii-1)为连续两帧差分的模值图像,T为阈值。
S213,对BWi进行形态学处理,以防止运动区域误判为非运动区域,从而得到新的二值图像MBWi。
S214,由BWi更新背景Bi为:
分别为背景图像和二值图像在像素(x,y)处的值,为迭代速度系数。
S215,重复步骤S212、步骤S213直至背景更新完成。
卡尔曼滤波器通常用状态方程和观测方程来描述,具体形式如公式(14)、(15)所示:
xk=Fkxk-1+uk (14)
zk=Hkxk-1+vk (15)
其中,Fk为状态转移矩阵,Hk为观测矩阵,uk和vk分别是协方差为Qk和Rk的零均值高斯噪声。
本实施例中,步骤S22具体包括子步骤:
S221,当目标车辆进入的第一帧图像中,选取目标车辆的初始位置,构造出目标车辆的表观模型,同时对卡尔曼滤波器进行初始化;
S222,根据卡尔曼滤波的预测结果确定在当前帧中的搜索区域,再根据目标车辆检测的结果,在搜索区域找到能与车辆模板相匹配的候选目标区域;
S223,在目标车辆的跟踪过程中,可以通过计算候选区域目标车辆与目标车辆模板的相似度值来判断目标车辆有没有被遮挡,如果目标车辆发生了遮挡,则对卡尔曼滤波的参数进行适当的调整;
S224,更新卡尔曼滤波器,得到目标的状态信息;
S225,根据遮挡情况更新滤波器的参数;
S226,开始处理下一侦图像。
针对复杂的交通应用场景,在传统的卡尔曼滤波跟踪算法基础上提出了基于二级特征匹配的卡尔曼滤波跟踪算法,二级特征匹配即基于目标区域的几何特征和核直方图特征的匹配。
对于通过目标检测所得的前景目标区域,可以提取该区域的中心坐标及长宽等参数作为匹配特征。如此可得***的特征向量及观测向量如公式(16)。
其中,状态变量X(t)中,x(t)、y(t)分别目标中心点的x和y坐标,w(t)、h(t)分别表示目标区域的宽度和高度,vx(t)、vy(t)、vw(t)、vh(t)分别对应前4个分量的变化速度。Y(t)为观测向量,各分量的意义同状态向量。
基于卡尔曼滤波的跟踪算法,通过对车辆的跟踪确定在每一帧图像中的车辆是否为同一车辆,后期再将同一个车辆的识别结果进行统计,通过统计的结果确定出该车辆的种类,通过对识别结果进行统计分析可以降低由于某一帧图像的识别错误而产生的整个识别结果的错误,提高了车型识别的准确率。
在摄像机有效监控区域内绘制虚拟测速线L1,L2,…Li,这些虚拟测速线图像上的间距分别为n1,n2,…ni,根据模块一摄像机标定参数以及变换公式计算出虚拟测速线在真实环境中距离分别为N1,N2,…Ni,视频车辆速测定方法为:
当车辆目标行驶进入测速监控区域时,先由模块二第1部分的车辆检测算法对目标车辆进行检测,以确定车辆的图像位置,在有效区域内应用模块二第2部分的目标跟踪算法对车辆进行跟踪,确定其运动轨迹,与此同时记录下车辆控制点(如车尾中心)在图像中的位置坐标(ui,vi);当车辆控制点分别经过虚拟测速线L1,L2,…Li时,记录对应的视频帧号f1,f2,…fi;那么在虚拟测速间隔内的速度分别为:
vi=Ni×FPS/(fi-fi-1) (17)
式中,FPS为当前视频的帧率。
本实施例中,在步骤S23中,每个输入的图像由固定倍数的数据扩充,有效改善由收集的数据集太小引起的问题。
将Dropout添加到AlexNet分类网络的训练中,这样每个隐藏的神经元层都不会以概率p工作。在一次迭代中,不起作用的节点可以不被视为网络的一部分,但可能在下一次迭代中再次起作用。凡是不工作的神经元都不参与向前运算和BP运算。与此同时,每次输入的神经网络结构都不相同,从而增加了鲁棒性,减少了过拟合。
本实施例中,步骤S4具体包括子步骤:
S41,对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;
S42,对所述隧道二维栅格地图进行美化,转换成jpg格式的隧道二维栅格地图;
S43,将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。
具体的,通过SLAM技术对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;通过Photoshop对隧道二维栅格地图进行美化,包括边缘修正,添加隧道设备仪器等,并转换成jpg格式的隧道二维栅格地图并保存;最后,使用illustrator将jpg格式图片按照尺寸制作成svg格式的隧道三维模型地图。使用SharpVectors将svg格式的隧道三维模型地图转换成xaml格式文件。
本实施例中,步骤S5具体包括:
根据隧道二维栅格地图上明显的标志物,标记三个点,记为ABC,并且记下ABC的像素坐标;
根据隧道二维栅格地图标记相应位置,记为abc,通过AMCL定位算法得到abc的坐标信息,得到三对世界坐标与地图坐标的对应关系,即A点像素坐标对应a点世界坐标,B点像素坐标对应b点世界坐标,C点像素坐标对应c点世界坐标,根据三对世界坐标与地图坐标的对应关系,计算出世界坐标系与地图坐标系的转换矩阵T1。
本实施例中,步骤S6具体包括子步骤:
S61,根据世界坐标与地图坐标的变换关系,将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置,进而得到地图坐标系下的车辆移动情况;
S62,实时显示隧道三维模型地图中车辆移动情况、车类型。
一种基于视频检测的隧道全景监控方法,通过对视频中车辆进行检测跟踪和车型识别,并转换成真实环境中车辆行进路径与速度、车类型,结合对隧道进行三维模型重建,实时显示隧道三维模型地图中车辆信息及交通状况,具有较好的实用性和便捷性。
实施例二
图3是本发明实施例二的基于视频检测的隧道全景监控***模块框图,参照图3,一种基于视频检测的隧道全景监控***,包括:
相机标定模块,用于标定相机参数;
视频车检模块,用于对视频中车辆进行检测跟踪的车型识别,得到视频中车辆行进路径与速度、车类型;
隧道建模模块,用于对隧道内部进行二维扫描,得到隧道二维栅格地图,将隧道二维栅格地图转换成隧道三维模型地图;
数据转换模块,用于根据相机参数,将视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型,还用于计算世界坐标与地图坐标的变换关系;
显示模块,用于根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型。
本实施例中,相机标定模块具体包括:
第一计算单元,用于根据图像信息,计算相机主点坐标c=(u0,v0);
第二计算单元,用于根据隧道中的道路信息,计算世界坐标系上X、Y、Z三个方向上的灭点坐标PVX(UX,VX),PVY(UY,VY),PVZ(UZ,VZ),根据径向畸变约束计算相机焦距(fx,fy)初值以及相机旋转角度(ω,κ)初值,根据相机旋转角度以及相机安装高度,计算平移矢量(tx,ty,tz)初值;
优化单元,用于获取路面以上的特征点,通过最小化特征点在图像上的重投影误差对相机参数进行优化,得到畸变参数k1,k2。
本实施例中,视频车检模块具体包括:
背景更新单元,用于对视频序列图像进行处理,根据背景更新算法更新背景;
车辆跟踪单元,用于根据卡尔曼滤波跟踪算法,对视频中车辆进行检测跟踪,得到视频中车辆行进路径与速度;
车型识别单元,用于通过更新后生成的背景与视频中的原图进行差分,检测视频中的运动车辆,通过车辆数据集根据AlexNet分类网络进行训练,输出识别模型,将检测出的运动车辆输入所述识别模型中进行识别,得到车类型。
本实施例中,隧道建模模块具体包括:
扫描单元,用于对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;
转换单元,用于对所述隧道二维栅格地图进行美化,转换成jpg格式的隧道二维栅格地图;
制作单元,用于将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。
本实施例中,显示模块具体包括:
转换计算单元,用于根据世界坐标与地图坐标的变换关系,将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置,进而得到地图坐标系下的车辆移动情况;
显示单元,用于实时显示隧道三维模型地图中车辆移动情况、车类型。
本发明实施例二提供基于视频检测的隧道全景监控***用于实施上述实施例一的基于视频检测的隧道全景监控方法,其工作原理和有益效果一一对应,因而不再赘述。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于视频检测的隧道全景监控方法,其特征在于,其包括步骤:
标定相机参数;
对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型;
根据所述相机参数,将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型;
对隧道内部进行二维扫描,得到隧道二维栅格地图,将所述隧道二维栅格地图转换成隧道三维模型地图;
计算世界坐标与地图坐标的变换关系;
根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型。
2.根据权利要求1所述的一种基于视频检测的隧道全景监控方法,其特征在于,所述标定相机参数步骤具体包括:
根据图像信息,计算相机主点坐标c=(u0,v0);
根据隧道中的道路信息,计算世界坐标系上X、Y、Z三个方向上的灭点坐标PVX(UX,VX),PVY(UY,VY),PVZ(UZ,VZ),根据径向畸变约束计算相机焦距(fx,fy)初值以及相机旋转角度初值,根据相机旋转角度以及相机安装高度,计算平移矢量(tx,ty,tz)初值;
获取路面以上的特征点,通过最小化特征点在图像上的重投影误差对相机参数进行优化,得到畸变参数k1,k2。
3.根据权利要求1所述的一种基于视频检测的隧道全景监控方法,其特征在于,所述对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型步骤具体包括:
对视频序列图像进行处理,根据背景更新算法更新背景;
根据卡尔曼滤波跟踪算法,对视频中的车辆进行检测跟踪,得到视频中车辆行进路径与速度;
通过更新后生成的背景与视频中的原图进行差分,检测视频中的运动车辆,通过车辆数据集根据AlexNet分类网络进行训练,输出识别模型,将检测出的运动车辆输入所述识别模型中进行识别,得到车类型。
4.根据权利要求1所述的一种基于视频检测的隧道全景监控方法,其特征在于,所述对隧道内部进行二维扫描,得到隧道二维栅格地图,将所述隧道二维栅格地图转换成隧道三维模型地图步骤具体包括:
对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;
对所述隧道二维栅格地图进行美化,转换成jpg格式的隧道二维栅格地图;
将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。
5.根据权利要求1至4任一项所述的一种基于视频检测的隧道全景监控方法,其特征在于,所述根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型步骤具体包括:
根据世界坐标与地图坐标的变换关系,将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置,进而得到地图坐标系下的车辆移动情况;
实时显示隧道三维模型地图中车辆移动情况、车类型。
6.一种基于视频检测的隧道全景监控***,适用于如权利要求1至5任一项所述的基于视频检测的隧道全景监控方法,其特征在于,其包括:
相机标定模块,用于标定相机参数;
视频车检模块,用于对视频中车辆进行检测跟踪和车型识别,得到视频中车辆行进路径与速度、车类型;
隧道建模模块,用于对隧道内部进行二维扫描,得到隧道二维栅格地图,将所述隧道二维栅格地图转换成隧道三维模型地图;
数据转换模块,用于根据相机参数,将所述视频中车辆行进路径与速度、车类型转换成真实环境中车辆行进路径与速度、车类型,还用于计算世界坐标与地图坐标的变换关系;
显示模块,用于根据世界坐标与地图坐标的变换关系以及所述真实环境中车辆行进路径与速度、车类型,计算得到地图坐标下的车辆移动情况,实时显示隧道三维模型地图中车辆移动情况、车类型。
7.根据权利要求6所述的一种基于视频检测的隧道全景监控***,其特征在于,所述相机标定模块具体包括:
第一计算单元,用于根据图像信息,计算相机主点坐标c=(u0,v0);
第二计算单元,用于根据隧道中的道路信息,计算世界坐标系上X、Y、Z三个方向上的灭点坐标PVX(UX,VX),PVY(UY,VY),PVZ(UZ,VZ),根据径向畸变约束计算相机焦距(fx,fy)初值以及相机旋转角度初值,根据相机旋转角度以及相机安装高度,计算平移矢量(tx,ty,tz)初值;
优化单元,用于获取路面以上的特征点,通过最小化特征点在图像上的重投影误差对相机参数进行优化,得到畸变参数k1,k2。
8.根据权利要求6所述的一种基于视频检测的隧道全景监控***,其特征在于,所述视频车检模块具体包括:
背景更新单元,用于对视频序列图像进行处理,根据背景更新算法更新背景;
车辆跟踪单元,用于根据卡尔曼滤波跟踪算法,对视频中车辆进行检测跟踪,得到视频中车辆行进路径与速度;
车型识别单元,用于通过更新后生成的背景与视频中的原图进行差分,检测视频中的运动车辆,通过车辆数据集根据AlexNet分类网络进行训练,输出识别模型,将检测出的运动车辆输入所述识别模型中进行识别,得到车类型。
9.根据权利要求6所述的一种基于视频检测的隧道全景监控***,其特征在于,所述隧道建模模块具体包括:
扫描单元,用于对隧道内部进行二维扫描,得到pgm格式的隧道二维栅格地图;
转换单元,用于对所述隧道二维栅格地图进行美化,转换成jpg格式的隧道二维栅格地图;
制作单元,用于将所述jpg格式的隧道二维栅格地图制作成svg格式的隧道三维模型地图。
10.根据权利要求6至9任一项所述的一种基于视频检测的隧道全景监控***,其特征在于,所述显示模块具体包括:
转换计算单元,用于根据世界坐标与地图坐标的变换关系,将视频中行驶汽车在世界坐标系下的位置信息转换计算得到地图坐标系下行驶汽车的像素位置,进而得到地图坐标系下的车辆移动情况;
显示单元,用于实时显示隧道三维模型地图中车辆移动情况、车类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910433925.8A CN110176022B (zh) | 2019-05-23 | 2019-05-23 | 一种基于视频检测的隧道全景监控***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910433925.8A CN110176022B (zh) | 2019-05-23 | 2019-05-23 | 一种基于视频检测的隧道全景监控***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110176022A true CN110176022A (zh) | 2019-08-27 |
CN110176022B CN110176022B (zh) | 2023-03-28 |
Family
ID=67691986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910433925.8A Active CN110176022B (zh) | 2019-05-23 | 2019-05-23 | 一种基于视频检测的隧道全景监控***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110176022B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688805A (zh) * | 2021-10-25 | 2021-11-23 | 深圳联和智慧科技有限公司 | 一种基于无人机的无牌渣土车识别方法及*** |
CN113706883A (zh) * | 2021-08-12 | 2021-11-26 | 广州大学 | 一种隧道路段安全行车***和方法 |
CN116013091A (zh) * | 2023-03-24 | 2023-04-25 | 山东康威大数据科技有限公司 | 基于车流量大数据的隧道监控***与分析方法 |
CN117611438A (zh) * | 2023-12-06 | 2024-02-27 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 一种基于单目图像的2d车道线到3d车道线的重构方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102646275A (zh) * | 2012-02-22 | 2012-08-22 | 西安华旅电子科技有限公司 | 通过跟踪和定位算法实现虚拟三维叠加的方法 |
CN105354875A (zh) * | 2015-09-25 | 2016-02-24 | 厦门大学 | 一种室内环境二维与三维联合模型的构建方法和*** |
CN106204656A (zh) * | 2016-07-21 | 2016-12-07 | 中国科学院遥感与数字地球研究所 | 基于视频和三维空间信息的目标定位和跟踪***及方法 |
CN107025657A (zh) * | 2016-01-31 | 2017-08-08 | 天津新天星熠测控技术有限公司 | 一种基于视频图像的车辆行为轨迹检测方法 |
CN107766821A (zh) * | 2017-10-23 | 2018-03-06 | 江苏鸿信***集成有限公司 | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及*** |
CN109062407A (zh) * | 2018-07-27 | 2018-12-21 | 江西省杜达菲科技有限责任公司 | 基于vr技术的远程移动终端三维显控***和方法 |
-
2019
- 2019-05-23 CN CN201910433925.8A patent/CN110176022B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102646275A (zh) * | 2012-02-22 | 2012-08-22 | 西安华旅电子科技有限公司 | 通过跟踪和定位算法实现虚拟三维叠加的方法 |
CN105354875A (zh) * | 2015-09-25 | 2016-02-24 | 厦门大学 | 一种室内环境二维与三维联合模型的构建方法和*** |
CN107025657A (zh) * | 2016-01-31 | 2017-08-08 | 天津新天星熠测控技术有限公司 | 一种基于视频图像的车辆行为轨迹检测方法 |
CN106204656A (zh) * | 2016-07-21 | 2016-12-07 | 中国科学院遥感与数字地球研究所 | 基于视频和三维空间信息的目标定位和跟踪***及方法 |
CN107766821A (zh) * | 2017-10-23 | 2018-03-06 | 江苏鸿信***集成有限公司 | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及*** |
CN109062407A (zh) * | 2018-07-27 | 2018-12-21 | 江西省杜达菲科技有限责任公司 | 基于vr技术的远程移动终端三维显控***和方法 |
Non-Patent Citations (3)
Title |
---|
刘光耀等: "基于三维重建的交通流量检测算法", 《中国图象图形学报》 * |
杨平等: "基于视频检测技术的智能隧道交通安全监控***设计", 《计算机应用与软件》 * |
邬领东等: "基于立体视觉的实时三维地图构建", 《传感技术学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706883A (zh) * | 2021-08-12 | 2021-11-26 | 广州大学 | 一种隧道路段安全行车***和方法 |
CN113706883B (zh) * | 2021-08-12 | 2022-11-29 | 广州大学 | 一种隧道路段安全行车***和方法 |
CN113688805A (zh) * | 2021-10-25 | 2021-11-23 | 深圳联和智慧科技有限公司 | 一种基于无人机的无牌渣土车识别方法及*** |
CN116013091A (zh) * | 2023-03-24 | 2023-04-25 | 山东康威大数据科技有限公司 | 基于车流量大数据的隧道监控***与分析方法 |
CN117611438A (zh) * | 2023-12-06 | 2024-02-27 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 一种基于单目图像的2d车道线到3d车道线的重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110176022B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230083343A1 (en) | Distributed processing of pose graphs for generating high definition maps for navigating autonomous vehicles | |
CN110176022A (zh) | 一种基于视频检测的隧道全景监控***及方法 | |
Wang et al. | A point cloud-based robust road curb detection and tracking method | |
Ke et al. | Multi-dimensional traffic congestion detection based on fusion of visual features and convolutional neural network | |
CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
JP2018503160A (ja) | 集合局所フロー記述子(alfd)を使用したニアオンラインマルチターゲットトラッキング | |
Zhang et al. | Monocular visual traffic surveillance: A review | |
CN111402414A (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
CN111402632B (zh) | 一种交叉口行人运动轨迹的风险预测方法 | |
CN111611918B (zh) | 基于航拍数据和深度学习的交通流数据集采集及构建方法 | |
CN106204484A (zh) | 一种基于光流和局部不变特征的交通目标跟踪方法 | |
CN114708293A (zh) | 基于深度学习点线特征和imu紧耦合的机器人运动估计方法 | |
CN111062971B (zh) | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 | |
CN113592905A (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
CN114549990B (zh) | 一种多信息融合的自动驾驶***道路边界构建方法 | |
Prokaj et al. | Using 3d scene structure to improve tracking | |
JP2021128761A (ja) | 道路監視ビデオのオブジェクト追跡装置及び方法 | |
CN114757977A (zh) | 融合改进光流和目标检测网络的移动物体轨迹提取方法 | |
CN114545435A (zh) | 一种融合相机与激光雷达的动态目标感知***及方法 | |
CN117372991A (zh) | 基于多视角多模态融合的自动驾驶方法及*** | |
EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
CN115100565B (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 | |
CN116129386A (zh) | 可行驶区域检测方法、***及计算机可读介质 | |
CN115661786A (zh) | 一种区域预搜索的轨道障碍物小目标检测方法 | |
Nejadasl et al. | Optical flow based vehicle tracking strengthened by statistical decisions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: No.6, Gaoxin 2nd Road, XiXiangTang District, Nanning City, Guangxi Zhuang Autonomous Region Patentee after: Guangxi Jiaoke Group Co.,Ltd. Address before: No.6, Gaoxin 2nd Road, XiXiangTang District, Nanning City, Guangxi Zhuang Autonomous Region Patentee before: GUANGXI TRANSPORTATION RESEARCH & CONSULTING Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |