CN105096591B - 道路智能监控***和方法 - Google Patents
道路智能监控***和方法 Download PDFInfo
- Publication number
- CN105096591B CN105096591B CN201410203668.6A CN201410203668A CN105096591B CN 105096591 B CN105096591 B CN 105096591B CN 201410203668 A CN201410203668 A CN 201410203668A CN 105096591 B CN105096591 B CN 105096591B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- binocular
- monitoring
- image
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000877 morphologic effect Effects 0.000 claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000007621 cluster analysis Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000001419 dependent effect Effects 0.000 abstract 2
- 230000005540 biological transmission Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Abstract
本发明公开了一种道路智能监控***和方法。本发明对车辆进行双目拍摄，对双目拍摄得到的双目图像进行特征提取和匹配、并依据图像特征的匹配关系计算得到车辆的三维信息，从而根据车辆的三维信息即可计算车辆的形态特征参数、并依据形态特征参数进行监控判决，即，实现了基于双目立体视觉的智能道路监控。相比于现有技术中依赖于传感设备的道路智能监控，本发明所实现的基于双目立体视觉的智能道路监控能够脱离传感设备的限制，从而能够实现灵活扩展；而且，相比于现有技术中依赖于单幅图像处理的道路智能监控，本发明所实现的基于双目立体视觉的智能道路监控无需对摄像头进行人工标定、并容易确保高准确度。
Description
技术领域
本发明涉及监控技术，特别涉及一种道路智能监控***、以及一种道路智能监控方法。
背景技术
道路智能监控对于交通疏导及安全有着至关重要的意义。例如：
(1)、当运载超高、超宽集装箱的车辆通过常规检测通道或收费通道时，不仅会造成影响通道的通行速度、甚至造成拥堵，而且还有可能会造成对通道内设施的破坏；
(2)、若非公交车辆在限制时段内违规占用公交专用道，影响公共交通的顺畅；
(3)、对于存在车辆长度或高度限制的特定城市道路和桥梁，长度或高度超出限制的车辆容易发生事故、并对道路和桥梁造成损坏。
如上可见，为了实现有效的道路智能监控，必然需要区分车辆的形态特征，而车辆的三维信息对于形态特征的区分显然是十分重要的。
在现有技术道路智能监控中，对车辆的三维信息的获取主要依靠的是例如雷达、红外传感器等传感设备，或者完全依靠对单幅图像的处理。
然而，当采用传感设备实现三维信息的获取时，三维信息中的各坐标方向上的尺寸需要分别使用不同类型的传感设备。例如，车辆的宽度和高度通常需要采用雷达测距，而车辆的长度则可以采用红外传感器测长。如此一来，就导致了道路智能监控的实现受限于传感设备的类型，从而导致道路智能监控难以灵活扩展。
而当完全依靠对单幅图像的处理实现三维信息的获取时，需要利用实际视场中的几何信息来对摄像头进行现场人工标定。如此一来，不但额外增加了对摄像头的现场人工标定工作、且道路智能监控的准确度完全依赖于对摄像头的人工标定精度，从而导致道路智能监控的实施难度大、且难以保证高准确度。
发明内容
有鉴于此，本发明提供一种道路智能监控***、以及一种道路智能监控方法。
本发明提供的一种道路智能监控***，包括：
平行双目拍摄单元，用于拍摄到达抓拍位置的车辆的双目图像；
图像特征匹配单元，用于从车辆的双目图像中分别提取图像特征点、并对双目图像中提取到的图像特征点进行匹配；
双目视觉计算单元，用于依据双目图像中的图像特征点的匹配关系计算得到车辆的三维信息，所述三维信息包括车辆各位置点在道路坐标系中的三维坐标；
智能逻辑控制单元，用于根据车辆的三维信息计算车辆的形态特征参数、并依据计算得到的形态特征参数进行监控判决，所述形态特征参数包括车辆的长、宽、高中的至少之一；
其中，所述智能逻辑控制单元对所有疑似车辆轮廓的特征点进行聚类分析，根据道路的实际路面高度过滤车辆的阴影干扰点，对所有属于车辆轮廓的特征点在道路坐标系的三个坐标方向Xw、Yw、Zw上分别排序，以及，计算排序后的特征点在坐标方向Yw和Xw上的差值分别得到车辆的长度和宽度、取坐标方向Zw 10％的最大值求平均得到车辆的高度。
可选地，平行双目拍摄单元被配置为拍摄方向朝向车辆的头部或尾部。
可选地，进一步包括抓拍位置感测单元，用于感测到达监控抓拍位置的车辆；以及，当抓拍位置感测单元感测到有车辆到达监控抓拍位置时，平行双目拍摄单元的当前帧被触发选取为该车辆的双目图像。
可选地，进一步包括信息上报传送单元，用于将监控判决的结果和/或车辆的形态特征参数传送至本地网络和/或异地网络。
可选地，进一步包括监控智能应用单元，用于依据来自信息上报传送单元的判决结果和/或车辆的形态特征参数触发对应的智能应用。
优选地，，形态特征参数包括车辆的长、宽、高中的至少之一，以及，智能逻辑控制单元通过判断车辆的形态特征参数是否满足设定的阈值来实现监控判决、并依此给出是否超限的判决状态。
本发明提供的一种道路智能监控方法，包括：
拍摄取到达抓拍位置的车辆的双目图像；
从车辆的双目图像中分别提取图像特征点、并对双目图像中提取的图像特征点进行匹配；
依据双目图像中的图像特征点的匹配关系计算得到车辆的三维信息，所述三维信息包括车辆各位置点在道路坐标系中的三维坐标；
根据车辆的三维信息计算车辆的形态特征参数、并依据计算得到的形态特征参数进行监控判决，所述形态特征参数包括车辆的长、宽、高中的至少之一；
其中，所述根据车辆的三维信息计算车辆的形态特征参数包括：对所有疑似车辆轮廓的特征点进行聚类分析，根据道路的实际路面高度过滤车辆的阴影干扰点，对所有属于车辆轮廓的特征点在道路坐标系的三个坐标方向Xw、Yw、Zw上分别排序，以及，计算排序后的特征点在坐标方向Yw和Xw上的差值分别得到车辆的长度和宽度、取坐标方向Zw 10％的最大值求平均得到车辆的高度。
可选地，双目图像的拍摄方向朝向车辆的头部或尾部。
可选地，进一步包括：感测到达监控抓拍位置的车辆，当感测到有车辆到达监控抓拍位置时，平行双目拍摄的当前帧被触发选取为该车辆的双目图像。
可选地，进一步包括：将监控判决的结果和/或车辆的形态特征参数传送至本地网络和/或异地网络。
可选地，进一步包括：依据传送的判决结果和/或车辆的形态特征参数触发对应的智能应用。
优选地，形态特征参数包括车辆的长、宽、高中的至少之一，以及，监控判决是通过判断车辆的形态特征参数是否满足设定的阈值来实现的、并得到是否超限的判决状态。
如上可见，本发明对车辆进行双目拍摄，对双目拍摄得到的双目图像进行特征提取和匹配、并依据图像特征的匹配关系计算得到车辆的三维信息，从而根据车辆的三维信息即可计算车辆的形态特征参数、并依据形态特征参数进行监控判决，即，实现了基于双目立体视觉的智能道路监控。相比于现有技术中依赖于传感设备的道路智能监控，本发明所实现的基于双目立体视觉的智能道路监控能够脱离传感设备的限制，从而能够实现灵活扩展；而且，相比于现有技术中依赖于单幅图像处理的道路智能监控，本发明所实现的基于双目立体视觉的智能道路监控无需对摄像头进行人工标定、并容易确保高准确度。
进一步地，本发明所实现的基于双目立体视觉的智能道路监控还可以支持监控信息的远程上报和远程应用。
附图说明
图1为本发明实施例中的道路智能监控***的示例性架构示意图；
图2为平行双目立体视觉的成像原理示意图；
图3为一种图像坐标系的示意图；
图4为摄像机的一种成像几何模型的示意图；
图5为摄像机坐标系和道路坐标系之间的一种关系示意图；
图6为本发明实施例中的道路智能监控方法的示例性流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
请参见图1，本实施例中的道路智能监控***包括：平行双目拍摄单元10、图像特征匹配单元20、双目视觉计算单元30、智能逻辑控制单元40、信息上报传送单元50、监控智能应用单元60。
平行双目拍摄单元10用于拍摄到达抓拍位置S的车辆的双目图像。
在本实施例中，平行双目拍摄单元10包含光轴相互平行、且存在公共可视区域的一对摄像机。平行双目的立体视觉成像原理示可以参见图2。如图2可见，一对摄像机中的每一个都有对应的一个摄像机坐标系(在分别表示为x-y-z和x’-y’-z’)，其中一个摄像机的摄像机坐标系为基坐标系；每个摄像机的摄像机坐标系原点O和O’均在对应该摄像机的镜头光心处；并且，该对摄像机的投影中心C和C’之间的连线长度B表示该对摄像机之间的基线距；以及，所检测的运动目标M(即车辆)位于两个摄像头的公共可视区域内。
进一步优选地，每个平行双目拍摄单元10中还可以包括例如闪光灯等拍摄辅助部件。
需要说明的是，图1中示出的两个平行双目拍摄单元10均是沿着车辆的行驶方向实现双目拍摄；并且，在图1中示出的两个平行双目拍摄单元10中，其中一个架设在道路的抓拍位置S的一端、并被配置为拍摄方向朝向车辆的头部，另一个则架设在道路的抓拍位置S的另一端、并被配置为在另一侧道路拍摄方向朝向车辆的尾部。但是，图1中所示出的两个平行双目拍摄单元10上述排布方式仅仅是一种布局架构的优选方式、而非必须。
在实际应用中，若采用沿车辆的行驶方向实现双目拍摄的方式，可以只在道路的任一端架设一个平行双目拍摄单元10、并被配置为拍摄方向朝向车辆在该道路行驶时的头部或尾部。进一步地，对于双向道路来说，在每个行驶方向上，均可以只架设一个平行双目拍摄单元10、并被配置为路拍摄方向朝向车辆在该行驶方向上的头部或尾部，或者，也可以在每个行驶方向上都按照如图1所示的方式架设两个平行双目拍摄单元10。当然，在与车辆的行驶方向呈任意倾斜角度的任意方向上，同样能够实现双目拍摄，本实施例就不再一一列举。
另外，本实施例中的道路智能监控***还可以包括抓拍位置感测单元，该抓拍位置感测单元用于感测到达监控抓拍位置S的车辆；相应地，当抓拍位置感测单元感测到有车辆到达监控抓拍位置S时，平行双目拍摄单元10拍摄到的当前帧被触发选取为该车辆的双目图像。
图像特征匹配单元20用于从车辆的双目图像中分别提取图像特征点、并对双目图像中提取到的图像特征点进行匹配。
其中，本文所述的图像特征点相比于像素灰度特征、色彩特征、区域特征、纹理特征、轮廓特征、边缘特征、角点特征等更为稳定、且旋转不变并能够克服灰度反转。例如，SIFT(Scale-invariant feature transform，尺度不变特征转换)特征点，或者，计算速度高于SIFT特征点的SURF(speeded up robust features，加速尺度不变特征)特征点。
实际应用中，图像特征点优选SURF特征点，相应地，当选用SURF特征点时，图像特征点的提取过程主要包括积分图像计算、快速海森矩阵检测(其中具体包括海森矩阵计算、尺度空间构建、以及兴趣点检测及精确定位)、以及兴趣点描述(包括方向分配和64位描述符的生成)。
双目视觉计算单元30用于依据双目图像中的图像特征点的匹配关系计算得到车辆的三维信息。
具体说，双目视觉计算包括以下几个过程：分别针对平行双目拍摄单元10中的每台摄像机的图像坐标量纲化、分别针对平行双目拍摄单元10中的每台摄像机的投影变换线性化、以及联立平行双目拍摄单元10中的两台摄像机的道路坐标转换。下面，分别对这几个过程进行详细说明。
对于图像坐标量纲化，请参见图3。如图3所示，图像中通常都定以有以为O0原点的u-o-v直角坐标系，每一个像素在u-o-v直角坐标系中的位置坐标(u,v)分别表示该像素在图像的像素阵列中的所在列与行。即，位置坐标(u,v)是以像素行列位置为单位的坐标、而不具有物理量纲。因此，需要建立物理量纲化的图像坐标系，该图像坐标系以图像内的任一设定点O1为原点，表示长度单位(例如以毫米为单位)的x轴和y轴分别与表示列位置和行位置的u轴和v轴平行。
其中，对于平行双目拍摄单元10中的每一台摄像机来说，其物理量纲化的图像坐标系x-o-y中，原点O1定义在该摄像机的光轴与图像平面的交点处，通常情况下，该焦点一般位于图像的中心处，但由于摄像机的制作原因，有时也会存在些偏差。
基于上述的坐标系定义方式，若图像坐标系x-o-y的原点O1在u-o-v中对应的位置坐标为(u0,v0)、并设定每一个像素在x轴与y轴方向上的长度坐标分别为dx和dy，则图像中任一个像素在两个坐标系下的坐标有如下关系：
并且，上述关系可以用齐次坐标与矩阵的形式表示为：
相应地，逆关系可以表示为：
对于投影变换线性化，请参见图4。图4中示出了摄像机的一种成像几何模型，其中Oe点称为摄像机的光心，Xe轴和Ye轴与图像平面中的x轴与y轴平行，Ze轴为摄像机的光轴、并与图像平面垂直，作为光轴的Ze轴与图像平面的交点即为图像平面中的坐标系x-o-y的原点O1。由摄像机的光心点Oe与Xe轴、Ye轴、Ze轴组成的直角坐标系称为摄像机坐标系，Oe与O1之间的距离为摄像机的焦距f。
当用摄像机拍摄车辆时，车辆的实际坐标与拍摄到的图像之间存在透视投影关系，由相似三角形可得：
或者，
其中，-ze表示深度、表示缩小比例、表示放大比例。
由于透视投影只能保证图像中的像点与投影线之间的一一对应、一条投影线上的所有空间点会对应图像中的同一个像点，因此，投影过程实际上会丢失空间点的深度信息，为此，就需要通过联立两台摄像机的透视投影关系才能测量车辆的深度信息。
具体说，为了得到车辆的深度信息，需要将投影变换线性化。本实施例中，为了将投影变换线性化，引进了齐次坐标系，相应地，空间坐标为V的空间点投影形成的像点坐标Vp即可表示为：
其中，V＝[wxe,wye,wze,w]T，w为归一化因子、归一的空间坐标V＝[xe ye ze]T；P为投影矩阵，s为缩放因子、并在归一化后去除。
由此，即可得到像点的笛卡尔坐标：
相应地，其逆投影变换如下：
通过像点的笛卡尔坐标，即可计算得空间点在摄像机坐标系下的位置坐标，该位置坐标可以表示为：
将上式中的w消除后，空间点在摄像机坐标系下的位置坐标即可表示为：
基于上式可知，经过齐次坐标变换后的投影关系与相似三角关系得到的结论一致。其中，(x,y)是图像平面内的已知位置坐标，而ze则可以看作参变量，因此，利用平行双目拍摄单元中的两台摄像机对应的上述表达式进行联立求解，即可得到空间点在作为基坐标系的一个摄像机坐标系中的三维位置坐标(xe,ye,ze)。此后，就需要将摄像机坐标系中的三维位置坐标转换为道路坐标系中的三维位置坐标。
对于道路坐标系转换，请参见图5。图5中示出了摄像机坐标系与道路坐标系之间的关系，关系可用旋转矩阵R与平移向量t来描述，相应地，图5中示出的摄像机坐标系与道路坐标系之间的关系就可以表示为：
其中，R为3×3的正交单位矩阵，t为三维平移向量，M1为4×4的矩阵。实际应用中，在平行双目拍摄单元完成架设后，可以先自动检测道路的车道线，以计算出当前道路的实际路面在摄像机坐标系下的三维坐标，从而自动计算出摄像机坐标系和道路坐标系之间的旋转矩阵R与平移向量t、并以道路的实际路面高度作为Zw方向的起始点。
通过上式，即可得到空间点在道路坐标系中的三维坐标，而这里所述的空间点，也就是车辆的各部分的位置点。因此，包含车辆各位置点在道路坐标系中的三维坐标的信息，就是前文所述的车辆的三维信息。
智能逻辑控制单元40用于根据车辆的三维信息计算车辆的形态特征参数，例如车辆的长、宽、高中的至少之一，并依据计算得到的形态特征参数进行监控判决，例如判断车辆的形态特征参数是否满足设定的阈值、并依此给出是否超限的判决状态。其中，此处所提及的阈值可以通过人工标定测量得到、或者由经验值给定、或通过基于图像处理的测量计算得到。
实际应用中，以车辆的形态特征参数同时包含车辆的长、宽、高为例，在根据车辆的三维信息计算车辆的形态特征参数时，可以先对所有疑似车辆轮廓的特征点进行聚类分析，并根据道路的实际路面高度等已知信息过滤车辆的阴影干扰点，然后对所有属于车辆轮廓的特征点在三个坐标方向Xw、Yw、Zw上分别排序。
相应地，车辆的长度可以由车辆轮廓的前端面和后端面处的特征点确定，计算排序后的特征点在Yw方向上的差值可得；同理，车辆的宽度可由排序后的特征点在Xw方向的差值计算得到；而对于车辆的高度，考虑到车底不可见和存在孤立点误差的情况，取Zw方向10％的最大值求平均，认为该平均值是车辆的高度。
而且，将每辆被监控车辆的长度、宽度以及高度可以形成该车辆对应的一个形态特征参数组。
信息上报传送单元50用于将监控判决的结果(例如是否超限的判决状态)、和/或车辆的形态特征参数传送至本地网络和/或异地网络。
其中，对于向本地网络的传送，可以通过交换设备60传送至本地网络中的服务器70；而对于向异地网络的传送，则可以通过交换设备60并借助光纤收发器80实现传送、且传送的目的地可以为异地网络的监控平台。而具体的传送方式，可以根据用户类型、***规模、覆盖面积、信号传输距离、信息容量等指标要求来任意选定。
监控智能应用单元60可以位于本地网络的服务器中、也可以位于异地网络的监控平台，并用于在本地网络的服务器或异地网络的监控平台依据判决结果、和/或车辆的形态特征参数触发对应的智能应用。例如，对确认超限的车辆进行标注抓拍；再例如，结合采集到的当前道路的车道通行状况，在车辆进入特定道路之前及时提醒驾驶员、使其能够从允许超限车辆通行的特殊车道通行。
而且，通过在本地网络或异地网络的智能应用，还可以辅助车辆检索，为交管部门和公安部门追查肇事违章车辆提供极大的便利。例如，如果判决超限，则监控平台可以将判决结果告知超限车辆的驾驶员，并可以进一步提供语音和/或文字建议，如建议改驾驶员改道等；和/或，可以将判决结果告知交管等相关部门工作人员，并可以进一步提供语音和/或文字建议，如建议相关部门工作人员关闭匝道等。
在本实施例中，双目视觉计算单元30、智能逻辑控制单元40、信息上报传送单元50、以及监控智能应用单元60可分别以例如物理芯片等独立硬件的形态存在，或者，也可以软件的形态存在、并承载于例如CPU等处理器中。另外，信息上报传送单元50和监控智能应用单元60为可选的功能单元。
以上是对本实施例中的道路智能监控***的详细说明。除了该道路智能监控***之外，本实施例还提供了一种道路智能监控方法。
请参见图6，该道路智能监控方法包括：
步骤600，拍摄到达抓拍位置的车辆的双目图像。其中，本步骤优选地采用沿车辆的行驶方向实现双目拍摄的方式，此时，双目图像的拍摄方向可以朝向车辆的头部或尾部；并且，本步骤可以感测到达监控抓拍位置的车辆，并在感测到有车辆到达监控抓拍位置时，将平行双目拍摄的当前帧触发选取为该车辆的双目图像
步骤601，从车辆的双目图像中分别提取图像特征点、并对双目图像中提取的图像特征点进行匹配。其中，本步骤提取并匹配的特征点，可以为SIFT特征点，或者，计算速度高于SIFT特征点的SURF特征点。
步骤602，依据双目图像中的图像特征点的匹配关系计算得到车辆的三维信息。其中，本步骤执行的双目视觉计算包括以下几个过程：如前文所述的分别针对每台摄像机的图像坐标量纲化、如前文所述的分别针对每台摄像机的投影变换线性化、以及如前文所述的联立两台摄像机的道路坐标转换。
步骤603，根据车辆的三维信息计算车辆的形态特征参数，例如车辆的长、宽、高等，并依据计算得到的形态特征参数进行监控判决，例如判断车辆的形态特征参数是否满足设定的阈值、并依此给出是否超限的判决状态。其中，本步骤中所提及的阈值可以通过人工标定测量得到、或者由经验值给定、或通过基于图像处理的测量计算得到。
实际应用中，本步骤在根据车辆的三维信息计算车辆的形态特征参数时，可以先对所有疑似车辆轮廓的特征点进行聚类分析，并根据道路的实际路面高度等已知信息过滤车辆的阴影干扰点，然后对所有属于车辆轮廓的特征点在三个坐标方向上分别排序，并按照前文所述的方式，依据不同坐标方向上排序的特征点的位置差值或比例平均值来确定车辆的长、宽、高。而且，将每辆被监控车辆的长度、宽度以及高度可以形成该车辆对应的一个形态特征参数组。
步骤604，将监控判决的结果(例如是否超限的判决状态)、和/或车辆的形态特征参数传送至本地网络和/或异地网络。其中，对于向本地网络的传送，可以通过交换设备传送至本地网络中的服务器；而对于向异地网络的传送，则可以通过交换设备并借助光纤收发器实现传送、且传送的目的地可以为异地网络的监控平台。而具体的传送方式，可以根据用户类型、***规模、覆盖面积、信号传输距离、信息容量等指标要求来任意选定。
步骤605，依据判决结果、和/或车辆的形态特征参数触发对应的智能应用。例如，对确认超限的车辆进行标注抓拍；再例如，结合采集到的当前道路的车道通行状况，在车辆进入特定道路之前及时提醒驾驶员、使其能够从允许超限车辆通行的特殊车道通行。
实际应用中，本步骤可以在本地网络或异地网络执行。而且，通过在本地网络或异地网络的智能应用，还可以辅助车辆检索，为交管部门和公安部门追查肇事违章车辆提供极大的便利。例如，如果判决超限，则监控平台可以将判决结果告知超限车辆的驾驶员，并可以进一步提供语音和/或文字建议，如建议改驾驶员改道等；和/或，可以将判决结果告知交管等相关部门工作人员，并可以进一步提供语音和/或文字建议，如建议相关部门工作人员关闭匝道等。
需要说明的是，上述步骤604～605为可选的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (12)
1.一种道路智能监控***，其特征在于，包括：
平行双目拍摄单元，用于拍摄到达抓拍位置的车辆的双目图像；
图像特征匹配单元，用于从车辆的双目图像中分别提取图像特征点、并对双目图像中提取到的图像特征点进行匹配；
双目视觉计算单元，用于依据双目图像中的图像特征点的匹配关系计算得到车辆的三维信息，所述三维信息包括车辆各位置点在道路坐标系中的三维坐标；
智能逻辑控制单元，用于根据车辆的三维信息计算车辆的形态特征参数、并依据计算得到的形态特征参数进行监控判决，所述形态特征参数包括车辆的长、宽、高中的至少之一；
其中，所述智能逻辑控制单元对所有疑似车辆轮廓的特征点进行聚类分析，根据道路的实际路面高度过滤车辆的阴影干扰点，对所有属于车辆轮廓的特征点在道路坐标系的三个坐标方向Xw、Yw、Zw上分别排序，以及，计算排序后的特征点在坐标方向Yw和Xw上的差值分别得到车辆的长度和宽度、取坐标方向Zw 10％的最大值求平均得到车辆的高度。
2.根据权利要求1所述的道路智能监控***，其特征在于，平行双目拍摄单元被配置为拍摄方向朝向车辆的头部或尾部。
3.根据权利要求1所述的道路智能监控***，其特征在于，进一步包括抓拍位置感测单元，用于感测到达监控抓拍位置的车辆；以及，当抓拍位置感测单元感测到有车辆到达监控抓拍位置时，平行双目拍摄单元的当前帧被触发选取为该车辆的双目图像。
4.根据权利要求1所述的道路智能监控***，其特征在于，进一步包括信息上报传送单元，用于将监控判决的结果和/或车辆的形态特征参数传送至本地网络和/或异地网络。
5.根据权利要求4所述的道路智能监控***，其特征在于，进一步包括监控智能应用单元，用于依据来自信息上报传送单元的判决结果和/或车辆的形态特征参数触发对应的智能应用。
6.根据权利要求1至5中任一项所述的道路智能监控***，其特征在于，智能逻辑控制单元通过判断车辆的形态特征参数是否满足设定的阈值来实现监控判决、并依此给出是否超限的判决状态。
7.一种道路智能监控方法，其特征在于，包括：
拍摄到达抓拍位置的车辆的双目图像；
从车辆的双目图像中分别提取图像特征点、并对双目图像中提取的图像特征点进行匹配；
依据双目图像中的图像特征点的匹配关系计算得到车辆的三维信息，所述三维信息包括车辆各位置点在道路坐标系中的三维坐标；
根据车辆的三维信息计算车辆的形态特征参数、并依据计算得到的形态特征参数进行监控判决，所述形态特征参数包括车辆的长、宽、高中的至少之一；
其中，所述根据车辆的三维信息计算车辆的形态特征参数包括：对所有疑似车辆轮廓的特征点进行聚类分析，根据道路的实际路面高度过滤车辆的阴影干扰点，对所有属于车辆轮廓的特征点在道路坐标系的三个坐标方向Xw、Yw、Zw上分别排序，以及，计算排序后的特征点在坐标方向Yw和Xw上的差值分别得到车辆的长度和宽度、取坐标方向Zw 10％的最大值求平均得到车辆的高度。
8.根据权利要求7所述的道路智能监控方法，其特征在于，双目图像的拍摄方向朝向车辆的头部或尾部。
9.根据权利要求7所述的道路智能监控方法，其特征在于，进一步包括：感测到达监控抓拍位置的车辆，当感测到有车辆到达监控抓拍位置时，平行双目拍摄的当前帧被触发选取为该车辆的双目图像。
10.根据权利要求9所述的道路智能监控方法，其特征在于，进一步包括：将监控判决的结果和/或车辆的形态特征参数传送至本地网络和/或异地网络。
11.根据权利要求10所述的道路智能监控方法，其特征在于，进一步包括：依据传送的判决结果和/或车辆的形态特征参数触发对应的智能应用。
12.根据权利要求7至11中任一项所述的道路智能监控方法，其特征在于，监控判决是通过判断车辆的形态特征参数是否满足设定的阈值来实现的、并得到是否超限的判决状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410203668.6A CN105096591B (zh) | 2014-05-14 | 道路智能监控***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410203668.6A CN105096591B (zh) | 2014-05-14 | 道路智能监控***和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105096591A CN105096591A (zh) | 2015-11-25 |
| CN105096591B true CN105096591B (zh) | 2018-06-01 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101140701A (zh) * | 2007-10-18 | 2008-03-12 | 张荣楠 | 自动控制超限车辆通行*** |
| CN201345166Y (zh) * | 2008-12-26 | 2009-11-11 | 北京工业大学 | 视频通道车辆检测器 |
| CN102044155A (zh) * | 2009-10-20 | 2011-05-04 | 西安费斯达自动化工程有限公司 | 基于fpga的车辆外形尺寸图像检测分析装置 |
| CN102230798A (zh) * | 2011-04-12 | 2011-11-02 | 清华大学 | 基于双目视觉的便携式无标尺交通事故现场快速勘查*** |
| CN202454078U (zh) * | 2012-02-27 | 2012-09-26 | 上海理工大学 | 一种道路车辆检测装置 |
| CN103164958A (zh) * | 2011-12-15 | 2013-06-19 | 无锡中星微电子有限公司 | 车辆监控方法及*** |
| CN203365452U (zh) * | 2013-05-02 | 2013-12-25 | 中国计量学院 | 基于双目立体视觉的车速检测*** |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101140701A (zh) * | 2007-10-18 | 2008-03-12 | 张荣楠 | 自动控制超限车辆通行*** |
| CN201345166Y (zh) * | 2008-12-26 | 2009-11-11 | 北京工业大学 | 视频通道车辆检测器 |
| CN102044155A (zh) * | 2009-10-20 | 2011-05-04 | 西安费斯达自动化工程有限公司 | 基于fpga的车辆外形尺寸图像检测分析装置 |
| CN102230798A (zh) * | 2011-04-12 | 2011-11-02 | 清华大学 | 基于双目视觉的便携式无标尺交通事故现场快速勘查*** |
| CN103164958A (zh) * | 2011-12-15 | 2013-06-19 | 无锡中星微电子有限公司 | 车辆监控方法及*** |
| CN202454078U (zh) * | 2012-02-27 | 2012-09-26 | 上海理工大学 | 一种道路车辆检测装置 |
| CN203365452U (zh) * | 2013-05-02 | 2013-12-25 | 中国计量学院 | 基于双目立体视觉的车速检测*** |
Non-Patent Citations (1)
| Title |
|---|
| 汽车整车尺寸机器视觉测量***的研究;苏建等;《公路交通科技》;20070430;第24卷(第4期);第145-149页 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086650B (zh) | 校准方法和校准设备 | |
| EP3057063B1 (en) | Object detection device and vehicle using same | |
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| CN109583267A (zh) | 车辆用目标检测方法、车辆用目标检测装置和车辆 | |
| US8373751B2 (en) | Apparatus and method for measuring location and distance of object by using camera | |
| CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
| JP4341564B2 (ja) | 対象物判定装置 | |
| US10015394B2 (en) | Camera-based speed estimation and system calibration therefor | |
| CN106289159B (zh) | 基于测距补偿的车辆测距方法及装置 | |
| WO2019238127A1 (zh) | 一种测距方法、装置及*** | |
| CA2975139A1 (en) | Stereo camera system for collision avoidance during aircraft surface operations | |
| CN105043350A (zh) | 一种双目视觉测量方法 | |
| US20150377607A1 (en) | Sensor system for determining distance information based on stereoscopic images | |
| JP6035620B2 (ja) | 車載ステレオカメラシステム及びそのキャリブレーション方法 | |
| US10163341B2 (en) | Double stereoscopic sensor | |
| CN110088801A (zh) | 可行驶区域检测装置以及行驶辅助*** | |
| CN111996883A (zh) | 一种检测公路路面宽度的方法 | |
| JP2018097782A5 (zh) | ||
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP2006234682A (ja) | 対象物判定装置 | |
| KR20180061803A (ko) | 도로면 폐색 영역 복원 장치 및 방법 | |
| CN114620030A (zh) | 泊车性能测试方法、装置、服务器及产品 | |
| CN105096591B (zh) | 道路智能监控***和方法 | |
| JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
| CN112384952A (zh) | 一种相机的标定方法、标定装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190613 Address after: 201203 2nd Floor, No. 77-78, 887 Lane, Zuchong Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai Patentee after: Gaodewei Intelligent Traffic System Co., Ltd., Shanghai Address before: 310053 Haikang Science and Technology Park, 555 Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou Hikvision Digital Technology Co., Ltd. |