CN103824452A - 一种轻量级的基于全景视觉的违章停车检测装置 - Google Patents

Abstract

一种轻量级的基于全景视觉的违章停车检测装置，包括用于获取大范围监控区域的视频图像的全景视觉传感器和用于对视频图像进行理解分析并进行违章停车检测的微处理器。高清摄像机通过视频接口与微处理器连接，对道路上的车辆进行实时视觉检测，当检测到视觉检测范围内存在有违章停车行为时，通过语音播放单元告知或警示违章停车司机不要违章停车，对于停车时间超过规定的时间阈值后，***对该违章车辆进行抓拍，并自动生成一条违章停车记录。本发明采用以点代面的视频图像检测方法来减少空间冗余，实现了轻量级的违章停车的视觉检测。

Description

一种轻量级的基于全景视觉的违章停车检测装置

技术领域

本发明属于全景视觉传感器技术、计算机视觉技术、图像识别技术和网络通信技术在智能交通领域中的应用，尤其是道路违章停车检测方面的应用。 

背景技术

随着我国国民经济的快速发展，机动车数量的激增，导致了交通需求增长过快而引发的诸如交通阻塞等一系列问题，其中机动车违法停车现象是造成交通阻塞的一个重要因素。 

据交管部门调查，机动车违法停车主要有五大危害：一是违法停车成交通拥阻源头。二是违法停车成刮蹭交通事故祸首。据统计，因违法停车引发的车辆刮蹭事故占这类事故的38%。三是违法停车成被盗目标。四是违法停车成乱鸣号和车辆逆行诱因。五是违法停车成人行道通行障碍。 

关于对违法停车进行处罚涉及的法律主要是《行政处罚法》和2004年5月施行的《道路交通安全法》。《道路交通安全法》有三个条款对违法停车进行了规定。摘要如下：56条“机动车应当在规定地点停放。禁止在人行道上停放机动车；但是，依照本法第三十三条规定施划的停车泊位除外。在道路上临时停车的，不得妨碍其他车辆和行人通行。”33条“在城市道路范围内，在不影响行人、车辆通行的情况下，政府有关部门可以施划停车泊位。”93条“对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，可以指出违法行为，并予以口头警告，令其立即驶离。机动车驾驶人不在现场或者虽在现场但拒绝立即驶离，妨碍其他车辆、行人通行的，处二十元以上二百元以下罚款。 

目前的处理方式是，机动车违法临时停车，交警或城管人员将依法指出违法并予以口头警告，责令违法停车人立即驶离；违法停车人拒绝立即驶离或拒不驶离，交警可现场给予处罚；机动车违法临时停车驾驶人不在现场，交警将采取摄录取证方式处罚，执法交警离开摄录现场前，违法停车人返回且认可违法事实、愿意接受处罚，交警可当场处罚；交警对违法临时停车人不在现场采取摄录取证方式处罚时，应填写《违法停车处理通知单》夹放在机动车前风挡玻璃雨刷器下，选择适当角度拍摄显示机动车牌号、已被放置《违法停车处理通知单》、违法停放地点禁停标志或能明确违法停放地点标志性物体、 拍摄日期和时间等画面照片，并应及时将拍摄取证资料交交警支队保存并据此对违法停车行为人实施处罚；交警摄录取证资料交交警支队前，违法停车行为人已到交警支队接受处罚并对违法事实无异议，可根据《违法停车处理通知单》处罚；违法停车行为人对交通违法事实有异议，交管部门应告知当事人待摄录资料录入***后再接受违法行为处理。违法停车处罚标准为：依据《道路交通安全法》规定，违法停放机动车适用非现场处罚，对司机或机动车所有人处200元罚款并记2分；违法临时停车，司机拒不驶离，可适用现场处罚对司机处200元罚款并记2分；对非机动车违法停车行为人或车辆所有人予以警告或处20元罚款。 

但是目前的违章停车处理执法在技术方面存在着一些弊病，造成了政府执法与群众违法行为之间的对立，产生了社会的不和谐，引起了社会的高度关注。有些人提出“交通执法的目的是为了引导市民遵守交通规则，应以批评教育为主、处罚为辅，不能以罚代管，把罚款当做创收手段。”又有些人提出对初次轻微违章者，应以批评教育和警告为主；对第二次轻微违章者，可尝试罚款一半；对第三次轻微违章者，再全额罚款。“让驾驶员感受到执法者确实是为了维护交通秩序，而不是为了创收。”但是要实现这个目标很大程度上需要高新技术手段的支撑。 

首先执法者与停车违法者的主体都是人，面对着执法者每天24小时监视是否有违章停车不是一件容易的事，另外执法者违法停车处理中要使得对停车违法者处理结果心服、口服，按照这种人性化的处理方式需要执法者极大的努力与耐心，往往会超过执法者的工作极限；另一方面，停车违法者心痛钱是一方面，更主要的是不理解交警的这种执法方式。不少人认为执法人员的执法行为存在多处程序违法：一、法律没有禁止的，就是允许的，自己停放车辆处没有明显的禁停标志，自己在那里停车无过错；二，即使自己属乱停车辆，执法局在处罚过程中也应按法定程序处理。上述问题的焦点是执法人员和被处罚的当事人的某一方缺位时所引起的；而每个违章停车事件发生时，要求执法者与停车违法者都在现场，操作上是难以实现的。这里就需要一个中间代理，使得执法者与试图违章停车者之间的信息对称。当试图违章停车者想停放车辆时中间代理能及时告知司机该处是不能停放车辆的，使得司机有知情权；中间代理继续监视，如果检测到该被告知司机仍然无视劝告进行违章停车，中间代理就进行取证，以便后面根据事实进行处罚，同时在检测到有违章停车的第一时间内各种网络手段通知执法人员尽快进行处理，由于有了违章停车证据，即使执法人员不在现场的情况下，也能由中间代理维护交通秩序，同时在技术手段上可保证给被处罚的司机有陈述和申辩机会。 

因此，智能化地检测违章停放的车辆，尤其是路边违章停车检测技术得到了政府相关部门的关注。对于全天候、高精度、智能化的违章停车检测是一项具有挑战性的研究工作。 

随着19世纪60年代，智能交通的兴起，很多城市享受到了它带给人们的便利和快捷，它带来的可观的经济效益和社会效益这已经是不需争议的事实。智能交通***（Intelligent Transportation System，简称ITS）将先进的信息技术、数据通讯传输技术、电子控制技术以及计算机处理技术等有效地综合运用于整个运输管理体系,使人、车、路及环境密切配合、和谐统一,从而建立起一种在大范围内、全方位发挥作用的实时、准确、高效的综合管理***。 

在智能交通***的研究中，视频检测技术是新兴起的技术，能够克服传统检测技术的缺陷，具有很好的发展前景。视频检测技术具有以下优点：1)检测范围广；通常一台摄像机可以对大面积道路上的违章车辆进行检测，能降低***成本；2)路面友好，便于维护；摄像机安装在道路的上方，因此安装及维护不会对道路进行损坏；3)可视化；能够将实时图像传输给管理者，实现监控的功能；4）具有良好的先进性、可扩展性、可持续发展性等。因此，视频停车检测和分析技术是未来违章停车检测技术发展的一种新趋势。 

中国发明专利，专利申请号：201310020965.2公开了一种检测违章停车的方法，包括：检测视频图像内存在运动图像的区域；提取该运动图像的区域的特征点；如果所述提取的特征点与预先记录的一组基准特征点匹配成功，则确定存在违章停车。这种视频违章停车检测方法主要存在着计算量大和检测精度不高等问题。 

中国发明专利，专利申请号：201310020978.X公开了一种违章停车检测方法，包括步骤：指定采集的视频序列中的每帧图像的禁停区域；进行前景检测，检测出前景中的目标；跟踪检测到的目标，判断是否有目标进入所述禁停区域，是，则绘制禁停区域内的颜色直方图，否，则继续判断；监测所述颜色直方图的发生变化后持续的时长，判断该时长是否大于预设时间，是，则判定在禁停区域内有违章停车，否，则判定在禁停区域内没有违章停车。这种视频违章停车检测方法主要存在着计算量大和误检等问题，同时也不适用于道路上的违章停车检测。 

中国发明专利，专利申请号：201210011198.4公开了一种基于视频监控的违章停车检测方法，包括：步骤1：利用码本模型对相机拍摄的视频序列进行背景建模，采用背景减除法得到前景似然信息图像；步骤2：滤除前景似然信息图像中其它运动目标对待监控车辆的干扰；步骤3：利用违章停车判决算法对前景似然信息图像中的待监控车辆进行智能判决，当待监控车辆出现违停现象时发出报警。这种 视频违章停车检测方法主要存在着计算量大和道路背景建模困难等问题。 

中国发明专利，专利申请号：200710164480.5公开了一种基于计算机视觉的违章停车检测装置,包括用于获取监控区域的视频图像的全方位视觉传感器、用于抓拍违章停车车辆详细局部图像信息的快速球摄像机以及用于对视频图像进行理解分析并进行违章停车检测的微处理器,微处理器通过大范围监控视觉传感器与快速球摄像装置之间的映射关系将该违章停车的车辆空间位置信息指示快速球摄像装置对该违章车辆进行抓拍,然后对所抓拍的违章整体图像进行车牌识别,得到该违章车辆的车牌号,接着通过语音播放单元警示违章停车司机不要违章停车,在警示劝说不起作用的情况下,***自动生成一条违章停车记录。这种视频违章停车检测方法主要缺陷是计算量大以及不适用于在道路上的违章停车检测。 

中国发明专利，专利申请号：201310004419.X公开了一种基于视频的违章停车检测方法及装置，该方法通过获取对待检测区域进行检测的视频信息，根据该视频信息判断当前该待检测区域是否存在运动前景；当该待检测区域存在运动前景时，进行车辆识别获取在该待检测区域停放的车辆信息；按照设定的时间间隔获取对待检测区域进行检测的视频信息，在该待检测区域内进行车牌识别获取在该待检测区域内停放的车辆的信息；根据每个时间间隔获取的车辆信息，及设定的停车时间阈值，将满足该阈值的车牌作为违章停车的车牌。这种视频违章停车检测方法主要缺陷也是计算量过大以及不适用于在道路上的违章停车检测。 

综合上述已有技术研究发现，现有的视觉检测方法通常需要对摄像机获得的整幅图像进行背景建模、灰度化处理、边缘检测或者前景检测等全局性处理，这种对海量视频数据处理方式势必会影响到检测的实时性，需要花费大量的存储资源和计算资源；对于实现违停检测装置小型轻量化来说具有很大的难度。 

为了实现对路边违章停放车辆的快速检测，及满足检测***的小型化、低功耗和轻量级的需求，必须寻求一种检测范围广、计算量小、抗干扰能力强的轻量级的违章停放车辆的检测***。 

发明内容

本发明针对目前违章停车视频检测方法中存在的一些问题，提出了一种轻量级的基于全景视觉的违章停车检测装置。所采用的技术方案是： 

一种轻量级的基于全景视觉的违章停车检测装置，包括用于获取监控区域的视频图像的全景视觉传感器和用于对视频图像进行理解 分析并进行违章停车检测的微处理器；所述的视觉传感器通过所述的视频接口与所述的微处理器连接，微处理器通过大范围监控全景视觉传感器对道路上的车辆进行实时视觉检测，当检测到视觉检测范围内存在有违章停车行为时，通过语音播放单元告知或警示违章停车司机不要违章停车，对于停车时间超过规定的时间阈值后，***对该违章车辆进行抓拍，并自动生成一条违章停车记录，违章停车记录中包含有违章车辆照片、违章时间和地点的违章停车记录通过网络发送给交通管理部门的违章处理服务器，违章处理服务器对所抓拍的违章车辆整体图像进行车牌识别，分析得到该违章车辆的车牌号，并按照违章处理单的格式要求自动生成违章停车处理单，最后提醒管理人员确认处理；所述的微处理器包括： 

全景图像数据获取模块，用于读取从全景摄像装置获取的视频图像信息； 

全景视觉传感器的标定和路边车道的定制模块，用于定制所监控的道路上的禁止停车区域并建立一种空间的实物图像与所获得的视频图像的对应关系； 

采样点的自动生成、灰度值检查及采样点位置微调模块，用于对定制好的路边车道范围内自动生成空间均匀的采样点，对生成的采样点灰度值进行一致性检查，对偏离灰度值的采样点进行空间位置调整； 

存在采样点检测单元，用于对路边车道上的前景对象进行检测，具体采用背景差法从采样点图像中检测出反映车辆在路边车道空间分布状况的存在采样点； 

静止存在采样点检测模块，用于检测路边车道上的静止存在采样点；利用存在采样点和移动采样点的时空关系，得到路边车道上的反映静止前景对象的静止存在采样点； 

基于采样点的违章车辆检测模块，用于检测道路上存在着的违章停车车辆；对静止存在采样点进行处理得到静止存在块，进而对其进行车辆模板的匹配，如果匹配成功就初步判定为在道路上存在有静止车辆；如果检测出道路上存在着静止车辆，根据该静止车辆的空间位置，检测该静止车辆的前方是否有静止物体以及检测静止车辆在道路上的空间位置，如果静止车辆处于道路的路边附近以及静止车辆前方不存在着静止物体，并且该静止车辆的停留时间超过规定的时间阈值，就判定为可疑的违章停放车辆； 

违章车辆的身份识别模块，用于识别违章停车的车辆车牌号并为后续依法对该车辆违章处理过程中违章车辆信息检索的主键；该模块运行在交通管理部门的违章处理服务器上； 

为了达到能监视到监控场景内尽可能大的范围视频信息，本发明 的一种解决方案是采用全景视觉传感器，全景视觉传感器由两片成夹角的镜面以及镜头正朝着镜面的摄像机构成；两片镜面之间的夹角为180°-2γ，两片镜面在正视图上的宽度值为W、在侧视图上的高度值为R，两片镜面的宽度值W和高度值R位于摄像机的成像范围内；在侧视图上，所述摄像机的中心轴与所述立杆的中心轴成η角度，镜面与道路侧的水平面方向成ε角度；在正视图上，镜面与所述立杆的角度为90°-γ，摄像机的中心轴与立杆的中心轴平行，摄像机的焦距为f； 

全景视觉传感器的安装高度为H，路面沿道路方向的视觉范围为L，两片镜面之间的夹角180°-2γ，公式（1）为H、L值与γ的关系， 

γ=(tan^-1(L／H)-ω_max×H)／2   (1) 

式中，γ表示镜面与水平面的夹角，L为全景视觉传感器的沿水平面方向道路上的视觉长度，H为全景视觉传感器的安装高度，ω_max为摄像机的最大视角。 

进一步，所述摄像机的最大视角ω_max为45°，全景视觉传感器的安装高度H为3米，全景视觉传感器的沿道路方向上的视觉长度L大于200米，通过公式（1）求得镜面与水平面的夹角γ为32°，镜面的长度大于W2×cos(γ)，每片镜面的宽度大于Rcos(ε-η)，ε为镜面与道路侧的水平面方向的夹角，η为摄像机中心轴与立杆中心轴之间的夹角； 

为了获得尽可能大的视频检测范围信息，本发明的另一种解决方案是采用普通的视觉传感器，将视觉传感器配置在路边车道的上方10米左右处，与路边车道方向平行，向下斜对准路边车道，同时视觉传感器的成像平面的水平轴与地平面平行，这样也能获得狭长范围路边车道的视频信息； 

所述的全景视觉传感器的标定和路边车道的定制模块，用于对摄像机标定，确定二维成像平面和三维空间坐标点的映射关系。另外，对违章停车区域进行定制，方便后续的处理。对于道路上的违章停车，违章车辆都停在路边车道上，因此对于道路上的违章停车检测，本发明中将违章停车的关注区域定制在路边车道上；违章停车区域的定制方法为：首先从视觉传感器获得的图像中根据路边车道标记在路边车道的近处垂直于路边车道方向上选择两个路边车道边缘点，接着在路边车道的远处垂直于路边车道方向上选择两个路边车道边缘点，将这四个边缘点进行连接构成路边车道检测区域；最后对所述的视觉传感器进行标定； 

这里采用奇次坐标对视觉传感器进行标定，计算公式如式（2）所示， 

$\left[\begin{array}{c}{\mathrm{\λ}}_i{x}_i\\ {\mathrm{\λ}}_i{y}_i\\ {\mathrm{\λ}}_i\end{array}\right]=\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(2\right)$

式中，(x_i,y_i)为图像平面上像素点的位置，(x,y,z)为道路地面上的位置，在视觉传感器标定过程中，选取6个已知点来求得参数b_ij；为了解决参数非唯一性问题，这里规定b₃₄=1；从简化计算提高实时性考虑，这里忽略场景中前景对象的高度影响，如车辆的高度的影响，即z=0，因此，摄像机的标定问题就简化为建立道路平面与成像平面之间映射关系问题； 

在定制路边车道时，在图像平面上选择路边车道上四边形的四个顶点，即得到了四个边缘点坐标信息，然后通过实际量测获得所定制路边车道四边形的宽度和长度值，根据其坐标值求解四组方程式，求得参数b_ij；采用公式（3）来实现视觉传感器的标定， 

$\left\{\begin{array}{c}{x}_i=\frac{b_{11}x+b_{12}y+b_{14}}{b_{31}x+b_{32}+1}\\ y_i=\frac{b_{21}x+b_{22}y+b_{24}}{b_{31}x+b_{32}+1}\end{array}\right.---\left(3\right)$

式中，b_ij为标定参数，(x_i,y_i)为图像平面上像素点的位置，(x,y,z)为道路地面上的位置。 

所述的采样点的自动生成、灰度值检查及采样点位置微调模块，用于对定制好的路边车道自动生成空间均匀的采样点，对生成的采样点灰度值进行一致性检查，对偏离灰度值的采样点进行空间位置调整； 

由于视频图像中包含着大量的冗余信息，为了降低对视频图像处理的计算负荷和存储负荷，本发明中采用具有特殊意义的采样点的检测方式来检测道路上违章停放的车辆。对于道路上车道的采样点从有无前景对象的角度来看存在两种状态，存在采样点，即存在着前景对象的采样点；非存在采样点，即不存在前景对象的采样点；对于存在采样点，从时间序列的角度来分，可以分为静止存在采样点和移动存在采样点。违章停车检测的关键就在于检测出静止存在采样点，并根据静止存在采样点的驻留时间，来判断违章停放的车辆。由于要从图像中直接检测出静止存在采样点存在比较困难，在本发明中采用从图像序列中检测并计算出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，最后根据静止存在采样点的分布情况和驻留时间得到违章停放的车辆；关于采样点的具体分类和静止存在采样点的计算过程如图6所示； 

通过视觉传感器的标定，建立了空间道路上的点与图像平面上的像素点的映射关系；另外，在道路行车方向，在从摄像机远的位置采样点的间隔变窄，离摄像机近的位置采样点的间隔变宽。因为这样配置采样点，离摄像机近的地方车辆在图像中所占面积大，即使采样点比较疏但也能检测出车辆的行车状态,但是在远方车辆由于在图像中所占面积很小，如果采样点配置地不是很密的话就不能准确地检测出车辆的状态。对于这种情况，预先根据采样点的总数的上限值来确定采样点的分布间隔。通过这样的设置，在确保检测出远方的车辆的状态的同时，能缩短检测处理时间。因此，能确保从摄像机检测到的远处的区域，并根据采样点的上限数的设定，检测处理能高速化，而且不需要专用的硬件设备。另外，摄像机的分辨率作为定数可以设置，因此能采用各种不同分辨率的摄像机。为了准确地检测道路上的车辆状态信息，要求在路边车道上均匀生成采样点，生成的采样点投影到实际道路上的间隔为0.5米； 

进一步，进行定制的采样点灰度值检查，在定制路边车道以及路边车道上的采样点后，考虑到通过图像处理技术要将采样点进一步区分为存在采样点和非存在采样点，区分这两者是通过采样点的灰度阈值进行的；道路上的灰度值基本上是趋于一致的，因此统计在没有车辆情况下路边车道上的所有采样点的灰度值并求其平均值

作为初始背景值

即作为非存在采样点的灰度值； 

更进一步，考虑到路边车道上会有一些道路标志，例如右转等标识符，这些标志符的灰度值与路面相差很大，如果采样点正好落在道路标志上会给后续背景更新带来检测误差；因此，需要对所有定制的采样点进行灰度值检查，如果某一个采样点的灰度值

偏离其初始背景值

即

就要变更该采样点的位置，变更的方法是垂直于车辆行驶方向逐步移动采样点，使得该采样点的灰度值

满足遍历所有采样点后，将

作为每个采样点的初始背景灰度值这里将路边车道按车辆行驶方向分成长度比例为2:3:5的远、中、近三段区域，各区域内平均生成行数和列数一致的采样点； 

所述的存在采样点检测单元，用于对路边车道上的前景对象进行检测，在该发明中，采用背景差法从采样点图像中检测出tn时刻的存在采样点，提取出代表前景对象在路边车道空间分布的存在采样点；满足

条件的采样点就判定为存在采样点，反之为非存在采样点，得到存在采样点图像En和非存在采样点图像

存在采样点的检测模块的详细流程如下： 

Step1：设定采样点的基准灰度图像B₀和二值化的灰度阈值TH1； 

Step2：获得t_n时刻采样点的灰度图像X_n； 

Step3：按照公式（4）计算采样点图像与基准灰度图像之间的差值，得到采样点的背景差分图像D_n； 

D_n=X_n-B₀   (4) 

Step4：对基准灰度图像进行背景更新，获取与当前帧对应的背景模型； 

Step5：用在Step1中所设定的阈值TH1对D_n进行二值化处理，得到存在采样点二值图像ES_n，在ES_n中所有采样点均有1和0两种状态，1表示该采样点上有前景对象存在，即存在采样点；0表示该采样点上不存在前景对象，即非存在采样点； 

考虑到车辆对象是一个刚体，在运动过程中不会发生大小和形状的变化，所以可以认为车辆在任意时刻都可以用若干个相邻的存在采样点组成的存在采样块来描述；实际应用中，会存在车辆某些部位的灰度值与道路地面灰度值相近的情况，因而造成了将存在采样点误判为非存在采样点的情况；另外，道路上的遗留物、行人和非机动车也会对检测结果产生一定的干扰；这些干扰由孤立采样点过滤算法来矫正；因此本发明通过过滤算法来消除上述采样点的误检测或干扰。过滤算法思想为：如果与孤立采样点相邻的大多数采样点的状态与该孤立采样点的状态相反，则可认为这些采样点是误检测或干扰，需要对之进行置反矫正； 

所述的静止存在采样点检测模块，用于检测路边车道上的静止存在采样点；由于静止存在采样点不易直接检测出来，在本发明中，首先采用帧间差算法从图像序列中检测出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，其检测流程如下： 

Step1：对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如式（5）所示： 

Z_1n=X_n-X_n-α   （5） 

式中，X_n和X_n-α分别为t_n和t_n-α时刻的采样图像中的各采样点的灰度值，Z_1n为差分图像，这里称为第一差分图像，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分图像中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+α时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分图像，计算方法如式（6）所示； 

Z_2n=X_n+α-X_n   （6） 

式中，X_n+α和X_n分别为t_n和t_n+α时刻的采样图像中的各采样点的 灰度值，Z_2n为差分图像，这里称为第二差分图像，表示了经历了α时间后的道路上各采样点变化情况； 

Step2：分别用阈值TH1对第一差分图像Z_1n和用阈值TH2对第二差分图像Z_2n进行处理，分别得到第一特征提取图像T_1n和第二特征提取图像T_2n； 

Step3：对第一特征提取图像T_1n和第二特征提取图像T_2n进行与运算，利用公式（7）求得图像中的移动存在采样点阵列； 

Y_n=T_1n∧T_2n   （7） 

Step4：将存在采样点二值化图像F_n和移动存在采样点的二值图像Y_n作差运算，利用公式（8）计算出静止存在采样点的二值图像S_n； 

S_n=F_n-Y_n   （8） 

所述的基于采样点的违章车辆检测模块，用于检测道路上存在着的违章停车车辆；先对静止存在采样点进行处理得到静止存在块，然后对其进行车辆模板的匹配，如果匹配成功就初步判定为在道路上存在有静止车辆；如果检测出道路上存在着静止车辆，根据该静止车辆的空间位置，检测该静止车辆的前方是否有静止物体以及检测静止车辆在道路上的空间位置，如果静止车辆处于道路的路边附近以及静止车辆前方不存在着静止物体，并且该静止车辆的停留时间超过规定的阈值，就判定为可疑的违章停放车辆； 

首先，对路边车道空间分布的静止存在采样点图像S_n以车辆模型进行滤波处理，去掉一些孤立的非静止存在采样点以及其他干扰，得到反映车辆暂时停止或滞留的静止存在块；这里主要对公式（8）计算得到的静止存在采样点图像S_n进行滤波处理，滤波处理及违章停车车辆检测算法如下： 

Step1：设定车辆模板的大小，采用3×5的模板，即车辆在横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，设置判定阈值； 

Step2：用车辆模板对静止存在采样点图像S_n中的路边车道区域从路边车道的一端到路边车道的另一端进行遍历，遍历过程中如果检测出与某个区域存在有50%以上的静止存在采样点就判定该区域为静止车辆；如果存在着静止车辆，暂时保存静止车辆所处的空间位置信息和发生时间，同时对路边车道区域内的静止车辆进行计数，得到计数值Count； 

Step3：判断Count=0条件是否满足，如果满足，清除在存储单元中保存的静止车辆记录，转到Step6； 

Step4：判断Count=1条件是否满足，如果不满足转到Step5，否则以暂时保存静止车辆所处的空间位置信息为匹配条件，检查在存储单元中是否已经有该静止车辆的记录；如果存在着有对应记录，得 到记录中的发生时间T_loc，根据***时钟时间T_sys计算该静止车辆的静止持续时间T_tur=T_sys-T_loc；如果T_tur<T_alarm，***自动播放“请不要在车道上停留”的劝告语；如果T_alarm≤T_tur<T_vio，***自动播放“车道上严禁停车，否则将按道路交通安全法进行处罚”的警告语；如果T_tur>T_vio，***自动播放“你的违章停车行为已经违反了道路交通安全法，相关部分将按道路交通安全法进行处罚”的警告语，并自动抓拍违章车辆的图像，将抓拍图像与违章记录保存到一条违章记录中，违章记录中包括了违章停车的时间、地点和抓拍图像，并通过网络发送给交通管理部门的违章处理服务器，以便于在交通管理部门中的违章处理服务器内的违章车辆的身份识别模块进行处理；转到Step6； 

Step5：判断为由于道路拥堵或者交通事故所造成的静止车辆的存在，抓拍现场图像发送给相关部门进行确认处理； 

Step6：程序结束。 

本发明的有益效果主要表现在：1）能够实时收集整个道路的大范围视频信息，具有检测范围广，能对在200米直径范围以内道路上的车辆停车违章行为进行自动检测；2）实现了违章停车检测的智能化、违章停车处理的自动化、违章处理过程的人性化；3）采用采样点建模的方式使得计算量与存储量比原有技术要减少几百倍，有利于在嵌入式***上实现；4）有效地提高了违章停车执法的力度，减少了违章停车执法人员的工作强度，实现了违章停车的实时自动检测、实时自动传输、实时自动发布以及实时自动处理；5）缓解了执法者与停车违法者之间的对立，使得《行政处罚法》和《道路交通安全法》在技术层面上更具有操作性，增加了社会的和谐；6）引导市民遵守交通规则，真正使违章停车司机感受到法律的严肃性，提高整个社会的文明程度。 

附图说明

图1为高清摄像机从正面拍摄道路状态的示意图； 

图2为靠近路边车道上的采样点定制示意图，a)在高清摄像机的图像平面上的车道与车道上的采样点定制示意图，b)在实际道路平面上的车道与车道上的采样点定制示意图； 

图3为全景视觉传感器从侧面拍摄靠近路边车道状态的示意图； 

图4为全景视觉传感器的光学成像原理图； 

图5为轻量级违章停车视觉检测的核心算法说明图； 

图6为反映违章停车车辆的静止采样点的计算方法说明图； 

图7为轻量级的基于全景视觉的违章停车检测装置的硬件构成框图； 

图8为反映违章停车车辆的静止采样点的计算过程说明图； 

图9为路边车道与路边车道上的采样点定制功能的PC机和嵌入式全息道路交通状态视觉检测装置之间通信的硬件框图； 

图10为路边车道与路边车道上的采样点定制功能的PC机和嵌入式全息道路交通状态视觉检测装置之间通信的示意图； 

图11为路边车道与路边车道上的采样点定制功能PC机中的软件处理框图。 

具体实施方式

下面结合附图对本发明作进一步描述。 

实施例1 

参照图1、2、5～11，一种轻量级的基于全景视觉的违章停车检测装置，包括安装在道路上的各个测量点的高清摄像机，将高清摄像机配置在靠近路边车道的上方10米左右处，与车道方向平行，向下斜对准车道，同时高清摄像机的成像平面的水平轴与地平面平行，如附图1所示。 

用于根据高清摄像机的视频数据进行违章停车检测的微处理器，所述的微处理器包括微处理器***硬件和微处理器软件，其特征在于：所述的微处理器硬件由CPU、图像存储器、输入单元、存储单元、语音播放单元、通信单元、视频接口、RAM(Random Access Memory)和ROM(Read-only Memory)构成，如附图7所示；所述的高清摄像机通过所述的视频接口与所述的微处理器连接，所述的传送单元将违章停车车辆的检测结果通过所述的通信单元经网络发送给交通管理部门的违章处理服务器，违章处理服务器通过违章车辆的身份识别模块对违章停车车辆的身份进行识别并生成相应的违章记录数据；下面结合附图5的轻量级违章停车视觉检测处理流程说明微处理器中各处理模块的连接关系；所述的微处理器软件包括： 

全景图像数据获取模块，用于读取从全景摄像装置获取的视频图像信息； 

全景视觉传感器的标定和路边车道的定制模块，用于定制所监控的道路上的禁止停车区域并建立一种空间的实物图像与所获得的视频图像的对应关系； 

采样点的自动生成、灰度值检查及采样点位置微调模块，用于对定制好的路边车道范围内自动生成空间均匀的采样点，对生成的采样点灰度值进行一致性检查，对偏离灰度值的采样点进行空间位置调整； 

基于采样点的道路背景建模模块，用于对路边车道背景进行建模； 

存在采样点检测单元，用于对路边车道上的前景对象进行检测，具体采用背景差法从采样点图像中检测出反映车辆在路边车道空间分布状况的存在采样点； 

静止存在采样点检测模块，用于检测路边车道上的静止存在采样点；利用存在采样点和移动采样点的时空关系，得到路边车道上的反映静止前景对象的静止存在采样点； 

基于采样点的违章车辆检测模块，用于检测道路上存在着的违章停车车辆；对静止存在采样点进行处理得到静止存在块，进而对其进行车辆模板的匹配，如果匹配成功就初步判定为在道路上存在有静止车辆；如果检测出道路上存在着静止车辆，根据该静止车辆的空间位置，检测该静止车辆的前方是否有静止物体以及检测静止车辆在道路上的空间位置，如果静止车辆处于道路的路边附近以及静止车辆前方不存在着静止物体，并且该静止车辆的停留时间超过规定的时间阈值，就判定为可疑的违章停放车辆； 

所述的全景视觉传感器的标定和路边车道的定制模块，用于对高清摄像机标定，确定二维成像平面和三维空间坐标点的映射关系。另外，对违章停车区域进行定制，方便后续的处理。对于道路上的违章停车，违章车辆都停在路边车道上，因此对于道路上的违章停车检测，本发明中将违章停车的关注区域定制在路边车道上，如附图3中的虚线部分，虚线部分表示路边车道；违章停车区域的定制方法为：首先从高清摄像机获得的图像中根据路边车道标记在路边车道的近处垂直于路边车道方向上选择两个路边车道边缘点a₁和a₂，接着在路边车道的远处垂直于路边车道方向上选择两个路边车道边缘点b₁和b₂，将这四个边缘点进行连接构成路边车道检测区域，附图3中的虚线区域；最后对高清摄像机进行标定； 

这里采用奇次坐标对高清摄像机进行标定，计算公式如式（2）所示， 

$\left[\begin{array}{c}{\mathrm{\&lambda;}}_i{x}_i\\ {\mathrm{\&lambda;}}_i{y}_i\\ {\mathrm{\&lambda;}}_i\end{array}\right]=\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(2\right)$

式中，(x_i,y_i)为图像平面上像素点的位置，(x,y,z)为道路地面上的位置，在高清摄像机标定过程中，选取6个已知点来求得参数b_ij；为了解决参数非唯一性问题，这里规定b₃₄=1；从简化计算提高实时性考虑，这里忽略场景中前景对象的高度影响，如车辆的高度的影响，即z=0，因此，摄像机的标定问题就简化为建立道路平面与成像平面之间映射关系问题； 

在定制路边车道时，在图像平面上选择路边车道上四边形的四个 顶点a₁、a₂、b₁和b₂，即得到了四个边缘点坐标信息，然后通过实际量测获得所定制路边车道四边形的宽度和长度值，根据其坐标值求解四组方程式，求得参数b_ij；采用公式（3）来实现视觉传感器的标定， 

$\left\{\begin{array}{c}{x}_i=\frac{b_{11}x+b_{12}y+b_{14}}{b_{31}x+b_{32}+1}\\ y_i=\frac{b_{21}x+b_{22}y+b_{24}}{b_{31}x+b_{32}+1}\end{array}\right.---\left(3\right)$

式中，b_ij为标定参数，(x_i,y_i)为图像平面上像素点的位置，(x,y,z)为道路地面上的位置。 

所述的采样点的自动生成、灰度值检查及采样点位置微调模块，用于对定制好的路边车道自动生成空间均匀的采样点，对生成的采样点灰度值进行一致性检查，对偏离灰度值的采样点进行空间位置调整； 

由于视频图像中包含着大量的冗余信息，为了降低对视频图像处理的计算负荷和存储负荷，本发明中采用具有特殊意义的采样点的检测方式来检测道路上违章停放的车辆。对于道路上车道的采样点从有无前景对象的角度来看存在两种状态，存在采样点，即存在着前景对象的采样点；非存在采样点，即不存在前景对象的采样点；对于存在采样点，从时间序列的角度来分，可以分为静止存在采样点和移动存在采样点。违章停车检测的关键就在于检测出静止存在采样点，并根据静止存在采样点的驻留时间，来判断违章停放的车辆。由于要从图像中直接检测出静止存在采样点存在比较困难，在本发明中采用从图像序列中检测并计算出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，最后根据静止存在采样点的分布情况和驻留时间得到违章停放的车辆；关于采样点的具体分类和静止存在采样点的计算过程如图6所示； 

通过高清摄像机的标定，建立了空间道路上的点与图像平面上的像素点的映射关系；另外，在道路行车方向，在从摄像机远的位置采样点的间隔变窄，离摄像机近的位置采样点的间隔变宽，如附图2a)所示。因为这样配置采样点，离高清摄像机近的地方车辆在图像中所占面积大，即使采样点比较疏但也能检测出车辆的行车状态,但是在远方车辆由于在图像中所占面积很小，如果采样点配置地不是很密的话就不能准确地检测出车辆的状态。对于这种情况，预先根据采样点的总数的上限值来确定采样点的分布间隔。通过这样的设置，在确保检测出远方的车辆的状态的同时，能缩短检测处理时间。因此，能确保从高清摄像机检测到的远处的区域，并根据采样点的上限数的设定，检测处理能高速化，而且不需要专用的硬件设备。另外，高清摄像机的分辨率作为定数可以设置，因此能采用各种不同分辨率的摄像 机。为了准确地检测道路上的车辆状态信息，要求在路边车道上均匀生成采样点，生成的采样点投影到实际道路上的间隔为0.5米； 

进一步，进行定制的采样点灰度值检查，在定制路边车道以及路边车道上的采样点后，考虑到通过图像处理技术要将采样点进一步区分为存在采样点和非存在采样点，区分这两者是通过采样点的灰度阈值进行的；道路上的灰度值基本上是趋于一致的，因此统计在没有车辆情况下路边车道上的所有采样点的灰度值并求其平均值

作为初始背景值

即作为非存在采样点的灰度值； 

更进一步，考虑到路边车道上会有一些道路标志，例如右转等标识符，这些标志符的灰度值与路面相差很大，如果采样点正好落在道路标志上会给后续背景更新带来检测误差；因此，需要对所有定制的采样点进行灰度值检查，如果某一个采样点的灰度值

偏离其初始背景值即就要变更该采样点的位置，变更的方法是垂直于车辆行驶方向逐步移动采样点，使得该采样点的灰度值

满足

遍历所有采样点后，将

作为每个采样点的初始背景灰度值这里将路边车道按车辆行驶方向分成长度比例为2:3:5的远、中、近三段区域，如附图2所示，各区域内平均生成行数和列数一致的采样点； 

所述的基于采样点的道路背景建模模块，用于对路边车道背景进行建模；由于在定制采样点时在路边车道上均匀地定制了采样点，背景差分法可用于检测存在采样点，但背景差分法要求获取可靠的、稳定的采样点背景灰度值；道路定制区域的采样点受光照、天气等外界环境变化的影响比较大，需要对采样点背景灰度值进行实时更新；本发明采用离存在采样点最近的非存在采样点的灰度值来更新存在采样点的背景，实现一种轻量级、精准高效的背景更新方法，更新算法如公式（16）所示， 

$B_{n+1}^i=\left\{\begin{array}{cc}{B}_n^i+k(X_n^i-B_n^i)& ,|X_n^i-B_n^i|<\mathrm{TH}1\\ B_n^{\min (\mathrm{index}\left(q\right)-\mathrm{index}\left(p\right))}& ,\mathrm{else}\end{array}\right.---\left(16\right)$

式中，为离该存在采样点最近的非存在采样的灰度值，

为tn时刻某采样点实际测量灰度值，

为tn时刻某采样点背景灰度值，

为tn+1时刻某采样点背景灰度预测值； 

所述的存在采样点检测单元，用于对路边车道上的前景对象进行检测，在该发明中，采用背景差法从采样点图像中检测出tn时刻的存在采样点，提取出代表前景对象在路边车道空间分布的存在采样点；满足

条件的采样点就判定为存在采样点，反之为非 存在采样点，得到存在采样点图像E_n和非存在采样点图像E_n。对照附图8，存在采样点的检测模块的详细流程如下： 

Step1：设定采样点的基准灰度图像B₀和二值化的灰度阈值TH1； 

Step2：获得t_n时刻采样点的灰度图像X_n； 

Step3：按照公式（4）计算采样点图像与基准灰度图像之间的差值，得到采样点的背景差分图像D_n； 

D_n=X_n-B₀   (4) 

Step4：对基准灰度图像进行背景更新，获取与当前帧对应的背景模型； 

Step5：用在Step1中所设定的阈值TH1对D_n进行二值化处理，得到存在采样点二值图像ES_n，在ES_n中所有采样点均有1和0两种状态，1表示该采样点上有前景对象存在，即存在采样点；0表示该采样点上不存在前景对象，即非存在采样点； 

考虑到车辆对象是一个刚体，在运动过程中不会发生大小和形状的变化，所以可以认为车辆在任意时刻都可以用若干个相邻的存在采样点组成的存在采样块来描述；实际应用中，会存在车辆某些部位的灰度值与道路地面灰度值相近的情况，因而造成了将存在采样点误判为非存在采样点的情况；另外，道路上的遗留物、行人和非机动车也会对检测结果产生一定的干扰；这些干扰由孤立采样点过滤算法来矫正；因此本发明通过过滤算法来消除上述采样点的误检测或干扰。过滤算法思想为：如果与孤立采样点相邻的大多数采样点的状态与该孤立采样点的状态相反，则可认为这些采样点是误检测或干扰，需要对之进行置反矫正； 

所述的静止存在采样点检测模块，用于检测路边车道上的静止存在采样点；由于静止存在采样点不易直接检测出来，在本发明中，对照附图8，首先采用帧间差算法从图像序列中检测出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，其检测流程如下： 

Step1：对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如式（5）所示： 

Z_1n=X_n-X_n-α   （5） 

式中，X_n和X_n-α分别为t_n和t_n-α时刻的采样图像中的各采样点的灰度值，Z_1n为差分图像，这里称为第一差分图像，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分图像中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+α时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分图像，计算方 法如式（6）所示； 

Z_2n=X_n+α-X_n   （6） 

式中，X_n+α和X_n分别为t_n和t_n+α时刻的采样图像中的各采样点的灰度值，Z_2n为差分图像，这里称为第二差分图像，表示了经历了α时间后的道路上各采样点变化情况； 

Step2：分别用阈值TH1对第一差分图像Z_1n和用阈值TH2对第二差分图像Z_2n进行处理，分别得到第一特征提取图像T_1n和第二特征提取图像T_2n； 

Step3：对第一特征提取图像T_1n和第二特征提取图像T_2n进行与运算，利用公式（7）求得图像中的移动存在采样点阵列； 

Y_n=T_1n∧T_2n   （7） 

Step4：将存在采样点二值化图像F_n和移动存在采样点的二值图像Y_n作差运算，利用公式（8）计算出静止存在采样点的二值图像S_n； 

S_n=F_n-Y_n   （8） 

所述的基于采样点的违章车辆检测模块，用于检测道路上存在着的违章停车车辆；先对静止存在采样点进行处理得到静止存在块，然后对其进行车辆模板的匹配，如果匹配成功就初步判定为在道路上存在有静止车辆；如果检测出道路上存在着静止车辆，根据该静止车辆的空间位置，检测该静止车辆的前方是否有静止物体以及检测静止车辆在道路上的空间位置，如果静止车辆处于道路的路边附近以及静止车辆前方不存在着静止物体，并且该静止车辆的停留时间超过规定的阈值，就判定为可疑的违章停放车辆； 

首先，对路边车道空间分布的静止存在采样点图像S_n以车辆模型进行滤波处理，去掉一些孤立的非静止存在采样点以及其他干扰，得到反映车辆暂时停止或滞留的静止存在块；这里主要对公式（8）计算得到的静止存在采样点图像S_n进行滤波处理，滤波处理及违章停车车辆检测算法如下： 

Step1：设定车辆模板的大小，采用3×5的模板，即车辆在横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，设置判定阈值； 

Step2：用车辆模板对静止存在采样点图像S_n中的路边车道区域从路边车道的一端到路边车道的另一端进行遍历，遍历过程中如果检测出与某个区域存在有50%以上的静止存在采样点就判定该区域为静止车辆；如果存在着静止车辆，暂时保存静止车辆所处的空间位置信息和发生时间，同时对路边车道区域内的静止车辆进行计数，得到计数值Count； 

Step3：判断Count=0条件是否满足，如果满足，清除在存储单元中保存的静止车辆记录，转到Step6； 

Step4：判断Count=1条件是否满足，如果不满足转到Step5，否则以暂时保存静止车辆所处的空间位置信息为匹配条件，检查在存储单元中是否已经有该静止车辆的记录；如果存在着有对应记录，得到记录中的发生时间T_loc，根据***时钟时间T_sys计算该静止车辆的静止持续时间T_tur=T_sys-T_loc；如果T_tur<T_alarm，***自动播放“请不要在车道上停留”的劝告语；如果T_alarm≤T_tur<T_vio，***自动播放“车道上严禁停车，否则将按道路交通安全法进行处罚”的警告语；如果T_tur>T_vio，***自动播放“你的违章停车行为已经违反了道路交通安全法，相关部门将按道路交通安全法进行处罚”的警告语，并自动抓拍违章车辆的图像，将抓拍图像与违章记录保存到一条违章记录中，违章记录中包括了违章停车的时间、地点和抓拍图像，并通过网络发送给交通管理部门的违章处理服务器，以便于在交通管理部门中的违章处理服务器内的违章车辆的身份识别模块进行处理；转到Step6； 

Step5：判断为由于道路拥堵或者交通事故所造成的静止车辆的存在，抓拍现场图像发送给相关部门进行确认处理； 

Step6：程序结束。 

实施例2 

参照图3～图11，作为优选的另一种方案：将高清摄像机安装在路边，如附图3所示；高清摄像机采用全景视觉传感器，所述的全景视觉传感器由两片成夹角的镜面以及镜头正朝着镜面的摄像机所构成；两片镜面之间的夹角为180°-2γ，两片镜面在正视图上的宽度值为W、在侧视图上的高度值为R，两片镜面的宽度值W和高度值R位于摄像机的成像范围内；在侧视图上，所述摄像机的中心轴与所述立杆的中心轴成η角度，镜面与水平面方向道路侧成ε角度；在正视图上，镜面与所述立杆的角度为90°-γ，摄像机的中心轴与立杆的中心轴平行，摄像机的焦距为f； 

全景视觉传感器的安装高度为H，路面沿道路方向的视觉范围为L，两片镜面之间的夹角180°-2γ，公式（1）为H、L值与γ的关系，几何关系如附图4所示； 

$\mathrm{\&gamma;}=({\tan }^{-1}(L/H)-{\stackrel{\&prime;}{\mathrm{\&omega;}}}_{\max }\&times;H)/2---\left(1\right)$

式中，γ表示镜面与水平面的夹角，L为全景视觉传感器的沿水平面方向道路上的视觉长度，H为全景视觉传感器的安装高度，为摄像机的最大视角。 

进一步，所述摄像机的最大视角为45°，全景视觉传感器的安装高度H为3米，全景视觉传感器的沿道路方向上的视觉长度L为100米，通过公式（1）求得镜面与水平面的夹角γ为32°，镜面的 长度大于W/2×cos(γ)，每片镜面的宽度大于R/cos(ε-η)。 

本实施例的其他结构和工作过程与实施例1相同。 

实施例3 

参照附图9～11，其余与实施1和实施2相同，所不同的是将路边车道的定制、采样点的自动生成与违章停车分析处理检测分别在两个不同设备上完成；其中，路边车道的定制、采样点的自动生成在PC机上完成，违章停车分析处理检测在嵌入式设备上完成；定制用的PC机和分析处理检测用嵌入式设备之间采用SOCKET通信方式，如附图9所示；具体实施方式是：首先在PC机定制好的路边车道信息以及路边车道上采样点信息，车道定制和生成采样点的处理流程如附图11所示；接着，通过SOCKET通信传送给嵌入式设备，如附图10所示；最后，嵌入式设备读取定制等信息后，不断循环分析检测道路上的违章停车车辆，并将检测结果通过所述的通信单元发送给交通管理部门的违章处理服务器，以便于在交通管理部门中的违章处理服务器内的违章车辆的身份识别模块进行处理； 

所述的违章车辆的身份识别模块，用于识别违章停车的车辆车牌号并为后续依法对该车辆违章处理过程中违章车辆信息检索的主键。对于从现场发送过来的违章停车抓拍图像以及相关记录，交通管理部门中的违章处理服务器对所抓拍的违章车辆图像进行识别和分析；在本发明中采用基于灰度图像的车牌识别方案，主要是利用车牌灰度梯度特征变化大的特点。包括以下几个步骤：帧图像采集过程、车牌预处理和粗定位、车牌的细定位、倾斜校正和分割过程、车牌自动识别过程； 

车牌预处理和粗定位。本发明中采用基于灰度图像的车牌识别方案，主要是利用车牌灰度梯度特征变化大的特点。其流程如下：首先对摄像机获取的图像进行二值化处理，图像中车牌区域的灰度变化最为明显，滤除车灯影响后的二值化图像，车牌位置是最下面一个水平投影比较密集的区域，车牌上下位置位于从下到上投影的两个最小波谷位置，利用这点可以确定车牌的上下位置：之后再在水平投影的基础上进行垂直投影，两端最小波谷位置即为车牌的左右位置，这样就确定车牌四个坐标点，从而就把车牌位置确定下来。 

水平投影P_x(y)和垂直投影P_y(x)用公式（9）和（10）进行计算； 

$P_x\left(y\right)=\underset{x=1}{\overset{L}{\mathrm{\&Sigma;}}}f(x,y)---\left(9\right)$ $P_y\left(x\right)=\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}f(x,y)---\left(10\right)$

式中，f(x,y)为二值化后的图像像素点，L、H为图像的宽度和高度。 

在整个识别过程中，应尽量使用全局特征而不是局部特征，这里提出一种改进的预处理方法和基于Sobel算子的在图像块内进行4阶最大梯度水平差分法，能有效的解决了定位阶段的车灯干扰问题，提高了车牌的定位精度。具体算法流程如图5所示，详细介绍如下： 

(1)由于车灯在晚上开启后经灰度增强，车灯区域亮度大，且呈类似圆形的区域，并不满足车牌区域矩形的特点。用一个移动窗口先行判断该矩形框内灰度值大于230的个数，如果超过本矩形框总灰度个数的0.85倍，认为该区域是一个车灯区域，然后对此区域进行4阶梯度最大水平差分处理，再用Sobel算子检测边缘。否则，判定无车灯干扰，直接用Sobel算子进行边缘检测； 

(2)由于车牌是一个矩形，并且内部的水平梯度最大，因此本章节对帧图像进行分块扫描，首先计算该矩形框内灰度值大于230的个数，如果超过本矩形框总灰度个数的0.85倍，再分别计算单位块内的水平梯度值，在实际应用中，车牌高宽比为3.14：1，当采集到的车牌高度小于20个像素时***无法识别，因此这里取高为20像素，宽为60像素的在图像中进行搜索，水平搜索初始步长设为5个像素，向上搜索时步长为3个像素； 

(3)在进行梯度水平差分时，我们对移动窗口分成4×4像素块，然后用4×4像素块的最大水平梯度代替整个4×4像素块的最大水平梯度。在4×4像素块中，这里用到了三种算子，如图6所示；计算块内第一列像素的水平梯度，最大的水平梯度作为该块的水平梯度，然后用该梯度代替4×4块的灰度值，因此称作4阶最大梯度水平差分法； 

车牌的细定位。经过粗定位后的车牌由于光照不均或者车牌照上有汽车品牌字样等会导致分割的车牌要大于正常宽或者高大小，另一方面由于车牌本身最下面可能会有车的品牌记号或者车牌上方的铆钉的影响，有时候车牌旁边会有一些广告等文字，都有可能导致车牌的定位范围变大，这时必须要对车牌进行上下和左右的修正，即精定位过程，在精定位过程中我们会用到灰度增强、车牌二值化、车牌水平和垂直投影技术，以便对车牌进行上下和左右的修正； 

首先对车牌进行二值化，大部分车牌字符的亮度要大于底部，如黑底白字或者蓝底白字，这样二值化后字符的灰度255，背景为0。但是部分车牌字符的亮度要小于底部，如白底黑字，二值化后字符的灰度0，背景为255。通过直方图分析可以判断车牌类型，如是白底黑字，我们对这样的车牌进行反色处理，处理流程很简单：原像素值为0的重置为255，原像素值为255的重置为0； 

二值化后的车牌首先精定位车牌的上下位置，上下修正主要是为了消除车牌下方自带的车辆品牌字符，算法步骤如下： 

Step1：水平投影：计算中间投影的投影值iResult[(int)(Height/2)]，其中iResult[i]为i点水平投影值，Height为车牌高度，这里取中间投影值iResult[i]、iResult[i+l]、iResult[i-1]的平均值iR； 

Step2：计算iResult:[0]≤1、iResult[1]≤1、iResult[2]≤1是否全部满足，若全部满足，则车牌下方位置为Height点，即下方不需要修正，转到Step4； 

Step3：从(int)(Height/2)处向最上搜索，当满足iResult[k]<iR/13或者iResult[k]>2*iR时，k点位置即为车牌下方位置； 

Step4：计算最下方iResult[Height-1]≤1、iResult[Height-2]≤1、iResult[Height-3]≤1是否全部满足，若全部满足，则车牌上方位置为0点，即上方不需要修正，转到Step6； 

Step5：从(int)(:Height/2)处向最下搜索，当满足iResult[p]<iR/13或者iResult[k]>2+iR时，P点位置即为车牌上方位置； 

Step6：结束。 

垂直投影进行左右修正主要是针对外界光照不均等非常强烈的噪声干扰引起的车牌多余部分，车牌在粗定位阶段经常遇到的情况是车牌下方自带的车辆品牌字符干扰，需要左右修正的车牌很少。 

车牌定位处理后，为了方便下面的识别环节，应首先对字符进行切分，并归一化其大小，切分质量的好坏和正确与否将直接影响后面识别结果的正确与否。与传统OCR中的字符切分有所区别，车牌字符切分所应对的图像更为复杂，且由于字符较少，在应用通用字符切分算法时效果较差。车牌字符切分的主要任务是：1.去除车牌区域中的非字符区域，如车牌边框、铆钉、污染等；2.将存在倾斜变形的车牌校正过来；3.将车牌中的字符一一切分出来。其涉及到的关键技术主要可分为三个：二值化、倾斜校正、字符切分。 

精定位后可能因为摄像角度等原因，导致拍摄到的车牌会有发生倾斜的情况，这时需要对车牌进行倾斜校正。 

目前，车牌图像倾斜校正方法主要有三种：Hough变换法、旋转投影方法、主成分分析法。Hough变换法是先对车牌图像进行边缘检测，再由Hough变换确定车牌边框倾斜角度，但因噪声、污迹等干扰以及二值化的影响等使车牌的边框有时并不明显甚至看不见，使得校正效果不理想且计算量过大。旋转投影法通过旋转车牌图像，将边缘点向坐标轴投影，找出每次旋转后投影的最小值，求取倾斜角度进行校正，它具有较强的抗干扰能力，但最佳倾角的求取是一个寻优过程，要进行多次投影才能逐步逼进最佳倾角，因此计算量也很大。主成分 分析法将搜索图像倾斜角度问题转换为求取图像协方差矩阵的特征值和特征向量，速度较快且不受边框清晰度的影响。 

Hough变换是一种数字图像处理中常用的校正方法，但是该算法计算量大，对于实时性要求比较高的情况可以采用更为简单的校正方法。这里采用一种基于数学统计的数据拟合方法，其核心思想是通过求车牌的左右高度差来计算倾斜角，因此该算法能有效解决车牌边线不清及其他算法运算量大的缺点。 

倾斜检测与校正算法如下： 

Step1：将车牌按照宽度分为左半部分和右半部分，从左下第一个像素对左半部分车牌进行扫描，如果该点像素值为255，求取该点的距离a和a×c； 

Step2：扫描完毕，求取所有满足条件像素点的a值的和K，a×c的和P； 

Step3：求取P/K的值，则P/K即是左边像素值为255的数学统计平均高度； 

Step4：从左下第一个像素对右半部分车牌进行扫描，如果该点像素值为255，求取该点的距离b和b×d； 

Step5：扫描完毕，求取所有满足条件像素点的b值的和M，b×d的和N； 

Step6：求取N/M的值，则N/M即是右边像素值为255的数学统计平均高度；左半部分和右半部分像素高度平均值之差即为车牌的左右高度差h，这样车牌的倾斜角的正切值θ可以用公式（11）进行计算， 

$\tan \mathrm{\&theta;}=\frac{N/M-P/K}{\mathrm{Width}/2}---\left(11\right)$

Step7：计算得到倾斜角θ后，就可以对车牌进行水平方向的校正，在校正中，我们做了一个处理，如果新图像的点在映射中在原车牌图像点之外，那么这个点一般是车牌边缘的噪声，这时我们把该点像素值置0。 

对于字符分割，这里采用二值图像投影法进行字符分割，该算法运行速度快，满足实时性的要求。二值图像投影法是将二值化后的车牌区域图像进行垂直投影，由于七个字符之间都有一定间距，投影结果图上每个字符之间必然存在峰谷，峰谷位置就是车牌字符之间的间隙，这样在投影曲线上进行扫描，通过波谷和波峰的特征就可判断出车牌的起始和终止位置。二值图像投影法字符分割算法如下： 

Step1：在二值化图像车牌区域上，从左到右进行按列搜索，每一列上进行从上向下搜索，统计每一个像素单位列的像素值为255的个数，把结果保存到数组iResult[i]中，iResult[i]保存的是垂直 投影值； 

Step2：从车牌最右端向左搜索倒数第一个字符，即从Width(车牌宽度)开始到0.8×Width进行减循环，如果连续三个像素的投影值都满足（iResult[i]≥2）&（iResult[i-1]≥2）&（iResult[i-2]≥2），则该i点位第一个字符的右边点。并把该值赋给该列数组Hpoint[0]； 

Step3：从Hpoint[0]开始到0.5×Width进行减循环，如果（iResult[i]≥2）&（iResult[i+1]≥2）&（iResult[i+2]≥2），则该i点为第一个字符的左边点，并把该值赋给该列数组Hpoint[1]； 

Step4：计算(Hpoint[0]一Hpoint[1])≥Width/15是否满足，计算字符宽高比Height/(Hpoint[0]-Hpoint[1])≥2是否满足，若都满足则Hpoint[1]、Hpoint[0]标记字符的左右位置。否则把Hpoint[1]的位置赋予Hpoint[0]，再向左搜索； 

Step5：依次类推，对字符进行切割。裁减的位置保存在数组Hpoint[j]中； 

Step6：对牌照中的间隔符“·”进行消除，判断连续三个像素高度是否都满足先验条件（iResult[i-1]≥1Height/5）&（iResult[i-2]≥1Height/5）&（iResult[i]≥Height/5）是否满足，并且判断先验条件字符宽度(Hpoint[11]一Hpoint[12])≥Width/15是否满足，若不满足，则该点是间隔符，此时把Hpoint[11]的位置赋予Hpoint[10]，把间隔符跳过，继续向左搜索，直到最右一个字母为止； 

Step7：最后对右边框可能存在的边线噪声干扰的滤除同右边框线噪声的滤除方法。 

在完成车牌的定位和字符的切分以后，将对切分后的字符图像进行识别。字符识别是模式识别的一个重要分支，属于图像识别问题。车牌识别是字符识别的一个特殊问题，其基本思想都是模板匹配，车牌识别的目的是要输出车牌号码，因此，字符识别部分是电子警察***中识别模块的核心内容。 

在字符识别中，首先将切分后的单个字符进行预处理归一化，并抽取代表待识别字符模式本质的表达形式(特征)，然后和预先设定的标准字符模式及集合(字典)进行逐一匹配，最后用相应准则进行判别，即在字典中的标准模式中找出与待识别模式最为接近的表达式，该表达形式对应的字符即判定为识别结果。 

大部分字符在切分后经常大小不一，字符识别前，需要再对字符进行归一化处理，在这里把字符归一为高40像素宽20像素的标准大小。通过投影扫描的方式确定字符四个准确边框，然后进行缩放处理实现归一化，确定边框算法流程： 

Step1：令i=H/2； 

Step2：扫描当前行的白色像素(值为255)投影值，并记录到数组N(i)(i=1，2，3，...，H/2)； 

Step3：判断N(i)的值，记录使得N(i)<2&&N(i-1)<2的i行，则i就是字符的上边界，终止当前扫描，转STEP5；否则继续； 

Step4：i=i-1，判断i>0是否成立，如果成立，则说明字符已经扫描到切分图像的上边界，则上边界为切分图像的上边界。否则，说明可能是字符可能出现断裂，转STEP2，继续扫描； 

Step5：从i=H/2开始扫描下边界； 

Step6：搜索N(i)<2&&N(i+1)<2的第一个i值，则记录i值为当前字符的下边界，否则，转Step6； 

Step7：i=i+l，判断H>i，若成立，则可能是断裂点，转Step6；若不成立则切分图像的下边界为字符的下边界； 

Step8：结束。 

字符识别。在确定了字符四个准确边框后，下面的工作就是对切分的字符采用缩小或者放大的方法进行归一化处理，即统一成高40像素宽20像素的标准大小； 

本发明采用一种三级分类器来实现字符识别的方法。第一级分类器实现字符的粗分类，第二级分类器实现字符的细分类，第三级分类器实现相似字符的区分。 

(1)采用投影序列模糊匹配的粗分类器设计 

首先获取字符图像的水平和垂直图像的投影，从而获得一共60个投影序列(水平投影在前，垂直投影在后)，然后与标准字符模板的投影序列进行模糊匹配，分析带识别字符更贴近哪一个/组，以完成粗分类，本章节采用一种模糊逻辑里的最大最小贴近度来衡量两个投影序列之间的相似程度，设p₁、p₂分别为两个长度为60的投影序列，则它们之间的相似度可以用公式（12）进行计算； 

$N=\frac{\underset{i=0}{\overset{60}{\mathrm{\&Sigma;}}}\mathrm{Min}\left(p_1\left(i\right)p_2\left(i\right)\right)}{\underset{i=0}{\overset{60}{\mathrm{\&Sigma;}}}\mathrm{Max}\left(p_1\left(i\right)p_2\left(i\right)\right)}---\left(12\right)$

如果投影序列完全相同，则相似度为1，否则相似度的取值在0～1之间。 

设标准字符集合为T={T_i1,T_i2,T_i3,…,T_im}，如果待识别字符C与标准字符T_i1T_i2T_i3…T_im的相似度N_i1N_i2N_i3…N_im都大于某一阈值，则认为字符C可以归类到子类T{T_i1T_i2T_i3…T_im}中，即： 

T={T_iN_i-N_max<threshold}   （13） 

式中，N_max=Max(N_i)(i=1,2,3,…,60)，如果im=1则表明只有一个匹配，那么识别就完成。对于有多个匹配的情况，还需要二级分类器进 一步进行细分类。 

(2)细化字符比对的细分分类器设计 

将第一步的粗分类结果送二级分类器进行细分类，同时也对标准字库进行细化处理作为新的二级分类器的标准库。策略可以表述为：设F和f分别表示为待识别字符图像和细化后的待识别字符图像，T和t分别表示标准字符图像和细化后字符图像。这种方法的思想是：对于细化字符中的某一个白色点(像素值为255，表示前景点)对应于为细化的字符中的该点是否是白色点的情况，如果是白色点，则认为匹配成功一个像素。最后计算匹配成功的像素点数与细化图像总白色像素点数比值来确定相似度，相似度计算由公式（14）所示， 

$R_1=\frac{\underset{i=0}{\overset{40}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{20}{\mathrm{\&Sigma;}}}F(i,j)\&cap;t(i,j)}{\underset{i=0}{\overset{40}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{20}{\mathrm{\&Sigma;}}}t(i,j)}---\left(14\right)$

上式表示切分字符和标准细化字符比对相似度，用R₁表示。对于一些字型比较相近但是明显不同的字符容易出现误识别，比如待识别字符是B，可能得到结果为P，这里我采用双向比对的方法，即除了公式（15）以外，我们同时计算T和f之间的相似度R₂，用公式（15）进行计算， 

$R_2=\frac{\underset{i=0}{\overset{40}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{20}{\mathrm{\&Sigma;}}}T(i,j)\&cap;f(i,j)}{\underset{i=0}{\overset{40}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{20}{\mathrm{\&Sigma;}}}f(i,j)}---\left(15\right)$

最后我们计算两次匹配的平均值，这样使得效率大大提高。计算流程如下： 

Step1：对切割字符进行图像细化； 

Step2：由公式（14）计算相似度R_I值，由公式（15）计算相似度R₂值； 

Step3：计算(R₁+R₂)2的值； 

Step4：计算(R₁+R₂)2与给定阈值Threshold之间大小进行二级匹配，确定待识别字符F的归类T'{T_i1,T_i2,T_i3,…,T_im}，如果k=1，则说明匹配成功。若k=0，则说明匹配失败，没有找到相似字符，若k>l，则说明有相似字符，需要进行三级分类器进行识别。 

(3)字符结构特征的判别分类器设计 

经过前面两个分类器，有些字符已经可以判别，但是对于一些相似字符，还难于判别，这时候需要用字符结构特征的差别进行判别，对于ODQ，我们发现OD上下对称，Q明显不对称，O左右对称，D左 右不对称，左边象素多。2Z明显的区别是2上面像素集中，Z比较平均。8B明显区别是8左右像素对称，B明显右边象素集中。利用上面的字符特征，区分算法步骤如下： 

Step1：判断所属相似性属于ODQ、2Z还是8B； 

Step2：计算每个相似像素的水平投影P_y(i)和垂直投影P_x(i)； 

Step3：.若是ODQ型，计算每个字符的和的值，其中H为字符高度，若

则该字符为Q，否则，计算

如果 $\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}(L-i)*P_x\left(i\right)>1.1*\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}\left(i\right)*P_x\left(i\right),$ 其中L为字符宽度，则该字符为D，否则为O； 

Step4：若是2Z型，判断

若成立，则该字符为2，否则该字符为Z； 

Step5：若是8B型，判断

若成立，则该字符为B，否则为8。 

Claims (9)

1.一种轻量级的基于全景视觉的违章停车检测装置，其特征在于：所述的一种轻量级的基于全景视觉的违章停车检测装置，包括用于获取监控区域的视频图像的全景视觉传感器和用于对视频图像进行理解分析并进行违章停车检测的微处理器；所述的全景视觉传感器通过所述的视频接口与所述的微处理器连接，微处理器通过大范围监控全景视觉传感器对道路上的车辆进行实时视觉检测，当检测到视觉检测范围内存在有违章停车行为时，通过语音播放单元告知或警示违章停车司机不要违章停车，对于停车时间超过规定的时间阈值后，***对该违章车辆进行抓拍，并自动生成一条违章停车记录，违章停车记录中包含有违章车辆照片、违章时间和地点的违章停车记录通过网络发送给交通管理部门的违章处理服务器，违章处理服务器对所抓拍的违章车辆整体图像进行车牌识别，分析得到该违章车辆的车牌号，并按照违章处理单的格式要求自动生成违章停车处理单，最后提醒管理人员确认处理；所述的微处理器还包括：

全景图像数据获取模块，用于读取从全景视觉传感器获取的视频图像信息；

全景视觉传感器的标定和路边车道的定制模块，用于定制所监控的道路上的禁止停车区域并建立一种空间的实物图像与所获得的视频图像的对应关系；

采样点的自动生成、灰度值检查及采样点位置微调模块，用于对定制好的路边车道范围内自动生成空间均匀的采样点，对生成的采样点灰度值进行一致性检查，对偏离灰度值的采样点进行空间位置调整；

基于采样点的道路背景建模模块，用于对路边车道背景进行建模；

存在采样点检测单元，用于对路边车道上的前景对象进行检测，具体采用背景差法从采样点图像中检测出反映车辆在路边车道空间分布状况的存在采样点；

静止存在采样点检测模块，用于检测路边车道上的静止存在采样点；利用存在采样点和移动采样点的时空关系，得到路边车道上的反映静止前景对象的静止存在采样点；

基于采样点的违章车辆检测模块，用于检测道路上存在着的违章停车车辆；对静止存在采样点进行处理得到静止存在块，进而对其进行车辆模板的匹配，如果匹配成功就初步判定为在道路上存在有静止车辆；如果检测出道路上存在着静止车辆，根据该静止车辆的空间位置，检测该静止车辆的前方是否有静止物体以及检测静止车辆在道路上的空间位置，如果静止车辆处于道路的路边附近以及静止车辆前方不存在着静止物体，并且该静止车辆的停留时间超过规定的时间阈值，就判定为可疑的违章停放车辆。

2.如权利要求1所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的全景视觉传感器由两片成夹角的镜面以及镜头正朝着镜面的摄像机构成；两片镜面之间的夹角为180°-2γ，两片镜面在正视图上的宽度值为W、在侧视图上的高度值为R，两片镜面的宽度值W和高度值R位于摄像机的成像范围内；在侧视图上，所述摄像机的中心轴与所述立杆的中心轴成η角度，镜面与道路侧的水平面方向成ε角度；在正视图上，镜面与所述立杆的角度为90°-γ，摄像机的中心轴与立杆的中心轴平行，摄像机的焦距为f；

全景视觉传感器的安装高度为H，路面沿道路方向的视觉范围为L，两片镜面之间的夹角180°-2γ，公式（1）为H、L值与γ的关系，

γ=(tan^-1(L／H)-ω_max×H)／2   (1)

式中，γ表示镜面与水平面的夹角，L为全景视觉传感器的沿水平面方向道路上的视觉长度，H为全景视觉传感器的安装高度，ω_max为摄像机的最大视角。

进一步，所述摄像机的最大视角ω_max为45°，全景视觉传感器的安装高度H为3米，全景视觉传感器的沿道路方向上的视觉长度L大于200米，通过公式（1）求得镜面与水平面的夹角γ为32°，镜面的长度大于W2×cos(γ)，每片镜面的宽度大于Rcos(ε-η)，ε为镜面与道路侧的水平面方向的夹角，η为摄像机中心轴与立杆中心轴之间的夹角。

3.如权利要求1所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的全景视觉传感器采用高清摄像机，将高清摄像机配置在路边车道的上方10米左右处，与路边车道方向平行，向下斜对准路边车道，同时高清摄像机的成像平面的水平轴与地平面平行，这样也能获得狭长范围路边车道的视频信息。

4.如权利要求1或2或3所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的全景视觉传感器的标定和路边车道的定制模块，用于对摄像机标定和违章停车区域的定制，确定二维成像平面和三维空间坐标点的映射关系；违章停车区域的定制方法为：首先从所述的全景视觉传感器获得的图像中根据路边车道标记在路边车道的近处垂直于路边车道方向上选择两个路边车道边缘点，接着在路边车道的远处垂直于路边车道方向上选择两个路边车道边缘点，将这四个边缘点进行连接构成路边车道检测区域；最后对所述的全景视觉传感器进行标定；

这里采用奇次坐标对所述的全景视觉传感器进行标定，计算公式如式（2）所示，

$\left[\begin{array}{c}{\mathrm{\&lambda;}}_i{x}_i\\ {\mathrm{\&lambda;}}_i{y}_i\\ {\mathrm{\&lambda;}}_i\end{array}\right]=\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(2\right)$

式中，(x_i,y_i)为图像平面上像素点的位置，(x,y,z)为道路地面上的位置，在视觉传感器标定过程中，选取6个已知点来求得参数b_ij；为了解决参数非唯一性问题，这里规定b₃₄=1；从简化计算提高实时性考虑，这里忽略场景中前景对象的高度影响，如车辆的高度的影响，即z=0，因此，摄像机的标定问题就简化为建立道路平面与成像平面之间映射关系问题；

在定制路边车道时，在图像平面上选择路边车道上四边形的四个顶点，即得到了四个边缘点坐标信息，然后通过实际量测获得所定制路边车道四边形的宽度和长度值，根据其坐标值求解四组方程式，求得参数b_ij；采用公式（3）来实现视觉传感器的标定，

$\left\{\begin{array}{c}{x}_i=\frac{b_{11}x+b_{12}y+b_{14}}{b_{31}x+b_{32}+1}\\ y_i=\frac{b_{21}x+b_{22}y+b_{24}}{b_{31}x+b_{32}+1}\end{array}\right.---\left(3\right)$

式中，b_ij为标定参数，(x_i,y_i)为图像平面上像素点的位置，(x,y,z)为道路地面上的位置。

5.如权利要求1或2或3所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的采样点的自动生成、灰度值检查及采样点位置微调模块，用于对定制好的路边车道自动生成空间均匀的采样点，对生成的采样点灰度值进行一致性检查，对偏离灰度值的采样点进行空间位置调整；

通过所述的全景视觉传感器的标定，建立了空间道路上的点与图像平面上的像素点的映射关系；通过该映射关系在空间道路上均匀生成采样点，即在图像平面上生成的采样点投影到实际空间道路上的间隔为0.5米；

进一步，进行定制的采样点灰度值检查，在定制路边车道以及路边车道上的采样点后，考虑到通过图像处理技术要将采样点进一步区分为存在采样点和非存在采样点，区分这两者是通过采样点的灰度阈值进行的；道路上的灰度值基本上是趋于一致的，因此统计在没有车辆情况下路边车道上的所有采样点的灰度值并求其平均值

作为初始背景值

即作为非存在采样点的灰度值；

更进一步，考虑到路边车道上会有一些道路标志，例如右转等标识符，这些标志符的灰度值与路面相差很大，如果采样点正好落在道路标志上会给后续背景更新带来检测误差；因此，需要对所有定制的采样点进行灰度值检查，如果某一个采样点的灰度值偏离其初始背景值

即

就要变更该采样点的位置，变更的方法是垂直于车辆行驶方向逐步移动采样点，使得该采样点的灰度值

满足

遍历所有采样点后，将

作为每个采样点的初始背景灰度值这里将路边车道按车辆行驶方向分成长度比例为2:3:5的远、中、近三段区域，各区域内平均生成行数和列数一致的采样点。

6.如权利要求1或2或3所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的存在采样点检测单元，用于对路边车道上的前景对象进行检测；具体实现方法是，采用背景差法从采样点图像中检测出tn时刻的存在采样点，提取出代表前景对象在路边车道空间分布的存在采样点；满足

条件的采样点就判定为存在采样点，反之为非存在采样点，得到存在采样点图像E_n和非存在采样点图像

存在采样点的检测模块的详细流程如下：

Step1：设定采样点的基准灰度图像B₀和二值化的灰度阈值TH1；

Step2：获得t_n时刻采样点的灰度图像X_n；

Step3：按照公式（4）计算采样点图像与基准灰度图像之间的差值，得到采样点的背景差分图像D_n；

D_n=X_n-B₀   (4)

Step4：对基准灰度图像进行背景更新，获取与当前帧对应的背景模型；

Step5：用在Step1中所设定的阈值TH1对D_n进行二值化处理，得到存在采样点二值图像ES_n，在ES_n中所有采样点均有1和0两种状态，1表示该采样点上有前景对象存在，即为存在采样点；0表示该采样点上不存在前景对象，即为非存在采样点。

7.如权利要求1或2或3所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的静止存在采样点检测模块，用于检测路边车道上的静止存在采样点；检测原理是，首先采用帧间差算法从图像序列中检测出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，其检测流程如下：

Step1：对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如式（5）所示：

Z_1n=X_n-X_n-α   （5）

式中，X_n和X_n-α分别为t_n和t_n-α时刻的采样图像中的各采样点的灰度值，Z_1n为差分图像，这里称为第一差分图像，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分图像中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+α时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分图像，计算方法如式（6）所示；

Z_2n=X_n+α-X_n   （6）

式中，X_n+α和X_n分别为t_n和t_n+α时刻的采样图像中的各采样点的灰度值，Z_2n为差分图像，这里称为第二差分图像，表示了经历了α时间后的道路上各采样点变化情况；

Step2：分别用阈值TH1对第一差分图像Z_1n和用阈值TH2对第二差分图像Z_2n进行处理，分别得到第一特征提取图像T_1n和第二特征提取图像T_2n；

Step3：对第一特征提取图像T_1n和第二特征提取图像T_2n进行与运算，利用公式（7）求得图像中的移动存在采样点阵列；

Y_n=T_1n∧T_2n   （7）

Step4：将存在采样点二值化图像F_n和移动存在采样点的二值图像Y_n作差运算，利用公式（8）计算出静止存在采样点的二值图像S_n；

S_n=F_n-Y_n   （8）。

8.如权利要求1或2或3所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的基于采样点的违章车辆检测模块，用于检测道路上存在着的违章停车车辆；检测算法的思想是，先对静止存在采样点进行处理得到静止存在块，然后对其进行车辆模板的匹配，如果匹配成功就初步判定为在道路上存在有静止车辆；如果检测出道路上存在着静止车辆，根据该静止车辆的空间位置，检测该静止车辆的前方是否有静止物体以及检测静止车辆在道路上的空间位置，如果静止车辆处于道路的路边附近以及静止车辆前方不存在着其他任何静止物体，并且该静止车辆的停留时间超过规定的阈值，就判定为可疑的违章停放车辆；

进一步，对路边车道空间分布的静止存在采样点图像S_n以车辆模型进行滤波处理，去掉一些孤立的非静止存在采样点以及其他干扰，得到反映车辆暂时停止或滞留的静止存在块；这里主要对公式（8）计算得到的静止存在采样点图像S_n进行滤波处理，滤波处理及违章停车车辆检测算法如下：

Step1：设定车辆模板的大小，采用3×5的模板，即车辆在横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，设置判定阈值；

Step2：用车辆模板对静止存在采样点图像S_n中的路边车道区域从路边车道的一端到路边车道的另一端进行遍历，遍历过程中如果检测出与某个区域存在有50%以上的静止存在采样点就判定该区域为静止车辆；如果存在着静止车辆，暂时保存静止车辆所处的空间位置信息和发生时间，同时对路边车道区域内的静止车辆进行计数，得到计数值Count；

Step3：判断Count=0条件是否满足，如果满足，清除在存储单元中保存的静止车辆记录，转到Step6；

Step4：判断Count=1条件是否满足，如果不满足转到Step5，否则以暂时保存静止车辆所处的空间位置信息为匹配条件，检查在存储单元中是否已经有该静止车辆的记录；如果存在着有对应记录，得到记录中的发生时间T_loc，根据***时钟时间T_sys计算该静止车辆的静止持续时间T_tur=T_sys-T_loc；如果T_tur<T_alarm，***自动播放“请不要在车道上停留”的劝告语；如果T_alarm≤T_tur<T_vio，***自动播放“车道上严禁停车，否则将按道路交通安全法进行处罚”的警告语；如果T_tur>T_vio，***自动播放“你的违章停车行为已经违反了道路交通安全法，相关部分将按道路交通安全法进行处罚”的警告语，并自动抓拍违章车辆的图像，将抓拍图像与违章记录保存到一条违章记录中，违章记录中包括了违章停车的时间、地点和抓拍图像，并通过网络发送给交通管理部门的违章处理服务器，以便于在交通管理部门中的违章处理服务器内的违章车辆的身份识别模块进行处理；转到Step6；

Step5：判断为由于道路拥堵或者交通事故所造成的静止车辆的存在，抓拍现场图像发送给相关部门进行确认处理；

Step6：程序结束。

9.如权利要求1或2或3所述的一种轻量级的基于全景视觉的违章停车检测装置，所述的基于采样点的道路背景建模模块，用于对路边车道背景进行建模；由于在定制采样点时在路边车道上均匀地定制了采样点，背景差分法可用于检测存在采样点，但背景差分法要求获取可靠的、稳定的采样点背景灰度值；道路定制区域的采样点受光照、天气等外界环境变化的影响比较大，需要对采样点背景灰度值进行实时更新；这里采用距离存在采样点最近的非存在采样点的灰度值来更新存在采样点的背景，实现一种轻量级、精准高效的背景更新方法，更新算法如公式（16）所示，

$B_{n+1}^i=\left\{\begin{array}{cc}{B}_n^i+k(X_n^i-B_n^i)& ,|X_n^i-B_n^i|<\mathrm{TH}1\\ B_n^{\min (\mathrm{index}\left(q\right)-\mathrm{index}\left(p\right))}& ,\mathrm{else}\end{array}\right.---\left(16\right)$

式中，

为离该存在采样点最近的非存在采样的灰度值，

为tn时刻某采样点实际测量灰度值，

为tn时刻某采样点背景灰度值，

为tn+1时刻某采样点背景灰度预测值。

Images