CN100565555C - 基于计算机视觉的违章停车检测装置 - Google Patents

Abstract

一种基于计算机视觉的违章停车检测装置，包括用于获取监控区域的视频图像的全方位视觉传感器、用于抓拍违章停车车辆详细局部图像信息的快速球摄像机以及用于对视频图像进行理解分析并进行违章停车检测的微处理器，微处理器通过大范围监控视觉传感器与快速球摄像装置之间的映射关系将该违章停车的车辆空间位置信息指示快速球摄像装置对该违章车辆进行抓拍，然后对所抓拍的违章整体图像进行车牌识别，得到该违章车辆的车牌号，接着通过语音播放单元警示违章停车司机不要违章停车，在警示劝说不起作用的情况下，***自动生成一条违章停车记录。本发明减少违章停车执法人员的工作强度、实现违章停车的实时自动检测，具有检测范围广、效率高等特点。

Description

基于计算机视觉的违章停车检测装置

技术领域

本发明属于全方位视觉传感器技术、计算机视觉技术、图像识别技术和网络通信技术在违章停车检测方面的应用涉及，尤其是一种违章停车检测装置。

背景技术

随着我国国民经济的快速发展，机动车数量的激增，导致了交通需求增长过快而引发的诸如交通阻塞等一系列问题，其中机动车违法停车现象是造成交通阻塞的一个重要因素。

据交管部门调查，机动车违法停车主要有五大危害：一是违法停车成交通拥阻源头。二是违法停车成刮蹭交通事故祸首。据统计，因违法停车引发的车辆刮蹭事故占这类事故的38％。三是违法停车成被盗目标。四是违法停车成乱鸣号和车辆逆行诱因。五是违法停车成人行道通行障碍。

关于对违法停车进行处罚涉及的法律主要是《行政处罚法》和2004年5月施行的《道路交通安全法》。《道路交通安全法》有三个条款对违法停车进行了规定。摘要如下：56条“机动车应当在规定地点停放。禁止在人行道上停放机动车；但是，依照本法第三十三条规定施划的停车泊位除外。在道路上临时停车的，不得妨碍其他车辆和行人通行。”33条“在城市道路范围内，在不影响行人、车辆通行的情况下，政府有关部门可以施划停车泊位。”93条“对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，可以指出违法行为，并予以口头警告，令其立即驶离。机动车驾驶人不在现场或者虽在现场但拒绝立即驶离，妨碍其他车辆、行人通行的，处二十元以上二百元以下罚款。

目前的处理方式是，机动车违法临时停车，交警或城管人员将依法指出违法并予以口头警告，责令违法停车人立即驶离；违法停车人拒绝立即驶离或拒不驶离，交警可现场给予处罚；机动车违法临时停车驾驶人不在现场，交警将采取摄录取证方式处罚，执法交警离开摄录现场前，违法停车人返回且认可违法事实、愿意接受处罚，交警可当场处罚；交警对违法临时停车人不在现场采取摄录取证方式处罚时，应填写《违法停车处理通知单》夹放在机动车前风挡玻璃雨刷器下，选择适当角度拍摄显示机动车牌号、已被放置《违法停车处理通知单》、违法停放地点禁停标志或能明确违法停放地点标志性物体、拍摄日期和时间等画面照片，并应及时将拍摄取证资料交交警支队保存并据此对违法停车行为人实施处罚；交警摄录取证资料交交警支队前，违法停车行为人已到交警支队接受处罚并对违法事实无异议，可根据《违法停车处理通知单》处罚；违法停车行为人对交通违法事实有异议，交管部门应告知当事人待摄录资料录入***后再接受违法行为处理。违法停车处罚标准为：依据《道路交通安全法》规定，违法停放机动车适用非现场处罚，对司机或机动车所有人处200元罚款并记2分；违法临时停车，司机拒不驶离，可适用现场处罚对司机处200元罚款并记2分；对非机动车违法停车行为人或车辆所有人予以警告或处20元罚款。

但是目前的违章停车处理执法在技术方面存在着一些弊病，造成了政府执法与群众违法行为之间的对立，产生了社会的不和谐，引起了社会的高度关注。有些人提出“交通执法的目的是为了引导市民遵守交通规则，应以批评教育为主、处罚为辅，不能以罚代管，把罚款当做创收手段。”又有些人提出对初次轻微违章者，应以批评教育和警告为主；对第二次轻微违章者，可尝试罚款一半；对第三次轻微违章者，再全额罚款。“让驾驶员感受到执法者确实是为了维护交通秩序，而不是为了创收。”但是要实现这个目标很大程度上需要高新技术手段的支撑。

首先执法者与停车违法者的主体都是人，面对着执法者每天24小时监视是否有违章停车不是一件容易的事，另外执法者违法停车处理中要使得对停车违法者处理结果心服、口服，按照这种人性化的处理方式需要执法者极大的努力与耐心，往往会超过执法者的工作极限；另一方面，停车违法者心痛钱是一方面，更主要的是不理解交警的这种执法方式。不少人认为执法人员的执法行为存在多处程序违法：一、法律没有禁止的，就是允许的，自己停放车辆处没有明显的禁停标志，自己在那里停车无过错；二，即使自己属乱停车辆，执法局在处罚过程中也应按法定程序处理。上述问题的焦点是执法人员和被处罚的当事人的某一方缺位时所引起的；而每个违章停车事件发生时，要求执法者与停车违法者都在现场，操作上是难以实现的。这里就需要一个中间代理，使得执法者与试图违章停车者之间的信息对称。当试图违章停车者想停放车辆时中间代理能及时告知司机该处是不能停放车辆的，使得司机有知情权；中间代理继续监视，如果检测到该被告知司机仍然无视劝告进行违章停车，中间代理就进行取证，以便后面根据事实进行处罚，同时在检测到有违章停车的第一时间内各种网络手段通知执法人员尽快进行处理，由于有了违章停车证据，即使执法人员不在现场的情况下，也能由中间代理维护交通秩序，同时在技术手段上可保证给被处罚的司机有陈述和申辩机会。

发明内容

为了克服目前处理违章停车时主要依靠人工、工作强度大、检测范围较小、效率低的不足，本发明提供一种减少违章停车执法人员的工作强度、实现违章停车的实时自动检测、检测方位广、效率高的基于计算机视觉的违章停车检测装置。

本发明解决其技术问题所采用的技术方案是：

一种基于计算机视觉的违章停车检测装置，包括用于获取监控区域的视频图像的全方位视觉传感器、用于抓拍违章停车车辆详细局部信息的快速球摄像机以及用于对视频图像进行理解分析并进行违章停车检测的微处理器，所述的全方位视觉传感器和快速球摄像机通过视频卡与微处理器连接，所述的全方位视觉传感器包括用于反射监测领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于支撑和保护外凸折反射镜面的透明圆型体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上，所述摄像头位于所述外凸折反射镜面的虚焦点；所述的微处理器包括：

视频图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；违章停车监控领域定制模块，用于定制视频监控违章车辆的监控范围；

全方位视觉传感器标定模块，用于建立一种空间的实物图像与所获得的视频图像的对应关系；

视频数据融合模块，用于控制快速球视觉传感器的转动与调焦，使得快速球视觉传感器能对准跟踪的车辆进行特写抓拍，以全方位视觉传感器获取的全景图像中心为圆心，根据分辨需要将全景图像分成圆环，根据全方位视觉传感器距监控场景地面的高度、快速球视觉传感器空间位置和摄像头焦距等参数，依次确定快速球视觉传感器要检测的区域所需要水平、垂直旋转的角度以及焦距；

车辆进入监控范围检测模块，用于当检测到有车辆进入定制的监控范围后，***自动产生一个事件，***每自动产生一个事件时都会有调用相应的处理模块；车辆ID号以及存放跟踪车辆图像文件夹的自动生成模块，用于刚进入定制的监控范围的车辆对象进行命名，并同时生成一个以该车辆ID号命名的文件夹，用于存放该车辆的特写图像；

多目标跟踪模块，用于跟踪进入监控领域内的车辆对象；

违章停车检测模块，用于检测已经停放在监控范围内的车辆对象，包括有：

边缘检测单元，用于采用微分算子法，对图像进行微分运算求得梯度来进行边缘检测，从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设定一阶或二阶微分算子求得其梯度或二阶导数过零点，再选择阈值提取边界；

图像预处理单元，用于对图像进行边缘抽取、二值化、将轮廓连成闭合曲线并对曲线内区域进行白像素填充；

模板匹配单元，用于将所要检测的车体的样板与监控场景中所有位置的物体进行比较，考察是否存在与车体的样板相匹配的物体；对于一个空间离散化为M*N的图像，设i，j为离散化的监控场景中的各像素坐标，f(i，j)为坐标为(i，j)的像素的灰度值，根据上述的不变矩的概念和求取方法，按照离散化的数字图像的处理方法，则图像场景中物体的“中心矩”可由下列双重求和形式来逼近，用公式(23)表示，

$D_{\mathrm{pq}}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}{(i-\stackrel{\‾}{i})}^p{(j-\stackrel{\‾}{j})}^{q}f(i,j)---\left(23\right)$

其中：i＝m₁₀/m₀₀；j＝m₀₁/m₀₀； $m_{00}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}f(i,j);$ $m_{10}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}i\×f(i,j);$ $m_{01}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}j\×f(i,j).$

进行归一化处理，可得归一化不变中心矩为：η_pq＝D_pq/D₀₀，r＝(p+q)/2+1；

设p+q＜2，则导出两个RST不变的中心矩函数用公式(24)表示，

将监控场景的物体与模板的中心不变矩比较，并取相差值小于阈值，初步认为是模板所表示的物体；然后将模板的形心与场景中物体的形心坐标重合；

利用坐标的旋转变换来确定场景中物体对应的旋转角度，缩放和旋转采用的算法分别为：

缩放算法：

x₂＝N(x₁-x₀)+x₀

                   (25)

y₂＝N(y₁-y₀)+y₀

旋转算法：

x₂＝(x₁-x₀)cosθ+(y₁-y₀)sinθ+x₀

                                  (26)

y₂＝(y₁-y₀)cosθ+(x₁-x₀)sinθ+y₀

以上两组式中对模板的边缘轮廓点进行缩放和旋转处理，之后还需链接及闭合曲线内像素填充，式中(x₂，y₂)为像素的新坐标；(x₁，y₁)为原坐标；(x₀，y₀)为物体的形心坐标；N为缩放系数；θ为旋转的角度；

将上述两幅已经对准的二值图像进行“异或”操作，以剩余像素与预设的阈值比较，如小于预设的阈值，判定物体为模板所示车体以及车辆的类型；

车辆整体图像定位抓拍模块，用于定位抓拍车辆的整体图像；

车辆车牌定位抓拍模块，用于定位车辆的定位该车辆的悬挂车牌位置并对该位置进行抓拍车牌的图像；

车牌识别模块，用于识别违章车辆的车牌号；

警示语生成与播放单元，用于警示违章停车司机不要违章停车；

违章记录生成单元，用于在警示后超过设定的时间，车辆处于违章停车位置，自动生成一条违章记录，并存储违章车辆的图像和车牌号码。

作为优选的一种方案：所述的微处理器还包括：检测结果确认、更改、补全模块，用于确认车牌号识别是否正确、更改识别错误的识别结果、补全没有识别的车牌号。

作为优选的再一种方案：所述的微处理器还包括：网络传输模块，用于将所检测到的车辆违章停车过程的视频图像、抓拍的违章车辆整体图像以及相关的违章记录通过网络发送给执法部门。

作为优选的另一种方案：所述的微处理器还包括：实时播放模块，用于将所检测到的违章停车事件的相关视频图像、抓拍图像通过该模块播放到显示设备。

进一步，在所述的多目标跟踪模块中，将监控场景中把前景车辆的像素点提取出来，包括有：

自适应背景消减单元，用于采用基于混合高斯分布模型的自适应背景消除算法，针对图像的YCrCb颜色空间中的亮度值Y分量进行检测，对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为(27)：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k    (27)

式(27)中的下标t表示时间；

各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按设定的更新率进行更新；

阴影抑制单元，用于处理自适应背景消减单元所得到的前景目标中的阴影区域，先学习监控场景的地面的颜色分量CrCb和亮度分量Y，当碰到前景点时，判断该点的颜色分量CrCb是否和监控场景的地面相近，亮度分量Y是否比监控场景的地面低，判断算法由公式(28)表示：

$\left\{\begin{array}{c}0,\mathrm{if}(\mathrm{abs}(\mathrm{Cr}-\mathrm{RoadCr})>\mathrm{threshold}||\\ \mathrm{abs}(\mathrm{Cb}-\mathrm{RoadCb})>\mathrm{threshold})\\ 1,\mathrm{else}\end{array}\right.---\left(28\right)$

式(28)中标记0的点属于阴影，标记1的点属于前景，abs表示求其绝对值，Cr是该点的Cr颜色分量，Cb是该点的Cb颜色分量，RoadCr表示监控区域的Cr颜色分量，RoadCb是道路的Cb颜色分量，threshold表示设置的阈值；

连通区域标识单元，用于采用八连通区域提取算法得到车辆的大小和形状信息；

车辆对象跟踪单元，用于在监控场景中提取出前景车辆对象后，采用基于目标颜色特征跟踪算法，利用车辆目标对象的颜色特征在视频图像中找到车辆目标对象所在的位置和大小，在下一帧视频图像中，用车辆目标当前的位置和大小初始化搜寻窗口，重复这个过程来实现对车辆目标的连续跟踪。

再进一步，所述的车牌识别模块包括：车牌图像预处理单元，用于对原始图像进行各种区域处理，在首先对车牌图像进行灰度拉伸，采用全局阈值化方法对图像进行二值化处理，接着对其采用中值滤波；

车牌定位单元，用于在整幅车牌图像中对车牌进行水平与垂直投影定位车牌，根据牌照特征对车辆整体图像中的有可能存在牌照的地方进行粗检测，如果发现有类似牌照则进行定位，反之要求***重新抓拍车辆图像；

车牌字符分割单元，用于将车牌字符分割成单一字符，采用字符垂直投影直方图与车牌字符先验宽度信息相结合进行分割；

归一化处理单元，用于车牌特征提取与识别，将字符变化为统一的大小格式，采用邻近插值的归一化方法；

提取特征单元，用于后期的字符识别，从图像中提取各种能够区分不同字符种类的数学特征，采用PCA方法进行字符特征提取，并用RS对特征进行约简，将约简后的特征送入神经网络进行训练；

字符识别单元，用于对分割后的车牌字符进行识别，考采用多级多分类器，将模板匹配与神经网络相结合，采用数字、字母、数字字母混合及汉字识别分类器进行识别。

本发明的技术构思为：图像处理与计算机视觉是一个不断发展的新技术，原则上采用计算机视觉进行观测有四个目的，即预处理、最底层的特征提取、中级特征的辩识以及通过图像对高级情景的解释。一般来说，计算机视觉包括主要特征、图像处理以及图像理解。图像是人类视觉的延伸。通过机器视觉，可以立即准确地把握是否有违章停车事件的发生。图像检测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信息的丰富和直观，是其它目前各种探测技术均不能提供如此丰富和直观的信息。目前在一些发达城市中已经大量使用摄像装置来进行道路监控以及治安监控，但是这些大量的视频海量数据都还没有得到充分的利用，仅仅是充当了一个远程监视眼的作用，缺乏人工智能等高新技术的支持，没有充当起智能中间代理的角色。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此基于ODVS的全方位视觉***近几年迅速发展，正成为计算机视觉研究中的重要领域，IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop on Omni-directional vision)。由于在道路、行人道以及大场景的视频检测是否有违章停车需要覆盖尽可能宽广的范围，因此利用全方位视觉传感器可以实现上述的要求，只要将全方位视觉传感器安装在大场景的中间就非常容易地采集到包含有违章车辆的视频信息，通过动态图像的理解来把握车辆违章状况，结合全方位视觉传感器和动态图像理解技术来实现中间代理的角色。目前还没有检索到将全方位视觉传感器以及动态图像理解技术运用到违章停车技术领域的论文与专利。

因此，采用全方位视觉传感器ODVS并利用数字图像处理技术，结合监控场景以及车辆的一些特征，检测在监控场景内是否有违章停车行为，为在监控领域内欲违章停车的司机提供警示信息，给数字城管、执法部门装备一双智能化的慧眼。

本发明的有益效果主要表现在：1)检测范围广，能对方位在200米直径以内的违章停车行为进行检测；2)实现了违章停车检测的智能化、违章停车处理的自动化、违章处理过程的人性化；3)有效地提高了违章停车执法的力度，减少了违章停车执法人员的工作强度，实现了违章停车的实时自动检测、实时自动传输、实时自动发布以及实时自动处理；4)缓解了执法者与停车违法者之间的对立，使得《行政处罚法》和《道路交通安全法》在技术层面上更具有操作性，增加了社会的和谐；5)引导市民遵守交通规则，真正使违章停车司机感受到法律的严肃性，提高整个社会的文明程度。

附图说明

图1为三维立体空间反射到全方位视觉平面成像示意图；

图2为全方位视觉传感器的结构示意图；

图3为全方位视觉传感器与快速球摄像装置一体化设计的示意图；

图4为全方位视觉传感器与一般的透视成像模型等价的透视投影成像模型示意图；

图5为全方位视觉传感器在水平方向上图像无形变模拟示意图；

图6为全方位视觉传感器的监控范围以及范围分割图；

图7为视频检测监控范围内是否有停车的图像处理流程图；

图8为全方位视觉传感器与快速球摄像装置配合的***结构图；

图9为本装置应用的一个实例示意图；

图10为本装置软件处理的流程图；

图11为边缘检测算法检测监控领域内是否有停车的结果图；

图12为违章停车车辆车牌识别处理流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图12，一种基于计算机视觉的违章停车检测装置，由一个大范围监控视觉传感器监控整个领域内的违章停车行为，通过动态图像理解技术检测到有违章停车事件发生情况下，微处理器通过大范围监控视觉传感器与快速球摄像装置之间的映射关系将该违章停车的车辆空间位置信息指示快速球摄像装置对该违章车辆进行抓拍，然后对所抓拍的违章整体图像进行车牌识别，得到该违章车辆的车牌号，接着通过语音播放单元警示违章停车司机不要违章停车，在警示劝说不起作用的情况下，***自动生成一条违章停车记录，在违章停车记录中包含有整个违章停车行为的过程视频图像、违章车辆的特写图像以及相关的识别结果，执法人员能根据这些记录对违章车辆进行处罚，整个过程如附图9所示。

所设计的基于计算机视觉的违章停车检测装置在投入使用时，首先要根据全方位视觉范围划分出违章停车监控领域，具体做法：首先读取360°全方位视觉视频图像，如附图6所示，然后在该360°全方位视频图像上定制监控领域，如果整个全方位视频图像内都作为违章停车监控领域那么就不需要进行这步工作；

进一步，对于大空间的视频检测，为了获得更多的视频信息，本发明中的大范围监控视觉传感器12采用全方位视觉传感器，由于全方位视觉传感器能捕捉到水平方向上360°的视频图像，如图3所示，而快速球视觉传感器1的水平方向的转角范围是360°、垂直方向的转角范围是90°，将全方位视觉传感器和快速球视觉传感器进行信息融合，当全方位视觉传感器发现某个车辆对象目标进入监控范围内之后，***返回一个该车辆对象目标的坐标信息，并利用这一信息来控制快速球视觉传感器以定位拍摄车辆对象目标，抓拍车辆对象目标的详细图像信息供后续车牌识别处理。值得指出的是，需要事先设定一张空间对应关系标定表，使快速球视觉传感器快速定位。标定方法为：以全景图像中心为圆心，根据分辨需要将全景图像分成一些圆环，如图6所示，然后将每个圆环划分几等份，可根据实际需要划分。这样，一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小。然后，根据全方位视觉传感器距监控场景地面的高度、快速球视觉传感器空间位置和摄像头焦距等参数，依次确定快速球视觉传感器要检测的区域所需要水平、垂直旋转的角度以及焦距。如果全方位视觉传感器检测到有车辆对象目标存在，***就可以根据该目标所在区域和标定表自动调节快速球视觉传感器，对车辆对象目标进行抓拍特写；在全方位视觉传感器中能实现水平方向的360°的实时监控，其核心部件是折反射镜面，如图3中的11所示；其工作原理是：ODVS摄像装置的光学部分的制造技术方案，ODVS摄像装置主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构或是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆型体的下部，圆型体的上部固定有一个向下的大曲率的折反射镜。图1表示的是本发明的全方位的视觉传感器的光学***的原理图。

折反射全景成像***能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，必须满足实时性的要求。

监控场景中物点的水平坐标与相应像点的坐标成线性关系就能确保水平场景无畸变，作为违章停车检测装置的全方位视觉传感器安装在监控场景中间顶部，监视着整个监控场景中水平方向上的车辆对象出现的情况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算***外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

如图1所示，摄像头的投影中心C在道路水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。理想的检测状况是在水平场景上无畸变，因此要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ       (1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像***的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(2\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(3\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(4\right)$

$\mathrm{tg\θ}=\frac{\mathrm{\ρ}}{f}=\frac{x}{z\left(x\right)}---\left(5\right)$

由反射定律

2γ＝φ-θ

由式(2)、(4)、(5)和(6)得到微分方程(7)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(7\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(8\right)$

由式(7)得到微分方程(9)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(9\right)$

由式(1)、(5)得到式(10)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(10\right)$

由式(8)、(9)、(10)和初始条件，解微分方程可以得到反射镜面形的数字解。***外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景***设计时根据应用要求选择合适的摄像头，标定出Rmin，透镜的焦距f确定反射镜离摄像头的距离Ho，由(1)式计算出反射镜的口径Do。

***参数的确定：

根据应用所要求的高度方向的视场确定***参数af。由式(1)、(2)和(5)得到式(11)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(11\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\ρ}=R\min \→{\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为фmax。则可以得到式(12)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}+z_0---\left(12\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

成像变换涉及不同坐标系之间的变换。在摄像机的成像***中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x^*y^*o^*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像***的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为物高，ρ为像高，t为物距，F为像距(等效焦距)。可以得到式(13)

$d=\frac{t}{F}\mathrm{\ρ}---\left(13\right)$

在上述水平场景无变形的折反射全方位成像***的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(1)表示；比较式(13)，(1)，可以看出水平场景无变形的折反射全方位成像***对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像***视为透视相机，α为成像***的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(13)，(1)式可以得到式(14)；

$\mathrm{\α}=\frac{t}{F};t=h---\left(14\right)$

由式(12)、(14)得到式(15)

$F=\frac{\mathrm{fh}{\mathrm{\ω}}_{\max }}{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(15\right)$

根据上述全方位摄像机成像模型进行***成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心5m的监控场景的水平面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将监控场景水平面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(16)给出；

$M=O_m-\frac{x^{*}}{S_x};$ $N=O_n-\frac{y^{*}}{S_y};---\left(16\right)$

式中：Om、On分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；Sx、Sy分别为在x和y方向上的尺度因子。Sx、Sy的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到Sx、Sy的数值，单位是(pixel)；Om、On。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

进一步，对于基于全方位视觉传感器的视频检测在监控领域内是否有车，可以采用两种检测方式：1)基于颜色模型的检测；2)基于图像边缘轮廓的检测(从俯视角度看车辆的轮廓都呈现为规则的矩形)。

监控场景的违章停车视频检测是整个***的关键，要实现在监控场景内检测出有车停放，在图像处理上需要通过背景图像阈值维护和背景相减等步骤来确认整个监控场景内是否有车辆。一般来说，监控场景内的地面颜色与车辆的颜色是有明显的区别的。本专利中利用视频图像中的颜色特征来判断监控场景的违章停车。

要判断监控场景内是否有违章停车，在图像识别上第一步是需要得到一个比较稳定的基准参考图像，然后利用它来做背景相减算法。本专利中采用了在监控场景内提取一个平均色度的阈值，作为颜色阈值。考虑到监控场景地面的颜色都是接近的，因此可以作为整个监控场景的全局颜色阈值。在实际使用过程中，监控场景地面的颜色模型也会发生一些变化，因此需要对颜色阈值数据进行不断的更新。

进一步，采用图像的YCrCb颜色模型来识别监控场景内是否有停车事件发生。由于在YCrCb颜色空间中Y分量是对光线敏感的，而CrCb这两个分量只是对颜色有关，通过CrCb这两个分量来区分车辆的颜色与车位地面的颜色能达到监控场景内是否有停车事件发生的目的。通过颜色空间中的Cr，Cb分量的检测基本上能达到与监控场景照明光线无关的效果。从全方位视觉传感器所获得的视频图像的颜色空间是RGB，因此在程序中需要将视频图像从RGB颜色空间转换到YCrCb颜色空间，转换公式(17)给出，

Y＝0.29990*R+0.5870*G+0.1140*B         (17)

Cr＝0.5000*R-0.4187*G-0.0813*B+128

Cb＝-0.1787*R-0.3313*G+0.5000*B+128

更进一步，采用背景相减算法得到车辆对象信息，所谓的背景相减算法也称为差分方法，是一种常用于检测图像变化和运动物体的图像处理方法。

背景相减的计算公式如式(18)所示，

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)       (18)

式中：f_d(X，t₀，t_i)是实时拍摄到全景图像与基准参考全景图像间进行图像相减的色度结果。f(X，t_i)是实时拍摄到图像色度值，f(X，t₀)是基准参考图像色度基准值。为了判断监控场景内是否有停车事件发生，因此在所定义的监控场景内作背景相减计算，判断Cr，Cb这两个分量是否超过了所规定的阈值范围。如果是超过了所规定的阈值范围的话就标记监控场景存在着违章停车，反之，没有违章停车。判断公式如式(19)所示，

$\left\{\begin{array}{c}1,\mathrm{if}(\mathrm{abs}(\mathrm{Cr}-\mathrm{ThresholdCr})>\mathrm{threshold}1||\mathrm{abs}(\mathrm{Cb}-\mathrm{ThresholdCb})>\mathrm{threshold}2)\\ 0,\mathrm{else}\end{array}\right.---\left(19\right)$

式中：Cr表示所检测到的当前监控场景内的Cr平均值，Cb表示所检测到的当前监控场景内的Cb平均值，ThresholdCr表示所定义的监控场景内地面的Cr平均值，ThresholdCb表示所定义的监控场景内地面的Cb平均值，threshold1表示Cr的阈值范围，threshold2表示Cb的阈值范围。

另一种检测当前监控场景内是否有车的方法，在户外由于监控场景的背景会由于气候的变化(下雨、下雪等)、监控场景内的飞扬物(树叶、塑料袋等)对地面颜色模型的影响，用颜色模型来进行监控场景是否有车会带来较大的误识别率，因此可以在监控场景的违章停车检测上采用图像的边缘检测方法；

车体的边界是描述车体特征的一类非常重要的描述子，这些边界可能在成像过程中产生边缘信息。边缘是指在其周围像素灰度有明显变化的那些像素的组合。边缘是具有幅值和方向的矢量，其在图像中表现为灰度的突变。边缘检测就是要检测出图像中这种灰度的非连续性。

目前对边缘检测有几种方法可以选择，由于在本发明中期望得到的是车体的边缘，而对边缘轮毂的完整性以及光滑性要求不高，因此我们采用其中的计算简单、运算速度快的经典边缘检测方法-微分算子法，该方法依靠对图像进行微分运算求得梯度来进行边缘检测，主要从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

所述的边缘检测方法大致上可以分为以下四个步骤：

①滤波：边缘检测算法主要是基于图像强度的一阶导数和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测方法的性能。需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失。因此边缘增强和降低图像噪声之间需要取得一种平衡。

②增强：增强边缘的基础是确定图像中各点邻域强度的变化值。增强算法可以突出邻域强度值有显著变化的点。边缘增强一般是通过计算梯度幅值来完成的。

③检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的情况下并不一定都是边缘，所以应该用某种方法来确定那些点是边缘点。最简单的边缘检测判据是梯度幅值A值判据。

④定位：确定边缘所在的像素，如果要更精确的确定边缘位置，也可以在子像素分辨率上来估计边缘位置，边缘的方向也可以被估计出来。

在本发明中采用索贝尔(Sobel)算子作为边缘检测算法，Sobel算子采用3*3大小的模板，这样就避免了在像素之间的内插点上计算梯度。Sobel算子用下式计算偏导数：

S_x＝(a₂+ca₃+a₄)-(a₀+ca₇+a₆)

                             (20)

S_y＝(a₀+ca₁+a₂)-(a₆+ca₅+a₄)

公式中常数c为2。Sobel算子可用以下卷积模板来实现：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(21\right)$

在监控场景中可以用来检测车体的方法可以是模板匹配法。该方法是将所要检测的车体的样板与监控场景中所有位置的物体进行比较，考察是否存在与车体的样板相匹配的物体。本发明采用的匹配算法为：设已知目标对象的车辆图像模板为T，大小为M*N，车辆图像模板T存放在计算机中，根据不同的车辆需要作成不同的模板，以便比对时使用；待检测的监控场景内车辆的图像为I，大小为L*W(L＞M，W＞N)。匹配的过程是设法把模板T叠加在图像I上，并比较T与它覆盖下的I的子图像的差别。若差别小于某事先设定的阈值，则认为T在该处与I的子图像有较好的匹配，即找到了目标对象。对待匹配的整幅图像按逐个像素扫描并实施上述操作，则可确定图像I中是否存在着模板T所确定的目标对象，即某种类型的车辆。匹配过程的数学描述可以由公式(22)表示：

$D(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{[I_{\mathrm{\η}}(m,n)-T(m,n)]}^2---\left(22\right)$

在图像匹配处理前需要图像的预处理，包括进行边缘抽取、二值化、将轮廓连成闭合曲线并对曲线内区域进行白像素填充。分别求出存储在计算机中的车体模板和监控场景中的物体的二值图像的形心坐标和中心不变矩(这里假设监控场景中物体无重叠，将全方位视觉传器安装在一定高度后就能使监控范围内的车辆不产生重叠)，将模板的不变矩分别与监控场景中各物体的不变矩比较，差值小于某设定的阈值即可断定为模板所示的物体-即车体。然后将车位场景中物体的形心与模板的形心对准，利用“缩放”和“旋转”等图像处理方法将模板与场景中的物体对齐，以确定场景中物体是否确为模板所表示的物体，若是就判定为该监控范围内有车，然后根据与模板匹配的结果，得到该监控范围内停车车辆的类型。

对于一个空间离散化为M*N的图像，设i，j为离散化的监控场景中的各像素坐标，f(i，j)为坐标为(i，j)的像素的灰度值，根据上述的不变矩的概念和求取方法，按照离散化的数字图像的处理方法，则图像场景中物体的“中心矩”可由下列双重求和形式来逼近，用公式(23)表示，

$D_{\mathrm{pq}}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}{(i-\stackrel{\‾}{i})}^p{(j-\stackrel{\‾}{j})}^{q}f(i,j)---\left(23\right)$

其中：i＝m₁₀/m₀₀；j＝m₀₁/m₀₀； $m_{00}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}f(i,j);$ $m_{10}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}i\×f(i,j);$ $m_{01}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}j\×f(i,j).$

为使中心不变矩不随比例缩放而变，进行归一化处理，可得归一化不变中心矩为：η_pq＝D_pq/D₀₀，r＝(p+q)/2+1，

设p+q＜2，则可导出两个RST不变的中心矩函数用公式(24)表示，

所述的模板匹配算法的具体步骤如下：

1)对模板及监控场景中各物体进行预处理：利用“Roberts”算子分别对监控场景中的物体进行边缘锐化，并选择合适的阈值进行二值化。对闭合的物体的边缘信息进行骨架细化，用方向链码(或数组)表示景物边缘的闭合曲线，以保证用单像素链表示的物体边缘的闭合曲线的连通性。进行区域填充，用最大灰度值填充物体边缘闭合曲线内的区域。如果求的区域面积大于一个阈值(最小车辆的投影面积为该阈值)，然后按照公式(23)计算监控范围内景物的中心坐标(重心坐标)，按照公式(24)求取二阶归一化中心不变矩，否则不进行以下判断。

2)将监控场景的物体与模板的中心不变矩比较，并取相差值小于某一阈值的即可初步认为是模板所表示的物体。然后将模板的形心与场景中物体的形心坐标重合。

3)将模板进行缩放以使其与场景中与之不变矩基本相同的物体的尺寸一致。利用坐标的旋转变换来确定场景中物体对应的旋转角度。缩放和旋转采用的算法分别为：

缩放算法：

x₂＝N(x₁-x₀)+x₀

                   (25)

y₂＝N(y₁-y₀)+y₀

旋转算法：

x₂＝(x₁-x₀)cosθ+(y₁-y₀)sinθ+x₀

                                   (26)

y₂＝(y₁-y₀)cosθ+(x₁-x₀)sinθ+y₀

以上两组式中仅对模板的边缘轮廓点进行缩放和旋转处理，之后还需链接及闭合曲线内像素填充。式中(x₂，y₂)为像素的新坐标；(x₁，y₁)为原坐标；(x₀，y₀)为物体的形心坐标；N为缩放系数；θ为旋转的角度。

4)将上述两幅已经对准的二值图像进行“异或”操作，以剩余像素的多少来证实该物体是否确为模板所示车体以及车辆的类型。

一种基于计算机视觉的违章停车检测装置，包括多个视觉传感器、用于车辆对象跟踪、车牌图像识别的微处理器、用于显示在监控场景内车辆对象跟踪情况、车辆整体图像、车辆车牌图像的显示单元以及用于播放违章车辆警示语的语音播放单元，所述多个视觉传感器通过视频卡连接微处理器，所述多个视觉传感器包括一个大范围场景监控视觉传感器12和一个进行特写抓拍车辆图像以及该车辆车牌图像的快速球视觉传感器1，所述的微处理器包括：图像显示单元，用于显示整个监控范围内的视频图像、跟踪车辆对象的整体图像以及跟踪车辆的车牌部分图像；所述的大范围监控视觉传感器12为全方位视觉传感器，该全方位视觉传感器安装在大范围监控场景的中间，用于监视整个监控场景的跟踪车辆对象；所述的快速球视觉传感器1，用于对进入监控场景内的车辆进行特写抓拍，通过大范围监控视觉传感器12的跟踪得到车辆所在的空间位置，微处理器根据该位置信息指示快速球视觉传感器1朝着车辆所在的空间位置的方向旋转调焦，然后进行抓拍；所述的大范围监控视觉传感器12与快速球视觉传感器1之间的动作关系是通过映射表来实现的；所述的全方位视觉传感器包括用于反射监控领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于支撑外凸折反射镜面的透明圆型体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上；所述的微处理器还包括：大范围监控视觉传感器12标定模块，用于建立监控场景图像与所获得的视频图像的对应关系；大范围监控视觉传感器12与快速球视觉传感器1之间的视频数据融合模块，用于控制快速球视觉传感器1的转动与调焦，使得快速球视觉传感器1能对准跟踪的车辆进行特写抓拍；多目标跟踪模块，用于跟踪进入监控领域内的车辆对象；车辆进入监控范围检测模块，用于***自动产生一个事件，***每自动产生一个事件时都会有调用相应的处理模块；车辆ID号以及存放跟踪车辆图像文件夹的自动生成模块，用于对刚进入大范围监控视觉传感器12的监控视场最外边轮廓线时的车辆对象进行命名，并同时生成一个以该车辆ID号命名的文件夹，用于存放该车辆的特写图像；车辆整体图像定位抓拍模块，用于定位抓拍该车辆的整体的图像；车辆车牌定位抓拍模块，用于定位该车辆的悬挂车牌位置并对该位置进行抓拍车牌的图像；车牌识别模块，用于识别违章车辆的车牌号；警示语生成与播放单元，用于警示违章停车司机不要违章停车；检测结果确认、更改、补全模块，用于确认车牌号识别是否正确、更改识别错误的识别结果、补全没有识别的车牌号；

所述的车辆ID号，用于产生一个能标识跟踪的车辆对象、存储对该车辆对象的进入监控领域的时间以及该车辆的其他一些属性数据进行记录的主键，车辆ID号的命名规则是：YYYYMMDDHHMMSS^*以14位符号命名，YYYY-表示公历的年；MM-表示月；DD-表示日；HH-表示小时；MM-表示分；SS-表示秒；均由计算机的***时间自动产生；

所述的存放跟踪车辆图像文件夹的自动生成模块，用于保存跟踪的过往车辆对象的特写图像，当车辆对象进入监控范围(最外的轮廓线)时，***自动产生一个车辆ID号，同时在某个存放图像的文件夹内创建一个与车辆ID号同名的文件夹，用来存放该车辆的特写图像，图像文件的命名方式是由计算机的***时间自动产生，命名规则是HHMMSS，HH-表示小时；MM-表示分；SS-表示秒；

所述的车辆整体图像定位抓拍模块，用于定位抓拍该车辆的整体的图像；在所述的多目标跟踪模块中我们对每辆进入监控领域内的车辆都进行跟踪，当跟踪的车辆对象进入检测领域外轮廓线时，***会根据大范围监控视觉传感器12所检测到的车辆对象的中心位置、大小等信息发指令给快速球视觉传感器1对车辆对象进行车辆整体图像定位抓拍，由于在抓拍时获得的车辆整体图像中并不一定包含有该车辆的车牌号的视频信息，因此本发明中所抓拍每个车辆对象的整体图像数为不定，一旦该车辆车牌被识别出来后就自动停止抓拍该车辆对象；

一般来说，车牌第一个字符为汉字；第二个字符为字母；第三、第四字符是数字与字母的混合；后三位是数字。根据这种情况，需要设计数字、字母、数字字母混合及汉字分类器，采用模板匹配与神经网络相结合的识别方法。

所述的车牌识别模块，用于识别进入监控领域内车辆车牌号并为后续依法对该车辆违章处理过程中违章车辆信息检索的主键；在车牌识别模块中包括图像预处理单元、车牌定位、车牌的字符分割单元、归一化处理单元、提取特征单元以及字符识别单元；

所述的图像预处理单元，用于对原始图像进行各种区域处理(包括增强、滤波等)。在该单元中首先对车牌图像进行灰度拉伸，采用全局阈值化方法对图像进行二值化处理，接着对其采用中值滤波，形态学滤波来消除各种干扰，从而突出车牌的特征信息；

所述的车牌定位单元，用于在整幅车牌图像中对车牌进行水平与垂直投影定位车牌；本发明中主要针对规范的民用牌照，这类牌照具有以下特征：

a)车牌底色与车身、字符颜色有较大的差异；

b)车牌有一个连续或由于磨损而不连续的边框，车牌内字符有多个，基本呈水平排列，所以在牌照的矩形区域内存在较丰富的边缘，呈现出有规则的纹理特征；

c)车牌内字符之间的间隔比较均匀，字符和牌照底色在灰度值上存在跳变，而字符本身与牌照底色都是有较均匀的灰度分布；

d)不同图像中牌照的具体大小、位置不确定，但其长宽比变化有一定范围，存在一个最大和最小长宽比。

根据上述牌照特征对车辆整体图像中的有可能存在牌照的地方进行粗检测，如果发现有类似牌照的地方进行定位，反之要求***重新抓拍车辆图像；

所述的车牌字符分割单元，用于将车牌字符分割成单一字符，有利于对每个字符进行特征的提取和识别。本发明中采用字符垂直投影直方图与车牌字符先验宽度信息相结合进行分割；

所述的归一化处理单元，用于后期的特征提取与识别，将字符变化为统一的大小格式，本发明中采用邻近插值的归一化方法；

所述的提取特征单元，用于后期的字符识别，从图像中提取各种能够区分不同字符种类的数学特征，本发明中采用PCA(主成分分析)方法进行字符特征提取，并用RS(粗糙集)对特征进行约简，将约简后的特征送入神经网络进行训练；

所述的字符识别单元，用于对分割后的车牌字符进行识别，考虑到车牌字符具有不同特征，采用相对应的分类器对字符进行识别。在本发明中采用多级多分类器，将模板匹配与神经网络相结合，设计了数字、字母、数字字母混合及汉字识别分类器；

所述的警示语生成与播放单元，用于警示违章停车司机不要违章停车，在上述检测到有新进入监控领域的车辆并识别出其车牌号码时，***根据所识别出来的车牌号码生成警示语，然后通过语音输出单元播放该警示语；

下面根据图10来说明本发明的处理流程，首先读取全方位视觉的视频图像，然后对该视频图像中的在监控范围内出现的车辆进行跟踪，如果发现有车辆停放或者驶入监控范围内，接着再判断这些车辆的车牌号是否已经被成功识别出来，如果存在着被成功识别出来车辆的情况，根据全方位视觉所检测到的该车辆目前所处在的位置，指示快速球摄像装置根据图6所示的映射关系调节转角与焦距对该车辆进行抓拍；对刚进入监控领域边界的车辆***会自动生成一个与***时间相关的车辆ID号以及以车辆ID号命名的文件夹，并将抓拍的车辆图像存放在该文件夹内，图像文件名以***的时间命名；同时通过语音提醒对刚进入监控领域边界的车辆司机在此不能停放车辆；接着***检查车牌号未成功识别出来并且目前仍停放在监控范围内的所有车辆的停放时间是否超过了一个规定的值，如果超过了该规定值的话就判定为违章停车；这时***读取以该车辆ID号命名的文件夹内的图像文件进行车辆车牌的定位和识别处理，如果识别成功就自动生成一条违章停车事件记录保存在数据库中，同时通过网络通知执法人员在监控点有违章停车事件发生，以便执法人员快速地进行维持交通秩序，对违章停车行为进行教育与处罚；在执法人员人力不足情况下，由于***将违章停车事件的过程进行了详细记录，根据视频记录以及车牌图像识别的结果同样也能实现事后执法的效果。

实施例2

为了有效的利用目前已经在使用的视频监控装置，可以在终端安装相应的违章停车检测软件，利用实施例1中的动态图像理解技术，检测在视频监控装置监控范围内是否有违章停车行为，一旦***检测到有违章停车行为发生就立即通过网络播放警示语，警示不要违章停车，同时通知执法人员尽快赴现场进行维护交通规则及时处理违章行为。

本发明中的实现算法主要是由Java语言实现的。

Claims (6)

1、一种基于计算机视觉的违章停车检测装置，其特征在于：所述违章停车检测装置包括用于获取监控区域的视频图像的全方位视觉传感器、用于抓拍违章停车车辆详细局部信息的快速球摄像机以及用于对视频图像进行理解分析并进行违章停车检测的微处理器，所述的全方位视觉传感器和快速球摄像机通过视频卡与微处理器连接，所述的全方位视觉传感器包括用于反射监测领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于支撑和保护外凸折反射镜面的透明圆型体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上，所述摄像头位于所述外凸折反射镜面的虚焦点；所述的微处理器包括：

视频图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；违章停车监控领域定制模块，用于定制视频监控违章车辆的监控范围；

全方位视觉传感器标定模块，用于建立一种空间的实物图像与所获得的视频图像的对应关系；

视频数据融合模块，用于控制快速球视觉传感器的转动与调焦，使得快速球视觉传感器能对准跟踪的车辆进行特写抓拍，以全方位视觉传感器获取的全景图像中心为圆心，根据分辨需要将全景图像分成圆环，根据全方位视觉传感器距监控场景地面的高度、快速球视觉传感器空间位置和摄像头焦距等参数，依次确定快速球视觉传感器要检测的区域所需要水平、垂直旋转的角度以及焦距；

车辆进入监控范围检测模块，用于当检测到有车辆进入定制的监控范围后，***自动产生一个事件，***每自动产生一个事件时都会有调用相应的处理模块；车辆ID号以及存放跟踪车辆图像文件夹的自动生成模块，用于刚进入定制的监控范围的车辆对象进行命名，并同时生成一个以该车辆ID号命名的文件夹，用于存放该车辆的特写图像；

多目标跟踪模块，用于跟踪进入监控领域内的车辆对象，当跟踪的车辆对象进入检测领域外轮廓线时，根据大范围监控视觉传感器所检测到的车辆对象的中心位置、大小信息发指令给快速球视觉传感器，对车辆对象进行车辆整体图像定位抓拍；

违章停车检测模块，用于检测已经停放在监控范围内的车辆对象，包括有：

边缘检测单元，用于采用微分算子法，对图像进行微分运算求得梯度来进行边缘检测，设定一阶或二阶微分算子求得其梯度或二阶导数过零点，再选择阈值提取边界；

图像预处理单元，用于对图像进行边缘抽取、二值化、将轮廓连成闭合曲线并对曲线内区域进行白像素填充；

模板匹配单元，用于将所要检测的车体的样板与监控场景中所有位置的物体进行比较，考察是否存在与车体的样板相匹配的物体；对于一个空间离散化为M*N的图像，设i，j为离散化的监控场景中的各像素坐标，f(i，j)为坐标为(i，j)的像素的灰度值，根据上述的不变矩的概念和求取方法，按照离散化的数字图像的处理方法，则图像场景中物体的“中心矩”可由下列双重求和形式来逼近，用公式(23)表示，

$D_{\mathrm{pq}}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}{(i-\stackrel{\‾}{i})}^p{(j-\stackrel{\‾}{j})}^{q}f(i,j)---\left(23\right)$

其中：i＝m₁₀/m₀₀；j＝m₀₁/m₀₀； $m_{00}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}f(i,j);$ $m_{10}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}i\×f(i,j);$ $m_{01}=\underset{i\∈R}{\mathrm{\Σ}}\underset{j\∈R}{\mathrm{\Σ}}j\×f(i,j);$

进行归一化处理，可得归一化不变中心矩为：η_pq＝D_pq/D₀₀，r＝(p+q)/2+1；

设p+q＜2，则导出两个RST不变的中心矩函数用公式(24)表示，

将监控场景的物体与模板的中心不变矩比较，并取相差值小于阈值.初步认为是模板所表示的物体；然后将模板的形心与场景中物体的形心坐标重合；

利用坐标的旋转变换来确定场景中物体对应的旋转角度，缩放和旋转采用的算法分别为：

缩放算法：

x₂＝N(x₁-x₀)+x₀    (25)

y₂＝N(y₁-y₀)+y₀

旋转算法：

x₂＝(x₁-x₀)cosθ+(y₁-y₀)sinθ+x₀    (26)

y₂＝(y₁-y₀)cosθ+(x₁-x₀)sinθ+y₀

以上两组式中对模板的边缘轮廓点进行缩放和旋转处理，之后还需链接及闭合曲线内像素填充，式中(x2，y2)为像素的新坐标；(x1，y1)为原坐标；(x0，y0)为物体的形心坐标；N为缩放系数；θ为旋转的角度；

将上述两幅已经对准的二值图像进行“异或”操作，以剩余像素与预设的阈值比较，如小于预设的阈值，判定物体为模板所示车体以及车辆的类型；

车辆整体图像定位抓拍模块，用于定位抓拍车辆的整体图像；

车辆车牌定位抓拍模块，用于定位车辆的定位该车辆的悬挂车牌位置并对该位置进行抓拍车牌的图像；

车牌识别模块，用于识别违章车辆的车牌号；

警示语生成与播放单元，用于警示违章停车司机不要违章停车；

违章记录生成单元，用于在警示后超过设定的时间，车辆处于违章停车位置，自动生成一条违章记录，并存储违章车辆的图像和车牌号码。

2、如权利要求1所述的基于计算机视觉的违章停车检测装置，其特征在于：所述的微处理器还包括：

检测结果确认、更改、补全模块，用于确认车牌号识别是否正确、更改识别错误的识别结果、补全没有识别的车牌号。

3、如权利要求1所述的基于计算机视觉的违章停车检测装置，其特征在于：所述的微处理器还包括：

网络传输模块，用于将所检测到的车辆违章停车过程的视频图像、抓拍的违章车辆整体图像以及相关的违章记录通过网络发送给执法部门。

4、如权利要求1所述的基于计算机视觉的违章停车检测装置，其特征在于：所述的微处理器还包括：

实时播放模块，用于将所检测到的违章停车事件的相关视频图像、抓拍图像通过该模块播放到显示设备。

5、如权利要求1-4之一所述的基于计算机视觉的违章停车检测装置，其特征在于：在所述的多目标跟踪模块中，从监控场景视频图像中将属于前景车辆对象的像素点提取出来，包括有：

自适应背景消减单元，用于采用基于混合高斯分布模型的自适应背景消除算法，针对图像的YCrCb颜色空间中的亮度值Y分量进行检测，对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为(27)：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3...，k    (27)

式(27)中的下标t表示时间；

各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按设定的更新率进行更新；

阴影抑制单元，用于处理自适应背景消减单元所得到的前景目标中的阴影区域，先学习监控场景的地面的颜色分量CrCb和亮度分量Y，当碰到前景点时，判断该点的颜色分量CrCb是否和监控场景的地面相近，亮度分量Y是否比监控场景的地面低，判断算法由公式(28)表示：

$\left\{\begin{array}{c}0,\mathrm{if}(\mathrm{abs}(\mathrm{Cr}-\mathrm{RoadCr})>\mathrm{threshold}\left|\right|\\ \mathrm{abs}(\mathrm{Cb}-\mathrm{RoadCb})>\mathrm{threshold})\\ 1,\mathrm{else}\end{array}\right.---\left(28\right)$

式(28)中标记0的点属于阴影，标记1的点属于前景，abs表示求其绝对值，Cr是该点的Cr颜色分量，Cb是该点的Cb颜色分量，RoadCr表示监控区域的Cr颜色分量，RoadCb是道路的Cb颜色分量，threshold表示设置的阈值；

连通区域标识单元，用于采用八连通区域提取算法得到车辆的大小和形状信息；车辆对象跟踪单元，用于在监控场景中提取出前景车辆对象后，采用基于目标颜色特征跟踪算法，利用车辆目标对象的颜色特征在视频图像中找到车辆目标对象所在的位置和大小，在下一帧视频图像中，用车辆目标当前的位置和大小初始化搜寻窗口，重复这个过程来实现对车辆目标的连续跟踪。

6、如权利要求5所述的基于计算机视觉的违章停车检测装置，其特征在于：所述的车牌识别模块包括：

车牌图像预处理单元，用于对原始图像进行各种区域处理，在首先对车牌图像进行灰度拉伸，采用全局阈值化方法对图像进行二值化处理，接着对其采用中值滤波；

车牌定位单元，用于在整幅车牌图像中对车牌进行水平与垂直投影定位车牌，根据牌照特征对车辆整体图像中的有可能存在牌照的地方进行粗检测，如果发现有类似牌照则进行定位，反之要求***重新抓拍车辆图像；

车牌字符分割单元，用于将车牌字符分割成单一字符，采用字符垂直投影直方图与车牌字符先验宽度信息相结合进行分割；

归一化处理单元，用于车牌特征提取与识别，将字符变化为统一的大小格式，采用邻近插值的归一化方法；

提取特征单元，用于后期的字符识别，从图像中提取各种能够区分不同字符种类的数学特征，采用PCA方法进行字符特征提取，并用RS对特征进行约简，将约简后的特征送入神经网络进行训练；

字符识别单元，用于对分割后的车牌字符进行识别，采用多级多分类器，将模板匹配与神经网络相结合，采用数字、字母、数字字母混合及汉字识别分类器进行识别。

Images