CN1858551B - 基于全方位计算机视觉的工程车防盗报警*** - Google Patents

Abstract

一种基于全方位计算机视觉的工程车防盗报警***，包括微处理器、用于监视工程车防盗情况的全方位视觉传感器、用于与外界通信的通信模块，全方位视觉传感器的输出与微处理器连接，采用全方位视觉传感器并利用数字图像处理技术和网络技术通信技术，根据全方位视觉传感器获得的实时全方位图像，通过计算判断出是否有人进出监控范围，结合工程车发生盗难过程中的一些特征，找到合理的特征判据，在判断为工程车盗难事件情况时能通知监控人员注意有可能侵入事件发生并记录当时的视频图像以便事后分析破案。解决目前在工地上、野外或者路边的工程车的部件防盗或者整车防盗困难等难题，能从立体的、全方位时空连续性防护等角度提高工程车防盗安全性。

Description

基于全方位计算机视觉的工程车防盗报警***

(一)技术领域

本发明属于全方位计算机视觉传感器技术、图像识别技术、计算机控制技术和无线网络通信技术在停放在工地现场或者野外空地上的工程车以及工程车配件防盗方面的应用。

(二)背景技术

随着中国经济的蓬勃发展，各种工程车的发展迅速，工程车在晚间一般都停放在工地现场或者野外空地，而目前在晚间对工程车防盗几乎属于空白，很多人从未想到工程车也会有人偷，平时工作完之后，使用好的工程车总是随意停放在路边和工地上，并没有任何防盗设备，这给盗车贼留下了可趁之机。

2005年下半年短短两个月内，上海南汇区接连发生三起盗车事件。偷车贼的目标，不仅仅限制在豪华的私家车，而扩展到停放在工地上的工程车。

第一次失窃事件发生在10月15号凌晨。川南奉公路5614弄一处工地上，一辆价值18万的5吨吊车被盗。不过，这名盗车贼一路撞坏了一辆卡车和一只配电箱，最后又撞倒了大门。然而，这么大的动静，居然没有吵醒值夜睡觉的门卫。这辆吊车还没找回来，10月31号深夜，祝西村二组又发生了一起盗窃工程车未遂的事件，两地相距不足三百米。这次，盗车贼看中的是一辆价值150万的50吨汽车吊。

有些盗车贼虽然不是偷窃整车，但是将工程车中的配件盗窃走，比如盗窃车轮等，给工程车的使用带来的危害，给工程车的车主带来了经济损失；另外由于工程车的驱动功率大，盗车贼一旦启动了偷窃来的工程车后，从这个意义上讲工程车的失窃对社会造成的危害性要远比私家车的失窃来的大；同时工程车作为工程项目中非常重要的设备，工程车的失窃会影响整个工程进度。

因此晚间停放在工地上、野外或者路边的工程车的部件防盗或者整车防盗是一大难题。

图像处理与计算机视觉是一个不断发展的新技术，原则上采用计算机视觉进行观测有四个目的，即预处理、最底层的特征提取、中级特征的辩识以及通过图像对高级情景的解释。一般来说，计算机视觉包括主要特征、图像处理以及图像理解。

图像是人类视觉的延伸。通过机器视觉，可以立即准确地发现工程车盗难的发生，这是不争的事实。图像监测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信息的丰富和直观，更为早期工程车盗难探测奠定了基础，其它目前各种探测技术均不能提供如此丰富和直观的信息。

工程车防盗报警***，是一种以计算机为核心，结合光电技术、计算机图像处理技术和通信技术研制而成的工程车防盗***。工程车防盗图像探测方法，是一种基于数字图像处理和分析的新型工程车防盗探测方法。它利用全方位视觉摄像头对工程车内外情况进行监视，同时对摄得的连续图像输入计算机，不断进行图像处理和分析，通过一些工程车盗难特征来实现工程车防盗报警。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此基于ODVS的全方位视觉***近几年迅速发展，正成为计算机视觉研究中的重要领域，IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop on Omni-directional vision)。目前还没有检索到将全方位视觉传感器运用到工程车防盗报警技术领域的论文与专利。

因此，采用全方位视觉传感器ODVS并利用数字图像处理技术，结合工程车发生盗难过程中的一些特征，找到合理的特征判据，特别是能从立体的、全方位时空连续性防护等角度进一步提高工程车防盗安全性。因此如何通过全方位光学成像技术、计算机图像处理技术和网络技术通信技术为工程车的防盗提供一种快速、可靠的监控领域大范围内视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，通过计算判断出是否有人进出监控范围，同时能通过无线网络通信手段通知监控人员注意有可能侵入事件发生并记录当时的视频图像以便事后分析破案，解决目前在工地上、野外或者路边的工程车的部件防盗或者整车防盗困难等难题。

(三)发明内容

为了解决晚间停放在工地上、野外或者路边的工程车的部件防盗或者整车防盗是一大难题，本发明提供一个获取实时全方位图像的光学部件、获取实时不变形的透视和全景图像的计算方法以及通过相隔一定时间所获得的全景图像来计算出在被监视范围领域中活动体的活动情况，防盗性能好的基于全方位计算机视觉的工程车防盗报警***。

本发明为解决其技术问题采用的技术方案为：

一种基于全方位计算机视觉的工程车防盗报警***，所述的工程车防盗报警***包括微处理器、用于监视工程车防盗情况的全方位视觉传感器、用于与外界通信的通信模块，所述的全方位视觉传感器的输出与微处理器连接，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在折反射镜面外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面的虚焦点位置；所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块，用于将读取的圆形视频图像展开为全景柱状图；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(28)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)    (28)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(29)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)    (29)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(30)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(30\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区内无人活动，像素灰度为1则表示此小区有人活动，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；然后再根据所求得的连通区域来计算其面积和重心；人的重心通过计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(34)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};$ $Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(34\right);$

人体模型建立模块，用于通过连通区域限定矩形的顶点和目标的重心建立人体模型，对于新检测到的对象目标时模块自动分配一个标识ID号，运动中的人体随着全方位视觉传感器的视角变化，其大小和形状会发生相应的变化，动态地修正人体模型；

区域大小属性判断模块，用于根据每个连通区域求出其面积Si，有下面判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子Fs为1；

阈值1和阈值2的取值范围的大小是根据从上往下看(俯视)一个成年人的平均截面积在0.12m²左右，然后通过全方位视觉***的标定结果来决定阈值1和阈值2的大小，即像素值的大小。

形状属性判断模块，用于根据每个连通区域求出其面积Si求其形状特征属性，与人体模型作比较，首先求每个连通区域的(水平方向的长度)平均宽度和高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(30)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(30\right)$

计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(31)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(31\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区越半径中有其判断指标，比如在10m～12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子Fsh为1。

活动特性判断模块，用于通过比较相邻两帧目标的重心变化，就可以得到目标的运动方向、运动速度和加速度，如在t帧时某一目标的重心在(xcg(t)，ycg(t))，t+1帧时某一目标的重心在(xcg(t+1)，ycg(t+1))，则运动方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝ycg(t+1)-ycg(t))来确认，运动速度可以通过下式来进行计算，

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}\mathrm{\Δt}---\left(32\right)$

运动加速度可以通过(32)式求得的速度值来进行计算，

a_t＝V_t-V_t-1/Δt    (33)

式中Δt为两帧之间的时间间隔，Vt为从t+1帧到t帧的运动速度，at为t帧时刻的加速度，

如果人的运动速度与加速度超过阈值范围，判定不是由人体自身所产生的运动速度与加速度，设定运动特性影响因子Fmove为0，明显低于该阈值范围，设定运动特性影响因子Fmove为0.2～0.5之间，其他设定运动特性影响因子Fmove为1；

行为类型特性判断模块，用于记录在监控范围内发现有人活动并超过一定时间Tduring，就认为有偷窃嫌疑，随着在工程车附近的停留时间Tduring的增长，就认为偷窃嫌疑的可能性增加，将行为类型影响因子Fbehavior定义为Tduring正相关，用计算公式由式(35)计算得到，

多跟踪目标特性判断模块，用于判断有两个或者两个以上的活动对象目标，同时满足形状属性判断和区域大小属性判断结果是人的情况下，将多跟踪目标影响因子Fgruop设定为1；

综合判断处理模块，用于在上述的五种判断的基础上，接着进行综合判断以减少误判断率，综合判断公式由式(36)给出，综合判断中采用了加权方式，

W_guard alarm＝K_s×F_s+K_sh×F_sh+K_move×F_move+(K_behavior×F_behavior+K_group×F_group)×F_s

(36)

式中：

K_s为对象目标面积属性的加权系数；

K_sh为对象目标形状属性的加权系数；

K_move为对象目标运动属性的加权系数；

K_behavior为对象目标行为类型特性的加权系数；

K_group为多对象目标特性的加权系数；

异常报警模块，用于根据式(36)计算出来的W_guard alarm的结果，如W_guard alarm大于预设的阈值，通过通信模块发出告警信息。

进一步，所述的预设阈值包括Kattention、K alarm1、K alarm2，Kattention＜Kalarm1＜K alarm2；

若Kattention≤W_guard alarm≤K alarm1，判定为有可疑侵入，提醒注意，启动图像数据文件存储模块记录现场视频数据；

若K alarm1＜W_guardalarm≤K alarm2，判定为盗难早期警告，通过通信模块发送短消息、语音电话或者电子邮件通知监控人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；

若K alarm2＜W_guard alarm，判定为盗难警告，自动通报公安机关110，通报的信息包含有报警的地点，车牌号码、车主信息。

再进一步，所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(25)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(25\right)$

式(25)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(27)：

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时

第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0    (26)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(22)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)    (22)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(23)：

X_mix，bn+1(i)＝X_mix，cn(i)    (23)。

更进一步，所述的微处理器还包括：噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1]    (32)

上式(32)中，M是邻域内的像素点总数。

所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(21)所示：

P^**(x^**，y^**)←M×P^*(x^*，y^*)    (21)

上式中，M是映射矩阵，P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵。

所述的微处理器还包括：网络传输模块，用于将所获得的现场视频图像以视频流的方式通过网络播放出去，以便用户能通过各种网络实时地掌握现场情况；实时播放模块，用于将所获得的现场视频图像通过该模块播放到显示设备。

所述的工程车上安装用于检测是否发生摆动的悬挂摆动物体，所述的悬挂摆动物体安置在全方位视觉传感器的附近，所述的微处理器还包括振动检测模块，用于根据盗车者悬挂摆动物体产生摆动或者上下振动，判定可能发生盗难。

所述的工程车设有在可见光的波长范围内得到监控全方位图像的照明单元，所述的照明单元为普通灯源或红外灯源。

所述的全方位视觉传感器安装在工程车的顶部中央位置。

本发明的工作原理是：所设计的工程车防盗报警***在设置了设防功能后，采用计算机全方位视觉传感器能对监视工程车内外周围实现全方位实时图像防盗监控，从所拍摄的图像中识别出人体图像，通过多种特征计算判断出侵入或干涉工程车的行为，并能防止未经许可使用工程车。

首先是全方位视觉传感器(ODVS)摄像装置的光学部分的制造技术方案，ODVS摄像装置主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的黑色圆锥状体，该圆锥状体固定在折反射镜的中部，黑色圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和以及通过圆筒体壁产生的光反射现象。图2是表示本发明的全方位成像装置的光学***的原理图。

折反射全景成像***能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，因而计算量大，特别是用在对监视多目标，如人的活动或者由人产生的活动进行监控，必须满足实时性的要求。

为了确保所监视的场景中物点的水平坐标与相应像点的坐标成线性关系即在水平场景无畸变，作为防盗监视功能的全方位视觉装置安装在离路面高度3米以上位于工程车的中央部位或者是在驾驶室内之处，对于安装在驾驶室内的全方位视觉传感器能监视到工程车周围监控领域在水平方向上的情况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算***外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

如图1所示，摄像头的投影中心C在水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ    (1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像***的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(2\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(3\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(4\right)$

由反射定律

2γ＝φ-θ

∴ $\mathrm{tg}\left(2\mathrm{\γ}\right)=\mathrm{tg}(\mathrm{\φ}-\mathrm{\θ})=\frac{\mathrm{tg\φ}-\mathrm{tg\θ}}{1+\mathrm{tg\φtg\θ}}---\left(6\right)$

由式(2)、(4)、(5)和(6)得到微分方程(7)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(7\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(8\right)$

由式(7)得到微分方程(9)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(9\right)$

由式(1)、(5)得到式(10)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(10\right)$

由式(8)、(9)、(10)和初始条件，解微分方程可以得到反射镜面形的数字解。***外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景***设计时根据应用要求选择合适的摄像头，标定出Rmin，透镜的焦距f确定反射镜离摄像头的距离Ho，由(1)式计算出反射镜的口径Do。

***参数的确定：

根据应用所要求的高度方向的视场确定***参数af。由式(1)、(2)和(5)得到式(11)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(11\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\ρ}=R\min \→{\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为φmax。则可以得到式(12)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}+z_0---\left(12\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

进一步说明本发明在实施过程中涉及到标定与目标识别等几个关键问题：

(1)如何标定全方位视觉传感器的成像平面内的像素距离与实际三维空间距离的对应关系，并在该基础上对运动图像进行分类。因为全方位视觉摄像机成像平面是二维的，以像素为计量单位，在成像平面上，由于工程车停放在野外以及路边，因此通过全方位视觉传感器观察到的变化情况非常复杂，有些可能包含有各种灯光的反射和照射、各种车辆、各种宠物及其它诸如月光、流云、摇动的树枝等类似于运动物体影子，为了便于进一步的跟踪和行为分析，运动目标的正确分类是完全必要的。分类方法有基于形状、大小信息的分类和基于运动特性的分类。

(2)如何进行目标跟踪，跟踪等价于在连续的图像帧间创建基于位置、速度、形状、行为、多目标等有关特征的对应匹配问题，本发明中将活动中人物的属性信息结合起来，提供一种有效的、鲁棒性高的、实时性好的目标跟踪方法。这种跟踪方法实际上是基于模型的、基于区域的、基于活动轮廓的、以及基于颜色特征的等跟踪方法的一种综合。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，需要建立摄像机的模型来描述。这些成像变换涉及不同坐标系之间的变换。在摄像机的成像***中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x*y*o*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像***的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为人体高，ρ为人体的像高，t为人体的距离，F为人体的像距(等效焦距)。可以得到式(13)

$d=\frac{t}{F}\mathrm{\ρ}---\left(13\right)$

在上述水平场景无的折反射全方位成像***的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(1)表示；比较式(13)，(1)，可以看出水平场景无变形的折反射全方位成像***对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像***视为透视相机，α为成像***的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(13)，(1)式可以得到式(14)；

$\mathrm{\α}=\frac{t}{F};$ t＝h

(14)

由式(12)、(14)得到式(15)

$F=\frac{\mathrm{fh}{\mathrm{\ω}}_{\max }}{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(15\right)$

根据上述全方位摄像机成像模型进行***成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心3m的水平面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将水平路面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(16)给出；

$M=O_m-\frac{x^{*}}{S_x};$ $N=O_n-\frac{y^{*}}{S_y};---\left(16\right)$

式中：Om、On分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；Sx、Sy分别为在x和y方向上的尺度因子。Sx、Sy的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到Sx、Sy的数值，单位是(pixel)；Om、On。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

进一步，来说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)经折反射1镜面反射到透镜4上对应有一个投影点P1(x*1，y*1)，通过透镜4的光线变成平行光投射到CCD摄像单元5，微处理器6通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示单元7上或者通过视频服务器发布在网页上。

进一步，在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。展开规则有三条，

(1)X*轴为起始位置，按逆时针方式展开；

(2)左图中X*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图的圆心O*坐标(x*0，y*0)，展开的矩形图左下角原点坐标O**(0，0)，矩形图中任意一点P**＝(x**，y**)所对应的点在圆形图中的坐标为(x*，y*).下面我们需要求的是(x*，y*)和(x**，y**)的对应关系.根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)    (17)

r1＝(r+R)/2         (18)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(2x^**/(R+r)))    (19)

y^*＝(y^**+r)cosβ            (20)

从式(19)、(20)可以得到圆形全方位图像上的一个点(x*，y*)和矩形全景图上的一个点(x**，y**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

为了满足实时计算需要同样可根据圆形全方位图像上的一个点(x*，y*)和矩形全景图上的一个点(x**，y**)的对应关系，建立(x*，y*)与(x料，y**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(21)关系。

P^**(x^**，y^**)←M×P^*(x^*，y^*)    (21)

根据式(21)，对于成像平面上的每个像素P*(x*，y*)在全方位图像上有一个点P**(x**，y**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。

全方位视觉传感器所拍摄的监控图像是一个立体的三维图像，将全方位视觉传感器安装在监视空间的中央顶部(如工程车的驾驶室的上方)就能监视所监控领域的所有部位的情况，而且不存在死角，同时所监视空间上的一个点与图像帧中的点成映射关系，通过这种映射关系可以计算出发生侵入或干涉工程车的行为所在空间位置，以实现对该侵入或干涉工程车的行为进行过程监控提高工程车防盗报警的准确率。

本发明的有益效果主要表现在：通过全方位视觉传感器获取实时不变形的透视和全景图像，并通过相隔一定时间所获得的全景图像来计算出在被监视范围领域中活动体的活动情况，实时判定是否有盗难发生，防盗性能好，解决了工程车防盗的难题。

(四)附图说明

图1为全方位视觉光学原理图；

图2为一种基于全方位计算机视觉的工程车防盗报警***的硬件结构原理图；

图3为全方位视觉装置与一般的透视成像模型等价的透视投影成像模型示意图；

图4为全方位视觉装置在水平方向上图像无形变模拟示意图；

图5为全方位视觉装置中工程车防盗报警监控处理的流程图；

图6为基于全方位计算机视觉的工程车防盗报警***中各模块的关联图。

(五)具体实施方式

参照附图进一步说明本发明。

实施例1

参照图1、图2、图3、图4、图5和图6，一种基于全方位计算机视觉的工程车防盗报警***，包括微处理器6、用于监视工程车防盗情况的全方位视觉传感器13、用于与外界通信的通信模块，所述的全方位视觉传感器13的输出通过USB接口14与微处理器6连接，所述的全方位视觉传感器13包括用以反射监控领域中物体的外凸折反射镜面1、用以防止光折射和光饱和的黑色圆锥体2、透明圆柱体3、摄像头5，所述的外凸折反射镜面1位于透明圆柱体3的上方，外凸折反射镜面1朝下，黑色圆锥体2固定在折反射镜面外凸部的中心，摄像头5对着外凸反射镜面1朝上，所述的摄像头5位于外凸反射镜面的虚焦点位置，摄像头5还包括镜头4；所述的微处理器包括：

图像数据读取模块16，用于读取从全方位视觉传感器传过来的视频图像信息，并进行图像预处理；

图像数据文件存储模块18，用于将读取的视频图像信息通过文件方式保存在存储单元中；

传感器标定模块17，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块19，用于将读取的圆形视频图像展开为全景柱状图；

运动对象检测模块23，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(28)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)    (28)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(29)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)    (29)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(30)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(30\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区内无人活动，像素灰度为1则表示此小区有人活动，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；然后再根据所求得的连通区域来计算其面积和重心；人的重心通过计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(34)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};$ $Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(34\right);$

人体模型建立模块34，用于通过连通区域限定矩形的顶点和目标的重心建立人体模型，对于新检测到的对象目标时模块自动分配一个标识ID号，运动中的人体随着全方位视觉传感器的视角变化，其大小和形状会发生相应的变化，动态地修正人体模型；

区域大小属性判断模块，用于根据每个连通区域求出其面积Si，有下面判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子Fs为1；

阈值1和阈值2的取值范围的大小是根据从上往下看(俯视)一个成年人的平均截面积在0.12m2左右，然后通过全方位视觉***的标定结果来决定阈值1和阈值2的大小，即像素值的大小。

形状属性判断模块，用于根据每个连通区域求出其面积Si求其形状特征属性，与人体模型作比较，首先求每个连通区域的(水平方向的长度)平均宽度和高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(30)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(30\right)$

计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(31)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(31\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区越半径中有其判断指标，比如在10m～12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子Fsh为1。

活动特性判断模块，用于通过比较相邻两帧目标的重心变化，就可以得到目标的运动方向、运动速度和加速度，如在t帧时某一目标的重心在(xcg(t)，ycg(t))，t+1帧时某一目标的重心在(xcg(t+1)，ycg(t+1))，则运动方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝ycg(t+1)-ycg(t))来确认，运动速度可以通过下式来进行计算，

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}\mathrm{\Δt}---\left(32\right)$

运动加速度可以通过(32)式求得的速度值来进行计算，

a_t＝V_t-V_t-1/Δt    (33)

式中Δt为两帧之间的时间间隔，Vt为从t+1帧到t帧的运动速度，at为t帧时刻的加速度，

如果人的运动速度与加速度超过阈值范围，判定不是由人体自身所产生的运动速度与加速度，设定运动特性影响因子Fmove为0，明显低于该阈值范围，设定运动特性影响因子Fmove为0.2～0.5之间，其他设定运动特性影响因子Fmove为1；

行为类型特性判断模块，用于记录在监控范围内发现有人活动并超过一定时间Tduring，就认为有偷窃嫌疑，随着在工程车附近的停留时间Tduring的增长，就认为偷窃嫌疑的可能性增加，将行为类型影响因子Fbehavior定义为Tduring正相关，用计算公式由式(35)计算得到，

多跟踪目标特性判断模块，用于判断有两个或者两个以上的活动对象目标，同时满足形状属性判断和区域大小属性判断结果是人的情况下，将多跟踪目标影响因子Fgruop设定为1。

综合判断处理模块32，用于在上述的五种判断的基础上，接着进行综合判断以减少误判断率，综合判断公式由式(36)给出，综合判断中采用了加权方式，

W_guard alarm＝K_s×F_s+K_sh×F_sh+K_move×F_move+(K_behavior×F_behavior+K_group×F_group)×F_s

(36)

式中：

K_s为对象目标面积属性的加权系数；

K_sh为对象目标形状属性的加权系数；

K_move为对象目标运动属性的加权系数；

K_behavior为对象目标行为类型特性的加权系数；

K_group为多对象目标特性的加权系数；

异常报警模块，用于根据式(36)计算出来的W_guard alarm的结果，如W_guard alarm大于预设的阈值，通过通信模块发出告警信息。

全方位视觉传感器所拍摄的监控图像是一个立体的三维图像，将全方位视觉传感器安装在监视空间的中央顶部(如工程车的驾驶室的上方)就能监视所监控领域的所有部位的情况，而且不存在死角，同时所监视空间上的一个点与图像帧中的点成映射关系，通过这种映射关系可以计算出发生侵入或干涉工程车的行为所在空间位置，以实现对该侵入或干涉工程车的行为进行过程监控提高工程车防盗报警的准确率。

作为一种基于全方位计算机视觉的工程车防盗装置在取得全方位视频信息之后，接下来必须进行背景消除、目标提取、目标跟踪等计算工作。背景消除首先要解决的问题是亮度变化的问题，对于野外和路边停放的工程车监控会有光线的突然照射(如路过的车辆的车灯照射)，在晚间由于光线的不足需要配备辅助照明光源以便使全方位视觉传感器能捕获到在工程车周围的视觉图像，这些都会引起背景光源发生变化，因此在背景消除中采用的背景模型要适应上述的这些变化。

对于视频监控，由于全方位场景视野比较大，人体在整幅图像中所占的比例比较小，因此人物的运动可以看作近似刚体运动；另外，视频监控的场景固定，可以认为具有相对比较固定范围的背景，因此可以采用背景减算法的快速分割算法来实时检测和跟踪视频监控中的运动人物或物体；背景消除是基于背景减算法检测运动对象的关键，它直接影响检测出运动对象的完整性和准确性。本发明中采用了背景自适应法，其核心思想是对每一个背景像素使用1组矢量；RGB变化的当前混合值(Xmix，bi)来表示合法背景像素的允许取值(i为帧号)，并采用IIR滤波对其进行如下更新。

(1)当光线自然变化，比如是傍晚到深夜，然后从深夜到清晨的自然光线的变化(不是开关路灯或者工程车自备照明灯引起的)，并且无异常对象存在时，1组向量(分别为RGB)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)    (22)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度：λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成。

(2)当光线有突变时(由路灯或者工程车自备照明灯的开关引起的)，1组向量按当前帧重置：

X_mix，bn+1(i)＝X_mix，cn    (23)

(3)当有对象进入监视范围时，背景保持不变。为避免将运动对象的部分像素学习为背景像素，采用：

X_mix，bn+1(i)＝X_mix，bn(i)    (24)

上式中的X_mix，bn+1(i)(i＝1，2，3)分别表示R，G，B3个分量，为简化起见，上述公式略去了每个像素的坐标(x，y)部分。

开关灯事件等这些背景亮度的变化不应引起***报警，因而进行背景亮度分析有助于降低***的误报率。背景亮度使用平均背景亮度Yb来度量，计算公式由式(25)给出，

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y-0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(25\right)$

式(25)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表。用Yb0表示发现有异常对象时前一帧的背景亮度，Yb1表示检测到异常对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0    (26)

如果ΔY大于某个值则认为发生了开灯事件，如果ΔY小于某个负值则认为发生了关灯事件。根据上述判断结果用式(23)对当前帧进行重置。背景自适应算法是在背景刷新处理模块29中完成的。

所述的掩模表，是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，这个数组称为掩模映射表(Mask Map)：

数组M是运动对象的二值图像，不但可用来掩模视频帧从而分割出运动对象，还可用于运动对象的跟踪、分析和分类。

所述的背景减算法也称为差分方法，是在运动区域检测模块23中进行计算的，它是一种常用于检测图像变化和运动物体的图像处理方法.根据三维空间与图像像素的对应性关系把有光源点存在的那些像素部分检测出来，首先要有一个比较稳定的基准参考图像，并将该基准参考图像存储在计算机的存储器里，并通过上述的背景自适应法对基准参考图像进行动态更新，通过实时拍摄到图像与该基准参考图像间进行图像相减，相减的结果发生变化的区域亮度增强，图像相减的计算公式如式(28)表示，

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)    (28)

式中f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像，相当于式(22)中的X_mix，cn(i)；f(X，t₀)是基准参考图像，相当于式(22)中的X_mix，bn(i)。

实际图像信号中包含有噪声，而且一般都表现为高频信号，因此在识别过程中要剔除由噪声所产生的图像边缘点。

所述的剔除由噪声所产生的图像边缘点，在本发明中使用四邻域遍历的方法，它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值，即每一个像素值用其局部邻域内所有值的均值置换，如公式(29)所示：

h[i，j]＝(1/M)∑f[k，1]    (29)

式中，M是邻域内的像素点总数，本发明中取为4。

像素间的连通性是确定区域的一个重要概念。在二维图像中，假设目标像素周围有m(m＜＝8)个相邻的像素，如果该像素灰度与这m个像素中某一个点A的灰度相等，那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。4连通一般选取目标像素的上、下、左、右四个点。8连通则选取目标像素在二维空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连通区域。

所述的连通区域计算主要解决在图像处理过程中，一幅二值图像，其背景和目标分别具有灰度值0和1。对这样的二值图像，要对目标进行标记，计算每一目标的特征以进行识别，在多目标实时跟踪***设计中，需要有一种快速而节省内存的连通区域标记算法。我们将像素为0的小区表示此小区无监控活动对象，若为1则表示此小区有监控对象。所以可以采用连通成分标记法进行缺陷区域的合并。连通标记算法可以找到图像中的所有连通成分，并对同一连通成分中的所有点分配同一标记。图5为连通标记原理图。下面是连通区域算法，

1)从左到右、从上到下扫描图像；

2)如果像素点为1，则：

·如果上面点和左面点有一个标记，则复制这一标记。

·如果两点有相同的标记，复制这一标记。

·如果两点有不同的标记，则复制上点的标记且将两个标记输入等价表中作为等价标记。

·否则给这个象素点分配新的标记并将这一标记输入等价表。

3)如果需考虑更多的点则回到第2步。

4)在等价表的每一等价集中找到最低的标记。

5)扫描图像，用等价表中的最低标记取代每一标记。

帧间分割重要问题是：(1)尽量利用上一帧的分割结果来指导当前帧的分割，从而提高效率，(2)实现同一运动物体在不同帧中的对应关系。因此，算法必须维护一个存储***来保存上一帧的分割结果和目前的目标运动参数。

“目标匹配”实现两帧之间的目标配对问题，主要是根据空间位置(包含运动预测)、区域大小、形状、纹理颜色等信息来进行最佳匹配判断.有了“目标匹配”的信息可以进一步深层次来判断是否是人以提高识别率；本发明将视频监控对象定位于对偷盗工程车的人的监控，因此有必要找出一系列人的属性信息以便实现监控对象与这些属性信息之间的对象匹配，并以此为基础从不同帧间的信息来解决目标配对与目标跟踪问题；作为视频监控中可利用的人的属性信息有以下几个方面：1)区域大小属性，从俯视的角度来看一个人的截面积大约在0.12m²左右；2)形状属性，从俯视的角度来看一个人的形状呈椭圆形；3)活动特性，人体自身的整体运动速度或加速度(不借助与任何工具)是有一个阈值范围的，利用活动属性可以区分出飞扬的物体，比如纸张或者塑料薄膜等；4)行为类型特性，对偷盗工程车的窃贼，其行为类型与路过的行人不一样，在作案过程中往往会在工程车附近或者接触工程车有比较长的一段时间，如果想要偷窃整车的窃贼会想进入驾驶室，对于想要偷窃工程车的部件的窃贼会在该部件周围从工程车上卸下该工程车部件的动作；5)多跟踪目标特性，团伙作案情况时从视觉角度来说，属于在监控范围内发现了多目标活动对象，说明更有可能发生工程车的团伙偷盗行为；因此利用上述活动中的对象的各种属性进行对象匹配，然后根据对象匹配的结果进行加权计算，得到一个综合判断结果，最后根据该综合判断结果的量化值的大小进行不同的处理。

所述的区域大小属性判断是对上述标记过的每个连通区域求出其面积Si，有下面判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子Fs为1。

阈值1和阈值2的取值范围的大小是根据从上往下看(俯视)一个成年人的平均截面积在0.12m2左右，然后通过全方位视觉***的标定结果来决定阈值1和阈值2的大小，即像素值的大小。

所述的形状属性判断是对上述标记过的每个连通区域求出其面积Si求其形状特征属性再与参考图像在几何关系上达到匹配，匹配的标准是使两幅图像的相似性达到最大；为了简化计算提高实时处理能力，本发明中具体的做法是：将人体模型简化矩形模型，首先求每个连通区域的(水平方向的长度)平均宽度和(垂直方向的长度)高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(30)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(30\right)$

计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(31)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除(不认为是有人)，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(31\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区越半径中有其判断指标，比如在10m～12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子Fsh为1.

所述的活动特性判断，由于本发明中采用了全方位视觉***，人在整个场景中的比例小，因此人的运动模型可以用简单的刚体运动模型来简化，所以可以将人的整体运动速度或加速度作为一个重要的判断指标。

通过比较相邻两帧目标的重心变化，就可以得到目标的运动方向、运动速度和加速度。如在t帧时某一目标的重心在(xcg(t)，ycg(t))，t+1帧时某一目标的重心在(xcg(t+1)，ycg(t+1))，则运动方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝ycg(t+1)-ycg(t))来确认，运动速度可以通过下式来进行计算，

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}\mathrm{\Δt}---\left(32\right)$

运动加速度可以通过(32)式求得的速度值来进行计算，

a_t＝V_t-V_t-1/Δt    (33)

式中Δt为两帧之间的时间间隔，Vt为从t+1帧到t帧的运动速度，at为t帧时刻时的加速度。

所述的对象目标的重心可以通过上述计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(34)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};$ $Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(34\right)$

人的运动速度与加速度都有一个阈值范围，如果超过该阈值范围就认为不是由人体自身所产生的运动速度与加速度，这时设定运动特性影响因子Fmove为0，明显低于该阈值范围(如该阈值的1/10)，设定运动特性影响因子Fmove为0.2～0.5之间，其他设定运动特性影响因子Fmove为1；

所述的行为类型特性判断，对偷盗工程车的窃贼，其行为类型与路过的行人不一样，在作案过程中往往会在工程车附近或者接触工程车有比较长的一段时间，对于如果想要偷窃整车的窃贼会想进入驾驶室的窃贼会在驾驶室周围设法进入，对于想要偷窃工程车的部件的窃贼会在该部件周围从工程车上卸下该工程车部件的动作，因此在监控范围内(驾驶室或者工程车某个部件)发现有人活动并超过一定时间Tduring，就认为有偷窃嫌疑，随着在工程车附近的停留时间Tduring的增长，就认为偷窃嫌疑的可能性增加，本发明中将行为类型影响因子Fbehavior定义为Tduring正相关，用计算公式由式(35)计算得到，

行为类型特性判断是建立在形状属性判断和区域大小属性判断基础上的，换句话说，行为类型特性判断是在形状属性判断和区域大小属性判断结果是人的基础上进行的；

所述的多跟踪目标特性，是考虑到在晚间多个跟踪目标同时出现在工程车周围表明更有可能发生工程车的团伙偷盗行为，从体积和重量上来说工程车的要比其他车辆来的大和重，特别对偷盗工程车的部件团伙作案的可能性就比较高，因此本发明中将多跟踪目标影响因子作为判断偷盗工程车事件的一个重要指标，如果发现有两个或者两个以上的活动对象目标并同时满足形状属性判断和区域大小属性判断结果是人的情况下，将多跟踪目标影响因子Fgruop设定为1.

在上述的五种属性或者特性信息判断的基础上，接着进行综合判断以减少误判断率，加权综合判断计算在模块32中进行，综合判断公式由式(36)给出，综合判断中采用了加权方式，

W_guard alarm＝K_s×F_s+K_sh×F_sh+K_move×F_move+K_behavior×F_behavior+K_group×F_group)×F_s，

(36)

式中：

K_s为对象目标面积属性的加权系数。

K_sh为对象目标形状属性的加权系数。

K_move为对象目标运动属性的加权系数。

K_behavior为对象目标行为类型特性的加权系数。

K_group为多对象目标特性的加权系数。

根据式(36)计算出来的W_guard alarm的结果，首先要根据量化值的大小不同，作出如下不同的输出结果；

若Kattention≤W_guard alarm≤K alarm1，则判断为有可疑侵入，提醒注意，***自动通过报警模块33发送短消息、语音电话或者电子邮件通知监控人员通过网络确认图像，启动图像数据文件存储模块18记录现场视频数据，在这种情况下管理人员可以通过网络选择继续观测还是从新开始计算；

若K alarm1＜W_guard alarm≤K alarm2，则盗难早期警告，通过报警模块33发送短消息、语音电话或者电子邮件通知监控人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块18记录现场视频数据；

若K alarm2＜W_guard alarm，除了上述动作以外，装置要自动通报公安机关110，通报的信息包含有报警的地点(车牌号码、车主)，该信息存放在用户数据存储信息36中，如果公安机关有地理位置信息***，具备了定位、跟踪功能时，不仅救援会及时，还能对车辆准确地实施追堵。

所述的微处理器15是嵌入式***，本实施例中的实现算法是由Java语言实现的。

实施例2

上述的实施例1所产生的发明效果是通过工程车外部周围的视觉检测同时再检测工程车上的悬挂摆动物体是否发生摆动，悬挂摆动物体安置在全方位视觉传感器的附近，盗车者在盗窃车体外的部件(如轮胎等)时或者用其他方式移动工程车时会使得悬挂摆动物体产生摆动或者上下振动，因此通过全方位视觉传感器发现悬挂摆动物体是否有摆动或者振动的检测也同样具备防盗作用。

实施例3

上述的实施例1所产生的发明效果可以作为工程车操作者扩大视野的辅助工具.由于目前工程车辆本身布置等原因，对于工程车操作者来说前方视野或后方视野盲区过大，经常有人身伤亡事故的发生.因此，有必要对工程车辆视野范围进行扩展，进一步改善工程车辆的视野性能，以提高工程车辆行驶作业的安全性和作业效率.特别对于遥控工程车辆，操作者是通过观察视频监视***监视器的画面来对现场端的工程车辆进行遥控驾驶作业的，如果监视器显示的画面仅仅是现场场景的一个“窗口”，操作者要不时地调整摄像机镜头的监视方位才能对工程车辆进行遥控驾驶作业，如果将全方位视觉传感器安置在工程车的顶部就能使遥控工程车辆具备了更好的全景视野性能，能明显改善遥控工程车辆的视野性能.

实施例4

上述的实施例1所产生的发明效果是通过工程车上的照明单元在可见光的波长范围内得到监控全方位图像的，同样也可以使用红外发射单元在红外光的波长范围内得到红外监控全方位图像，红外发射单元的发射距离要覆盖整个工程车的监控范围，对于红外监控全方位图像中的图像处理可以作为单色光来处理。

上述的实施例1、2所产生的发明效果是通过全方位的计算机视觉传感器、网络通信技术，图像处理技术以及检测工程车中悬挂摆动物体等手段，提供了一种快速准确可靠经济的、技防与人防紧密结合的工程车防盗报警***。

上述的实施例3所产生的发明效果是通过全方位的计算机视觉传感器、网络通信技术，图像处理技术等手段，在工程车工作期间能明显改善遥控工程车辆的视野性能。

Claims (7)

1.一种基于全方位计算机视觉的工程车防盗报警***，其特征在于：所述的工程车防盗报警***包括微处理器、用于监视工程车防盗情况的全方位视觉传感器、用于与外界通信的通信模块，所述的全方位视觉传感器的输出与微处理器连接，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在外凸折反射镜面外凸部的中心，摄像头对着外凸折反射镜面朝上，所述的摄像头位于外凸折反射镜面的虚焦点位置；

所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块，用于将读取的圆形视频图像展开为全景柱状图；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(28)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)            (28)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像与相邻K帧的图像相减，计算公式如(29)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)        (29)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用下式来更新替换基准参考图像：

$f(X,t_0)\⇐f\left({X,t}_{i-k}\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区内无人活动，像素灰度为1则表示此小区有人活动，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；然后再根据所求得的连通区域来计算其面积和重心；人的重心通过计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(34)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i},$ $Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(34\right);$

人体模型建立模块，用于通过连通区域限定矩形的顶点和目标的重心建立人体模型，对于新检测到的对象目标时模块自动分配一个标识ID号，运动中的人体随着全方位视觉传感器的视角变化，其大小和形状会发生相应的变化，动态地修正人体模型；

区域大小属性判断模块，用于根据每个连通区域求出其面积Si，有下面判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子Fs为1；

阈值1和阈值2的取值范围的大小是根据从上往下看一个成年人的平均截面积在0.12m²左右，然后通过全方位视觉***的标定结果来决定阈值1和阈值2的大小，即像素值的大小；

形状属性判断模块，用于根据每个连通区域的面积Si求其形状特征属性，与人体模型作比较，首先求每个连通区域的平均宽度和高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(30)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(30\right)$

计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(31)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(31\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区越半径中有其判断指标，在10m～12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子Fsh为1；

活动特性判断模块，用于通过比较相邻两帧目标的重心变化，就可以得到目标的运动方向、运动速度和加速度，如在t帧时某一目标的重心在(xcg(t)，ycg(t))，t+1帧时某一目标的重心在(xcg(t+1)，ycg(t+1))，则运动方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝ycg(t+1)-ycg(t))来确认，运动速度通过下式来进行计算，

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}/\mathrm{\Δt}---\left(32\right)$

运动加速度通过(32)式求得的速度值来进行计算，

a_t＝V_t-V_t-1/Δt            (33)

式中Δt为两帧之间的时间间隔，Vt为从t+1帧到t帧的运动速度，a_t为t帧时刻时的加速度，

如果人的运动速度与加速度超过阈值范围，判定不是由人体自身所产生的运动速度与加速度，设定运动特性影响因子Fmove为0，明显低于该阈值范围，设定运动特性影响因子Fmove为0.2～0.5之间，其他设定运动特性影响因子Fmove为1；

行为类型特性判断模块，用于记录在监控范围内发现有人活动并超过一定时间Tduring，就认为有偷窃嫌疑，随着在工程车附近的停留时间Tduring的增长，就认为偷窃嫌疑的可能性增加，将行为类型影响因子Fbehavior定义为Tduring正相关，用计算公式(35)计算得到，

F_behavior＝k₁*T_during(if F_behavior≥1 then F_behavior＝1)        (35)；

多跟踪目标特性判断模块，用于判断有两个以上的活动对象目标，同时满足形状属性判断和区域大小属性判断结果是人的情况下，将多跟踪目标影响因子Fgruop设定为1；

综合判断处理模块，用于在上述的五种判断的基础上，接着进行综合判断以减少误判断率，综合判断公式由式(36)给出，综合判断中采用了加权方式，

W_guard alarm＝K_s×F_s+K_sh×F_sh+K_move×F_move+(K_behavior×F_behavior+K_group×F_group)×F_s

(36)

式中：

K_s为对象目标面积属性的加权系数；

K_sh为对象目标形状属性的加权系数；

K_move为对象目标运动属性的加权系数；

K_behavior为对象目标行为类型特性的加权系数；

K_group为多对象目标特性的加权系数；

异常报警模块，用于根据式(36)计算出来的W_guard alarm的结果，如W_guard alarm大于预设的阈值，通过通信模块发出告警信息。

2.如权利要求1所述的基于全方位计算机视觉的工程车防盗报警***，其特征在于：所述的预设阈值包括Kattention、K alarm1、K alarm2，Kattention＜K alarm1＜K alarm2；

若Kattention≤W_guard alarm≤K alarm1，判定为有可疑侵入，提醒注意，启动图像数据文件存储模块记录现场视频数据；

若K alarm1＜W_guard alarm≤K alarm2，判定为盗难早期警告，通过通信模块发送短消息、语音电话或者电子邮件通知监控人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；

若K alarm2＜W_guard alarm，判定为盗难警告，自动通报公安机关110，通报的信息包含有报警的地点，车牌号码、车主信息。

3.如权利要求2所述的基于全方位计算机视觉的工程车防盗报警***，其特征在于：所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Y_b计算公式如式(25)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(25\right)$

式(25)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(27)：

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                            (26)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(22)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)        (22)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(23)：

X_mix，bn+1(i)＝X_mix，cn(i)                             (23)。

4.如权利要求1或2所述的基于全方位计算机视觉的工程车防盗报警***，其特征在于：所述的微处理器还包括：

网络传输模块，用于将所获得的现场视频图像以视频流的方式通过网络播放出去，以便用户能通过各种网络实时地掌握现场情况；

实时播放模块，用于将所获得的现场视频图像通过该模块播放到显示设备。

5.如权利要求4所述的基于全方位计算机视觉的工程车防盗报警***，其特征在于：所述的工程车上安装用于检测是否发生摆动的悬挂摆动物体，所述的悬挂摆动物体安置在全方位视觉传感器的附近，所述的微处理器还包括振动检测模块，用于根据盗车者悬挂摆动物体产生摆动或者上下振动，判定可能发生盗难。

6.如权利要求4所述的基于全方位计算机视觉的车辆防盗报警***，其特征在于：所述的工程车设有在可见光的波长范围内得到监控全方位图像的照明单元，所述的照明单元为普通灯源或红外灯源。

7.如权利要求4所述的基于全方位计算机视觉的车辆防盗报警***，其特征在于：所述的全方位视觉传感器安装在工程车的顶部中央位置。

Images