CN101533548B - 基于全方位计算机视觉的财产保护装置 - Google Patents

Abstract

一种基于全方位计算机视觉的财产保护装置，包括用于监视大范围全景内被保护财产情况的视觉传感器和用于进行财产保护检测的微处理器，视觉传感器为全方位视觉传感器和高速快球抓拍传感器，微处理器包括ODVS图像获取模块，场景内对象检测模块，用于抽取出监控场景内的运动对象、特殊背景对象和场景静止对象，被保护财产检测模块，用于检测出发生的财产丢失事件以及与该事件的活动对象、时间、地点，包括包括虚拟封闭重点监控区域定制单元、活动对象接近虚拟封闭重点监控区域检测单元、特殊背景对象被移出检测单元、被保护财产丢失检测ID号自动生成单元和可疑活动对象抓拍单元。本发明具有全方位视觉、可靠性好、维护方便、智能化程度高。

Description

基于全方位计算机视觉的财产保护装置

技术领域

本发明属于光学技术和计算机视觉技术在财产保护方面的应用，具体适用于开放式大范围环境中的财产被盗的检测装置。

背景技术

在展览馆、博物馆、展销会、商场、库房重地等需要有一种检测技术来保护有价值的财产安全，一旦发生重要财产被拿走事件，计算机就能立即报警并抓拍盗窃嫌疑者的图像，以便为案件的快速侦破提供有效线索。

目前的财产保护手段存在着几个主要问题：1)由于摄像装置的视觉范围有限，要检测较大场景范围的财产必须采用多个摄像装置；2)缺乏智能化的检测手段，仍然需要人工紧盯者监视屏。

发明内容

为了克服已有的财产保护***的视觉范围受限、可靠性差、维护麻烦、智能化程度低的不足，本发明提供一种具有全方位视觉、可靠性好、维护方便、智能化程度高的基于全方位计算机视觉的财产保护装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的财产保护装置，包括用于监视大范围全景内被保护财产情况的视觉传感器、以及用于根据视觉传感器的信号进行财产保护检测的微处理器，所述视觉传感器与所述微处理器连接，所述视觉传感器为全方位视觉传感器和高速快球抓拍传感器，所述全方位视觉传感器包括支架、透明外罩、一次折反射镜、二次折反射镜、摄像部件镜头和广角镜头，所述透明外罩、一次折反射镜和摄像部件镜头安装在支架上，所述一次折反射镜位于所述透明外罩的上部，所述的透明外罩底部中央开口，所述摄像部件镜头位于所述一次折反射镜的上方，所述二次折反射镜安装在所述中央开口内，所述二次折反射镜的中部开小孔，在所述小孔内安装所述广角镜头，所述摄像部件镜头、一次折反射镜、二次折反射镜和广角镜头的中心轴配置在同一轴心线上；将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3                (12)

将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

合成镜头满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式(15)中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；所述微处理器包括：

ODVS图像获取模块，用于获得监控场景的全景视频图像，包括有***初始化单元和图像获取单元；

场景内对象检测模块，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，包括有：

长周期背景建模单元，用于通过采用基于混合高斯分布模型以较小的更新率对背景像素进行建模；

短周期背景建模单元，用于通过采用基于混合高斯分布模型以较大的更新率对背景像素进行建模；

阴影抑制单元，用于有效区分运动对象和运动阴影，基于HSV颜色空间的检测方法，在HSV颜色空间中，H分量表示色度，S分量表示饱和度，V分量表示亮度，通过以下决策公式(20)，来判断某像素点是否属于阴影：

式中，I^V(x，y)、I^S(x，y)、I^H(x，y)与B^V(x，y)、B^S(x，y)、B^H(x，y)分别表示(x，y)处像素新输入值I(x，y)与背景像素值H、S、V分量；参数0＜α＜β＜1，α取值要考虑阴影的强度，当背景上投射的阴影越强时，参数α要取得越小，参数β用来增强***的鲁棒性；参数τ_S小于零，参数τ_H的选取则主要根据场景的情况进行调试；

对象区分单元，用于抽取出监控场景内的运动对象、特殊背景对象和场景静止对象，与所述的长周期背景建模单元和所述的短周期背景建模单元中所得到的处理中间结果B_L和B_S进行差减运算，得到长周期前景F_L、短周期前景F_S，接着根据F_L和F_S值之间的关系，归纳出当前帧内某像素的四种不同类型，判定结果如

表1所示：

	FL(x，y)	FS(x，y)	预测类型
				类型1	1	1	运动对象
类型2	1	0	暂时静止对象
				类型3	0	1	背景对象被移出、随机噪声
类型4	0	0	场景静态对象

表1

构造一个基于统计信息的可能性函数L判断该像素(x，y)是否属于特殊背景对象，其定义为：

式中，max_e和k都是正数；max_e是阈值，当L(x，y)＞max_e时，该像素就被判定为属于特殊背景对象；max_e值是根据***检测的灵敏性和准确性而确定的；k表示了可能性函数的衰减速率；

根据表1结合可能性函数L的判断，类型1属于运动对象，L(x，y)＞max_e条件的属于特殊背景对象，类型4属于场景静态对象；

被保护财产检测模块，用于检测出在场景内发生的财产丢失事件以及与该事件相关的活动对象、时间、地点，包括有：

虚拟封闭重点监控区域定制单元，用于定制虚拟封闭的被保护财产所在的区域；活动对象接近虚拟封闭重点监控区域检测单元，用于检测在虚拟封闭重点监控区域附近或者区域内出现诸如人体的活动对象，首先检测出是否有活动对象，如果检测出有活动对象，再计算该活动对象与虚拟封闭重点监控区域外部边缘的距离，如果计算出来的距离值小于***所设定的距离阈值D就判定为活动对象接近虚拟封闭重点监控区域；

特殊背景对象被移出检测单元，用于检测在虚拟封闭重点监控区域内的特殊背景对象的消失；

被保护财产丢失检测ID号自动生成单元，用于自动生成一个被保护财产丢失检测ID号和存放与被保护财产丢失相关联的可疑活动对象特写图像文件夹；

可疑活动对象抓拍单元，用于后续确认被保护财产丢失事件由何人所为，当检测到有活动对象接近被保护财产所在的区域，然后又检测到被保护财产消失情况

出现时，从对象区分单元处理结果得到活动对象位置信息(S_x，S_y)，然后根据在所述的***初始化单元中所建立的映射表，输出一个与携带者位置信息(S_x，S_y)相对应的数字ID给高速快球抓拍传感器的控制控制端口，指示高速快球抓拍传感器转动对准该位置进行拍摄，获得可疑活动对象特写图像，并将其保存在被保护财产丢失检测ID号命名的文件夹内。

进一步，全方位视觉传感器满足整个监控领域顶视的全景视频图像不变形要求，用以下方法来进行设计：

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Ф，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中

$\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

F₁′²-2αF₁′-1＝0                (2)

F₂′²-2βF₂′-1＝0                (3)

上式中， $\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$ $\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

在成像平面上的点与水平面上的点之间满足某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)用以下公式来表示，

r＝C*tanφ，z＝s+C                 (6)

设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系；使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b                  (7)

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求。

再进一步，在所述活动对象接近虚拟封闭重点监控区域检测单元中，距离值判定方法是通过活动对象的中心点作为圆心，距离阈值D作为圆半径作一个圆，如果这个圆与虚拟封闭重点监控区域相交则判定为活动对象接近虚拟封闭重点监控区域。

更进一步，在所述被保护财产丢失检测ID号自动生成单元中，当检测到在虚拟封闭重点监控区域内的特殊背景对象的消失时刻，自动会产生一个被保护财产丢失检测ID号并同时生成一个以该被保护财产丢失检测ID号命名的文件夹，用于存放可疑活动对象的特写图像和被保护财产丢失事件的视频图像。

在所述***初始化单元中，通过建立全方位视觉传感器图像中的坐标与高速快球抓拍传感器转动角度信息之间的映射关系，即通过预置点定制法将全景视频图像分割成一个个小区域；然后将每个小区域与控制高速快球的抓拍点之间建立一种映射关系；抓拍某一个小区域的特写图像时只要给高速快球的控制端口一个对应的数字ID，高速快球就能自动地转到到该小区域进行抓拍，***初始化时读取这张映射表。

本发明的技术构思为：近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。

提供一个获取实时全方位图像的摄像装置，通过基于两个不同更新率的混合高斯分布模型的建模方法分别建立一个长周期的背景模型和一个短周期的背景模型，然后将所获得的实时全景图像分别与长周期的背景模型、短周期的背景模型进行差减运算，接着对运算结果进行基于统计信息的可能性函数判断，得到活动对象、背景变化对象和背景静止对象的判定结果；接着考虑视频图像的活动对象和背景变化对象的出现、事件发生的时间序列检测出在全方位场景内的财产被盗；最后通过高速快球抓拍财产被盗可疑者的特写图像，来确定财产在何时、由何人所为。

基于全方位计算机视觉的财产保护装置的核心问题是要检测出所要保护的财产的周围出现活动对象并接着要保护的财产消失的事件。本发明的解决方案是：首先，采用无死角的全方位视觉传感器，其特有的360°的视野能有效地解决财产消失的事件在场景中出现的空间位置和时间的不确定的问题；其次，提出了一种基于两个不同更新率的混合高斯分布模型的建模方法，可有效地对全景视野的与财产消失事件相关的人和物进行检测；再次，为了克服混合高斯分布模型无法有效区分活动对象和自身运动阴影的缺点，提高检测装置的鲁棒性，引入了阴影抑制单元；最后，根据财产消失事件过程，即有人体对象接近保护的财产对象、财产对象消失、人体对象离开场景来做出正确的判断。

本发明的有益效果主要表现在：1、具有全方位视觉、可靠性好、维护方便、智能化程度高；2、应用于展览馆、博物馆、展销会、商场、库房重地等开放环境内的财产保护。

附图说明

图1为无死角的全方位视觉传感器的结构示意图；

图2为全方位视觉传感器所拍摄的视频图像示意图；

图3为摄像部件镜头与广角镜头进行组合的光学原理图；

图4为按二次折反射原理以及水平方向平均分辨率来设计的ODVS说明图；

图5为按水平方向平均分辨率来设计的成像平面投影原理图；

图6为利用4阶Runge-Kutta算法求F1和F2的数字解的折反射镜面曲线图；

图7为基于全方位计算机视觉的财产保护检测方法示意图；

图8为基于全方位计算机视觉的财产保护检测装置硬件结构图；

图9为判断前景对象与背景对象的流程图；

图10为ODVS与高速快球之间的信息融合示意图；

图11为基于全方位计算机视觉的财产保护检测装置软件框图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图11，财产保护视频检测的核心问题是要检测出被保护的财产的周围出现活动对象并接着被保护的财产14消失的事件。本发明的实施方案是：首先，采用无死角水平方向不变形的全方位视觉传感器，其特有的360°的视野能有效地解决活动对象在场景15中出现的空间位置和时间的不确定的问题；接着要在全景视频图像中划分出被保护财产所在的区域，即定义好虚拟封闭重点监控区域；其次，提出了一种基于两个不同更新率的混合高斯分布模型的建模方法，可有效地对进入全景视野的活动对象的行为进行检测；再次，为了克服混合高斯分布模型无法有效区分活动对象和自身运动阴影的缺点，引入了阴影抑制单元；接着要判断是否在这个虚拟封闭重点监控区域附近有活动对象出现；然后再判断在这个虚拟封闭重点监控区域内的特殊背景对象是否被移出，当发现上述情况发生时装置自动报警；最后通过高速快球来抓拍移出特殊背景对象的活动对象特写图像，为迅速破案提供线索；附图7表示了在监控场景内活动对象接近虚拟封闭重点监控区域的一种状态，其中监控场景15，财产14，运动对象13。

如附图8所示，基于全方位计算机视觉的财产保护装置包括有全方位视觉传感器、高速快球抓拍传感器和计算机，所述的全方位视觉传感器用于获得监控场景内的全景视频图像，所述的高速快球用于抓拍监控场景内移出特殊背景对象的活动对象的特写图像，所述的计算机用于检测在监控场景内是否发生了财产丢失事件；

如附图11所示，所述的计算机包括有ODVS图像获取模块、场景内对象检测模块和被保护财产检测模块；

所述的ODVS图像获取模块用于获得监控场景的全景视频图像，包括有***初始化单元和图像获取单元；所述的场景内对象检测模块用于在全景视频序列图像中分离出活动对象、特殊背景对象与和静止对象等三个不同的对象，包括有长周期背景建模单元、短周期背景建模单元、阴影抑制单元和对象区分单元；所述的被保护财产检测模块用于检测财产丢失事件以及与该事件有关的活动对象、时间、地点，包括虚拟封闭重点监控区域定制单元、活动对象接近虚拟封闭重点监控区域检测模块、特殊背景对象被移出检测单元、被保护财产丢失检测ID号自动生成单元和可疑活动对象抓拍单元；

所述的***初始化单元，主要用于ODVS所获得的全景视频信息与高速快球的局部图像信息的融合，这两种信息的融合是通过建立ODVS图像中的坐标与高速快球转动角度信息之间的映射关系来实现的，即通过预置点定制法将全景视频图像分割成一个个小区域，分割方法见附图10；然后将每个小区域与控制高速快球的抓拍点之间建立一种映射关系；这样抓拍某一个小区域的特写图像时只要给高速快球的控制端口一个对应的数字ID，高速快球就能自动地转到到该小区域进行抓拍；这些功能是通过一张ODVS与高速快球之间的映射表来实现的，***初始化时读取这张映射表，同时也可以允许使用者重新建立新的映射表；在***初始化单元中还需要读取在所述的虚拟封闭重点监控区域定制单元中所定制虚拟封闭重点监控区域的数据；

所述的图像获取单元，主要用于通过视频卡或者其他视频接口读取ODVS的全景视频图像；所获得的全景视频图像输出给场景内对象检测模块进行处理；

所述的长周期背景建模单元，用于通过采用基于混合高斯分布模型以较小的更新率对背景像素进行建模，即混合高斯背景建模算法，通过该算法的运算活动对象与暂时静止的对象都能会被检测为前景对象；

所述的短周期背景建模单元，用于通过采用基于混合高斯分布模型以较大的更新率对背景像素进行建模，即混合高斯背景建模算法，通过该算法的运算暂时静止的对象和场景静态对象都能会被检测为背景对象；

所述的混合高斯背景建模算法，其主要思想是对每个像素点采用多个高斯模型的混合表示。设用来描述每个点颜色分布的高斯分布共有K个，对每一个像素点随时间变化的序列{Y₁，Y₂，....，Y_n}，用混合高斯模型来为其建模。定义当前观测点的像素值的概率公式，如公式(16)所示：

$P\left(Y_t\right)=\underset{n}{\overset{k}{\mathrm{\Σ}}}{w}_{n,t}\×\mathrm{\η}(Y_t,{\mathrm{\μ}}_{n,t},{\mathrm{\σ}}_{n,t}^2)---\left(16\right)$

式中：t为时间点；K是高斯模型的数量(一般取3～5个)；ω_n，t为第n个高斯模型的权值；μ_n，t和σ_n，t ²分别是在t时刻第n个高斯模型的均值和方差；其中概率密度函数如公式17所示：

$\mathrm{\η}(Y_t,{\mathrm{\μ}}_{n,t},{\mathrm{\σ}}_{n,t}^2)=\frac{1}{\sqrt{2\mathrm{\π}}}{e}^{-\frac{{(Y_t-\mathrm{\μ})}^2}{{\mathrm{\σ}}^2}}---\left(17\right)$

各个高斯分布分别具有不同的权值和优先级，它们总是按照优先级从高到低的次序排序。取适当的背景权值阈值区间，只有在此阈值之内的前若干个分布才被认为是背景分布，其它则是前景分布。所以，在检测前景点时，按照优先级次序将像素点Y_t与各高斯分布逐一匹配，若没有表示背景分布的高斯分布与Y_t匹配，则判定该点为前景点，否则为背景点；

所述的较小的更新率和较大的更新率，是指公式(18)的更新系数α，较小的更新率是指更新系数α具有较小的值，较大的更新率是指更新系数α具有较大的值，更新系数的取值范围：0＜α＜1，

$\left\{\begin{array}{c}\mathrm{\μ}=(1-\mathrm{\α})\×\mathrm{\μ}+\mathrm{\α}\×Y\\ {\mathrm{\σ}}^2=(1-\mathrm{\α})\×{\mathrm{\σ}}^2+\mathrm{\α}\×{(Y-\mathrm{\μ})}^2\end{array}\right.---\left(18\right)$

式中，μ和σ²分别是高斯模型的均值和方差，α是更新系数，Y为像素点。

所述的阴影抑制单元，用于有效区分活动对象和运动阴影，为了提高装置的检测精度这里引入了阴影抑制单元，将阴影检测算法与混合高斯分布模型相结合，对于新进入的像素值It，根据混合高斯背景分布模型判断该像素是背景还是运动前景，若为前景则进一步采用阴影决策公式判断其是否属于运动阴影。具体流程图如图9所示。

所述的阴影检测算法，采用基于HSV颜色空间的检测方法，HSV颜色空间接近人类视觉感知色彩的方式，比RGB颜色空间更能够准确地检测出阴影。在HSV颜色空间中，H分量表示色度，S分量表示饱和度，V分量表示亮度。由于阴影处的亮度和饱和度较背景偏暗，而色度基本保持一致，所以可以通过以下决策公式(20)，来判断某像素点是否属于阴影。

式中，I^V(x，y)、I^S(x，y)、I^H(x，y)与B^V(x，y)、B^S(x，y)、B^H(x，y)分别表示(x，y)处像素新输入值I(x，y)与背景像素值H、S、V分量。参数0＜α＜β＜1，α取值要考虑阴影的强度，当背景上投射的阴影越强时，参数α要取得越小，参数β用来增强***的鲁棒性。参数τ_S小于零，参数τ_H的选取则主要根据场景的情况进行调试。

所述的对象区分单元，用于抽取出监控场景内的活动对象、特殊背景对象和场景静止对象；首先是读取全景视频图像，然后分别与所述的长周期背景建模单元和所述的短周期背景建模单元中所得到的处理中间结果B_L和B_S进行差减运算，得到长周期前景(F_L，Foreground Long)、短周期前景(F_S，Foreground Short)，接着根据F_L和F_S值之间的关系，归纳出当前帧内某像素的四种不同类型，判定结果如表1所示：

表1  根据F_L和F_S值判断某像素的类型

	FL(x，y)	FS(x，y)	预测类型
				类型1	1	1	运动对象
类型2	1	0	暂时静止对象
				类型3	0	1	背景对象被移出、随机噪声

类型4

0

0

场景静态对象

类型1：如果该像素属于活动对象，那么在任意背景模型更新率下都是属于前景；

类型2：如果该像素是从运动状态转为静止状态，若更新率较大，它将被视为背景，相反，在更新率较小的背景图像下，它是属于前景的；

类型3：如果该像素是受到外界噪声干扰或者是背景发生了变化，更新率较小的背景图像由于无法做到实时更新，仍然判定该像素为背景，而更新率较大的背景图像则判定为前景，背景对象被移出就是属于该类型；

类型4：如果某像素是属于静态场景的一部分，那么在不同更新率的背景图像下都将被视为背景。

从表1中可以知道，只有在类型3，即满足F_L(x，y)＝0∧F_S(x，y)＝1条件的像素才有可能是属于某个特殊的背景对象。出于增强***检测鲁棒性的目的，本发明通过构造一个基于统计信息的可能性函数L来判断该像素(x，y)是否属于特殊背景对象，其定义为：

式中，max_e和k都是正数。该函数不仅能够消减检测过程中的噪声，而且可以控制某像素被判定为属于特殊背景对象的决策时间。对于该像素，可能性函数将实时地获取其类型信息并进行相关统计。max_e是阈值，当L(x，y)＞max_e时，该像素就被判定为属于特殊背景对象；max_e值是根据***检测的灵敏性和准确性而确定的。如果***要求尽量避免噪声，那么应该采用较大的max_e值以确保检测精度，但与此同时，较大的max_e值不可避免将导致决策时间的增加。k表示了可能性函数的衰减速率。

通过上述的计算，从全景视频图像序列中分离出活动对象、特殊背景对象与和静止对象等三个不同的对象，为了减少对被保护财产丢失事件的误判断，提高被保护财产报警的准确性；首先要在全景视频图像中划分出被保护财产所在的区域，即定义好虚拟封闭重点监控区域；接着要判断是否在这个虚拟封闭重点监控区域附近有活动对象出现；然后再判断在这个虚拟封闭重点监控区域内的特殊背景对象是否被移出，当发现上述情况发生时装置自动报警；最后通过高速快球来抓拍移出特殊背景对象的活动对象特写图像，为迅速破案提供线索；本发明中采用被保护财产检测模块进行检测；

所述的虚拟封闭重点监控区域定制单元，用于定制虚拟封闭的被保护财产所在的区域，根据实际被保护财产的分布情况，可以定制若干个虚拟封闭重点监控区域；本发明中根据在全景图像中被保护财产所处的空间位置采用鼠标画出包容被保护财产的若干个虚拟封闭重点监控区域，如附图7中的虚线部分所示；

所述的活动对象接近虚拟封闭重点监控区域检测模块，用于检测在虚拟封闭重点监控区域附近或者区域内出现诸如人体的活动对象；

所述的特殊背景对象被移出检测单元，用于检测在虚拟封闭重点监控区域内的特殊背景对象的消失；

所述的被保护财产丢失检测ID号自动生成单元，用于自动生成一个被保护财产丢失检测ID号和存放与被保护财产丢失相关联的可疑活动对象特写图像文件夹，被保护财产丢失检测ID号包含有被保护财产丢失事件发生的时间信息；

所述的可疑活动对象抓拍单元，用于后续确认被保护财产丢失事件由何人所为，为迅速破案提供线索；当装置检测到有活动对象接近被保护财产所在的区域，然后又检测到被保护财产消失情况出现时，从所述的对象区分单元处理结果得到活动对象位置信息(S_x，S_y)，然后根据在所述的***初始化单元中所建立的映射表，输出一个与携带者位置信息(S_x，S_y)相对应的数字ID给高速快球的控制控制端口，指示高速快球转动对准该位置进行拍摄，获得可疑活动对象特写图像，并将其保存在被保护财产丢失检测ID号命名的文件夹内；

所述的全方位视觉传感器，用于有效地获得被保护的财产是在何时、何地、由何人所为的完整全景视频图像，需要进行无死角水平方向不变形的全方位视觉传感器的设计；

所述的水平方向不变形，需要进行水平方向平均分辨率设计，以满足整个监控领域顶视的全景视频图像不变形要求；在ODVS设计上可以归结于折反射镜面曲线的设计，如附图4所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Ф，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

F₁′²-2αF₁′-1＝0                 (2)

F₂′²-2βF₂′-1＝0                 (3)

上式中， $\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$ $\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图4所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C                       (6)

为了设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

(7)

r＝a*f*t₂/F₂(t₂)+b

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

更进一步，通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图6是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

进一步，所述全方位视觉传感器包括支架、透明外罩2、一次折反射镜4、二次折反射镜5、摄像部件镜头3和广角镜头6，所述透明外罩、一次折反射镜和摄像部件镜头安装在支架上，所述一次折反射镜位于所述透明外罩的上部，所述的透明外罩底部中央开口，所述摄像部件镜头位于所述一次折反射镜的上方，所述二次折反射镜安装在所述中央开口内，所述二次折反射镜的中部开小孔，在所述小孔内安装所述广角镜头，所述摄像部件镜头3、一次折反射镜4、二次折反射镜5和广角镜头6的中心轴配置在同一轴心线上。设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图1所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，ODVS的结构如图1所示；

所述的无死角ODVS，用于克服原先ODVS中被二次折反射镜面所遮挡而造成的死角，在设计上，本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图3是摄像部件镜头与广角镜头的位置关系图。在图3中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3                                          (12)

要使公式(12)成立的话，也就是将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

进一步，对于图3中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图2所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

更进一步，所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图1所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量。

实施例2

有时为了节约***成本，只检测在监控场景内是否有被保护财产丢失事件，可以在硬件上省略掉高速快球，在软件上省略到抓拍的相关模块，其余均于实施例1相同。

上述的实施例1和实施例2所产生的发明效果是通过全方位计算机视觉检测使得安防监控的范围更宽广，提供了一种全新的、维护成本低、维护方便、判断更可靠的、可视化的、智能化的财产保护监控途径方法与装置。可应用于展览馆、博物馆、展销会、商场、库房重地等开放环境内的财产保护。

Claims (4)

1.一种基于全方位计算机视觉的财产保护装置，包括用于监视大范围全景内被保护财产情况的视觉传感器，其特征在于：所述财产保护装置还包括用于根据视觉传感器的信号进行财产保护检测的微处理器，所述视觉传感器与所述微处理器连接，所述视觉传感器为全方位视觉传感器和高速快球抓拍传感器，所述全方位视觉传感器包括支架、透明外罩、一次折反射镜、二次折反射镜、摄像部件镜头和广角镜头，所述透明外罩、一次折反射镜和摄像部件镜头安装在支架上，所述一次折反射镜位于所述透明外罩的上部，所述的透明外罩底部中央开口，所述摄像部件镜头位于所述一次折反射镜的上方，所述二次折反射镜安装在所述中央开口内，所述二次折反射镜的中部开小孔，在所述小孔内安装所述广角镜头，所述摄像部件镜头、一次折反射镜、二次折反射镜和广角镜头的中心轴配置在同一轴心线上；将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3    (12)

将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

将摄像部件镜头与广角镜头作为一个组合镜头来考虑，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将组合镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

组合镜头满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式(15)中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；

所述微处理器包括：

ODVS图像获取模块，用于获得监控场景的全景视频图像，包括有***初始化单元和图像获取单元；

场景内对象检测模块，用于抽取出监控场景内的运动对象、遗留物暂时静止对象和场景静止对象，包括有：

长周期背景建模单元，用于通过采用基于混合高斯分布模型以较小的更新率对背景像素进行建模；

短周期背景建模单元，用于通过采用基于混合高斯分布模型以较大的更新率对背景像素进行建模；

阴影抑制单元，用于有效区分运动对象和运动阴影，基于HSV颜色空间的检测方法，在HSV颜色空间中，H分量表示色度，S分量表示饱和度，V分量表示亮度，通过以下决策公式(20)，来判断某像素点是否属于阴影：

式中，I^V(x，y)、I^S(x，y)、I^H(x，y)与B^V(x，y)、B^S(x，y)、B^H(x，y)分别表示(x，y)处像素新输入值I(x，y)与背景像素值H、S、V分量；参数0＜α＜β＜1，α取值要考虑阴影的强度，当背景上投射的阴影越强时，参数α要取得越小，参数β用来增强***的鲁棒性；参数τ_S小于零，参数τ_H的选取则主要根据场景的情况进行调试；

对象区分单元，用于抽取出监控场景内的运动对象、特殊背景对象和场景静止对象，与所述的长周期背景建模模块和所述的短周期背景建模模块中所得到的处理中间结果长周期背景B_L和短周期背景B_S进行差减运算，得到长周期前景F_L、短周期前景F_S，接着根据F_L和F_S值之间的关系，归纳出当前帧内某像素的四种不同类型，判定结果如表1所示：

F_L(x，y) F_S(x，y)   预测类型  类型1 1 1   运动对象  类型2 1 0   暂时静止对象  类型3 0 1   背景对象被移出、随机噪声  类型4 0 0   场景静态对象

表1

构造一个基于统计信息的可能性函数L判断该像素(x，y)是否属于特殊背景对象，其定义为：

式中，max_e和k都是正数；max_e是阈值，当L(x，y)＞max_e时，该像素就被判定为属于特殊背景对象；max_e值是根据***检测的灵敏性和准确性而确定的；k表示了可能性函数的衰减速率；

根据表1结合可能性函数L的判断，类型1属于运动对象，L(x，y)＞max_e条件的属于特殊背景对象，类型4属于场景静态对象；

被保护财产检测模块，用于检测出在场景内发生的财产丢失事件以及与该事件相关的活动对象、时间、地点，包括有：

虚拟封闭重点监控区域定制单元，用于定制虚拟封闭的被保护财产所在的区域；活动对象接近虚拟封闭重点监控区域检测单元，用于检测在虚拟封闭重点监控区域附近或者区域内出现活动对象，首先检测出是否有活动对象，如果检测出有活动对象，再计算该活动对象与虚拟封闭重点监控区域外部边缘的距离，如果计算出来的距离值小于***所设定的距离阈值D就判定为活动对象接近虚拟封闭重点监控区域；

特殊背景对象被移出检测单元，用于检测在虚拟封闭重点监控区域内的特殊背景对象的消失；

被保护财产丢失检测ID号自动生成单元，用于自动生成一个被保护财产丢失检测ID号和存放与被保护财产丢失相关联的可疑活动对象特写图像文件夹；

可疑活动对象抓拍单元，用于后续确认被保护财产丢失事件由何人所为，当检测到有活动对象接近被保护财产所在的区域，然后又检测到被保护财产消失情况出现时，从对象区分单元处理结果得到活动对象位置信息(S_x，S_y)，然后根据在所述的***初始化单元中所建立的映射表，输出一个与活动对象位置信息(S_x，S_y)相对应的数字ID给高速快球抓拍传感器的控制端口，指示高速快球抓拍传感器转动对准该位置进行拍摄，获得可疑活动对象特写图像，并将其保存在被保护财产丢失检测ID号命名的文件夹内。

2.如权利要求1所述的基于全方位计算机视觉的财产保护装置，其特征在于：在所述活动对象接近虚拟封闭重点监控区域检测单元中，距离值判定方法是通过活动对象的中心点作为圆心，距离阈值D作为圆半径作一个圆，如果这个圆与虚拟封闭重点监控区域相交则判定为活动对象接近虚拟封闭重点监控区域。

3.如权利要求2所述的基于全方位计算机视觉的财产保护装置，其特征在于：在所述被保护财产丢失检测ID号自动生成单元中，当检测到在虚拟封闭重点监控区域内的特殊背景对象的消失时刻，自动会产生一个被保护财产丢失检测ID号并同时生成一个以该被保护财产丢失检测ID号命名的文件夹，用于存放可疑活动对象的特写图像和被保护财产丢失事件的视频图像。

4.如权利要求3所述的基于全方位计算机视觉的财产保护装置，其特征在于：在所述***初始化单元中，通过建立全方位视觉传感器图像中的坐标与高速快球抓拍传感器转动角度信息之间的映射关系，即通过预置点定制法将全景视频图像分割成一个个小区域；然后将每个小区域与控制高速快球的抓拍点之间建立一种映射关系；抓拍某一个小区域的特写图像时只要给高速快球的控制端口一个对应的数字ID，高速快球就能自动地转到该小区域进行抓拍，***初始化时读取所建立的映射表。

Images