CN102577347B - 全方位智能自动巡视和态势感知的球形监视摄像机***和方法 - Google Patents

Abstract

一种操作视频监视***的方法包括：将PTZ摄像机设置在外壳内。将鱼眼镜头摄像机附着在外壳上，使得鱼眼镜头摄像机具有不被外壳阻挡的全景视场。所述全景视场以PTZ摄像机的摇摄轴为中心。鱼眼镜头摄像机围绕所述摇摄轴旋转。通过使用鱼眼镜头摄像机在所述全景视场内捕捉第一图像。识别兴趣对象在所捕捉的第一图像内的位置。将PTZ命令传输到PTZ摄像机，使得对PTZ摄像机进行定向以捕捉在所识别的位置处的兴趣对象的第二图像。针对在鱼眼镜头摄像机的旋转期间鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。

Description

全方位智能自动巡视和态势感知的球形监视摄像机***和方法

技术领域

本发明涉及一种视频摄像机监视***，并且更特别地，涉及用于视频摄像机监视***的图像处理方法。

背景技术

视频监视***被用于监控诸如火车站、市场、街道交叉口等之类的公共场所，以及诸如图书馆、公共服务机构、法庭、监狱等之类的公共建筑物。视频监视***还被用于私营部门，例如用作警报***或用于看管需要注意的个体。

存在很多已知的可用于跟踪诸如人或车辆之类的移动对象的视频监视***。视频监视***通常包括多个永久安装的摄像机，该摄像机观察周边的相关区域，并且视频监视***具备用于评价用摄像机记录的视频序列的能力。

虽然该评价以前由监控人员执行，但是视频序列的自动评价已经变得更加普遍。在自动监控的典型应用中，第一步，将移动的对象从场景中的实质上静止的背景中分离出来(对象分割)，对移动的对象进行实时跟踪(对象跟踪)，并且如果发生相关的移动或者移动的模式，则触发警报。在例如EP 0710927B1中描述了该类型的自动监控的一种可能设计，其中讨论了一种用于移动对象的面向对象检测的方法。

这样的视频监视***可以被称为闭路电视(CCTV)。一些这样的***采用具有静止视场(FOV)的固定摄像机。然而，为了利用固定的摄像机***完全覆盖给定的监视地点，往往必须使用相当大数量的固定摄像机。

也可以将可以摇摄(pan)、倾斜和/或变焦的可移动摄像机用于跟踪对象。PTZ(摇摄、倾斜、变焦)摄像机***的使用通常将减小给定监视地点所需要的摄像机数量，并且还由此减小视频馈送和***集成硬件(例如与之关联的多路复用器和切换器)的数量和成本。该摄像机可以通过围绕垂直轴旋转来摇摄，通过围绕水平轴转动来倾斜，并且通过放大或减小其FOV来变焦。用于指示该摇摄动作、倾斜动作、变焦动作的控制信号通常来源于经由操纵杆的操作员或者来源于自动视频跟踪***。

这样的PTZ摄像机的问题在于：尽管能够在几乎任何方向上摇摄和倾斜，但是该摄像机在任何给定时刻具有有限的视场(FOV)，并且因而不可能从所有方向感测围绕摄像机的所有运动。

现有技术既未公开也未建议用于感测在更大的FOV内的运动并且自动跟踪作为该运动的源的对象的改进***和改进方法。

发明内容

在一个实施例中，本发明涉及一种全方位(例如360度)态势感知的监视***(situational aware surveillance system)，该监视***可以使用例如来自鱼眼镜头摄像机(“间谍摄像机(spycam)”)的全方位的视频输入来感测和/或跟踪在整个区域内的人或对象的移动。该***可以指示一个或多个球形摄像机(例如，博世的具有自动跟踪功能的AutoDome摄像机，参见EP1427212A1)来将PTZ电机控制(motor control)指向由鱼眼摄像机感测的任何作为目标的人或对象，使得autodome摄像机能够以更大的细节和/或特异性来持续跟踪移动对象。因而，鱼眼摄像机可以用作用于360°态势感知监视的全方位传感器。现今最常使用的其他类型的已知传感器有声纳和红外传感器，但是它们是昂贵的，具有高能耗并且是复杂的。

PTZ电机控制的方向可以基于所检测的事件、所定义的探试法(heuristics)、以及从鱼眼镜头摄像机提供的世界坐标到由球形摄像机使用的摇摄值、倾斜值和变焦值的转换。可以使用鱼眼镜头图像配准、背景减除和前景检测从连续帧中测量总体运动行为(overall motion activity)。

本发明可以提供一种具有视频内容分析，即对利用一个或多个全方位和/或auto-dome摄像机捕捉的监视视频的内容进行提取及建模的新颖智能监视方法。自动提取视频内容能力这一性质可以对将监视视频传送到安保人员进行改善，并且可以显著地扩展有效处置并实时呈现监视视频的能力。

为了处理到达配备人员的安保室的数以百计的视频通道，智能或自动视频监视已经变为必须的工具。实时处置数据的***应当最优地考虑用户的偏好并且相应地对实时视频和缓冲的内容进行过滤。

电子监控和监视设备通常是各种固定的和移动的摄像机，当电子监控和监视设备记录在主要交通路线、办公建筑、住宅社区以及大百货商店或超级市场中的视频时，该电子监控和监视设备可以理想地对准可疑的目标或对象。在传统的摄像机***中，由于具有标准视场的镜头的摄像机的有限对准范围，可以被作为目标的对象是非常有限的。此外，大多数已知的视频捕捉设备工作时具有各种各样的盲点，这是因为它们具有小的视场。因此，当前设备被用于监视的方式离360°态势感知监视的理想是遥远的。

通常，监视应用将多个目标同时呈现给人类观察者分析。然而，人类同时集中于多个目标的能力是有限的。因此，已经开发了计算机视觉***，该计算机视觉***可以分析来自摄像机的信息，并且可以将该信息以简洁的符号样式呈现给用户。可以从人类目标的轨迹的特性以及人类目标之间的交互来提取出关于人类目标行为的信息。

本发明的视频分析技术能够胜任环境评估并且可以大幅度减小人员在执行危险任务时不得不承担的风险。本发明可以提供360°态势感知的监视***，该监视***使用全方位视频输入来跟踪在整个区域内的人或对象的活动。

鱼眼镜头摄像机可以提供不具有盲点的360度的完全态势感知。鱼眼镜头摄像机适用于室内应用和室外应用二者，并且在一个实施例中，鱼眼镜头摄像机能够观察300英尺半径内的对象。

在360度态势感知的监视***的一个特定实施例中，鱼眼镜头间谍摄像机与autodome摄像机一起旋转，由此避免了在使autodome摄像机独立于间谍摄像机旋转时所需要的机械复杂性。间谍摄像机并不需要如autodome摄像机那样摇摄并且倾斜以便覆盖大的观察区域，由于间谍摄像机的静止全方位能力，间谍摄像机可以覆盖完整场景的所有360度。即，虽然间谍摄像机不需要摇摄，并且在静止的同时能够覆盖360度，然而出于机械简单性的目的，间谍摄像机可能被迫与autodome一起摇摄。因而，可以在图像处理中以及在PTZ autodome摄像机的摇摄-倾斜-变焦(PTZ)控制中对间谍摄像机的旋转视场(FOV)进行补偿。本发明的新颖方面可以在于：间谍摄像机与autodome摄像机一起旋转，并且在图像处理中以及在PTZ autodome摄像机的控制中执行对间谍摄像机的FOV旋转的补偿。另一新颖特征可以在于：用于PTZ摄像机的控制器被设置在autodome的外壳中，而不是被设置为需要电缆的外部个人计算机(PC)。

另一新颖方面在于使用鱼眼间谍摄像机(低分辨率)和autodome摄像机(高分辨率)的组合的监视***。根据本发明，间谍摄像机可以用作图像传感器而不是用于显示的目的。例如，间谍摄像机可以仅仅感测移动对象的大***置，并且autodome摄像机可以以更高的精度对移动对象进行定位、以及产生用于显示给人员的图像。autodome下方(即比autodome低)的间谍摄像机具有非常重要的挑战。在本发明中，当autodome移动时，autodome下方的间谍摄像机也可以相应地移动。在该情况下，除了利用一些诸如边沿检测、模糊(blurring)等之类的图像处理之外，***可能还需要利用全图像配准技术来稳定作为传感器的间谍摄像机的输出。

在特定的实施例中，本发明提供360度态势感知的监视***，该监视***使用全方位视频输入来创建基于人或其他对象在整个区域内的移动的运动密度图。可以从运动密度图以及在高运动密度的区域之间的交互中提取出与用于动态智能自动巡视特征的编程轨迹有关的信息。自动巡视可以是自动或手动编程到摄像机***内的移动轨迹或模式(例如摇摄、倾斜、变焦)，从而能够重复该移动轨迹或模式。期望该轨迹或模式使摄像机能够捕捉高运动密度区域的图像或者使摄像机能够聚焦在高运动密度区域。

首先，在已经建立了运动密度图之后，***可以在轨迹路径中将高运动密度的成分区域连接。该密度图中的最密集区域是期望摄像机聚焦的潜在兴趣区域。可替代地，***可以使用探试方法，其中用户识别兴趣区域，或者***通过使用默认的兴趣区域定义(例如最大区域、最小区域、特定区域阈值、优先的兴趣区域等)来识别兴趣区域。在***通过用户输入或者通过探试法来将最感兴趣区域选择为在运动密度图上的路径中的连通成分(connected component)之后，***可以基于对在二维图像中的像素值中选择的成分的权重进行平衡来计算路径线的中心。这样，所有这些像素值可以定义预期的智能自动巡视功能的轨迹。依据所选择的连通成分的尺寸或面积，***可以提供最优焦距信息，使得可以以最优视场进行监视。接下来，***可以将该轨迹的像素值转换为世界坐标位置。然后，可以将所有这些值从世界坐标位置转换为特别针对每个个体autodome摄像机计算的PTZ值。即，所选择成分的所有这些轨迹值是用兴趣监控区域的PTZ值的集合来表示的。PTZ值的每个集合对应于多个autodome摄像机中的相应一个，并且PTZ值的每个集合可以取决于autodome摄像机在房间中相对于被监控的区域的几何位置。最终，***根据跨越所选择的成分的轨迹的长度来计算平滑的最优速度，摄像机将以该速度跨越被监视的地点来进行查看或扫描。

在一个实施例中，本发明包括一种用于操作视频监视***的方法，该方法包括将PTZ摄像机设置在外壳内。将鱼眼镜头摄像机附着在该外壳上，使得鱼眼镜头摄像机具有不被该外壳阻挡的全景视场。全景视场以PTZ摄像机的摇摄轴为中心。鱼眼镜头摄像机围绕摇摄轴旋转。通过使用鱼眼镜头摄像机在全景视场内捕捉第一图像。识别兴趣对象在所捕捉的第一图像内的位置。将PTZ命令传输到PTZ摄像机，使得PTZ摄像机被定向以捕捉在所识别的位置处的所述兴趣对象的第二图像。针对在鱼眼镜头摄像机旋转期间该鱼眼镜头摄像机的视场的旋转来对PTZ命令进行补偿。

在本发明的另一形式中，本发明包括一种视频监视***，该视频监视***包括在外壳内的PTZ摄像机。鱼眼镜头摄像机被附着在该外壳上，使得鱼眼镜头摄像机具有不被该外壳阻挡的全景视场。全景视场以PTZ摄像机的摇摄轴为中心。将鱼眼镜头摄像机和PTZ摄像机进行耦合，使得鱼眼镜头摄像机跟随PTZ摄像机围绕摇摄轴的旋转。鱼眼镜头摄像机在全景视场内捕捉第一图像。处理设备通信地耦合到PTZ摄像机和鱼眼透镜摄像机中的每一个。该处理设备识别兴趣对象在所捕捉的第一图像之内的位置，并且将PTZ命令传输给PTZ摄像机，使得对PTZ摄像机进行定向以捕捉在所识别的位置处的所述兴趣对象的第二图像。针对在鱼眼镜头摄像机旋转期间该鱼眼镜头摄像机的视场的旋转来对PTZ命令进行补偿。

本发明的一个优点在于：可以通过鱼眼镜头摄像机持续监控摄像机***的整个360度的周围环境，同时PTZ摄像机跟踪鱼眼镜头摄像机所识别的各个对象。

另一个优点在于：PTZ摄像机的控制器可以被设置在PTZ摄像机的外壳中，并且因而不需要过长的电缆来连接该摄像机和该控制器。

另一个优点在于：可以对PTZ摄像机在整个高移动密度区域上的自动巡视进行自动编程。另外，通过首先按照全局坐标协定或球形坐标协定对高移动密度区域进行定位，并且然后将全局坐标逐个转化为用于每个摄像机的PTZ移动，从而可以自动为多个摄像机规划这样的自动巡视。

附图说明

通过参考下文结合附图对本发明的实施例的描述，本发明的上述和其他特征和目标以及实现它们的方式将变得更加显而易见，并且本发明本身将被更好地理解，其中：

图1是根据本发明的视频监视***的一个实施例的示意图；

图2是图1中的视频监视***的方框图；

图3是由适合在本发明中使用的鱼眼镜头摄像机捕捉的图像的样本；

图4是在没有运动情况下的示例性鱼眼镜头运动密度图；

图5是在一时间段期间具有运动情况下的示例性鱼眼镜头运动密度图；

图6是示例性鱼眼镜头运动密度图，其中通过使用本发明的连通成分算法已经检测到了三个成分；

图7是示例性鱼眼镜头运动密度图，其中通过使用在每个连通成分中的线的中心点以(x，y)像素为单位计算出用于每个成分的智能自动巡视路径；以及

图8是示出用于操作视频监视***的本发明的方法的一个实施例的流程图。

在所有多个视图中，对应的附图标记指示对应的部分。虽然这里阐述的范例以多种形式说明了本发明的实施例，但是下面公开的实施例并不是穷举的，或者并不应该将下面公开的实施例理解成是将本发明的范围限制于先前公开的形式。

具体实施方式

根据本发明的一个实施例，在图1中示出了视频监视***20。***20包括PTZ autodome摄像机22，该PTZ autodome摄像机22位于部分球形的罩或者“autodome”24内，并且安装在支撑物25上。静止的支撑物25可以采用很多形式，例如从建筑的外部边沿延伸出的向外延伸的支撑臂。该罩24被着色以允许摄像机获取罩24外部的环境的图像并且同时防止正由摄像机22观察的环境中的个体能够看到摄像机22的取向。摄像机22包括控制器和电机，其被提供用于摄像机22的摇摄、倾斜以及焦距调整。摄像机22的摇摄动作由双箭头26来表示，摄像机22的倾斜动作由双箭头28来表示，并且摄像机22的镜头23的焦距的改变(即变焦)由双箭头30来表示。如参考坐标***21所示，摇摄运动可以跟踪沿着x轴的移动，倾斜运动可以跟踪沿着y轴的移动，并且焦距调整可以被用于跟踪沿着z轴的移动。在所说明的实施例中，摄像机22和罩24可以是博世的AutoDome模块化摄像机***，该模块化摄像机***可以从博世安防***有限公司获得，并且博世安防***有限公司在宾夕法尼亚州的兰开斯特市具有营业场所。

***20还包括主控端(head end)单元32。主控端单元32可以包括视频切换器或视频多路复用器33。例如，主控端单元包括可从博世安防***有限公司获得的Allegiant牌视频切换器，例如LTC8500系列Allegiant视频切换器，该LTC8500系列Allegiant视频切换器为最多64个摄像机提供输入，并且主控端单元还可以设置有八个独立键盘和八个监视器。主控端单元32包括用于操作者输入的键盘34和操纵杆36。主控端单元32还包括用于操作者观看的显示设备，该显示设备可以采用监视器38的形式。提供24伏AC电源40来向摄像机22和处理设备50二者供电，处理设备50可操作地耦合到摄像机22和主控端单元32二者。

所说明的***20是单个摄像机应用，然而，本发明可以应用于具有附加摄像机的更大监视***内(这些附加摄像机中的一些可以是静止的)以提供更大的或者更加复杂的监视区域的覆盖。也可以将一个或多个VCR或者其他形式的模拟或数字记录设备连接到主控端单元32，以提供对***中的摄像机22和其他摄像机捕捉的视频图像的记录。

摄像机22可以包括诸如电荷耦合器件(CCD)之类的图像捕捉设备，该电荷耦合设备获取四边(例如矩形)的CCD视频图像。处理设备50识别或者选择了CCD图像中的至少一部分，使其在监视器38的屏幕上显示以供***20的操作者观看。

鱼眼镜头摄像机52可以被设置于罩24内的摄像机22的下方。然而，同样可以将鱼眼镜头摄像机52设置在罩24的外面。在任一情况下，可以如此安装摄像机52，使得它具有不被***20的其余部分阻挡的半球形视野。摄像机52可以沿向下的方向54对准、指向和/或面向地板或地面，使得摄像机52可以在遍及整个360度地平线(horizon)的方向56上观察相同的垂直水平。

摄像机52可以被用作传感器，并且其捕捉的图像可以与360度态势感知监视算法结合用于360度态势感知监视。在提供不具有盲点的态势感知的低成本解决方案内，本发明提供了简单设置、容易操作以及高度灵活性的优点。

在图2中说明了在视频内容分析(VCA)硬件模块(例如TI的DM642DSP)上实现360度态势感知实时监视的技术和自动智能监视算法的顺序基本步骤。Autodome VCA模块200的Beam 202和监视器I各自接收来自鱼眼镜头摄像机52的视频输入204a-204b中的相应一个。背景估计和适配模块(BEAM)202可以处理图像序列并且检测其中的移动对象。BEAM 202可以包括背景减除模块和解释层。

在下一步骤206，检测之前已经创建的任何运动遮蔽(mask)。例如，可以在FOV内创建一个或多个运动遮蔽，其中由于永久运动源位于该遮蔽之后或者之内，因此可以忽略该永久运动源。在风中摇动的旗帜或灌木可以是这样的永久运动源。

在步骤208，通过求平均值来更新运动密度图。即，如下文更详细地所述，通过求平均值函数来计算运动密度。

在下一步骤210，计算密度路径。即，可以计算出autodome摄像机的摇摄、倾斜和/或变焦所遵循的路径，使得摄像机的FOV经过具有很多运动的区域。该高密度路径可以对应于在x和y坐标***的被检测的运动区域中具有最密集运动的像素，并且可以在逐条的基础上。

接下来，在步骤212，根据摇摄动作、倾斜动作和/或变焦动作来创建智能自动巡视路径。在一个实施例中，建立与所计算的密度路径中的每一段(leg)相关联的速度或通过时间，以便由此创建自动巡视路径。此外，可以进一步计算出引导摄像机通过所计算的密度路径的摇摄命令、倾斜命令和/或变焦命令。

在最后的步骤214，通过向autodome摄像机22发送摇摄命令、倾斜命令和/或变焦命令来控制autodome摄像机。摄像机22捕捉的图像可以实时显示在监视器II上。

可以将态势感知建模为两个底层视频特性的集成函数，通过以下的视频分析学研究来激发该视频特性的选择：(1)从连续的帧中测量的总体运动行为；以及(2)360度全方位传感器模型。

可以将运动行为定义为在包括对象和摄像机运动二者的场景中的总体运动，视频流中出现的运动行为可以被认为是在态势感知的激励(arousal)的建模中使用的第一特征。关于鱼眼镜头图像的配准，常驻于autodome头单元(head unit)中的360度全方位传感器模型可以做出以下假设：空间中的图像的平移和旋转能够近似于在autodome头单元处于运动时的图像运动。

平移可以被认为是在x或y方向上的像素运动，像素运动的距离是按照一些数量的像素来定义的。正平移是沿着增大的行索引或列索引的方向上的；而负平移是沿着减小的行索引或列索引的方向上的。正方向上的平移向图像的顶部和/或左侧增加行和/或列，直到已经达到所要求的增加。可以相对于原点来执行图像旋转，该原点被定义在运动的中心，并且由此可以将图像旋转指定为角度。可以使用下列的近似方程来表示该平移：

x′＝(xcosα-ysinα)+t_x

y′＝(ysinα+xcosα)+t_y

关于背景减除，背景建模可以包括将当前图像从参考图像中减去。参考图像可以从一个时间段期间的静态背景中获得。提取仅留下非静止对象或新的对象。鱼眼镜头摄像机不需要摇摄和倾斜来覆盖大的观看区域，由于其静止、全方位能力，所以该鱼眼镜头摄像机覆盖整个场景的所有360度。然而，鱼眼镜头摄像机还提供了用于开发强大背景模型的机会。

相应地，“背景减除”算法的基本步骤可以如下：背景模型构建了参考图像并且建立了背景。背景估计和适配模块(BEAM)可以用于构建背景图像。

在第二步，阈值方法确定在减除操作中使用的用于获得所期望的检测率的适当阈值。例如，适当的阈值可以使感兴趣的运动(例如来自人)能够被检测到，而使不感兴趣的运动(例如来自老鼠)不被检测到。

背景减除算法的第三且最终步骤可以包括减除操作或像素分类和适配速度。该步骤对给定像素的类型进行分类。例如，像素可以被分类为背景的一部分(包括普通背景和阴影背景)，或者像素可以被分类为移动对象。

关于前景检测，当像素强度具有大于特定全局阈值的概率时，可以通过检测来发现前景区域。每个帧的前景区域被分组为连通成分。通过应用连通成分技术，前景提取具有不同于背景的区域集合。可以通过边界框和图像遮蔽来描述每个前景成分，其表示边界框中的那些属于前景的像素。对于定义明确的移动对象，下一步骤是去除小的成分、噪声和无关紧要的区域。为了在***中解析更复杂的前景提取结构，可以使用去除算法，例如光归一化和尺寸滤波。

一旦检测到前景，则可以使用尺寸滤波器来清除和去除噪声区域。在每个候选区域应用尺寸滤波器的情况下，考虑来自图像差异的累积像素计数。尺寸滤波器具有最小阈值和最大阈值。最大阈值可以被用于避免对象的大的缓慢移动的阴影。

如上文提到的，态势感知可以被建模为两个底层视频特性的集成函数，两个底层视频特性中的一个为360度全方位传感器模型，如在一个实施例中由鱼眼镜头摄像机52所实施的那样。鱼眼镜头摄像机52可以具有360度的视野，并且因此能够将半球形的所有信息压缩到一幅图像中。该压缩可以使图像能够承载更加多的信息，以便用于需要非常宽的视角的计算机视觉应用(例如，在检测、跟踪和监控中)。通常，捕捉半球形视场所要求的特殊镜头的模型参数使得鱼眼图像的投影变换的计算难以精确计算。

在图3中，示出了来自鱼眼镜头摄像机视频的样本图像。在图像中捕捉的是两条人行道302、304的交叉路口，每条人行道具有恒定的宽度，并且相互垂直定向。由于与摄像机的距离增加，所以人行道的宽度看起来朝向图像的外侧越来越小。还示出了正走在人行道上的两个行人306、308。

对于常规的摄像机图像，为了产生或减小图像中的几何扭曲来由此检测并显示在视频的下一帧中的移动对象，可以调用需要非常长处理时间的变形(warping)或反变形(unwarping)。在另一方面，因为不将视频显示给用户，所以可以不需要反变形技术。因此，可以依靠鱼眼镜头视频中的几何参数仅使用像素映射来控制移动的摄像机。

因为鱼眼镜头的使用，原始的鱼眼镜头输出视频可以不具有统一的空间分辨率。归因于鱼眼镜头的光学性质，全方位摄像机沿着地平线的空间分辨率是最大的。博世公司在市场上出售的Dinion摄像机***具有480(H)×720(V)的分辨率。当考虑整个半球形图像时，沿着地平线的空间分辨率可以为4.8像素/度。

对于支持监视***的基于视觉的检测和跟踪***，该检测和跟踪***需要可靠地跟踪对象的位置和身份、能够以合理的速度运行、可用于多人、允许对人的表示进行创建和删除、以及能够与多个摄像机一起工作。为了达到在真实世界环境中实际跟踪的所有要求，可能需要考虑在分辨率和FOV之间进行权衡。然而，依靠鱼眼镜头的独特最优设计，可以不需要具有多个视野。

进一步关于360度全方位传感器模型，可以将在图像中捕捉的对象的像素坐标转换为在全方位运动传感器模型中的世界坐标(例如全局坐标或半球形坐标，例如可以利用纬度和相对于参考经度线的经度来表示全局坐标或半球形坐标)。理想地，当测量与沿着地平线的目标对象的角度时，可以利用所观察的x坐标和y坐标来发现其真实的角度。然后，可以根据沿着x轴和y轴的像素来计算从中心点到该目标的距离。该计算产生了该目标距鱼眼图像中心的、按照像素的观察距离。

当检测到不寻常的运动时，鱼眼镜头摄像机可以监控运动行为的方向，并且可以提供目标在世界坐标***中的位置。执行这样的计算的示例性软件代码如下：

Autodome移动摄像机可以使用以世界坐标表示的位置信息来确定其摇摄值、倾斜值和变焦值。因而，可以将以世界坐标表示的位置信息转换为PTZ位置信息。在移动摄像机锁定对象之后，移动摄像机可以通过使用速度控制功能连续跟踪该目标，只要该目标存在于场景中(例如，该目标在视场之内)。当目标对象离开该摄像机的FOV时，该摄像机可以然后将目标对象的跟踪移交给在其FOV中具有该目标对象的另一摄像机。仅当连通成分识别对于特定对象无效时，可以完成不同对象或人的移交。将世界坐标转换为PTZ位置信息的示例性软件代码如下：

关于图形用户界面模块和信息显示，虽然直接在鱼眼镜头的视频上运行跟踪算法是可接受的，但是它不是向终端用户显示目标的适当方式。即，当对象被显示在鱼眼镜头视频中时，人类很难辨认该对象。因而，Autodome***控制器可以提供两个基本功能。第一个基本功能可以是显示事件的视频。即，Autodome***控制器可以通过使用移动的autodome摄像机的输出来显示正在场景中发生的当前事件。第二个基本功能可以是提供全方位的图窗(map window)。该***可以通过使用鱼眼镜头摄像机输出来向用户提供整个区域的运动图的画中画(PIP)。

如上所述的本发明可以提供360度感知，并且没有盲点、低成本、室内/室外适用、低功耗、低复杂性、快速实施、在300英尺半径之内的覆盖区域、以及集成了虚拟遮蔽和隐私遮蔽。

鱼眼镜头能够看到半个世界。然而，世界的该最优视图要付出高昂的成本。即，从全方位镜头获得的图像是扭曲的。在对一个轴的半径的测量中哪怕小到一个像素的错误也会随着目标向可视区域的最顶端移动而变大。

另一个考虑因素是，为了更大的覆盖区域，背景建模算法需要更多的CPU功率来用于更有效的背景检测和更高分辨率的处理。可能需要最优化。该算法在诸如具有每秒25帧的四分之一通用中间格式(QCIF)之类的小尺寸图像上运行。如果要增大覆盖区域，则需要更大的分辨率，这也需要更多的CPU功率。灵敏度取决于该分辨率。120×160的QCIF尺寸对于室外应用而言具有有限的灵敏度。

来自鱼眼镜头的图像在地平线的边缘发生很大的扭曲。该扭曲可以导致摇摄位置、倾斜位置和变焦位置的较小精度和灵敏度。

最后的考虑因素是本发明需要摄像机平衡。平衡上的小的不精确性可以导致在摇摄位置、倾斜位置和变焦位置上的较低映***度。

如上所述的本发明解决了从用于360度态势感知监视***的鱼眼镜头摄像机产生的实时视频中提取出感兴趣内容的问题。本发明可以提供一种用于使用鱼眼图像在摄像机的全方位空间中进行个体目标跟踪的图像处理方法。该创新的方法由于计算机视觉算法和探试法而变得智能。并且，使用具有360度全景的全方位视频监视***消除了盲区。该智能的视频分析***可以基于所检测的事件或所定义的试探法来指示Autodome而直观地将PTZ电机控制指向任何目标人或对象。

本发明可以提供一种用于没有盲点的自动360度态势感知监视***的方法，该自动360度态势感知监视***可与混合的鱼眼镜头和移动摄像机一起使用。本发明还可以提供一种用于连续360度态势感知监视***的方法，其中该360度态势感知监视***被用作有效的监控***。与之相比，传统***的效率低下或无效性在于用户仅能够看到非常有限的视场。

本发明可以提供一种通过同一摄像机(采用变化且不同的FOV)来同时监控多个对象的方法。因而，可以基于全方位控制来快速观察场景中的行为。与之相比，传统的***可以使用固定的摄像机监控有限数量的对象，这不是在场景内提取行为的有效方式。

本发明可以提供一种用于实现对用于整个区域的360度FOV光学传感器的视频输出进行采集的方法，其中该传感器安装在移动的摄像机上。本发明还可以提供一种实施快速并且可靠的用于在以低分辨率图像进行实时成像时收集视频分析信息的手段的方法。

在本发明的另一实施例中，提供了360度智能自动巡视。可以将运动行为定义为在一时间段内场景中的总体运动。

关于创建运动遮蔽，背景建模可以包括将当前图像从参考图像中减去，该参考图像可以从在一时间段期间的静态背景中获得。背景图像的提取仅留下非静止对象或新的对象。鱼眼镜头摄像机不需要摇摄和倾斜来覆盖大的观看区域，由于鱼眼镜头摄像机的静止全方位能力，因此该鱼眼镜头摄像机覆盖完整场景的所有360度。

可以建立和更新运动密度图。在图4中，示出了在没有运动情况下的示例性鱼眼镜头运动密度图。可以通过在用户定义的时间段中持续更新运动像素来发现运动密度图。运动密度图可以具有通过使用背景模型检测到的运动遮蔽的集合。

可以创建高密度路径。高密度路径可以逐条地在x和y坐标***中的检测的运动区域中提供具有最密集的运动的像素。可以通过求平均值函数来计算运动密度。

下面的方程(1)表示如在图5中所示的n个帧之间的时间段内的每个像素的运动密度值。

$I_{\mathrm{average}}(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{\α}*I_i(x,y)+(1-\mathrm{\α})*I_{\mathrm{average}}(x,y)---\left(1\right)$

等式(1)体现在以下的代码中：

首先，如在图6中所示，***可以在已经创建运动密度图之后创建连通成分。密度图中最密集的区域是用于智能未来考虑的可能兴趣区域。然而，该***还可以使用探试方法来对兴趣区域的定义(例如最大的区域、最小的区域、特定区域阈值、优先兴趣区域等)做出决定。关于兴趣区域的定义的决定也可以由用户或通过默认做出。

在通过用户输入或通过探试法***已经选择了最感兴趣的区域之后，针对运动密度图中的连通成分，***计算线的中心使得所选择的成分的全部像素均匀分布在该线的两侧，虽然该线可能沿着路径成曲折形。所有这些像素值由此定义具有预期的智能自动巡视功能的轨迹，如在图7中所示。

依据所选择的连通成分的尺寸，***可以提供用于有效监控的最优焦距信息。接下来，***可以将该轨迹的像素值转换为世界坐标位置。然后，可以将所有这些值从世界坐标***转换为用于每个个体autodome摄像机的PTZ值。***以用于每个autodome摄像机监控区域的PTZ值的形式存储所选择的成分的所有这些轨迹值，其中PTZ值取决于各个autodome在房间中的几何位置。最终，***可以计算平滑的最优速度来执行监控，其中该速度取决于所选择的成分的轨迹的长度。

关于创建智能巡视路径，***可以通过在预先定义的时间段内动态地使用360度全方位传感器模型来提供完整的摇摄、倾斜、变焦控制信息。本发明可以提供一种图像处理方法，该图像处理方法通过使用鱼眼图像并且采用计算机视觉算法和探试法而在移动的摄像机中具有智能自动巡视特征。

本发明可以提供一种用于自动动态360度智能自动巡视***的方法，该自动动态360度智能自动巡视***可与混合的鱼眼镜头摄像机和一个和多个移动(例如摇摄、倾斜和/或变焦)摄像机一起使用。本发明还提供一种用于持续的360度智能自动巡视***的方法，其中该持续的360度智能自动巡视***用于360度全景的有效监控。与之相比，传统的***提供效率低下或者无效的方式，从而仅能监控小的、预先定义的区域。

图8示出了本发明的用于操作视频监视***的方法800的一个实施例。在第一步骤802，将PTZ摄像机设置在外壳内。例如，可以将autodome PTZ摄像机22设置在autodome或罩24内。

在下一步骤804，将鱼眼镜头摄像机附着在该外壳，使得鱼眼镜头摄像机具有不被外壳阻挡的全景视场，该全景视场以PTZ摄像机的摇摄轴为中心。更特别地，鱼眼镜头摄像机52可以附着在罩24，使得摄像机52具有不被***20的任何其他部分阻挡的180度、半球形的视场。虽然在图1中示出的摄像机52被设置在罩24内，但是由于罩是透明的，因此罩24并不阻挡摄像机52的FOV。然而，摄像机52还可以向下延伸到罩24的底部之外。半球形视场可以以图1中示出的y轴为中心，PTZ摄像机22可以围绕该y轴摇摄。虽然这里将鱼眼镜头摄像机描述为具有跨越180度的半球形视场，但是该鱼眼镜头摄像机也可以具有跨越小于180度(例如120度)的视场，并且该视场可以仍然被认为是如本文所使用的术语“全景”。

接下来，在步骤806，鱼眼镜头摄像机围绕摇摄轴旋转。例如，鱼眼镜头摄像机52可以被机械固定在PTZ摄像机22上，使得无论摄像机22何时经历任何围绕垂直y轴的摇摄动作(y轴在本示例中是摇摄轴)，摄像机52都被迫跟随围绕摇摄轴的旋转。为了***20的机械简单性的目的，摄像机52可以以该方式固定在摄像机24上。

在步骤808，通过使用鱼眼镜头摄像机来在全景视场内捕捉第一图像。例如，摄像机52可以持续监控全景FOV，由此在全景视场内持续捕捉图像序列。

在下一步骤810，识别兴趣对象在所捕捉的第一图像内的位置。例如，兴趣对象可以通常以人的形式，并且人通常以正在运动为特征(例如在帧与帧之间具有不同的位置)，这与通常不移动的无生命对象相反。因而，可以将在所捕捉的图像内的呈现高度运动的区域(当结合紧接着的前面的帧和紧接着的后面的帧来考虑时)识别为兴趣对象的位置。可以将视场内的不感兴趣的已知移动对象(例如旋转吊扇)遮蔽掉，使得它们不会被识别为兴趣对象。

在最后的步骤812，向PTZ摄像机传输PTZ命令，使得对PTZ摄像机进行定向以捕捉在所识别的位置处的兴趣对象的第二图像，针对在鱼眼镜头摄像机的旋转期间该鱼眼镜头摄像机的视场旋转来对PTZ命令进行补偿。即，可以将如在鱼眼镜头摄像机52捕捉的图像中识别的兴趣对象的位置传送到PTZ摄像机22的控制器，使得PTZ命令可以被发送到摄像机22以由此使摄像机22也能够捕捉兴趣对象的图像。如果鱼眼镜头摄像机52是静止的，则将摄像机52捕捉的图像中的对象的位置转化为使PTZ摄像机22对准同一兴趣对象的PTZ命令将是相对简单的。然而，由于鱼眼镜头摄像机52是有规律地处于旋转运动中，因此必须依据当捕捉图像时摄像机52的旋转位置来确定其图像由摄像机捕捉的对象的位置，并由此必须依据在捕捉该图像之前摄像机52的FOV的先前旋转运动来确定该对象的位置。因为兴趣对象的位置是基于摄像机52的FOV的先前旋转运动来确定的，所以使摄像机22向着兴趣对象摇摄、倾斜并且变焦的PTZ命令也必须依据在捕捉兴趣对象的图像之前摄像机52的FOV的先前旋转运动，并且必须针对在捕捉兴趣对象的图像之前摄像机52的FOV的先前旋转运动来对该PTZ命令进行补偿。

除了针对鱼眼镜头摄像机52的FOV的旋转运动来对PTZ命令进行补偿之外，摄像机32捕捉的图像的处理也可以依据鱼眼镜头摄像机的视场的旋转，并且针对鱼眼镜头摄像机的视场的旋转来对摄像机32捕捉的图像的处理进行补偿。例如，在利用图像的帧与帧之间的关系来确定对象的移动时，必须考虑的是：对象在图像内的位置可以由于摄像机52在帧之间的旋转而逐帧变化。因而，当处理该摄像机捕捉的图像以为了发现其中的移动对象时，需要删除纯粹由于摄像机的移动所致的对象的这种被认为的“移动”。

尽管已经将本发明描述为具有示例性的设计，但是也可以在本公开内容的精神和范围内对本发明进一步修改。因此，本申请旨在覆盖使用本发明一般性原理对本发明的任何变动、使用或调整。

Claims (15)

1.一种用于操作视频监视***的方法，包括步骤：

将PTZ摄像机设置在外壳内；

将鱼眼镜头摄像机设置在所述PTZ摄像机的下方，使得所述鱼眼镜头摄像机具有不被所述外壳阻挡并以所述PTZ摄像机的摇摄轴为中心的全景视场；

使所述鱼眼镜头摄像机围绕所述摇摄轴旋转；

通过使用所述鱼眼镜头摄像机在所述全景视场内捕捉第一图像；

识别兴趣对象在所捕捉的第一图像内的位置；以及

将PTZ命令传输到所述PTZ摄像机，使得对所述PTZ摄像机进行定向以捕捉在所识别的所述位置处的所述兴趣对象的第二图像，针对所述鱼眼镜头摄像机的视场的旋转来对所述第二图像的处理进行补偿，并针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。

2.根据权利要求1所述的方法，其中，所述鱼眼镜头摄像机与所述PTZ摄像机一起围绕所述摇摄轴旋转。

3.根据权利要求1所述的方法，其中，所述旋转的步骤发生在所述捕捉的步骤之前和/或在所述捕捉的步骤期间。

4.根据权利要求1所述的方法，包括进一步的步骤：对所述第一图像执行图像处理，针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述图像处理进行补偿。

5.根据权利要求1所述的方法，包括进一步的步骤：在所述PTZ摄像机所在的相同外壳内设置用于所述PTZ摄像机的控制器。

6.根据权利要求1所述的方法，包括进一步的步骤：

在所述鱼眼镜头摄像机的所述视场内识别多个区域，所识别的多个区域比所述视场内的其他区域具有更高的运动密度，按照全局坐标值来识别所述多个区域；

计算所述PTZ摄像机的预期的自动巡视的轨迹，所述PTZ摄像机沿着所述轨迹捕捉每个所识别的区域的图像；以及

将PTZ命令传输到所述PTZ摄像机，使得所述PTZ摄像机在所述自动巡视时遵循所计算的轨迹。

7.根据权利要求6所述的方法，其中，所述轨迹是按照全局坐标值来计算的，所述方法包括进一步的步骤：计算与所计算的轨迹的所述全局坐标值相对应的PTZ命令。

8.根据权利要求6所述的方法，包括进一步的步骤：将所述全局坐标值转换为用于所述PTZ摄像机的摇摄值、倾斜值和/或变焦值，所述轨迹基于所述摇摄值、倾斜值和/或变焦值来计算。

9.一种视频监视***，包括在外壳内的PTZ摄像机，所述***的特征在于：

鱼眼镜头摄像机，其被设置在所述PTZ摄像机的下方，使得所述鱼眼镜头摄像机具有不被所述外壳阻挡且以所述PTZ摄像机的摇摄轴为中心的全景视场，所述鱼眼镜头摄像机和所述PTZ摄像机相耦合，使得所述鱼眼镜头摄像机跟随所述PTZ摄像机围绕所述摇摄轴的旋转，所述鱼眼镜头摄像机被配置为在所述全景视场内捕捉第一图像；以及

处理设备，其通信地耦合到所述PTZ摄像机和所述鱼眼镜头摄像机中的每一个，所述处理设备被配置为：

识别兴趣对象在所捕捉的第一图像内的位置；以及

将PTZ命令传输到所述PTZ摄像机，使得对所述PTZ摄像机进行定向以捕捉在所识别的所述位置处的所述兴趣对象的第二图像，针对所述鱼眼镜头摄像机的视场的旋转来对所述第二图像的处理进行补偿，并针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。

10.根据权利要求9所述的***，其中，所述鱼眼镜头摄像机被设置在所述PTZ摄像机下方，使得所述鱼眼镜头的视场不被所述外壳阻挡。

11.根据权利要求9所述的***，其中，所述处理设备被配置为对所述第一图像执行图像处理，针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述图像处理进行补偿。

12.根据权利要求9所述的***，其中，所述处理设备设置在所述PTZ摄像机所在的相同外壳内。

13.根据权利要求9所述的***，其中，所述处理设备被配置为：

在所述鱼眼镜头摄像机的所述视场内识别多个区域，所识别的多个区域比所述视场内的其他区域具有更高的运动密度，按照全局坐标值来识别所述多个区域；

计算所述PTZ摄像机的预期的自动巡视的轨迹，所述PTZ摄像机沿着所述轨迹捕捉每个所识别的区域的图像；以及

将PTZ命令传输到所述PTZ摄像机，使得所述PTZ摄像机在所述自动巡视时遵循所计算的轨迹。

14.根据权利要求13所述的***，其中，所述处理设备被配置为：

按照全局坐标值来计算所述轨迹；并且

计算与所计算的轨迹的所述全局坐标值相对应的PTZ命令。

15.根据权利要求13所述的***，其中，所述处理设备被配置为：将所述全局坐标值转换为用于所述PTZ摄像机的摇摄值、倾斜值和/或变焦值，所述轨迹基于所述摇摄值、倾斜值和/或变焦值来计算。