CN102834848B - 用于监视场景中的活动重点的可视化的方法 - Google Patents

Abstract

提出一种用于由至少一个监视装置（111，111’，111”）监视的监视场景中的活动重点的可视化的方法，其中，通过所述至少一个监视装置辨识和/或跟踪（102，102’，102”）运动对象（112，112’，112”），求得（103，103’，103”）所述运动对象（112，112’，112”）的空间定位（113，113’，113”），确定活动重点以及进行所述运动对象（112，112’，112”）的可视化。

Description

用于监视场景中的活动重点的可视化的方法

技术领域

本发明涉及一种用于由至少一个监视装置监视的监视场景中的活动重点的可视化的方法以及相应的监视***。

背景技术

监视***用于控制重要区域并且通常包括多个监视装置，例如监视摄像机，其设置在重要区域处用于拍摄监视场景。替代地或附加地，例如也可以使用激光或红外支持的运动传感器，例如运动报警器或光栅。作为其他示例可以述及踏板，所述踏板在踩踏时触发一个信号。监视场景例如可以包括停车场、交叉路口、道路、广场，也可以包括楼房、工厂、医院等等中的区域。由监视装置拍摄的数据——例如图像数据流汇聚到监视中心中，在那里或者自动地或者通过监视人员分析处理所述图像数据流。

尤其是图像数据流的手动分析处理时常非常困难，因为尤其是在具有多个运动对象的监视场景中——例如在道路场景中必须监视相应较大数量的运动对象，并且由此所显示的监视场景的图像质量例如由于照明变化、气候影响或监视摄像机的污染往往是不够的。通常，受监视的监视场景包含三维对象，其中运动过程往往由对象遮挡并且由此不能实现直接的观察。因此，监视人员的电子支持是符合目的的。

普遍公知的是，将由多摄像机网络检测的监视场景显示为三维模型（以下称作3D场景模型）。这类3D场景模型可以具有任意的抽象程度，例如可以将所监视的房屋、信号、道路等等的表面显示为抽象的面结构。在一个3D场景模型中，也可以实现三维对象的抽象的、格栅状的再现，从而通过监视装置检测到的、但在3D场景模型的瞬时视图中被遮挡的对象可被识别。在这类3D场景模型中存在交互导航的可能性，例如通过相应的计算机***。

在此，由DE 10 2007 048 857 A1公开了一种方法，所述方法能够使三维场景模型具有接近真实的纹理，其中能够以规律的或不规律的间隔更新所述纹理。

由WO 2009/068336A2公开了一种基于模型的对象3D定位。为此借助经校准的摄像机来拍摄所述对象，其中所述对象的3D位置确定为视线与所述场景模型的交点。

由Sankaranarayanan等在2009年7月递交的公开文献“Modeling andVisualization of Human Activities for Multi-Camera Networks”（EURASIPJournal on Image and Video Processing）可以得出一种***，借助所述***能够实现在图像中识别到的人员运动在3D场景模型中的投影。在使用场景的3D结构和摄像机校准的先验知识的情况下，所述***能够定位运动通过所述场景的人员。通过如下方式确定感兴趣的活动：在自学习方法范畴内将所述活动的模型与观察进行比较。

Wang等在“Correspondence-Free Multi-Camera Activity Analysis andScene Modeling”（Proceeding of IEEE Computer Society Conference onComputer Vision and Pattern Recognition 2008）中说明了相同定向的运动的关系，由此活动重点也可显示在密集的场景中。但是在此不包括3D场景模型的使用。

在由现有技术中已知的方法中，在存在多个运动对象时各个轨迹的显示往往很不清楚明了并且由此最后导致较小的信息量。通常也不能检测到由对象遮挡的运动或者仅仅由单个摄像机检测的运动。此外，在存在错误的对象一致性时，即在摄像机没有绝对精确地调准时，轨迹的质量往往显著地降低。

因此，还存在用于尤其是多摄像机网络中的活动重点的可视化的方法的需求，所述多摄像机网络克服了现有技术的所述缺点。

发明内容

根据本发明提出了具有独立权利要求的特征的方法以及监视***。有利构型是从属权利要求以及以下描述的主题。

本发明尤其可以用作视频监视技术领域中用于多摄像机网络中活动重点的实时可视化的***。

为了理解，所使用的概念“运动呈现”和“活动重点”可以不仅包括运动密度而且包括运动强度。运动密度可以涉及运动对象的数量。如果存在大量的运动对象的运动，则运动密度高。运动强度例如也可以涉及运动对象的速度。根据需要，强调监视场景中的运动密度或运动强度是感兴趣的。例如快速的但与其他对象分开运动的单个对象可以要求更详细的检查，或者可以替代地要求有针对性地观察具有高密度运动对象的区域。

本发明的优点

借助于根据本发明的方法，通过监视装置、尤其是通过多个经校准的摄像机（无重叠的可视区域的单独摄像机和具有重叠的可视区域的摄像机）的视频材料的图像分析能够实现对象识别和对象跟踪。此外，同样可以使用其他监视装置，例如运动传感器。

基于所识别的人员运动和对象运动确定的活动重点可以映射（投影）到所监视的场景的虚拟3D模型中。由此，可以直接在3D模型中直接视觉地突出强调具有高运动呈现或者具有活动重点的区域。通过3D场景模型中的交互导航的优选可能性，可以进行这类具有高运动呈现或者活动重点的区域的直接控制，以便更详细地观测这些区域。

例如如同在申请人的WO 2009/068336A2中描述的那样进行所识别的人员运动和对象运动映射到所监视的场景的虚拟3D模型中，在此关于实施的细节参照WO 2009/068336A2。对于在那里公开的基于模型的3D定位，借助经校准的摄像机来拍摄对象，其中所述对象的3D位置被确定为视线与所述场景模型的交点。也可以通过简单的地面模型进行2D-3D映射，在所述地面模型中将在图像中识别到的对象借助于摄像机校准信息直接投影到地平面上。在其他类型的传感器（例如运动报警器）中可能不需要映射，因为传感器数据可以被直接接收到模型中，只要传感器在场景模型中的位置是已知的。

原则上可以由分别生成的图像材料产生3D模型，但例如也可以事先——例如通过测量数据和/或CAD软件提供3D模型。

所提出的方法在相应的***中有利地、抽象地表示一种活动（例如运动呈现或者活动重点）。多个空间接近对象的运动可以被汇聚起来，以便辨识活动重点。可以通过突出强调的区域的大小及其颜色编码活动的量。尤其是，作为量的度量可以使用运动对象的数量、速度、加速度和/或单位时间内的加速度变化。活动重点的这类视觉显示可以与虚拟的3D模型的图像叠加，从而即使在对象遮挡的情况下运动呈现保持可识别。尤其是可以在假颜色显示中（活动大小的颜色编码）进行可视化。

因此，所提出的措施在密集场景中也能够实现运动强度的清楚显示。因为在根据本发明的方法范畴中可以优选通过单个摄像机检测运动，摄像机之间可能错误的对象匹配仅仅起次要作用。

根据本发明的方法的范畴内的显示可以具有任意的抽象程度，从而不再由于过度实际的显示而偏离重要的运动。与之前提到的现有技术的方法相比，可以使用最新数量的活动对象并且实时地分析处理。

在由Sankaranarayanan等公开的方法中例如不可能识别被遮挡的场景区域（例如墙壁后面）中的活动。在那里提出的真实感显示由于大量的纹理细节以及由于复杂的人员模型而偏离真正的运动。由此，运动不太明显，使得尤其是在手动地分析处理监控场景或者相应的图像数据流的范畴内可能识别不到运动或者过晚地识别到运动。通过根据本发明提出的用于活动重点的实时可视化的抽象方法克服了所述缺点。

与之前提到的Wang等的公开文献不同，观察者现在能够将通过单独的摄像机（即通过与其他摄像机不具有重叠的可视范围的摄像机）拍摄的运动对象（运动呈现）视觉地包含到总上下文中。同样，与此相反地，不再需要较长时间间隔上的运动的累积。

因此，通过根据本发明的措施，通过与3D图像叠加的活动显示在3D模型的被遮挡的区域中也产生直接的、视觉的运动反馈。通过借助视觉手段、例如颜色来编码运动呈现的量，可以实现可能的临界的运动过程的非常快速且清楚的显示。

本发明的其他优点和构型由说明书和附图得出。

可理解的是，以上提到的和以下还要解释的特征不仅可用于分别说明的组合而且可用于其他组合或单独应用，而不脱离本发明的保护范围。

附图说明

根据实施例在附图中示意性地示出并且以下参考附图详细地描述本发明。

图1示出根据本发明一个特别优选的实施方式的方法的示意图。

图2示出根据本发明一个特别优选的实施方式的活动重点的可视化。

具体实施方式

在图1中示意性地示出根据本发明的一个特别优选的实施方式的方法并且总体地标记为100。在图100中示出了三个并行运行的子方法150、150’和150”，这些子方法分别配置给各个监视装置。可理解的是，在本发明的范畴中，也可以运行其他数量的并行的监视子方法，这些监视子方法分别配置给自己的监视装置。同样能够实现子方法的集中。清楚起见，以下仅仅说明子方法150。

在一个可选的步骤101中，通过在此被构造为监视摄像机的监视装置111进行图像拍摄，即生成图像材料。监视装置111尤其是经校准的，从而其位置、定向、焦距等是已知的。

在步骤102中，例如通过配置给监视装置111的分析处理装置进行图像材料中运动对象的识别和/或运动对象的轨迹112的产生。在步骤103中进行在前面的步骤102中识别的对象或者在3D场景模型中识别的对象112的空间定位113。例如为了3D定位借助经校准的摄像机111拍摄一个对象，其中所述对象的3D位置确定为视线与场景模型的交点。关于实施的进一步细节，在此可以参阅申请人的WO 2009/068336A2。优选从CAD数据中获得场景模型。

在步骤110中，各个子方法150、150’和150”被集中并且用于运动对象的运动重点的可视化，如在以下附图2中说明的那样。在图2中示出活动重点的可视化（如其在一个特别优选的实施方式的范畴内进行的那样）并且总体上标记为200。

在图2中示出了三维场景模型中的所识别的或者所确定的活动重点的示图，如其基于本发明例如可以在一个计算机屏幕上获得的那样。在计算机屏幕上首先示出了3D场景模型201，所述3D场景模型在当前示例中以一个透视视角显示多个房间。例如可以从CAD数据中获得所述3D场景模型。相应的分析处理***的观察者或者使用者观察计算机屏幕，在所述计算机屏幕上显示一个虚拟的3D场景，在此显现为建筑物。这些房间在确定的位置上装备有经校准且经调节的摄像机作为图像拍摄装置，其位置在此被示出（可选地）并且在3D场景模型内分别以210表示。

如果由摄像机210（例如基于根据图1的优选实施方式）识别到对象，则根据本发明的一个优选实施方式通过显示活动重点来进行表示。

根据图2示出四个活动重点220、230、240和250，这些活动重点（与热图像或等高线类似地）表示所识别的活动。在当前示例中，作为活动的度量使用运动对象的数量。可以看到，对于250仅仅存在低的活动，这可以相应于一个运动对象。对于240存在较高的活动，这例如可以相应于两个运动对象。对于230存在更高且在空间上更强分布的活动，由此可以推断出在所述位置230上多个对象在较大的区域中运动。最后，在位置220处存在非常高但集中的活动，由此可以推断出非常多的运动对象位于所述位置处。

作为活动重点的替代度量可以使用运动速度。在此情况下，以较高的强度显示较快运动的对象并且以较低的强度显示较慢运动的对象。

例如可以作为运动对象周围的关于相应度量标准化的钟形曲线提供强度分布，其中相邻对象的强度可以相应地相加。在优选的实施方式中，运动对象的数量用作活动的度量。但也可理解的是，速度、加速度和/或单位时间内的加速度变化也可以用作度量，它们被数学地处理——尤其是被累加、但也可以被平均等等。根据一个优选的实施方式，与热图像类似地彩色地示出活动水平，其中例如可以红色至黄色地表示高的活动并且绿色至蓝色地表示低的活动。

Claims (9)

1.用于由至少一个监视装置(111，111’，111”；210)监视的监视场景中的活动重点(220，230，240，250)的可视化(200)的方法，所述方法具有以下步骤：

a)通过所述至少一个监视装置(111，111’，111”；210)辨识和/或跟踪(102，102’，102”)运动对象(112，112’，112”)，

b)求得(103，103’，103”)所述监视场景中的所述运动对象(112，112’，112”)的空间定位(113，113’，113”)，以及

c)确定和抽象地可视化(200)所述监视场景中的所述运动对象(112，112’，112”)的活动重点(220，230，240，250)，

其中，基于所识别的运动对象(112，112’，112”)的数量、速度、加速度和/或单位时间内的加速度变化来确定所述活动重点(220，230，240，250)。

2.根据权利要求1所述的方法，其中，借助于颜色编码和/或大小编码来可视化所述活动重点(220，230，240，250)，其中，给活动的度量分配颜色或者大小。

3.根据以上权利要求中任一项所述的方法，其中，基于运动的集中和/或运动轨迹的集中来进行所述活动重点(220，230，240，250)的确定。

4.根据权利要求1或2所述的方法，其中，使用具有彼此至少部分重叠的监视区域的监视装置(111，111’，111”；210)和/或具有彼此不重叠的监视区域的监视装置(111，111’，111”；210)。

5.根据权利要求1或2所述的方法，其中，实时地执行所述方法。

6.根据权利要求1或2所述的方法，其中，使用至少一个监视摄像机(111，111’，111”；210)和/或至少一个运动传感器作为监视装置。

7.根据权利要求1或2所述的方法，其中，为了可视化，使用3D场景模型(201)。

8.根据权利要求7所述的方法，其中，所述3D场景模型是可导航的3D场景模型。

9.用于由至少一个监视装置(111，111’，111”；210)监视的监视场景中的活动重点(220，230，240，250)的可视化(200)的监视***，所述监视***具有以下装置：

用于通过所述至少一个监视装置(111，111’，111”；210)标识和/或跟踪(102，102’，102”)运动对象(112，112’，112”)的装置，

用于求得(103，103’，103”)所述监视场景中的所述运动对象(112，112’，112”)的空间定位(113，113’，113”)的装置，

用于确定和抽象地可视化(200)所述监视场景中的所述运动对象(112，112’，112”)的活动重点(220，230，240，250)的装置，

其中，基于所识别的运动对象(112，112’，112”)的数量、速度、加速度和/或单位时间内的加速度变化来确定所述活动重点(220，230，240，250)。