CN101999139A - 用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视***以及计算机程序 - Google Patents

Abstract

视频监视***用于摄像机支持地控制重要相关区域并且通常包括多个监视摄像机，这些摄像机安装在这些重要相关区域中以摄取监视场景。这些监视场景例如可以是停车场、交叉路口、街道、广场，但也可以是建筑物、工厂、医院等等中的区域。为了简化监视人员对监视场景的分析，本发明提出至少在监视器上以具有背景对象模型的三维场景模型的形式显示监视场景的背景作为虚拟现实。在本发明的范畴中提出一种用于产生和/或更新所述三维场景模型中的背景对象模型的纹理的方法，其中由监视场景的一个或多个摄像机图像1形成监视场景的背景图像，其中将所述背景图像投影到场景模型上，其中基于所投影的背景图像产生和/或更新所述背景对象模型的纹理。

Description

用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视***以及计算机程序

技术领域

本发明涉及一种用于产生和/或更新具有背景对象的监视场景的三维场景模型中的背景对象模型的纹理的方法以及用于实施该方法的控制装置和视频监视***以及一计算机程序。

现有技术

视频监视***用于摄像机支持地控制重要相关区域并且通常包括多个监视摄像机，这些监视摄像机安装在重要相关区域处以摄取监视场景。这些监视场景例如可以是停车场、交叉路口、街道、广场，但也可以是建筑物、工厂、医院等等中的区域。由监视摄像机摄取的图像数据流汇集在一个监视中心中，在所述监视中心处这些图像数据流或者被自动地分析处理或者通过监视人员来分析处理。

但是，所表示的监视场景的图像质量由于光线变化、天气影响或者监视摄像机的污染有时被分级为不合格，由此使通过监视人员手动分析处理的工作变得困难。

为了简化监视人员的工作并且同时改进监视质量，例如德国公开文献DE 10001252A1提出了一种监视***，该监视***通过面向对象的表示实现了监视***的更高效的工作。为此，用于各被选取的视点的摄像机信号被分解成一些对象并且随后被传输给一个显示装置，其中添加人工对象并且删除其它对象。

发明内容

在本发明的范畴内提出一种具有权利要求1的特征的、用于产生和/或更新三维场景模型中的背景对象模型的纹理的方法，一种具有权利要求10的特征的、用于实施所述方法的控制装置，一种根据权利要求11的视频监视***以及一种具有权利要求12的特征的计算机程序。本发明的优选或有利的实施形式由从属权利要求、随后的说明书或者附图得出。

本发明提供了一种可能性，即，监视场景能够以三维场景模型的形式至少部分地表示为虚拟的现实或者部分虚拟的现实，其中，可以通过产生和/或更新所述三维场景模型中的背景对象模型的纹理来实现监视场景的特别接近现实的表示。通过监视场景一方面被虚拟地表示而另一方面被非常接近现实地表示，监视人员可以非常简单地并且由此不易出错地在对监视场景的实际观察与对虚拟的三维场景模型的观察之间进行转换。

总的来说，所述方法允许具有背景对象的特别真实的监视场景映射到具有背景对象模型的三维场景模型上，所述背景对象模型具有接近现实的纹理。如开始部分所述，监视场景可以是街道、交叉路口、广场或者建筑物、车间、监狱、医院等等中的区域。

背景对象优选定义为静态的和/或准静态的对象，这些对象不变化或仅仅缓慢地变化并且映射到背景对象模型上。典型的静态对象是建筑物、树木、牌子等等。例如阴影、停着的汽车等属于准静态的对象。在监视场景中，静态的对象具有优选多于几个月的停留时间，准静态的对象相反具有优选多于一天或几天的停留时间。

三维场景模型包括一些被分别构造为三维模型的背景对象模型。例如三维场景模型被构造为“可通行的”，从而使用者可以在三维场景模型中在背景对象模型之间运动和/或可以改变视点，其方式是，视向或视角是可调节的。尤其是，在三维场景模型中保存背景对象模型的景深信息和/或重叠等级(Z等级)。

背景对象模型具有纹理，可选择地，剩余的背景具有纹理，其中纹理被优选构造为背景对象的颜色、阴影部分、图案和/或表面特征。

在一个方法步骤中，由监视场景的一个或多个摄像机图像形成该监视场景的背景图像，其中，优选规定：渐隐或者抑制前景对象或者其它的干扰对象。可以在其强度上、即在像素的列和行方面与摄像机图像相同地构造背景图像。替换地，背景图像是一个或多个摄像机图像的一部分。背景图像也可能具有任意的边缘轮廓变化，使得例如一个背景图像恰好表示一个背景对象。

在一个另外的方法步骤中，将背景图像投影到场景模型上。在此，如此映射背景图像，使得背景对象的一个像点与背景对象模型的与之相应的模型点相一致。在此，也可以逐像素地以映射规则的方式进行投影，其中优选仅映射那些相应的模型点可供使用的像点。

在背景图像投影到场景模型上或背景对象模型上之后，基于所投影的背景图像产生和/或更新背景对象模型的纹理。为此，例如从背景图像中提取那些在投影之后与相应的背景对象模型位置正确地对应的图像区域并且将其用作纹理。

可选择地，分别借助方位信息保存背景对象模型的纹理，从而可以在监视器等上显示场景模型时将这些纹理再次位置及投影正确地分布到背景对象模型上。

总而言之，所述方法允许构建一个具有接近现实的纹理的三维场景模型，其中能够以有规律的或者无规律的间隔更新这些纹理。

在本发明的一个优选实施形式中，通过长时间观察、即多天观察，通过在时间上的滤波、即例如通过取平均值、滑动取平均值，或者通过前景对象的消除来形成背景图像。也可以形成多个摄像机图像的中值或者剪切已知的对象。原则上可以使用用于建立背景图像的所有已知方法。

在所述方法的一个优选的实现中，在使用监视摄像机的摄像机模型参数的情况下进行背景图像至场景模型的投影，所述背景图像是从所述监视摄像机的视角建立的。通过使用摄像机模型参数可以将监视场景的坐标系中的一个点投影到摄像机图像的坐标系中，反之亦然。替换所述摄像机模型也可以使用查找表，所述查找表提供监视场景的坐标系中与监视摄像机的摄像机图像中的每个像点相应的点。

通过使用监视场景与摄像机图像之间的对应规则可将由摄像机图像产生的背景图像位置正确地和/或透视校正地投影到场景模型上，从而使错误对应最小化。

在所述方法的工业应用中，背景图像可选择地、补充地由畸变进行校正，这些畸变一方面可能由于监视摄像机***中的成像误差、例如作为光学成像误差无意地产生，另一方面也是有意的畸变，这些畸变例如由于360°摄像机或鱼眼摄像机的使用而引入。

在本发明的一个另外的优选实施形式中，检测背景图像和/或背景图像的图像区域和/或背景图像的像点、尤其是背景图像的每个像点被其它静态的或者准静态的对象的遮蔽。如果所述检测表明所检测的区域被一干扰对象遮蔽，则舍弃这个像点。否则，所检测的区域被用于产生和/或更新纹理。

在本发明的一个另外的可能补充中，借助于景深缓存器检测背景对象模型的相互遮蔽，其中，舍弃应与在相应的模型点的区域中被遮蔽的背景对象模型对应的像点。所述景深缓存器例如基于由渲染(Rendering)已知的Z等级。

在本发明的一个扩展构型中，基于多个摄像机图像形成纹理，这些摄像机图像来自对监视场景具有共同视角的一个共同的监视摄像机或者对监视场景具有不同视角的一些不同的监视摄像机。在此，将不同视角的摄像机图像以已述的方式位置正确地投影到场景模型上。在投影之后，不同背景图像的属于背景对象模型的一个共同的纹理点或者一个共同的纹理的像点被分别融合。例如可以通过取平均值来进行所述融合。在本发明的一个特别优选的扩展构型中例如进行待融合的像点的颜色均衡。

可选择补充地，尤其是为了覆盖在由监视场景形成的监视区域中的空隙，从其它的来源、例如航空摄影(Luftaufnahme)提取纹理信息。

在所述方法的一个特别优选的实施形式中，在视频监视***的显示单元、例如监视器等中呈现具有纹理的背景对象模型，尤其如以下所述。

本发明的另一主题是一种视频监视***，所述视频监视***与一个或多个监视摄像机连接和/或可连接，并且所述视频监视***具有一个控制装置，其特征在于，所述控制装置在电路技术和/或程序技术上被构造用于实施以上所述的方法和/或如在前述权利要求中所定义的方法。

特别优选的是，所述视频监视***被如此构造，使得所述方法优选在背景中以周期的间隔运行并且以此方式基于当前状况处理纹理。在所述视频监视***中可以看到一个特别的优点，即为了建立或更新纹理仅仅考虑静态的和/或准静态的场景背景。由此，视频图像中的动态对象不出现在3D模型的静态几何结构的纹理中，否则可能导致将动态对象错误表示为背景对象模型上的纹理，例如街道上或墙壁上的平的纹理。与此相反，动态对象可单独地——或者作为真实的成像或者作为虚拟的表示——渐显在场景模型中，这导致可信的或者接近现实的可视化。

本发明的最后一个主题涉及具有程序代码单元的计算机程序，以便当在一个计算机和/或一个视频监视***上执行所述程序时实施所述方法的所有步骤。

附图说明

本发明的其它特征、优点和效果由以下对本发明的优选实施例的说明及附图中得出。附图示出：

图1：用于说明根据本发明的方法的第一实施例的流程图；

图2：用于实施根据图1的方法的视频监视***的框图。

具体实施方式

作为本发明的实施例，图1以示意性流程图示出用于产生和/或更新三维场景模型中的背景对象模型的纹理的方法的过程。

使用来自监视摄像机10(图2)的一个或多个视频图像1作为当前的输入信息。在第一方法步骤2中，所述视频图像1被转化为具有背景像素的背景图像。所述转化借助由图像处理已知的方法进行，例如对多个视频图像1取平均值或取中值、剪切已知的对象、长时间观察等等。通过所述方法步骤产生一个背景图像，所述背景图像作为有效像点仅具有来自一个或多个视频图像1的背景像素，以及可选择地具有一些无效像点，这些无效像点位于视频图像1的表示干扰对象或前景对象的位置上。

在第二方法步骤3中，将如此产生的背景图像投影到场景模型上。所述场景模型被构造为三维场景模型并且具有多个背景对象模型、例如典型地具有建筑物、家具、街道或其它固定对象的背景对象模型。在方法步骤3的范畴中，借助于监视摄像机的摄像机模型参数将图像坐标系中背景图像的像点投影到所述三维场景模型的各相应的点上，监视摄像机提供了作为背景图像基础的视频图像1。可选择补充地，在投影范畴内校正畸变、例如歪曲等。

在第三方法步骤4中，借助于景深缓冲器从摄像机视点对遮蔽进行逐像点的检测。在此测试，通过方法步骤3投影到背景对象模型上的背景图像的一个像点是否被当前摄像机视点中的一个另外的背景对象模型和/或一个真实的、例如动态的对象遮蔽。如果所述测试将所检测的像点评价为被遮蔽，则舍弃并且不再使用所述像点。否则，所述像点、即所投影的视频像点或背景像点被用于纹理的建立和/或更新。

在第四方法步骤5中，基于所传递的背景像点建立以及输出纹理6。作为补充的措施可以规定，在投影之后至少部分重叠并且因此涉及相同背景对象模型的相同区域的不同背景图像的多个像点被融合为一个共同的背景像点。在此，例如也可以进行颜色均衡。作为另外的补充措施，尤其可以通过例如来自于航空摄影的静态纹理来填充场景模型中可能存在的空隙。

图2示出一个视频监视***100，该视频监视***被构造用于实施图1中所述的方法。该视频监视***与多个监视摄像机10在信号技术上无线连接或者有线连接并且例如被构造为计算机***。这些监视摄像机10对准重要相关的区域，这些区域显示广场、交叉路口等形式的监视场景。

监视摄像机10的图像数据流被传递到背景模型20，该背景模型被构造用于实施图1中的第一方法步骤2。所产生的一个或多个背景图像被继续传输到投影模型30，该投影模型被构造用于实施第二方法步骤3。为了对遮蔽进行控制，所投影的背景图像被传输到遮蔽模块40，该遮蔽模块被实现用于实施第三方法步骤4。在纹理模型50中，基于所检测的背景图像建立或更新纹理6并且将所述纹理6传递给纹理存储器60。

基于所存储的数据和三维场景模型，在显示单元70、例如监视器上通过背景对象模型呈现监视场景的虚拟表示，所述背景对象模型具有真实纹理。在所述虚拟表示中，可以在监视场景中位置正确地并且接近现实地渐显真实的对象、例如动态对象。

Claims (12)

1.用于产生和/或更新一具有背景对象的监视场景的三维场景模型中的背景对象模型的纹理(6)的方法，

其中，由所述监视场景的一个或多个摄像机图像(1)形成所述监视场景的一背景图像(2)，

其中，将所述背景图像投影到所述场景模型上(3)，

其中，基于所投影的背景图像产生和/或更新所述背景对象模型的纹理(5)。

2.根据权利要求1所述的方法，其特征在于，通过长时间观察、滤波和/或通过前景对象的消除形成所述背景图像。

3.根据权利要求1或2所述的方法，其特征在于，在使用一摄像机模型的情况下进行所述背景图像的投影。

4.根据以上权利要求中任一项所述的方法，其特征在于，将所述背景图像位置正确地和/或透视校正地投影到所述场景模型上。

5.根据权利要求3或4所述的方法，其特征在于，对所述背景图像进行畸变校正。

6.根据以上权利要求中任一项所述的方法，其特征在于，检测一背景对象模型的、与所述背景图像和/或所述背景图像的一图像区域和/或所述背景图像的一像点相对应的区域被另外的背景对象模型的遮蔽(4)。

7.根据以上权利要求中任一项所述的方法，其特征在于，基于多个摄像机图像(1)形成所述纹理(6)，这些摄像机图像来自对所述监视场景的不同视角。

8.根据权利要求7所述的方法，其特征在于，融合属于一背景对象模型的一个共同的纹理点或一个共同的纹理的不同背景图像的像点。

9.根据以上权利要求中任一项所述的方法，其特征在于，在一视频监视***(100)的一显示单元中呈现具有所述纹理的背景对象模型。

10.控制装置(100)，其特征在于，所述控制装置(100)在电路技术上和/或程序技术上被构造用于实施根据以上权利要求中任一项所述的方法。

11.视频监视***，所述视频监视***与一个或多个监视摄像机(10)连接或可连接，其特征在于，所述视频监视***具有一根据权利要求10所述的控制装置(100)。

12.计算机程序，所述计算机程序具有程序代码单元，以便在一计算机上和/或一根据权利要求10所述的控制装置上和/或一根据权利要求1 1所述的视频监视***上执行所述程序时实施根据权利要求1至9中任一项所述的方法的所有步骤。

Images