-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren zur Erzeugung und/oder Aktualisierung
von Texturen von Hintergrundobjektmodellen in einem dreidimensionalen
Szenenmodell einer Überwachungsszene mit Hintergrundobjekten
sowie eine Steuerungsvorrichtung und ein Videoüberwachungssystem
zur Durchführung des Verfahrens und ein Computerprogramm.
-
Videoüberwachungssysteme
dienen zur kameragestützten Kontrolle von relevanten Bereichen und
umfassen üblicherweise eine Mehrzahl von Überwachungskameras,
die an den relevanten Bereichen zur Aufnahme von Überwachungsszenen aufgestellt
sind. Die Überwachungsszenen können beispielsweise
als Parkplätze, Kreuzungen, Straßen, Plätze,
aber auch als Bereiche in Gebäuden, Fabriken, Krankenhäusern
oder dergleichen ausgebildet sein. Die von den Überwachungskameras
aufgenommenen Bilddatenströme werden in einer Überwachungszentrale
zusammengeführt, wo diese entweder automatisiert oder durch Überwachungspersonal ausgewertet
werden.
-
Die
Arbeit für die manuelle Auswertung durch das Überwachungspersonal
wird jedoch dadurch erschwert, dass die Bildqualität der
dargestellten Überwachungsszenen aufgrund von Beleuchtungsänderungen,
Witterungseinflüssen oder Verschmutzungen der Überwachungskameras
manchmal als ungenügend einzustufen sind.
-
Um
die Arbeit des Überwachungspersonals zu vereinfachen und
zugleich die Überwachungsqualität zu verbessern
schlägt beispielsweise die deutsche Offenlegungsschrift
DE 10001252 A1 ein Überwachungssystem
vor, das ein effizienteres Arbeiten mit einem Überwachungssystem
durch eine objektorientierte Darstellung ermöglicht. Hierzu
werden Signale der Kameras, die für die jeweils gewählten
Ansichten verwendet werden, in Objekte zerlegt und dann einer Anzeige übergeben,
wobei künstliche Objekte hinzugefügt und andere
Objekte gelöscht werden.
-
Offenbarung der Erfindung
-
Im
Rahmen der Erfindung wird ein Verfahren zur Erzeugung und/oder Aktualisierung
von Texturen von Hintergrundobjektmodellen in einem dreidimensionalen
Szenenmodell mit den Merkmalen des Anspruchs 1, eine Steuerungsvorrichtung
zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs
10, ein Videoüberwachungssystem gemäß Anspruch
11 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12
vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen
der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden
Beschreibung bzw. aus den Figuren.
-
Durch
die Erfindung wird eine Möglichkeit geschaffen, dass Überwachungsszenen
zumindest abschnittsweise in einer virtuellen Realität
oder einer teilvirtuellen Realität in Form eines dreidimensionalen
Szenenmodells darstellbar sind, wobei durch eine Generierung und/oder
Aktualisierung von Texturen von Hintergrundobjektmodellen in dem
dreidimensionalen Szenenmodell eine besonders realitätsnahe Darstellung
der Überwachungsszene erreichbar ist. Dadurch, dass die Überwachungsszene
zum einen virtuell, jedoch zum anderen sehr realitätsnah
dargestellt wird, ist es für das Überwachungspersonal
sehr einfach und somit fehlerunanfällig zwischen einer
tatsächlichen Beobachtung der Überwachungsszene und
einer Beobachtung des virtuellen, dreidimensionalen Szenenmodells
zu wechseln.
-
Allgemeiner
formuliert, erlaubt das Verfahren die Abbildung einer insbesondere
realen Überwachungsszene mit Hintergrundobjekten auf ein
dreidimensionales Szenenmodell mit Hintergrundobjektmodellen mit
realitätsnahen Texturen. Bei der Überwachungsszene
kann es sich – wie eingangs erwähnt – um
Straßen, Kreuzungen, Plätze oder Bereiche in Gebäuden,
Fabrikhallen, Gefängnissen, Krankenhäusern etc.
handeln.
-
Die
Hintergrundobjekte sind vorzugsweise als statische und/oder quasi-statische
Objekte definiert, welche sich nicht oder nur langsam ändern
und die auf die Hintergrundobjektmodelle abgebildet werden. Typische
statische Objekte sind Gebäude, Bäume, Tafeln,
etc. Zu den quasi-statischen Objekten zählen beispielsweise
Schatten, parkende Autos oder dergleichen. Die statischen Objekte
haben eine Verweildauer in der Überwachungsszene von vorzugsweise
mehr als mehrere Monate, die quasi-statischen Objekte dagegen vorzugsweise
von mehr als einen oder mehrere Tage.
-
Das
dreidimensionale Szenenmodell umfasst die Hintergrundobjektmodelle,
welche jeweils als ein dreidimensionales Modell ausgebildet sind. Beispielsweise
ist das dreidimensionale Szenenmodell „begehbar" ausgebildet,
so dass ein Benutzer sich in dem dreidimensionalen Szenenmodell
zwischen den Hintergrundobjektmodellen bewegen kann und/oder die
Ansicht verändern kann, indem die Blickrichtung oder der
Blickwinkel einstellbar ist. Insbesondere ist in dem dreidimensionalen
Szenenmodell eine Tiefeninformation und/oder eine Überlappungshierarchie
(Z-Hierarchie) der Hintergrundobjektmodelle abgelegt.
-
Die
Hintergrundobjektmodelle und optional der restliche Hintergrund
weist Texturen auf, wobei Texturen vorzugsweise als Farbe, Schraffuren,
Muster und/oder Merkmale der Oberfläche der Hintergrundobjekte
ausgebildet sind.
-
In
einem Verfahrensschritt werden aus einem oder mehreren Kamerabildern
der Überwachungsszene ein Hintergrundbild der Überwachungsszene
gebildet, wobei vorzugsweise vorgesehen ist, dass Vordergrundobjekte
oder andere Störobjekte ausgeblendet oder unterdrückt
werden. Das Hintergrundbild kann in seiner Mächtigkeit,
also hinsichtlich der Spalten und Reihen von Pixeln, identisch zu
den Kamerabildern ausgebildet sein. Alternativ ist das Hintergrundbild
ein Ausschnitt von einem oder mehreren Kamerabildern. Auch ist es
möglich, dass das Hintergrundbild einen beliebigen Randkonturverlauf
aufweist, so dass beispielsweise ein Hintergrundbild genau ein Hintergrundobjekt
darstellt.
-
In
einem weiteren Verfahrensschritt wird das Hintergrundbild auf das
Szenenmodell projiziert. Hierbei wird das Hintergrundbild derart
abgebildet, so dass ein Bildpunkt eines Hintergrundobjekts mit einem
dazu korrespondierenden Modellpunkt des Hintergrundobjektmodells übereinstimmt.
Die Projektion kann dabei auch pixelweise in Form einer Abbildungsvorschrift
erfolgen, wobei vorzugsweise nur die Bildpunkte abgebildet werden,
zu denen ein korrespondierender Modellpunkt verfügbar ist.
-
Nachdem
das Hintergrundbild auf das Szenenmodell bzw. auf die Hintergrundobjektmodelle projiziert
ist, werden die Texturen der Hintergrundobjektmodelle auf Basis
des projizierten Hintergrundbilds erzeugt und/oder aktualisiert.
Hierzu werden beispielsweise Bildbereiche, welche nach der Projektion
lagerichtig dem jeweiligen Hintergrundobjektmodell zugeordnet sind,
aus dem Hintergrundbild entnommen und als Textur verwertet.
-
Optional
werden die Texturen der Hintergrundobjektmodelle jeweils mit einer
Orientierungsinformation abgespeichert, so dass die Texturen wiederum
lage- und projektionsrichtig auf die Hintergrundobjektmodelle bei
der Darstellung des Szenenmodells auf einem Monitor oder dergleichen
verteilt werden können.
-
Zusammenfassend
erlaubt das Verfahren, ein dreidimensionales Szenenmodell mit realitätsnahen
Texturen auszustatten, wobei die Texturen in regelmäßigen
oder unregelmäßigen Abständen aktualisiert
werden können.
-
Bei
einer bevorzugten Ausführungsform der Erfindung wird das
Hintergrundbild durch Langzeitbeobachtung, also Beobachtung über
mehrere Tage, zeitliche Filterung, also zum Beispiel durch Mittelwertbildung,
gleitende Mittelwertbildung, oder durch Eliminierung von Vordergrundobjekten
gebildet. Es ist auch möglich, den Median von mehreren
Kamerabildern zu bilden oder bekannte Objekte auszuschneiden. Prinzipiell
sind alle bekannten Verfahren zur Erstellung des Hintergrundbilds
einsetzbar.
-
Bei
einer bevorzugten Implementierung des Verfahrens erfolgt die Projektion
des Hintergrundbilds auf das Szenenmodell unter Verwendung der Parameter
eines Kameramodells von der Überwachungskamera, aus deren
Blickwinkel das Hintergrundbild erstellt ist. Durch die Verwendung
der Parameter des Kameramodells ist es möglich, die Projektion
eines Punktes im Koordinatensystem der Überwachungsszene
in das Koordinatensystem des Kamerabilds und vice versa durchzuführen.
Alternativ zu dem Kameramodell kann auch eine Look-up-Tabelle verwendet
werden, die zu jedem Bildpunkt in dem Kamerabild der Überwachungskamera
einen korrespondierenden Punkt im Koordinatensystem der Überwachungsszene
bereitstellt.
-
Durch
die Verwendung einer Zuordnungsvorschrift zwischen Überwachungsszene
und Kamerabild ist es möglich, das aus dem Kamerabild entstandene
Hintergrundbild lagerichtig und/oder perspektivisch korrigiert auf
das Szenemodell zu projizieren, so dass Fehlzuordnungen minimiert
werden.
-
Bei
einer industrienahen Umsetzung des Verfahrens wird das Hintergrundbild
optional ergänzend von Verzerrungen korrigiert, welche
zum einen unbeabsichtigt durch Abbildungsfehler in dem Überwachungskamerasystem,
z. B. als optische Abbildungsfehler entstanden sein können,
zum anderen aber auch gewollte Verzerrungen, die beispielsweise durch
die Verwendung von 360°- oder Fischaugenkameras eingebracht
sind.
-
Bei
einer weiteren bevorzugten Ausführungsform der Erfindung
wird das Hintergrundbild und/oder Bildbereiche des Hintergrundbilds
und/oder Bildpunkte des Hintergrundbilds, insbesondere jeder Bildpunkt
des Hintergrundbilds auf Verdeckung mit anderen statischen oder
quasi-statischen Objekten geprüft. Für den Fall,
dass die Überprüfung ergibt, dass der geprüfte
Bereich durch ein Störobjekt verdeckt ist, wird dieser
Bildpunkt verworfen. Andernfalls wird der geprüfte Bereich
zur Erzeugung und/oder Aktualisierung der Texturen verwendet.
-
Bei
einer weiteren möglichen Ergänzung der Erfindung
wird eine gegenseitige Verdeckung von Hintergrundobjektmodellen
mit Hilfe eines Tiefenpuffers geprüft, wobei Bildpunkte,
die einem in dem Bereich des korrespondierenden Modellpunkts verdeckten
Hintergrundobjektmodell zugeordnet werden sollen, verworfen werden.
Der Tiefenpuffer basiert beispielsweise auf einer aus dem Rendering
bekannten Z-Hierarchie.
-
Bei
einer Weiterbildung der Erfindung werden die Texturen auf Basis
einer Mehrzahl von Kamerabildern gebildet, welche von einer gemeinsamen Überwachungskamera
mit einem gemeinsamen Blickwinkel oder von verschiedenen Überwachungskameras
mit verschiedenen Blickwinkeln auf die Überwachungsszene
stammen. Hierbei werden die Kamerabilder von verschiedenen Blickwinkeln
in beschriebener Weise auf das Szenenmodell lagerichtig projiziert.
Nach der Projektion werden jeweils Bildpunkte von verschiedenen
Hintergrundbildern, die zu einem gemeinsamen Texturpunkt oder einer
gemeinsamen Textur eines Hintergrundobjektmodells gehören,
verschmolzen. Die Verschmelzung kann beispielsweise durch eine Mittelwertbildung
erfolgen. Bei einer besonders bevorzugten Weiterbildung der Erfindung
erfolgt beispielsweise ein Farbabgleich der zu verschmelzenden Bildpunkte.
-
Optional
ergänzend werden, – insbesondere um Lücken
in einem durch die Überwachungsszenen gebildeten Überwachungsbereich
abzudecken – Texturinformationen aus weiteren Quellen,
wie zum Beispiel Luftaufnahmen entnommen.
-
Bei
einer besonders bevorzugten Ausführungsform des Verfahrens
werden die Hintergrundobjektmodelle mit den Texturen in einer Anzeigeeinheit,
wie zum Beispiel einem Monitor oder dergleichen, eines Videoüberwachungssystems,
insbesondere wie es nachfolgend beschrieben wird, dargestellt.
-
Ein
weiterer Gegenstand der Erfindung betrifft ein Videoüberwachungssystem,
welches mit einer oder einer Mehrzahl von Überwachungskameras verbunden
und/oder verbindbar ist und welches eine Steuerungsvorrichtung aufweist,
dadurch gekennzeichnet, dass die Steuerungsvorrichtung schaltungstechnisch
und/oder programmtechnisch zur Durchführung des soeben
beschriebenen Verfahrens und/oder wie es in den vorhergehenden Ansprüchen definiert
wurde, ausgebildet ist.
-
Besonders
bevorzugt ist das Videoüberwachungssystem so ausgebildet,
dass das geschilderte Verfahren in periodischen Abständen
vorzugsweise im Hintergrund abläuft und auf diese Weise
die Texturen auf einem aktuellen Stand hält. Ein besonderer Vorteil
ist bei dem Videoüberwachungssystem darin zu sehen, dass
zur Erstellung bzw. Aktualisierung der Texturen nur der statische
und/oder quasi-statische Szenenhintergrund berücksichtigt
wird. Dadurch tauchen dynamische Objekte aus den Videobildern nicht in
der Textur der statischen Geometrie des 3D-Modells auf, was andernfalls
zu einer Fehldarstellung der dynamischen Objekte als Textur auf
den Hintergrundobjektmodellen, z. B. flach auf der Straße
oder an Wänden führen könnte. Die dynamischen
Objekte können dagegen separat – entweder als
reale Abbildung oder als virtuelle Darstellung – in dem
Szenenmodell eingeblendet werden, was zu einer glaubhaften oder
realitätsnahen Visualisierung führt.
-
Ein
letzter Gegenstand der Erfindung betrifft ein Computerprogramm mit
Programmcodemitteln, um alle Schritte des beschriebenen Verfahrens durchzuführen,
wenn das Programm auf einem Computer und/oder einem Videoüberwachungssystem ausgeführt
wird.
-
Kurze Beschreibung der Zeichnungen
-
Weitere
Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus
der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels
der Erfindung und den beigefügten Figuren. Dabei zeigen:
-
1 ein
Flussdiagramm zur Illustration eines ersten Ausführungsbeispiels
des erfindungsgemäßen Verfahrens;
-
2 ein
Blockdiagramm eines Videoüberwachungssystems zur Durchführung
des Verfahrens gemäß der 1.
-
Ausführungsform(en) der Erfindung
-
Die 1 zeigt
in einem schematischen Flussdiagramm den Ablauf eines Verfahrens
zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen
in einem dreidimensionalen Szenenmodell als ein Ausführungsbeispiel
der Erfindung.
-
Als
aktuelle Eingangsinformationen werden eine oder mehrere Videobildern 1,
die von Überwachungskameras stammen 10 (2),
verwendet. Diese Videobilder 1 werden in einem ersten Verfahrensschritt 2 in
ein Hintergrundbild mit Hintergrundpixeln überführt.
Die Überführung erfolgt mit Verfahren, welche
aus der Bildverarbeitung bekannt sind, wie zum Beispiel einer Mittelwert-
oder Medianbildung von mehreren Videobilder 1, ein Ausschneiden
von bekannten Objekten, eine Langzeitbeobachtung oder ähnlichem.
Durch diesen Verfahrensschritt wird ein Hintergrundbild erzeugt,
welches als aktive Bildpunkte nur Hintergrundpixel aus dem oder
den Videobildern 1 aufweist und optional deaktivierte Bildpunkte, die
an die Positionen des Videobilds 1 gesetzt sind, an denen
ein Störerobjekt oder Vordergrundobjekt dargestellt ist.
-
In
einem zweiten Verfahrensschritt 3 wird das derart erzeugte
Hintergrundbild auf ein Szenenmodell projiziert. Das Szenenmodell
ist als dreidimensionales Szenenmodell ausgebildet und weist eine
Vielzahl von Hintergrundobjektmodellen, zum Beispiel repräsentativ
für Gebäude, Möbel, Straßen oder
andere feststehende Objekte auf. Im Rahmen des Verfahrensschritt 3 werden
mit Hilfe der Parameter des Kameramodells der Überwachungskameras, die
das dem Hintergrundbild zu Grunde liegende Videobild 1 geliefert
haben, die Bildpunkte des Hintergrundbilds im Bildkoordinatensystem
auf den jeweils korrespondierenden Punkt des dreidimensionalen Szenenmodells
projiziert. Optional ergänzend werden im Rahmen der Projektion
Verzerrungen, wie zum Beispiel Verzeichnungen oder dergleichen korrigiert.
-
In
einem dritten Verfahrensschritt 4 erfolgt eine bildpunktweise
Prüfung auf Verdeckung aus Kamerasicht mit Hilfe eines
Tiefenpuffers. Hierbei wird getestet, ob ein Bildpunkt des Hintergrundbilds,
welcher durch den Verfahrensschritt 3 auf ein Hintergrundobjektmodell
projiziert wurde, durch ein anderes Hintergrundobjektmodell und/oder
ein reales, z. B. dynamisches Objekt in der aktuellen Kamerasicht verdeckt
ist. Für den Fall, dass der Test den geprüften
Bildpunkt als verdeckt bewertet, wird dieser verworfen und nicht
weiter verwendet. Ansonsten wird der Bildpunkt, also der projizierte
Videobildpunkt bzw. Hintergrundbildpunkt für die Erstellung
und/oder Aktualisierung der Texturen verwendet.
-
In
einem vierten Verfahrensschritt 5 werden die Texturen 6 auf
Basis der übergebenen Hintergrundbildpunkte erstellt und
ausgegeben. Als ergänzende Maßnahmen kann vorgesehen
sein, dass mehrere Bildpunkte von verschiedenen Hintergrundbildern,
die nach der Projektion zumindest abschnittsweise überlappend
angeordnet sind und somit die gleichen Bereiche der gleichen Hintergrundobjektmodelle
betreffen, zu einem gemeinsamen Hintergrundbildpunkt verschmolzen
werden. Hierbei kann z. B. auch ein Farbabgleich erfolgen. Als weitere
ergänzende Maßnahme können insbesondere eventuell
verbleibende Lücken in dem Szenenmodell durch statische
Texturen gefüllt werden, die z. B. aus Luftaufnahmen stammen.
-
Die 2 zeigt
ein Videoüberwachungssystem 100, welches zur Ausführung
des in der 1 beschriebenen Verfahrens ausgebildet
ist. Das Videoüberwachungssystem ist mit einer Mehrzahl
von Überwachungskameras 10 kabellos oder kabelgebunden
signaltechnisch verbunden und ist beispielsweise als Computersystem
ausgebildet. Die Überwachungskameras 10 sind auf
relevante Bereiche gerichtet, welche Überwachungsszenen
in Form von Plätzen, Kreuzungen oder dergleichen zeigen.
-
Die
Bilddatenströme der Überwachungskameras 10 werden
an ein Hintergrundmodul 20 übergeben, welches
zur Durchführung des ersten Verfahrensschritts 2 in 1 ausgebildet
ist. Das oder die erzeugten Hintergrundbildern werden an ein Projektionsmodul 30 weitergeleitet,
welches zur Durchführung des zweiten Verfahrensschritts 3 ausgebildet
ist. Zur Kontrolle auf Verdeckung werden die projizierten Hintergrundbilder
an ein Verdeckungsmodul 40 geleitet, welches zur Durchführung
des dritten Verfahrensschritts 4 realisiert ist. In einem
Texturmodul 50 werden die Texturen 6 auf Basis
der geprüften Hintergrundbilder erstellt oder aktualisiert
und an einen Texturspeicher 60 weitergegeben.
-
Auf
Basis der gespeicherten Daten und des dreidimensionalen Szenenmodells
wird auf einer Anzeigeeinheit 70, wie z. B. einem Monitor
eine virtuelle Darstellung der Überwachungsszene mit Hintergrundobjektmodellen
mit reellen Texturen dargestellt. In diese virtuelle Darstellung
können reale Objekte, wie z. B. dynamische Objekte in der Überwachungsszene
lagerichtig und wirklichkeitsnah eingeblendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-