-
Die
Erfindung betrifft ein Verfahren für die Überwachung eines Überwachungsbereichs
nach dem Oberbegriff des Anspruchs 1.
-
Bekannte
Verfahren für
die Detektion und Analyse von Ereignissen (Events) in einem von
einem Überwachungssystem überwachten Überwachungsbereich
beruhen auf der Analyse (Content Analysis) von Bild- und ggf. Audio-Daten,
die von entsprechenden Sensoren erfasst und Analysemodulen des Überwachungssystems
zugeführt
werden. Als Sensoren werden beispielsweise Videokameras, Bewegungsmelder,
Schallsensoren und dergleichen eingesetzt. Ein Überwachungssystem der gattungsgemäßen Art
umfasst beispielsweise hunderte oder sogar tausende Sensoren, deren
Signale verarbeitet werden müssen.
Diese Verarbeitung umfasst auch den Vergleich der Signale mit in
einer Speichereinrichtung gespeicherten Werten. Um eine schnelle
Suche in der Speichereinrichtung und einen Vergleich mit den dort
gespeicherten Daten zu ermöglichen, hat
es sich als zweckmäßig erwiesen,
die Signale zu indizieren. In den Indizes (Metadaten) werden dabei üblicherweise
lediglich die Ergebnisse dieser Content Analysis, nicht jedoch Zwischenergebnisse,
wie beispielsweise Tetxur, Histogramm, usw. hinterlegt. Falls in
den bekannten Überwachungssystemen überhaupt
eine interne semantische Repräsentation erzeugt
wird, beschränkt
sich diese im Allgemeinen auf eine Repräsentation von Objekten einer
erfassten Überwachungsszene
(zum Beispiel „moving
object", „probably
car") oder auf eine Überwachungsszene
selbst (z.B. „outdoors", „beach"). Derartige Repräsentationen
sind jedoch nicht generisch. Daher kann in einer auf solchen Analysen
beruhenden Anfrage an eine Speichereinrichtung mit gespeicherten Überwachungsergebnissen
nur nach vorher bekannten Events gesucht werden. In herkömmlichen
multimodalen Retrievalsystemen ist zudem nur eine Suche mittels
eines Beispiels (query by example), nicht jedoch per textueller
Beschreibung möglich.
-
Vorteile der
Erfindung
-
Die
Erfindung bietet den Vorteil, dass für die Analyse von Ereignissen
in einer von einem Überwachungssystem
erfassten Szene eines Überwachungsbereichs
Metadaten verwendet werden können,
die nicht nur die Ergebnisse sondern auch Zwischenergebnisse einer
Content Analyse der Szene berücksichtigen.
Dadurch kann bei einer Erweiterung des „Vokabulars" für die Beschreibung
von Ereignissen vermieden werden, dass der gesamte Inhalt einer
Speichereinrichtung erneut einer Content Analyse unterzogen werden
muss. Weiterhin werden vorteilhaft abstrakte Elemente definiert,
die nicht an sehr spezifische Ereignisabläufe angepasst, sondern eher generisch
gehalten sind. Daraus resultiert insbesondere der Vorteil, dass
Variationen in den Ereignisabläufen
nicht die Bildung neuer Elemente erfordert. Vielmehr ist es in den
meisten Fällen
ausreichend, lediglich Attribute schon bekannter Elemente zu verändern bzw.
anzupassen. Weiterhin können
die durch Analyse der Szenen gebildeten Elemente bzw. Ketten von
Elementen einem bestimmten Objekt einer Szene zugeordnet werden.
Dies ermöglicht
die Betrachtung des Schicksals eines spezifischen Objekts aus einem Überwachungsbereich
ohne Änderung bzw.
Beeinflussung anderer, gegenwärtig
nicht interessierender Objekte. Durch zusätzlich zugeordnete Textattribute
wird zudem eine Recherche von gespeicherten Elementen und Attributen
mit Hilfe von Schlagworten ermöglicht.
-
Zeichnung
-
Ausführungsbeispiele
der Erfindung werden nachfolgend unter Bezug auf die Zeichnung näher erläutert. Dabei
zeigt
-
1 eine
erste Szene aus einem Überwachungsbereich;
-
2 eine
zweite Szene aus einem Überwachungsbereich;
-
3 eine
dritte Szene aus einem Überwachungsbereich;
-
4 eine
vierte Szene aus einem Überwachungsbereich;
-
5 eine
fünfte
Szene aus einem Überwachungsbereich;
-
6 eine
sechste Szene aus einem Überwachungsbereich;
-
7 eine
siebte Szene aus einem Überwachungsbereich;
-
8 eine
Zuordnungstabelle;
-
9 ein
Diagramm mit Darstellung der Elemente und ihrer Attribute;
-
10 ein
Blockdiagramm eines Überwachungssystems.
-
Beschreibung
der Ausführungsbeispiele
-
Bei
dem erfindungsgemäßen Verfahren
wird ein Überwachungsbereich
mit Sensoren überwacht. Bei
dem Überwachungsbereich
im Sinne der Erfindung kann es sich um ein einzelnes Gebäude, einen öffentlichen
Platz oder eine Straße,
ein Stadtviertel oder dergleichen handeln. Für die Überwachung des Überwachungsbereichs
können
einige wenige Sensoren oder eine große Anzahl von Sensoren, beispielsweise
hunderte oder sogar tausende von Sensoren vorgesehen sein. Diese
Sensoren ermöglichen beispielsweise
eine lückenlose Überwachung
aller Zugänge
und Räume
eines Gebäudes,
ganzer Straßenzüge oder
anderer Verkehrswege, wie beispielsweise Gleisanlagen, Schifffahrtstraßen und
dergleichen. Als Sensoren werden vorzugsweise optische Sensoren,
wie insbesondere CCD-Kameras, akustische Sensoren, wie insbesondere
Mikrofone, sowie Radar- und Lidarsensoren eingesetzt. Aus den Sensorausgangssignalen
werden Elemente des Überwachungsbereichs
und Attribute der Elemente extrahiert. Unter Elementen des Überwachungsbereichs im
Sinne der Erfindung sind ortsfest angeordnete oder bewegliche Objekte
oder Gruppen derartiger Objekte zu verstehen. Beispielsweise ist
der Eingang eines Gebäudes
ein solches ortsfest in einem Überwachungsbereich
angeordnetes Objekt. Eine sich in dem Überwachungsbereich bewegende
Person ist ein Beispiel für
ein bewegliches Element. Ein Beispiel für eine Gruppe von Elementen,
in diesem Fall einer Gruppe von beweglichen Elementen ist eine einen Koffer
tragende Person. Beispiele für
Attribute dieser Elemente sind ihre geometrische Gestalt, insbesondere
ihre Größe, ihre
Lage bzw. ihre Bewegungsform, ihre Farbe, ihre Entfernung oder andere
von den Sensoren erfassbaren Eigenschaften dieser Elemente. Auch
der Überwachungsraum
selbst kann als ein derartiges Element betrachtet werden. Zu den ihm
zuzordnenden Attributen können
dann beispielsweise auch Lichtverhältnisse, wie Tages- und Nachtzeiten
und von den Sensoren aufgenommene Schallereignisse gehören. Weitere
Attribute beziehen sich auf die Relation von Elementen zueinander
oder beschreiben Abläufe,
denen auch noch eine Zeitskala zugrunde liegt. In dem oben schon
kurz erwähnten Beispiel
einer einen Koffer tragenden Person können jeweils die Person bzw.
der Koffer als Elemente innerhalb des Überwachungsraums angesehen
werden. Eine von den Sensoren erfasste Szene aus dem Überwachungsraum
könnte
textlich wie folgt umschrieben werden: Ein Koffer wird (von einer
Person) aus einem Raum entfernt. Den einzelnen Elementen sind folgende
Ketten von Handlungsabläufen
repräsentierende
Attribute zuzuordnen. Der Person können die Attribute gehen, aufnehmen,
tragen zugeordnet werden. Dem Koffer dagegen die Attribute stehen,
aufgenommen werden, getragen werden zugeordnet. Die Elemente und
ein wesentlicher Teil ihrer Attribute können dabei zweckmäßig vollautomatisch durch
Auswertung von Sensorsignalen erfasst werden. Beispielsweise können so
aus zeitlich aufeinander folgenden Videoaufnahmen sich bewegende
Elemente extrahiert werden. Zusätzlich
können
ihre geometrischen Abmessungen, ihre Oberflächenstruktur, insbesondere
ihre Farbe und ihre relative Lage in Bezug auf einen Bezugspunkt
oder in Bezug auf andere Elemente erfasst werden. Diese Automatisierung
erweist sich als besonders zweckmäßig, wenn die Signale einer
großen
Vielzahl von Sensoren auszuwerten sind. Wenn den Elementen zusätzlich Textbeschreibungen
als Attribute zugeordnet und diese zusammen mit den Elementen in
der Speichereinrichtung gespeichert werden, kann durch die Abfrage mit
Schlagwörtern
eine Recherche in der Speichereinrichtung vereinfacht werden. Wie
an einem unten noch ausführlich
dargestellten Beispiel erläutert
wird, kann auch die Zuordnung der Textattribute in einigen Fällen im
wesentlichen automatisch dadurch ermöglicht werden, dass die aus
den Sensorsignalen extrahierten Attribute von Elementen durch Eingabe
in eine Matrix Textattributen zugeordnet werden.
-
Die
in einem Überwachungsbereich
von Sensoren erfasste Übergabe
eines Gegenstands, hier eines Koffers 2, von einer ersten
Person 1 zu einer zweiten Person 5 wird im Folgenden
anhand der schematischen Darstellungen in den 1 bis 7 erläutert. Diese
Figuren zeigen jeweils zu einem bestimmten Zeitpunkt erfasste Szenen
aus einem von dem Überwachungssystem überwachten Überwachungsbereich.
Bei dem Überwachungsbereich
kann es sich beispielsweise um die Wartehalle eines Bahnhofs oder
eines Flughafens handeln. In 1 nähert sich
ein Person 1, die einen Koffer 2 trägt. In 2 beugt
sich die Person 1 hinab und setzt den Koffer 2 auf
dem Boden der Wartehalle ab. Anschließend entfernt sich die Person 1 in
Richtung des Pfeils 3 und lässt dabei den Koffer 2 zurück (3). 4 zeigt,
dass die Person 1 auf einer Bank 4 Platz genommen
hat. In 5 nähert sich eine zweite Person 5
dem abgestellten Koffer 2. 6 zeigt,
dass die Person 5 sich hinabbeugt und den abgestellten
Koffer 2 ergreift. In 7 entfernt
sich die Person 5 mit dem aufgenommenen Koffer in Richtung
des Pfeils 6. Das erfindungsgemäße Überwachungssystem erfasst mittels
seiner Sensoren die Personen 1 und 5, sowie den
Koffer 2 als Elemente aus dem Überwachungsbereich. Zugleich
erfassen die Sensoren Attribute der Elemente 1, 2, 5,
wie insbesondere die Gestalt und Größe der Personen 1, 5,
die Haltung der Personen 1, 5, die Bewegung bzw.
Bewegungsrichtung der Personen, die Farbe ihrer Kleidung, den jeweiligen
Aufenthaltsort des Koffers 2, seine Größe, Gestalt und Farbe. Diese
Attribute werden den jeweiligen Elementen zugeordnet und zusammen
mit diesen in einer Speichereinrichtung gespeichert, wobei diese
Daten vorzugsweise indiziert werden, um eine schnelle Recherche
zu ermöglichen.
Die Erfassung der Elemente und der vorgenannten Attribute, sowie die
Zuordnung der Attribute zu den jeweiligen Elementen erfolgt vorzugsweise
vollautomatisch, was die Verarbeitung großer Datenmengen in kurzer Zeit ermöglicht.
Besonders vorteilhaft werden den Elementen zusätzlich Textattribute zugeordnet,
die eine effektive Schlagwortsuche in den in der Speichereinrichtung
gespeicherten Datensätzen
ermöglichen. Dies
wird im Folgenden unter Bezug auf 8 erläutert. 8 zeigt
eine matrixartige Zuordnungstabelle, mittels der von Sensoren des Überwachungssystems erfasste
Attribute Textattributen zugeordnet werden können. Auch diese Textattribute
werden dann den jeweiligen Elementen zugeordnet und zusammen mit den
Elementdaten in der Speichereinrichtung gespeichert. Die Textattribute
erleichtern das schnelle Auffinden der Elemente bei einer Recherche.
Die Zuordnungstabelle zeigt in Spalten Attribute wie „Elemente trennen", „Elemente
verbinden", „Entfernung", Richtungsänderung", „Gestaltänderung", „Zeitfenster", „Kritischer
Bereich", die von
den Sensoren des Überwachungssystems
erfasst und den jeweils erfassten Elementen zugeordnet werden. Den
Spalten der Zuordnungstabelle sind Textattribute wie „bleiben", „verharren", „bewegen", „hinübergehen", „aufnehmen", „absetzen". Über die
matrixartige Struktur der Zuordnungstabelle werden nun den von den
Sensoren des Überwachungssystems
erfassten Attributen der Elemente entsprechende Textattribute zugeordnet.
Diese Textattribute wiederum werden ebenfalls den Elementen zugeordnet
und dann zusammen mit diesen Elementen als Metadaten in einer Speichereinrichtung
des Überwachungssystems
gespeichert. Beispielsweise ergeben sich aus der Zuordnungstabelle der 8 folgende
Zuordnungen. Aus den in 2 und 3 erfassten
Szenen des Überwachungsbereichs
erkennen die Sensoren des Überwachungssystems,
dass sich von ihnen erfasste Elemente, nämlich die Person 1 und
der Koffer 2 voneinander trennen. Zusätzlich wird eine Gestaltänderung
eines Elements, nämlich
der Person 1 erkannt. Beiden Attributen wird das Textattribut „absetzen" zugeordnet. In der
in 6 dargestellten Szene wird eine Gestaltänderung
eines Elements, nämlich
der Person 5 erkannt, die sich in der in 5 dargestellten
Szene in aufrechtem Gang dem Koffer 2 genähert hatte.
Die Gestaltänderung
der Person 5 in unmittelbarer Nähe des Koffers 2 führt zu einer
Zuordnung des Textattributs „aufnehmen". Eine Inhaltsanalyse
des in den 1 bis 7 dargestellten
Vorgangs könnte
somit zu einer verbalen Beschreibung des Vorgangs führen, dass
ein Koffer von einer ersten Person abgestellt und von einer zweiten
Person aufgenommen wird. Der Ablauf könnte aber auch bedeuten, dass ein
von einer ersten Person abgestellter Koffer von einer zweiten Person
entwendet wird. Eine große Wahrscheinlichkeit
besteht für
diese Variante, wenn in zeitlicher Nachbarschaft zu diesem Vorgang
das Abhandenkommen bzw. der Diebstahl eines Koffers gemeldet wird.
-
Die
Zerlegung komplexer Szenen aus einem Überwachungsbereich in mit Attributen
versehene Elemente und die Speicherung der Elemente in einer Speichereinrichtung
führt,
zusammen mit einer effektiven Recherchemöglichkeit nach Schlagwörtern bzw.
Textattributen, zu einer schnellen Analyse der in einem Überwachungsbereich
ablaufenden Vorgänge.
Dies ermöglicht
eine schnelle Erkennung und Abwehr von Gefahrensituationen. In der
Praxis kann beispielsweise die Zerlegung einer Szene in Elemente
und zugeordnete Attribute zweckmäßig dann
erfolgen, wenn das Überwachungssystem
bei der Analyse einer von seinen Sensoren beobachteten Szene eine Änderung
erfasst. Hierbei kann es sich um ein bewegliches Objekt, beispielsweise
eine sich in dem Überwachungsbereich
bewegende Person oder ein auffälliges
Schallereignis, beispielsweise einen Knall, handeln. Für die Analyse,
um welche Elemente es sich dann handelt, führt das Überwachungssystem dann im Wesentlichen
zwei Schritte durch. Zunächst wird
in einem vorgebbaren Zeitfenster mittels der Sensoren des Überwachungssystems
ermittelt, wie viel Elemente in der beobachteten Szene vorhanden sind
und welche Attribute diesen Elementen zugeordnet werden können. Zugleich
können
auch globale Parameter der Szene, wie zum Beispiel die gerade herrschenden
Lichtverhältnisse
und/oder Klangereignisse erfasst und den Elementen zugeordnet werden.
In einem anschließenden
Schritt wird dann versucht, die jeweiligen Vorgänger der Elemente festzustellen,
also eine Kette der Elemente in die Vergangenheit zurück zu verfolgen.
Für den
Fall, dass eine Auswertung post-hoc, also erst nachträglich und nicht
zur Aufnahmezeit erfolgt, kann die Elementenkette auch in die Zukunft
verfolgt werden, indem Nachfolger der jeweiligen Elemente identifiziert
werden. Auf Basis der hierdurch zusätzlich gewonnenen Informationen
erfolgt eine verfeinerte Beschreibung der in dem betrachteten Zeitfenster
vorliegenden Szenarien. Die leichte Recherche der in der Speichereinrichtung
gespeicherten Elemente beschleunigt diese Analyse. Das in 9 dargestellte
Diagramm verdeutlicht nochmals diese Zusammenhänge. Im Zentrum des Diagramms
ist ein Element 90 mit seinen Attributen dargestellt. Aus
dem Ergebnis einer Content Analyse einer von dem Überwachungssystem
erfassten Szene werden einzelne Objekte bzw. Elemente identifizier.
Elemente bzw. Ketten von Elementen werden dabei einem bestimmten
Objekt einer Szene zugeordnet, da für jedes dieser Objekte vorteilhaft
ein eigenes Element mit dem betreffenden Objekt als Hauptdarsteller
erzeugt wurde. Attribute, die den Elementen zuzuordnen sind, können aus
den Eigenschaften der Objekte selbst oder aus Beziehungen der Objekte
untereinander abgeleitet werden. Weitere Attribute liefern globale
Aspekte, die die gesamte Szene charakterisieren, sowie Textattribute oder
semantische Beschreibungen, die, wie oben dargestellt, vorteilhaft
mittels einer Zuordnungstabelle, aus anderen Attributen abgeleitet
werden können. Weiterhin
liefert die Betrachtung von Vorgängern, also
ein Blick in die Vergangenheit, oder die Betrachtung von Nachfolgern,
also ein Blick in die Zukunft, weitere Erkenntnisse, die eine noch
präzisere
Klassifizierung der Elemente ermöglichen.
-
In 10 ist
ein Blockdiagramm eines Überwachungssystems 10 dargestellt.
Das Überwachungssystem 10 überwacht
mit Sensoren 10.1, 10.2 einen Überwachungsbereich 11.
Die Signale der Sensoren werden von einer Auswerteeinrichtung 103 ausgewertet.
Diese Auswerteeinrichtung ermittelt beispielsweise, wie oben schon
beschrieben, Elemente, beispielsweise die Personen 1, 5,
sowie den Koffer 2 in einer Szene des Überwachungsbereichs 11.
Das Überwachungssystem 10 umfasst
weiterhin eine Speichereinrichtung 10.4, in der die von
dem Überwachungssystem
erkannten Elemente mit ihren Attributen gespeichert werden.