-
Stand der Technik
-
Die
Erfindung betrifft ein Sicherheitssystem nach dem Oberbegriff des
Anspruchs 1 und ein Verfahren für
den Betrieb des Sicherheitssystems nach dem Oberbegriff des Anspruchs
4. Derartige Sicherheitssysteme sind häufig mit stationär angeordneten Kameras
ausgerüstet.
Die Bewegungs- oder Änderungsdetektion
mit stationären
Kameras ist eine Grundfunktion der Systeme für die videobasierte Sicherheitstechnik.
Die Produkte reichen hierbei von den Überwachungskameras mit Alarmausgabe
bis hin zu digitalen Videorecordern, die eine inhaltsbezogene Suche
nach bewegten Objekten erlauben. Darüber hinaus ist die Detektion
bewegter Objekte eine Grundfunktion in der Analyse von Bildsequenzen
und somit ein wichtiger Bestandteil z.B. von Systemen für die Mensch-Maschine
Interaktion (zum Beispiel Gestensteuerung) oder von biometrischen
Systemen (zum Beispiel Gesichtsdetektion mit anschließender Gesichtserkennung).
-
Sowohl
die in der wissenschaftlichen Literatur beschriebenen, als auch
die auf dem Markt befindlichen Systeme zur Detektion bewegter Objekte verwenden
implizit oder explizit ein Kamerasensormodell, welches das zeitliche
Rauschen in einem Bildpunkt ("Pixelrauschen") als grauwertunabhängig annimmt.
Derartige Systeme sind beispielsweise in den folgenden Literaturstellen
beschrieben:
- A. Elgammal, D. Harwood, L. Davis, „Non-Parametric Model
for Background Subtraction",
FRAME-RATE workshop, 1999.
- K. Toyama, J. Krumm, B. Brumitt and B. Meyers, "Wallflower: Principles
and Practice of Background Maintenance", ICCV 1999.
- A. Elgammal, R. Duraiswami, D. Harwood, L. Davis, "Background and Foreground
Modeling Using Nonparametric Kernel Density Estimation for Video
Surveillance", Proc.
of the IEEE, Vol. 90, No. 7, July 2002, pp. 1151–1163.
- M. Meyer, M. Hötter,
T. Ohmacht, "A New
System for Video-Based Detection of Moving Objects and its Integration
into Digital Networks",
In Proceedings of IEEE Intern. Conference on Security Technology,
Lexington, USA, 1996, pp. 105–110.
- T. Aach, A. Kaup, R. Mester. "Change Detection in Image Sequences
using Gibbs Random Fields: A Bayesian Approach", Proceedings Intern. Workshop on Intelligent
Signal Processing and Communication Systems", Sendai, Japan, Oct. 1993, pp. 56–61.
-
Die
dem Stand der Technik entsprechende Annahme der Grauwertunabhängigkeit
des Pixelrauschens ist insbesondere bei den vielfach eingesetzten
Sensoren mit CCD-Technik eindeutig nicht erfüllt. Vielmehr ist in der Realität mit einem
Anstieg der Rauschvarianz eines Pixels mit dem entsprechenden Grauwert
zu rechnen. Die in der Praxis übliche
vereinfachende Annahme eines grauwertunabhängigen Pixelrauschens wirkt
sich negativ auf die Leistungsfähigkeit
des ganzen Sicherheitssystems aus. Beispielsweise führt diese
Annahme dazu, dass bei herkömmlichen
Sicherheitssystemen eine in Bezug auf den Grauwert feste Entscheidungsschwelle
unterstellt wird, wenn zwischen einer Grauwertänderung aufgrund von Sensorrauschen
und einer Grauwertänderung
aufgrund der Erfassung eines bewegten Objekts unterschieden werden
soll. Da das Rauschverhalten jedoch bei den meisten Bildsensoren
grauwertabhängig
ist, führt
dies dazu, dass die erwähnte Entscheidungsschwelle
für helle
Bildbereiche zu empfindlich und für dunkle Bildbereiche zu unempfindlich
eingestellt ist.
-
Vorteile der
Erfindung
-
Das
erfindungsgemäße Sicherheitssystem mit
den Merkmalen des Anspruchs 1 führt
dagegen zu einer wesentlichen Verbesserung der herkömmlichen
Sicherheitssysteme. Dadurch dass die Entscheidungsschwelle grauwertabhängig ausgestaltet ist,
kann das Sicherheitssystem sowohl an helle als auch an dunkle Bildbereiche
besser angepasst werden. Dies führt
zu einer wesentlich gesteigerten Empfindlichkeit des Sicherheitssystems.
Durch die Berücksichtigung
eines grauwertabhängigen
Rauschverhaltens bei der Festlegung der Entscheidungsschwelle ist
es nunmehr möglich,
auch dunkle Objekte noch in dunklen Bildbereichen zu detektieren, ohne
dabei Fehldetektionen aufgrund von Pixelrauschen in hellen Bildregionen
zu generieren. Dadurch wird auf vorteilhafte Weise die Detektionsgenauigkeit erhöht, ohne
eine Erhöhung
der Fehldetektionsrate hervorzurufen. Eine möglichst niedrige Fehldetektionsrate
ist aber in der Sicherheitstechnik von besonders großer Bedeutung.
-
Zeichnung
-
Die
Erfindung wird nachfolgend unter Bezug auf die Zeichnung näher erläutert. Dabei
zeigt
-
1 in
einem Diagramm die Varianz des Rauschwerts in Abhängigkeit
von dem Grauwert g;
-
2 die
Visualisierung des grauwertabhängigen
Rauschens einer CCD-Kamera;
-
3 ein
Bild einer mehrere Bilder umfassenden Bildersequenz;
-
4 ein
Ausführungsbeispiel
des erfindungsgemäßen Sicherheitssystems;
-
5 ein
Ablaufdiagramm;
-
6 ein
weiteres Ablaufdiagramm.
-
Beschreibung
der Ausführungsbeispiele
-
Die
dem Stand der Technik entsprechende Annahme der Grauwertunabhängigkeit
des Pixelrauschens ist insbesondere bei den vielfach eingesetzten
Sensoren mit CCD-Technik eindeutig nicht erfüllt. Vielmehr ist in der Realität mit einem
Anstieg der Rauschvarianz eines Pixels mit dem entsprechenden Grauwert
zu rechnen. Die in der Praxis übliche
vereinfachende Annahme eines grauwertunabhängigen Pixelrauschens wirkt
sich negativ auf die Leistungsfähigkeit
des ganzen Sicherheitssystems aus. Beispielsweise führt diese
Annahme dazu, dass bei herkömmlichen
Sicherheitssystemen eine in Bezug auf den Grauwert feste Entscheidungsschwelle
unterstellt wird, wenn zwischen einer Grauwertänderung aufgrund von Sensorrauschen
und einer Grauwertänderung
aufgrund der Erfassung eines bewegten Objekts unterschieden werden
soll. Da das Rauschverhalten jedoch bei den meisten Bildsensoren
grauwertabhängig
ist, führt
dies dazu, dass die erwähnte Entscheidungsschwelle
für helle
Bildbereiche zu empfindlich und für dunkle Bildbereiche zu unempfindlich
eingestellt ist. Dieser Sachverhalt wird anhand von 1 verdeutlicht.
In dem in 1 dargestellten Diagramm ist
die Varianz des Rauschwerts in Abhängigkeit von dem Grauwert g
aufgetragen, wie er für
eine typische CCD-Kamera gemessen wurde. Den Messwerten ist zu entnehmen,
dass die Rauschvarianz im Wesentlichen linear mit dem Grauwert g ansteigt.
Dieser Effekt wird in 2 visualisiert. 2 zeigt,
grauwertkodiert, die Varianz des Pixelrauschens, das durch Auswertung
einer Sequenz (etwa 30 Bilder) von einer statischen Szene bestimmt wurde.
Helle Bildpunkte repräsentieren
dabei eine große
Rauschvarianz, dunkle Bildpunkte repräsentieren eine geringe Rauschvarianz.
Die Bildsequenz selbst zeigt in allen Bildern den gleichen Bildinhalt. Ein
einziges Bild dieser Sequenz ist in 3 dargestellt.
-
Wäre die Rauschvarianz
grauwertunabhängig,
so müsste 2 eine
unstrukturierte graue Fläche
darstellen. Wie der Abbildung zu entnehmen ist, hängt jedoch
die Rauschvarianz von dem Grauwert der Bildpunkte in der Bildsequenz
ab. In Folge dieser Abhängigkeit
erscheinen helle Objekte der Bildsequenz (siehe 3)
ebenfalls hell in 2 (große Rauschvarianz). Die schwarzen
Flächen
in 2 ergeben sich aus Übersteuerungseffekten in der
Originalsequenz, d.h. einem Festklemmen von Bildpunkten auf einem
festen Grauwert.
-
Eine
optimale Entscheidungsschwelle wäre grauwertabhängig und
entspräche
in ihrem qualitativen Verlauf dem Verlauf der Kurve "Rauschvarianz über dem
Grauwert", d.h.
für dunkle
Bildbereiche wäre
die Schwelle geringer als für
helle Bildpunkte. Im Falle eines Sensors mit einem linearen Verlauf dieser
Kurve (siehe auch 1) müsste die Entscheidungsschwelle
ebenfalls ein lineares Verhalten über dem Grauwert aufweisen.
-
Das
erfindungsgemäße Sicherheitssystem mit
den Merkmalen des Anspruchs 1 führt
dagegen zu einer wesentlichen Verbesserung der herkömmlichen
Sicherheitssysteme. Die Erfindung geht dabei von der Erkenntnis
aus, dass wesentlich bessere Ergebnisse zu erzielen sind, wenn die
Entscheidungsschwelle adaptiv an den Grauwert des gerade betrachteten
Bildpunkts angepasst wird. Dadurch, dass die Entscheidungsschwelle
nunmehr grauwertabhängig
ausgestaltet ist, kann das Sicherheitssystem sowohl an helle als
auch an dunkle Bildbereiche besser angepasst werden. Dies führt zu einer
wesentlich gesteigerten Empfindlichkeit des Sicherheitssystems.
Durch die Berücksichtigung
eines grauwertabhängigen
Rauschverhaltens bei der Festlegung der Entscheidungsschwelle ist
es nunmehr möglich, auch
dunkle Objekte noch in dunklen Bildbereichen zu detektieren, ohne
dabei Fehldetektionen aufgrund von Pixelrauschen in hellen Bildregionen
zu generieren. Dadurch wird auf vorteilhafte Weise die Detektionsgenauigkeit
erhöht,
ohne eine Erhöhung
der Fehldetektionsrate hervorzurufen. Eine möglichst niedrige Fehldetektionsrate
ist aber in der Sicherheitstechnik von besonders großer Bedeutung.
-
Ein
Ausführungsbeispiel
des erfindungsgemäßen Sicherheitssystems 100 und
dessen Betriebszustände
werden im Folgenden unter Bezug auf 4 und die
in 5 und 6 dargestellten Ablaufdiagramme
beschrieben. Das Sicherheitssystem umfasst zwei Teilsysteme 101 und 102.
Das erste Teilsystem ist im Wesentlichen während eines ersten Betriebszustands
in Funktion während
das zweite Teilsystem während
eines zweiten Betriebszustands aktiv ist.
-
Das
Sicherheitssystem 100 umfasst wenigstens eine Kamera 3 mit
einem Bildsensor 4, die beiden Teilsystemen 101, 102 zugeordnet
und in beiden Betriebszuständen
des Sicherheitssystems 100 aktiv ist. Weiterhin umfasst
das Sicherheitssystem 100 eine Mehrzahl von Funktionsmodulen 1, 6, 8, 9, 15, die
schaltungsmäßig oder
wenigstens funktionsmäßig mit
der Kamera 3 verknüpft
sind. Das Teilsystem 101 umfasst neben der Kamera 3 ein
Funktionsmodul 1 mit einer Lichtquelle. Die Helligkeit
dieser Lichtquelle ist zeitabhängig
steuerbar. Weiterhin umfasst das Teilsystem 101 ein Funktionsmodul 6 für die Darstellung
einer digitalen Bildsequenz aus den Ausgangssignalen des Bildsensors 4 der
Kamera 3.
-
Schließlich umfasst
das Teilsystem 101 ein Funktionsmodul 8 für die Darstellung
der Rauschvarianz als Funktion des Grauwerts aus der digitalen Bildsequenz.
Das Teilsystem 102 umfasst neben der Kamera 3 mit
dem Bildsensor 4 ein Funktionsmodul 13, das seinerseits
aus zwei Funktionsmodulen 13a, 13b besteht. Das
Funktionsmodul 13a dient der Berechnung oder Schätzung der
Grauwertvarianz aus den Ausgangssignalen des Bildsensors 4 der
Kamera 3. Das Funktionsmodul 13b ermöglicht einen
Vergleich mit einem Schwellwert. Das Sicherheitssystem 100 umfasst
weiterhin eine Speichereinrichtung 9, auf die beide Teilsysteme
zugreifen.
-
Bei
diesem Sicherheitssystem 100 können zwei Betriebszustände unterschieden
werden, auf die im Folgenden nacheinander eingegangen wird. In dem
ersten Betriebszustand wird eine Initialisierung des Sicherheitssystems 100 im
Offline-Betrieb durchgeführt
(Ablaufdiagramm 5). In einem zweiten Betriebszustand übernimmt
das Sicherheitssystem 100 seine Sicherungsaufgabe im Online-Betrieb
(Ablaufdiagramm 6). In dem ersten Betriebszustand des
Sicherheitssystems 100 ist im Wesentlichen der Teilbereich 101,
in dem zweiten Betriebszustand der Teilbereich 102 aktiv.
Im Folgenden wird zunächst der
erste Betriebszustand des Sicherheitssystems 100 erläutert, der
in dem Teilbereich 101 dargestellt ist. Während der
Initialisierungsphase wird mit einem Messsystem die Rauschvarianz
in Abhängigkeit
von dem Grauwert des in der Kamera 3 angeordneten Bildsensors 4 bestimmt.
Zu diesem Zweck wird mit dem Funktionsmodul 1 eine Lichtquelle
bereitgestellt, die eine Stimulation der Kamera 3 mit dem
Bildsensor 4 ermöglicht.
Die Helligkeit der Lichtquelle in dem Funktionsmodul 1 wird,
in Abhängigkeit
von der Zeit, in kleinen Schritten erhöht und nach jeder Erhöhung jeweils
für eine
vorgebbare Zeitdauer konstant gehalten. Es ergibt sich somit die
in dem Funktionsmodul angedeutete Treppenkurve für den Verlauf der Helligkeit.
Nach der Aufnahme (Schritt 50 in 5) der von dem
Funktionsmodul 1 erzeugten Lichtsignale mittels der Kamera 3 und
der Digitalisierung (Schritt 51 in 5) der Ausgangssignale
des Bildsensors 4 der Kamera 3 liegt nach dem
vollständigen
Durchlauf der Stimulation der Kamera 3 in dem Funktionsmodul 6 eine
digitale Bildsequenz vor. Die Auswertung dieser Bildsequenz (Schritt 52 in 5)
in dem Funktionsmodul 8 führt zu einer charakteristischen
Kennlinie, die die Rauschvarianz des Bildsensors 4 als
Funktion des Grauwerts g wiedergibt. Diese charakteristische Kennlinie
wird unter Angabe des verwendeten Bildsensors 4 in einer
Speichereinrichtung 9 gespeichert (Schritt 53 in 5)
und steht nun dem Sicherheitssystem 100 für den laufenden
Betrieb zur Verfügung.
Insbesondere die qualitative Form dieser Kennlinie bildet eine wichtige
Grundlage für
die zuverlässige
Detektion eines Objekts in dem zu überwachenden Bereich. Die Form
der Kennlinie wird verwendet, um die Charakteristik der grauwertabhängigen Entscheidungsschwelle
entsprechend adaptiv anzupassen. Für Kameras mit automatischer
Kameraregelung wird in einer vorteilhaften weiteren Ausgestaltung
der Erfindung die Speichereinrichtung 9 zusätzlich mit
Daten versorgt, die die Abhängigkeit der
Rauschvarianz von dem Grauwert für
die unterschiedlichen Kameraparameter repräsentieren.
-
Der
zweite Betriebszustand des Sicherheitssystems 100 ist schematisch
in dem Teilbereich 102 von Figur dargestellt. Das System
arbeitet im laufenden Betrieb wie folgt. Eine natürliche Szene
(Aufnahmefeld 10), die dem Überwachungsbereich entspricht,
wird hinsichtlich des Szeneninhalts dahingehend untersucht, ob eine Änderung
von Pixels der von der Kamera 3 aufgenommenen Bilder aufgrund des
Sensorrauschens oder aufgrund eines bewegten Objektes erfolgt. Nach
Aufnahme der natürlichen Szene 10 (Schritt 60 in 6)
und anschließender Digitalisierung
(Schritt 61 in 6) liegt eine digitale Bildsequenz
vor, die nun von einem Funktionsmodul 13 auf das Vorliegen
bewegter Objekte wie beispielsweise Personen, Fahrzeuge oder andere
Gegenstände,
analysiert wird. Dazu wird in einem Funktionsmodul 13a zunächst die
Grauwertvarianz berechnet bzw. geschätzt (Schritt 62 in 6).
Die in der Literatur beschriebenen Verfahren berechnen, bzw. schätzen aus
zeitlich aufeinanderfolgenden Bildern zunächst die Grauwertvarianz für jeden
Bildpunkt, die sich additiv aus einem Anteil zusammensetzt, der auf
das Pixelrauschen zurückzuführen ist,
und einem Anteil, der auf eine Bewegung in der Szene zurückzuführen ist.
Liegt eine signifikante Änderung
eines Pixels vor, die nicht zu dem Rauschmodell des Pixels passt,
so wird anhand einer Schwellwertentscheidung in dem Funktionsmodul 13b entschieden (Schritt 63 in 6),
dass ein bewegtes Objekt vorliegt. Der Schwellwert wird in dem erfindungsgemäßen Verfahren
nicht, wie bisher üblich,
für alle
Grauwerte gleich vorgegeben, sondern adaptiv anhand der in dem Funktionsmodul 8 ermittelten
und in der Speichereinrichtung 9 abgelegten Sensorkennlinie angepaßt.
-
In
einem weiteren Schritt (Schritt 64 in 6) wird
eine Maske erzeugt, um als Segmentierungsergebnis 15 eine
Bewegung in dem Überwachungsbereich
zu markieren. Deutlich erkennbar ist dabei die Person im Vordergrund
rechts.
-
Wie
oben beschrieben, ist es sinnvoll, während der Initialisierungsphase
Daten über
den Betriebszustand des Sensors 4, sowie Kameraparameter,
wie z.B. die Verstärkung,
an das Funktionsmodul 8, das die Rauschkennlinie bestimmt,
zu übermitteln, um
mögliche Änderungen
der grauwertabhängigen Rauschcharakteristik
zu berücksichtigen.
So ist es beispielsweise möglich,
dass das Verstärkerrauschen
des Bildsensors 4 bei geringer Beleuchtung das Rauschen
in einem Bildelement überdeckt
und sich somit die Grauwertabhängigkeit
des Rauschens ändert.
Um diese Option auch während
des laufenden Betriebs nutzen zu können, muss der Betriebszustand
des Bildsensors 4 dem Funktionsmodul 13b für die Schwellwertentscheidung übermittelt
werden.
-
Der
wesentliche Kern der Erfindung ist somit die Verwendung einer adaptiven,
grauwertabhängigen
Schwellwertenscheidung für
die Objektdetektion. Durch diese Maßnahme wird die Leistungsfähigkeit und
Erkennungsgenauigkeit eines derartigen Sicherheitssystems wesentlich
gesteigert. Die Schwellwerte werden dabei zweckmäßig als Funktion des Grauwerts
und der Kameraparameter in Form von Kennlinien vorab gemessen und
in einer Speichereinrichtung 9 gespeichert.
-
- 1
- Funktionsmodul
- 3
- Kamera
- 4
- Bildsensor
- 6
- Funktionsmodul
- 8
- Funktionsmodul
- 9
- Speichereinrichtung
- 10
- Aufnahmefeld
- 13
- Funktionsmodul
- 13a
- Funktionsmodul
- 13b
- Funktionsmodul
- 15
- Segmentierungsergebnis
- 50
- Schritt
- 51
- Schritt
- 52
- Schritt
- 53
- Schritt
- 60
- Schritt
- 61
- Schritt
- 62
- Schritt
- 63
- Schritt
- 64
- Schritt
- 100
- Sicherheitssystem
- 101
- Teilbereich
- 102
- Teilbereich