DE69233637T2

DE69233637T2 - Bildanalysator

Info

Publication number: DE69233637T2
Application number: DE69233637T
Authority: DE
Inventors: James P. Yateley Camberly Abbott; Christopher Robert Crowthorn Gent; William G. Owismoor Camberley Thomas; Gerald Hook Sermon; Brian D. Cove Farnborough Stubbington
Original assignee: Electronic Data Systems LLC
Current assignee: Hewlett Packard Development Co LP
Priority date: 1991-09-12
Filing date: 1992-09-11
Publication date: 2007-06-28
Anticipated expiration: 2012-09-12
Also published as: EP1522982A1; DE69229831T2; ATE332550T1; EP0603276B1; EP0603276A1; CA2118687C; ATE183595T1; ES2267208T3; CA2118687A1; AU662560B2; AU2559292A; DE69233637D1; EP0924671A3; EP0924671B1; DE69229831D1; JPH07509329A; EP0924671A2; WO1993005488A1; JP3268646B2

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bildanalyse und eine Vorrichtung zur Ausführung des Verfahrens. Die Erfindung eignet sich insbesondere, aber nicht ausschließlich, für Überwachungsanwendungen.
Das US Patent 4249207 betrifft ein Überwachungssystem, bei dem ein Bild, das von einer Fernsehkamera empfangen wird, elektronisch in ein Array (Feld) von Zellen oder „Kacheln" aufgeteilt wird. Die Kacheln sind so bemessen, dass eine Perspektive erlaubt wird, so dass sie jeweils im Wesentlichen die gleiche Fläche abdecken, und zwar unabhängig von dem besonderen Teil des Bilds, dem sie jeweils entsprechen. Dies ist in 1 der beiliegenden Zeichnungen dargestellt. Das System überwacht jede Zelle, um zu bestimmen, ob ein potentiell signifikantes Ereignis gerade in jeder Zelle auftritt. Wenn ein derartiges Ereignis in einer Zelle erfasst wird, werden benachbarte Zellen überprüft, und wenn ein Ereignis beispielsweise in zwei von diesen gerade auftritt, wird dies als Anzeige einer Spur einer sich bewegenden Person oder eines sich bewegenden Objekts von Interesse genommen.
Ein Auftreten eines potentiell signifikanten Ereignisses in einer Zelle wird in Übereinstimmung mit Änderungen in der durchschnittlichen Lichtintensität, die von dieser Zelle empfangen wird, bestimmt. Jede Zelle besteht aus einem Array (Feld) von Pixeln. Diese werden Zeile für Zeile analysiert und die integrierte einfallende Lichtintensität für diese Zelle wird berechnet. Über der Zeit wird ein gewichteter Vergleich kontinuierlich zwischen der durchschnittlichen gegenwärtigen Intensität und der durchschnittlichen Intensität in einem vorangehenden Rahmen durchgeführt. Wenn das Ergebnis dieses Vergleichs einen vorgegebenen Schwellwert übersteigt, dann wird dies als ein potentiell signifikantes Ereignis, welches in dieser Zelle auftritt, genommen.
Das voranstehend erwähnte US Patent gibt an, dass dieses System eine gute Unterscheidung gegenüber falschen Ereignissen, beispielsweise sich bewegenden Wolkenschatten, bereitstellt. Jedoch ist dieses System am besten geeignet für im Allgemeinen leere Szenen, wie beispielsweise das Gebiet zwischen zwei Umfangszäunen, die in einer offenen Landschaft angeordnet sind. Es ist viel weniger in der Lage eine Unterscheidung gegenüber falschen Ereignissen in einer geschäftigen Szene zu treffen, sowie dies in einer Stadtumgebung auftreten kann.
Spezifische Nachteile dieses bekannten Systems sind: –

a. Es ist über die Maßen empfindlich für bestimmte kleine Änderungen in dem Bild, z. B. als Folge von Wetteränderungen, Wolken, einer Baumbewegung etc. Dies führt dazu, dass sich aus normalen Änderungen einer Szene eine große Anzahl von falschen Alarmen ergeben;
b. es hat eine geringe Empfindlichkeit für bestimmte große Änderungen in dem Bild, z. B. eine kleine Lichtänderung, die über eine Kachel gestreut wird, weist den gleichen Effekt wie eine große Lichtänderung in einem Teil einer Kachel auf. Dies kann dazu führen, dass einige Ereignisse von Interesse verpasst werden; und
c. große Änderungen in dem Bild verringern die Empfindlichkeit des Systems für eine Weile. Infolgedessen wird eine Rückkehr auf eine normale Szene einen Aktivitätsalarm verursachen und dies verringert die Möglichkeit eine Bewegung zu verfolgen und die Form des Objekts zu identifizieren, da Kacheln, die von einem langsamen Objekt verlassen werden, die gleiche Aktivität aufweisen wie eine Kachel, in die das Objekt eintritt.

Die obigen Probleme erläutern, warum dieses existierende System nur in Szenen mit einer sehr geringen Änderung in Lichtpegeln effektiv ist. Tatsächlich ist es nur zur Überwachung von Innenraumszenen oder Szenen im Freien, wo keine Erwartung einer Bewegung existiert, z. B. toten Zonen zwischen Zäunen, die ein Gefängnis umgeben, effektiv.
Die vorliegende Erfindung weist in ihren verschiedenen Aspekten einen signifikanten Vorteil gegenüber demjenigen, der in den voranstehend beschriebenen US Patent beschrieben wird, dahingehend auf, dass sie die Fähigkeit aufweist die Art eines komplexen Hintergrunds zu 'lernen'. Dies versetzt sie in die Lage besser echte Ereignisse von Interesse in einer ansonsten vollgestopften oder belebten Szene zu unterscheiden.
Ein anderes früher bekanntes System, welches als „WISARD" bezeichnet wird, wird von I. Aleksander et al. in Sensor Review, Juli 1984, Seiten 120–124 beschrieben. Pixel innerhalb einer Zelle werden pseudozufällig abgefragt. In der späteren Offenbarung wird angegeben, dass die Lichtintensität, die auf ein Pixel einfällt, in ein Grau-Pegel-Signal oder alternativ in ein binäres Signal umgewandelt werden kann.
In dem letzteren Fall wird der erfasste Lichtpegel mit einer Schwelle verglichen und eine Eins oder Null wird in Abhängigkeit davon gesetzt, ob die Intensität unter der Schwelle ist oder nicht. Die binären Signale werden dann in Gruppen kombiniert, die Zeiger in ein Feld hinein bilden, welches in einem Speicher mit wahlfreiem Zugriff (Random Access Memory; RAM) gespeichert ist. Jedes mal, wenn ein Feldelement durch einen Zeiger adressiert wird, wird dessen Wert auf „Ein" gesetzt, ansonsten wird es unverändert gelassen. Dieser Prozess wird über einer Anzahl von „Rahmen" ausgeführt.
Somit werden mit WISARD über sukzessive Rahmen Werte in bestimmten Elementen des Felds gesetzt. Dies ist im Endeffekt eine „Trainingsperiode". Nachdem ausreichende Rahmen abgelaufen sind wird das Feld als geeignet voreingestellt angesehen und das System wird in einen Ablaufmodus gebracht und Zeiger werden in der gleichen Weise erzeugt. Wenn ein Zeiger ein Element adressiert, welches gesetzt ist, dann zeigt dies an, dass die Intensitäten in Pixeln, die den Zeiger bilden, ähnlich zu Werten sind, die in dem Trainingssatz aufgetreten sind. Zeiger, die Elemente adressieren, die nicht gesetzt sind, zeigen an, dass sich die Situation von der Trainingsperiode unterscheidet. In dieser Weise erfasst WISARD, wenn sich die Szene ändert.
Es ist ersichtlich, dass WISARD die gegenwärtige Situation nur mit demjenigen vergleichen kann, was während seiner endlichen „Trainings"-Periode passiert ist, und kein Gedächtnis für Ereignisse davor oder seitdem hat. Ferner weisen transiente Ereignisse in der Trainingsperiode einen genauso großen Effekt wie gewöhnliche Ereignisse auf. Infolgedessen kann WISARD nicht kontinuierlich seine Aufzeichnung des Hintergrunds verbessern und ist so auf seine Fähigkeit beschränkt zwischen signifikanten Ereignissen und dem Hintergrund zu unterscheiden.
Die vorliegende Erfindung ist in der Lage ihre Aufzeichnung des Hintergrunds zu verbessern und kann so eine bessere Unterscheidung als WISARD bereitstellen.
Als Hintergrund wird gewürdigt, dass die US-A-4774570 ein Video-Signal-Verarbeitungssystem offenbart, welches eine Änderung in den Videodaten in dem von einer Quelle zugeführten Videosignal dadurch erfasst, dass das Quellenvideosignal mit einem variablen Referenzsignal, welches aus einer vorgegebenen Anzahl von abgetasteten Feldern des Quellenvideosignals abgeleitet wird, verglichen wird, das aber die Videodaten von denjenigen Pixeln, deren Videodaten während der abgetasteten Rahmen schwanken, ausschließt.
Die Erfindung stellt ein Verfahren zum Analysieren eines elektronischen Bildssignals, wie im Anspruch 1 definiert, und eine entsprechende Einrichtung, wie im Anspruch 7 beansprucht, bereit.
Bevorzugte Ausführungsformen der Erfindung können umfassen:

(a) Verarbeiten des Bildsignals, um es als eine Darstellung von ein oder mehreren Zellen, die jeweils eine Vielzahl von Pixeln umfassen, anzusehen;
(b) für aufeinanderfolgende Rahmen des überwachten Bilds, Erzeugen von charakteristischen Werten in Übereinstimmung mit dem detaillierten Inhalt des Bilds; und
(c) für aufeinanderfolgende Bildrahmen, Sammeln der charakteristischen Werte, sodass in einem einzelnen Betriebsmodus sowohl eine Zeitgeschichte des Bilds, die in einem Speicher gespeichert wird, aktualisiert wird, als auch eine Anzeige erzeugt wird, die das Auftreten oder Nicht-Auftreten eines Ereignisses, welches nicht mit dem Bildhintergrund in Verbindung steht.

Die Einrichtung kann eine elektronische Einrichtung umfassen, um in dem voranstehend erwähnten Verfahren die Schritte (a)–(c) durchzuführen.
Die vorliegende Erfindung entschärft im Allgemeinen die Probleme des Standes der Technik, die voranstehend erwähnt wurden, und kann die Möglichkeiten für eine Szeneüberwachung auf eine breitere Vielfalt von Szenen ausweiten. Insbesondere eignet sich die Erfindung zur Überwachung von Szenen mit einer großen Menge einer normalen Aktivität, zum Beispiel zur Überwachung von belebten Straßenszenen, um spezifische Ereignisse zu identifizieren. Beispiele von derartigen Ereignissen sind:

– Ankunft eines Hindernisses auf einer Eisenbahnschiene,
– Ankunft oder Abfahrt eines Fahrzeugs durch ein Tor,
– Ankunft oder Entfernung einer Person durch eine Tür,
– Auftreten eines Staus auf einer Gleisplattform.

Obwohl die Erfindung in ihrer breitesten Definition nur eine Zelle erfordert, wird bevorzugt, dass das Bild als eine Vielzahl von Zellen dargestellt wird, die am meisten bevorzugt für eine Perspektive eingestellt sind, wie voranstehend beschrieben.
Vorzugsweise wird wenigstens ein Paar von Pixeln so für jede einer Vielzahl von Zellen gewählt. Es wird auch sehr bevorzugt in der gleichen Weise eine Vielzahl von Pixeln für jede Zelle des Bildfelds zu wählen.
Sobald ein oder mehrere Paare von Pixeln in einer gegebenen Zelle gewählt sind, können die gleichen Pixel dann in nachfolgenden Rahmen verwendet werden bis zu dem Ende der Betriebsession. In einer nachfolgenden Session könnten die gleichen Paare wieder verwendet oder unterschiedliche Paare für den Rest von dieser Session verwendet werden.
Wenn eine Vielzahl von Pixelpaaren in einer gegeben Zelle verwendet werden, ist es möglich, dass das gleiche Pixel in mehr als einem Paar verwendet wird, obwohl dies nicht absolut notwendig ist. Es ist auch möglich, obwohl nicht vorgeschrieben, dass ein oder einige der Pixel irgendeinem Paar nicht verwendet werden.
Für unterschiedliche Zellen könnte das Paar oder die Paare von Pixeln an den gleichen relativen Positionen in jeder gewählt werden, obwohl dies wiederum nicht erforderlich ist.
Es wird auch bevorzugt, die charakteristischen Werte zum Erzeugen von Zeigern zum Adressieren des Speichers, der die Zeitgeschichte des Bilds enthält, zu verwenden. Eine besonders vorteilhafte Vorgehensweise, um dies durchzuführen, besteht darin einen Satz von Zeigern a₁, ..., a_m zu erzeugen, jeweils mit n binären Bits, und sequentiell diese Bits in Übereinstimmung mit den jeweiligen binären Werten der Signale, die sich aus den Vergleichen der Pixelpaare ergeben, zu setzen. Mit anderen Worten, Paare 1, ..., n der Pixelpaare werden verwendet, um die Werte von a₁ [1, ..., n] setzen, und dann werden Paare (n + 1), ..., 2n verwendet, um a₂ [1, ..., n] zu setzen, und so weiter.
Deshalb umfasst ein bevorzugtes Verfahren:

(a) Verarbeiten des Bildsignals, um es als eine Darstellung von ein oder mehreren Zellen, die jeweils eine Vielzahl von Pixeln umfassen, anzusehen;
(b) für aufeinanderfolgende Rahmen des überwachten Bilds, Erzeugen von charakteristischen Werten in Übereinstimmung mit dem detaillierten Inhalt des Bilds, und
(c) Erzeugen eines Satzes von Zeigern a₁, ..., a_m, jeweils mit n binären Bits, und sequentielles Einstellen von diesen Bits in Übereinstimmung mit den charakteristischen Werten.

Die Einrichtung zum Analysieren eines Bildsignals umfasst vorzugsweise elektronische Einrichtungen zum Ausführen der Schritte (a)–(c) des Verfahrens.
Die Werte von n und m können irgendwelche zweckdienlichen Zahlen sein und können gleich oder unterschiedlich sein, aber n × m wird gleich zu der Anzahl von charakteristischen Werten sein. Deshalb wird in dieser Hinsicht n × m gleich zu der Hälfte der Anzahl von Pixeln, die in jeder Zelle gewählt werden, sein.
In einer bevorzugten Ausführungsform werden diese Zeiger verwendet, um einen Speicher zu adressieren, der ein Feld von Adressen umfasst, die Zeilen 1, ..., m und Spalten 1, ..., 2ⁿ. Wenn die charakteristischen Werte verwendet worden sind, um die Werte der Zeiger zu setzen, adressieren die letzteren den Speicher wie folgt. Der Zeiger a₁ adressiert die Zeile 1. Der Zeiger enthält eine binäre Zahl eines Wert irgendwo zwischen 0 und 2ⁿ. Der Zeiger verweist auf die Spalte in der Zeile 1 mit einer Spaltennummer, die dem Wert in a₁ entspricht. Der Wert in dieser Adresse wird dann um 1 inkrementiert (zu Anfang werden sämtliche Adressen auf Null gesetzt sein). Dies wird für sämtliche Zeilen bis zu m durchgeführt. In dem nächsten Rahmen wird der gesamte Prozess wiederholt, wobei der Wert um 1 in einer bestimmten Adresse, auf die in jeder Zeile verwiesen wird, aktualisiert wird.
Deshalb umfasst das Verfahren vorzugsweise: –

(a) Bearbeiten des Bildsignals, um es als eine Darstellung von ein oder mehreren Zellen anzusehen, die jeweils eine Vielzahl von Pixeln umfassen;
(b) für aufeinanderfolgende Rahmen des überwachten Bilds, Erzeugen eines Satzes von Zeigern, die jeweils einen Wert enthalten, der sich auf den detaillierten Inhalt des Bilds bezieht; und
(c) Verwenden der Zeiger zum Adressieren eines Speicherfelds und für sukzessive Rahmen, Aktualisieren des Werts einer Adresse in jeder Zeile des Felds, die durch den Zeiger entsprechend zu dieser Zeile angezeigt wird.

In einer bevorzugten Ausführungsform umfasst der Satz von Zeigern Zeiger a₁, ..., a_m, jeweils mit n binären Bits, und das Speicherfeld weist m Zeilen und 2ⁿ Spalten auf.
Es sei darauf hingewiesen, dass die Ausdrücke „Zeilen" und „Spalten" im Hinblick auf ein Speicherfeld rein beliebig sind und deshalb transponiert werden können.
Ein weiteres vorteilhaftes Merkmal ist die Vorgehensweise, mit der die Werte in dem Speicher verwendet werden, um zwischen dem Hintergrund und ungewöhnlichen oder unerwarteten Ereignissen zu unterscheiden. In sukzessiven Rahmen wird, für jede Zeile in dem Speicher, der maximale Wert an irgendeiner Adresse in der Zeile bestimmt, wobei der Wert, auf den gegenwärtig gezeigt wird, ebenfalls bekannt ist. Für sämtliche Zeilen wird das Verhältnis der Summe von Werten in gegenwärtig angezeigten Adressen, geteilt durch die Summe der Maxima, berechnet. Dieses Verhältnis wird mit einem zeitgewichteten Mittel für das gleiche Verhältnis aus vorangehenden Rahmen verglichen. Wenn dieses Verhältnis kleiner als ein gewählter Anteil des zeitgewichteten Durchschnitts ist, dann wird dies als Anzeige über ein ungewöhnliches oder unerwartetes Ereignis, welches gerade in der relevanten Zelle auftritt, genommen.
Somit umfasst das Verfahren vorzugsweise: –

(a) Verarbeiten des Bildsignals, um es als eine Darstellung von einer oder mehreren Zellen, die jeweils eine Vielzahl von Pixeln umfassen, anzusehen;
(b) für aufeinanderfolgende Rahmen des überwachten Bilds, Aktualisieren von einer Adresse in jeder Zeile eines Speicherfelds in Abhängigkeit von dem detaillierten Inhalt des Bilds; und
(c) über alle Zeilen, Aufsummieren der Werte in den Adressen, die gerade aktualisiert werden, und Aufsummieren des maximalen Werts in jeder Zeile, Aussetzen des Verhältnisses der zwei Summen einer zeitgewichteten Mittelung in Bezug auf die Verhältnisse, die von vorangehenden Rahmen erhalten werden, Vergleichen des Verhältnisses mit dem zeitgewichteten Mittel und Verwenden des Ergebnisses, um das Auftreten oder Nicht-Auftreten eines signifikanten Ergebnisses innerhalb des Bild zu bestimmen.

Wenn die vorliegende Erfindung in irgendeinem von ihren Aspekten im Gegensatz zu einem Verfahren als eine Einrichtung umgesetzt wird, kann die Einrichtung als Hardware/Firmware implementiert werden, die angeordnet ist, unter der Steuerung von geeigneter Software zu arbeiten, oder sie kann im Hinblick nur auf Hardware/Firmware realisiert werden, die aus Logikgattern, Flip-Flops etc. konfiguriert ist, die angeordnet sind, um die benötigten Funktionen auszuführen.
Die Erfindung wird nun mit Hilfe der folgenden Beschreibung einer bevorzugten Ausführungsform und unter Bezugnahme auf die beiliegenden Zeichnungen dargestellt. In den Zeichnungen zeigen: –
1 die Anordnung von Zellengrenzen, um eine Perspektive zu berücksichtigen;
2 eine diagrammartige Darstellung einer Einrichtung in Übereinstimmung mit der vorliegenden Erfindung, zum Berechnen von Aktivitätspegeln;
3 ein Blockdiagramm der Hardware der in 2 gezeigten Einrichtung;
4 ein Flussdiagramm, dass die Logik zeigt, die auf jede Zelle angewendet wird, um die Existenz oder Abwesenheit einer Spur zu bestimmen; und
5 die räumliche Beziehung von lokalen Zellen für eine Bewegung von oben rechts nach unten links.
Bevor die bevorzugte Ausführungsform ausführlich beschrieben wird, ist es zweckdienlich zunächst die folgenden Ausdrücke zu definieren, wobei diese Definitionen nur auf die beschriebene Ausführungsform angewendet werden und den Umfang der beanspruchten Erfindung nicht beschränken: –
PIXEL
Ein Pixel (Bildelement) definiert einen Graupegel an einem Punkt in einem Bild. Typischerweise werden bis zu 256 Graupegel in 8-Bits dargestellt.
BILD
Ein Bild ist ein Feld von Pixeln, typischerweise 512 × 512.
KACHEL
Eine Kachel (Zelle) ist ein Untersatz eines Bilds, gebildet aus N Pixeln. N muss gerade sein. Die Pixel in einer Kachel werden folgendermaßen bezeichnet:
P₁, P₂, ..., P_N.
Es sei M = N/2.
PIXELORDNUNG
Die Pixel sind zufällig geordnet und in zwei Hälften aufgeteilt:
P₁, P₂, ..., P_M,
q₁, q₂, ..., 9_M.
ZEIGERERZEUGUNG
Erzeugen von Bits b₁, b₂, b₃, ..., b_M als:
wenn p₁ > q₁ ist, dann ist b₁ = 0, ansonsten ist b₁ = 1
wenn p₂ > q₂ ist, dann ist b₂ = 0, ansonsten ist b, = 1,
...
wenn p_M > q_M ist, dann ist b_M = 0, ansonsten ist b_M = 1.
Es sei m = M/n.
Erzeugen von m n-binären Adressen:
a₁ = [b₁b₂b₃ .. b_n],
a₂ = [b_n+1b_n+2 .. b_2n],
a_m = [... b_M-1b_M],
Die m Adressen a₁, a₂, ..., a_m charakterisieren das momentane Bild in der Kachel und wirken als Zeiger in das Speicherfeld hinein, welches nachstehend definiert wird.
SPEICHER
Speicher ist ein m × 2ⁿ Feld von Datenwerten, die Information über die vergangene Geschichte der Szene halten. Dieses Feld wird kontinuierlich aktualisiert, wenn der Prozess fortschreitet.
Zusätzlich wird der maximale Wert in jeder Zeile des Speichers in einem Feld max gehalten. Die Notation ist, dass für j = 1, ..., m:
max_j = Maximum des Speichers [j, i], i = 1, ..., 2ⁿ
ist.
Die Adresse a_j zeigt auch eine Zelle in der j-ten Spalte des Speichers. Diese Zelle wird folgendermaßen bezeichnet:
Speicher [j, a_j].
RAHMENRATE
Bildrahmen werden bei einer gewählten Rate verarbeitet, die anwendungsspezifisch sein wird. Die Zeit, zu der der gegenwärtige Rahmen verarbeitet wird, wird mit t bezeichnet und die Zeit, zu der der vorangehende Rahmen verarbeitet wurde, wird mit t-1 bezeichnet.
PARAMETER
Parameter f, ObereGrenze (UpperLimit) und k werden gewählt, um Zeitkonstanten zu bestimmen, über die eine Geschichte benötigt wird.
Schwelle ist ein Parameter, der die Erfassungsempfindlichkeit der Technik bestimmt.
Der Zweck der Mechanismen besteht darin für jede Kachel einen Aktivitätspegel zu berechnen, der anzeigt, ob das Bild in einem normalen Zustand ist.
Die Mechanismen werden mit den folgenden Einrichtungen implementiert:

a. Eine TV-Kamera, die Bilder einfängt und diese Bilder in einem standardmäßigen Format ausgibt,
b. eine Bildrahmen-Ergreifungseinheit (Image Frame Grabber), die die Bilder bei der Rahmenrate der Kamera einfängt, jeden Rahmen digitalisiert und diesen in einem digitalen Rahmenpuffer speichert,
c. einen Computerprozessor, der eine Zeigererzeugung (Pointer Generation) ausführt durch
– Zugreifen auf den Bildrahmenpuffer und
– Berechnen von Zeigern in ein Speicherfeld hinein,
d. einen digitalen Speicher, das Speicherfeld, um Statistiken über Bilder anzusammeln,
e. ein Computerprozessor, der die Zeiger verwendet, um das Speicherfeld zu inkrementieren (Speicheraktualisierung),
f. einen Computerprozessor, der auf das Speicherfeld zugreift, um Maße der Aktivität in dem Bild zu berechnen.

Die Computerprozessoren in c), e) und f) können ein einzelner Prozessor sein oder diese Aktivitäten können unter mehreren Prozessoren verteilt werden.
Dem Ablauf des Prozesses geht eine Definition der Kacheln und Pixelordnungen voraus. Die Wahl und Größe der Kacheln ist anwendungsspezifisch.
Beim Ablauf werden Bilder in dem Rahmenpuffer bei der Rahmenrate der Kamera eingefangen. Die Computerprozessoren führen dann die folgenden Aktionen in Bezug auf jeden analysierten Rahmen aus. Die Berechnung wird nachstehend beschrieben und für jede Kachel ausgeführt und die Beziehung zwischen den getrennten Prozessen ist in 2 dargestellt und die genaue Art der Computerhardware ist in 3 gezeigt.
ZEIGERERZEUGUNG
Erzeugen von Zeigern in den Speicher hinein, wie folgt.
Für jedes j = 1 ... m
Erzeugen der Adresse a_j, wie voranstehend beschrieben.
SPEICHERAKTUALISIERUNG
Ausführen einer Speicheraktualisierung, um eine Geschichte von vergangenen Bildern wie folgt zu halten:
Für jedes j = l, ..., m
Inkrementieren des Speichers [j, a_j] um 1, und
Aktualisieren von max_j, um das maximale Element in der j-ten Zeile des Speichers zu sein.
Wenn der Speicher [j, a_j] > ObereGrenze ist, dann Skalieren der j-ten Zeile des Speichers, d. h.: Berechnen des Speichers [j, i] = f·Speicher [j, i], i = 1, ..., 2ⁿ, und Berechnen von max. = f·max_j.
BILDEINSCHÄTZUNG
Ausführen einer Bildeinschätzung um den gegenwärtigen Zustand des Bilds zu bestimmen, indem eine Bewertung (Score) berechnet wird, um mit einer Durchschnittsbewertung verglichen zu werden.
Aufsummieren der Werte von Speicher [j, a_j], j = 1, ..., m, was mit Bewertung bezeichnet wird.
Aufsummieren der Werte max., j = 1, ..., m, was als Maximum bezeichnet wird.
Berechnen eines Werts A_t, der die momentane Aktivität in dem Bild zur Zeit t definiert, durch Berechnen von:
A_t = Bewertung/Maximum
(Hinweis: A_t kann Werte zwischen 0 und 1 einnehmen).
Berechnen der durchschnittlichen Aktivität in dem Bild zur Zeit t durch Berechnen von: Durchschnittt = k·Durchschnittt-1 + (1 – k)·At (Hinweis: Durchschnitt_t kann Werte zwischen 0 und 1 einnehmen).
Berechnen der gemessenen Aktivität_t zur Zeit t durch: Aktivitätt = (Durchschnittt – At)(Hinweis: Aktivität_t kann Werte zwischen –1 und 1 einnehmen).
Wenn Aktivität_t > Schwellwert ist, dann wird angezeigt, dass die Kachel Aktiv ist.
Die gesamte Technik, die voranstehend beschrieben wurde, leitet einen einzelnen Wert (Aktivität_t) ab, der anzeigt, ob sich die gegenwärtige Szene von einer vergangenen Szene geändert hat. Der Zeitrahmen, über den die Änderung gerade bestimmt wird, wird durch die Wahl der Parameter f und k spezifiziert. Zum Beispiel könnten für eine sich langsam verändernde Hintergrundszene Werte von f und k nahe zu 1 verwendet werden. Kleinere Werte würden erforderlich sein, wenn sich die Hintergrundszene schnell ändert.
Im Gegensatz zu anderen vorher bekannten Verfahren ist die Technik auf echte Änderungen an der Szene empfindlich und unterscheidet zwischen diesen und typischen akzeptablen Änderungen an der Szene. Dies liegt daran, weil sich der Speicherfeld an die Charakteristiken einer normalen Szene erinnert.
Die Berechnung der Zeiger, wie voranstehend beschrieben, ist sehr empfindlich auf lokale Änderungen in einer Kachel, ist aber gegenüber globalen Lichtänderungen in einer Kachel unempfindlich. Jeder Zeiger bewirkt, dass eine Stelle in dem Speicher inkrementiert wird. Somit werden Szenen, die gewöhnlich sind, bewirken, dass bestimmte Speicherstellen häufig inkrementiert werden, während andere Stellen selten inkrementiert werden.
Während eine Szene in einem gewöhnlichen Zustand ist (es sei darauf hingewiesen, dass sich die Lichtpegel signifikant ändern und der Inhalt der Szene sich ändern kann), werden die Zeiger dann Speicherstellen adressieren, die große Werte enthalten. Dann werden die abgeleiteten Werte der Aktivität klein oder negativ sein.
Wenn jedoch eine ungewöhnliche Änderung in dem Bild auftritt, dann wird dies mehrere Zeiger beeinflussen, die nun Speicherstellen adressieren werden, die niedrige Werte enthalten. Der sich ergebende Wert der Aktivität wird dann hoch (d. h. nahe zu 1) sein.
In dieser Weise identifiziert die Technik sofort Änderungen in dem Bild. Eine lokale Änderung, verursacht zum Beispiel durch eine Person, die sich in der Szene bewegt, kann nur eine kleine Anzahl von Pixeln beeinflussen. Es sei zum Beispiel angenommen, dass zehn Pixel betroffen sind und dann wird wegen der Vorgehensweise, mit der die Zeiger erzeugt werden, diese Änderung typischerweise zehn Zeiger betreffen. Somit wird eine kleine lokale Änderung einen großen Effekt auf die Aktivitäts-Bewertung aufweisen.
Wegen der Vorgehensweise, mit der sich der Speicher an vergangene Szenen erinnert, kehrt dann, wenn die Aktivität endet, auch die berechnete Aktivität unmittelbar auf einen kleinen Wert zurück. In dieser Weise kann die Anwesenheit oder Abwesenheit eines Ereignisses in einer Kachel genau überwacht werden.
Das Ergebnis der Berechnungen besteht darin für jedes verarbeitete Bild ein Attribut Aktiv abzuleiten, das den Wert wahr oder unwahr annehmen kann, und zwar für jede Kachel. Diese Aktiv Werte können einem Prozess eingegeben werden, der die Art eines Ereignisses in der Szene bestimmt. Ein derartiger Prozess kann Ereignisse verfolgen und Form- und Größen-Attribute von Objekten in der Szene berechnen. Die Zuverlässigkeit der beanspruchten Prozedur zum Identifizieren von aktiven Kacheln im Gegensatz zu Änderungen des Umgebungslichts, ermöglicht eine Ereigniserkennung (Event Recognition) erfolgreich auszuführen.
Im Allgemeinen ist die Anzahl von Pixeln in einer Kachel anwendungsspezifisch. Die Größe einer Kachel wird von der Größe eines in der Szene zu identifizierenden Objekts abhängen. Wegen der Perspektive wird sich auch die Anzahl von Pixeln in jeder Kachel verändern.
In dieser Weise ist die Anzahl von Pixelpaaren in einer Kachel, M, ebenfalls anwendungsspezifisch und kachelspezifisch. Im Allgemeinen müssen nicht sämtliche Pixel in einer Kachel berücksichtigt werden und Pixel können im Allgemeinen unterabgetastet werden. Bei der gegebenen Definition in der gegenwärtig bevorzugten Ausführungsform sollte M jedoch nicht kleiner als 8 sein.
Um eine 8-Bit Speicher-Adressierung von modernen Computern auszunutzen, wird n im Allgemeinen als 8 gewählt. Ferner werden Elemente des Speichers typischerweise 8-Bit Stellen sein und somit würde ObereGrenze (UpperLimit) normalerweise als 255 gewählt werden.
Jede Kachel wird getrennt verarbeitet und erzeugt m Zeiger in das Speicherfeld hinein. In der Praxis kann mehr Empfindlichkeit durch mehrmaliges Wiederholen der Pixelerzeugung, um mehr Zeiger zu definieren, erreicht werden. Typischerweise werden drei Umordnungen von Pixeln verwendet, wobei 3m Zeiger erzeugt werden, was ein Speicherfeld von 3m × 2ⁿ Elementen impliziert.
Die Rate, bei der Bilder verarbeitet werden, ist typischerweise 25 Rahmen pro Sekunde. Diese könnte in Abhängigkeit von der Rate, bei der Ereignisse in der Szene auftreten, kleiner sein. Der Mechanismus beinhaltet eine Flexibilität derart, dass das System auf einem einzelnen Computer oder mehreren Computern, in Abhängigkeit von der benötigten Rahmenrate, implementiert werden kann.
Die voranstehend definierten Verarbeitungsmechanismen zeigen, wie jede Kachel bewertet wird, um nachzusehen, ob sie Aktiv ist. Die Bestimmung von Ereignissen in der Szene kann dann durch Berücksichtigung davon, wie sich die Aktivitätswerte zeitlich und räumlich ändern, ausgeführt werden.
Im Gegensatz zu anderen voranstehend bekannten Verfahren kann die Bestimmung von Ereignissen erfolgreich unter Verwendung einer einfachen Logik, gestützt auf Aktivitätswerte, ausgeführt werden. Dies liegt daran, weil die beanspruchten Mechanismen die Falschalarmrate, d. h. die Rate, bei der Kacheln als Aktiv angezeigt werden, wenn sie es nicht sind, verringern.
Die Aktiv Werte können verwendet werden, um Objekte zu verfolgen, die durch die Szene gehen. In diesem Fall weist eine Kachel das zusätzliche Attribut Spur (Track) auf, das den Wert wahr oder unwahr annehmen kann, um anzuzeigen, ob ein Objekt gegenwärtig durch diese Kachel gerade geht.
Die Logik, die auf jede Kachel angewendet wird, wird in dem Flussdiagramm, das in 4 dargeboten ist, angezeigt. Die Tests werden zum Zeitschritt t auf Grundlage des Aktiv Werts zur Zeit t und der Spur Werte zur Zeit t-1 angewendet.
Spuren in einer beliebigen Richtung werden bestimmt, indem definiert wird, dass lokale Kacheln sind:

a. Sämtliche Kacheln angrenzend zu der Kachel von Interesse einschließlich,
b. die Kachel selbst.

Um eine Bewegung in einer bestimmten Richtung zu erfassen werden demzufolge „lokale Kacheln" definiert. Wie zum Beispiel in 5 angezeigt würden lokale Kacheln zum Verfolgen einer Bewegung von oben rechts nach unten links einer Szene so gewählt werden, dass sie sind:

a. Angrenzende Kacheln über und rechts von der Kachel von Interesse, und
b. die Kachel selbst.

Kacheln, die einen Spur Wert von wahr aufweisen, können auf einem Bild angezeigt werden, um sich bewegende Objekte zu zeigen. Ferner kann eine Kombination der Spur-Richtung verwendet werden, um Objekte zu erfassen, die ein spezifisches Verhalten aufzeigen, z. B.:

a. Eine Bewegung nach unten gefolgt von quer zu dem Bild,
b. ein Objekt, welches sich in einer spezifischen Richtung bewegt und dann in dem Bild pausiert (siehe nachstehend),
c. ein Objekt, welches sich durch die Szene bewegt und dann durch eine Tür geht, oder umgekehrt.

Die Aktiv- und Spur-Werte können verwendet werden, um Objekte zu erfassen, die sich in die Szene hinein bewegen und dann stoppen. Dies wird dadurch erreicht, dass für jede Kachel die aufeinanderfolgenden Rahmen gezählt werden, für die die Kachel einen Spur Wert von wahr aufweist. Das Ereignis wird identifiziert, wenn dieser Zählwert über einem vorgeschriebenen Schwellwert ist.
Dieser Prozess kann zum Beispiel ein Fahrzeug, welches in einer belebten Straße parkt, oder eine Person, die in einem belebten Fahrsteig herumlungert, identifizieren.
Verschiedene Aspekte der vorliegenden Erfindung können in dem bekannten WISARD System, welches voranstehend beschrieben wurde, ebenfalls verkörpert werden. Es wird nun erläutert werden, wie WISARD so angepasst werden kann.
Das ursprüngliche WISARD System beinhaltet die Erzeugung von Zeigern in ein binäres Speicherfeld hinein für eine feste Periode, d. h. eine feste Anzahl von Rahmen. Dieses Verfahren ist nicht erfolgreich, weil:

a. Es sich nicht auf sich ändernde Szenen anpassen kann und deshalb nur auf feste Szenen anwendbar ist.
b. Es sehr empfindlich auf bestimmte kleine Lichtänderungen ist, und zwar wegen der Vorgehensweise, mit der es ein Graupegelbild durch ein binäres (schwarz/weiß) Bild ersetzt.

Geeignet modifiziert kann eine Kombination der WISARD Zeigererzeugung zusammen mit der Speicheraktualisierung und der Bildbewertung der vorliegenden Erfindung effektiver sein. Die folgende Beschreibung identifiziert diese Modifikationen bei der Darbietung des Zeigererzeugungsschemas, was sehr effektiv sein kann, solange wie die verarbeiteten Bilder einen großen Kontrast aufweisen (d. h. einen breiten Bereich von Lichtpegeln). Die Notation ist im Wesentlichen die gleiche wie hier voranstehend verwendet, und weist die gleichen Bedeutungen auf.
Bei einem gegebenen Schwellwert T₂ werden Bits b₁, b₂, ..., b_N wie folgt erzeugt:
Wenn P₁ > T₂ ist, dann ist b₁ = 0, ansonsten ist b₁ = 1,
Wenn P₂ > T₂ ist, dann ist b₂ = 0, ansonsten ist b₂ = 1,
...
Wenn P_n > T₂ ist, dann ist b_N = 0, ansonsten ist b_N = 1.
Erzeugen von 1 n-Bit binären Adressen, wobei 1 = N/n ist.
a₁ = [b₁b₃ ... b_n],
a₂ = [b_n+1b_n+2 ... b_2n],
a₁ = [...b_N-1b_N],
verweisend auf ein 1 × 2ⁿ Speicherfeld.
Dieses Verfahren einer Zeigererzeugung ist auf die Wahl des Schwellwerts T₂ empfindlich. Insbesondere kann ein Objekt, welches einen ähnlichen Graupegel wie der Hintergrund aufweist, keinen Effekt auf die Zeiger aufweisen. Diese Unzulänglichkeit kann dadurch verringert werden, dass ein zweites 1 × 2ⁿ Speicherfeld geführt wird und ein zweiter Satz von Zeigern wie folgt abgeleitet wird:
Wenn T₁ < P₁ < P₁ ist, dann ist b₁ = 0, ansonsten ist b₁ = 1,
wenn T₁ < P₂ < T₃ ist, dann ist b₂ = 0, ansonsten ist b, = 1,
...
wenn T₁ < P_N < T₃ ist, dann ist b_N = 0, ansonsten ist b_N = 1.
In der gleichen Weise wie voranstehend angegeben wird ein zweiter Satz von 1 n-Bit Adressen aus diesem zweiten Satz von Bits b₁, b₂, ..., b_N erzeugt, die als Zeiger in das zweite Speicherfeld hinein wirken. Die Aktivitätswerte, die von den zwei Speicherfeldern abgeleitet werden, werden dann gemittelt, um eine akkumulierte (gesammelte) Aktivität zu ergeben.
Wenn dann der Schwellwert t₁, t₂, t₃ vorsichtig gewählt wird, kann auch ein Schema auf Grundlage von diesen Zeigern erfolgreich sein.
Der Schwellwert muss so gewählt werden, dass er eine Variation im Lichtpegel über das Bild aufnimmt. Eine effektive Vorgehensweise besteht darin, sie so einzustellen, dass über das gesamte Bild (d. h. über sämtliche Kacheln):
25% von Pixelwerten kleiner als T₁ sind,
25% von Pixelwerten zwischen T₁ und T₂ liegen,
25% von Pixelwerten zwischen T₂ und T₃ liegen,
25% von Pixelwerten größer als T₃ sind.
Dann muss T₁, T₂ und T₃ für jedes Bild, welches verarbeitet wird, eingestellt werden.
Natürlich könnte dieses Schema erweitert werden, um mehr Lichtpegel aufzunehmen, indem mehr Schwellwerte eingeführt werden.
Diese Zeigererzeugungstechniken sind spezifische Beispiele eines allgemeinen Prozesses, der Bits b_j (die die Werte 0 oder 1 annehmen) als eine Funktion von Pixelpaaren und Parametern erzeugt. Somit nehmen die angegebenen Beispiele die folgende Form an:
Wenn p > q ist, dann ist b = 0, ansonsten ist b = 1,
wenn p > T ist, dann ist b = 0, ansonsten ist b = 1.
Ein weiteres Beispiel ist:
Wenn p > q + Epsilon ist, dann ist b = 0, ansonsten ist b = 1,
wobei Epsilon ein fester Parameterwert ist, der durch den Rauschpegel bestimmt wird, der in dem Bild vorhanden ist (als Folge der Kamera- und Übertragungseffekte).

Claims

Verfahren zum Analysieren eines elektronischen Bildsignals, welches zu einem Bild gehört, welches eine Vielzahl von zu überwachenden Pixelpaaren umfasst, wobei das Verfahren umfasst: Verarbeiten des Bildsignals als eine oder mehrere Zellen, die jeweils eine Vielzahl von Pixeln umfassen; gekennzeichnet durch das Erzeugen, für jeden aufeinanderfolgenden Rahmen des Bild, welches gerade überwacht wird, von charakteristischen Werten durch zufälliges und pseudo-zufälliges Wählen von wenigstens einem Paar von Pixeln in jeder einer Vielzahl von Zellen innerhalb eines Rahmens, und, für jedes Paar, das Einrichten eines binären Signals in Abhängigkeit davon, ob die Intensität von Licht, welches auf ein vorbestimmtes Pixel des Paars von Pixeln einfällt, größer als die Intensität von Licht, welches auf das Andere einfällt, ist oder nicht.
Verfahren nach Anspruch 1, wobei wenigstens ein Pixelpaar für jede Zelle der Vielzahl von Zellen gewählt wird.
Verfahren nach Anspruch 2, wobei eine Vielzahl von Pixeln für jede Zelle eines Bildfelds gewählt werden.
Verfahren nach Anspruch 1, wobei die gleichen Pixel in jedem Rahmen verwendet werden bis zu einem Ende einer nachfolgenden Betriebssession.
Einrichtung nach Anspruch 1, ferner umfassend: das Akkumulieren der charakteristischen Werte, für aufeinanderfolgende Bildrahmen, so dass in einem Einzelbetriebsmodus eine Zeitgeschichte des Bilds, die in dem Speicher gespeichert wird, wobei jede Zelle ihr eigenes Speicherfeld aufweist, während einer Überwachung des Bilds aktualisiert wird und eine Anzeige erzeugt wird, die das Auftreten oder Nicht- Auftreten eines Ereignisses anzeigt, das nicht zu einem Bildhintergrund gehört.
Einrichtung nach Anspruch 1, wobei das Bild als eine Vielzahl von Zellen dargestellt wird, wobei die Vielzahl von Zellen für eine Perspektive eingestellt sind.
Einrichtung zum Analysieren eines elektronischen Bildsignals, welches zu einem Bild gehört, welches eine Vielzahl von zu überwachenden Pixelpaaren umfasst, wobei das Verfahren umfasst: Mittel zum Verarbeiten des Bildsignals als eine oder mehrere Zellen, die jeweils eine Vielzahl von Pixeln umfassen; gekennzeichnet durch Mittel zum Erzeugen, für jeden aufeinanderfolgenden Rahmen des Bild, welches gerade überwacht wird, von charakteristischen Werten durch zufälliges und pseudo-zufälliges Wählen von wenigstens einem Paar von Pixeln in jeder einer Vielzahl von Zellen innerhalb eines Rahmens, und, für jedes Paar, das Einrichten eines binären Signals in Abhängigkeit davon, ob die Intensität von Licht, welches auf ein vorbestimmtes Pixel des Paars von Pixeln einfällt, größer als die Intensität von Licht, welches auf das Andere einfällt, ist oder nicht.
Einrichtung nach Anspruch 7, wobei die Mittel zum Erzeugen von charakteristischen Werten ausgelegt sind, um wenigstens ein Pixelpaar für jede Zelle eine Vielzahl von Zellen zu wählen.
Einrichtung nach Anspruch 7, wobei die Mittel zum Erzeugen von charakteristischen Werten ausgelegt sind, um eine Vielzahl von Pixeln für jede Zelle eines Bildfelds zu wählen.
Einrichtung nach Anspruch 7, wobei die Mittel zum Erzeugen von charakteristischen Werten ausgelegt sind, um die gleichen Pixel in jedem Rahmen bis zu einem Ende einer nachfolgenden Betriebssession zu verwenden.
Einrichtung nach Anspruch 7, wobei die Mittel zum Erzeugen von charakteristischen Werten eine Bildrahmen-Ergreifungseinheit, einen Speicher, und einen oder mehrere Computerprozessoren umfassen.
Einrichtung nach Anspruch 7, ferner umfassend: Mittel zum Akkumulieren der charakteristischen Werte, für aufeinanderfolgende Bildrahmen, so dass in einem Einzelbetriebsmodus eine Zeitgeschichte des Bilds, die in dem Speicher gespeichert wird, wobei jede Zelle ihr eigenes Speicherfeld aufweist, während einer Überwachung des Bilds aktualisiert wird und eine Anzeige erzeugt wird, die das Auftreten oder Nicht- Auftreten eines Ereignisses anzeigt, das nicht zu einem Bildhintergrund gehört.
Einrichtung nach Anspruch 7, wobei das Bild als eine Vielzahl von Zellen dargestellt wird, wobei die Vielzahl von Zellen für eine Perspektive eingestellt sind.