DE112014001658T5

DE112014001658T5 - Nachverfolgungsverarbeitungsvorrichtung und Nachverfolgungsverarbeitungssystem, das damit ausgestattet ist, und Nachverfolgungsverarbeitungsverfahren

Info

Publication number: DE112014001658T5
Application number: DE112014001658.6T
Authority: DE
Inventors: Takeshi Fujimatsu; Hiroyuki Yamamoto
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-03-27
Filing date: 2014-03-04
Publication date: 2016-01-21
Also published as: GB2529943B; WO2014155979A1; JP6273685B2; JP2014192700A; US20160063731A1; GB2529943A; GB201516981D0; US10445887B2

Abstract

Zum Verbessern der Genauigkeit des Nachverfolgungsprozesses über die Kameras umfasst eine Nachverfolgungsverarbeitungsvorrichtung (4), wenn ein Nachverfolgen von sich bewegenden Objekten unter Verwendung von aufgenommenen Bildern durchgeführt wird, die durch mehrere Kameras aufgenommen wurden, eine Speichereinheit (21), die für jede Kamera (2) mehrere Teile von Intra-Kamera-Nachverfolgungsinformation einschließlich von Bildinformation von Personen (H) speichert, die aus den aufgenommenen Bildern erhalten wurde, eine Aufbereitungseinheit (26), die ein Aufbereiten der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation durchführt und dadurch Teile von Inter-Kamera-Nachverfolgungsinformation extrahiert, die in einem Prozess des Nachverfolgens der Personen über die mehreren Kameras zu verwenden ist, und eine Assoziierungseinheit (27), die auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation die Personen in den aufgenommenen Bildern über die mehreren Kameras assoziiert.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Nachverfolgungsverarbeitungsvorrichtung, ein Nachverfolgungsverarbeitungssystem, das mit diesem ausgestattet ist, und ein Nachverfolgungsverarbeitungsverfahren zum Nachfolgen von sich bewegenden Objekten unter Verwendung von aufgenommenen Bildern, die von mehreren Kameras aufgenommen wurden.
TECHNISCHER HINTERGRUND
Eine herkömmliche Nachverfolgungsverarbeitungsvorrichtung erhält zum Überwachen von sich bewegenden Objekten wie Personen oder Fahrzeuge über einen weiten Bereich Bilder, die von Kameras aufgenommen wurden, die an verschiedenen Positionen aufgestellt sind, an denen sich bewegende Objekte passieren, und verfolgt die sich bewegenden Objekte in jeder Kamera oder über mehrere Kameras unter Verwendung der aufgenommenen Bilder nach. In dem Nachverfolgen der sich bewegenden Objekte durch diese Nachverfolgungsverarbeitungsvorrichtung kann eine Okklusion (nämlich ein Zustand, in dem ein zu nachverfolgendes Ziel durch ein anderes Objekt verdeckt wird, das vor dem nachzuverfolgenden Ziel in einer jeden Kameraansicht präsent ist) auftreten, in Abhängigkeit von der Positionsbeziehung zwischen der Kamera und einem sich bewegenden Objekt (nachzuverfolgendes Ziel) und als ein Ergebnis kann es schwierig werden, das Nachverfolgen des sich bewegenden Objekts auf Basis der aufgenommenen Bilder durchzuführen.
Um ein derartigen Problem zu adressieren, wurden Technologien zum Reduzieren des Einflusses einer Okklusion und Ähnlichem und einem Ermöglichen einer höchst genauen Nachverfolgung dadurch entwickelt. Es ist beispielsweise eine Nachverfolgungsverarbeitungsvorrichtung bekannt, die mehrere Kameras zum Aufnehmen von Bildern eines überwachten Raums aus untereinander unterschiedlichen Blickwinkeln umfasst, mehrere Annahmen einstellt, die jeweils eine Kombination einer vorhergesagten Position des sich bewegenden Objekts zum derzeitigen Zeitpunkt und einer Überwachungskamera darstellen, und erhält die Position des sich bewegenden Objekts zum derzeitigen Zeitpunkt auf Basis der Annahme mit der höchsten Wahrscheinlichkeit (nämlich der Annahme, die zum Nachverfolgen des sich bewegenden Objekts geeignet ist) (siehe Patentdokument 1).
DOKUMENT(E) DES STANDES DER TECHNIK
PATENTDOKUMENT(E)

Patent Dokument 1: JP 2010-049296 A

KURZE ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU ERREICHENDES ZIEL
Es kann gelegentlich vorkommen, dass im Blickfeld (Aufnahmebereich) einer Kamera infolge einer Anwesenheit eines Hindernisses in dem überwachten Raum (eine Gebäudestruktur wie eine Wand oder eine Säule, ein Möbelstück usw.) ein toter Winkel gebildet wird, und in der herkömmlichen Technologie, die in Patentdokument 1 beschrieben wird, wird ein Bereich ausschließlich eines derartigen toten Winkels oder ähnlichem als ein wirksamer Bildaufnahmebereich definiert.
In einem derartigen wirksamen Bildaufnahmebereich kann allerdings ebenso Nachverfolgungsinformation, die für den Nachverfolgungsprozess ungeeignet ist, aus den aufgenommenen Bildern als ein Ergebnis einer Änderung in der Orientierung des sich bewegenden Objekts oder aus anderen Gründen erhalten werden und es besteht ein Problem in der herkömmlichen Technologie, die in Patentdokument 1 beschrieben ist, darin, dass, wenn derartige Nachverfolgungsinformation, die für den Nachverfolgungsprozess ungeeignet ist, verwendet wird, eine Assoziierung der Ziele, die nachzuverfolgen sind, über die mehreren Kameras schwierig wird und die Genauigkeit des Nachverfolgungsprozesses signifikant abnimmt.
Die vorliegende Erfindung wurde gemacht, um ein derartiges Problem aus dem Stand der Technik zu lösen, und eine Hauptaufgabe der vorliegenden Erfindung ist es, eine Nachverfolgungsverarbeitungsvorrichtung, ein Nachverfolgungsverarbeitungssystem, das mit dieser Vorrichtung ausgestattet ist, und ein Nachverfolgungsverarbeitungsverfahren bereitzustellen, die, beim Durchführen einer Nachverfolgung von sich bewegenden Objekten unter Verwendung von aufgenommenen Bildern, die von mehreren Kameras aufgenommen sind, die Genauigkeit des Nachverfolgungsprozesses über die Kameras zu verbessern.
MITTEL ZUM ERREICHEN DES ZIELS
Die Nachverfolgungsverarbeitungsvorrichtung nach der vorliegenden Erfindung ist eine Nachverfolgungsverarbeitungsvorrichtung zum Nachverfolgen von sich bewegenden Objekten über mehrere Kameras unter Verwendung von aufgenommenen Bildern, die durch die Kameras aufgenommen sind, wobei die Vorrichtung umfasst: ein Speichermittel, das für jede Kamera mehrere Teile von Intra-Kamera-Nachverfolgungsinformation einschließlich von Bildinformation der sich bewegenden Objekte speichert, die von der aufgenommenen Bildern erhalten wurde, ein Aufbereitungsmittel, das ein Aufbereiten der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation durchführt und dadurch Teile von Inter-Kamera-Nachverfolgungsinformation extrahiert, die in einem Prozess des Nachverfolgens der sich bewegenden Objekte über die mehreren Kameras zu verwenden ist, und ein Assoziierungsmittel, das auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation die sich bewegenden Objekte in den aufgenommenen Bildern über die mehreren Kameras assoziiert.
EFFEKT DER EFINDUNG
Entsprechend der vorliegenden Erfindung ist es möglich, wenn ein Nachverfolgen von sich bewegenden Objekten unter Verwendung von aufgenommenen Bildern durchgeführt wird, die von mehreren Kameras aufgenommen wurden, die Genauigkeit des Nachverfolgungsprozesses über die Kameras zu verbessern.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
[1] ein Blockdiagramm eines Nachverfolgungsverarbeitungssystems nach einer Ausführungsform der vorliegenden Erfindung
[2] ein erläuterndes Diagramm, das ein Beispiel einer Anordnung von Kameras in dem Nachverfolgungsverarbeitungssystem zeigt.
[3] ein erläuterndes Diagramm, das (A) eine Auswahl eines Betriebsmodus und (B) ein Einstellen eines ungültigen Bereichs zeigt, die von einem Benutzer des Nachverfolgungsverarbeitungssystems durchgeführt werden.
[4] ein Ablaufdiagramm, das den Ablauf des Nachverfolgungsprozesses zeigt, der durch die Nachverfolgungsverarbeitungsvorrichtung durchgeführt wird, die in 1 gezeigt ist.
[5] ein Ablaufdiagramm, das Schritt ST102 in 4 im Detail zeigt.
[6] ein erläuterndes Diagramm, das schematisch den Prozess von Schritt ST201 in 5 zeigt.
[7] ein erläuterndes Diagramm, das schematisch den Prozess von Schritt ST202 in Fig. zeigt.
[8] ein erläuterndes Diagramm, das schematisch den Prozess von Schritt ST203 in 5 zeigt.
[9] ein Diagramm, das ein Beispiel einer Bildschirmanzeige hinsichtlich einer Präsentation eines Ergebnisses des Nachverfolgens von Schritt ST106 in 4 zeigt.
[10] ein erläuterndes Diagramm, das eine Modifikation des Einstellens eines ungültigen Bereichs in der Nachverfolgungsverarbeitungsvorrichtung zeigt.
AUSFÜHRUNGSFORMEN ZUM AUSFÜHREN DER ERFINDUNG
Die erste Erfindung, die gemacht wurde, um das obige Ziel zu erreichen, sieht eine Nachverfolgungsverarbeitungsvorrichtung zum Nachverfolgen von sich bewegenden Objekten über mehrere Kameras unter Verwendung von aufgenommenen Bildern, die von den Kameras aufgenommen sind, vor, wobei die Vorrichtung umfasst: ein Speichermittel, das für jede Kamera mehrere Teile von Intra-Kamera-Nachverfolgungsinformation einschließlich von Bildinformation der sich bewegenden Objekte speichert, die von den aufgenommenen Bildern erhalten wurde, ein Aufbereitungsmittel, das die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation aufbereitet und dadurch Teile von Inter-Kamera-Nachverfolgungsinformation extrahiert, die in einem Prozess des Nachverfolgens der sich bewegenden Objekte über die mehreren Kameras zu verwenden ist, und ein Assoziierungsmittel, das auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation die sich bewegenden Objekte in den aufgenommenen Bildern über die mehreren Kameras assoziiert.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der ersten Erfindung werden, wenn ein Nachverfolgen von sich bewegenden Objekten (nachzuverfolgende Ziele) unter Verwendung von aufgenommenen Bildern, die von mehreren Kameras aufgenommen wurden, durchgeführt wird, die Teile von Intra-Kamera-Nachverfolgungsinformation für jede Kamera aufbereitet (nämlich die für den Nachverfolgungsprozess über die mehreren Kameras ungeeigneten werden entfernt) zum Extrahieren von Intra-Kamera-Nachverfolgungsinformation, die in dem Nachverfolgungsprozess über die mehreren Kameras zu benutzen ist, wodurch es möglich wird, die Genauigkeit des Nachverfolgungsprozesses über die mehreren Kameras (des Prozesses zum Assoziieren der sich bewegenden Objekte) zu verbessern.
Weiter umfasst gemäß der zweiten Erfindung die Nachverfolgungsverarbeitungsvorrichtung der ersten Erfindung ein Ähnlichkeitsberechnungsmittel, das hinsichtlich der Bildinformation der sich bewegenden Objekte Ähnlichkeitsgrade zwischen den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation berechnet, wobei das Aufbereitungsmittel die Aufbereitung durch Entfernen von Teilen von Intra-Kamera-Nachverfolgungsinformation aus den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation, deren Ähnlichkeitsgrade relativ gering sind.
Bei der Nachverfolgungsverarbeitungsvorrichtung entsprechend der zweiten Erfindung werden die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis der gegenseitigen Ähnlichkeitsgrade aufbereitet und dies macht es möglich, in einfacher und verlässlicher Weise die Teile von Intra-Kamera-Nachverfolgungsinformation auszuschließen, die für den Nachverfolgungsprozess über die mehreren Kameras ungeeignet sind (die Bildinformation der sich bewegenden Objekte enthalten, hinsichtlich derer ein Problem wie eine Okklusion aufgetreten ist).
Ferner umfasst gemäß der dritten Erfindung die Nachverfolgungsverarbeitungsvorrichtung der ersten oder zweiten Erfindung ein Einstellmittel für einen ungültigen Bereich, das für jede Kamera einen ungültigen Bereich in den aufgenommenen Bildern einstellt, wobei das Aufbereitungsmittel das Aufbereiten durch Entfernen von Teilen von Intra-Kamera-Nachverfolgungsinformation aus den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation durchführt, die sich auf sich bewegende Objekte beziehen, die innerhalb des ungültigen Bereichs positioniert sind.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der dritten Erfindung werden Teile von Intra-Kamera-Nachverfolgungsinformation hinsichtlich von sich bewegenden Objekten, die in dem voreingestellten ungültigen Bereich (beispielsweise einem Bereich, in dem sich ein Hindernis befindet) entfernt, und daher können Teile von Intra-Kamera-Nachverfolgungsinformation, die für den Nachverfolgungsprozess über die mehreren Kameras ungeeignet sind, in einfacher und verlässlicher Weisen von denen, die zu verarbeiten sind, ausgeschlossen werden.
Ferner kann gemäß der vierten Erfindung in der Nachverfolgungsverarbeitungsvorrichtung der dritten Erfindung der ungültige Bereich durch einen Benutzer umgestellt werden.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der vierten Erfindung wird die Genauigkeit des ungültigen Bereichs verbessert, da der voreingestellte ungültige Bereich durch den Benutzer nachgestellt werden kann, und die Teile von Intra-Kamera-Nachverfolgungsinformation, die für den Nachverfolgungsprozess über die mehreren Kameras ungeeignet sind, können in sogar noch verlässlicherer Weise von denen getrennt werden, die zu verarbeiten sind.
Ferner stellt gemäß der fünften Erfindung in der Nachverfolgungsverarbeitungsvorrichtung der dritten oder vierten Erfindung das Einstellmittel für einen ungültigen Bereich den ungültigen Bereich auf Basis von Positionsinformation der sich bewegenden Objekte relativ zu den Teilen von Intra-Kamera-Nachverfolgungsinformation ein, die durch das Aufbereitungsmittel in der Vergangenheit entfernt wurden.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der fünften Erfindung kann der ungültige Bereich in einfacher und genauer Weise eingestellt werden, da der ungültige Bereich durch die Verwendung von Positionsinformation der sich bewegenden Objekte hinsichtlich von Teilen von Intra-Kamera-Nachverfolgungsinformation eingestellt wird, die in der Vergangenheit entfernt wurden.
Ferner umfasst gemäß der sechsten Erfindung die Nachverfolgungsverarbeitungsvorrichtung einer der ersten bis fünften Erfindung ein Betriebsmodusauswahlmittel, das hinsichtlich eines Prozesses, der durch das Assoziierungsmittel durchgeführt wird, einen ersten Betriebsmodus, der eine Verarbeitungsgenauigkeit priorisiert, oder einen zweiten Betriebsmodus auswählt, der Verarbeitungsgeschwindigkeit priorisiert, wobei, wenn der erste Betriebsmodus ausgewählt ist, das Assoziierungsmittel zur Assoziierung der sich bewegenden Objekte auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation durchführt, und, wenn der zweite Betriebsmodus ausgewählt ist, das Assoziierungsmittel die Assoziierung der sich bewegenden Objekte auf Basis der Teile von Intra-Kamera-Nachverfolgungsinformation durchführt.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der sechsten Erfindung kann der Prozess des Assoziierungsmittels in geeigneter Weise ausgeführt werden, abhängig vom Grad der Priorität der Verarbeitungsgenauigkeit und der Verarbeitungsgeschwindigkeit.
Ferner umfasst gemäß der siebten Erfindung das Nachverfolgungsverarbeitungsvorrichtung einer der ersten bis sechsten Erfindung ein Bewegungsrichtungsberechnungsmittel, das auf Basis von Positionsinformation der sich bewegenden Objekte in den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation Bewegungsrichtungsvektoren der sich bewegenden Objekte berechnet, wobei das Aufbereitungsmittel die Teile von Inter-Kamera-Nachverfolgungsinformation auf Basis von Entsprechungsgraden von Winkeln der Bewegungsrichtungsvektoren zwischen den mehreren Kameras extrahiert.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der siebten Erfindung ist es möglich, da der Winkel des Bewegungsrichtungsvektors eines sich bewegenden Objekts dazu neigt, mit der Orientierung des sich bewegenden Objekts zusammenzufallen, die Genauigkeit des Nachverfolgungsprozesses über die mehreren Kameras zu verbessern, indem als die Teile der Inter-Kamera-Nachverfolgungsinformation Teile von Intra-Kamera-Nachverfolgungsinformation extrahiert werden, deren Bewegungsrichtungsvektoren einen hohen Grad an Entsprechung zwischen ihren Winkeln aufweisen.
Ferner umfasst gemäß der achten Erfindung das Nachverfolgungsverarbeitungsvorrichtung nach einer der ersten bis siebten Erfindung ein Ergebnispräsentationsmittel, das ein Ergebnis der Assoziierung der sich bewegenden Objekte, die durch das Assoziierungsmittel durchgeführt werden, für einen Benutzer darstellt, um dem Benutzer zu ermöglichen, zu bestimmen, ob das Ergebnis der Assoziierung geeignet ist.
In der Nachverfolgungsverarbeitungsvorrichtung entsprechend der achten Erfindung ist es möglich, da durch den Benutzer bestimmt wird, ob das Ergebnis der Assoziierung der sich bewegenden Objekte geeignet ist, die Genauigkeit des Nachverfolgungsprozesses über mehrere Kameras weiter zu verbessern.
Ferner sieht die neunte Erfindung ein Nachverfolgungsverarbeitungssystem mit der Nachverfolgungsverarbeitungsvorrichtung einer der ersten bis achten Erfindung, den mehreren Kameras, und einer Intra-Kamera-Nachverfolgungsvorrichtung vor, die die Intra-Kamera-Nachverfolgungsinformation erzeugt.
Ferner sieht die zehnte Erfindung Nachverfolgungsverarbeitungsverfahren zum Nachverfolgen von sich bewegenden Objekten über mehrere Kameras unter Verwendung von aufgenommenen Bildern, die durch die Kameras aufgenommen wurden vor, wobei das Verfahren umfasst: einen Nachverfolgungsinformationsbeschaffungsschritt des Beschaffens von mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation für jede Kamera einschließlich von Bildinformation der sich bewegenden Objekte, die aus den aufgenommenen Bildern erhalten wird, einen Nachverfolgungsinformationsaufbereitungsschritt des Aufbereitens der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation und des Extrahierens von Teilen von Inter-Kamera-Nachverfolgungsinformation dadurch, die in einem Prozess des Nachverfolgens der sich bewegenden Objekte über die mehreren Kameras zu verwenden sind, und einen Assoziierungsschritt des Assoziierens der sich bewegenden Objekte in den aufgenommenen Bildern über die mehreren Kameras auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation.
In Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
1 ist ein Blockdiagramm eines Nachverfolgungsverarbeitungssystems entsprechend einer Ausführungsform der vorliegenden Erfindung, 2 ist ein erläuterndes Diagramm, das ein Beispiel einer Anordnung von Kameras in dem Nachverfolgungsverarbeitungsprozess zeigt, und 3 ist ein erläuterndes Diagramm zum Zeigen (A) einer Auswahl eines Betriebsmodus und (B) Einstellen eines ungültigen Bereichs, die von einem Benutzer des Nachverfolgungsverarbeitungssystems durchgeführt werden.
Das Nachverfolgungsverarbeitungssystem 1 umfasst hauptsächlich: mehrere (hier drei) Kameras 2, die Bilder von sich bewegenden Objekten aufnehmen, die nachzuverfolgen sind, wie Personen oder Fahrzeuge, Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtungen 3, die mit jeweiligen Kameras 2 verbunden sind und ein Prozess des Nachverfolgens der sich bewegenden Objekte in den aufgenommenen Bildern der jeweiligen Kameras 2 (im folgenden „Intra-Kamera-Nachverfolgungsprozess“) durchführen, und eine Inter-Kamera-Nachverfolgungsverarbeitungsvorrichtung 4, die ein Ergebnis des Prozesses des Nachverfolgens der sich bewegenden Objekte beschafft, der von jeder Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtung 3 (im folgenden „Intra-Kamera-Nachverfolgungsinformation“) und führt einen Prozess des Nachverfolgens über die mehreren Kameras 2 durch. In der folgenden Beschreibung werden der Prozess des Nachverfolgens über die Kameras und die Inter-Kamera-Nachverfolgungsvorrichtung 4 einfach als „Nachverfolgungsprozess“ und „Nachverfolgungsverarbeitungsvorrichtung 4“ bezeichnet und unterscheiden sich jeweils von dem Intra-Kamera-Nachverfolgungsprozess und den Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtungen 3.
Die mehreren Kameras 2 bestehen jeweils aus einer Videokamera zum Überwachen und Versorgen sukzessive die jeweiligen Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtungen 3 mit mehreren aufgenommenen Bildern (Farbfilm). Diese Kameras 2 sind an der Wand, Decke usw. eines Gebäudes oder ähnlichem installiert, um so dazu in der Lage zu sein, Bilder von Plätzen aufzunehmen, die einer Überwachung bedürfen. In der dargestellten Ausführungsform, wie es in 2 gezeigt ist, wird eine Person (sich bewegendes Objekt) H, die auf der Passage 11 in einer Richtung, die durch Pfeile angedeutet ist, geht, als ein zu nachverfolgendes Ziel betrachtet, und die Anordnung jeder Kamera 2 (nämlich die Positionsbeziehung zwischen jeder Kamera und die Position der Passage, auf der sich die Person bewegt) ist derart justiert, dass die Größe und der Winkel (Orientierung des Körpers) der bildaufgenommenen Person H im wesentlichen zwischen den Kameras gleichbleiben. Ferner ist jede Kamera mit einer Schwenkund Neigungsfunktion und einer Zoom-Funktion ausgestattet, um die Größe und den Winkel der bildaufgenommenen Person H zu justieren.
In der illustrierten Ausführungsform ist der Bildaufnahmewinkel jeder Kamera 2 relativ zu der Vertikalrichtung (Aufwärts- und Abwärtsrichtung in der Zeichnung) geneigt, um so schräg abwärts zu sein, obgleich die Bildaufnahmerichtung einer jeden Kamera beliebig sein kann, solange Personenbilder erhalten werden können, die für den Nachverfolgungsprozess notwendig sind. Ferner sind in der illustrierten Ausführungsform die mehreren Kameras 2 so angeordnet, dass ihre Blickfelder (Aufnahmebereiche) einander nicht überlappen, obwohl sie auch so angeordnet werden können, dass ihre Sichtfelder miteinander überlappen, wenn dies nötig ist. Zudem kann die Zahl von Kameras, die in dem Nachverfolgungsverarbeitungssystem 1 verwendet werden, nach Bedarf geändert werden.
Jede Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtung 3 besteht aus einem PC (Personalcomputer), der mit der entsprechenden Kamera 2 über ein dediziertes Kabel oder ein Netzwerk wie LAN verbunden ist, obgleich sie nicht hierauf beschränkt ist, und die Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtung kann durch einen Server oder eine elektronische Vorrichtung oder ähnliches gebildet werden, die in einem Mikrocomputer inkorporiert ist, die einen Nachverfolgungsprozess ausführt. In der illustrierten Ausführungsform ist eine Intra-Kamera-Nachverfolgungsvorrichtung 3 für jede Kamera 2 vorgesehen, obgleich das System der vorliegenden Erfindung nicht hierauf beschränkt ist, und die aufgenommenen Bilder, die von mehreren Kameras 2 aufgenommen sind, können individuell von einer einzelnen Intra-Kamera-Nachverfolgungsvorrichtung 3 verarbeitet werden. Ferner ist ebenso eine Konfiguration, in der einige Funktionen der Intra-Kamera-Nachverfolgungsvorrichtung 2 zu einer jeden Kamera 2 oder der Nachverfolgungsverarbeitungsvorrichtung 4, welche später im Detail beschrieben werden wird, hinzugefügt sind, möglich.
Jede Intra-Kamera-Nachverfolgungsvorrichtung 3 führt einen Intra-Kamera-Nachverfolgungsprozess der bildaufgenommenen Person(en) auf Basis des Bildsignals (aufgenommenen Bilder) durch, die von der entsprechenden Kamera 2 eingegeben werden. Dieser Intra-Kamera-Nachverfolgungsprozess wird unter Verwendung einer bekannten Personen-Nachverfolgungs(tracing)-Technologie durchgeführt. Beispielsweise vergleicht die Intra-Kamera-Nachverfolgungsvorrichtung 3 jedes aufgenommene Bild, das von der Kamera 2 aufgenommen wurde, mit einem Hintergrundbild, das vorab aufgenommen wurde (berechnet die Differenz im Helligkeitswert eines jeden Pixels) (Hintergrundsubtraktion) und extrahiert dadurch einen Änderungsbereich, in dem ein sich bewegendes Objekt existiert. Das Hintergrundbild ist ein aufgenommenes Bild, das kein sich bewegendes Objekt enthält und wird vorab von jeder Kamera 2 aufgenommen. Jede Intra-Kamera-Nachverfolgungsvorrichtung 3 erfasst in dem Änderungsbereich einen rechteckförmigen Personenbereich, der eine Person und einen Teil des Hintergrunds aufweist, unter Verwendung bekannter Merkmalswerte (beispielsweise HOG-Merkmalswert („Histrogram of Oriented Gradient“)). Die Intra-Kamera-Nachverfolgungsvorrichtung 3 erfasst für jedes aufgenommene Bild einen Personenbereich und verfolgt den Personenbereich unter Verwendung eines bekannten Vorlageabgleichs- oder Nachverfolgungsfilter (beispielsweise eines Partikelfilters. Die Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtung 3 speichert die Information eines jeden Personenbildes, das erfasst wurde (Pixelinformation des Personenbereichs) und seine relevanten Informationen (wie die Positionsinformation der Person) in einem vorbestimmten Speicher als Intra-Kamera-Nachverfolgungsinformation.
Mehrere Teile von Intra-Kamera-Nachverfolgungsinformation, die durch den oben beschriebenen Intra-Kamera-Nachverfolgungsprozess erhalten werden, werden sukzessive zu der Nachverfolgungsverarbeitungsvorrichtung 4 weitergeleitet. Es ist zu bemerken, dass der Intra-Kamera-Nachverfolgungsprozess nicht auf das oben beschriebene Verfahren beschränkt ist. Es ist beispielsweise ebenso möglich, als eine Person einen Satz (Bereich) von Pixeln zu erfassen, in dem eine Bewegung auftritt, als ein Ergebnis einer Inter-Frame-Subtraktion zwischen aufgenommenen Bildern mit aufeinanderfolgenden Aufnahmezeiten. Wenn mehrere unterschiedliche Personen in einem aufgenommenen Bild vorhanden sind, wird die Intra-Kamera-Nachverfolgungsinformation für jede Person erhalten.
Die Nachverfolgungsverarbeitungsvorrichtung 4 besteht aus einem PC, der über dedizierte Kabel oder ein Netzwerk wie ein LAN mit den Intra-Kamera-Nachverfolgungsvorrichtungen 3 verbunden ist, obgleich sie nicht hierauf beschränkt ist und die Nachverfolgungsverarbeitungsvorrichtung auch als ein Server oder eine elektronische Vorrichtung oder ähnliches konfiguriert sein kann, die mit einem Mikrocomputer versehen ist, der einen Nachverfolgungsprozess durchführt. Die Nachverfolgungs-Verarbeitungsvorrichtung 4 umfasst eine Speichereinheit (Speichermittel) 21, die die Intra-Kamera-Nachverfolgungsinformation speichert, die sukzessive von den Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtungen 3 eingegeben wird, und eine Nachverfolgungsbedingungseinstelleinheit 23, die auf Basis von Benutzereingabeinformation eine Verarbeitungsbedingung in der Nachverfolgungsverarbeitungsvorrichtung 4 einstellt. Die Benutzereingabeinformation wird durch einen Benutzer über eine Eingabeeinheit 22 eingegeben. Die Nachverfolgungsbedingungseinstelleinheit 23 umfasst eine Einstelleinheit 35 für einen ungültigen Bereich, der entsprechend der Benutzereingabeinformation einen ungültigen Bereich in dem aufgenommenen Bild (Bildbereich) einer jeden Kamera 2 einstellt, und eine Betriebsmodusauswahleinheit (Betriebsmodusauswahlmittel) 36, das entsprechend der Benutzereingabeinformation einen Betriebsmodus (erster Betriebsmodus oder zweiter Betriebsmodus) eine Assoziierungseinheit 27 auswählt.
Ferner umfasst die Nachverfolgungsverarbeitungsvorrichtung 4 eine Ähnlichkeitsberechnungseinheit (Ähnlichkeitsberechnungsmittel) 24, die für jede Kamera zwei Ähnlichkeitsgrade zwischen mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation berechnet, eine Bewegungsrichtungsberechnungseinheit (Bewegungsrichtungsberechnungsmittel) 25, die auf Basis der Positionsinformation der Personen in den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation Bewegungsrichtungsvektoren der Personen berechnet, eine Aufbereitungseinheit (Aufbereitungsmittel) 26, die für jede Kamera 2 die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation für jede Kamera 2 einschränkt (nämlich ungeeignete Teile von Intra-Kamera-Nachverfolgungsinformation entfernt) und dadurch Nachverfolgungsinformation extrahiert, die in dem Prozess des Nachverfolgens der Personen über die Kameras 2 zu verwenden ist (im folgenden als „Inter-Kamera-Nachverfolgungsinformation“ bezeichnet), eine Assoziierungseinheit (Assoziierungsmittel) 27, die auf Basis der extrahierten Inter-Kamera-Nachverfolgungsinformation die Personen in den aufgenommen Bildern über die Kameras 2 assoziiert, und eine Nachverfolgungsergebnispräsentiereinheit (Ergebnispräsentiermittel) 28, die das Ergebnis der Assoziierung der Personen, die von der Assoziierungseinheit 27 durchgeführt wurde, für den Benutzer präsentiert und dem Benutzer erlaubt, die Geeignetheit des Ergebnisses der Assoziierung zu bestimmen. Die Nachverfolgungsergebnispräsentiereinheit 28 präsentiert eine Serie von Ergebnissen der Assoziierung der Personen für den Benutzer über eine Ausgabeeinheit 29.
Die Ausgabeeinheit 29 besteht aus einem Flüssigkristalldisplay und die Eingabeeinheit 22 besteht aus einer Tastatur und einer Maus, obgleich sie nicht hierauf beschränkt sind. Beispielsweise können die Ausgabeeinheit 29 und die Eingabeeinheit 22 unter Verwendung einer anderen Vorrichtung wie beispielsweise einem berührungsempfindlichen Bildschirm verkörpert werden.
Die Benutzereingabeinformation umfasst wenigstens Information hinsichtlich der Position und der Größe eines ungültigen Bereichs in den aufgenommenen Bildern (später beschrieben) und Auswahlinformation des Betriebsmodus der Assoziierungseinheit 27 hinsichtlich des Assoziierungsprozesses (hier, einem Hochpräzisionsmodus und einem Hochgeschwindigkeitsmodus).
Die Inter-Kamera-Nachverfolgungsinformation umfasst Information der Personenbilder, die von den Kameras 2 aufgenommen wurden (Pixelinformation der Personenbereiche) ebenso wie relevante Information wie die Position der Person, die Aufnahmezeit und einen Vektor der Bewegungsrichtung der Person, die mit den jeweiligen Personenbildern assoziiert sind. Die Positionsinformation einer Person wird als eine Zeitlinie der Position des Personenbereichs (Bewegungstrajektorie der Person) gebildet. Die Position einer Person kann durch eine Vielzahl von bekannten Verfahren erfasst werden, obgleich in dieser Ausführungsform die Koordinate der Spitze des Kopfs der Person als eine Referenzposition der Person verwendet wird.
Die Nachverfolgungsbedingungseinstelleinheit 23 weist eine GUI(graphische Benutzerschnittstellen)-Funktion auf. Wie in 3 gezeigt, kann der Benutzer über die Eingabeeinheit 22 in Benutzereingabebildschirmen, die auf der Ausgabeeinheit 29 angezeigt werden, Benutzereingabeinformation wie eine Nachverfolgungsbedingung eingeben. In einem Betriebsmodusauswahlbildschirm, der in 3A gezeigt ist, die sich auf den Assoziierungsprozess bezieht, kann der Benutzer durch einen Mausklick entweder einen Hochpräzisionsmodus (erster Betriebsmodus), der eine Verarbeitungsgenauigkeit priorisiert, oder einen Hochgeschwindigkeitsmodus (zweiten Betriebsmodus) auswählen, der eine Verarbeitungsgeschwindigkeit priorisiert.
In einem Einstellbildschirm für einen ungültigen Bereich, der in 3B gezeigt ist, kann der Benutzer einen ungültigen Bereich 31 in dem aufgenommenen Bild (Bildaufnahmebereich) 30 einstellen. Genauer kann der Benutzer einen ungültigen Bereich 31 (ein rechteckiger Bereich, der durch Schraffur in dem aufgenommenen Bild 30 gezeigt ist) durch Ziehen des Mauszeigers über einen Bereich einstellen, in dem der Benutzer unter Beobachtung des aufgenommenen Bildes 30 annimmt, dass ein gültiges Personenbild nicht erhalten werden kann.
Der ungültige Bereich 31 kann als ein Kandidatenbereich gehalten werden, bis er durch den Benutzer bestätigt wird (beispielsweise bis der Benutzer einen Bestätigungsknopf drückt, der in den Zeichnungen nicht gezeigt ist), so dass ein Benutzer den ungültigen Bereich 31 zu einer geeigneten Zeit erneut einstellen kann (Korrektur der Position und/oder Größe). Beispielsweise kann der Benutzer im ungültigen Bereich 31 (Kandidatenbereich) durch Ziehen des Mauszeigers nach Platzieren desselben auf einen Teil in dem ungültigen Bereich 31 verschieben und kann die Größe des ungültigen Bereichs 31 durch Ziehen des Mauszeigers nach Platzieren desselben auf den schwarzen Viereckmarkierungen ändern, die auf den Seiten gezeigt sind, die den ungültigen Bereich 31 definieren. Das System der vorliegenden Erfindung ist nicht auf diese Ausführungsform beschränkt und der Benutzer kann einen ungültigen Bereich 31 durch Eingeben der Koordinaten, die den ungültigen Bereich 31 definieren (beispielsweise Koordinaten der vier Ecken eines rechteckigen Bereichs) einstellen oder erneut einstellen.
In dem in 3B gezeigten Beispiel kann ein Bereich um einen Zaun 32, einen Strommast 33 und einen Baum 34 am Straßenrand, wo eine Okklusion auftreten mag, als ein ungültiger Bereich eingestellt werden, obgleich die vorliegende Erfindung nicht hierauf beschränkt ist und der Benutzer in Abhängigkeit von der Situation des aufgenommenen Bereichs einen Bereich um ein anderes Hindernis (wie eine Gebäudestruktur, ein Möbelstück, usw.) als einen ungültigen Bereich einstellen. Ferner ist der ungültige Bereich nicht auf einen Bereich beschränkt, wo eine Okklusion auftreten mag, und ein Bereich in der die Bewegungsrichtung von Personen sich von dem anderen Bereich unterscheidet (beispielsweise eine Passage, die sich in einer Richtung erstreckt, die sich von der einer Hauptpassage unterscheidet), ein dunkler Bereich (beispielsweise ein Platz, wo Sonnenlicht oder Beleuchtung blockiert und die Person darin unkenntlich gemacht ist) oder ein Bereich, der an einem Randabschnitt des Bildaufnahmebereichs der Kamera angeordnet ist, so dass eine ausreichende Verlässlichkeit des Bildes sichergestellt ist, können als ein ungültiger Bereich eingestellt werden. Ferner, obgleich 3B lediglich einen rechteckförmigen ungültigen Bereich 31 zeigt, kann eine beliebige Zahl (einschließlich Null) von ungültigen Bereichen 31 mit beliebigen Formen eingestellt werden. Die Information hinsichtlich des eingestellten ungültigen Bereichs, wie Position und Größe, stellt einen Teil von Einstellungsdaten hinsichtlich der Nachverfolgungsverarbeitungsbedingung dar, die später im Detail beschrieben wird, und ist einer Speichereinheit 21 als ein ungültiger Bereichsplan gespeichert, der mit jeder Kamera 2 assoziiert ist.
Die Ähnlichkeitsberechnungseinheit 24 vergleicht die Personenbilder hinsichtlich der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation und evaluiert dadurch Ähnlichkeitsgrade zwischen den Teilen von Intra-Kamera-Nachverfolgungsinformation. Genauer erzeugt die Ähnlichkeitsberechnungseinheit 24 RGB-Farbhistogramme für jeweilige Personenbereiche oder für jeweilige Sub-Bereiche, die durch Unterteilen der Personenbereiche erhalten werden, und berechnet die Ähnlichkeitsgrade dazwischen durch Verwendung eines Bhattacharyya-Koeffizienten. Die Farbhistogramme sind normalisiert, so dass sie weniger einfach durch einen Unterschied in der Größe der Personenbereiche beeinflusst werden. Ferner, in einem Fall bei dem jeder Personenbereich unterteilt ist, können die Ähnlichkeitsgrade zwischen den Farbhistogrammen miteinander unter Verwendung eines Mittelwerts der Ähnlichkeitsgrade der jeweiligen Sub-Bereiche verglichen werden.
Es ist zu bemerken, dass die Berechnung der Ähnlichkeitsgrade (Evaluierung der Ähnlichkeit), die durch die Ähnlichkeitsberechnungseinheit 24 durchgeführt wird, nicht auf das beschränkt ist, was hier beschrieben wird und ein anderes bekanntes Verfahren kann ebenso benutzt werden. Die Verwendung von Farbhistogrammen kann jedoch in vorteilhafter Weise ein Problem vermeiden, dass von der Differenz in Größe zwischen den Personenbildern verursacht wird. Ferner kann die Ähnlichkeitsberechnungseinheit 24 einen Evaluierungsbereich (beispielsweise einen Kopf und eine Torso) in jedem Personenbild unter Verwendung eines bekannten Verfahrens (zum Beispiel durch Nutzung der Merkmalswerte hinsichtlich der äußeren Form des Körpers, des Rumpfes, des Beines usw., die im allgemeinen in Personen vorliegen) und den Ähnlichkeitsgrad hinsichtlich des Evaluierungsbereichs berechnen.
Wie später im Detail beschrieben wird, kann die Aufbereitungseinheit 26 den ungültigen Bereichsplan, der durch die Einstelleinheit 35 für einen ungültigen Bereich eingestellt wurde, erhalten und die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis des ungültigen Bereichsplans aufbereiten. Die Aufbereitungseinheit 26 entfernt nämlich Teile von Intra-Kamera-Nachverfolgungsinformation hinsichtlich von Personen, die in dem/den ungültigen Bereich(en) anwesend sind, der/die durch den Benutzer eingestellt ist/sind, und schließt dadurch in einfacher und verlässlicher Weise die Teile von Intra-Kamera-Nachverfolgungsinformation, die für den Nachverfolgungsprozess über die Kameras 2 ungeeignet sind, aus den Teilen von Information aus, die für den Nachverfolgungsprozess in Betracht zu ziehen sind.
Ferner kann die Aufbereitungseinheit 26 die Ähnlichkeitsgrade, die von der Ähnlichkeitsberechnungseinheit 24 berechnet wurden, beschaffen, und die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis der Ähnlichkeitsgrade aufbereiten. Die Aufbereitungseinheit 26 bereitet nämlich die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis der dazwischen vorliegenden Ähnlichkeitsgrade auf und schließt dadurch in einfacher und verlässlicher Weise die Teile von Intra-Kamera-Nachverfolgungsinformation, die für den Nachverfolgungsprozess über die Kameras 2 ungeeignet sind (wie beispielsweise ein Bild, das eine Person repräsentiert, deren Bewegungsrichtung sich von denen der Personen unterscheidet, die durch andere Bilder repräsentiert werden, oder ein Bild, in dem eine Okklusion aufgetreten ist) von den Teilen an Information ausschließen, die in dem Nachverfolgungsprozess in Betracht zu ziehen sind.
Ferner kann die Aufbereitungseinheit 26 die Bewegungsrichtungsvektoren beschaffen, die von der Bewegungsrichtungsberechnungseinheit 25 berechnet wurden, und die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis der Bewegungsrichtungsvektoren aufbereiten. Da der Winkel eines Bewegungsrichtungsvektors, der für eine Bewegungsrichtung einer Person steht, dazu neigt, mit der Orientierung der Person zusammenzufallen, extrahiert nämlich die Aufbereitungseinheit 26 als die Teile der Intra-Kamera-Nachverfolgungsinformation Teile der Intra-Kamera-Nachverfolgungsinformation mit Bewegungsrichtungsvektoren, die einen hohen Grad an Entsprechung zwischen ihren Winkeln aufweisen, und verbessert dadurch die Genauigkeit des Nachverfolgungsprozesses über die Kameras 2.
Obgleich dies nicht in den Zeichnungen gezeigt ist, sind die Einheiten 23 bis 28 der Nachverfolgungsverarbeitungseinheit 4 durch eine CPU („Central Processing Unit“) realisiert, die einen Betrieb und eine Steuerung entsprechend vorbestimmter Programme (wie beispielsweise einem Programm für den Nachverfolgungsprozess), ein ROM („Read Only Memory“), die ein Steuerprogramm speichert, ein RAM („read only memory“), das als Arbeitsspeicher dient usw. realisiert. Die Speichereinheit 21 kann jede Speichervorrichtung sein, die zumindest zeitweise Information speichern kann, die für den Nachverfolgungsprozess notwendig ist, der von der Nachverfolgungsverarbeitungsvorrichtung 4 durchgeführt wird, und besteht in dieser Ausführungsform in einer Festplatte. Die Speichereinheit 21 ist jedoch nicht hierauf beschränkt und eine andere Speichervorrichtung, wie eine optische Disk oder ein Flash-Speicher, können verwendet werden.
4 ist ein Ablaufdiagramm, das einen Ablauf des Nachverfolgungsprozesses zeigt, der von der Nachverfolgungsverarbeitungsvorrichtung ausgeführt wird. 5 ist ein Ablaufdiagramm, das Schritt ST102 in 4 im Detail zeigt. 6, 7 und 8 sind erläuternde Diagramme, die schematisch die Prozesse der Schritte ST201, ST202 und ST203 in 5 zeigen, und 9 ist ein Diagramm, das ein Beispiel einer Bildschirmanzeige hinsichtlich einer Präsentation eines Ergebnisses des Nachverfolgens von Schritt ST106 in 4 zeigt.
Wie in 4 gezeigt, erzeugt in dem Nachverfolgungsprozess die Nachverfolgungsbedingungseinstelleinheit 23 zunächst Einstelldaten hinsichtlich der Nachverfolgungsverarbeitungsbedingung auf Basis der Benutzereingabeinformation, die durch den Benutzer eingegeben wurde (ST101). Die Einstelldaten, die hier erzeugt werden, umfassen wenigstens den zuvor erwähnten ungültigen Bereichsplan und Auswahlinformation des Betriebsmodus der Assoziierungseinheit 27. Es ist zu bemerken, dass in ST101 die Nachverfolgungsbedingungseinstelleinheit 23 nicht notwendigerweise die Einstelldaten neu erzeugen muss und die Einstelldaten, die in einem vergangenen Prozess erzeugt wurden, können mit teilweise Modifikation oder ohne Modifikation verwendet werden.
Als nächstes bereitet die Aufbereitungseinheit 26 für jede Kamera 2 die Teile von Intra-Kamera-Nachverfolgungsinformation auf (ST102). In diesem Aufbereitungsprozess, wie in 5 gezeigt, führt die Aufbereitungseinheit 26 das Aufbereiten der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis des ungültigen Bereichsplans durch (ST201). In ST201, wie dies in 6 zum Beispiel gezeigt ist, wird die Position einer jeden Person a1 bis a6 in dem aufgenommenen Bild 30 mit der Position des ungültigen Bereichs 31, die durch den Benutzer eingestellt ist (siehe auch 3B) verglichen und die Teile von Intra-Kamera-Nachverfolgungsinformation hinsichtlich der Personen a1 bis a3, die als innerhalb des ungültigen Bereichs 31 bestimmt sind, werden entfernt, wodurch die Teile von Information auf die Intra-Kamera-Nachverfolgungsinformation hinsichtlich der Personen a4 bis a6 eingeengt werden.
Ob eine jede Person a1 bis a6 sich innerhalb des ungültigen Bereichs 31 befindet, wird hierbei auf Basis dessen bestimmt, ob eine Gesamtheit des Personenbereichs hinsichtlich jeder Person a1 bis a6 sich innerhalb des ungültigen Bereichs 31 befindet, obgleich die vorliegende Erfindung nicht hierauf beschränkt ist und eine Vielzahl von Verfahren verwendet werden können. Beispielsweise kann die Aufbereitungseinheit 26 die Bestimmung durch Bestimmen, ob eine Referenzkoordinate des Personenbereichs (beispielsweise eine Koordinate des Mittelpunkts des Kopfs) sich innerhalb des ungültigen Bereichs befindet, durchführen.
Zur Vereinfachung der Erläuterung zeigt 6 ferner mehrere Personen a1 bis a6 (nämlich eine Bewegungstrajektorie der gleichen Person, die sich von einer entfernten Seite zu einer nahen Seite in der Zeichnung bewegt) in einem aufgenommenen Bild, obgleich Personen a1 bis a6 tatsächlich in jeweiligen mehreren aufgenommenen Bildern (beispielsweise mehreren Frames, die ein Bewegtbild bilden) enthalten sind (dies gilt auch für die Personen in den 7A, 8A und 8B, die später beschrieben werden).
Wiederum unter Bezug auf 5 bereitet die Aufbereitungseinheit 26 die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis ihrer gegenseitigen Ähnlichkeitsgrade auf, die durch die Ähnlichkeitsberechnungseinheit 24 erhalten wurden (ST202). In ST202 berechnet die Ähnlichkeitsberechnungseinheit 24 hinsichtlich von Personen b1 bis b4 in dem aufgenommenen Bild 30, das in 7A gezeigt ist, Ahnlichkeitsgrade zwischeneinander. In 7A ist jede der mehreren Personen in dem aufgenommenen Bild 30 in einer vereinfachten Weise mit einem Kreis (im wesentlichen entsprechend zu dem Kopf) und einer Ellipse (im wesentlichen entsprechend zu Torso und Beinen) gezeigt (dies gilt auch für die später beschriebene 8). 7B zeigt eine Tabelle, die gemeinsam die gegenseitigen Ähnlichkeitsgrade zeigt. In dieser Tabelle sind beispielsweise die Ähnlichkeitsgrade von Person b1 (in den vertikal angeordneten Feldern) hinsichtlich der Personen b2, b3 und b4 (in den horizontal angeordneten Feldern) jeweils 76, 72 und 71 und die Gesamtheit dieser Ähnlichkeitsgrade beträgt 219. Jeder gezeigte Wert steht für einen Grad an Ähnlichkeit. In ähnlicher Weise betragen die Gesamtähnlichkeitsgrade der Personen b2, b3 und b4 (in den vertikal angeordneten Feldern) jeweils 254, 247 und 248.
Die Unterschiede zwischen den Ähnlichkeitsgraden von Personen b1 bis b4, die in 7B gezeigt sind, können zu einem Auftreten einer Okklusion, einer fehlerhaften Erfassung einer Person usw. zugeordnet werden. Die Aufbereitungseinheit 26 benutzt die Gesamtähnlichkeitsgrade, die in 7B gezeigt sind, als Evaluierungswerte, die in dem Prozess von ST202 zu verwenden sind. Die Aufbereitungseinheit 26 entfernt die Intra-Kamera-Nachverfolgungsinformation hinsichtlich von Person b1, deren Ähnlichkeitsgrad der geringste ist, um dadurch die Teile von Intra-Kamera-Nachverfolgungsinformation auf diejenigen einzuschränken, die sich auf die Personen b2 bis b4 beziehen.
Es ist zu bemerken, dass das aufgenommene Bild, das in 7A gezeigt ist, mehrere Personen (Bewegungstrajektorie) außer den Personen b1 bis b4 enthält, obgleich in der dargestellten Ausführungsform die Ähnlichkeitsgrade hinsichtlich der Personen b1 bis b4 um der Einfachheit der Erläuterung halber evaluiert wurden. Ferner ist die dargestellte Ausführungsform dazu ausgestaltet, die Information hinsichtlich Person b1 mit dem geringsten Evaluierungswert (Gesamtähnlichkeitsgrad) zu entfernen, obgleich es beispielsweise auch möglich ist, einen vorbestimmten Schwellenwert für die Evaluierungswerte zu setzen und die Teile von Intra-Kamera-Nachverfolgungsinformation mit Bezug auf alle Personen zu entfernen, die einen Evaluierungswert geringer als der Schwellenwert aufweisen. Alternativ ist es ebenso möglich, als die Inter-Kamera-Nachverfolgungsinformation die Intra-Kamera-Nachverfolgungsinformation mit Bezug auf eine Person mit dem höchsten Evaluierungswert zu extrahieren (hier, Person b2) (die andere Information ist sämtlich entfernt). Ferner, obgleich ST202 unabhängig von dem Aufbereitungsprozess des zuvor erwähnten ST201 durchgeführt wird, ist es ebenso möglich, den Prozess ST202 für die Personen durchzuführen, die durch den Prozess von ST201 aufbereitet wurden (beispielsweise Personen a4 bis a6 in 6). In diesem Fall ist die Reihenfolge der Durchführung der Prozesse von ST201 und ST202 änderbar.
Zurückkehrend zu 5 bereitet die Aufbereitungseinheit 26 die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation auf Basis der Bewegungsrichtungsvektoren auf, die von der Bewegungsrichtungsberechnungseinheit 25 erhalten wurden (ST203). In dem Aufbereitungsprozess von ST203 werden hinsichtlich des aufgenommenen Bildes 30a der ersten Kamera 2a Bewegungsrichtungsvektoren vc1 bis vc7 von Personen c1 bis c7 erhalten, wie dies in 8A gezeigt ist, und hinsichtlich des aufgenommenen Bildes 30a der zweiten Kamera 2b, Bewegungsrichtungsvektoren vd1 bis vd5 von Personen b1 bis b5. Diese Bewegungsrichtungsvektoren vc1 bis vc7 und Bewegungsrichtungsvektoren vd1 bis vd5 werden auf Basis der Koordinaten eines bestimmten Teils (hier Spitze des Kopfes) der Person zu aufeinanderfolgenden Aufnahmezeiten (nämlich zeitlich aufeinanderfolgend geordnet in Bewegungstrajektorie) berechnet.
Die Aufbereitungseinheit 26 vergleich die Winkel der Bewegungsrichtungsvektoren vc1 bis vc7 in dem aufgenommenen Bild der ersten Kamera 2a mit den Winkeln der Bewegungsrichtungsvektoren vd1 bis vd5 in einem aufgenommenen Bild der zweiten Kamera 2b und wenn Teile von Intra-Kamera-Nachverfolgungsinformation hinsichtlich der Personen (hier Person c4 und Person d3) mit Bewegungsrichtungsvektoren aus, die den höchsten Grad von Entsprechung der Winkel (der Winkel dazwischen ist der Kleinste) als ein Paar von Teilen von Intra-Kamera-Nachverfolgungsinformation aus (nämlich Teile von Intra-Kamera-Nachverfolgungsinformation, die in dem Intra-Kamera-Nachverfolgungsprozess zu berücksichtigen sind).
Es ist zu bemerken, dass in 8A und 8B Randbereiche 41a, 41b der aufgenommenen Bilder 30a, 30b (nämlich Randbereiche des Bildaufnahmebereichs der Kameras) mit Schraffur gezeigt sind. In diesen Randbereichen 41a, 41b ist die Verlässlichkeit des Bildes infolge einer Deformation eines bildaufgenommenen Objekts verringert und daher sind die Personen c1, c8 und Personen d1, d6, die in diesen Randbereichen 41a, 41b positioniert sind vorzugsweise vorab aus denen ausgeschlossen, die ausgewählt werden können. Ferner ist es bevorzugt, dass die Aufbereitungseinheit 26 die Größe eines jeden Bewegungsrichtungsvektors bestimmt und die Vektoren mit einer Größe kleiner als einem vorbestimmten Schwellenwert von denen ausschließt die in ST203 zu verarbeiten sind. Wenn die Person sich mit einer geringen Geschwindigkeit bewegt oder stationär ist, wird dadurch eine Verringerung in der Verlässlichkeit des Winkels des Bewegungsrichtungsvektors vermieden.
Ferner, obgleich ST203 unabhängig von den Aufbereitungsprozessen der zuvor erwähnten ST201 und ST202 durchgeführt wird, ist es ebenso möglich, den Prozess von ST203 für die Personen Bilder durchzuführen, die von wenigstens einem der Prozesse von ST201 und ST202 durchgeführt wurden. In diesem Fall ist die Reihenfolge der Durchführung der Prozesse von ST201 bis ST203 änderbar.
Obgleich es in 5 als Teil des Ablaufs gezeigt ist, ist es nicht notwendigerweise der Fall, dass alle zuvor erwähnten Schritte ST201 bis ST203 in dem Aufbereitungsprozess der Intra-Kamera-Nachverfolgungsinformation ausgeführt werden. In dem Aufbereitungsprozess können Teile von Inter-Kamera-Nachverfolgungsinformation durch wenigstens einen oder eine Kombination von zwei oder mehr von ST201 bis ST203 extrahiert werden.
Unter Bezug auf 4 bestätigt die Assoziierungseinheit 27 den Betriebsmodus auf Basis der Einstelldaten (ST103) und wenn der Hochpräzisionsmodus ausgewählt ist (ja) assoziiert sie die Personen über die Kameras 2 auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation, die in ST102 extrahiert wurden (ST104). In der vorliegenden Ausführungsform wird ein Teil an Inter-Kamera-Nachverfolgungsinformation für jede Kamera 2 extrahiert, (es werden nämlich die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation mit Ausnahme eines Teils entfernt), obgleich eine Konfiguration ebenfalls so gemacht werden kann, dass zwei oder mehr Teile von Inter-Kamera-Nachverfolgungsinformation für jede Kamera 2 extrahiert werden.
Andererseits, wenn der Hochgeschwindigkeitsmodus ausgewählt ist ST103 (nein) assoziiert die Assoziierungseinheit 27 die Personen über die Kameras 2 auf Basis der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation, bevor diese in ST102 verarbeitet werden (ST105). In diesem Fall wird die Assoziierung der Personen über die Kameras 2 auf Basis der Teile von Intra-Kamera-Nachverfolgungsinformation ausgeführt, die in geeigneter Weise jeweils als eine für jede Kamera aus den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation ausgewählt sind. Beispielsweise kann die Assoziierungseinheit 27 ein Teil von Intra-Kamera-Nachverfolgungsinformation auf Basis der Aufnahmezeiten einer vorbestimmten Person, die in den aufgenommenen Bildern einer jeden Kamera 2 erfasst wurde, auswählen (beispielsweise dasjenige mit der frühesten oder spätesten Aufnahmezeit).
Anschließend präsentiert die Nachverfolgungsergebnis-Präsentationseinheit 28 das Ergebnis des Assoziierungsprozesses in ST104 oder ST105 für den Benutzer ST106). In ST106, wie es in 9 gezeigt ist, werden Personenbilder e1, e2 hinsichtlich eines Paars von Teilen von Intra-Kamera-Nachverfolgungsinformation, die zwischen zwei Kameras assoziiert sind, auf dem Bildschirm angezeigt. Der Benutzer bestätigt visuell, ob die Personenbilder e1, e2 von der selben Person sind, und wenn es bestimmt wird, dass sie von der selben Person sind, kann er einen „ja“-Knopf 45“ drücken, um die Assoziierung zu bestätigen, während, wenn es bestimmt wird, dass sie nicht dieselbe Person sind, kann er einen „nein“-Knopf 46 drücken, um die Assoziierung zurückzuweisen. Wenn der „nein“-Knopf 46 gedrückt wird, ist es möglich, zu bestimmen, dass die Assoziierung versagt hat und den Prozess abzubrechen, obgleich es bevorzugt wird, mehrere Personenbilder als Kandidaten für die Assoziierung anzuzeigen, so dass der Benutzer das am meisten geeignete Personenbild daraus auswählen kann, um das Ergebnis des Assoziierungsprozesses zu heilen. Der Prozess von ST106 kann nicht nur in der Weise ausgeführt werden, dass die Teile von Intra-Kamera-Nachverfolgungsinformation, jeweils eine für jede Kamera, miteinander assoziiert werden, sondern dass auch die Teile von Intra-Kamera-Nachverfolgungsinformation jeweils mit mehreren Teilen für jede Kamera miteinander assoziiert werden. Ferner können die Prozesse von ST104 und ST105 in ähnlicher Weise über andere Kameras durchgeführt werden.
10 ist ein erläuterndes Diagramm, das eine Modifikation der Einstelleinheit des ungültigen Bereichs in der Nachverfolgungsverarbeitungsvorrichtung zeigt. In dem oben beschriebenen Beispiel, das in 3B gezeigt ist, wurde der ungültige Bereich 31 durch den Benutzer eingestellt, obgleich die Nachverfolgungsverarbeitungsvorrichtung 4 einen ungültigen Bereich (oder einen Kandidatenbereich dafür) auf Basis der vergangenen Ergebnisse des Nachverfolgungsprozesses einstellen kann.
Die Nachverfolgungsverarbeitungsvorrichtung 4 speichert in aufeinanderfolgender Weise das Ergebnis des vergangenen Aufbereitungsprozesses in der Speichereinheit 21 um den ungültigen Bereich einzustellen. Dies bedeutet, dass die Speichereinheit 21 für jede Kamera zwei Daten wie die Koordinateninformation von Personenbereichen hinsichtlich der Teile von Intra-Kamera-Nachverfolgungsinformation speichert, die in der Vergangenheit durch ST201 bis ST203 (oder wenigstens einem davon) in 5 entfernt wurden. Wie es in 10 gezeigt ist, kann auf Basis des Ergebnisses des vergangenen Aufbereitungsprozesses die Einstelleinheit 35 für den ungültigen Bereich als ungültige Bereiche 51, 52 rechteckige Bereiche einstellen, die jeweils einen Bereich in dem aufgenommenen Bild umfassen, wo Personen, deren Teile von Intra-Kamera-Nachverfolgungsinformation entfernt wurden (Personen f1 bis f6 in 10) oft erfasst wurden. In diesem Fall kann durch Berücksichtigen der Aufnahmezeiten der entfernten Teile von Intra-Kamera-Nachverfolgungsinformation (nämlich durch Bezugnahme auf lediglich die Ergebnisse des Aufbereitens hinsichtlich der Personen, die in demselben Zeitraum aufgenommen wurden) die Genauigkeit der Abschätzung der ungültigen Bereiche 51, 52 verbessert werden. Hinsichtlich der ungültigen Bereiche 51, 52 ist es ebenfalls möglich, dass der Benutzer diese in einer Weise ähnlich zu der erneut einstellt, die oben hinsichtlich des ungültigen Bereichs 31 beschrieben wurde, der in 3B gezeigt ist.
Im Vorstehenden wurde die vorliegende Erfindung in Form von spezifischen Ausführungsformen davon beschrieben, wobei diese Ausführungsform lediglich Beispiele darstellen und die vorliegende Erfindung nicht durch die Ausführungsformen beschränkt ist. Es ist zu bemerken, dass nicht alle strukturellen Elemente der Nachverfolgungsverarbeitungsvorrichtung des Nachverfolgungsverarbeitungssystems, das damit ausgestaltet ist, und des Nachverfolgungsverarbeitungsverfahrens entsprechend der vorliegenden Erfindung, die in den vorgegebenen Ausführungsformen gezeigt sind, notwendigerweise unverzichtbar sind und diese können in ausgewählter Weise soweit geeignet verwendet werden, ohne Umfang der vorliegenden Erfindung abzuweichen.
GEWERBLICHE ANWENDBARKEIT
Die Nachverfolgungsverarbeitungsvorrichtung, das Nachverfolgungsverarbeitungssystem, das damit ausgestaltet ist, und das Nachverfolgungsverarbeitungsverfahren entsprechend der vorliegenden Erfindung können, wenn ein Nachverfolgen von sich bewegenden Objekten unter Verwendung von aufgenommen Bildern, die durch mehrere Kameras aufgenommen wurden durchgeführt wird, die Genauigkeit des Nachverfolgungsprozesses über die Kameras verbessern und sind daher nützlich als ein Nachverfolgungsverarbeitungsvorrichtung, ein Nachverfolgungsverarbeitungssystem, das damit ausgestattet ist, und ein Nachverfolgungsverarbeitungsverfahren zum Nachverfolgen von sich bewegenden Objekten unter Verwendung von aufgenommenen Bildern, die von mehreren Kameras aufgenommen sind.
Bezugszeichenliste
GLOSSAR

1: Nachverfolgungsverarbeitungssystem
2: Kamera
3: Intra-Kamera-Nachverfolgungsverarbeitungsvorrichtung
4: Inter-Kamera-Nachverfolgungsverarbeitungsvorrichtung (Nachverfolgungsverarbeitungsvorrichtung)
21: Speichereinheit (Speichermittel)
22: Eingabeeinheit
23: Nachverfolgungsbedingungseinstelleinheit
24: Ähnlichkeitsberechnungseinheit (Ähnlichkeitsberechnungsmittel)
25: Bewegungsrichtungsberechnungseinheit (Bewegungsrichtungsberechnungsmittel)
26: Aufbereitungseinheit (Aufbereitungsmittel)
27: Assoziierungseinheit (Assoziierungsmittel)
28: Nachverfolgungsergebnispräsentiereinheit (Ergebnispräsentationsmittel)
29: Ausgabeeinheit
30: Aufgenommene Bilder
31: Ungültiger Bereich
32: Einstelleinheit für den ungültigen Bereich (Einstellmittel für den ungültigen Bereich)

Claims

Nachverfolgungsverarbeitungsvorrichtung zum Nachverfolgen von sich bewegenden Objekten über mehrere Kameras unter Verwendung von aufgenommenen Bildern, die von den Kameras aufgenommen sind, wobei die Vorrichtung umfasst: ein Speichermittel, das für jede Kamera mehrere Teile von Intra-Kamera-Nachverfolgungsinformation einschließlich von Bildinformation der sich bewegenden Objekte speichert, die von den aufgenommenen Bildern erhalten wurde, ein Aufbereitungsmittel, das die mehreren Teile von Intra-Kamera-Nachverfolgungsinformation aufbereitet und dadurch Teile von Inter-Kamera-Nachverfolgungsinformation extrahiert, die in einem Prozess des Nachverfolgens der sich bewegenden Objekte über die mehreren Kameras zu verwenden ist, und ein Assoziierungsmittel, das auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation die sich bewegenden Objekte in den aufgenommenen Bildern über die mehreren Kameras assoziiert.
Nachverfolgungsverarbeitungsvorrichtung nach Anspruch 1, ferner mit einem Ähnlichkeitsberechnungsmittel, das hinsichtlich der Bildinformation der sich bewegenden Objekte Ähnlichkeitsgrade zwischen den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation berechnet, wobei das Aufbereitungsmittel die Aufbereitung durch Entfernen von Teilen von Intra-Kamera-Nachverfolgungsinformation aus den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation, deren Ähnlichkeitsgrade relativ gering sind.
Nachverfolgungsverarbeitungsvorrichtung nach Anspruch 1 oder 2, ferner mit einem Einstellmittel für einen ungültigen Bereich, das für jede Kamera einen ungültigen Bereich in den aufgenommenen Bildern einstellt, wobei das Aufbereitungsmittel das Aufbereiten durch Entfernen von Teilen von Intra-Kamera-Nachverfolgungsinformation aus den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation durchführt, die sich auf sich bewegende Objekte beziehen, die innerhalb des ungültigen Bereichs positioniert sind.
Nachverfolgungsverarbeitungsvorrichtung nach Anspruch 3, wobei der ungültige Bereich durch einen Benutzer umgestellt werden kann.
Nachverfolgungsverarbeitungsvorrichtung nach Anspruch 3 oder 4, wobei das Einstellmittel für einen ungültigen Bereich den ungültigen Bereich auf Basis von Positionsinformation der sich bewegenden Objekte relativ zu den Teilen von Intra-Kamera-Nachverfolgungsinformation einstellt, die durch das Aufbereitungsmittel in der Vergangenheit entfernt wurden.
Nachverfolgungsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, ferner mit einem Betriebsmodusauswahlmittel, das hinsichtlich eines Prozesses, der durch das Assoziierungsmittel durchgeführt wird, einen ersten Betriebsmodus, der eine Verarbeitungsgenauigkeit priorisiert, oder einen zweiten Betriebsmodus auswählt, der Verarbeitungsgeschwindigkeit priorisiert, wobei, wenn der erste Betriebsmodus ausgewählt ist, das Assoziierungsmittel zur Assoziierung der sich bewegenden Objekte auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation durchführt, und, wenn der zweite Betriebsmodus ausgewählt ist, das Assoziierungsmittel die Assoziierung der sich bewegenden Objekte auf Basis der Teile von Intra-Kamera-Nachverfolgungsinformation durchführt.
Nachverfolgungsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, ferner mit einem Bewegungsrichtungsberechnungsmittel, das auf Basis von Positionsinformation der sich bewegenden Objekte in den mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation Bewegungsrichtungsvektoren der sich bewegenden Objekte berechnet, wobei das Aufbereitungsmittel die Teile von Inter-Kamera-Nachverfolgungsinformation auf Basis von Entsprechungsgraden von Winkeln der Bewegungsrichtungsvektoren zwischen den mehreren Kameras extrahiert.
Nachverfolgungsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 7, ferner mit einem Ergebnispräsentationsmittel, das ein Ergebnis der Assoziierung der sich bewegenden Objekte, die durch das Assoziierungsmittel durchgeführt werden, für einen Benutzer darstellt, um dem Benutzer zu ermöglichen, zu bestimmen, ob das Ergebnis der Assoziierung geeignet ist.
Nachverfolgungsverarbeitungssystem mit: der Nachverfolgungsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 8, den mehreren Kameras, und einer Intra-Kamera-Nachverfolgungsvorrichtung, die die Intra-Kamera-Nachverfolgungsinformation erzeugt.
Nachverfolgungsverarbeitungsverfahren zum Nachverfolgen von sich bewegenden Objekten über mehrere Kameras unter Verwendung von aufgenommenen Bildern, die durch die Kameras aufgenommen wurden, wobei das Verfahren umfasst: einen Nachverfolgungsinformationsbeschaffungsschritt des Beschaffens von mehreren Teilen von Intra-Kamera-Nachverfolgungsinformation für jede Kamera einschließlich von Bildinformation der sich bewegenden Objekte, die aus den aufgenommenen Bildern erhalten wird, einen Nachverfolgungsinformationsaufbereitungsschritt des Aufbereitens der mehreren Teile von Intra-Kamera-Nachverfolgungsinformation und des Extrahierens von Teilen von Inter-Kamera-Nachverfolgungsinformation dadurch, die in einem Prozess des Nachverfolgens der sich bewegenden Objekte über die mehreren Kameras zu verwenden sind, und einen Assoziierungsschritt des Assoziierens der sich bewegenden Objekte in den aufgenommenen Bildern über die mehreren Kameras auf Basis der Teile von Inter-Kamera-Nachverfolgungsinformation.