DE102014213553B4

DE102014213553B4 - Tracking-Unterstützungsvorrichtung, Tracking-Unterstützungssystem und Tracking-Unterstützungsverfahren

Info

Publication number: DE102014213553B4
Application number: DE102014213553.2A
Authority: DE
Inventors: c/o Panasonic Corporation Fujimatsu Takeshi; c/o Panasonic Corporation Hirasawa Sonoko; c/o Panasonic Corporation Yamamoto Hiroyuki
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-07-11
Filing date: 2014-07-11
Publication date: 2019-07-18
Anticipated expiration: 2034-07-12
Also published as: GB2516173A; CN104284146B; GB2516173B; US20150015718A1; US9191633B2; JP2015019248A; GB201412255D0; DE102014213553A1; JP5506989B1; CN104284146A; RU2551128C1

Abstract

Tracking-Unterstützungsvorrichtung zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes, das verfolgt werden soll, durch Anzeigen eines Überwachungsbildschirmes, in dem eine Vielzahl von Anzeigeansichten (43a-43d) zum Anzeigen von in Echtzeit erfassten Bildern, die von jeweiligen Kameras (1a - 1d) aufgenommen sind, in einem Planbild (41), das ein überwachtes Gebiet in Übereinstimmung mit einer tatsächlichen Anordnung der Kameras (1a - 1d) repräsentiert, angeordnet sind, auf einer Anzeigevorrichtung (7), mit:einer Einstelleinheit (23) für ein zu verfolgendes Ziel, die in Antwort auf eine Eingabeoperation, die von der überwachenden Person an einer der Anzeigeansichten (43a - 43d) zum Bezeichnen eines zu verfolgenden bewegten Objektes ausgeführt wird, das bezeichnete bewegte Objekt als ein zu verfolgendes Ziel einstellt;einer Kenntlichmachungseinheit (33) für ein zu verfolgendes Ziel, die basierend auf Nachverfolgungsinformation, die durch Verarbeiten der erfassten Bilder erhalten wird, das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, in jeder der Anzeigeansichten (43a - 43d) kenntlich macht, in der das bewegte Objekt, das als das zu verfolgendes Ziel eingestellt ist, erscheint;einer Vorhersageeinheit (24), die basierend auf der Nachverfolgungsinformation eine nächste Anzeigeansicht vorhersagt, in der das bewegte Objekt, das als zu verfolgendes Ziel eingestellt ist, als Nächstes erscheinen wird; undeiner Anzeigeansichtskenntlichmachungseinheit (32), die die nächste Anzeigeansicht, die von der Vorhersageeinheit (24) vorhergesagt wird, auf dem Überwachungsbildschirm kenntlich macht,wobei die Kenntlichmachungseinheit (33) für ein zu verfolgendes Ziel eine erste Hervorhebung zum Hervorheben eines bewegten Objektrahmens (48), der mit dem bewegten Objekt verbunden ist, das als das zu verfolgende Ziel eingestellt ist, bereitstellt, und die Anzeigeansichtskenntlichmachungseinheit (32) eine zweite Hervorhebung zum Hervorheben eines Anzeigerahmens (46), der mit der nächsten Anzeigeansicht verbunden ist, die von der Vorhersageeinheit (24) vorhergesagt wird, bereitstellt,gekennzeichnet durch eine Kontrolleinheit (25), die in einem Zustand, in dem ein bewegtes Objekt als das zu verfolgende Ziel eingestellt ist, die Einstelleinheit (23) für ein zu verfolgendes Ziel dazu veranlasst, eine Verarbeitung zum Ändern des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, auszuführen, wenn die überwachende Person, die bemerkt, dass eine Kenntlichmachung des zu verfolgenden Ziels durch die Kenntlichmachungseinheitfür ein zu verfolgendes Ziel inkorrekt ist, eine Eingabeoperation ausführt,wobei, wenn ein bewegtes Objekt erneut durch die Einstelleinheit (23) für ein zu verfolgendes Ziel als das zu verfolgende Ziel eingestellt wird, die Anzeigeansichtskenntlichmachungseinheit (32) eine dritte Hervorhebung für eine Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Ziel eigenstellt ist, aktuell erscheint, bereitstellt, so dass die Anzeigeansicht von den anderen Anzeigeansichten unterscheidbar ist.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Tracking-Unterstützungsvorrichtung, ein Tracking-Unterstützungssystem und ein Tracking-Unterstützungsverfahren zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes, das verfolgt werden soll, durch Anzeigen eines Überwachungsbildschirmes, in dem eine Vielzahl von Anzeigeausschnitten zum Anzeigen von in Echtzeit erfassten Bildern angeordnet sind, die von jeweiligen Kameras aufgenommen sind, auf eine Anzeigevorrichtung.
STAND DER TECHNIK
WO 2009/062775 A1 offenbart ein Überwachungssystem mit einem Zustandserfassungsmodul und ein Verfahren zur Selbstüberwachung eines Beobachters sowie ein Computerprogramm. Das Überwachungssystem dient zur Überwachung einer Mehrzahl von Überwachungsbereichen, wobei das Überwachungssystem von mindestens einem menschlichen Beobachter kontrollierbar ist und/oder kontrolliert wird und ein Zustandserfassungsmodul aufweist, welches ausgebildet und/oder angeordnet ist, um auf Basis von optisch erfassten Zustandssignalen des Beobachters den Überwachungszustand des Beobachters zu ermitteln.
US 8,284,255 B2 offenbart eine Vorrichtung, die eine Inter-Kamera-Verbindungsbeziehungsinformation erzeugt. Die Vorrichtung besitzt einen Merkmalswertextraktionsteil zum Extrahieren eines Merkmalswerts eines Subjekts aus durch mehrere Kameras aufgenommen Video, einen Eingangs-/Ausgangspunktextraktionsteil zum Extrahieren von Eingangs-/Ausgangspunkten, die Punkte angeben, an den ein Subjekt in jedem aufgenommenen Video erscheint und verschwindet, einen Eingangs-/Ausgangsbereichsinformationsteil zum Bilden von Eingangs-/Ausgangsbereichen auf Basis der extrahierten Eingangs-/Ausgangspunkte, einen Korrelationswertberechnungsteil zum Berechnen eines Korrelationswerts durch Erhalten einer Gesamtsumme von Ähnlichkeiten jedes Merkmalswertes des Subjekts in jeder der mehreren Kombination von Eingangs-/Ausgangspunkten, die in den Eingangs-/Ausgangsbereichen enthalten sind, einen Frequenzhistogrammerzeugungsteil zur Erzeugung eines Frequenzhistogramms auf Basis des Korrelationswerts und einen Verbindungsbeziehungsinformationserzeugungsteil zum Extrahieren einer Spitze des Frequenzhistogramms und zum Abschätzen des Vorliegens oder der Abwesenheit einer Verbindungsbeziehung zwischen den mehreren Kameras und zum Erzeugen der Verbindungsbeziehungsinformation.
Einige der am weitesten verbreiteten Überwachungssysteme umfassen mehrere Kameras, die in einem überwachten Gebiet aufgestellt sind, und einen Monitor, der zum Anzeigen eines Überwachungsbildschirmes geeignet ist, in dem mehrere Anzeigeausschnitte zum Anzeigen von in Echtzeit erfassten Bildern angeordnet sind, die von den jeweiligen Kameras aufgenommen sind, sodass eine überwachende Person das überwachte Gebiet überwachen kann. In einem solchen Überwachungssystem wird die überwachende Person, wenn sie eine verdächtige Person auf dem Überwachungsbildschirm findet, die verdächtige Person, während des Betrachtens der mehreren Anzeigeausschnitte in dem Überwachungsbildschirm, verfolgen, um zu sehen, wie sich die Person danach verhält.
In einem Fall, in dem die überwachende Person eine Person verfolgt während sie, wie oben erwähnt, mehreren Anzeigeausschnitte auf dem Überwachungsbildschirm betrachtet, wird von der überwachenden Person gefordert, den Anzeigeausschnitt, in dem die Person als nächstes erscheint (oder angezeigt wird), anhand der Bewegungsrichtung der zu überwachenden Person zu bestimmen, aber wenn es viel Zeit benötigt hat, den nächsten Anzeigeausschnitt zu bestimmen, dann könnte die überwachende Person die Sicht auf die zu überwachende Person verlieren. Aus diesem Grund ist eine Konfiguration zum Reduzieren der Belastung der überwachenden Person erforderlich, die es erlaubt, das Verfolgen einer Person reibungslos auszuführen. Im Hinblick auf einen solchen Anspruch ist eine Technologie herkömmlicherweise bekannt, in der basierend auf Information, wie zum Beispiel eine Bewegungsrichtung einer überwachten Person, die Kamera, die als nächstes das Bild der Person erfassen wird, vorhergesagt wird und der Anzeigeausschnitt, der das erfasste Bild anzeigt, das von dieser Kamera aufgenommen ist, neben dem Anzeigeausschnitt, in dem die überwachte Person aktuell erscheint, angezeigt wird (siehe JP2005-012415A ). Es ist außerdem eine Technologie bekannt, in der ein Überwachungsbildschirm angezeigt wird, sodass der Überwachungsbildschirm ein Planbild enthält, das ein überwachtes Gebiet repräsentiert, auf dem Bilder, die die Kameras repräsentieren (Kameramarkierungen), und Anzeigeausschnitte zum Anzeigen der erfassten Bilder, die von den Kameras aufgenommen werden, angeordnet sind (siehe JP2010-268186A ).
In einem Fall, in dem die Kamera, die als Nächstes das Bild der überwachten Person erfasst, vorhergesagt wird, wie in der in JP2005-012415A offenbarten Technologie, könnte, wenn ein Fehler beim Detektieren der Bewegungsrichtung der überwachten Person oder ähnliches auftritt, eine falsche Kamera vorhergesagt werden und dies könnte verursachen, dass die überwachende Person den Blick auf die überwachte Person verliert. Deshalb ist eine Konfiguration gefordert, die sobald ein Versagen beim Detektieren der Bewegungsrichtung oder ähnlichem auftritt, eine angemessene Korrektur in Übereinstimmung mit einer Korrekturanweisungseingabe der überwachenden Person durchführt.
In Bezug auf einen solchen Anspruch ist eine Technologie bekannt, in der eine Nachverfolgungsvorrichtung zum Ausüben einer Nachverfolgungsverarbeitung konfiguriert ist, wobei ein „point of interest“ (Punkt von Interesse), der auf ein bewegtes Objekt gesetzt wird, genutzt wird und, wenn das Verfolgen des „point of interest“ schwierig wird, sich der „point of interest“ in Übereinstimmung mit einer Korrekturanweisungseingabe eines Benutzers (überwachende Person) verändert, um dadurch die Nachverfolgungsverarbeitung fortzusetzen (siehe JP2007-272732A ).
ZUSAMMENFASSUNG DER ERFINDUNG
In der in JP2005-012415A offenbarten Technik könnte die Belastung der überwachenden Person reduziert werden, da die Kamera, die als Nächstes das Bild der zu überwachenden Person erfasst (nächste Kamera), vorhergesagt wird und das von dieser Kamera aufgenommene Bild angezeigt wird. Wenn sich allerdings eine andere Person zusätzlich zu der überwachten Person in dem erfassten Bild befindet, das von der Kamera aufgenommen wird, die aktuell das Bild der überwachten Person erfasst, dann könnte die Vorhersage der nächsten Kamera auf Basis der Bewegungsrichtung der anderen Person ausgeführt werden. In einem solchen Fall ist die Vorhersage der nächsten Kamera nicht korrekt und das könnte dazu führen, dass die überwachende Person den Blick auf die überwachte Person verliert.
Andererseits wird in der in JP2010-268186A offenbarten Technologie, die überwachende Person durch die positionelle Beziehung zwischen den Kameras auf dem Planbild in die Lage versetzt, zu einem gewissen Maße den Anzeigeausschnitt vorherzusagen, in dem die überwachte Person als Nächstes erscheinen wird, und deshalb kann die Belastung der überwachenden Person etwas reduziert werden. In einem Fall, in dem mehrere Anzeigeausschnitte in dem Bildschirm in Übereinstimmung mit der Zahl der installierten Kameras angeordnet sind, ist es allerdings schwierig, den nächsten Anzeigeausschnitt sofort und exakt in den mehreren Anzeigeausschnitten zu bestimmen, und deshalb könnte die Belastung der überwachenden Person weiterhin groß sein, und es bleibt eine hohe Wahrscheinlichkeit, dass die überwachte Person beim Verfolgen verloren geht.
Ferner kann in der in JP2007-272732A offenbarten Technologie selbst unter Umständen, in denen es für die Nachverfolgungsvorrichtung schwierig ist, eine Nachverfolgungsverarbeitung auszuführen, mithilfe der überwachenden Person die Nachverfolgungsverarbeitung ohne Unterbrechung weitergeführt werden. Allerdings bezieht sich dieser Stand der Technik nur auf eine Intrakameranachverfolgungsverarbeitung, die basierend auf den erfassten Bildern ausgeführt wird, die von einer einzigen Kamera aufgenommen werden. In einer Interkameranachverfolgungsverarbeitung kann wiederum ein Fehler auftreten, der die Nachverfolgungsinformation, die bei der Intrakameranachverfolgungsverarbeitung von einer Kamera erhalten wird, mit der Nachverfolgungsinformation, die bei der Intrakameranachverfolgungsverarbeitung von einer anderen Kamera erhalten wird, verknüpft und es könnte, wenn tatsächlich ein Fehler in der Interkameranachverfolgungsverarbeitung auftritt, ein Wechsel der zu verfolgenden Person unvermeidlich auftreten. Der Stand der Technik stellt keine effektiven Maßnahmen zur Verfügung, um mit einem Fehler, der in der Interkameranachverfolgungsverarbeitung auftreten könnte, umzugehen.
Die vorliegende Erfindung wurde gemacht, um solche Probleme des Standes der Technik zu lösen und ein Hauptziel der vorliegenden Erfindung ist es, eine Tracking-Unterstützungsvorrichtung, ein Tracking-Unterstützungssystem und ein Tracking-Unterstützungsverfahren bereitzustellen, die dazu konfiguriert sind, eine Unterstützungsverarbeitung angemessen auszuführen, um die Belastung der überwachenden Person beim Verfolgen einer überwachten Person während des Betrachtens erfasster Bilder, die von mehreren Kameras aufgenommen und auf einem Überwachungsbildschirm angezeigt werden, zu verringern, sodass die überwachende Person die Verfolgung fortführen kann, ohne die Sicht auf die überwachte Person zu verlieren. Ein weiteres Ziel der vorliegenden Erfindung ist es, es zu ermöglichen, das Verfolgen kontinuierlich auszuführen, selbst wenn eine Unterbrechung oder ein Fehler in einer Nachverfolgungsverarbeitung, die von einer Nachverfolgungsvorrichtung ausgeführt wird, auftritt.
Um das oben genannte Ziel zu erreichen, stellt ein erster Aspekt der Erfindung eine Tracking-Unterstützungsvorrichtung zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes bereit, das verfolgt werden soll, wie sie in Anspruch 1 definiert ist..
Entsprechend dieser Struktur könnte die überwachende Person, wenn sie in Echtzeit das überwachte bewegte Objekt verfolgt, während des Betrachtens der erfassten Bilder, die von mehreren Kameras aufgenommen und auf dem Überwachungsbildschirm angezeigt werden, weniger Schwierigkeiten im Finden der nächsten Anzeigeansicht in den mehreren Anzeigeansichten haben und deshalb kann die Belastung der überwachenden Person beim Ausführen der Aufgabe des Verfolgens beträchtlich reduziert werden und das Verfolgen kann fortgeführt werden, ohne den Blick auf das bewegte Objekt, das als das zu verfolgende Ziel bezeichnet ist, zu verlieren. Ferner kann das zu verfolgende Ziel, selbst wenn mehrere bewegte Objekte in einer Anzeigeansicht erscheinen, eindeutig angegeben werden, und deshalb ist es möglich, eine falsche Kenntlichmachung der nächsten Anzeigeansicht zu vermeiden.
In diesem Fall wird die Kamera, die als Nächstes das Bild des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, aufnimmt, das heißt, die Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, kann aus der Bewegungsrichtung des bewegten Objektes und dem Positionsverhältnis zwischen dem bewegten Objekt und dem Bildgebiet jeder Kamera vorhergesagt werden.
Entsprechend dieser Struktur wird das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, auf dem Überwachungsbildschirm kenntlichgemacht und die überwachende Person kann ein Fehler hinsichtlich des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, bemerken und eine Operation zum Bezeichnen des korrekten bewegten Objektes als das zu verfolgende Ziel ausführen, um dadurch das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, zu ändern, sodass in dem Überwachungsbildschirm, der danach angezeigt wird, das bewegte Objekt, das als das zu verfolgende Ziel bezeichnet ist, in der vorhergesagten nächsten Anzeigeansicht garantiert erscheinen wird und die Verfolgung fortgesetzt werden kann, ohne den Blick auf das bewegte Objekt, das als das zu verfolgende Ziel bezeichnet ist, zu verlieren. Ferner, wenn das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, in der vorhergesagten nächsten Anzeigeansicht angezeigt ist, kann die überwachende Person sofort das angezeigte bewegte Objekt überprüfen und aus diesem Grund kann die überwachende Person ein inkorrektes Einstellen, wenn überhaupt, des zu verfolgenden Ziels sofort bemerken und die Einstellung des zu verfolgenden Ziels garantiert korrigieren.
In diesem Fall, wenn die Einstelleinheit für ein zu verfolgendes Ziel eine Verarbeitung des Änderns des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, ausführt, wird eine Verarbeitung des Widerspiegels der Änderung des zu verfolgenden Ziels in der Nachverfolgungsinformation, das heißt eine Verarbeitung des Korrigierens der Nachverfolgungsinformation, ausgeführt.
Entsprechend dieser Struktur kann die überwachende Person die Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, aktuell erscheint, leicht finden und deshalb kann die Belastung der überwachenden Person, die die Aufgabe des Verfolgens ausführt, reduziert werden.
In einem zweiten Aspekt der vorliegenden Erfindung wird ein Tracking-Unterstützungssystem zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes bereitgestellt, das verfolgt werden soll, wie es in Anspruch 2 definiert ist.
Entsprechend dieser Struktur, ähnlich der Struktur in dem ersten Aspekt der Erfindung, der oben beschrieben wird, kann, wenn die überwachende Person das bewegte überwachte Objekt in Echtzeit verfolgt, während des Betrachtens der erfassten Bilder, die von mehreren Kameras aufgenommen und in dem Überwachungsbildschirm angezeigt werden, die Belastung der überwachenden Person, die die Aufgabe der Verfolgung ausführt, erheblich reduziert werden und die Verfolgung kann ohne Verlust der Sicht auf das bewegte Objekt, das als das zu verfolgende Ziel bezeichnet ist, fortgesetzt werden.
In einem dritten Aspekt der vorliegenden Erfindung wird ein Tracking-Unterstützungsverfahren zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes bereitgestellt, das verfolgt werden soll, wie es in Anspruch 3 definiert ist.
Entsprechend dieser Struktur, ähnlich der Struktur in dem ersten Aspekt der Erfindung, der oben beschrieben wird, kann, wenn die überwachende Person das bewegte überwachte Objekt in Echtzeit verfolgt, während des Betrachtens der erfassten Bilder, die von mehreren Kameras aufgenommen und in dem Überwachungsbildschirrri angezeigt werden, die Belastung der überwachenden Person, die die Aufgabe der Verfolgung ausführt, erheblich reduziert werden und die Verfolgung kann ohne Verlust der Sicht auf das bewegte Objekt, das als das zu verfolgende Ziel bezeichnet ist, fortgesetzt werden.
Figurenliste
Hier wird die vorliegende Erfindung im Folgenden in der Form von bevorzugten Ausführungsformen mit Verweis auf die angehängten Abbildungen beschrieben, in denen:

1 ein Diagramm zeigt, das eine Gesamtkonfiguration des Tracking-Unterstützungssystems entsprechend einer Ausführungsform der vorliegenden Erfindung zeigt;
2 eine perspektivische Ansicht zeigt, die eine Anordnung der Kameras 1a - 1d in einem Laden zeigt;
3 ein funktionales Blockdiagramm zeigt, das schematisch eine Konfiguration eines PCs 3 zeigt;
4 ein erklärendes Diagramm zeigt, das einen Überwachungsbildschirm zeigt, in dem die zu verfolgende Person nicht eingestellt ist;
5 ein erklärendes Diagramm zeigt, das den Überwachungsbildschirm zeigt, in dem die zu verfolgende Person eingestellt ist;
6 ein erklärendes Diagramm zeigt, das den Überwachungsbildschirm zeigt, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, sich bewegt hat, um in der nächsten Anzeigeansicht zu erscheinen;
7 ein erklärendes Diagramm zeigt, das den Überwachungsbildschirm zeigt, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, geändert wird;
8 ein erklärendes Diagramm zeigt, das den Überwachungsbildschirm zeigt, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, sich bewegt hat, um in der nächsten Anzeigeansicht zu erscheinen;
9 ein Flussdiagramm zeigt, das eine Abfolge von Verarbeitungen zeigt, die von verschiedenen Einheiten des PCs 3 ausgeführt werden und von Operationen, die von einer überwachenden Person auf dem Überwachungsbildschirm ausgeführt werden;
10 ein erklärendes Diagramm zeigt, das den zeitlichen Zustandswechsel der Rahmenbilder 45, 46, die in Anzeigeansichten 43a - 43d des Überwachungsbildschirmes angezeigt sind, zeigt;
11A-11C erklärende Diagramme zum Erklären von Zustandswechseln der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm zeigen; und
12A-12D erklärende Diagramme zum Erklären von Zustandswechseln der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm zeigen.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Verweis auf die Abbildungen beschrieben. In der folgenden Beschreibung sind die Begriffe „Verfolgen“ und „Nachverfolgen“, die im Grunde die gleiche Bedeutung haben, koexistent. Dies dient nur der Einfachheit der Beschreibung. Der Begriff „Verfolgen“ wird hauptsächlich in der Beschreibung einer Konfiguration, die nahe mit einer überwachenden Person verbunden ist, benutzt, während der Begriff „Nachverfolgen“ hauptsächlich in der Beschreibung einer Konfiguration, die nahe einer internen Funktion/Verarbeitung der Vorrichtung zugeordnet ist, benutzt wird.
1 zeigt ein Diagramm, das eine Gesamtkonfiguration eines Tracking-Unterstützungssystems entsprechend der vorliegenden Erfindung zeigt. Dieses Tracking-Unterstützungssystem ist zur Benutzung in einem Einzelhandelskaufhaus, wie zum Beispiel einem Supermarkt oder ähnlichem, konfiguriert und umfasst Kameras 1a - 1d, einen Rekorder (Bildaufnahmevorrichtung) 2, einen PC (Personal Computer) (Tracking-Unterstützungsvorrichtung) 3 und eine Intrakameranachverfolgungsverarbeitungsvorrichtung 4.
Die Kameras 1a - 1d sind an angemessenen Postionen in einem Laden angebracht, um Bilder von einem überwachten Gebiet in dem Laden zu erfassen, und Bildinformation, die dabei erhalten wird, wird auf dem Rekorder 2 aufgezeichnet.
Der PC 3 ist mit einer Eingabevorrichtung 6, wie zum Beispiel einer Maus, für die überwachende Person zum Ausführen verschiedener Eingabeoperationen, und einem Monitor (Anzeigevorrichtung) 7 verbunden, auf dem ein Überwachungsbildschirm angezeigt ist. Es sei angemerkt, dass die Eingabevorrichtung 6 und der Monitor 7 als eine Bedienfeldanzeige ausgeführt sein können.
Der PC 3 ist in einer Sicherheitsstation oder ähnlichem des Ladens aufgestellt, sodass die überwachende Person (wie zum Beispiel ein Wachmann) die Echtzeitbilder eines Inneren des Ladens, die von den Kameras 1a - 1d aufgenommen werden, die in dem Überwachungsbildschirm auf dem Monitor 7 angezeigt werden, oder die früheren Bilder des Inneren des Ladens, die auf dem Rekorder 2 aufgezeichnet wurden, betrachten kann.
Ein PC 11, der in einem Managementbüro installiert ist, ist ebenfalls mit einem Monitor verbunden, der nicht in den Abbildungen gezeigt ist, sodass ein Benutzer im Managementbüro die Situation in dem Laden durch Betrachten der Echtzeitbilder des Inneren des Ladens, die von den Kameras 1a - 1d aufgenommen werden, oder der früheren Bilder des Inneren des Ladens, die auf dem Rekorder 2 aufgezeichnet sind, überprüfen kann.
Die Intrakameranachverfolgungsverarbeitungsvorrichtung 4 führt eine Verarbeitung des Nachverfolgens einer oder mehrerer Personen (bewegtes Objekt), die auf den erfassten Bildern, die von den jeweiligen Kameras 1a - 1d aufgenommen werden, detektiert werden und des Erzeugens von Nachverfolgungsinformation (Intrakameranachverfolgungsinformation) für jede Person aus. Diese Intrakameranachverfolgungsverarbeitung könnte durch Nutzen von bekannten Bilderkennungstechnologien (Menschendetektionstechnologie, Personentrackingtechnologie, etc.) ausgeführt werden.
Der PC 3 enthält ferner eine Interkameranachverfolgungsverarbeitungseinheit 5. Die Interkameranachverfolgungsverarbeitungseinheit 5 führt eine Verarbeitung des Erhaltens der Intrakameranachverfolgungsinformation von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 und des Verbindens der Personen, die auf den erfassten Bildern detektiert werden, die von den Kameras 1a - 1d aufgenommen werden, durch die Intrakameranachverfolgungsverarbeitung miteinander aus, sodass es möglich ist, eine Person kontinuierlich über die erfassten Bilder nachzuverfolgen, die von verschiedenen der mehreren Kameras 1a - 1d aufgenommen werden.
In der vorliegenden Ausführungsform ist jede Intrakameranachverfolgungsverarbeitungsvorrichtung 4 konfiguriert, die Intrakameranachverfolgungsverarbeitung zu allen Zeiten unabhängig von dem PC 3 auszuführen. Allerdings könnte die Nachverfolgungsverarbeitung als Antwort auf eine Anweisung des PCs 3 ausgeführt werden. Ferner, obwohl es bevorzugt wird, dass jede Intrakameranachverfolgungsverarbeitungsvorrichtung 4 die Nachverfolgungsverarbeitung für alle Personen ausführt, die in den erfassten Bildern detektiert werden, die von der jeweiligen Kamera aufgenommen werden, könnte die Nachverfolgungsverarbeitung nur in Hinsicht auf die Person, die als das zu verfolgende Ziel bezeichnet ist, und eine oder mehrere Personen, die dieser Person hochgradig zugeordnet sind, ausgeführt werden.
2 zeigt eine perspektivische Ansicht, die eine Anordnung der Kameras 1a - 1d in einem Laden zeigt. In dem dargestellten überwachten Gebiet in dem Laden sind Passagen zwischen Artikelausstellungsräumen bereitgestellt und die erste bis vierte Kamera 1a - 1d sind angebracht, um hauptsächlich Bilder dieser Passagen zu erfassen.
Wenn eine Person sich durch eine Passage bewegt, wird das Bild der Person von einer oder mehrerer der ersten bis vierten Kameras 1a - 1d erfasst und die Kamera(s), die das Bild der Person erfassen, wechseln zusammen mit der Bewegung der Person. In der vorliegenden Ausführungsform wird weiter ein Beispiel beschrieben werden, in dem sich die Person so bewegt, dass das Bild der Person von den ersten bis dritten Kameras 1a - 1c erfasst wird und zwar zuerst von der ersten Kamera 1a, dann von der zweiten Kamera 1b und dann von der dritten Kamera 1c, allerdings ist der Weg der Bewegung der Person nicht auf dieses Bespiel beschränkt.
Als Nächstes wird eine Beschreibung der Tracking-Unterstützungsverarbeitung gegeben, die von dem PC 3, der in 1 gezeigt ist, ausgeführt wird. 3 zeigt ein funktionales Blockdiagramm, das schematisch eine Konfiguration des PCs 3 zeigt. 4 - 8 zeigen erklärende Diagramme, die die Bildschirme zeigen, die auf dem Monitor 7 angezeigt werden. Zunächst wird ein Entwurf der Bildschirme, die in 4 - 8 gezeigt sind, erklärt.
In den in 4 - 8 gezeigten Überwachungsbildschirmen sind Kameramarkierungen 42 (Bilder, die Kameras aufzeigen) für jeweilige Kameras 1a - 1d auf einem Planbild 41, das das überwachte Gebiet repräsentiert, an Orten übereinstimmend mit der wirklichen Anordnung der Kameras 1a - 1d angeordnet. Ferner sind mehrere Anzeigeansichten (Anzeigeausschnitte) 43a - 43d, die die erfassten Bilder in Echtzeit anzeigen, die von den jeweiligen Kameras 1a - 1d aufgenommen werden, in der Umgebung der jeweiligen Kameramarkierung 42 angeordnet.
Die Kameramarkierungen 42 werden in einem Winkel angezeigt, um die Bildrichtung der jeweiligen Kameras 1a - 1d kenntlichzumachen, sodass die überwachende Person ungefähr den Bildbereich der Kameras 1a - 1d erkennen kann. Die Anzeigeansichten 43a - 43d sind an Stellen angeordnet, die im Wesentlichen dem Bildbereich der jeweiligen Kameras 1a - 1d entsprechen, sodass die überwachende Person ungefähr erkennen kann, welcher Teil des überwachten Gebiets, das von dem Planbild 41 repräsentiert wird, in jeder der Anzeigeansichten 43a - 43d angezeigt ist.
Ferner wird in dem Überwachungsbildschirm eine Hervorhebung einer der Anzeigeansichten 43a - 43d bereitgestellt, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint und von einer anderen der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, um diese von den anderen der Anzeigeansichten 43a - 43d zu unterscheiden. Spezifischer werden in der vorliegenden Ausführungsform als die Hervorhebung Rahmenbilder 45, 46, die mit vorbestimmten Farben gefärbt sind, angezeigt, sodass jedes in einer äußeren Umrandung von einer der hervorzuhebenden Anzeigeansichten 43a - 43d liegt, die hervorgehoben werden soll. Ferner, um zwischen der einen der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint und der einen der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, zu unterscheiden, werden die Rahmenbilder 45, 46 mit verschiedenen Farben gefärbt; Zum Beispiel wird das Rahmenbild 45 in blauer Farbe in Verbindung mit der einen der Anzeigeansichten 43a - 43d angezeigt, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint, während das Rahmenbild 46 in roter Farbe in Verbindung mit der einen der Anzeigeansichten 43a - 43d angezeigt wird, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird. Es sei angemerkt, dass wenn die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell in mehreren der Anzeigeansichten 43a - 43d erscheint, mehrere Rahmenbilder 45 gleichzeitig angezeigt werden könnten, sodass jede der mehreren der Anzeigeansichten 43a - 43d mit einem Rahmenbild 45 angezeigt ist.
Ferner wird in dem Überwachungsbildschirm jede Person, die in den erfassten Bildern detektiert wird, die in den Anzeigeansichten 43a - 43d angezeigt werden, mit einem Personendetektionsrahmen 47 gezeigt. Zusätzlich wird die Person, die als das zu verfolgende Ziel eingestellt ist, mit einem Personendetektionsrahmen 48 angezeigt, der kenntlichmacht, dass die Person das zu verfolgende Ziel ist. Dieser Personendetektionsrahmen 48 wird mit einer Farbe (zum Beispiel grün) hervorgehoben, um den Personendetektionsrahmen 48 von den Personendetektionsrahmen 47 zu unterscheiden, die in Verbindung mit den anderen detektierten Personen gezeigt werden.
Folglich werden die erfassten Bilder, die von den jeweiligen Kameras 1a - 1d aufgenommen werden, in den Anzeigeansichten 43a - 43d des Überwachungsbildschirmes in Echtzeit angezeigt. Die überwachende Person führt die Aufgabe des Verfolgens der zu verfolgenden Person während des Betrachtens der Anzeigeansichten 43a - 43d aus und der PC 3 wendet eine Verarbeitung zum Unterstützen der überwachenden Person beim Ausführen der Aufgabe des Verfolgens an.
Als Nächstes wird eine Beschreibung jeder Einheit des PCs 3, der in 3 gezeigt ist, gegeben. Der PC 3 umfasst zusätzlich zu der Interkameranachverfolgungsverarbeitungseinheit 5, eine Nachverfolgungsinformationsverarbeitungseinheit 21, eine Nachverfolgungsinformationsspeichereinheit 22, eine Einstelleinheit für ein zu verfolgendes Ziel 23, eine Vorhersageeinheit 24, eine Kontrolleinheit 25 und eine Bildschirmerzeugungseinheit 26.
Die Nachverfolgungsinformationsverarbeitungseinheit 21 führt eine Verarbeitung des Erhaltens der Nachverfolgungsinformation von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 und der Interkameranachverfolgungsverarbeitungseinheit 5 und des Speicherns der erhaltenen Nachverfolgungsinformation in der Nachverfolgungsinformationsspeichereinheit 22 aus. Ferner, wenn die Einstelleinheit für ein zu verfolgendes Ziel 23 eine Verarbeitung des Änderns der Person, die als das zu verfolgende Ziel eingestellt ist, ausführt, führt die Nachverfolgungsinformationsverarbeitungseinheit 21 eine Verarbeitung zum Korrigieren der Nachverfolgungsinformation bezüglich der Person, die zu der Veränderung gehört, aus. Die dadurch korrigierte Nachverfolgungsinformation wird in der Nachverfolgungsinformationsspeichereinheit 22 gespeichert.
Die Einstelleinheit für ein zu verfolgendes Ziel 23 führt eine Verarbeitung des Einstellens, in Antwort auf eine Eingabeoperation, die von der überwachenden Person auf einer der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm zum Bezeichnen einer zu verfolgenden Person ausgeführt wird, der bezeichneten Person als das zu verfolgende Ziel aus. Diese Eingabeoperation der überwachenden Person wird durch Benutzung der Eingabevorrichtung 6, wie zum Beispiel einer Maus, ausgeführt.
Die Vorhersageeinheit 24 führt eine Verarbeitung des Erhaltens der Nachverfolgungsinformation bezüglich der Person, die als das zu verfolgende Ziel eingestellt ist, von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 und der Interkameranachverfolgungsverarbeitungseinheit 5 durch die Nachverfolgungsinformationsverarbeitungseinheit 21 und des Vorhersagens basierend auf der Nachverfolgungsinformation von einer der Anzeigeansichten 43a - 43d aus, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, das heißt eine der Kameras 1a - 1d, die als Nächstes das Bild der Person, die als das zu verfolgende Ziel eingestellt ist, erfassen wird. In dieser Vorhersageverarbeitung werden die Bewegungsrichtung der Person, die als das zu verfolgende Ziel eingestellt ist, und das Positionsverhältnis zwischen der Person, die als das zu verfolgende Ziel eingestellt ist, und dem Bildgebiet jeder der Kameras 1a - 1d aus der Information erhalten und basierend auf der Nachverfolgungsinformation wird eine der Kameras 1a - 1d, die das Bild der Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erfassen wird, vorhergesagt.
Die Kontrolleinheit 25 übt Kontrolle aus, sodass, wenn in einem Zustand, in dem die zu verfolgende Person nicht eingestellt ist (das heißt, keine Person ist als das zu verfolgende Ziel eingestellt), eine Eingabeoperation von der überwachenden Person ausgeführt wird, die Kontrolleinheit 25 veranlasst, dass die Einstelleinheit 23 für ein zu verfolgendes Ziel eine Verarbeitung des neuerlichen Einstellens einer Person als das zu verfolgende Ziel ausführt und, wenn in einem Zustand, in dem die zu verfolgende Person eingestellt ist (das heißt, eine Person ist als das zu verfolgende Ziel eingestellt), die überwachende Person bemerkt, dass die Kenntlichmachung des zu verfolgenden Ziels von der Kenntlichmachungseinheit 33 für ein zu verfolgendes Ziel (später beschrieben) der Bildschirmerzeugungseinheit 26 inkorrekt ist, führt sie eine Eingabeoperation aus, die veranlasst, dass die Einstelleinheit 23 für ein zu verfolgendes Ziel eine Verarbeitung des Änderns der Person ausführt, die als das zu verfolgende Ziel eingestellt ist.
Spezifischer, wenn in dem Zustand, in dem keine Person als das zu verfolgende Ziel eingestellt ist, die überwachende Person eine Eingabeoperation zum Bezeichnen einer zu verfolgenden Person auf einer der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm ausführt, führt die Einstelleinheit für ein zu verfolgendes Ziel 23 eine Verarbeitung des neuerlichen Einstellens der bezeichneten Person als das zu verfolgende Ziel aus. Ferner, wenn in dem Zustand, in dem eine Person als das zu verfolgende Ziel eingestellt ist, die überwachende Person eine Eingabeoperation zum Bezeichnen einer zu überwachenden Person auf einer der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm ausführt, führt die Einstelleinheit für ein zu verfolgendes Ziel 23 eine Verarbeitung des Änderns der Person, die als das zu verfolgende Ziel eingestellt ist, zu der bezeichneten Person aus.
Die Bildschirmerzeugungseinheit 26 erzeugt den Überwachungsbildschirm (siehe 4 - 8), der auf dem Monitor 7 angezeigt werden soll, und umfasst eine Basisbildschirmerzeugungseinheit 31, eine Anzeigeansichtskenntlichmachungseinheit 32, eine Kenntlichmachungseinheit für ein zu verfolgendes Ziel 33 und eine Verarbeitungseinheit für ein erfasstes Bild 34.
Die Basisbildschirmerzeugungseinheit 31 führt eine Verarbeitung des Erzeugens eines Basisbildschirms (Hintergrundbildschirm) aus, in dem die Kameramarkierungen 42 für die jeweiligen Kameras 1a - 1d und leere Rahmen (die, die erfassten Bilder nicht enthaltend) der mehreren Anzeigeansichten 43a - 43d, in denen die erfassten Bilder angezeigt werden sollen, die von den jeweiligen Kameras 1a - 1d aufgenommen werden, in dem Planbild, das das überwachte Gebiet repräsentiert, angeordnet sind.
Die Anzeigeansichtskenntlichmachungseinheit 32 führt eine Verarbeitung des Kenntlichmachens einer der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird (diese Anzeigeansicht kann auch als eine nächste Anzeigeansicht bezeichnet werden) aus, wobei die nächste Anzeigeansicht von der Vorhersageeinheit 24 vorhergesagt ist. Spezifischer wird in der vorliegenden Ausführungsform die eine der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, mit einer Hervorhebung bereitgestellt, um sie von den anderen der Anzeigeansichten 43a - 43d zu unterscheiden. Ferner, wenn die Einstelleinheit für ein zu verfolgendes Ziel 23 neuerlich eine Person als das zu verfolgende Ziel einstellt, führt die Anzeigeansichtskenntlichmachungseinheit 32 eine Verarbeitung des Bereitstellens einer Hervorhebung für eine der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint, aus, um sie von den anderen der Anzeigeansichten 43a - 43d zu unterscheiden.
Spezifischer werden als die Hervorhebungen Rahmenbilder 45, 46, die mit vorherbestimmten Farben gefärbt sind, angezeigt, sodass jedes in einer äußeren Umrandung der einen der Anzeigeansichten 43a - 43d liegt, die hervorgehoben werden soll. Ferner, um es der überwachenden Person zu ermöglichen, leicht zwischen der einen der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint, und der einen der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, zu unterscheiden, werden die Rahmenbilder 45, 46 in verschiedenen Farben gefärbt; zum Beispiel wird das Rahmenbild 45 in blauer Farbe in Verbindung mit der einen der Anzeigeansichten 43a - 43d angezeigt, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint, während das Rahmenbild 46 in roter Farbe in Verbindung mit der einen der Anzeigeansichten 43a - 43d angezeigt wird, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird.
Die Kenntlichmachungseinheit für ein zu verfolgendes Ziel 33 führt eine Verarbeitung des Erhaltens der Nachverfolgungsinformation von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 und der Interkameranachverfolgungsverarbeitungseinheit 5 und des Kenntlichmachens basierend auf der Nachverfolgungsinformation der Person, die als das zu verfolgende Ziel eingestellt ist, in jeder der Anzeigeansichten 43a - 43d aus, in der die Person erscheint, die als das zu verfolgende Ziel eingestellt ist. Speziell in der vorliegenden Ausführungsform wird das Bild der Person, die als das zu verfolgende Ziel eingestellt ist, das in den Anzeigeansichten 43a - 43d angezeigt ist, mit einer Hervorhebung bereitgestellt, um die Person von den anderen Personen zu unterscheiden. Noch spezifischer ist die Person, die als das zu verfolgende Ziel eingestellt ist, als Hervorhebung mit einem Personendetektionsrahmen 48 gezeigt, der kenntlichmacht, dass die Person das zu verfolgende Ziel ist. Der Personendetektionsrahmen 48 wird mit einer Farbe (zum Beispiel grün) hervorgehoben, die den Personendetektionsrahmen 48 von den Personendetektionsrahmen 47 unterscheidet, die in Verbindung mit jeder Person gezeigt werden, die auf den erfassten Bildern detektiert wird.
Die Verarbeitungseinheit 39 für erfasste Bilder führt eine Verarbeitung des Einbettens der erfassten Bilder, die von den Kameras 1a - 1d erhalten werden, in die entsprechenden Anzeigeansichten 43a - 43d auf dem Basisbildschirm aus, der von der Basisbildschirmerzeugungseinheit 31 erzeugt wird.
Es sei angemerkt, dass die verschiedenen Einheiten des in 3 gezeigten PCs 3 durch Ausführen von Programmen für die Tracking-Unterstützung durch die CPU des PCs 3 realisiert sind. Diese Programme könnten auf dem PC 3 vorinstalliert sein, der als eine Informationsverarbeitungsvorrichtung dient, um eine Vorrichtung zu verkörpern, die zur Tracking-Unterstützung zweckbestimmt ist, oder könnten einem Benutzer in Form gespeichert auf einem angemessenen Programmaufnahmemedium, als ein Anwendungsprogramm, das auf einem allgemeinverwendlichen Betriebssystem laufen kann bereitgestellt werden.
Als Nächstes wird eine detaillierte Beschreibung des Überwachungsbildschirmes, wie er in 4 - 8 gezeigt ist, gegeben und der Operationen, die von der überwachenden Person auf dem Überwachungsbildschirm ausgeführt werden. 9 zeigt ein Flussdiagramm, das einen Ablauf von Verarbeitungen zeigt, die von verschiedenen Einheiten des PCs 3, der in 3 gezeigt ist, ausgeführt werden und von Operationen, die von der überwachenden Person auf dem Überwachungsbildschirm ausgeführt werden.
Zunächst, wenn eine Operation zum Starten einer Echtzeitüberwachung ausgeführt ist (ST101 in 9), wird eine Echtzeitüberwachungsverarbeitung gestartet und, wie in 4 gezeigt, ein Überwachungsbildschirm wird in einem Zustand angezeigt, in dem die zu verfolgende Person noch nicht eingestellt ist. In diesem Überwachungsbildschirm führt die überwachende Person eine Operation zum Bezeichnen einer zu verfolgenden Person aus (ST102 in 9). Spezifischer benutzt die überwachende Person die Eingabevorrichtung 6, wie zum Beispiel eine Maus, um einen Anzeiger 51 auf das Bild der erwünschten zu verfolgenden Person zu bewegen, die in den erfassten Bildern erscheint, die in einer der Anzeigeansichten 43a - 43d angezeigt sind (die erste Anzeigeansicht 43a in dem in 4 gezeigten Beispiel), und führt eine Operation zum Auswählen der Person (eine Click-Operation im Falle einer Maus) aus.
In Antwort auf die überwachende Person, die die Operation auf dem Überwachungsbildschirm zum Bezeichnen einer zu verfolgenden Person wie oben beschrieben, ausführt, führt die Einstelleinheit für ein zu verfolgendes Ziel 23 eine Verarbeitung des neuerlichen Einstellens der bezeichneten Person als das zu verfolgende Ziel aus. Danach führt die Vorhersageeinheit 24 eine Verarbeitung des Vorhersagens einer der Anzeigeansichten 43a - 43d aus, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird (ST103 in 9).
Dann führt die Bildschirmerzeugungseinheit 26 eine Verarbeitung des Erzeugens eines Überwachungsbildschirmes in einem Zustand, in dem die zu verfolgende Person eingestellt ist, wie in 5 gezeigt, aus. Zu diesem Zeitpunkt führt die Anzeigeansichtskenntlichmachungseinheit 32 eine Verarbeitung des Anzeigens eines Rahmenbildes 46 als Hervorhebung auf einer der Anzeigeansichten 43a - 43d aus (die zweite Anzeigeansicht 43b in dem in 5 gezeigten Beispiel), in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird (ST104 in 9). Ferner führt die Anzeigeansichtskenntlichmachungseinheit 32 eine Verarbeitung des Anzeigens eines Rahmenbildes 45 als Hervorhebung auf einer der Anzeigeansichten 43a - 43d aus, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint (die erste Anzeigeansicht 43a in dem Beispiel gezeigt in 5).
Dann führt die Kontrolleinheit 25 ein Bestimmen aus, ob eine Operation zur Korrektur des zu verfolgenden Ziels auf dem Überwachungsbildschirm von der überwachenden Person ausgeführt wurde. Wenn die Operation zur Korrektur des zu verfolgenden Ziels nicht ausgeführt wurde (NEIN in ST105 in 9) und die Person, die als das zu verfolgende Ziel eingestellt ist, das Bildgebiet der einen der Kameras 1a - 1d verlässt, die die Bilder der Person, die als das zu verfolgende Ziel eingestellt ist, erfasst hatte, sodass die Intrakameranachverfolgungsverarbeitung bezüglich der Person, die als das zu verfolgende Ziel eingestellt ist, beendet wird (ST107 in 9), erhält die Interkameranachverfolgungsverarbeitungseinheit 5 die Intrakameranachverfolgungsinformation von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 einer der Kameras 1a - 1d, die der nächsten Anzeigeansicht entspricht (ein der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird), die von der Vorhersageeinheit 24 vorhergesagt ist, und führt basierend auf der Intrakameranachverfolgungsinformation eine Verarbeitung des Suchens der Person, die als das zu verfolgende Ziel bezeichnet ist, in den erfassten Bildern, die von der „nächsten Kamera“ aufgenommen sind, die eine der Kameras 1a - 1d ist, die der nächsten Anzeigeansicht entspricht, aus (ST108 in 9).
Wenn die Person, die als das zu verfolgende Ziel bezeichnet ist, in den erfassten Bildern, die von der nächsten Kamera aufgenommen werden, gefunden wird (JA in ST109 in 9), kehrt der Kontrollfluss zu dem Schritt zurück, in dem die Vorhersageeinheit 24 eine der Anzeigeansichten 43a - 43d vorhersagt, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird (ST103 in 9) und die oben beschriebenen Verarbeitungen und Operationen werden wiederholt.
Folglich, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, sich bewegt, wie es in 6 gezeigt ist, wird ein Überwachungsbildschirm angezeigt, in dem die Person, die als das zu verfolgende Ziel eingestellt ist, in einer der Anzeigeansichten 43a - 43d erscheint, die als die nächste Anzeigeansicht vorhergesagt wurde (die zweite Anzeigeansicht 43b in dem Beispiel gezeigten 6). In diesem Überwachungsbildschirm überprüft die überwachende Person, ob die Person, die als das zu verfolgende Ziel eingestellt ist, korrekt ist.
Wenn gefunden wird, dass die Person, die als das zu verfolgende Ziel eingestellt ist, inkorrekt ist, das heißt, dass die Person, die mit dem Personendetektionsrahmen 48, der das zu verfolgende Ziel kenntlichmacht, angezeigt wird, sich von der Person auf dem in 5 gezeigten Überwachungsbildschirm unterscheidet, die als das zu verfolgende Ziel bezeichnet ist, führt die überwachende Person eine Operation zur Korrektur der Person, die als das zu verfolgende Ziel eingestellt ist, aus, wie es in 7 gezeigt ist. In dieser Operation zum Korrigieren des zu verfolgenden Ziels ähnlich zu der Operation zum Bezeichnen einer Person als das zu verfolgende Ziel, wie sie in 4 gezeigt ist, wird die Eingabevorrichtung 6, wie zum Beispiel eine Maus, bedient, um den Anzeiger auf das Bild der Person, die als das zu verfolgende Ziel eingestellt werden soll, zu bewegen und dann wird eine Operation des Auswählens der Person (eine Click-Operation in dem Falle einer Maus) ausgeführt.
Wenn die überwachende Person eine Operation zur Korrektur des zu verfolgenden Ziels auf dem Überwachungsbildschirm, wie oben beschrieben, ausgeführt hat (JA in ST105 in 9) wird eine Verarbeitung des Widerspiegelns der Korrekturoperation ausgeführt. Spezifischer führt die Einstelleinheit für ein zu verfolgendes Ziel 23 eine Verarbeitung des Änderns des zu verfolgenden Ziels zu der Person, die von der Operation zur Korrektur des zu verfolgenden Ziels bezeichnet ist, aus (ST106 in 9). Danach führt die Kenntlichmachungseinheit für ein zu verfolgendes Ziel 33 eine Verarbeitung des Anzeigens des Personendetektionsrahmens 48, der das zu verfolgende Ziel kenntlichmacht, aus, so dass der Personendetektionsrahmen 48 mit der Person, die als das korrekte zu verfolgendes Ziel eingestellt ist, verbunden wird. Ferner führt die Nachverfolgungsinformationsverarbeitungseinheit 21 eine Verarbeitung des Korrigierens der Nachverfolgungsinformation bezüglich der Person, die als das korrekte zu verfolgende Ziel eingestellt ist und der Person, die fälschlicherweise als das zu verfolgende Ziel erkannt wurde, aus.
Nach Abschluss der Verarbeitung des Widerspiegelns der Korrekturoperation kehrt der Kontrollfluss zurück zu dem Schritt, in dem die Vorhersageeinheit 24 eine der Anzeigeansichten 43a - 43d vorhersagt, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird (ST103 in 9), und die oben beschriebenen Verarbeitungen und Operationen werden wiederholt.
Danach, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, sich weiterbewegt, wie es in 8 gezeigt ist, wird ein Überwachungsbildschirm angezeigt, in dem die Person, die als das zu verfolgende Ziel eingestellt ist, in einer der Anzeigeansichten 43a - 43d erscheint, die als die nächste Anzeigeansicht (die dritte Anzeigeansicht 43c in dem in 8 gezeigten Beispiel) vorhergesagt wurde. Auf diesem Überwachungsbildschirm überprüft die überwachende Person außerdem, ob die Person, die als das zu verfolgende Ziel eingestellt ist, korrekt ist. In dem Überwachungsbildschirm, der in 8 gezeigt ist, wird der Personendetektionsrahmen 48, der das zu verfolgende Ziel kenntlichmacht, auf der Person angezeigt, die erneut als das korrekte zu verfolgende Ziel auf dem Überwachungsbildschirm in 7 eingestellt ist, und folglich kann bestätigt werden, dass das zu verfolgende Ziel zu der korrekten Person zurückgeändert wurde.
Wie im Vorhergehenden beschrieben, wird in der vorliegenden Ausführungsform die nächste Anzeigeansicht (eine der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird) durch die Vorhersageeinheit 24 vorhergesagt und die vorhergesagte nächste Anzeigeansicht wird von der Anzeigeansichtskenntlichmachungseinheit 32 für die überwachende Person kenntlichgemacht und deshalb könnte die überwachende Person weniger Schwierigkeiten im Auffinden der nächsten Anzeigeansicht aus den vielen Anzeigeansichten 43a - 43d haben, wodurch die Belastung der überwachenden Person erheblich reduziert werden kann. Ferner ist es möglich zu vermeiden, die Sicht auf die zu verfolgende Person zu verlieren, was dadurch verursacht werden könnte, dass es eine lange Zeit benötigt, um die nächste Anzeigeansicht herauszufinden. Des Weiteren kann die zu verfolgende Person eindeutig bestimmt werden, selbst wenn mehrere Personen in einer der Anzeigeansichten 43a - 43d, die von Interesse sind, erscheinen, und folglich ist es möglich, eine falsche Kenntlichmachung einer der Anzeigeansichten 43a - 43d, in der eine Person verschieden von der zu verfolgenden Person als Nächstes erscheinen wird, zu vermeiden.
Ferner wird in der vorliegenden Ausführungsform das Rahmenbild 46 in dem Überwachungsbildschirm in Verbindung mit einer der Anzeigeansichten 43a - 43d angezeigt, die als die nächste Anzeigeansicht vorhergesagt ist, sodass das Rahmenbild 46 als Hervorhebung zum Unterscheiden der nächsten Anzeigeansicht von den anderen der Anzeigeansichten 43a - 43d dient und aus diesem Grund kann die überwachende Person die nächste Anzeigeansicht leicht finden, wobei die Belastung der überwachenden Person beim Ausführen der Aufgabe des Verfolgens reduziert werden kann.
Ferner, wenn in der vorliegenden Ausführungsform die zu verfolgende Person neuerlich eingestellt wird, wird eine der Anzeigeansichten 43a - 43d, in der die zu verfolgende Person (spezifischer, die Person, die als das zu verfolgende Ziel eingestellt ist) aktuell erscheint, mit einem Rahmenbild angezeigt, das als Hervorhebung zum Unterscheiden der Anzeigeansicht von den anderen der Anzeigeansichten 43a - 43d dient und aus diesem Grund kann die überwachende Person leicht die eine der Anzeigeansichten 43a - 43d finden, auf der die zu verfolgende Person aktuell erscheint, wobei die Belastung der überwachenden Person beim Ausüben der Aufgabe des Verfolgens reduziert werden kann.
Es sei angemerkt, dass in der obigen Ausführungsform die zu verfolgende Person in der ersten Anzeigeansicht 43a bezeichnet wurde, aber die Bezeichnung der zu verfolgenden Person (Objekt) könnte auf jeder der mehreren Anzeigeansichten 43a - 43d ausgeführt werden und das Nachverfolgen der zu verfolgenden Person durch die überwachende Person wird von der einen der Anzeigeansichten 43a - 43d gestartet, in der die zu verfolgende Person bezeichnet wurde.
Es sei außerdem bemerkt, dass die Person, die als das zu verfolgende Ziel eingestellt ist, als Resultat eines Nachverfolgungsfehlers inkorrekt sein kann, der in der Intrakameranachverfolgungsverarbeitung, die von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 ausgeführt wird, und/oder der Interkameranachverfolgungsverarbeitung, die von der Interkameranachverfolgungsverarbeitungseinheit 5 ausgeführt wird, auftreten könnte und das dieser Nachverfolgungsfehler mit höherer Wahrscheinlichkeit in der Interkameranachverfolgungsverarbeitung auftritt, als in der Intrakameranachverfolgungsverarbeitung; das heißt, der Nachverfolgungsfehler wird mit höherer Wahrscheinlichkeit in einer Verarbeitung des Verbindens einer oder mehrerer Personen, die von der Intrakameranachverfolgungsverarbeitung für eine der Anzeigeansichten (oder Kameras) detektiert werden, mit der oder den Personen auftreten, die von der Intrakameranachverfolgungsverarbeitung für eine andere Anzeigeansicht (oder Kamera) detektiert werden. Aus diesem Grund wird eine Korrekturoperation zum Korrigieren der Person, die als das zu verfolgende Ziel eingestellt ist, insbesondere dann benötigt, wenn die Anzeigeansicht, die die Person anzeigt, die als das zu verfolgende Ziel eingestellt ist, von einer Anzeigeansicht 43a - 43d auf eine andere umgeschaltet wird, wie es in 6 gezeigt ist.
Als Nächstes werden zeitliche Änderungen der Rahmenbilder 45, 46, die in den Anzeigeansichten 43a - 43d des Überwachungsbildschirmes gezeigt werden, beschrieben. 10 zeigt ein erklärendes Diagramm, das zeitliche Zustandswechsel der Rahmenbilder 45, 46, die in den Anzeigeansichten 43a - 43d des Überwachungsbildschirmes gezeigt sind, zeigt.
Wenn ein oder mehrere Personen auf den erfassten Bildern von einer der Intrakameranachverfolgungsverarbeitungsvorrichtungen 4 detektiert werden, und die Nachverfolgungsverarbeitung gestartet wird, werden der oder die Personendetektionsrahmen 47 in den Anzeigeansichten 43a - 43d des Überwachungsbildschirmes angezeigt. Wenn in diesem Zustand die überwachende Person eine Operation zum Bezeichnen einer zu verfolgenden Person ausführt, wird ein blaues Rahmenbild in Verbindung mit der Anzeigeansicht angezeigt, in der die Person, die als das zu verfolgende Ziel eingestellt ist, aktuell erscheint, sodass das blaue Rahmenbild als Hervorhebung dient.
Dann, sobald die Verarbeitung des Vorhersagens der nächsten Anzeigeansicht, das heißt eine der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, ausgeführt ist, wird ein rotes Rahmenbild in Verbindung mit der vorhergesagten nächsten Anzeigeansicht als Hervorhebung angezeigt.
Danach, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, sich bewegt und die Intrakameranachverfolgungsverarbeitungsvorrichtung 4 der nächsten Kamera, das heißt einer der Kameras 1a - 1d entsprechend der nächsten Anzeigeansicht, die Person in dem erfassten Bild detektiert, werden die jeweiligen Personen, die von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 der beiden der Kameras 1a - 1d detektiert werden, die zu der Bewegung der Person, die als das zu verfolgende Ziel eingestellt ist, gehören, miteinander von der Interkameranachverfolgungsverarbeitungseinheit 5 verbunden, und wenn diese Verbindung erfolgreich ist, das heißt wenn gefunden wird, dass die Person, die als das zu verfolgende Ziel bezeichnet ist, von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 der nächsten Kamera detektiert wird, wird die Hervorhebung der einen der Anzeigeansichten 43a - 43d, die als die nächste Anzeigeansicht vorhergesagt war, von dem roten Rahmenbild zu dem blauen Rahmenbild geändert (das heißt, die eine der Anzeigeansichten 43a - 43d, die als die nächste Anzeigeansicht vorhergesagt war, ist jetzt eine „aktuelle“ Anzeigeansicht geworden, in der die zu detektierende Person aktuell erscheint).
Außerdem, wenn die Nachverfolgungsverarbeitung in der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 einer der Kameras 1a - 1d, die das Bild der Person, die als das zu verfolgende Ziel eingestellt ist, früher erfasst hat (diese Kamera könnte auch als eine vorherige Kamera bezeichnet werden) beendet ist, verschwindet das blaue Rahmenbild, das als Hervorhebung dient, aus der einen der Anzeigeansichten 43a - 43d, in der die Person, die als das zu verfolgende Ziel eingestellt ist, angezeigt wurde. Aus diesem Grund, wenn der Zeitpunkt der Beendigung der Nachverfolgungsverarbeitung in der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 der vorherigen Kamera früher ist als der Zeitpunkt der Detektion der Person, die als das zu verfolgende Ziel eingestellt ist, durch die Intrakameranachverfolgungsverarbeitungsvorrichtung 4 der nächsten Kamera, wird nur die nächste Anzeigeansicht mit dem roten Rahmenbild als Hervorhebung angezeigt.
Als Nächstes wird eine Beschreibung von einem Effekt des Korrigierens der Person, die als das zu verfolgende Ziel eingestellt ist gegeben, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, inkorrekt ist. 11 A - 11C und 12A - 12D zeigen erklärende Diagramme zum Erklären von Zustandswechseln der Anzeigeansichten 43a - 43d des Überwachungsbildschirmes. 11A - 11C zeigen einen Fall, in dem eine Korrektur des zu verfolgenden Ziels nicht ausgeführt wird, während 12A - 12D einen Fall zeigen, in dem eine Korrektur des zu verfolgenden Ziels ausgeführt wird.
Zunächst wird eine Beschreibung mit Referenz zu 11A - 11C für den Fall gegeben, in dem eine Korrektur des zu verfolgenden Ziels nicht ausgeführt wird. 11A zeigt eine Situation, in der eine Person A, die als das zu verfolgende Ziel bezeichnet ist, und eine andere Person B, die beide in der ersten Anzeigeansicht 43a erscheinen, sich in dieselbe Richtung bewegen. Wenn in einer solchen Situation ein Fehler in der Nachverfolgungsverarbeitung auftritt, so dass Personen A und B vertauscht werden, und die Person B fälschlicherweise als das zu verfolgende Ziel eingestellt wird, erscheint die Person A, die als das zu verfolgende Ziel eingestellt ist, dennoch in der nächsten Anzeigeansicht (die zweite Anzeigeansicht 43b), wie es in 11B gezeigt ist, und folglich ist die Person A, die als das zu verfolgende Ziel bezeichnet ist, nicht für die Verfolgung verloren.
Wenn sich allerdings die Personen A und B in verschiedene Richtungen bewegen, wie es aus dieser Situation heraus durch die Pfeile in 11B gezeigt wird, wird das rote Rahmenbild 46, das die Anzeigeansicht kenntlichmacht, in der sich die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, auf der ersten Anzeigeansicht 43a angezeigt und nur die Person B, die nicht das zu verfolgende Ziel ist, wird in der ersten in 11C gezeigten Anzeigeansicht 43a angezeigt und als Resultat könnte die Person A, die als das zu verfolgende Ziel bezeichnet ist, für die Verfolgung verloren sein.
Wie oben beschrieben, könnte in einem Fall, in dem viele Personen in einer der Anzeigeansichten 43a - 43d zur selben Zeit erscheinen, die Person, die als das zu verfolgende Ziel bezeichnet ist, in der vorhergesagten nächsten Anzeigeansicht angezeigt werden (oder einer der Anzeigeansichten 43a - 43d, von der vorhergesagt wurde, dass sie die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes anzeigt). Wenn allerdings ein Fehler in der Nachverfolgungsinformation unkorrigiert gelassen wird, könnte die Person, die als das zu verfolgende Ziel bezeichnet ist, wenn die mehreren Personen sich in verschiedene Richtungen bewegen, nicht in der vorhergesagten nächsten Anzeigeansicht angezeigt werden und folglich könnte die Person, die als das zu verfolgende Ziel bezeichnet ist, für die Verfolgung verloren sein.
Als Nächstes wird eine Beschreibung mit Referenz zu 12A - 12D für den Fall der vorliegenden Ausführungsform gegeben, in dem eine Korrektur des zu verfolgenden Ziels ausgeführt wird. 12A und 12B zeigen jeweils dasselbe wie 11A und 11D des obigen Beispiels. Wie in 12B gezeigt, wird der Personendetektionsrahmen 48, der das zu verfolgende Ziel kenntlich macht, in der zweiten Anzeigeansicht 43b auf der Person B angezeigt, die nicht das zu verfolgende Ziel ist und aus diesem Grund kann die überwachende Person bemerken, dass die Person, die als das zu verfolgende Ziel eingestellt ist, inkorrekt ist, das heißt, dass das zu verfolgende Ziel auf Person B eingestellt ist, die sich von Person A unterscheidet, die als das zu verfolgende Ziel bezeichnet ist.
Dann führt die überwachende Person, wie in 12C gezeigt, auf der zweiten Anzeigeansicht 43b eine Operation des Korrigierens des zu verfolgenden Ziels durch; das heißt, des Ändern des zu verfolgenden Ziels, das aufgrund eines Fehlers in der Nachverfolgungsverarbeitung auf die Person B eingestellt ist, zu der Person A. Dadurch wird, selbst wenn die Personen A und B sich in verschiedene Richtungen bewegen, wie durch die Pfeile in 12C gezeigt, das rote Rahmenbild 46, das die Anzeigeansicht kenntlichmacht, in der die Person, die als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird, auf der dritten Anzeigeansicht 43c angezeigt, in der, wie in 12D gezeigt wird, die Person A, die als das zu verfolgende Ziel bezeichnet ist, erscheint und somit wird die Person A, die als das zu verfolgende Ziel bezeichnet ist, nicht für die Verfolgung verloren.
Wie im Vorherigen beschrieben, wird in der vorliegenden Ausführungsform die Person, die als das zu verfolgende Ziel eingestellt ist, von dem Personendetektionsrahmen 48 in den Anzeigeansichten 43a - 43d kenntlichgemacht und folglich kann die überwachende Person bemerken, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, inkorrekt ist, das heißt, eine Person, die von der Person verschieden ist, die als das zu verfolgende Ziel bezeichnet ist, ist aufgrund eines Fehlers in der Nachverfolgungsinformation als das zu verfolgende Ziel eingestellt. Dann kann, sobald die inkorrekte Einstellung des zu verfolgenden Ziels bemerkt wird, die überwachende Person die Einstellung des zu verfolgenden Ziels korrigieren, sodass in den danach angezeigten Überwachungsbildschirmen die Person, die als das zu verfolgende Ziel bezeichnet ist, in der vorhergesagten nächsten Anzeigeansicht garantiert erscheint und die Verfolgung kann ohne Verlust der Sicht auf die Person, die als das zu verfolgende Ziel bezeichnet ist, fortgeführt werden. Ferner, wenn die Person, die als das zu verfolgende Ziel eingestellt ist, in der vorhergesagten nächsten Anzeigeansicht angezeigt wird, kann die überwachende Person die angezeigte Person sofort überprüfen und aus diesem Grund kann die überwachende Person sofort eine inkorrekte Einstellung des zu verfolgenden Ziels, wenn überhaupt, bemerken und die Einstellung des zu verfolgenden Ziels garantiert korrigieren.
Es sei angemerkt, dass in den Beispielen, die in 6, 11A - 11C und 12A - 12D gezeigt sind, eine Beschreibung für einen Fall gegeben wurde, in dem ein Fehler, bei dem zwei Personen miteinander vertauscht wurden, auftrat, aber es könnte auch einen Fall geben, in dem die Nachverfolgungsverarbeitung der Person, die als das zu verfolgende Ziel eingestellt ist, unterbrochen ist, sodass die Person, die als das zu verfolgende Ziel eingestellt ist, scheinbar verschwindet, das heißt, der Personendetektionsrahmen 48, der das zu verfolgende Ziel kenntlichmacht, wird nicht mehr auf der Person, die als das zu verfolgende Ziel eingestellt ist, in den Anzeigeansichten 43a - 43d angezeigt. In einem solchen Fall könnte ähnlich zum Ausführen der Operation zum Bezeichnen des zu verfolgenden Ziels, wie sie in 4 gezeigt ist, die überwachende Person eine Operation des Bezeichnens der erwünschten zu verfolgenden Person ausführen, die in den Anzeigeansichten 43a - 43d erscheint. Aus diesem Grund ist es möglich, die Verfolgung danach weiterzuführen.
Im Vorherigen wurde die vorliegende Erfindung im Hinblick auf konkrete Ausführungsformen beschrieben. Allerdings werden diese Ausführungsformen für illustrative Zwecke bereitgestellt und die vorliegende Erfindung ist nicht auf die Ausführungsformen beschränkt. Es sei außerdem angemerkt, dass nicht alle der strukturellen Elemente der Tracking-Unterstützungsvorrichtung, des Tracking-Unterstützungssystems und des Tracking-Unterstützungsverfahrens, wie in den Ausführungsformen der vorliegenden Erfindung gezeigt, notwendigerweise unentbehrlich sind, und sie könnten, wenn es angebracht ist, selektiv benutzt werden, ohne von dem Wesen der vorliegenden Erfindung abzuweichen.
Zum Beispiel wurde in den vorherigen Ausführungsformen eine Beschreibung eines beispielhaften Falles gegeben, in dem die Erfindung auf einen Selbstbedienungsladen, wie zum Beispiel einen Supermarkt, angewendet wurde. Allerdings könnte die vorliegende Erfindung auch auf ein anderes kommerzielles Unternehmen als einen Selbstbedienungsladen, wie zum Beispiel ein Restaurant, das ein Imbissrestaurant sein könnte, etc. angewandt werden. Ferner könnte die vorliegende Erfindung auf eine andere Einrichtung als ein kommerzielles Unternehmen, wie zum Beispiel ein Kraftwerk oder ähnliches, angewendet werden.
Ferner wurde in der vorherigen Ausführungsform eine Beschreibung eines Beispiels gegeben, in dem eine Person als ein bewegtes Objekt verfolgt wurde. Allerdings kann auch eine Konfiguration erstellt werden, um ein anderes bewegtes Objekt statt einer Person, wie zum Beispiel ein Fahrzeug, das ein Automobil, Fahrrad, etc. sein könnte, zu verfolgen.
Ferner wurde in der vorherigen Ausführungsform eine Beschreibung eines Beispiels gegeben, in dem vier Kameras 1a - 1d aufgestellt sind und vier Anzeigeansichten 43a - 43d zum jeweiligen Anzeigen der erfassten Bilder, die von den Kameras 1a - 1d aufgenommen werden, in dem Überwachungsbildschirm angeordnet sind, aber die Anzahl der Kameras 1a - 1d und die der Anzeigeansichten 43a - 43d ist nicht hierauf beschränkt. Die Konfiguration entsprechend der vorherigen Ausführungsformen kann insbesondere vorteilhaft für eine große Anzahl von Anzeigeansichten 43a - 43d sein.
Ferner werden in der vorherigen Ausführungsform die Rahmenbilder 45, 46 die mit vorbestimmten Farben gefärbt sind, zum Hervorheben der Anzeigeansichten 43a - 43d auf dem Überwachungsbildschirm jeweils in einer äußeren Umrandung der einen der Anzeigeansichten 43a - 43d, die hervorgehoben werden soll, angezeigt, aber die Hervorhebung ist nicht auf eine solche Ausführungsform beschränkt und es ist möglich, ein vorbestimmtes Bild, wie zum Beispiel eine Markierung innerhalb oder in der Umgebung einer erwünschten der Anzeigeansichten 43a - 43d und/oder ein Bild eines Pfeiles, der zwei der Anzeigeansichten 43a - 43d verbindet, anzuzeigen.
Ferner wurde in der vorherigen Ausführungsform eine Beschreibung eines Beispiels gegeben, in dem die Intrakameranachverfolgungsverarbeitung von der Intrakameranachverfolgungsverarbeitungsvorrichtung 4 ausgeführt wurde und die Interkameranachverfolgungsverarbeitung und die Tracking-Unterstützungsverarbeitung von dem PC 3, wie in 3 gezeigt, ausgeführt wurden. Allerdings könnte die Intrakameranachverfolgungsverarbeitung ebenfalls von dem PC 3 ausgeführt werden. Es ist außerdem möglich, jede der Kameras 1a - 1d so zu konfigurieren, dass sie eine Intrakameranachverfolgungs-verarbeitungseinheit enthält. Ferner könnte die Interkameranachverfolgungsverarbeitungseinheit 5 als eine Nachverfolgungsverarbeitungsvorrichtung getrennt von dem PC 3 konfiguriert werden. Ferner, obwohl jede der Kameras 1a - 1d in den Zeichnungen als eine Gehäusekamera mit einem beschränkten Blickwinkel gezeigt wurde, sind die Kameras 1a - 1d nicht darauf beschränkt und es ist ebenfalls möglich, eine oder mehrere ungerichtete Kameras, die ein Weitwinkelbild erfassen können, zu benutzen.
Ferner wurde in der vorherigen Ausführungsform die Intrakameranachverfolgungsverarbeitung, die Interkameranachverfolgungsverarbeitung und die Tracking-Unterstützungsverarbeitung von einer Vorrichtung aufgestellt in dem Laden ausgeführt, aber diese Verarbeitungen könnten von dem PC 11, der in einem Managementbüro aufgestellt ist, oder einem Cloud Computer 12, der ein Cloud Computing System bildet, wie in 1 gezeigt, ausgeführt werden. Ferner könnten diese notwendigen Verarbeitungen durch die Zusammenarbeit von mehreren Informationsverarbeitungsvorrichtungen ausgeführt werden, wobei in diesem Fall die mehreren Informationsverarbeitungsvorrichtungen konfiguriert sind in der Lage zu sein miteinander zu kommunizieren oder Information über ein Kommunikationsmedium, wie zum Beispiel ein IP Netzwerk oder ein LAN auszutauschen. Dadurch führen die mehreren Informationsverarbeitungsvorrichtungen gemeinsam die notwendigen Verarbeitungen, die ein Tracking-Unterstützungssystem ausmachen, aus.
In diesem Fall wird es bevorzugt, dass die Vorrichtung, die in dem Laden aufgestellt ist, zum Ausführen von wenigstens der Intrakameranachverfolgungsverarbeitung oder der Interkameranachverfolgungsverarbeitung konfiguriert ist. Da die Information, die von der Intrakameranachverfolgungsverarbeitung oder der Interkameranachverfolgungsverarbeitung erhalten wird, eine geringe Datenmenge besitzt, kann in einer solchen Struktur, selbst wenn die verbleibenden Verarbeitungen von einer Informationsverarbeitungsvorrichtung, die an einem anderen Ort als dem Laden, wie zum Beispiel dem PC 11, der in dem Managementbüro aufgestellt ist, ausgeführt werden, die Kommunikationslast klein sein und es ist deshalb einfach, das System in Form eines „Wide Area“-Netzwerks zu betreiben.
Es könnte außerdem bevorzugt werden, dass der Cloud Computer 12 zum Ausführen wenigstens der Intrakameranachverfolgungsverarbeitung oder der Interkameranachverfolgungsverarbeitung konfiguriert ist. In einer solchen Struktur werden, obwohl die Intrakameranachverfolgungsverarbeitung und die Interkameranachverfolgungsverarbeitung große Mengen von Berechnungen benötigen, diese Verarbeitungen von der Informationsverarbeitungsvorrichtung, die ein Cloud Computing System ausmacht, geleistet, und deshalb ist es nicht notwendig, eine Hochgeschwindigkeitsinformationsverabeitungsvorrichtung auf der Nutzerseite, das heißt in dem Laden oder ähnlichem, auszurüsten. Da die verbleibenden Verarbeitungen eine geringe Menge an Berechnungen benötigen, können die verbleibenden Verarbeitungen als erweiterte Funktionen einer Informationsverarbeitungsvorrichtung, die in dem Laden aufgestellt ist, um als Verkaufsinformationsmanagementvorrichtung zu dienen, ausgeführt werden und dies kann die von dem Benutzer zu tragenden Kosten reduzieren.
Der Cloud Computer 12 könnte zum Ausführen der Gesamtheit der notwendigen Verarbeitungen konfiguriert sein. In einer solchen Struktur wird es möglich, den Verfolgungszustand auf einem mobilen Terminal, wie zum Beispiel einem Smartphone 13, zusätzlich zu dem PC 3, der in dem Laden aufgestellt ist, und zu dem PC 11, der in dem Managementbüro aufgestellt ist, zu betrachten und dies erlaubt es einem Benutzer, den Verfolgungszustand nicht nur in dem Laden oder dem Managementbüro zu betrachten, sondern auch an jedem anderen Ort, wie zum Beispiel einem Ort, den der Benutzer geschäftlich besucht.
Die Tracking-Unterstützungsvorrichtung, das Tracking-Unterstützungssystem und das Tracking-Unterstützungsverfahren nach der vorliegenden Erfindung kann eine Unterstützungsverarbeitung zum Reduzieren der Belastung einer überwachenden Person beim Verfolgen einer überwachten Person, während des Betrachtens erfasster Bilder, die von mehreren Kameras aufgenommen und auf dem Überwachungsbildschirm angezeigt werden, angemessen ausführen, sodass die überwachende Person mit dem Verfolgen fortfahren kann, ohne den Blick auf die überwachte Person zu verlieren und aus diesem Grund sind sie als eine Tracking-Unterstützungsvorrichtung, ein Tracking-Unterstützungssystem und ein Tracking-Unterstützungsverfahren zum Unterstützen einer überwachenden Person beim Verfolgen eines zu verfolgenden bewegten Objektes durch Anzeigen eines Überwachungsbildschirmes auf einer Anzeigevorrichtung, in dem mehrere Anzeigeausschnitte zum Anzeigen der erfassten Bilder in Echtzeit angeordnet sind, die von den jeweiligen Kameras aufgenommen sind, nützlich.

Claims

Tracking-Unterstützungsvorrichtung zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes, das verfolgt werden soll, durch Anzeigen eines Überwachungsbildschirmes, in dem eine Vielzahl von Anzeigeansichten (43a-43d) zum Anzeigen von in Echtzeit erfassten Bildern, die von jeweiligen Kameras (1a - 1d) aufgenommen sind, in einem Planbild (41), das ein überwachtes Gebiet in Übereinstimmung mit einer tatsächlichen Anordnung der Kameras (1a - 1d) repräsentiert, angeordnet sind, auf einer Anzeigevorrichtung (7), mit: einer Einstelleinheit (23) für ein zu verfolgendes Ziel, die in Antwort auf eine Eingabeoperation, die von der überwachenden Person an einer der Anzeigeansichten (43a - 43d) zum Bezeichnen eines zu verfolgenden bewegten Objektes ausgeführt wird, das bezeichnete bewegte Objekt als ein zu verfolgendes Ziel einstellt; einer Kenntlichmachungseinheit (33) für ein zu verfolgendes Ziel, die basierend auf Nachverfolgungsinformation, die durch Verarbeiten der erfassten Bilder erhalten wird, das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, in jeder der Anzeigeansichten (43a - 43d) kenntlich macht, in der das bewegte Objekt, das als das zu verfolgendes Ziel eingestellt ist, erscheint; einer Vorhersageeinheit (24), die basierend auf der Nachverfolgungsinformation eine nächste Anzeigeansicht vorhersagt, in der das bewegte Objekt, das als zu verfolgendes Ziel eingestellt ist, als Nächstes erscheinen wird; und einer Anzeigeansichtskenntlichmachungseinheit (32), die die nächste Anzeigeansicht, die von der Vorhersageeinheit (24) vorhergesagt wird, auf dem Überwachungsbildschirm kenntlich macht, wobei die Kenntlichmachungseinheit (33) für ein zu verfolgendes Ziel eine erste Hervorhebung zum Hervorheben eines bewegten Objektrahmens (48), der mit dem bewegten Objekt verbunden ist, das als das zu verfolgende Ziel eingestellt ist, bereitstellt, und die Anzeigeansichtskenntlichmachungseinheit (32) eine zweite Hervorhebung zum Hervorheben eines Anzeigerahmens (46), der mit der nächsten Anzeigeansicht verbunden ist, die von der Vorhersageeinheit (24) vorhergesagt wird, bereitstellt, gekennzeichnet durch eine Kontrolleinheit (25), die in einem Zustand, in dem ein bewegtes Objekt als das zu verfolgende Ziel eingestellt ist, die Einstelleinheit (23) für ein zu verfolgendes Ziel dazu veranlasst, eine Verarbeitung zum Ändern des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, auszuführen, wenn die überwachende Person, die bemerkt, dass eine Kenntlichmachung des zu verfolgenden Ziels durch die Kenntlichmachungseinheitfür ein zu verfolgendes Ziel inkorrekt ist, eine Eingabeoperation ausführt, wobei, wenn ein bewegtes Objekt erneut durch die Einstelleinheit (23) für ein zu verfolgendes Ziel als das zu verfolgende Ziel eingestellt wird, die Anzeigeansichtskenntlichmachungseinheit (32) eine dritte Hervorhebung für eine Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Ziel eigenstellt ist, aktuell erscheint, bereitstellt, so dass die Anzeigeansicht von den anderen Anzeigeansichten unterscheidbar ist.
Tracking-Unterstützungssystem zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes, das verfolgt werden soll, durch Anzeigen eines Überwachungsbildschirmes, in dem eine Vielzahl von Anzeigeansichten (43a - 43d) zum Anzeigen von in Echtzeit erfassten Bildern, die von jeweiligen Kameras (1a - 1d) aufgenommen sind, in einem Planbild (41), das ein überwachtes Gebiet in Übereinstimmung mit einer tatsächlichen Anordnung der Kameras (1a - 1d) repräsentiert, angeordnet sind, auf einer Anzeigevorrichtung (7), mit: den Kameras (1a - 1d), die Bilder des überwachten Gebietes erfassen; der Anzeigevorrichtung (7), die den Überwachungsbildschirm anzeigt; und einer Vielzahl von Informationsverarbeitungsvorrichtungen (3, 11, 12, 13), wobei die Vielzahl der Informationsverarbeitungsvorrichtungen (3, 11, 12, 13) gemeinsam enthalten: eine Nachverfolgungsverarbeitungseinheit (4, 5, 21), die ein oder mehrere bewegte Objekte, die auf den erfassten Bildern detektiert wurden, nachverfolgt und Nachverfolgungsinformationen von jedem bewegten Objekt erzeugt; eine Einstelleinheit (23) für ein zu verfolgendes Ziel, die in Antwort auf eine Eingabeoperation, die von der überwachenden Person an einer der Anzeigeansichten (43a - 43d) zum Bezeichnen eines zu verfolgenden bewegten Objektes ausgeführt wird, das bezeichnete bewegte Objekt als ein zu verfolgendes Ziel einstellt; eine Kenntlichmachungseinheit (33) für ein zu verfolgendes Ziel, die basierend auf den Nachverfolgungsinformation, die von der Nachverfolgungsverarbeitungseinheit erhalten wird, das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, in jeder der Anzeigeansichten (43a - 43d) kenntlich macht, in der das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, erscheint; eine Vorhersageeinheit (24), die basierend auf der Nachverfolgungsinformation eine nächste Anzeigeansicht vorhersagt, in der das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, als Nächstes erscheinen wird; und eine Anzeigeansichtskenntlichmachungseinheit (32), die die nächste Anzeigeansicht, die von der Vorhersageeinheit (24) vorhergesagt wird, auf dem Überwachungsbildschirm kenntlich macht, wobei die Kenntlichmachungseinheit (33) für ein zu verfolgendes Ziel eine erste Hervorhebung zum Hervorheben eines bewegten Objektrahmens (48), der mit dem bewegten Objekt verbunden ist, das als das zu verfolgende Ziel eingestellt ist, bereitstellt, und die Anzeigeansichtskenntlichmachungseinheit (32) eine zweite Hervorhebung zum Hervorheben eines Anzeigerahmens (46), der mit der nächsten Anzeigeansicht verbunden ist, die von der Vorhersageeinheit (24) vorhergesagt wird, bereitstellt, gekennzeichnet durch eine Kontrolleinheit (25), die in einem Zustand, in dem ein bewegtes Objekt als das zu verfolgende Ziel eingestellt ist, die Einstelleinheit (23) für ein zu verfolgendes Ziel dazu veranlasst, eine Verarbeitung zum Ändern des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, auszuführen, wenn die überwachende Person, die bemerkt, dass eine Kenntlichmachung des zu verfolgenden Ziels durch die Kenntlichmachungseinheit für ein zu verfolgendes Ziel inkorrekt ist, eine Eingabeoperation ausführt, wobei, wenn ein bewegtes Objekt erneut durch die Einstelleinheit (23) für ein zu verfolgendes Ziel als das zu verfolgende Ziel eingestellt wird, die Anzeigeansichtskenntlichmachungseinheit (32) eine dritte Hervorhebung für eine Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Ziel eigenstellt ist, aktuell erscheint, bereitstellt, so dass die Anzeigeansicht von den anderen Anzeigeansichten unterscheidbar ist.
Tracking-Unterstützungsverfahren zum Unterstützen einer überwachenden Person beim Ausführen einer Aufgabe des Verfolgens eines bewegten Objektes, das verfolgt werden soll, durch Anzeigen eines Überwachungsbildschirmes, in dem eine Vielzahl von Anzeigeansichten (43a - 43d) zum Anzeigen von in Echtzeit erfassten Bildern, die von jeweiligen Kameras (1a - 1d) aufgenommen sind, in einem Planbild (41), das ein überwachtes Gebiet in Übereinstimmung mit einer tatsächlichen Anordnung der Kameras (1a - 1d) repräsentiert, angeordnet sind, auf einer Anzeigevorrichtung (7), mit: einem Schritt des Einstellens des bezeichneten bewegten Objektes als ein zu verfolgendes Ziel, in Antwort auf eine Eingabeoperation, die von der überwachenden Person an einer der Anzeigeansichten (43a - 43d) zum Bezeichnen eines zu verfolgenden bewegten Objektes ausgeführt wird; einem Schritt des Kenntlichmachens basierend auf Nachverfolgungsinformation, die durch Verarbeiten der erfassten Bilder erhalten wird, des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, in jeder der Anzeigeansichten (43a - 43d), in der das bewegte Objekt, das als das zu verfolgende Ziel eingestellt ist, erscheint; einem Schritt des Vorhersagens basierend auf der Nachverfolgungsinformation einer nächsten Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Objekt eingestellt ist, als Nächstes erscheinen wird; und einem Schritt des Kenntlichmachens der nächsten Anzeigeansicht, die in dem Schritt des Vorhersagens vorhergesagt wird, auf dem Überwachungsbildschirm, wobei der Schritt des Kenntlichmachens des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, eine erste Hervorhebung zum Hervorheben eines bewegten Objektrahmens (48), der mit dem bewegten Objekt verbunden ist, das als das zu verfolgende Ziel eingestellt ist, bereitstellt, und der Schritt des Kenntlichmachens einer nächsten Anzeigeansicht eine zweite Hervorhebung zum Hervorheben eines Anzeigerahmens (46), der mit der nächsten Anzeigeansicht übereinstimmt, die in dem Schritt des Vorhersagens vorhergesagt wird, bereitstellt, gekennzeichnet durch ein Veranlassen, in einem Zustand, in dem ein bewegtes Objekt als das zu verfolgende Ziel eingestellt ist, einer Verarbeitung zum Ändern des bewegten Objektes, das als das zu verfolgende Ziel eingestellt ist, wenn die überwachende Person, die bemerkt, dass eine Kenntlichmachung des zu verfolgenden Ziels durch die Kenntlichmachungseinheit für ein zu verfolgendes Ziel inkorrekt ist, eine Eingabeoperation ausführt, wobei, wenn ein bewegtes Objekt erneut in dem Schritt des Einstellens als das zu verfolgende Ziel eingestellt wird, eine dritte Hervorhebung für eine Anzeigeansicht, in der das bewegte Objekt, das als das zu verfolgende Ziel eigenstellt ist, aktuell erscheint, bereitstellt wird, so dass die Anzeigeansicht von den anderen Anzeigeansichten unterscheidbar ist.