-
HINTERGRUND
DER ERFINDUNG
-
1. GEBIET DER ERFINDUNG:
-
Die
Erfindung bezieht sich auf eine Vorrichtung zum Verfolgen eines
sich bewegenden Objekts, um ein sich bewegendes Objekt in der Umgebung automatisch
zu verfolgen, bei der Gesichtsfeldinformationen in einer Umgebung
unter Verwendung einer Videokamera oder dergleichen eingefangen
werden und die eingefangenen Bildinformationen unter Verwendung
einer Bildverarbeitungstechnik verarbeitet werden, um das sich bewegende
Objekt zu erfassen.
-
2. BESCHREIBUNG DES STANDES
DER TECHNIK:
-
In
letzter Zeit wurde auf dem Gebiet von Überwachungskameras zur Überwachung
von Eindringlingen in einen gefährlichen
Bereich oder zur Verhinderung eines Zusammenstoßes einer sich bewegenden Vorrichtung
die Aufmerksamkeit auf eine Vorrichtung zum Verfolgen eines sich
bewegenden Objekts gerichtet, um ein sich bewegendes Objekt in einer
Umgebung automatisch zu verfolgen, wobei Gesichtsfeldinformationen
in der Umgebung unter Verwendung einer Videokamera oder dergleichen eingefangen
werden und wobei die eingefangenen Bildinformationen unter Verwendung
einer Bildverarbeitungstechnik verarbeitet werden, um das sich bewegende
Objekt zu erfassen. Herkömmlich
folgt eine Kamera selbst einem sich bewegenden Objekt.
-
Zum
Beispiel:
- (1) Die japanische Offenlegungsschrift
Nr. 8-9227 offenbart eine Bildeinfangvorrichtung mit einer automatischen
Verfolgungsfunktion, bei der eine einzige Kamera, die einen Betrachtungswinkel ändern kann
(z. B. Schwenk-, Neige- und
Zoom-Eigenschaften), abhängig
von der Bewegung eines sich bewegenden Objekts gedreht wird, um
das sich bewegende Objekt zu verfolgen.
- (2) Die japanische Offenlegungsschrift Nr. 7-114642 offenbart
eine Messvor richtung für
ein sich bewegendes Objekt, bei der zur Glättung der Verfolgung der zuvor
in (1) beschriebenen Kamera die Position eines sich bewegenden Objekts vorhergesagt
wird und ein Zielwert, der anhand der vorhergesagten Position berechnet
wurde, Mitteln zum Antreiben der Kamera bereitgestellt wird.
- (3) Die japanische Offenlegungsschrift Nr. 9-322052 offenbart
eine Verfolgungsvorrichtung unter Verwendung von mehreren Kameras
(ein automatisch photographierendes Kamerasystem), bei der zwei
Kameras, die "Sensor-Kameras" genannt werden,
verwendet werden, um die Koordinaten eines sich bewegenden Objekts
gemäß dem trigonometrischen
Prinzip zu ermitteln. Die Kameras werden in Übereinstimmung mit den Koordinaten
gesteuert (z. B. geschwenkt, geneigt oder gezoomt), um so das sich
bewegende Objekt zu verfolgen.
- (4) WO 99/45511 offenbart ein kombiniertes Weitwinkel- und Engwinkel-Bildgebungssystem
zur Überwachung
und Beobachtung. Bildinformationen von dem Weitwinkelsystem werden
analysiert, um Objekte in einem breiten Blickfeld zu erfassen und
um Betrachtungsparameter zu erzeugen, die verwendet werden, um ein
Schwenken, Neigen und Zoomen von einer oder mehreren Kameras zu
steuern, um hoch aufgelöste
vergrößerte Bilder
der Objekte zu erhalten.
-
Die
zuvor beschriebene Vorrichtung (1) funktioniert jedoch nicht, so
lange sich kein sich bewegendes Objekt im Beobachtungswinkel der
Kamera befindet, so dass die Vorrichtung das sich bewegende Objekt
nicht verfolgen kann, wenn ein sich bewegendes Zielobjekt sich schnell
bewegt und aus dem Betrachtungswinkel der Kamera gerät. Obwohl
die zuvor beschriebene Vorrichtung (2) ein besseres Verfolgungsverhalten
als die Vorrichtung (1) aufweist, sind eine Hochleistungs- und eine
Hochgeschwindigkeits-Steuervorrichtung für die Kamera erforderlich. Die
zuvor beschriebenen Vorrichtungen (3) und (4) nutzen mehrere Kameras,
um so einen breiten Bereich an Informationen in der Umgebung einzufangen und
sie haben folglich ein verbessertes Verfolgungsverhalten. Die Verwendung
von mehreren Kameras erhöht
jedoch die Kosten des Systems und ferner wird eine Steuerschaltung
zur Steuerung der Kameras entsprechend kompliziert.
-
Wenn
eine Kamera gedreht wird, ist die Verfolgungsgeschwindigkeit in
jedem Fall begrenzt, wie es zuvor beschrieben wurde, und ein gleichzeitig
eingefangenes Bild wird durch den Betrachtungswinkel der Kamera
eingeschränkt,
so dass es einen toten Winkel gibt. Da ein mechanischer Antriebsabschnitt zum
Drehen einer Kamera erforderlich ist, ist es darüber hinaus erforderlich, den
mechanischen Antriebsabschnitt instand zu halten, wenn er für eine lange
Zeit betrieben wird.
-
Es
wurde ein Verfahren vorgestellt, das einen sich drehenden Spiegel
zum Einfangen von Bildern in allen Richtungen gleichzeitig ohne
einen mechanischen Antriebsabschnitt verwendet. Unter anderem kann
ein Verfahren unter Verwendung eines Hyperboloidspiegels ein Eingangsbild
in ein Bild umsetzen, das von dem Brennpunkt des Spiegels aus betrachtet
wird (ein perspektivisches Projektionsbild, das im Wesentlichen
einem Bild entspricht, das durch eine typische Kamera aufgenommen
wurde), oder in ein Bild, das durch Drehen einer Kamera um eine vertikale
Achse erhalten wurde (ein zylinderförmiges Panoramabild). Folglich
kann ein derartiges Verfahren im Vergleich zu Verfahren, die Spiegel
mit anderen Formen nutzen, verschiedene Arten von Bildverarbeitung
durchführen.
Ein derartiges visuelles Allrichtungssystem, das den Hyperboloidspiegel
nutzt, ist in der japanischen Offenlegungsschrift Nr. 6-295333 offenbart.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Gemäß einem
Aspekt der Erfindung wird eine Vorrichtung zum Verfolgen eines sich
bewegenden Objekts geschaffen, um ein oder mehrere sich bewegende
Objekte in einer Umgebung zu erfassen und zu verfolgen, mit:
einem
optischen System, das einen Hyperboloidspiegel aufweist, um Gesichtsfeldinformationen
in einer 360°-Umgebung
einzufangen;
einer stationären
Kamera zum Umsetzen der eingefangenen Gesichtsfeldinformationen
in Bildinformationen; und
einem Informationsverarbeitungsabschnitt
zum Verarbeiten der Bildinformationen, um so das eine oder die mehreren
sich bewegenden Objekte anhand der Bildinformationen zu erfassen;
wobei
die Vorrichtung eine einzige Kamera besitzt, die die stationäre Kamera
ist, und der Informationsverarbeitungsabschnitt so beschaffen ist,
dass er die Bildinformationen von der einzigen stationären Kamera
verarbeitet, um so das eine oder die mehreren sich bewegenden Objekte
zu verfolgen, wobei der Informationsverarbeitungsabschnitt einen
jeweiligen Markierer für
das entsprechende eine oder die entsprechenden mehreren sich bewegenden
Objekte nur dann bereitstellt, wenn die Größe des einen oder der mehreren
sich bewegenden Objekte oberhalb eines vorgegebenen Schwellenwerts
liegt.
-
Gemäß den zuvor
beschriebenen Merkmalen können
durch ein optisches System mit einem Hyperboloidspiegel Gesichtsfeldinformationen
in einer 360°-Umgebung eingefangen
werden. Die durch das optische System erhaltenen Gesichtsfeldinformationen
werden unter Verwendung einer einzigen stationären Kamera (die nicht gedreht
wird) in Bildinformationen umgesetzt. Durch Verarbeitung derartiger
Bildinformationen kann ein sich bewegendes Objekt in der Umgebung
erfasst und verfolgt werden. Folglich ist es möglich, eine Verfolgungsvorrichtung zu
realisieren, die eine einzige Kamera ohne einen mechanischen Abschnitt
enthält,
bei der kein toter Winkel auftritt. Bei herkömmlichen Vorrichtungen zum
Verfolgen sich bewegender Objekte muss eine Kamera selbst mechanisch
betrieben werden (z. B. Schwenken und Neigen), oder es müssen mehrere Kameras
geschaltet werden. Im Gegensatz können die zuvor beschriebenen
Probleme gemäß der Erfindung
durch Verwendung eines Hyperboloidspiegels gelöst werden, wodurch es möglich wird,
eine Vorrichtung zum Verfolgen eines sich bewegenden Objekts mit
niedrigen Kosten und hoher Präzision
zu verwirklichen.
-
Wie
es später
beschrieben wird, können
beispielsweise Daten von dem jeweiligen sich bewegenden Objekt gekennzeichnet
werden, um so verwaltet und identifiziert werden zu können, wenn
das sich bewegende Objekt durch Bildverarbeitung erfasst wird. Dadurch
können
eines oder mehrere sich bewegende Objekte in einem Bild verfolgt
werden.
-
Bei
einer Ausführungsform
dieser Erfindung enthalten die Bildinformationen Allrichtungs-Bildinformationen.
Der Informationsverarbeitungsabschnitt setzt wenigstens einen Teil
der Allrichtungs-Bildinformationen in Panorama-Bildinformationen
um. Der Informationsverarbeitungsabschnitt stellt in den Panorama-Bildinformationen
einen Markierer für
jedes Objekt des einen oder der mehreren sich bewegenden Objekte
bereit.
-
Gemäß dem zuvor
beschriebenen Merkmal kann ein Allrichtungsbild einer 360°-Umgebung
unter Verwendung eines Panoramabilds einfach betrachtet werden.
Durch Verwendung eines Markierers wird eine Identifizierung eines
sich bewegenden Objekts einfacher gemacht.
-
Bei
einer Ausführungsform
dieser Erfindung stellt der Informationsverarbeitungsabschnitt einen Markierer
für jedes
des einen oder der mehreren sich bewegenden Objekte bereit, abhängig von
einer Größe des jeweiligen
des einen oder der mehreren sich bewegenden Objekte.
-
Gemäß dem zuvor
beschriebenen Merkmal kann ein Bereich eines Bildes, in dem ein
Versuch unternommen wird, ein sich bewegendes Objekt zu erfassen,
klar definiert werden, indem die Größe eines Markierers geändert wird.
-
Bei
einer Ausführungsform
dieser Erfindung enthalten die Bildinformationen Allrichtungs-Bildinformationen,
und der Informationsverarbeitungsabschnitt setzt wenigstens einen
Teil der Allrichtungs-Bildinformationen in Bildinformationen einer perspektivischen
Projektion um.
-
Gemäß dem zuvor
beschriebenen Merkmal werden eingefangene Bildinformationen in ein
perspektivisches Projektionsbild umgesetzt, das ein Bild ist, das
von einem Brennpunkt eines Hyperboloidspiegels betrachtet wird.
Folglich kann eine Bild ohne Verzerrung wegen des Hyperboloidspiegels
erhalten werden.
-
Bei
einer Ausführungsform
dieser Erfindung verarbeitet der Informationsverarbeitungsabschnitt die
Bildinformationen unter Verwendung einer im Voraus erstellten Tabelle.
-
Gemäß dem zuvor
beschriebenen Merkmal kann eine Bildumsetzung unter Verwendung einer
im Voraus erstellten Tabelle beschleunigt werden.
-
Bei
einer Ausführungsform
dieser Erfindung verarbeitet der Informationsverarbeitungsabschnitt die
Bildinformationen unter Verwendung lediglich eines Datentyps von
RGB-Daten in den Bildinformationen.
-
Gemäß dem zuvor
beschriebenen Merkmal wird die Menge der Bildverarbeitung verringert,
da lediglich ein Datentyp von RGB-Daten bei der Bildverarbeitung
verwendet wird. Folglich kann die Bildverarbeitung beschleunigt
werden.
-
Bei
einer Ausführungsform
dieser Erfindung erfasst der Informationsverarbeitungsabschnitt
das eine oder die mehreren sich bewegenden Objekte anhand einer
Helligkeitsdifferenz zwischen vorgegebenen Rahmeninformationen der
Bildinformationen und Rahmeninformationen, die den vorgegebenen Rahmeninformationen
der Bildinformationen vorhergehen.
-
Folglich
ermöglicht
die hier beschriebene Erfindung die Vorteile der Schaffung einer
Vorrichtung zum Verfolgen eines sich bewegenden Objekts unter Verwendung
eines optischen Systems, das einen Hyperboloidspiegel nutzt, bei
dem 360°-Gesichtsfeldinformationen
in einer Umgebung eingefangen werden, wobei ein sich bewegendes
Objekt von den eingefangenen Bildinformationen unter Verwendung
einer Bildverarbeitungstechnik erfasst wird, um es zu verfolgen.
Folglich ist kein mechanischer Antriebsabschnitt erforderlich und
es gibt keinen toten Winkel in der Vorrichtung zum Verfolgen eines
sich bewegenden Objekts.
-
Gemäß einem
weiteren Aspekt der Erfindung wird ein Verfahren geschaffen, das
die folgenden Schritte enthält:
Einfangen von Bildinformationen aus einem 360°-Gesichtsfeld mittels eines
Hyperboloidspiegels (10; 70); Verarbeiten der
eingefangenen Informationen, um ein oder mehrere Objekte in dem Gesichtsfeld
zu erfassen, und Verfolgen des einen oder der mehreren Objekte,
wobei sowohl die Objekterfassung als auch die Objektverfolgung unter Verwendung
einer einzigen stationären
Kamera ausgeführt
wird, die die Bildinformationen von dem Hyperboloidspiegel einfängt, indem
die eingefangenen Informationen verarbeitet werden und jedem erfassten
sich bewegenden Objekt ein Markierer zugewiesen wird, falls das
sich bewegende Objekt eine Größe oberhalb
eines vorgegebenen Schwellenwerts besitzt.
-
Diese
und weitere Vorteile der Erfindung werden für den Fachmann auf dem Gebiet
offensichtlich, wenn er die folgende ausführliche Beschreibung anhand
der beigefügten
Figuren liest und versteht.
-
KURZBESCHREIBUNG
DER ZEICHNUNG
-
1 ist
eine Darstellung, die eine Vorrichtung zum Verfolgen eines sich
bewegenden Objekts gemäß einem
Beispiel der Erfindung zeigt.
-
2 ist
eine Darstellung, die ein Allrichtungsbild zeigt, das Gesichtsfeldinformationen über die
360°-Umgebung
enthält,
die auf einem Bildschirm in einem Beispiel der Erfindung angezeigt
werden.
-
3 ist
eine Darstellung, die ein Bild zeigt, das erhalten wurde, indem
ein Allrichtungsbild einer Panoramaumsetzung in einem Beispiel der
Erfindung unterzogen wurde.
-
4 ist
eine Darstellung, die ein perspektivisches Projektionsbild in einem
Beispiel der Erfindung zeigt.
-
5A und 5B sind
Darstellungen zur Erklärung
eines Schwenkvorgangs in einem perspektivischen Projektionsbild
in einem Beispiel der Erfindung.
-
6 ist
eine Darstellung zur Erklärung
einer Positionsbeziehung zwischen einem Hyperboloidspiegel und einer
Kamera in einem optischen System in einem Beispiel der Erfindung.
-
7 ist
eine Darstellung, die eine Vorrichtung zum Verfolgen eines sich
bewegenden Objekts gemäß einem
Beispiel der Erfindung zeigt.
-
8 ist
eine Darstellung, die eine Bildverarbeitungskarte in einem Beispiel
der Erfindung zeigt.
-
9 ist
eine Darstellung, die ein Allrichtungsbild zeigt, das auf einem
Bildschirm eines Personalcomputers in einem Beispiel der Erfindung
angezeigt wird.
-
10 ist
eine Darstellung, die ein Allrichtungsbild, ein Panoramabild und
ein perspektivisches Projektionsbild zeigt, die auf einem Bildschirm
eines Personalcomputers in einem Beispiel der Erfindung angezeigt
werden.
-
11 ist
ein Ablaufdiagramm zur Erklärung eines
Verfahrensablaufs, gemäß dem ein
sich bewegendes Objekt in einem Allrichtungsbild erfasst wird, dem
sich bewegenden Objekt ein Markierer zugewiesen wird, und eine Panoramaumsetzung
sowie eine perspektivische Projektionsumsetzung in einem Beispiel der
Erfindung durchgeführt
werden.
-
12 ist
eine Darstellung zur Erklärung
eines Koordinatensystems eines Allrichtungsbildes in einem Beispiel
der Erfindung.
-
13A und 13B sind
Darstellungen zur Erklärung
einer Umsetzung von einem Allrichtungsbild in ein Panoramabild in
einem Beispiel der Erfindung.
-
14A und 14B sind
Darstellungen zur Erklärung
einer Umsetzung von einem Allrichtungsbild in ein perspektivisches
Projektionsbild in einem Beispiel der Erfindung.
-
15 ist
eine Darstellung, die zeigt, wie ein Objekt durch einen Hyperboloidspiegel
in einem Beispiel der Erfindung projiziert wird.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Die
Erfindung wird nachfolgend mittels veranschaulichender Beispiele
anhand der beigefügten Zeichnung
beschrieben.
-
Eine
Vorrichtung zum Verfolgen eines sich bewegenden Objekts gemäß der Erfindung
nutzt ein optisches System unter Verwendung eines Hyperboloidspiegels
zum Einfangen von 360°-Gesichtsfeldinformationen,
bei dem die durch das optische System erhaltenen Gesichtsfeldinformationen
durch eine Kamera in Bildinformationen umgesetzt werden, und ein sich
bewegendes Objekt unter Verwendung einer Bildverarbeitungstechnik
erfasst und verfolgt wird.
-
Üblicherweise
bezieht sich der Begriff "Bild" auf ein Standbild,
und der Begriff "Video" bezieht sich auf
ein sich bewegendes Bild. "Video" besteht aus mehreren
Standbildern, folglich ist "Video" hier als eine Art "Bild" enthalten. Die Erfindung
kann Bilder in allen Richtungen gleichzeitig in Echtzeit einfangen. "Bild" kann hier als eine
Art "Video" enthalten sein.
-
1 ist
ein Blockdiagramm, das eine schematische Anordnung einer Vorrichtung
zum Verfolgen eines sich bewegenden Objekts 1000 gemäß einem
Beispiel der Erfindung zeigt. Die Vorrichtung zum Verfolgen eines
sich bewe genden Objekts 1000 umfasst einen Hyperboloidspiegel 10,
eine Videokamera 11 und einen Informationsverarbeitungsabschnitt 14.
Der Informationsverarbeitungsabschnitt 14 umfasst eine
Bildverarbeitungskarte 12 und ein Computersystem 13.
In der Vorrichtung zum Verfolgen eines sich bewegenden Objekts 1000 wird
der Hyperboloidspiegel 10, der 360°-Gesichtsfeldinformationen erhalten
kann, als ein optisches System verwendet, und ein durch das optische
System erhaltenes Video der Umgebung wird durch die Videokamera 11 in
Bildinformationen umgesetzt. Die Bildinformationen werden durch
eine Bildverarbeitungskarte 12 in digitale Informationen
umgesetzt, und die digitalen Informationen werden in einem Speicher
eines Computersystems 13 gespeichert. Die digitalen Informationen
werden einer Bildverarbeitung unterzogen, wie es später beschrieben
wird, wodurch ein sich bewegendes Objekt erfasst und verfolgt wird.
-
2 zeigt
einen Bildschirm 20 des Computersystems 13, der
die digitalen Informationen anzeigt, die unter Verwendung der Videokamera 11 durch
Einfangen eines Allrichtungsbildes 21 der 360°-Umgebung
erhalten wurden, das durch den Hyperboloidspiegel 10 erhalten
und durch die Bildverarbeitungskarte 12 umgesetzt wurde.
Folglich kann ein Video (Bild) der 360°-Umgebung (d. h. ein bestimmter
Bereich eines Bildes, das auf den Hyperboloidspiegel 10 projiziert
wurde) gleichzeitig in Echtzeit eingefangen werden. Sich bewegende
Objekte werden unter Verwendung einer Bildverarbeitung erfasst,
wie es später
beschrieben wird, und die Daten des jeweiligen sich bewegenden Objekts
werden gekennzeichnet, um so verwaltet und identifiziert werden
zu können.
Folglich können
ein oder mehrere sich bewegende Objekte, die in einem Bild enthalten sind,
verfolgt werden.
-
3 ist
ein Panoramabild 30, das erhalten wurde, indem das 360°-Allrichtungsbild
von 2 einer später
beschriebenen Bildverarbeitung unterzogen wird (Panoramaumsetzung),
um das 360°-Allrichtungsbild
leicht betrachten zu können.
Mit dem Panoramabild 30 kann ein Video (d. h. ein Bild)
der 360°-Umgebung gleichzeitig
gesehen werden. Sich bewegende Objekte 33 und 34,
die in dem Panoramabild 30 erfasst wurden, werden einer
später
beschriebenen Bildverarbeitung unterzogen, um den sich bewegenden
Objekten 33 und 34 entsprechende Markierer 31 und 32 zuzuweisen,
wodurch es einfach gemacht wird, die sich bewegenden Objekte 33 und 34 zu
identifizieren. Wenn die Größen der
Markierer 31 und 32 abhängig von den Flächen der
in dem Panorama bild 30 erfassten sich bewegenden Objekte 33 und 34 ermittelt
wurden, ist es einfacher, die sich bewegenden Objekt 33 und 34 zu
identifizieren.
-
Das
Panoramabild 30 ist ein Bild, das durch Entwickeln (Ausbreiten)
des Allrichtungsvideos erhalten wurde, das durch den Hyperboloidspiegel 10 in
einer θ-Richtung
erhalten wurde, und es enthält eine
Verzerrung wegen des Hyperboloidspiegels 10. Folglich wird
das Panoramabild 30 einer später beschriebenen Bildverarbeitung
unterzogen, um es in ein perspektivisches Projektionsbild 40 umzusetzen, das
ein Bild ist, das von einem Brennpunkt des Hyperboloidspiegels 10 betrachtet
wird, wie es in 4 gezeigt ist (ein Bild, das
durch eine typische Kamera photographiert wurde), wodurch ein Bild
ohne Verzerrung erhalten wird. Algorithmen zur Panoramaumsetzung
und zur perspektivischen Projektionsumsetzung für Bilder, die durch den Hyperboloidspiegel 10 erhalten
wurden, sind beispielsweise in der japanischen Offenlegungsschrift
Nr. 6-295333 offenbart.
-
Das
perspektivische Projektionsbild 40 von 4 ist
ein Bild ohne Verzerrung, das von dem Allrichtungsbild 21 von 2 umgesetzt
wurde, und es wird auch als ein Bild betrachtet, das von dem Panoramabild 30 von 3 ausgeschnitten
wurde. Durch Änderung
von Abschnitten, die aus dem Panoramabild 30 unter Verwendung
einer später
beschriebenen Bildverarbeitungstechnik ausgeschnitten werden sollen,
können
folglich Vorgänge
entsprechend einem Schwenken und Neigen durchgeführt werden, ohne dass eine
Kamera bewegt wird, wie es in 5A und 5B gezeigt
ist. 5A ist ein perspektivisches Projektionsbild 50 und 5B ist
ein perspektivisches Projektionsbild 51 nach einem Schwenkvorgang.
-
Wie
es zuvor beschrieben wurde, sind Algorithmen für eine Panoramaumsetzung und
für eine perspektivische
Projektionsumsetzung für
mit dem Hyperboloidspiegel 10 erhaltene Bilder beispielsweise
in der japanischen Offenlegungsschrift Nr. 6-295333 beschrieben.
Eine Berechnung von Umsetzungsformeln, die in dieser Veröffentlichung
beschrieben sind, ist jedoch außerordentlich
zeitaufwändig,
so dass eine Bildverarbeitung nicht in Echtzeit durchgeführt werden
kann. Folglich sind in der Erfindung Daten, die für die Umsetzungsformeln
erforderlich sind, in einer Menge, die der Anzahl an Bildpunkten
einer Anzeige entspricht (d. h. die Auflösung eines eingefangenen Bildes),
in einem Speicher des Computersystems 13 oder dergleichen
als ein Tabelle im Voraus erstellt worden. Wenn die Umsetzung erforderlich
ist, werden die Berechnungsergebnisse der Umsetzungsformeln ohne
Berechnung aus der Tabelle ausgelesen, wodurch es möglich wird,
die Bildverarbeitung zu beschleunigen.
-
Wenn
das durch den Hyperboloidspiegel 10 erhaltene Allrichtungsvideo
durch die Bildverarbeitungskarte 12 in digitale Informationen
umgesetzt wird, wie es zuvor beschrieben wurde, werden ferner drei
Datenarten (R, G und B) bei Farbvideo erhalten, wenn eine Videokamera
Farbbilder einfängt.
Die später
beschriebene Bildverarbeitung muss nicht für alle drei Arten von Daten
(R, G und B) durchgeführt
werden, und beispielsweise wird lediglich eine Art von Daten (z.
B. R) verwendet, um ein sich bewegendes Objekt zu erfassen, wodurch
die Menge an Bildverarbeitung verringert und folglich die Verarbeitung
beschleunigt wird. Beispielsweise wurde das in 2 gezeigte
Allrichtungsbild 21 durch Verarbeitung lediglich von R-Daten
erhalten.
-
Nachfolgend
wird ein Beispiel der Erfindung ausführlicher beschrieben.
-
Details
des visuellen Allrichtungssystems, das den Hyperboloidspiegel 10 nutzt,
der als das optische System der Erfindung verwendet wird, sind in der
japanischen Offenlegungsschrift Nr. 6-295333 offenbart. Wie es in 6 gezeigt
ist, ist der Mittelpunkt einer Kameralinse 61 eines Bildeinfangabschnittes (d.
h. die Videokamera 11) bei einem zweiten Brennpunkt 63 gegenüber einem
ersten Brennpunkt 62 eines Hyperboloidspiegels 60 angeordnet
(entsprechend dem Hyperboloidspiegel 10 von 1),
und eine Bildeinfangebene 64 des Bildeinfangabschnitts ist
bei einer Brennweite der Kameralinse 61 von der Kameralinse 61 weg
angeordnet. Folglich werden die 360°-Gesichtsfeldinformationen auf
die Bildeinfangebene 64 projiziert, wodurch das in 2 gezeigte
Allrichtungsbild 21 erhalten wird.
-
In 6 wird
eine Koordinatensystem wie folgt definiert. Der Schnittpunkt 0 der
asymptotischen Linien 65 und 66 ist ein Ursprung,
eine horizontale Ebene wird durch die X-Achse und die Y-Achse gebildet,
und eine vertikale Achse (eine Richtung, die den ersten Brennpunkt 62 und
den zweiten Brennpunkt 63 verbindet) ist die Z-Achse. In
einem derartigen Koordinatensystem wird eine Hyperboloidfläche dargestellt
durch: (X2 + Y2)/a2 – Z2/b2 = –1 (1) c2 =
(a2 + b2) (2),wobei a
und b numerische Werte (Abstände)
sind, die die Form der Hyperboloidfläche bestimmen, und c ein numerischer
Wert ist, der einen Abstand von dem Schnittpunkt 0 der asymptotischen
Linien 65 und 66 zu dem jeweiligen Brennpunkt 62 und 63 darstellt.
-
7 ist
eine Darstellung, die eine schematische Anordnung einer Vorrichtung
zum Verfolgen eines sich bewegenden Objekts 2000 gemäß einem Beispiel
der Erfindung zeigt. Die Vorrichtung zum Verfolgen eines sich bewegenden
Objekts 2000 umfasst einen Hyperboloidspiegel 70,
eine Schutzkuppel 71, ein Halteelement 72, eine
Videokamera 73, ein Kamerahalteelement 74 und
einen Informationsverarbeitungsabschnitt 90. Der Informationsverarbeitungsabschnitt 90 umfasst
einen Kameraadapter 75, eine Bildverarbeitungskarte 76 und
einen Personalcomputer 77. In diesem Beispiel wird ein
Aluminiummaterial geformt und eine resultierende Oberfläche wird
einer Metallabscheidung unterzogen, wodurch ein Hyperboloidspiegel 70 mit
einem Durchmesser von 65 mm (a = 17,93, b = 21,43 und c = 27,94)
erhalten wird. Ferner wird die aus Acryl hergestellte Schutzkuppel 71 an
dem Hyperboloidspiegel 70 befestigt, und die Videokamera 73 ist
mit dem Halteelement 72 befestigt, um Informationen in
der Umgebung einzufangen. Die Videokamera 73 wird durch das
Kamerahalteelement 74 gehalten, um so zu verhindern, dass
die Kamera 73 herunterfällt.
-
In
dieser Konstruktion wird ein Betrachtungswinkel erhalten, bei dem
der horizontale Betrachtungswinkel 360° beträgt, der vertikale Betrachtungswinkel
etwa 90° beträgt, der
Erhebungswinkel etwa 25° beträgt und der
Depressionswinkel etwa 65° beträgt. Obwohl
in diesem Beispiel Metall geformt wird, um den Hyperboloidspiegel 70 herzustellen,
kann Kunststoff unter Verwendung einer Gießform geformt werden, und eine
resultierende Oberfläche
wird in Massenproduktion einer Metallabscheidung unterzogen, wodurch
es ermöglicht
wird, Produktionskosten zu verringern.
-
Als
ein Bildeinfangabschnitt (die Videokamera 73) wird eine
Farb-CCD-Kamera mit f = 4 mm und einer Auflösung von 410.000 Bildpunkten
verwendet. Ein zusammengesetztes Videosignal von der CCD-Kamera
wird durch den Kameraadapter 75 in ein RGB-Signal umgesetzt,
und das RGB-Signal wird in einem Bildspeicher 81 (8)
in der Bildverarbeitungskarte 76 gespeichert, die in ei nem
erweiterten Einbauplatz des Personalcomputers 77 angebracht ist.
Eine von Sharp Semiconductor hergestellte GPB-K wird als die Bildverarbeitungskarte 76 verwendet.
Diese Karte enthält
eine umfangreiche Bildverarbeitungsbibliothek und sie hat eine Bildverarbeitungsgeschwindigkeit
von 40 nsec pro Bildpunkt. Ferner umfasst der Personalcomputer 77 beispielsweise
eine Celeron 400 MHz als Zentraleinheit (CPU), einen Speicher mit
64 MB und Windows NT als Betriebssystem.
-
8 ist
eine Darstellung, die einen inneren Strukturblock in der Bildverarbeitungskarte 76 von 7 zeigt,
und die zur Erklärung
eines Betriebs des inneren Strukturblocks verwendet wird. Durch
den Kameraadapter 75 in ein RGB-Signal umgesetzte Allrichtungs-Bilddaten
werden durch einen AD-Umsetzer 80 in digitale Daten mit
8 Bits in jede Farbe von R, G und B umgesetzt, und die resultierenden
digitalen Daten werden in einem Bildspeicher 81 gespeichert.
Daten in dem Bildspeicher 81 werden mittels eines internen
Bildbusses 85 zu einem Bildverarbeitungsabschnitt 84 übertragen
und verschiedene Arten einer Bildverarbeitung (11)
werden unter Verwendung der zuvor beschriebenen Bildverarbeitungsbibliothek
in Hochgeschwindigkeit durchgeführt.
Verarbeitete Daten werden mittels einer PCI-Brücke 83 zu einem PCI-Bus
des erweiterten Einbauplatzes des Personalcomputers 77 übertragen
und in einem Speicher 77a des Personalcomputers 77 gespeichert.
Die Daten werden auf einer Anzeige 78 angezeigt. Eine in 7 gezeigte
Tastatur 79 ist ein Mittel, um Befehle zu empfangen, um
Abläufe
der Vorrichtung zum Verfolgen eines sich bewegenden Objekts 2000 zu
starten und zu beenden. Der in 8 gezeigte
Steuerabschnitt 82 steuert eine Übertragung und einen Empfang
von Hauptrechnerbefehlen, den Bildspeicher 81 und den Bildverarbeitungsabschnitt 84.
-
9 zeigt
ein Fenster der Anzeige 78, das Daten anzeigt, die in dem
Speicher 77a gespeichert sind, die erhalten wurden, indem
Allrichtungs-Bilddaten, die in dem Bildspeicher 81 der
Bildverarbeitungskarte 76 eingefangen wurden, an den Personalcomputer 77 übertragen
wurden. Die Bildschirmgröße dieses
Fensters ist ein VGA-Bildschirm von beispielsweise 640 × 480 Bildpunkten.
Das Fenster entspricht dem Bildschirm 20 von 2.
Wenn das Allrichtungsbild 91 auf einem VGA-Bildschirm mit
einer Auflösung
von 640 × 480
Bildpunkten angezeigt wird, ist die Auflösung von 410.000 Bildpunkten
der CCD-Kamera ausreichend.
Es wird angemerkt, dass eine Kamera mit einer höheren Auflösung erforderlich ist, um die
Auflösung
eines Bildes zu erhöhen.
-
10 zeigt
das zuvor beschriebene Fenster, in das ein Panoramabild 101,
das erhalten wird, indem das Allrichtungsbild 91 von 9 einer
Panoramaumsetzung unterzogen wird, und ein perspektivisches Projektionsbild 100,
das erhalten wird, indem das Allrichtungsbild 91 einer
perspektivischen Projektionsumsetzung unterzogen wird, eingebunden sind.
In diesem Fall hat das Panoramabild 101 eine Größe von 640 × 160 Bildpunkten,
während
das perspektivische Projektionsbild 100 eine Größe von 120 × 120 Bildpunkten
hat. Ein Markierer 102 wird einem sich bewegenden Objekt 103 in
dem Panoramabild 101 zugewiesen.
-
Nachfolgend
wird anhand 11 ein Verfahrensablauf beschrieben,
bei dem das sich bewegende Objekt 103 von dem Allrichtungsbild 91 von 9 erfasst
wird, der Markierer 102 dem sich bewegenden Objekt 103 zugewiesen
wird, und das Panoramabild 101 und das perspektivische
Projektionsbild 100 erzeugt werden.
-
Allrichtungsbilddaten
werden durch den Kameraadapter 75 von 7 in
ein RGB-Signal umgesetzt, das RGB-Signal wird durch den AD-Umsetzer 80 von 8 in
digitale Daten mit 8 Bits in jeder Farbe von R, G und B umgesetzt,
und die digitalen Daten werden in dem Bildspeicher 81 gespeichert.
Im Schritt 110 von 11 werden
Allrichtungsbild-Rahmendaten, die in einem vorherigen Rahmen eingefangen
wurden, und Allrichtungsbild-Rahmendaten, die in einem gegenwärtigen Rahmen
eingefangen sind, einem Subtraktionsvorgang unterzogen, um so eine
Rahmendifferenz zu berechnen.
-
Als
eine Nachverarbeitung der Rahmendifferenz oder als eine Vorausbearbeitung
einer nachfolgenden binären
Umsetzung wird im Schritt 111 ein maximaler Bildpunktwert
in einem 3 × 3
Bildpunkt-Fenster ermittelt. Dadurch wird das Bild ausgedehnt. Da
es wahrscheinlich ist, dass in diesem Fall ein sich bewegendes Objekt
in einer Binärumsetzung in
getrennte Objekte aufgeteilt wird, wird die Ausdehnung des Bildes
ausgeführt,
um die getrennten Objekte zu vereinigen.
-
Daraufhin
wird im Schritt 112 ein 256-Graustufenbild in ein 2-Graustufenbild
mit einer Graustufe für
einen Hintergrund und der anderen Graustufe für ein zu verfolgendes sich
bewegendes Objekt umgesetzt. Als ein Ergebnis der Be rechnung der
Rahmendifferenz weist der Hintergrund mit im Wesentlichen keinem
Bewegungsbeitrag eine Helligkeitsdifferenz von Null auf. Das sich
bewegende Objekt weist eine Helligkeitsdifferenz zwischen einem
vorherigen Rahmen und einem gegenwärtigen Rahmen auf, so dass die
Helligkeitsdifferenz größer als
oder gleich einem vorgegebenen Wert als ein sich bewegendes Objekt erfasst
wird. Das sich bewegende Objekt kann verfolgt werden, indem eine
derartige Helligkeitsdifferenz zwischen den jeweiligen Rahmen erfasst
wird. In 12 sind die Positionen der sich
bewegenden Objekte 33 und 34 in dem gegenwärtigen Rahmen unterschiedlich
von den entsprechenden Positionen der sich bewegenden Objekte 33' und 34' in dem vorhergehenden
Rahmen. Folglich sind Helligkeitsdifferenzen bei den Positionen
der sich bewegenden Objekte 33, 34, 33' und 34' vorhanden.
Sich bewegende Objekte können
verfolgt werden, indem derartige Helligkeitsdifferenzen zwischen
den Rahmen erfasst werden.
-
Im
Schritt 113 werden daraufhin verbundene Bereiche in den
binären
Bilddaten nummeriert (gekennzeichnet). Durch eine Kennzeichnung
kann die Fläche
oder der Schwerpunkt eines (später
beschriebenen) verbundenen Bereichs für das jeweilige Kennzeichen
extrahiert werden. Durch Kennzeichnung können ferner mehrere sich bewegende
Objekte unterschieden werden. Wie es in 12 gezeigt ist,
kann in diesem Beispiel ein X-Y-Koordinatensystem, bei dem die obere
linke Ecke ein Ursprung ist, als ein Koordinatensystem für das Allrichtungsbild 21 in
einem VGA-Bildschirm mit 640 × 480
Bildpunkten (der Bildschirm 20) verwendet werden.
-
In
Schritt 114 wird daraufhin die Fläche (die Anzahl von Bildpunkten)
von jedem gekennzeichneten verbundenen Bereich berechnet. Im Schritt 115 wird
ermittelt, ob die Fläche
größer oder
gleich einem Schwellenwert ist. Wenn die Fläche kleiner als der Schwellenwert
ist, wird der gekennzeichnete verbunden Bereich als Rauschen bestimmt.
Folglich ist der Verfahrensablauf der Erfindung stabil gegenüber Rauschen.
-
Im
Schritt 116 werden die extrahierten Flächen nach kleiner werdender
Größe sortiert.
Im Schritt 117 werden die baryzentrischen Koordinaten für jede der
n größten Flächen berechnet.
Die baryzentrischen Koordinaten des jeweiligen verbundenen Bereichs,
der im Schritt 113 gekennzeichnet wurde, werden durch ein
Moment erster Ordnung berechnet, das für den verbundenen Bereich berechnet
wurde, der durch die Fläche
geteilt wurde (Moment 0-ter Ordnung).
-
Daraufhin
werden in Schritt 118 die n Sätze von baryzentrischen Koordinaten
in einem gegenwärtigen
Rahmen, die im Schritt 117 extrahiert wurden, und die n
Sätze von
baryzentrischen Koordinaten in einem vorherigen Rahmen identifiziert,
wodurch sich bewegende Objekte erfasst werden und jedes sich bewegende
Objekt verfolgt wird.
-
Auf
diese Weise können
sich bewegende Objekte erfasst und deren baryzentrische Koordinaten
berechnet werden. Folglich werden im Schritt 119 anhand
der baryzentrischen Koordinaten ein Radius und ein Winkel des jeweiligen
sich bewegenden Objekts in einem Polarkoordinatensystem berechnet.
Im Schritt 120 wird daraufhin das Allrichtungsbild eines gegenwärtigen Rahmens
in ein Panoramabild umgesetzt. Im Schritt 121 wird das
Allrichtungsbild eines gegenwärtigen
Rahmens in ein perspektivisches Projektionsbild umgesetzt. Wenn
die Panoramaumsetzung ausgeführt
worden ist, wird ferner im Schritt 120 einem sich bewegenden
Objekt, das im Schritt 119 erfasst wurde, ein Markierer
zugewiesen. Indem ein Markierer einem sich bewegenden Objekt zugewiesen
wird, können
folglich mehrere sich bewegende Objekte in einem Allrichtungsbild
ohne Schwierigkeit verfolgt werden.
-
In
dem Ablauf zum Erfassen eines sich bewegenden Objekts von Schritt 110 bis
Schritt 119 können
lediglich G-Daten der RGB-Daten verwendet werden, um so beispielsweise
die Erfassungsverarbeitung von sich bewegenden Objekten zu beschleunigen.
In Schritt 120 und 121 werden alle RGB-Daten verwendet,
um so ein Farbbild zu verarbeiten.
-
Folglich
werden sich bewegende Objekte von Allrichtungs-Bilddaten in einem
gegenwärtigen Rahmen
erfasst, und die Allrichtungs-Bilddaten können zu Panoramabilddaten und
zu perspektivischen Projektionsbilddaten umgesetzt werden, die Markierer
haben. Die umgesetzten Bilddaten werden in dem Speicher 77a des
Personalcomputers 77 gespeichert und an die Anzeige 78 übertragen,
auf der die Bilddaten dargestellt werden (9 und 10).
Nach dem zuvor beschriebenen Verfahren wird ein nächstes Allrichtungsbild
eingefangen und nachfolgende Rahmendaten werden verarbeitet, so
dass ein sich bewegendes Bild angezeigt werden kann.
-
Nachfolgend
werden Verfahren zum Umsetzen eines Allrichtungsbildes in ein Panoramabild
und in ein perspektivisches Projektionsbild in Schritt 120 und 121 beschrieben.
Algorithmen für
eine Panoramaumsetzung und für
eine perspektivische Projektionsumsetzung werden beispielsweise
in der japanischen Offenlegungsschrift Nr. 6-295333 beschrieben.
-
Zuerst
wird anhand 13A und 13B eine
Panoramaumsetzung beschrieben. Wie es in der japanischen Offenlegungsschrift
Nr. 6-295333 offenbart wurde, kann ein Objekt P (Bildpunkt), das durch
Koordinaten (x, y) auf einem in 13A gezeigten
Bildschirm 130 dargestellt wird, auf einen in 13B gezeigten Panoramabildschirm projiziert werden,
indem ein Radius r und ein Winkel θ des Objekts P in einem Allrichtungsbild 131 berechnet
werden, wobei die Koordinaten des Mittelpunkts des Allrichtungsbilds 131 (Cx,
Cy) sind. Es ist jedoch sehr zeitaufwändig, einen derartigen Umsetzungsvorgang für jeden
Bildpunkt durchzuführen.
Folglich werden in diesem Beispiel die Koordinaten in dem Allrichtungsbild 131,
die anhand des Koordinatensystems des Panoramabildes 132 entsprechend
allen Bildpunkten in dem Panoramabild 132 berechnet wurden,
im Voraus als eine Tabelle 86 (8) erstellt,
und eine Panoramaumsetzung wird ausgeführt, indem lediglich auf die
Tabelle 86 verwiesen wird. Die Tabelle 86 ist beispielsweise
in dem Bildspeicher 81 gespeichert.
-
Insbesondere
wird ein Bildpunkt, der in dem Panoramabild 132 als (r, θ) bezeichnet
wird, in dem Allrichtungsbild 131 durch (x, y) dargestellt,
d. h., x = Cx + r × cosθ (3) y = Cy + r × sinθ (4).
-
In
der Tabelle 86 sind für
den Radius r und für den
Winkel θ von
jedem Bildpunkt in dem Panoramabild 132 eine entsprechende
x-Koordinate im Voraus in Übereinstimmung
mit Formel (3) berechnet und eine entsprechende y-Koordinate ist
im Voraus in Übereinstimmung
mit der Formel (4) berechnet worden. Diese x- und y-Koordinaten
sind in entsprechenden Tabellen tbx und tby gespeichert. In diesem
Fall geht der Winkel θ von
0° bis 360° in 1/100°-Schritten und
der Radius r geht von 0 Bildpunkten bis zu 160 Bildpunkten. Folglich
beträgt
die Größe des Panoramabildes 101 160
Bildpunkte in einer Längsrichtung, wie
es in 10 gezeigt ist.
-
Es
wird angemerkt, dass ein Schwenkvorgang in dem Panoramabild 132 durchgeführt werden kann,
indem ein Versatz (offset) zu jeden Winkel θ addiert wird, wenn die Tabelle
erstellt wird. Folglich kann ein derartiger Schwenkvorgang in den
Panoramabild 132 durch Bildverarbeitung bei hoher Geschwindigkeit
durchgeführt
werden. Da der Radius und der Winkel eines sich bewegenden Objekts
in Schritt 119 (11) ermittelt
werden, wird für
einen Vorgang des Hinzufügens
eines Markierers ein Markierer anhand derartiger Informationen bei
einem entsprechenden Abschnitt in einem Panoramabild angezeigt (hinzugefügt).
-
Nachfolgend
wird eine perspektivische Projektionsumsetzung anhand 14A und 14B beschrieben.
Beispielsweise wird ein Sektorabschnitt, der in einem Allrichtungsbild 141 auf
einem in 14A gezeigten Bildschirm 140 von
A, B, C und D umgeben ist, einer perspektivischen Projektionsumsetzung
unterzogen. Es werden ein Radius r und eine Winkel θ eines Objekts
P (Bildpunkt) ermittelt, das in Bezug auf die Koordinate des Mittelpunkts
(Cx, Cy) des Allrichtungsbildes 141 als Koordinaten (x,
y) bezeichnet wird. Dadurch wird der Sektorabschnitt als ein perspektivisches
Projektionsbild 143 auf ein Panoramabild 142 projiziert,
wie es in 14B gezeigt ist. Einen derartigen
Umsetzungsvorgang für
jeden Bildpunkt durchzuführen,
ist jedoch zeitaufwändig. Wie
es zuvor für
die Panoramaumsetzung beschrieben wurde, werden folglich in diesem
Beispiel die Koordinaten in dem Allrichtungsbild 141, die
allen Bildpunkten in dem Panoramabild 142 entsprechen,
im Voraus als die Tabelle 86 (8) erstellt,
und eine perspektivische Projektionsumsetzung wird ausgeführt, indem
lediglich auf die Tabelle 86 verwiesen wird.
-
Wie
es in 15 gezeigt ist, wird insbesondere
angenommen, dass es eine perspektivische Projektionsebene 156 gibt,
die ein Objekt P in einem dreidimensionalen Raum enthält, wobei
die Koordinaten des Objekts P (Tx, Ty, Tz) sind. Es wird außerdem angenommen,
dass ein Bild des Objekts P in einem Allrichtungsbild 141 auf
einer Bildeinfangebene 154 der Videokamera 73 (7)
gesehen wird. In diesem Fall werden die Polarkoordinaten (r, θ) des Objekts
P (Bildpunkt) in dem Allrichtungsbild 141 auf der perspektivischen
Projektionsebene 156 unter Verwendung der Tabelle 86 erhalten.
Unter Bezug auf die zuvor beschriebene x-Koordinatentabelle tbx und
auf die y-Koordinatentabelle tby werden daraufhin Koordinaten (x,
y) in dem Allrichtungsbild 141 erhalten, wodurch es möglich wird,
eine perspektivische Projektionsumsetzung durchzuführen.
-
Insbesondere
wird ein Bildpunkt, der in dem perspektivischen Projektionsbild 143 (14B) durch die Koordinaten (r, θ) dargestellt
wird, unter Verwendung der Formeln (3) und (4) in Koordinaten (x,
y) in dem Allrichtungsbild 141 umgesetzt. Wie es in 15 gezeigt
ist, werden der Radius r und der Winkel θ in dem perspektivischen Projektionsbild 143 dargestellt
durch: α = arctan(Tz/sqrt(Tx2 + Ty2)) (5) β = arctan(((b2 +
c2) × sinα – 2 × b × c)/(b2 – c2) × cosα) (6),wobei die
dreidimensionalen Koordinaten des Objekts P (Tx, Ty, Tz) sind, ein
Winkel des Objekts P von einem ersten Brennpunkt 152 eines
Hyperboloidspiegels 150 aus in Bezug auf eine Tx-Achse α ist, ein Winkel
des auf den Hyperboloidspiegel 150 projizierten Objekts
P von dem Mittelpunkt einer Kameralinse 151 der Videokamera 151 aus
in Bezug auf die Tx-Achse β ist,
sowie a, b und c numerische Werte sind, die die Form des Hyperboloidspiegels 150 bestimmen
und die Formeln (1) und (2) erfüllt.
Der Radius r und der Winkel θ erfüllen außerdem θ = –arctan(Ty/Tx) (7) r = F × tan((π/2) – β) (8),wobei F
die Brennweite der Kameralinse 151 ist.
-
Ein
Radius r und ein Winkel θ werden
im Voraus für
einen Satz von Koordinaten (Tx, Ty, Tz) entsprechend dem jeweiligen
Bildpunkt auf der perspektivischen Projektionsebene 156 in Übereinstimmung mit
den Formeln (7) und (8) berechnet, um eine θ-Koordinatentabelle tbθ und eine
r-Koordinatentabelle tbr als einen Abschnitt der Tabelle 86 zu
erstellen. In diesem Beispiel beträgt die Größe der perspektivischen Projektionsebene 156 beispielsweise
120 × 120
Bildpunkte, wie es zuvor beschrieben wurde. Folglich entspricht
diese Größe dem Betrachtungswinkel,
der erhalten wird, wenn angenommen wird, dass die Videokamera 73 bei
dem ersten Brennpunkt 152 des Hyperboloidspiegels 150 angeordnet
ist.
-
Folglich
kann jeder Bildpunkt auf der perspektivischen Projektionsebene 156 in
Polarkoordinaten (r, θ)
auf dem Allrichtungsbild 141 umgesetzt werden, indem lediglich
auf die Tabelle tbθ und
auf die Tabelle tbr verwiesen wird. Daraufhin werden die Polarkoordinaten
(r, θ)
zu Koordinaten (x, y) auf dem Allrichtungsbild 141 umgesetzt,
indem lediglich auf die Tabelle tbx und die Tabelle tby verwiesen
wird.
-
Ein
Schwenkvorgang kann in dem perspektivischen Projektionsbild 143 durchgeführt werden,
indem wie bei dem Panoramabild 142 zu einem Winkel θ ein Versatz
(offset) addiert wird, wenn die Tabelle tbθ erzeugt wird. Ein Neigungsvorgang
kann in dem perspektivischen Projektionsbild 143 ebenfalls durchgeführt werden,
indem eine besondere Tabelle tbtr eines Radius r erstellt wird.
Die Neigungstabelle tbtr listet einen durch die Formeln (6) und
(8) erhaltenen Radius in Bezug auf einen Winkel α auf, der durch einen Neigungswinkel
erhalten wird. Folglich können
ein Schwenkvorgang und ein Neigungsvorgang des perspektivischen
Projektionsbilds 143 durch Bildverarbeitung bei hoher Geschwindigkeit durchgeführt werden.
-
Wie
es zuvor beschrieben wurde, werden in diesem Beispiel die Abläufe in den
Schritten 110 bis 114 und im Schritt 117 von 11 unter
Verwendung von Funktionen durchgeführt, die in einer Bildverarbeitungs-Bibliothek
enthalten sind, die in einer Bildverarbeitungskarte enthalten ist.
Die Erfassung eines sich bewegenden Objekts wird durchgeführt, indem lediglich
G-Daten von RGB-Daten
verwendet werden. Ein Allrichtungsbild wird unter Verwendung von mehreren
im Voraus erstellen Tabellen in ein Panoramabild oder in ein perspektivisches
Projektionsbild umgesetzt. Folglich kann eine Verarbeitung eines sich
bewegenden Bildes mit einer Geschwindigkeit von 10 Rahmen pro Sekunde
in diesem Beispiel erzielt werden. Um eine Verarbeitung eines sich
bewegenden Bildes mit einer Geschwindigkeit von beispielsweise 30
Rahmen pro Sekunde zu erzielen, ist eine Bildverarbeitungskarte
mit einer Verarbeitungsgeschwindigkeit erforderlich, die ein Dreifaches
von jener der zuvor beschriebenen Bildverarbeitungskarte beträgt. Die
Abläufe
in den Schritten 115, 116, 118 und 119 können von
einer Zentraleinheit (CPU) eines Personalcomputers anstelle einer
Bildverarbeitungskarte durchgeführt
werden.
-
Gemäß der Erfindung
werden, wie es zuvor beschrieben wurde, ein optisches System mit
einem Hyperboloidspiegel und mit einer stationären Kamera anstelle eines mechanischen
Antriebsabschnitts verwendet. Folglich ist während eines Langzeitbetriebs im
Wesentlichen keine Instandhaltung erforderlich, und ein sehr zuverlässiger und
stabiler Betrieb kann verwirklicht werden. Ferner ist lediglich
eine Kamera erforderlich, was eine kostengünstige Vorrichtung zum Verfolgen
eines sich bewegenden Objekts zur Folge hat. Ferner können Gesichtsfeldinformationen in
der 360°-Umgebung
gleichzeitig eingefangen werden. Folglich ist ein Verlieren einer
Spur eines sich bewegenden Objekts unwahrscheinlich, und es ist außerdem möglich, ein
sich bewegendes Objekt zu verfolgen, das sich um die Kamera bewegt.
-
Ein
Allrichtungsbild, das unter Verwendung eines Hyperboloidspiegels
in einem optischen System erhalten wurde, kann in ein Panoramabild
umgesetzt werden, um so einfach betrachtet werden zu können, oder
in ein perspektivisches Projektionsbild, um ein im Wesentlichen
verzerrungsfreies Bild zu erhalten. Folglich kann die Erkennungsgenauigkeit
eines sich bewegenden Objekts verbessert werden. Die Vorrichtung
zum Verfolgen eines sich bewegenden Objekts der Erfindung kann bei
verschiedenen Anwendungen verwendet werden, etwa bei einer Innen-
oder Außenraum-Überwachungsvorrichtung,
in einem beweglichen Roboter und in einem Fahrzeug.
-
Eine
Erfassung und Verfolgung eines sich bewegenden Objekts kann durch
die zuvor beschriebenen einfachen Algorithmen realisiert werden.
Die Abwandlung eines Betrachtungswinkels wie etwa Schwenken oder
Neigen kann durchgeführt
werden. Ferner ist eine komplizierte Schaltung zur Steuerung der
Bewegungen einer Kamera wie in der herkömmlichen Technologie nicht
erforderlich. Folglich kann das gesamte System einfach gehalten
werden. Eine Vorrichtung zum Verfolgen eines sich bewegenden Objekts,
die mit beweglichen Farbbildern umgehen kann, kann auch klein gehalten
werden.
-
Gemäß der Erfindung
wird eine Bildinformationsverarbeitung unter Verwendung einer Umsetzungstabelle
durchgeführt,
die zuvor in Abhängigkeit von
der Auflösung
eines eingefangenen Bildes erstellt wurde, wodurch eine Bildinformationsverarbeitung
beschleunigt wird. Ferner können
sich bewegende Farbbilder bei hoher Geschwindigkeit verarbeitet
werden, indem lediglich eine Farbdatenart der RGB-Daten einer Bildverarbeitung
unterzogen wird.
-
Verschiedene
weitere Abwandlungen gehen für
einen Fachmann auf dem Gebiet hervor und können leicht von diesem durchgeführt werden,
ohne den Umfang dieser Erfindung zu verlassen und vom Erfindungsgedanken
abzuweichen. Entsprechend ist es nicht beabsichtigt, dass der Umfang
der hier beigefügten Ansprüche auf
die hier dargelegte Beschreibung beschränkt ist, sondern dass die Ansprüche breit
ausgelegt werden.