DE112013001869T5

DE112013001869T5 - Bilderzeugungsvorrichtung, Kameravorrichtung, Bilddarstellungsvorrichtung und Bilderzeugungsverfahren

Info

Publication number: DE112013001869T5
Application number: DE201311001869
Authority: DE
Inventors: c/o Panasonic Corporation Kuwada Junya
Original assignee: Panasonic Corp
Current assignee: Panasonic Holdings Corp
Priority date: 2012-04-02
Filing date: 2013-04-01
Publication date: 2014-12-24
Also published as: WO2013150775A1; US20150015738A1; GB2515684B; GB2515684A; JP6152991B2; GB201417247D0; US9251559B2; JPWO2013150775A1

Abstract

Eine Kameravorrichtung (1) wird bereitgestellt mit: einer Bildeinheit (2) zum Erzeugen eines Bereichsbildes, das durch das Aufnehmen eines Bereichs von oben erhalten wird; und einer Darstellungsbilderzeugungseinheit (3) zum Erzeugen eines Darstellungsbildes eines Ziels, das sich in dem Bereich bewegt, durch Benutzen eines Ausschnittbildes, das aus dem Bereichsbild ausgeschnitten wird. In diesem Fall wird ein Drehwinkel eines aktuellen Einzelbildes auf Basis des Drehwinkels des vorherigen Einzelbildes und eines Referenzwinkels des aktuellen Einzelbildes berechnet. Daraus ergibt sich, dass eine schnelle Veränderung der Orientierung des Ziels, das in dem Darstellungsbild dargestellt ist, unterdrückt werden kann.

Description

Titel der Erfindung
Bilderzeugungsvorrichtung, Kameravorrichtung, Bilddarstellungsvorrichtung und Bilderzeugungsverfahren
Technischer Bereich
Die vorliegende Erfindung bezieht sich auf eine Bilderzeugungsvorrichtung, eine Kameravorrichtung, ein Bildverarbeitungssystem und ein Bilderzeugungsverfahren zum Erzeugen eines Ausgabebildes zum Darstellen durch Benutzen eines Ausschnittbildes, das aus einem von einer Kamera aufgenommenen Weitwinkelbild ausgeschnitten wird.
Stand der Technik
Ein System zum Erzeugen eines Ausgabebildes zur Darstellung durch Verarbeiten eines Weitwinkelbildes, das von einer Kamera aufgenommen wird, die mit einer Weitwinkellinse, wie z. B. einer Fischaugenlinse oder ähnlichem, ausgestattet ist, wurde bereits vorgeschlagen (siehe z. B. Patentliteratur 1 bis Patentliteratur 3). Als eines dieser Bildverarbeitungssysteme ist ein System zum Erzeugen eines Ausschnittbildes, das ein Ziel aus dem Bild umfasst, und zum Darzustellen/Ausgeben des Ausschnittbildes bereits bekannt.
Wie in 7 dargestellt, wird ein Ziel in Übereinstimmung mit einer Position des Ziels geneigt, wenn ein vordefinierter Bereich aus einem Bild, das durch Benutzung einer Weitwinkellinse, wie z. B. einer Fischaugenlinse, erhalten wird, ausgeschnitten werden soll. Aus diesem Grund wird normalerweise eine Verarbeitung der Drehung übereinstimmend mit der Inklination ausgeführt, wenn ein Ausschnittbild aus einem Bild erzeugt werden soll.
Allerdings, verändert sich die Orientierung des Ziels im dargestellten Ausschnittbild durch den Einfluss der Verarbeitung zum Drehen des Ausschnittbildes stark und schnell, und hier liegt das Problem, dass das dargestellte Bild so schwer zu sehen ist. Dieses ist besonders auffällig, wenn ein Bild benutzt wird, das durch ein Fischaugenobjektiv (siehe Bild 7), in dem sich die Orientierung eines Ziels relativ zur Mitte des Bildes umkehrt, benutzt wird oder wenn die Kamera an einer Raumdecke oder ähnlichem installiert ist, so dass die Richtung der optischen Achse vertikal ist, und das Ziel in der Umgebung direkt unter der Kamera vorbei geht.
Literaturliste

Patentliteratur 1: Japanisches Patent Veröffentlichungsnummer 2006-20141
Patentliteratur 2: Japanisches Patent Veröffentlichungsnummer 2008-33607
Patentliteratur 3: Japanisches Patent Veröffentlichungsnummer 2006-301034

Zusammenfassung
Technisches Problem
Die vorliegende Erfindung wurde vor dem oben beschriebenen Hintergrund gemacht. Ein Ziel der vorliegenden Erfindung ist es, eine schnelle Änderung der Orientierung eines Ziels in einem Ausschnittbild, das dargestellt werden soll, zu unterdrücken.
Lösung des Problems
Ein Aspekt der vorliegenden Erfindung ist eine Bilderzeugungsvorrichtung. Diese Bilderzeugungsvorrichtung ist eine Bilderzeugungsvorrichtung zum Erzeugen eines Ausschnittbildes aus einem Weitwinkelbild und ist ausgestattet mit einer Referenzwinkelbestimmungseinheit zum Erhalten eines Referenzwinkels eines Ausschnittbereichs in dem Weitwinkelbild, einer Drehwinkelspeichereinheit zum Speichern eines Drehwinkels eines vorherigen Ausschnittbildes, einer Drehwinkelberechnungseinheit zum Erhalten des Drehwinkels bezogen auf den Ausschnittbereich auf Basis eines vorherigen Drehwinkels und des Referenzwinkels und einer Bildausschnitteinheit zum Erzeugen des Ausschnittbildes bezogen auf den Ausschnittbereich auf der Basis des Drehwinkels, der durch die Drehwinkelberechnungseinheit erhalten wird, wobei die Drehwinkelberechnungseinheit eine Steuerung so ausführt, dass ein Änderungsausmaß des Drehwinkels des Ausschnittbereichs einen vorbestimmten Winkel nicht überschreitet.
Wie im Folgenden beschrieben wird hat die vorliegende Erfindung noch einen weiteren Aspekt. Aus diesem Grund ist diese Offenbarung der Erfindung dazu gedacht, einen Teilaspekt der vorliegenden Erfindung bereitzustellen, und ist nicht dazu gedacht, die Breite der Erfindung, die hier beschrieben und beansprucht wird, zu begrenzen.
Kurze Beschreibung der Abbildungen
1 zeigt ein Blockdiagram eines Bildverarbeitungssystems in einer ersten Ausführungsform der vorliegenden Erfindung.
2 zeigt ein erklärendes Abbild der Erzeugungsbearbeitung eines dargestellten Bildes in der ersten Ausführungsform der vorliegenden Erfindung.
3 zeigt ein Betriebsflussdiagramm einer Bilderzeugungsvorrichtung in der ersten Ausführungsform der vorliegenden Erfindung.
4 zeigt ein Blockdiagramm eines Bildverarbeitungssystems in einer zweiten Ausführungsform der vorliegenden Erfindung
5 zeigt eine erklärende Abbildung der Bereichsbestimmung in der zweiten Ausführungsform der vorliegenden Erfindung.
6 zeigt ein Betriebsflussdiagramm einer dargestellten Bilderzeugungseinheit in der zweiten Ausführungsform der vorliegenden Erfindung.
7 zeigt ein erklärendes Abbild eines Ausschnittbereiches in einem Bild, das von einer Fischaugenlinse aufgenommen wurde.
Beschreibung der Ausführungsform
Die vorliegende Erfindung wird im Folgenden im Detail beschrieben. Allerdings beschränken die detaillierte Beschreibung im Folgenden und die angefügten Zeichnungen die Erfindung nicht.
Eine Kameravorrichtung der vorliegenden Erfindung wird bereitgestellt mit einer Bildeinheit zum Erzeugen eines Bereichsbildes, wobei es sich um ein Bild handelt, das durch Aufnehmen des Bereichs von oben erhalten wird, und einer Darstellungsbilderzeugungseinheit zum Erzeugen eines Darstellungsbildes eines Ziels, das sich in dem Bereich bewegt, durch Benutzen eines Ausschnittbildes, das aus dem Bereichsbild ausgeschnitten wird, in dem die Darstellungsbilderzeugungseinheit mit einer Drehwinkelberechnungseinheit zum Berechnen eines Drehwinkels um den das Ausschnittbild rotiert wird, wenn das Darstellungsbild erzeugt wird, ausgestattet ist, einer Bildausschnittseinheit zum Erzeugen des Darstellungsbildes durch Drehen des Ausschnittbildes auf Basis des Drehwinkels, einer Drehwinkelspeichereinheit zum Speichern des Drehwinkels, der zum Drehen des Ausschnittbildes benutzt wird, und einer Referenzwinkelbestimmungseinheit zum Bestimmen eines Referenzwinkels, der einer Neigung des Ziels in dem Bereichsbild entspricht, und einer Drehwinkelberechnungseinheit, die eine Ausstattung zum Berechnen des Drehwinkels eines aktuellen Einzelbildes auf Basis des Drehwinkels eines vorherigen Einzelbildes gespeichert in der Drehwinkelspeichereinheit und dem Referenzwinkel des aktuellen Einzelbildes bestimmt durch die Referenzwinkelbestimmungseinheit besitzt.
Mit Hilfe dieser Ausstattung kann ein angemessenes Darstellungsbild des Ziels, das sich durch den Bereich bewegt, durch Benutzen eines Ausschnittbildes erzeugt werden, das von einem Bild ausgeschnitten wird, das durch Aufnehmen des Bereichs von oben erhalten wird (Bereichsbild). In diesem Fall wird der Drehwinkel des aktuellen Einzelbildes auf Basis des Drehwinkels des vorherigen Einzelbildes und des Referenzwinkels des aktuellen Einzelbildes berechnet, das Ausschnittbild wird auf Basis des Drehwinkels gedreht und das Darstellungsbild wird erzeugt. Ein Ergebnis ist, dass eine schnelle Veränderung der Orientierung des Ziels, das im Darstellungsbild dargestellt wird, unterdrückt werden kann.
Ferner ist die Darstellungsbilderzeugungseinheit in der Kameravorrichtung der vorliegenden Erfindung ausgestattet mit einer Referenzpositionsbestimmungseinheit zum Bestimmen einer Ausschnittreferenzposition, die einer Position des Ziels in dem Bereichsbild entspricht und eine Position ist, die zu einer Referenz wird, wenn das Ausschnittbild aus dem Bereichsbild ausgeschnitten werden soll, und einer Entfernungsberechnungseinheit zum Berechnen einer Entfernung zwischen einer Referenzposition, die einer Position der Bildeinheit in dem Bereichsbild entspricht, und der Ausschnittreferenzposition, und der Bildausschnitteinheit, die ausgestattet zum Erzeugen des Darstellungsbildes durch Drehen des Ausschnittbildes auf Basis des Drehwinkels ist, wenn die Entfernung nicht größer als eine vorherbestimmte Grenzentfernung ist.
Mit Hilfe dieser Ausstattung kann eine schnelle Veränderung der Orientierung des Ziels, das im Darstellungsbild dargestellt wird, unterdrückt werden, wenn eine Entfernung zwischen einer Position, die dem Ziel (Ausschnittreferenzposition) entspricht, und einer Position, die der Bildeinheit entspricht (Referenzposition), klein ist, das heißt, wenn das Ziel in der Umgebung direkt unter der Bildeinheit (Kameravorrichtung) vorbei geht.
Ein System der vorliegenden Erfindung ist ein Bildbearbeitungssystem ausgestattet mit einer Kameravorrichtung zum Erzeugen eines Bereichsbildes, das ein Bild ist, das durch Aufnehmen des Bereichs von oben erhalten wird, und einer Bildverarbeitungsvorrichtung zum Erzeugen eines Darstellungsbildes des Ziels, das sich in dem Bereich bewegt, durch Benutzen eines Ausschnittbildes ausgeschnitten aus dem Bereichsbild, in dem die Bildbearbeitungsvorrichtung eine Drehwinkelberechnungseinheit zum Berechnen eines Drehwinkels um den das Ausschnittbild gedreht ist, wenn das Darstellungsbild erzeugt werden soll, hat, einer Bildausschnitteinheit zum Erzeugen des Darstellungsbildes durch Rotieren des Ausschnittbildes auf Basis des Drehwinkels, einer Drehwinkelspeichereinheit zum Speichern des Drehwinkels, der zum Drehen des Ausschnittbildes benutzt wird, und einer Referenzwinkelbestimmungseinheit zum Bestimmen eines Referenzwinkels, der einer Neigung des Ziels in dem Bereichsbild entspricht, und die Rotationwinkelberechnungseinheit, die eine Ausstattung zum Berechnen des Rotationswinkels eines aktuellen Einzelbildes auf Basis des Drehwinkels des vorherigen Einzelbildes, das in der Drehwinkelspeichereinheit der Bildverarbeitungsvorrichtung gespeichert ist, und dem Referenzwinkel des aktuellen Einzelbildes, das durch die Referenzwinkelbestimmungseinheit bestimmt ist, hat.
Auch mit Hilfe dieses Systems wird der Drehwinkel des aktuellen Einzelbildes genauso wie oben auf Basis des Drehwinkels des vorherigen Einzelbildes und der Referenzwinkel des aktuellen Einzelbildes berechnet und das Darstellungsbild wird durch Drehen des Ausschnittbildes auf Basis des Drehwinkels erzeugt und aus diesem Grund kann eine schnelle Veränderung der Orientierung des Ziels, das in dem Darstellungsbild dargestellt wird, unterdrückt werden.
Ein Verfahren der vorliegenden Erfindung ist ein Bilderzeugungsverfahren zum Erzeugen eines Darstellungsbildes eines sich in dem Bereich bewegenden Ziels durch Benutzen eines Ausschnittbildes, das aus einem Bereichsbild ausgeschnitten wird, das durch die Aufnahme des Bereichs von oben erhalten wird, in dem ein Referenzwinkel, der einer Neigung des Ziels im Bereichsbild entspricht, bestimmt wird, um das Darstellungsbild durch Drehen des Ausschnittbildes zu erzeugen, durch Berechnen eins Drehwinkels des aktuellen Einzelbildes auf Basis des Drehwinkels des vorherigen Einzelbildes des Ausschnittbildes und des Referenzwinkels des aktuellen Einzelbildes und durch Drehen des Ausschnittbildes auf Basis des berechneten Drehwinkels, um das Darstellungsbild zu erzeugen.
Auch mit Hilfe dieser Methode wird genauso wie oben der Drehwinkel des aktuellen Einzelbildes auf Basis des Drehwinkels des vorherigen Einzelbildes und des Referenzwinkels des aktuellen Einzelbildes berechnet, und das Darstellungsbild wird durch Rotation des Ausschnittbildes auf Basis des Drehwinkels erzeugt und aus diesem Grund kann eine schnelle Veränderung der Orientierung des Ziels, das im Darstellungsbild dargestellt wird, unterdrückt werden.
Entsprechend der vorliegenden Erfindung kann eine schnelle Veränderung der Orientierung des Ziels, das in dem Darstellungsbild dargestellt wird, unterdrückt werden und ein Gefühl von Unbehagen aufgrund eines Aussehens, das durch die Drehung des dargestellten Bildes verursacht wird, kann abgeschwächt werden.
Ein Bildbearbeitungssystem einer Ausführungsform der vorliegenden Erfindung wird im Folgenden anhand der beigefügten Zeichnungen erklärt. Diese Ausführungsform wird anhand eines Falles, in dem eine Bildeinheit, die eine Kamerafunktion besitzt, als Überwachungskamera in Ämtern, Läden, Bahnhöfen und ähnlichem eingebaut ist, und in dem ein Video eines Bereichs aufgenommen wird, beispielhaft verdeutlicht.
(Erste Ausführungsform)
Eine Konfiguration eines Bildverarbeitungssystems einer ersten Ausführungsform der vorliegenden Erfindung wird anhand der beigefügten Zeichnungen erklärt.
1 zeigt ein Blockdiagramm, das eine Ausstattung des Bildverarbeitungssystems der ersten Ausführungsform zeigt.
Wie in 1 gezeigt, weist das Bildverarbeitungssystems 1 eine Bildeinheit 2 zum Aufnehmen eines Bereichsbildes, eine Darstellungsbilderzeugungseinheit 3 zum Erzeugen eines Darstellungsbildes durch Anwenden vorherbestimmter Bildverarbeitung, die später beschrieben wird, auf ein Bild, das durch die Bildeinheit 2 aufgenommen wird, und eine Darstellungseinheit 4 zum Darstellen des Darstellungsbildes auf, das durch die Darstellungsbilderzeugungseinheit 3 erzeugt wird.
Die Bildeinheit 2, die Darstellungsbilderzeugungseinheit 3 und die Darstellungseinheit 4 können eine einzige Vorrichtung oder verschiedene Vorrichtung bilden. Ferner könnte es so angeordnet werden, dass die Bildeinheit 2 und die Darstellungsbilderzeugungseinheit 3 eine einzelne Kameravorrichtung bilden und die Darstellungseinheit 4 durch ein Darstellungsterminal, das mit der Kameravorrichtung durch ein IP-Netzwerk verbunden ist, realisiert wird. Ferner könnte es so angeordnet werden, dass die Bildeinheit 2 eine Kameravorrichtung bildet und die Darstellungsbilderzeugungseinheit 3 und die Darstellungseinheit 4 durch einen Personal Computer, ein Tablet-Terminal oder ähnliches, die mit der Kameravorrichtung durch das IP-Netzwerk verbunden sind, realisiert wird.
In 1 bildet die Bildeinheit 2 eine Bildeingabevorrichtung und weist mindestens ein Bildaufnahmeelement (nicht gezeigt), wie z. B. ein CCD (ladungsgekoppelte Vorrichtung), ein CMOS (komplementäre Metalloxid Halbleiter) oder ähnliches, und eine Linse (nicht gezeigt) auf, die auf einer optische Achse des Bildaufnahmeelements angebracht ist.
Als Linse der Bildeinheit 2 wird eine Linse benutzt, die einen Bildwinkel hat, der weiter ist, als der einer Standardlinse (wie zum Beispiel eine Fischaugenlinse, eine gemäßigte Weitwinkellinse, eine Weitwinkellinse, eine super Weitwinkellinse oder ähnliches), um einen weiten Bereich mit nur einer Kamera abzudecken. Die Bildeinheit 2 ist an einer Raumdecke des Bereichs oder ähnlichem angebracht, so dass eine Richtung der optischen Achse in vertikale Richtung zeigt, um effizient einen weiten Bereich aufzunehmen. Aus diesem Grund erzeugt die Bildeinheit 2 ein Bild, das durch Aufnehmen des Bereichs von oben erhalten wird (ein Bild aufgenommen mit einem Blickwinkel, als ob von der Raumdecke herunter geschaut würde). Die Bildeinheit 2 könnte auch auf einem Fußboden, einem Tisch oder ähnlichem angebracht sein, um das Ziel von unten aufzunehmen.
Die Darstellungsbilderzeugungseinheit 3 erzeugt ein Ausschnittbild zum Darstellen, das ein Ziel, wie zum Beispiel eine Person oder ähnliches, umfasst, das sich im Bereich des Weitwinkelbildes bewegt, das durch die Bildeinheit 2 aufgenommen wird (siehe 2). Die Darstellungsbilderzeugungseinheit 3 ist ausgestattet mit einer Zielerfassungseinheit 5, einer Referenzpositionsbestimmungseinheit 6, einer Referenzwinkelbestimmungseinheit 7, einer Drehwinkelberechnungseinheit 8, einer Drehwinkelspeichereinheit 9, und einer Bildausschnitteinheit 10. Die Konfiguration jeder dieser Einheiten wird in Folgenden beschrieben.
Die Zielerfassungseinheit 5 erfasst ein Ziel, wie z. B. eine Person, ein Fahrzeug oder ähnliches, das von dem Bereichsbild umfasst wird, durch Anwenden von Bildverarbeitung auf das aufgenommene Bild, das von der Bildeinheit 2 aufgenommen wird. Das Ziel kann zum Beispiel durch Anwenden einer Bewegungsabweichungsverarbeitung oder Hintergrunddifferenzverarbeitung auf das Bild erfasst werden. Das Ziel ist nicht auf die beschränkt, die durch Bildverarbeitung bestimmt sind, sondern könnte auch durch eine Bestimmungsoperation des Ziels durch einen Benutzer bestimmt werden.
Die Referenzpositionsbestimmungseinheit 6 bestimmt eine Position, die eine Referenz eines Ausschnittbereichs, der das Ziel im Bild umfasst (Ausschnittreferenzposition), auf Basis eines Erfassungsergebnisses der Zielerfassungseinheit 5. In dieser Ausführungsform wird eine Position des Schwerpunktes des Bildbereichs des erfassten Ziels als Ausschnittreferenzposition bestimmt.
Diese Ausschnittreferenzposition kann als eine Position aufgefasst werden, die dem Ziel im Bild entspricht. Wenn das Ziel ein bewegter Körper ist, dann bewegt sich die Ausschnittreferenzposition mit der Zeit entsprechend der Bewegung des Ziels. Die Bestimmung der Ausschnittreferenzposition ist nicht darauf beschränkt, sondern es könnte auch eine Position der Mitte eines Rahmens, der das erfasste Ziel umgibt (z. B. ein rechteckiger Rahmen, der das Ziel umschreibt), als Ausschnittreferenzposition bestimmt werden und andere ähnliche Methoden könnten ebenfalls benutzt werden.
Die Referenzwinkelbestimmungseinheit 7 bestimmt einen Referenzwinkel θ_t in Übereinstimmung mit einer Position der Ausschnittreferenzposition in dem Bild. Als Beispiel ist das Bild, das von der Bildeinheit 2 durch eine Fischaugenlinse erhalten wird, in 2 gezeigt. Wie in 2 gezeigt, wird der Winkel θ_t einer Ausschnittreferenzposition P bezogen auf eine fotografische Referenzposition O als Referenzwinkel bestimmt. Der Referenzwinkel θ_t ist auch ein Winkel, der der Neigung des Ziels in dem Bild entspricht.
Die Drehwinkelberechnungseinheit 8 berechnet ein Drehwinkel θ_neu,t zum Drehen des Ausschnittbereichs, wenn das Darstellungsbild aus dem Bild erzeugt werden soll. Der Rotationswinkel θ_neu,t des aktuellen (Zeit t) Einzelbildes wird durch Benutzen von (Gleichung 1) auf Basis eines Rotationswinkel θ_neu,-t des vorherigen (Zeit t – 1) Einzelbildes und des Referenzwinkels θ_t des aktuellen (Zeit t) Einzelbildes berechnet. θ_neu,t = θ_neu,t-1 + max(min(θ_t – θ_neu,t-1, α), – α) (Gleichung 1)
Hier ist θ_neu,t ein Drehwinkel, der benutzt wird, wenn ein Ausschnittbereich einer Drehverarbeitung zur Zeit t unterzogen wird, und θ_neu,t-1 ist ein Drehwinkel, der im Ausschnittbild zur Zeit t – 1 benutzt wird. θ_t ist ein Referenzwinkel, der durch die Referenzwinkelbestimmungseinheit 7 zur Zeit t erhalten wird. Das Referenzzeichen α ist ein vorherbestimmter Schwellwert (Schwellweitwinkel). Ferner könnte ein Anfangswert von θ_neu,t auf 0 Grad gesetzt werden.
Wie oben beschrieben (Gleichung 1), wird nicht nur ein aktuelles (Zeit t) Drehausmaß θ_neu,t, durch Addition eines aktuellen (Zeit t) Anstieg/Abfallwertes (θ_t – θ_neu,t-1) zu dem vorherigen (Zeit t – 1) Drehwinkel θ_neu,t-1 erhalten, sondern ebenfalls wird ein Schwellwertwinkel α bezogen auf ein Drehänderungsausmaß (θ_t – θ_neu,t-1) des vorherigen Rotationswinkels θ_neu,t-1 festgelegt. Das heißt, dass, wenn das Drehänderungsausmaß (θ_t – θ_neu,t-1) den Grenzwert α nicht überschreitet, das Drehänderungsausmaß (θ_t – θ_neu,t-1) benutzt wird, während, wenn das Drehänderungsausmaß (θ_t – θ_neu,t-1) den Grenzwert α überschreitet, das Drehänderungsausmaß auf den Wert des Schwellwertwinkels α gesetzt wird.
Ein Benutzer kann den Schwellwertwinkel α auf einen beliebigen Winkel setzen. Der Schwellwertwinkel α könnte ein fester Wert oder ein variabler Wert sein. In dem Fall eines festen Werts, eines Winkels wie etwa 45°, wird ein Ausmaß festgelegt, so dass das Ausschnittbild nicht extrem stark im Vergleich zur vorherigen Orientierung verdreht wird. Ferner kann in dem Fall eines variablen Wertes der Schwellwertwinkel α so eingestellt werden, dass er in Übereinstimmung mit einer Entfernung r zwischen der fotografischen Referenzposition O und der Ausschnittreferenzposition P variiert. Zum Beispiel könnte der Schwellwertwinkel α so eingestellt werden, dass er in Übereinstimmung mit einer monoton ansteigenden Funktion (so wie Gleichung 2 unten) variiert, in der der Schwellwertwinkel α das Minimum bei der Entfernung r = 0 hat. In der Gleichung 2 unten, sind A und B beliebige positive Konstanten. α = A + B × r (Gleichung 2)
Ferner, als ein weiteres Beispiel für den variablen Wert, könnte der Winkel so eingestellt werden, dass er in Übereinstimmung mit der Größe einer Differenz (θ_t – θ_neu,t-1) zwischen dem Referenzwinkel θ_t und dem Drehwinkel θ_neu,t-1 des vorherigen Einzelbildes variiert. Zum Beispiel könnte der Schwellwertwinkel α so eingestellt werden, dass er in Übereinstimmung mit der monoton ansteigenden Funktion (so wie Gleichung 3 unten) variiert, in der der Schwellwertwinkel α das Minimum wird, wenn die Differenz zwischen dem Referenzwinkel θ_t und dem Drehwinkel θ_neu,t-1 des vorherigen Einzelbildes 0 ist. In der Gleichung 3 unten, sind C und D beliebige positive Konstanten. α = C + D × |θ_t – θ_neu,t-1| (Gleichung 3)
Die Drehwinkelspeichereinheit 9 speichert den Drehwinkel θ_neu,t-1, der zum Drehen des Ausschnittbildes in dem vorherigen (Zeit t – 1) Einzelbild benutzt wird.
Die Bildausschnitteinheit 10 erzeugt aus dem Bild das Darstellungsbild. Konkret wird aus dem Bild das Ausschnittbild auf Basis der Ausschnittreferenzposition, die durch die Referenzpositionsbestimmungseinheit 6 bestimmt wird, ausgeschnitten. Ferner korrigiert diese Bildausschnitteinheit 10 die Verzerrung, die durch optische Eigenschaften der in der Bildeinheit 2 benutzten Linse verursacht werden. Ferner rotiert diese Bildausschnitteinheit 10 den Ausschnittbereich auf Basis des Drehwinkels θ_neu,t, der von der Drehwinkelberechnungseinheit 8 berechnet wird.
Jede Einheit der Darstellungsbilderzeugungseinheit 3 kann durch Benutzen eines Prozessors, in dem ein Programm für jede Verarbeitung ausgeführt wird, und eines Speichers zum Speichern von Informationen realisiert werden.
Ein Betrieb der Darstellungsbilderzeugungseinheit 3 des Bildverarbeitungssystem 1, die wie oben beschrieben konfiguriert ist, wird anhand eines Flussdiagramms in 3 erklärt.
Wie in 3 gezeigt, lässt die Darstellungsbilderzeugungseinheit 3, wenn das Bild zum Zeitpunkt t von der Bildeinheit 2 erhalten wird, erst die Referenzpositionsbestimmungseinheit 6 eine Position (Ausschnittreferenzposition) ermitteln, die eine Referenz wird, wenn ein Ausschnittbereich auf Basis von Zielinformationen, die durch die Zielerfassungseinheit 5 erfasst werden, ausgeschnitten werden soll (Schritt 1).
Anschließend wird der Referenzwinkel θ_t von der Referenzwinkelbestimmungseinheit 7 in Übereinstimmung mit einer Position der Ausschnittsreferenzposition im Bild bestimmt (Schritt 2).
Die Drehwinkelberechnungseinheit 8 bestimmt, ob der Drehwinkel θ_neu,t-1 des vorherigen Einzelbildes in der Drehwinkelspeichereinheit 9 gespeichert ist (Schritt 3), und wenn der Drehwinkel θ_neu,t-1 gespeichert ist, wird der Drehwinkel θ_neu,t-1 ausgelesen (Schritt 4). Danach wird durch Benutzen des Drehwinkels θ_neu,t-1 des vorherigen Einzelbildes und des Referenzwinkels θ_t des aktuellen Einzelbildes der Drehwinkel θ_neu,t des aktuellen Einzelbildes auf Basis der oben beschriebenen Gleichung 1 berechnet (Schritt 5).
Danach speichert oder aktualisiert die Drehwinkelberechnungseinheit 8 den Drehwinkel θ_neu,t in der Drehwinkelspeichereinheit 9 (Schritt 6) und die Bildausschnitteinheit 10 dreht den Ausschnittbereich durch das Benutzen des Drehwinkels θ_neu,t und erhält das Ausschnittbild (Schritt 7). Das Ausschnittbild wird auf der Darstellungseinheit 4 ausgegeben (Schritt 8).
Wie oben beschrieben kann übereinstimmend mit dem Bildverarbeitungssystem 1 der ersten Ausführungsform der Drehwinkel unterdrückt werden, wenn der Ausschnittbereich in dem Bild der Bildverarbeitung unterzogen wird, und so kann eine schnelle Veränderung der Orientierung des Ziels, das in der Darstellungseinheit 4 dargestellt wird, unterdrückt werden.
(Zweite Ausführungsform)
Anschließend wird ein Bildverarbeitungssystem einer zweiten Ausführungsform der vorliegenden Erfindung erklärt.
Für diese Ausführungsform wird hauptsächlich ein Unterschied zu der ersten Ausführungsform erklärt. Wenn nicht besonders darauf gewiesen wird, dann sind ein Aufbau und ein Betrieb dieser Ausführungsform ähnlich denen in der ersten Ausführungsform.
4 zeigt ein Blockdiagramm, das einen Aufbau des Bildverarbeitungssystems der zweiten Ausführungsform zeigt, und 5 zeigt eine erklärende Abbildung der Bereichsbestimmung in der zweiten Ausführungsform der vorliegenden Erfindung. Die Darstellungsbilderzeugungseinheit 3 des Bildverarbeitungssystems 1 wird in dieser Ausführungsform zusätzlich zu der Ausstattung, die in der ersten Ausführungsform dargestellt ist mit einer Entfernungsberechnungseinheit 11 und einer Bereichsbestimmungseinheit 12 bereitgestellt.
Wie in 4 und 5 dargestellt, berechnet die Entfernungsberechnungseinheit 11 die Entfernung r in dem Bild zwischen der Position O (fotografische Referenzposition) entsprechend der Bildeinheit 2 und der Ausschnittreferenzposition P, die durch die Referenzpositionsbestimmungseinheit 6 bestimmt wird.
Wenn die Bildeinheit 2 mit einer Fischaugenlinse bereitgestellt wird, wird das Bild zu einem Kreis, wie in 5 gezeigt. Die fotografische Referenzposition O wird die Mitte des Bildes (Fischaugenbild). Aus diesem Grund berechnet die Entfernungsberechnungseinheit 11 die Entfernung r zwischen der Ausschnittreferenzposition P, die durch die Referenzpositionsbestimmungseinheit 6 bestimmt ist, und der fotografische Referenzposition O. Diese Entfernung r könnte in einer Anzahl von Pixeln im Bereichsbild berechnet werden oder könnte als ein Wert (Meter oder ähnliches) berechnet werden, der zu einer wirklichen Entfernung umgerechnet wird.
Die Bereichsbestimmungseinheit 12 bestimmt, ob sich das Ziel, das in dem Bild umfasst ist, innerhalb eines vorherbestimmten festgelegten Bereichs befindet (zum Beispiel einem kreisförmigen Bereich mit einem Radius a um die fotografische Referenzposition O herum). Konkreter berechnet die Bereichsbestimmungseinheit 12, ob die Entfernung r, die von der Entfernungsberechnungseinheit 11 berechnet wird, größer als der Radius a ist. Dieser Radius a kann von dem Benutzer so eingestellt werden, dass er angemessen ist. Zum Beispiel könnte der Radius auf 10 Meter eingestellt werden. Dieser festgelegte Bereich kann auf den ganzen Bereich eingestellt werden. In diesem Fall wird der Radius a als unbestimmt eingestellt.
Die Drehwinkelberechnungseinheit 8 berechnet den Drehwinkel, um den der Ausschnittbereich gedreht wird, wenn das Ausschnittbild aus dem Bild erzeugt wird. In diesem Fall, wie unten erklärt wird, werden der Drehwinkel, wenn das Ziel außerhalb des festgelegten Bereiches ist, und der Drehwinkel, wenn das Ziel innerhalb des festgelegten Bereiches ist, mit verschiedenen Verfahren berechnet.
Wenn das Ziel außerhalb des festgelegten Bereiches ist, bestimmt die Drehwinkelberechnungseinheit 8 den Referenzwinkel θ_t als den Drehwinkel und die Bildausschnitteinheit 10 erhält das Darstellungsbild ohne Neigung durch Drehen des Ausschnittbereiches auf Basis des Rotationswinkels θ_t. Anderseits, wenn das Ziel innerhalb des festgelegten Bereiches ist, erhält die Drehwinkelberechnungseinheit 8 den Drehwinkel θ_neu,t durch Nutzen des Verfahrens, das in der Ausführungsform 1 gezeigt wird. Die Bildausschnitteinheit 10 kann eine schnelle Veränderung der Orientierung des Ziels, das im Darstellungsbild dargestellt wird, durch Drehen des Ausschnittbereiches auf Basis der Rotation des Drehwinkels θ_neu,t unterdrücken.
In dem Bildverarbeitungssystem, das wie oben aufgebaut ist, wird ein Betrieb der Darstellungsbilderzeugungseinheit 3 in dieser Ausführungsform anhand des Flussdiagramms erklärt, das in 6 dargestellt ist.
Wenn die Drehverarbeitung des Ausschnittbildes in der Kameravorrichtung der zweiten Ausführungsform der vorliegenden Erfindung ausgeführt wird, dann wird zuerst die Position P, die die Referenz wird, wenn das Ausschnittbild ausgeschnitten wird (Ausschnittreferenzposition), bestimmt (Schritt 21) und der Referenzwinkel θ_t wird in Übereinstimmung mit der Position der Ausschnittreferenzposition P im Bild bestimmt (Schritt 22).
Anschließend berechnet die Entfernungsberechnungseinheit 11 die fotografische Referenzposition O, die Ausschnittreferenzposition P und die Entfernung r (Schritt 23) und die Bereichsbestimmungseinheit 12 bestimmt, ob das in dem Bild umfasste Ziel innerhalb des festgelegten Bereiches (r ≤ a) liegt (Schritt 24).
Wird bestimmt, dass es innerhalb des festgelegten Bereiches liegt, wird die Bearbeitung in Schritt 26 bis Schritt 29 ähnlich zu der ersten Ausführungsform ausgeführt.
Anderseits, wenn von der Bereichsbestimmungseinheit 12 in Schritt 24 bestimmt wird, dass es nicht innerhalb des festgelegten Bereiches liegt, dann macht die Drehwinkelberechnungseinheit 8 den Referenzwinkel θ_t zum Drehwinkel (θ_neu,t = θ_t) und speichert den Drehwinkel in der Speichereinheit 9 (Schritt 28).
Mit Hilfe des obigen Bildverarbeitungssystems der zweiten Ausführungsform kann ebenfalls der Nutzeffekt realisiert werden, der zu dem der ersten Ausführungsform vergleichbar ist.
Zusätzlich kann in dieser Ausführungsform, da das Drehwinkelberechnungsverfahren des Ausschnittbereichs in Übereinstimmung mit dem Bereich des Bildes verändert wird, eine schnelle und große Veränderung der Orientierung des Ziels unterdrückt werden, während eine Belastung der Bildausschnittverarbeitung verhindert wird.
Die erste und zweite Ausführungsform der vorliegende Erfindung sind oben beschrieben, aber die Breite der vorliegende Erfindung ist nicht auf diese beschränkt, sondern die vorliegende Erfindung ermöglicht verschiedene Veränderung und Variationen innerhalb eines Bereiches, der nicht das Wesen der Erfindung verändert.
Die bevorzugen Ausführungsformen der vorliegenden Erfindung, an die derzeit gedacht wird, sind oben beschrieben, obgleich zu verstehen ist, dass verschiedene Variationen der Ausführungsformen möglich sind, und es ist beabsichtigt, dass alle diese Variationen, die innerhalb des wahren Wesens und der Breite der vorliegenden Erfindung liegen, in den angehängten Ansprüchen enthalten sind.
Gewerbliche Anwendbarkeit
Wie oben beschrieben, hat die Kameravorrichtung in Übereinstimmung mit der vorliegenden Erfindung einen Effekt, durch den ein schnelles Verändern der Orientierung des Ziels, das in einem dargestellten Bild dargestellt wird, unterdrückt werden kann, und ist nützlich als Anwendung in einem System zum Überwachen vordefinierter Bereiche (Läden, Bahnhöfe und ähnlichem) und ähnlichem.
Bezugszeichenliste

1: Kameravorrichtung
2: Bildeinheit
3: Darstellungsbilderzeugungseinheit
4: Darstellungseinheit
5: Zielerfassungseinheit
6: Referenzpositionsbestimmungseinheit
7: Referenzwinkelbestimmungseinheit
8: Drehwinkelberechnungseinheit
9: Drehwinkelspeichereinheit
10: Bildausschnitteinheit
11: Entfernungsberechnungseinheit
12: Bereichsbestimmungseinheit
100: Bildbearbeitungssystem
110: Kameravorrichtung
120: Bildbearbeitungsvorrichtung
130: Darstellungsvorrichtung

Claims

Bilderzeugungsvorrichtung zum Erzeugen eines Ausschnittbildes aus einem Weitwinkelbild, mit: einer Referenzwinkelbestimmungseinheit zum Erhalten eines Referenzwinkels eines Ausschnittbereichs in dem Weitwinkelbild; einer Drehwinkelspeichereinheit zum Speichern eines Drehwinkels eines vorherigen Ausschnittbildes; einer Drehwinkelberechnungseinheit zum Erhalten des Drehwinkels bezogen auf den Ausschnittbereich auf Basis eines vorherigen Drehwinkels und des Referenzwinkels; und eine Bildausschnitteinheit zum Erzeugen des Ausschnittbildes bezogen auf den Ausschnittbereich auf der Basis des Drehwinkels, der durch die Drehwinkelberechnungseinheit erhalten wird, wobei die Drehwinkelberechnungseinheit eine Steuerung so ausführt, dass ein Änderungsausmaß des Drehwinkels des Ausschnittbereichs einen vorbestimmten Winkel nicht überschreitet.
Bilderzeugungsvorrichtung nach Einspruch 1, wobei das Änderungsausmaß des Drehwinkels des Ausschnittbereichs eine Differenz zwischen dem vorherigen Drehwinkel und dem Referenzwinkel ist.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei die Drehwinkelberechnungseinheit den vorbestimmten Winkel zum Änderungsausmaß des Drehwinkels des Ausschnittbereichs macht, wenn das Änderungsausmaß des Drehwinkels des Ausschnittbereichs den vorbestimmten Winkel überschreitet.
Bilderzeugungsvorrichtung nach Anspruch 1, weiter mit: einer Referenzpositionsbestimmungseinheit zum Bestimmen einer Referenzposition eines Ausschnittbereichs in einem Weitwinkelbild.
Bilderzeugungsvorrichtung nach Anspruch 4, weiter mit: einer Zielerfassungseinheit zum Erfassen eines Zieles, das in dem Weltwinkelbild enthalten ist, wobei die Referenzpositionsbestimmungseinheit eine Referenzposition des Ausschnittbereichs auf Basis des Zieles bestimmt.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei das Weitwinkelbild unter Verwendung eines Fischaugenobjektivs aufgenommen wird.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei das Weitwinkelbild von oben aufgenommen wird.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei, wenn der Ausschnittbereich in einem vorbestimmten Bereich des Weitwinkelbildes liegt, die Bildausschnitteinheit eine Steuerung so ausführt, dass ein Änderungsausmaß des Drehwinkels des Ausschnittbereichs einen vorbestimmten Winkel nicht überschreitet.
Bilderzeugungsvorrichtung nach Anspruch 8, wobei der vorbestimmte Bereich auf Basis einer fotografischen Referenzposition des Weitwinkelbildes bestimmt wird.
Bilderzeugungsvorrichtung nach Anspruch 9, weiter mit: einer Referenzpositionsbestimmungseinheit zum Bestimmen einer Referenzposition des Ausschnittbereichs in dem Weitwinkelbild; und eine Bereichsbestimmungseinheit zum Bestimmen, ob der Ausschnittbereich in dem vorbestimmten Bereich enthalten ist oder nicht, auf Basis einer Entfernung zwischen der Referenzposition und der fotografischen Referenzposition des Weitwinkelbildes.
Kameravorrichtung zum Erzeugen eines Ausschnittbildes aus einem Weitwinkelbild, mit: einer Bildeinheit zum Aufnehmen eines Weitwinkelbildes; einer Referenzwinkelbestimmungseinheit zum Erhalten eines Referenzwinkels des Ausschnittbereichs in dem Weitwinkelbild, das von der Bildeinheit aufgenommen wird; einer Drehwinkelspeichereinheit zum Speichern eines Drehwinkels eines vorherigen Ausschnittbildes; einer Drehwinkelberechnungseinheit zum Erhalten des Drehwinkels des Ausschnittbereichs auf Basis eines vorherigen Drehwinkels und des Referenzwinkels; und einer Bildausschnitteinheit zum Erzeugen des Ausschnittbildes bezogen auf den Ausschnittbereich auf Basis des Drehwinkels, der durch die Drehwinkelberechnungseinheit erhalten wird, wobei die Drehwinkelberechnungseinheit eine Steuerung so ausführt, dass ein Änderungsausmaß des Drehwinkels des Ausschnittbereichs einen vorbestimmten Winkel nicht überschreitet.
Bilddarstellungsvorrichtung zum Erzeugen eines Ausschnittbildes aus einem Weitwinkelbild, mit: einer Referenzwinkelbestimmungseinheit zum Erhalten eines Referenzwinkels eines Ausschnittbereichs in dem Weitwinkelbild; einer Drehwinkelspeichereinheit zum Speichern eines Drehwinkels eines vorherigen Ausschnittbildes; einer Drehwinkelberechnungseinheit zum Erhalten des Drehwinkels bezogen auf den Ausschnittbereich auf Basis eines vorherigen Drehwinkels und des Referenzwinkels; einer Bildausschnitteinheit zum Erzeugen des Ausschnittbildes bezogen auf den Ausschnittbereich auf Basis des Drehwinkels, der durch die Drehwinkelberechnungseinheit erhalten wird; und einer Darstellungseinheit zum Darstellen des Ausschnittbildes, wobei die Drehwinkelberechnungseinheit eine Steuerung so ausführt, dass ein Änderungsausmaß des Drehwinkels des Ausschnittbereichs einen vorbestimmten Winkel nicht überschreitet.
Bilderzeugungsverfahren zum Erzeugen eines Ausschnittbildes aus einem Weitwinkelbild, mit den Schritten: Erhalten eines Referenzwinkels eines Ausschnittbereichs in dem Weitwinkelbild; Erhalten eines Rotationswinkels des Ausschnittbildes auf Basis des gespeicherten Rotationswinkels eines vorherigen Ausschnittbildes und des Referenzwinkels; und Erzeugen des Ausschnittbildes bezogen auf den Ausschnittbereich auf Basis des Drehwinkels, der in dem Schritt erhalten wird, wobei, wenn der Drehwinkel des Ausschnittbereichs erhalten werden soll, eine Steuerung so ausgeführt wird, dass ein Änderungsausmaß des Drehwinkels des Ausschnittbildes einen vorbestimmten Winkel (α) nicht überschreitet.