-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft eine Kameraabstandsmessvorrichtung zum Messen des Abstands zu einem Objekt in einem Kamerabild unter Verwendung, zum Beispiel, einer Kamera in einem Fahrzeug.
-
HINTERGRUND DER ERFINDUNG
-
Zum Beispiel offenbart die Patentreferenz 1 eine Vorrichtung, die eine Abstandsmessung implementiert basierend auf einem Ankunftszustand eines an einem Objekt ankommenden Lichts unter Verwendung von Standbildern, die zeitlich nah beieinander liegen, wobei jedes der Standbilder ein Bild enthält, das durch Anwenden von Licht auf das Objekt aufgenommen wird. Da zeitlich unterschiedliche Standbilder gemäß einer konventionellen Technologie, die durch die in Patentreferenz 1 offenbarte Technologie dargestellt wird, verwendet werden, kann jedoch eine zeitliche Verschiebung in einem Objekt auftreten, falls entweder ein bewegtes Bild oder ein Bild, das durch eine an einem bewegten Objekt befestigte Kamera aufgenommen wird, wie zum Beispiel eine Kamera in einem Fahrzeug, die sich bewegt, wenn das Fahrzeug fährt, verwendet wird. Weiterhin ist es notwendig, einen Mechanismus exklusiv zur Anwendung des Lichts auf das Objekt bereitzuhalten.
-
Des Weiteren offenbaren die
DE 199 11 665 A1 ein Verfahren zur Bestimmung der Entfernung von auf der Fahrbahn vorhandenen Objekten zu einem Fahrzeug. Dabei werden einem Bild einer Kamera eine Schar horizontaler Linien überlagert.
-
Ferner offenbart die
US 2008/0136912 A1 einen Abbildeprozess vermittels einer Verzerrungskompensation, die
JP 08-080791 A ein Videosystem, um den hinter einem Fahrzeug gelegenen Bereich anzuzeigen und ein Entfernungsskalenbild zu erzeugen, und die
DE 10 2008 036 998 A1 offenbart schließlich eine Entfernungsmessung vermittels zweier sog. Positionsmarken, welche auf eine Kontur eines Messobjekts ausgerichtet werden.
-
Die vorliegende Erfindung wurde gemacht, um die oben angesprochenen Probleme zu lösen, und es ist deshalb eine Aufgabe der vorliegenden Erfindung, eine Kameraabstandsmessvorrichtung bereitzustellen, die den Abstand zu einem Objekt in einem Kamerabild messen kann.
-
Stand der Technik
-
Patentreferenz 1:
Japanische, ungeprüfte Patentanmeldungs-Publikation Nr. 2004-328657 . Ferner ist aus der
US 2009/0021609 A1 ein Videokameraunterstütztes Rücksichtssystem in einem Fahrzeug bekannt. Dabei wird insbesondere eine Korrektur einer Verzerrung, welche durch eine Linse der Kamera hervorgerufen wird, durchgeführt. Die
US 6 498 620 B2 offenbart schließlich ein Anzeigesystem für ein Fahrzeug, wobei insbesondere das Aspektverhältnis eines Displays so berücksichtigt wird, dass in einem übrig bleibenden Teil des Displays weiterer Bildinhalt angezeigt werden kann.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Die genannten Probleme werden durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weitere vorteilhafte Ausgestaltungen sind in den abhängigen Patentansprüchen angegeben.
-
In Übereinstimmung damit wird eine Kameraabstandsmessvorrichtung bereitgestellt zum Anzeigen eines Bildes, in dem eine Vielzahl von Teilstrichen, die in Form eines Gitters hinsichtlich eines Fahrzeugs angeordnet sind, auf einem Kamerabild überlagert sind, das durch eine an dem Fahrzeug befestigte Kamera aufgenommen wird, auf einer Anzeigeeinheit, um einen Abstand in einer Richtung der Breite des Fahrzeugs und einen Abstand in einer Richtung der Aufnahme durch die Kamera von einer Einheitsdistanz, die für jede Gitterseite der Teillinien definiert ist, zu messen, wobei die Kameraabstandsmessvorrichtung enthält: eine Parameterspeichereinheit zum Speichern von Befestigungsinformation, die eine Befestigungsposition und einen Befestigungswinkel, an und mit dem die Kamera an dem Fahrzeug befestigt ist, anzeigt, Blickwinkelinformation, die einen Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren anzeigt zur Verwendung in einer Linse der Kamera, und Bildschirmgrößeninformation, die eine Bildschirmgröße der Anzeigeeinheit anzeigt, als Parameterinformation; eine Abstandsmessarithmetikbetriebseinheit zum Durchführen eines Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera auf Positionskoordinaten im Realraum jeder der Gitterpunkte, die durch die Vielzahl von Teillinien definiert werden, die in Form eines Gitters und in Intervallen des Einheitsabstands angeordnet sind, und zum Transformieren der Positionskoordinaten jedes der Gitterpunkte, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in dem Kamerabild auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Teillinieninformation zu erzeugen; eine Linienzeicheneinheit zum Anordnen der Vielzahl von Teillinien auf Basis der Teillinieninformation auf solch eine Weise, dass diese sich mit rechten Winkeln schneiden, in Form eines Gitters, um ein Teillinienbild zu erzeugen; eine Bildkorrektureinheit zum Durchführen eines Korrekturprozesses zum Entfernen der Verzerrung der Linse der Kamera in dem Kamerabild und durch das Projektionsverfahren verursachter Verzerrung; und eine Bildüberlagerungseinheit zum Überlagern des von der Linienzeicheneinheit erzeugten Teillinienbildes auf dem von der Bildkorrektureinheit korrigierten Kamerabild, um das Kamerabild, auf dem das Teillinienbild überlagert ist, an die Anzeigeeinheit auszugeben.
-
Weiterhin wird in Übereinstimmung mit der vorliegenden Erfindung eine Kameraabstandsmessvorrichtung bereitgestellt zum Anzeigen eines Kamerabildes, das durch eine an einem Fahrzeug befestigte Kamera aufgenommen wird, auf einer Anzeigeeinheit, um einen Abstand von einer Position in dem Kamerabild zu dem Fahrzeug zu messen, wobei die Kameraabstandsmessvorrichtung enthält: eine Parameterspeichereinheit zum Speichern von Befestigungsinformation, die eine Befestigungsposition und einen Befestigungswinkel, an und mit dem die Kamera an dem Fahrzeug befestigt ist, anzeigt, Blickwinkelinformation, die einen Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren zur Verwendung in einer Linse der Kamera anzeigt, und Bildschirmgrößeninformation, die eine Bildschirmgröße der Anzeigeeinheit anzeigt, als Parameterinformation; eine Bildschirmpositions-Bestimmungseinheit zum Bestimmen einer Position in dem Kamerabild, das auf der Anzeige angezeigt wird; eine Abstandsmessarithmetikbetriebseinheit zum Durchführen eines Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera auf Koordinaten der Position in dem durch die Bildschirmpositions-Bestimmungseinheit bestimmten Kamerabild, und zum Transformieren der Positionskoordinaten, indem die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in einer vorbestimmten Höhe von einer Grundfläche im realen Raum auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahreninformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Positionsinformation zu erzeugen; und eine Ausgabeeinheit zum Ausgeben eines Abstands von der Position in dem von der Bildschirmpositions-Bestimmungseinheit bestimmten Kamerabild, das Fahrzeug auf Basis der Positionsinformation.
-
In Übereinstimmung mit der vorliegenden Erfindung wird ein Vorteil bereitgestellt, in dem es möglich ist, einen Abstand in einer Richtung der Breite des Fahrzeugs und einen Abstand in einer Richtung der Aufnahme durch die Kamera von dem Einheitsabstand, der für jede Gitterblockseite der Teillinien definiert wird, zu messen. Es ist ein weiterer Vorteil, in der Lage zu sein, den Abstand zu einem Objekt in dem Kamerabild zu messen.
-
KURZE BESCHREIBUNG DER ABBILDUNGEN
-
1 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 1 der vorliegenden Erfindung zeigt;
-
2 ist ein Anblick, der ein Beispiel eines Objektbildmusters von Teillinien im Realraum zeigt, das durch eine Teillinien-Erzeugungseinheit berechnet wird.
-
3 ist ein Anblick, der ein Beispiel eines Teillinienbildes zeigt;
-
4 ist ein Anblick, der ein weiteres Beispiel des Teillinienbildes zeigt;
-
5 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 2 der vorliegenden Erfindung zeigt;
-
6 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 3 der vorliegenden Erfindung zeigt;
-
7 ist ein Anblick, der ein Beispiel eines Teillinienbildes in Übereinstimmung mit Ausführungsform 3 zeigt; und
-
8 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 4 der vorliegenden Erfindung zeigt.
-
AUSFÜHRUNGSFORMEN DER VORLIEGENDEN ERFINDUNG
-
Nachstehend werden die bevorzugten Ausführungsformen der vorliegenden Erfindung mit Bezug auf die angefügten Abbildungen beschrieben, um die Erfindung mit größeren Einzelheiten zu beschreiben.
-
Ausführungsform 1
-
1 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 1 der vorliegenden Erfindung zeigt. Mit Bezug auf 1 ist die Kameramessvorrichtung 1 ausgestattet mit einer Abstandsmessarithmetikbetriebseinheit 2, einer Kameraeinheit 3, einer Parameterspeichereinheit 4, einer Anzeigeeinheit 5, einer Bildkorrektureinheit 6, einer Linienzeicheneinheit 7 und einer Bildüberlagerungseinheit 8. Die Abstandsmessarithmetikbetriebseinheit 2 ist eine Komponente zum Berechnen eines einen Abstand von einem Fahrzeug anzeigenden Teillinienbildes und ist ausgestattet mit einer Teillinienerzeugungseinheit 9, einer Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10, einer Projektionsfunktions-Arithmetikbetriebeseinheit 11, einer Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 und einer Bildausgabefunktions-Arithmetikbetriebseinheit 13.
-
Die Kameraeinheit 3 enthält eine Kamera zum Aufnehmen eines Bildes eines das Fahrzeug umgebenden Bereichs (zum Beispiel eines Bereichs hinter dem Fahrzeug), und Übertragen des durch diese Kamera aufgenommenen Kamerabildes an die Korrektureinheit 6. Die Bildkorrektureinheit 6 ist eine Komponente zum Ausführen einer vorbestimmten Korrektur hinsichtlich des von der Kameraeinheit 3 empfangenen Kamerabildes, und Ausgeben des dadurch korrigierten Bildes an die Bildüberlagerungseinheit 8. Ein Bild, in dem ein Bild von Teillinien, das Abstände von dem Fahrzeug definiert und das durch die Linienzeicheneinheit 7 erzeugt wird, dem Kamerabild von der Bildkorrektureinheit 6 überlagert wird, wird auf der Anzeigeeinheit 5 angezeigt. Der Fahrer des Fahrzeugs wird in die Lage versetzt, den Abstand zwischen dem Fahrzeug, das der Fahrer fährt, und einem Hindernis visuell auf Basis der Teillinien in dem Bild zu erkennen.
-
Die Parameterspeichereinheit 4 ist auf solch eine Weise eingerichtet, dass die Abstandsmessarithmetikbetriebseinheit 2 Daten aus der Parameterspeichereinheit lesen kann und Befestigungsinformation, Blickwinkelinformation, Projektionsverfahreninformation und Bildschirmgrößeninformation speichert. Die Befestigungsinformation zeigt, wie die Kamera an dem Fahrzeug befestigt ist. Spezieller zeigt die Befestigungsinformation die Befestigungsposition und den Befestigungswinkel, an und mit dem die Kamera an dem Fahrzeug befestigt ist. Die die Befestigungsposition anzeigende Information enthält die Höhe der Kamera bezüglich des Fahrzeugs und die Verschiebung der Kamera vom Zentrum des Fahrzeugs in einer Richtung der Breite des Fahrzeugs. Die Blickwinkelinformation ist die Winkelinformation, die einen Bereich von Winkeln anzeigt, mit der ein Objekt durch die Kamera der Kameraeinheit 3 aufgenommen werden kann, und enthält entweder einen maximalen Horizontalwinkel Xa und einen maximalen vertikalen Blickwinkel Ya der Kamera oder einen diagonalen Blickwinkel der Kamera. Die Projektionsverfahrensinformation zeigt ein Projektionsverfahren zur Verwendung in der Linse der Kamera der Kameraeinheit 3 an. Da eine Fischaugenlinse als Linse der Kamera in Ausführungsform 1 verwendet wird, wird Information, die eine stereographische Projektion oder eine raumwinkelgleiche Projektion oder eine orthogonale Projektion anzeigt, als Projektionsverfahrensinformation bereitgestellt. Die Projektionsverfahrensinformation bildet Kamerakorrekturinformation. Die Bildschirmgrößeninformation zeigt eine Bildschirmgröße einer Bildausgabe an, das heißt einen Anzeigebereich zur Zeit einer Anzeige eines Bildes durch die Anzeigeeinheit 5 und enthält eine maximale horizontale Zeichenpixelgröße Xp und eine maximale vertikale Zeichnungspixelgröße Yp der Anzeigeeinheit 5.
-
Als Nächstes wird der Betrieb der Kameraabstandsmessvorrichtung erklärt. Die Teillinien-Erzeugungseinheit 9 der Abstandsmessarithmetikbetriebseinheit 2 berechnet die Position, an der die anzuzeigenden Teillinien auf der Anzeigeeinheit 5 zu zeichnen sind, das heißt Teillinieninformation, die die Positionen der Teillinien in dem von der Kamera aufgenommenen Kamerabild zeigt, auf Basis der voreingestellten Teilliniengrößeninformation. Hiernach wird ein Fall, in dem die Kameraeinheit 3 an einem rückwärtigen Abschnitt des Fahrzeugs befestigt ist, beschrieben und ein Bereich hinter dem Fahrzeug wird als Bildaufnahmebereich definiert. 2 ist eine Ansicht, die ein Beispiel eines von der Teillinienerzeugungseinheit berechneten Objektbildmusters der Teillinien im Realraum zeigt. Das Objektbildmuster der Teillinien sind Teillinien, die in Form eines Gitters angeordnet sind, die virtuell auf einer Grundoberfläche gebildet sind, die sich in einer Richtung der Aufnahme durch die Kamera (in einer rückwärtigen Richtung hinter dem Fahrzeug) ausbreitet. Mit Bezug auf 2 sind die geraden Linien L1 Teillinien, die in rechten Winkeln zu einer Richtung der Breite des Fahrzeugs laufen und gerade Linien L2 bis L5 sind Teillinien, die parallel zu der Richtung der Breite des Fahrzeugs laufen. Die geraden Linien L1 schneiden die geraden Linien L2 bis L5 auf solch eine Weise, dass eine Vielzahl von Gitterblöcken gebildet werden. Jeder Gitterblock weist eine Seite auf, die sich in einer Richtung der Länge jeder geraden Linie L1 erstreckt und eine vorbestimmte Länge (z. B. 0,50 Meter) im Realraum aufweist, und eine Seite, die sich in einer Richtung der Länge jeder der geraden Linien L2 bis L5 erstreckt und eine vorbestimmte Länge (z. B. 0,50 Meter) im Realraum aufweist.
-
Die Teillinienerzeugungseinheit 9 bestimmt die Länge in der Richtung der Breite des Fahrzeugs, in der die Teilliniengruppe, die aus den geraden Linien L1 besteht, ausgerichtet ist, auf Basis der Teilliniengrößeninformation, definiert die Teilliniengruppe in Form eines solchen Gitters, wie in 2 gezeigt, und bestimmt die Koordinaten des Schnittpunktes zwischen jeder der geraden Linien L1 und jeder der anderen geraden Linien. Jede der nächsten Stufenfunktions-Arithmetikbetriebseinheiten 10 bis 13 führt eine Funktion durch, die den gleichen Einfluss aufweist, wie derjenige, der auf das Bild zu der Zeit ausgedrückt wird, wenn es von der Kamera auf den Koordinaten aufgenommen wird, und die Linienzeicheneinheit 7 erzeugt ein Teillinienbild auf Basis der Teillinieninformation auf die Koordinaten der Position jedes Schnittpunkts, die als berechnete Ergebnisse erfasst werden. Als Ergebnis wird ein Bild auf der Anzeigeeinheit 5 angezeigt, in dem die Teillinien auf dem Kamerabild überlagert sind, ohne verschoben zu werden. Hiernach werden der Einfachheit halber die Koordinaten (x, y) eines Schnittpunkts als ein Beispiel erklärt, die in den Koordinaten der Schnittpunkte der in 2 gezeigten Teillinien enthalten sind, die virtuell auf einer Grundoberfläche hinter dem Fahrzeug gebildet sind. Zum Beispiel können die Koordinaten (x, y) definiert werden als eine Position in einem rechtwinkligen Koordinatensystem, das als Ursprungspunkt einen Punkt auf der Grundoberfläche hinter dem Fahrzeug aufweist, die sich an einem vorbestimmten Abstand von dem Fahrzeug befindet.
-
Die Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 führt eine Linsenverzerrungsfunktion i hinsichtlich der Koordinaten (x, y) durch, die einen Schnittpunkt von durch die Teillinienerzeugungseinheit 9 berechneten Teillinien anzeigt, um die Koordinaten (x, y) in Koordinaten (i(x), i(y)) zu transformieren, die eine Linsenverzerrung erfahren haben. Die Linsenverzerrungsfunktion i stellt die Verzerrung dar, die das Kamerabild, das erfasst wird, wenn die Kamera der Kameraeinheit 3 ein Objekt aufgenommen hat, aufgrund der Form der Linse der Kamera erfährt. Zum Beispiel kann die Linsenverzerrungsfunktion i bestimmt werden unter Verwendung des Zhangmodells hinsichtlich der Linsenverzerrung. In diesem Modell wird die Linsenverzerrung als eine radiale Verzerrung modelliert, und, wenn die Koordinaten, die nicht von der Linsenverzerrung beeinflusst werden, als (x, y) ausgedrückt werden, werden die Koordinaten, die von der Linsenverzerrung beeinflusst werden, als (i(x) und i(y)) ausgedrückt, die normalisierten Koordinaten, die nicht durch die Linsenverzerrung beeinflusst werden, werden als (u, v) ausgedrückt und die normalisierten Koordinaten, die durch die Linsenverzerrung beeinflusst wurden, werden als (u~, v~) ausgedrückt, sind die folgenden Gleichungen gegeben. u~ = u + u(k1r2 + k2r4) u~ = v + v(k1r2 + k2r4) r2 = u2 + v2
-
In diesen Gleichungen ist u~ u Tilde und v~ ist v Tilde. k1 und k2 sind Koeffizienten eines Polynoms, das die Linsenverzerrung ausdrückt, die durch eine radiale Verzerrung verursacht wird, in den normalisierten Koordinaten (u~, v~), die von der Linsenverzerrung beeinflusst sind, hinsichtlich der normalisierten Koordinaten (u, v), die nicht durch die Linsenverzerrung beeinflusst wurden, und sind der Linse inhärente Konstanten. Wenn der Mittelpunkt der radialen Verzerrung in den Koordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, als ein Hauptpunkt (x0, y0) angepasst werden, gibt es einen Zusammenhang, der durch die folgenden Gleichungen gegeben ist. i(x) = x + (x – x0)(k1r2 + k2r4) i(y) = y + (y – y0)(k1r2 + k2r4), wobei x0 und y0 der Linse inhärente Konstanten sind. Durch Verwenden dieser Zusammenhangsausdrücke, können die Koordinaten (x, y), die nicht durch die Linsenverzerrung beeinflusst wurden, in Koordinaten (i(x), i(y)) transformiert werden, die durch die Linsenverzerrung beeinflusst wurden.
-
Die Projektionsfunktions-Arithmetikbetriebseinheit 11 führt eine Funktion h durch entsprechend dem Projektionsverfahren, das bestimmt wurde auf Basis einer von der Parameterspeichereinheit 4 eingegebenen Projektionsverfahrensinformation, hinsichtlich der Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben werden, um die Koordinaten (i(x), i(y)) in Koordinaten (h(i(x)), h(i(y))), zu transformieren, die eine Projektionsverzerrung erfahren haben. Die Funktion h entsprechend dem Projektionsverfahren zeigt funktional, wie weit Licht, das auf die Linse mit einem Winkel von θ fällt, von dem Linsenmittelpunkt fokussiert ist. Die Funktion h entsprechend dem Produktionsverfahren hat den folgenden Zusammenhang, wenn die Brennweite der Linse als f ausgedrückt wird, der Einfallswinkel des Einfallslichts, das heißt der halbe Blickwinkel als θ ausgedrückt wird und die Bildhöhe auf der Abbildungsoberfläche der Kamera als Y ausgedrückt wird. Im Falle einer stereographischen Projektion weist die Funktion den folgenden Zusammenhang auf: y = 2ftan(θ/2), im Fall einer äquidistanten Projektion, weist die Funktion h den folgenden Zusammenhang aus: Y = fθ, im Fall einer raumwinkelgleichen Projektion, weist die Funktion h den folgenden Zusammenhang auf: Y = 2fsin(θ/2), und im Fall einer orthogonalen Projektion weist die Funktion h den folgenden Zusammenhang auf: Y = fsinθ. Somit wird ein Wert h(i(x)), der die Projektionsverzerrung erfahren hat, erfasst durch Transformieren des Werts i(x) der Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben wurden, in den Einfallswinkel θ auf die Linse und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Ähnlich wird ein Wert (h(i(y)) erfasst durch Transformieren des Wertes i(y) der Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben, in den Einfallswinkel θ auf die Linse und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Dadurch kann die Projektionsfunktions-Arithmetikbetriebeseinheit die Koordinaten (h(i(x)), (h(i(y)) erfassen, die die Projektionsverzerrung erfahren haben.
-
Die Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 führt eine Projektionsebenentransformationsfunktion f durch, die bestimmt wird auf Basis der Befestigungsinformation, die darin von der Parameterspeichereinheit 4 eingegeben werden, hinsichtlich der Koordinaten (h(i(x)), h(i(y))), die die Projektionsverzerrung erfahren haben und die von der Projektionsfunktions-Arithmetikbetriebeseinheit 11 ausgegeben werden, um die Koordinaten (h(i(x)), h(i(y))) in Koordinaten (f(h(i(x))), f(h(i(y)))) zu transformieren, die eine Projektionsebenentransformation (d. h. eine Abbildungsoberflächeninformation) erfahren haben. Die Projektionsebenentransformation ist eine Transformation zum Hinzufügen eines Einflusses, der durch den Befestigungszustand der Kamera verursacht wird, der die Befestigungsposition und den Befestigungswinkel der Kamera enthält, auf das von der Kamera aufgenommene Kamerabild, weil der Befestigungszustand der Kamera einen Einfluss auf das Kamerabild hat. Die Projektionsebenentransformation f wird ausgedrückt durch eine geometrische Funktion, die als ihre Koeffizienten aufweist die Höhe L der Befestigungsposition der Kamera bezüglich der Grundoberfläche, den vertikalen Befestigungswinkel phi, der der Grad eines Inklinationswinkels der optischen Achse der Kamera bezüglich einer vertikalen Linie ist, den horizontalen Befestigungswinkel θ, der der Grad eines Inklinationswinkels der optischen Achse der Kamera hinsichtlich einer Mittellinie ist, die sich in einer Richtung der Länge des Fahrzeugs erstreckt, und den Abstand H, der der Betrag einer Verschiebung der Kamera von dem Mittelpunkt der Breite des Fahrzeugs ist. Es wird angenommen, dass die Kamera nicht in Richtung einer Richtung einer Neigungsrotation verschoben ist, die die optische Achse der Kamera als Rotationsachse hat, und präzise befestigt ist.
-
Die Bildausgabefunktions-Arithmetikbetriebseinheit 13 führt eine Bildausgabefunktion g durch, die bestimmt wird auf Basis der Blickwinkelinformation und der Bildschirmgrößeninformation, die darin von der Parameterspeichereinheit 4 eingegeben wird, hinsichtlich der Koordinaten (f(h(i(x))), f(h(i(y)))), die die Projektionsebenentransformation erfahren haben, um die Koordinaten (f(h(i(x))), f(h(i(y)))) in Koordinaten für eine Bildausgabe (g(f(h(i(x)))), g(f(h(i(y))))) zu transformieren. Weil sich die Größe des von der Kamera aufgenommenen Kamerabildes im Allgemeinen von der eines Bildes unterscheidet, das von der Anzeigeeinheit 6 angezeigt werden kann, wird die Größe des Kamerabildes in eine Größe geändert, die auf der Anzeigeeinheit 5 angezeigt werden kann. Dazu führt die Bildausgabefunktions-Arithmetikbetriebseinheit 13 einen Transformationsprozess aus entsprechend einer Änderung der Größe des Kamerabildes auf eine Größe, die auf der Anzeigeeinheit 5 angezeigt werden kann, hinsichtlich der Koordinaten (g(f(h(i(x)))), g(f(h(i(y))))), die die Projektionsebenentransformation erfahren haben, so dass das transformierte Bild einen Maßstab haben kann, der mit dem Kamerabild übereinstimmt. Die Bildausgabetransformationsfunktion g wird ausgedrückt durch eine Abbildungsfunktion, die als ihre Koeffizienten aufweist einen maximalen horizontalen Blickwinkel Xa und einen maximalen vertikalen Blickwinkel Ya der Kamera und eine maximale horizontale Zeichennpixelgröße Xp und eine maximale vertikale Zeichnungspixelgröße Yp in der Bildausgabe.
-
In dem oben erklärten Beispiel werden die Arithmetikoperationen hinsichtlich der Koordinaten, die jeden Schnittpunkt von Teillinien anzeigen, ausgeführt in der Reihenfolge der Linsenverzerrungsfunktion, der Projektionsfunktion, der Projektionsebenentransformationsfunktion und der Bildausgabefunktion. Die Reihenfolge, in der die Funktionen mit den Koordinaten ausgeführt werden, die jeden Schnittpunkt Teillinien-anzeigen, ist jedoch nicht auf den oben beschränkten Fall begrenzt.
-
Die Projektionsebenentransformationsfunktion f in der Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 enthält weiterhin den Blickwinkel der Kamera (den maximalen horizontalen Blickwinkel Xa und den maximalen vertikalen Blickwinkel Ya der Kamera) als die Bildschirmgrößeninformation, die die Größe des aufgenommenen Kamerabildes anzeigt. Deshalb kann die Kameraabstandsmessvorrichtung, sogar wenn ein Teil des Kamerabildes extrahiert und angezeigt wird, die Teillinien auf solch eine Weise anzeigen, dass die Teillinien auf den extrahierten Teil des Kamerabildes passen, durch Ändern der Koeffizienten des Blickwinkels der Kamera in der Projektionsebenentransformationsfunktion f.
-
Die Bildkorrektureinheit 6 bestimmt eine Funktion i-1, die die Inverse der Linsenverzerrungsfunktion i ist, auf Basis der Linsenverzerrungsfunktion über die Kamera der Kameraeinheit 3, und wendet die inverse Funktion auf das von der Kameraeinheit 3 aufgenommene Kamerabild an. Weil das von der Kameraeinheit 3 aufgenommene Kamerabild von der Linsenverzerrung beeinflusst wird, kann die Bildkorrektureinheit das Kamerabild korrigieren, um ein Kamerabild bereitzustellen, das nicht von der Linsenverzerrung beeinflusst wird, durch Anwenden der inversen Linsenverzerrungsfunktion i-1 auf das von der Kameraeinheit aufgenommene Kamerabild.
-
Die Koordinateninformation, die die Teillinien definiert, die den Transformationsprozess auf die oben beschriebene Weise erfahren haben, wird von der Abstandsmessarithmetikbetriebseinheit 2 an die Linienzeicheneinheit 7 als Teillinieninformation ausgegeben. Die Linienzeicheneinheit 7 erzeugt ein Teillinienbild, in der eine Vielzahl von Teillinien auf solch eine Weise angeordnet sind, um sich mit rechten Winkeln zu schneiden, in der Form eines Gitters auf Basis der Teillinieninformation.
-
Die Bildkorrektureinheit 6 bestimmt dann eine Funktion h-1, die die Inverse der Projektionsfunktion h ist, auf Basis der Projektionsverfahrensinformation und wendet die inverse Funktion auf das Kamerabild an, auf das der Linsenverzerrungs-Inversefunktion-Arithmetikbetrieb angewendet wurde. Weil das von der Kameraeinheit 3 aufgenommene Bild die Verzerrung aufgrund des Projektionsverfahrens zur Verwendung in der Linse erfahren hat, kann die Bildkorrektureinheit das Kamerabild korrigieren, um ein Kamerabild bereitzustellen, das nicht von der Projektionsverzerrung beeinflusst wurde, durch Anwenden der inversen Projektionsfunktion h-1 auf das von der Kameraeinheit aufgenommene Kamerabild.
-
Die Bildüberlagerungseinheit 8 überlagert das Teillinienbild auf dem korrigierten Kamerabild als Bilder in verschiedenen Schichten auf solch eine Weise, dass das von der Linienzeicheneinheit 7 gezeichnete Teillinienbild auf dem von der Bildkorrektureinheit 6 korrigierten Kamerabild überlagert ist. Die Anzeigeeinheit 5 wendet die Bildausgabefunktion g auf das korrigierte Kamerabild unter dem Teillinienbild und den korrigierten Kamerabildern, die sich in verschiedenen Schichten befinden, an, um die Größe des korrigierten Kamerabildes auf eine Größe zu ändern, die die Anzeigeeinheit darauf anzeigen kann. Die Kameraeinheit überlagert dann das Teillinienbild auf dem korrigierten Kamerabild, dessen Größe geändert wurde, um ein zusammengesetztes Bild zu erzeugen, und zeigt dann dieses zusammengesetzte Bild an. Weil jedes Objekt in dem Kamerabild von der Verzerrung, dem Projektionsverfahren und dem Befestigungszustand der Kamera beeinflusst wird, kann die Abstandsmessarithmetikbetriebseinheit 2 die Teillinien anzeigen, die auf das Kamerabild passen, durch Anwenden der Koordinatentransformationen entsprechend der Linsenverzerrung, Projektionsverfahren und dem Befestigungszustand der Kamera auf dem Kamerabild.
-
3 ist eine Ansicht, die ein Beispiel eines Teillinienbildes zeigt. Mit Bezug auf 3 sind gerade Linien L1a Teillinien, die in rechten Winkeln zu einer Richtung der Breite des Fahrzeugs laufen, und entsprechen den geraden Linien L1, die in 2 gezeigt sind. Die geraden Linien L2a und L5a sind Teillinien, die parallel zu der Richtung der Breite des Fahrzeugs laufen und entsprechen den geraden Linien L2a und L5a, die in 2 gezeigt sind. Das Kamerabild, in dem die Linsenverzerrung und die Verzerrung aufgrund des Projektionsverfahrens entfernt werden durch den oben genannten Prozess, der von der Abstandsmessarithmetikbetriebseinheit 2 ausgeführt wird, und die Teillinien, die auf dem Kamerabild auf solch eine Weise überlagert sind, um dem Kamerabild zu entsprechen, werden auf der Anzeigeeinheit 5 angezeigt.
-
Jeder der Gitterblöcke, die durch die geraden Linien L1a bis L5a gebildet werden, weist eine Seite auf, die sich in einer Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, und eine Seite, die sich in einer Richtung (Tiefenrichtung) vertikal zu der Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, wie in 3 gezeigt. Deshalb wird der Benutzer in die Lage versetzt, den Abstand von dem Fahrzeug zu einem Objekt mit den auf der Anzeigeeinheit 5 angezeigten Teillinien visuell zu erkennen. Obwohl sogar eine konventionelle Kameraabstandsmessvorrichtung Teillinien anzeigen kann, die den Abstand von dem Fahrzeug zu einem Objekt in einer Tiefenrichtung anzeigen, kann keine konventionelle Kameraabstandsmessvorrichtung Teillinien korrekt anzeigen, die den Abstand von dem Fahrzeug zu einem Objekt in einer Richtung der Breite des Fahrzeugs anzeigen, da eine Verzerrung in einer lateralen Richtung in dem Kamerabild aufgrund der Linsenverzerrung der Kamera auftritt. Im Gegensatz dazu, da die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 1 die Linsenverzerrung und die Verzerrung aufgrund des Projektionsverfahrens durch Verwenden der Abstandsmessarithmetikbetriebseinheit 2 entfernen kann, kann die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 1 auch den Abstand in einer Richtung der Breite eines Fahrzeugs korrekt auf dem Anzeigebildschirm der Anzeigeeinheit 5 anzeigen.
-
4 ist eine Ansicht, die ein weiteres Beispiel des Teillinienbildes zeigt. Mit Bezug auf 4 sind die geraden Linien L1a-1 Teillinien, die die Breite eines Parkplatzes anzeigen und der Abstand zwischen den geraden Linien L1a-1 ist die Breite des Parkplatzes. Weiterhin sind die geraden Linien L1a-2 Teillinien, die die Breite des Fahrzeugs anzeigen, und der Abstand zwischen den geraden Linien L1a-2 ist die Breite des Fahrzeugs. Die geraden Linien L2a bis L5a sind Teillinien, die parallel zu einer Richtung der Breite des Fahrzeugs laufen, und entsprechen den geraden Linien L2a bis L5a, die in 2 gezeigt sind. Da die Teillinien auf diese Weise angeordnet sind, kann die Kameraabstandsmessvorrichtung den Abstand von dem Fahrzeug zu einem Objekt einer Richtung der Breite des Objekts korrekt bereitstellen, und versetzt den Fahrer in die Lage, die Teillinien auch als Linien zur Führung des Fahrers beim Einparken zu verwenden.
-
Wie oben angemerkt, enthält die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 1: die Parameterspeichereinheit 4 zum Speichern von Befestigungsinformation, die die Befestigungsposition und den Befestigungswinkel anzeigen, an und mit dem die Kamera an dem Fahrzeug befestigt ist, Blickwinkelinformation, die den Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die das Projektionsverfahren zur Verwendung in der Linse der Kamera zeigt, und Bildschirmgrößeninformation, die die Bildschirmgröße der Anzeigeeinheit zeigt, als Parameterinformation; die Abstandsmessarithmetikbetriebseinheit 2 zum Durchführen des Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera hinsichtlich der Positionskoordinaten im Realraum jedes Gitterpunkts, der durch die Vielzahl von Teillinien definiert ist, die in Form eines Gitters und in Intervallen des Einheitsabstands angeordnet sind, und zum Transformieren der Positionskoordinaten jedes Gitterpunkts, in dem die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in dem Kamerabild auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit 4 gelesen werden, um Teillinieninformation zu erzeugen; die Linienzeicheneinheit 7 zum Anordnen der Vielzahl von Teillinien auf Basis der Teillinieninformation auf solch eine Weise, dass diese sich in rechten Winkeln schneiden in Form eines Gitters, um ein Teillinienbild zu erzeugen; die Bildkorrektureinheit 6 zum Durchführen des Korrekturprozesses zum Entfernen der Verzerrung der Linse der Kamera in dem Kamerabild und der von der Programmverifizieroperation verursachten Verzerrung; und die Bildüberlagerungseinheit 8 zum Überlagern des von der Linienzeicheneinheit 7 erzeugten Teillinienbildes auf dem Kamerabild, das von der Bildkorrektureinheit 6 korrigiert wird, um das Kamerabild auszugeben, auf dem das Teillinienbild auf der Anzeigeeinheit 5 überlagert ist. Da die Kameraabstandsmessvorrichtung auf diese Weise konstruiert ist, kann die Kameraabstandsmessvorrichtung ein Teillinienbild anzeigen, das den Benutzer in die Lage versetzt, den Abstand zu einem Objekt in dem Kamerabild einfach abzuschätzen.
-
Ausführungsform 2
-
5 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 2 der vorliegenden Erfindung zeigt. Mit Bezug auf 5 ist die Kameraabstandsmessvorrichtung 1A ausgestattet mit einer Abstandsmessarithmetikbetriebseinheit 2A, einer Kameraeinheit 3, einer Parameterspeichereinheit 4, einer Ausgabeeinheit 5A und einer Bildschirmpositionsbestimmungseinheit 14. Die Abstandsmessarithmetikbetriebseinheit 2A ist eine Komponente zum Transformieren einer beliebigen Koordinatenposition in einem Kamerabild, das durch die Bildschirmpositionsbestimmungseinheit 14 spezifiziert wird, in einer Position auf einer Grundoberfläche im realen Raum, um den Abstand von einem Fahrzeug zu der Position zu bestimmen, und ist ausgestattet mit einer Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10, einer Projektionsfunktions-Arithmetikbetriebeseinheit 11, einer Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 und einer Bildausgabefunktions-Arithmetikbetriebseinheit 13.
-
Die Ausgabeeinheit 5A ist eine Komponente zum Ausgeben der Distanz von dem Fahrzeug zu der Position, das von der Abstandsmessarithmetikbetriebseinheit 2a berechnet wird, umfasst eine Anzeigeeinheit, die eine Anzeige oder eine Klangausgabeeinheit zum Melden des Abstands mittels Sprache ist. Die Bildschirmpositionsbestimmungseinheit 14 ist eine Komponente zum Spezifizieren einer beliebigen Position in dem auf dem Bildschirm angezeigten Kamerabild. Zum Beispiel kann die Bildschirmpositionsbestimmungseinheit eine Eingabeverarbeitungseinheit umfassen zum Anzeigen eines Zeigers auf dem Bildschirm, um den Benutzer in die Lage zu versetzen, eine beliebige Position durch Verwenden des Zeigers zu spezifizieren, oder ein Berührungsbildschirm, der auf dem Bildschirm angeordnet ist, auf dem das Kamerabild angezeigt wird.
-
Als Nächstes wird der Betrieb der Kameraabstandsmessvorrichtung erklärt. Wenn der Benutzer eine beliebige Position auf dem auf dem Bildschirm angezeigten Kamerabild spezifiziert durch Verwenden der Bildschirmpositionsbestimmungseinheit 14, werden die Koordinate (u, v) der spezifizierten Position in dem Raum des Kamerabildes in die Abstandsmessarithmetikbetriebseinheit 2A eingegeben. Die Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 der Abstandsmessarithmetikbetriebseinheit 2A führt eine Linsenverzerrungsfunktion i durch hinsichtlich der Koordinaten (u, v) der Position auf dem durch die Bildschirmpositionsbestimmungseinheit 14 spezifizierten Kamerabild, um die Koordinaten in Koordinaten (i(u), i(v)) zu transformieren, die eine Linsenverzerrung erfahren haben. Die Linsenverzerrungsfunktion i stellt die Verzerrung dar, die das Kamerabild, das erfasst wird, wenn die Kamera der Kameraeinheit 3 ein Objekt aufgenommen hat, aufgrund der Form der Linse der Kamera erfährt, was in der oben genannten Ausführungsform 1 gezeigt ist. Zum Beispiel kann die Linsenverzerrungsfunktion i bestimmt werden unter Verwendung des Zhang-Modells hinsichtlich der Linsenverzerrung. In diesem Modell wird die Linsenverzerrung als eine radiale Verzerrung modelliert und, wenn die idealen Bildkoordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, als (u, v)T ausgedrückt werden, die Beobachtungsbildkoordinaten, die von der Linsenverzerrung beeinflusst wurden, ausgedrückt werden als (u~, v~)T, und die idealen normalisierten Koordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, ausgedrückt werden als (x, y)T und die normalisierten Beobachtungskoordinaten, die von der Linsenverzerrung beeinflusst werden, ausgedrückt werden als (x~, y~)T, sind die folgenden Gleichungen gegeben. x~ = x + x(k1r2 + k2r4) y~ = y + y(k1r2 + k2r4) r2 = x2 + y2
-
In diesen Gleichungen ist x~ x Tilde und y~ ist y Tilde, u~ ist u Tilde und v~ ist v Tilde. k1 und k2 sind Koeffizienten eines Polynoms, das die Linsenverzerrung ausdrückt, die durch eine radiale Verzerrung verursacht wird, in den normalisierten Koordinaten (x~, y~)T, die von der Linsenverzerrung beeinflusst wurden, hinsichtlich der normalisierten Koordinaten (x, y)T, die nicht von der Linsenverzerrung beeinflusst wurden, und sind der Linsen inhärente Konstanten. Wenn der Mittelpunkt der radialen Verzerrung in den Koordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, ausgedrückt wird als Hauptpunkt (u0, v0)T, gibt es einen Zusammenhang durch die folgende Gleichung. u~ = u + (u – u0)(k1r2 + k2r4) v~ = v + (v – v0)(k1r2 + k2r4), wobei u0 und v0 der Linse inhärente Konstanten sind. Durch Verwenden dieser Zusammenhangsausdrücke, kann die Position (u, v) eines Objekts in dem Raum des Kamerabildes in Positionskoordinaten (x, y) (= (i(u), i(v))) des Objekts im Realraum transformiert werden.
-
Die Projektionsfunktions-Arithmetikbetriebseinheit 11 führt eine Funktion h aus entsprechend einem Projektionsverfahren, das bestimmt wird auf Basis einer Projektionsverfahrensinformation, die darin von der Parameterspeichereinheit 4 eingegeben wird, hinsichtlich der Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben werden, um die Koordinaten (i(x), i(y)) in Koordinaten (h(i(x)), h(i(y))) zu transformieren, die eine Projektionsverzerrung erfahren haben.
-
Die Funktion h entsprechend dem Projektionsverfahren zeigt funktional, wie weit Einfallslicht auf der Linse mit einem Winkel θ von dem Linsenmittelpunkt fokussiert ist. Die Funktion h entsprechend dem Projektionsverfahren hat den folgenden Zusammenhang, wenn die Brennweite der Linse als f ausgedrückt wird, der Einfallswinkel des Einfallslichts, d. h. der halbe Blickwinkel ausgedrückt wird als θ und die Bildhöhe auf der Abbildungsoberfläche der Kamera als Y ausgedrückt wird. Im Fall einer stereographischen Projektion, weist die Funktion h den folgenden Zusammenhang auf: Y = ftan (θ/2) im Fall einer äquidistanten Projektion, weist die Funktion h den folgenden Zusammenhang auf: Y = fθ, im Fall einer raumwinkelgleichen Projektion weist die Funktion h den folgenden Zusammenhang auf: Y = 2fsin(θ/2) und im Fall einer orthogonalen Projektion weist die Funktion h den folgenden Zusammenhang auf: Y = fsinθ. Deshalb kann der Wert h(i(u)), der die Projektionsverzerrung erfahren hat, erfasst werden durch Transformieren des Wertes i(u) der Koordinaten (i(u), i(v)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben werden, in einen Einfallswinkel θ auf der Linse und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Ähnlich kann der Wert h(i(v)) erfasst werden durch Transformieren des Wertes i(v) der Koordinaten (i(u), i(v)), die die Linsenverzerrung erfahren haben, in den Einfallswinkel θ auf der Linse, und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Dadurch kann die Projektionsfunktions-Arithmetikbetriebeseinheit die Koordinaten (h(i(u)), h(i(v))) erfassen, die die Projektionsverzerrung erfahren haben.
-
Die Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 führt eine Projektionsebenentransformationsfunktion f durch, die bestimmt wird auf Basis von Befestigungsinformation, die darin von der Parameterspeichereinheit eingegeben werden, hinsichtlich der Koordinaten (h(i(u)), h(i(v))), die die Projektionsverzerrung erfahren haben und die von der Projektionsfunktions-Arithmetikbetriebeseinheit 11 ausgegeben werden, um die Koordinaten (h(i(u)), h(i(v))) in Koordinaten (f(h(i(u))), f(h(i(v)))) zu transformieren, die eine Projektionsebenentransformation (d. h. eine Abbildungsoberflächentransformation) erfahren haben. Die Projektionsebenentransformation ist eine Projektion zum Hinzufügen eines Einflusses, der durch den Befestigungszustand der Kamera verursacht wird, der die Befestigungsposition und den Befestigungswinkel der Kamera enthält, hinsichtlich des von der Kamera aufgenommenen Kamerabildes, weil der Befestigungszustand der Kamera einen Einfluss auf das Kamerabild hat. Die Projektionsebenentransformation f wird ausgedrückt durch eine geometrische Funktion, die als ihre Koeffizienten die Höhe L der Befestigungsposition der Kamera hinsichtlich der Grundoberfläche, den vertikalen Befestigungswinkel phi, der der Grad eines Inklinationswinkels der optischen Achse der Kamera hinsichtlich einer vertikalen Linie ist, den horizontalen Befestigungswinkel θ, der der Grad eines Inkliniationswinkels der optischen Achse der Kamera hinsichtlich einer Mittellinie ist, die sich in einer Richtung der Länge des Fahrzeugs erstreckt, und den Abstand H, der der Betrag einer Verschiebung der Kamera vom Mittelpunkt der Breite des Fahrzeugs ist, aufweist. Es wird angenommen, dass die Kamera nicht in Richtung einer Richtung einer Neigungsrotation verschoben ist, die die optische Achse der Kamera als die Rotationsachse aufweist, und präzise befestigt ist.
-
Die Bildausgabefunktions-Arithmetikbetriebseinheit 13 führt eine Bildausgabefunktion g durch, die bestimmt wird auf Basis von Blickwinkelinformation und Bildschirmgrößeninformation, die daran von der Parameterspeichereinheit 4 eingegeben werden, hinsichtlich der Koordinaten (f(h(i(u))), f(h(i(v)))), die die Projektionsebenentransformation erfahren haben, um die Koordinaten (f(h(i(u))), f(h(i(v)))) in Koordinaten für eine Bildausgabe (g(f(h(i(u)))), g(f(z(i(v))))) zu transformieren. Die Bildausgabefunktions-Arithmetikbetriebseinheit 13 führt einen Transformationsprozess aus entsprechend einer Änderung der Größe des Kamerabildes auf eine Größe, die auf der Anzeigeeinheit angezeigt werden kann, hinsichtlich der Koordinaten (g(f(h(i(u)))), g(f(h(i(v)))))), die die Projektionsebenentransformation erfahren haben, so dass das transformierte Bild einen Maßstab aufweisen kann, der dem des Kamerabilds entspricht. Die Bildausgabetransformationsfunktion g wird ausgedrückt durch eine Abbildungsfunktion, die als ihre Koeffizienten einen horizontalen maximalen Blickwinkel Xa und einen vertikalen maximalen Blickwinkel Ya der Kamera, und eine maximale horizontale Zeichenpixelgröße Xp und eine maximale vertikale Zeichenpixelgröße Yp in dem Bildausgabepunkt aufweist.
-
In dem oben erklärten Beispiel werden die Arithmetikoperationen hinsichtlich der Koordinaten ausgeführt, die jeden Schnittpunkt von Teillinien zeigen, in der Reihenfolge der Linsenverzerrungsfunktion, der Projektionsfunktion, der Projektionsebenentransformationsfunktion und der Bildausgabefunktion. Die Reihenfolge, in der die Funktionen hinsichtlich der Koordinaten ausgeführt werden, die jeden Schnittpunkt von Teillinien anzeigen, ist jedoch nicht auf die oben genannte Reihenfolge beschränkt.
-
Die Projektionsebenentransformationsfunktion f in der Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 enthält weiterhin den Blickwinkel der Kamera (den maximalen horizontalen Blickwinkel Xa und den maximalen vertikalen Blickwinkel Ya der Kamera) als die Bildschirmgrößeninformation die die Größe des aufgenommenen Kamerabildes zeigt. Deshalb, sogar wenn ein Teil des Kamerabildes extrahiert und angezeigt wird, kann die Kameraabstandsmessvorrichtung die Teillinien auf solch eine Weise anzeigen, dass die Teillinien auf den extrahierten Teil des Kamerabildes passen, durch Ändern der Koeffizienten des Blickwinkels der Kamera in der Projektionsebenentransformationsfunktion f. Als Ergebnis kann die Kameraabstandsmessvorrichtung eine gegenseitige Umwandlung zwischen einer Position in dem zweidimensionalen Raum des Kamerabilds und einer Position in dem dreidimensionalen Realraum, dessen Höhe als eine Dimension davon fixiert ist, ausführen. Da die Kameraabstandsmessvorrichtung dadurch eine gegenseitige Umwandlung zwischen dem zweidimensionalen Raum des Kamerabildes und dem dreidimensionalen Realraum durchführen kann, versetzt die Kameraabstandsmessvorrichtung den Benutzer in die Lage, eine beliebige Position in dem Kamerabild durch Verwenden der Bildschirmpositionsbestimmungseinheit 14 zu bestimmen, um eine entsprechende Position im Realraum dem Benutzer auf Basis des Kamerabildes darzustellen.
-
Nachdem die Abstandsmessarithmetikbetriebseinheit 2A die Position im Realraum entsprechend der Position in dem Kamerabildschirm berechnet, die durch die Bildschirmpositionsbestimmungseinheit 14 (die Koordinatenposition an einer Höhe z im Realraum) spezifiziert wird, stellt die Ausgabeeinheit 5A diesen berechneten Wert für den Benutzer bereit. Zum Beispiel, in dem Fall, in dem die Ausgabeeinheit 5A als eine Klangausgabeeinheit konstruiert ist, gibt die Ausgabeeinheit die von der Abstandsmessarithmetikbetriebseinheit 2A berechnete Position mittels Sprache aus. Als eine Alternative, in dem Fall, in dem die Ausgabeeinheit 5A als eine Anzeigeeinheit zum Anzeigen des von der Kameraeinheit 3 aufgenommene Kamerabildes konstruiert ist, zeigt die Ausgabeeinheit den Abstand von dem Fahrzeug zu einer Position auf dem Anzeigebildschirm mit Zeichen oder stellt eine Korrespondenz einer Farbe mit dem Abstand her und zeigt den Abstand farbig an, wodurch der Benutzer in die Lage versetzt wird, den Abstand visuell zu erkennen.
-
Wie oben beschrieben, enthält die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 2: die Parameterspeichereinheit 4 zum Speichern von Befestigungsinformation, die die Befestigungsposition und den Befestigungswinkel anzeigt, an und mit dem die Kamera an dem Fahrzeug befestigt ist, Blickwinkelinformation, die den Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren zur Verwendung in der Linse der Kamera anzeigt, und Bildschirmgrößeninformation, die die Bildschirmgröße der Anzeigeinformation anzeigt, als Parameterinformation; Bildschirmpositionsbestimmungseinheit 14 zum Bestimmen einer Position im auf der Anzeigeeinheit angezeigten Kamerabild; die Abstandsmessarithmetikbetriebseinheit 2A zum Durchführen des Prozesses zum Korrigieren der Verzerrung der Linse auf der Kamera hinsichtlich der Koordinaten der Position im Raum des Kamerabildes, bestimmt durch die Bildschirmpositionsbestimmungseinheit 14, und zum Transformieren der Positionskoordinaten, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten einer vorbestimmten Höhe von einer Grundoberfläche im Realraum auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Positionsinformation zu erzeugen; und die Ausgabeeinheit 5A zum Ausgeben des Abstands von der Position in dem Kamerabild, das von der Bildschirmpositionsbestimmungseinheit 14 bestimmt wurde, zu dem Fahrzeug auf Basis der Positionsinformation. Da die Kameraabstandsmessvorrichtung auf diese Weise konstruiert ist, kann die Kameraabstandsmessvorrichtung den Abstand zu einem Objekt von dem Fahrzeug erkennen durch Transformieren einer beliebigen Position in dem Kamerabild zu einer Koordinatentransformation einer Höhe z (z. B. die Höhe von der Grundoberfläche zu der Kamera) im Realraum.
-
Ausführungsform 3
-
In Ausführungsform 3 wird eine Struktur mit einer Kombination der oben genannten Ausführungsformen 1 und 2 gezeigt. 6 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 3 der vorliegenden Erfindung zeigt. Mit Bezug auf 6 weist die Kameraabstandsmessvorrichtung 1B eine Struktur auf, die eine Kombination derjenigen ist, die in 1 und 2 gezeigt werden. Während die Kameraabstandsmessvorrichtung ein Teillinienbild auf der Anzeigeeinheit 5 anzeigt, wie dasjenige entsprechend der oben genannten Ausführungsform 1, bestimmt die Kameraabstandsmessvorrichtung eine beliebige Position in dem Teillinienbild durch Verwenden einer Bildschirmpositions-Bestimmungseinheit 14 und transformiert die beliebige Position in eine Koordinatenposition einer Höhe z im Realraum (z. B. die Höhe von einer Grundoberfläche zu einer Kamera), wie diejenige entsprechend der oben genannten Ausführungsform 2.
-
7 ist eine Ansicht, die ein Beispiel eines Teillinienbildes in Übereinstimmung mit Ausführungsform 3 zeigt. Mit Bezug auf 7 weist jeder der Gitterblöcke, die durch gerade Linien L1a bis L5a gebildet werden, eine Seite auf, die sich in einer Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, und eine Seite, die sich in einer Richtung (eine Tiefenrichtung) vertikal zu der Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, wie in der oben genannten Ausführungsform 1. Weiterhin wird ein berührungsempfindlicher Bildschirm, der in einer Anzeigeeinheit 5 zum Anzeigen des Teillinienbildes angeordnet ist, als die Bildschirmpositionsbestimmungseinheit 14 verwendet, so dass die Kameraabstandsmessvorrichtung den Benutzer in die Lage versetzt, eine beliebige Position auf dem Teillinienbild durch Verwenden der Bildschirmpositions-Bestimmungseinheit zu spezifizieren, wie in 7 gezeigt, und kann den Abstand von dem Fahrzeug zu der Position bestimmen. Die Anzeigeeinheit 5 kann den von der Abstandsmessarithmetikbetriebseinheit 2 berechneten Abstand auf dem Bildschirm mit Zeichen anzeigen. In dem Beispiel der 7 ist ein Abstand in einer Richtung einer x-Achse definiert hinsichtlich einer geraden Linie L5a entsprechend dem Mittelpunkt der Breite des Fahrzeugs, und ein Abstand in einer Richtung einer y-Achse wird definiert auf Basis des vorbestimmten Abstands in der Tiefenrichtung jedes Gitterblocks. Der in der Figur spezifizierte beliebige Punkt weist einen Abstand von 0,5 Metern in Richtung der x-Achse vom Mittelpunkt der Breite des Fahrzeugs und einen Abstand von 1,25 Metern in Richtung der y-Achse (in der Tiefenrichtung) auf. Dadurch versetzt die Kameraabstandsmessvorrichtung den Benutzer in die Lage, den Abstand von dem Fahrzeug visuell zu erkennen.
-
Die Kameraabstandsmessvorrichtung kann solch ein Teillinienbild wie in 4 gezeigt anzeigen, um den Benutzer in die Lage zu versetzen, ein Hindernis durch Verwenden der Bildschirmpositionsbestimmungseinheit 14 zu spezifizieren, das in einem Parkplatz existiert, wenn das Fahrzeug in dem Parkplatz geparkt wird, und den Abstand zwischen dem Hindernis und dem Fahrzeug anzeigen.
-
Wie oben beschrieben, enthält die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 3 die Bildschirmpositionsbestimmungseinheit 14 zum Bestimmen einer Position in dem auf der Anzeigeeinheit 5 angezeigten Kamerabild zusätzlich zu der Struktur gemäß der oben beschriebenen Ausführungsform 1, und führt den Prozess durch zum Korrigieren der Verzerrung der Linse der Kamera hinsichtlich der Koordinaten der Position in dem Raum des Kamerabildes, bestimmt durch die Bildschirmpositionsbestimmungseinheit 14, und transformiert die Positionskoordinaten, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten einer vorbestimmten Höhe von einer Grundoberfläche im Realraum auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit 4 gelesen werden, um Positionsinformation zu erzeugen, und die Anzeigeeinheit 5 gibt den Abstand von der Position in dem Kamerabild, das von der Bildschirmpositions-Bestimmungseinheit 14 bestimmt wird, an das Fahrzeug aus auf Basis der Positionsinformation. Da die Kameraabstandsmessvorrichtung auf diese Weise konstruiert ist, kann die Kameraabstandsmessvorrichtung eine beliebige Position in dem Teillinienbild hinsichtlich einer Koordinatenposition einer Höhe z (zum Beispiel einer Höhe von einer Grundoberfläche bis zu der Kamera) in dem Realraum transformieren, um den Benutzer in die Lage zu versetzen, den Abstand von dem Fahrzeug zu einer Position zu erkennen, während das Teillinienbild dargestellt wird, was die Messung der Distanz zu einem Objekt in dem Kamerabild erleichtern kann.
-
Ausführungsform 4
-
8 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 4 der vorliegenden Erfindung zeigt. Die Kameraabstandsmessvorrichtung 1C ist ausgestattet mit einer Bilderkennungseinheit 15 als die Bildschirmpositionsbestimmungseinheit 14, die in der oben genannten Ausführungsform 2 gezeigt ist. Der Bilderkennungsabschnitt 15 ist eine Komponente zum Ausführen einer Bilderkennung hinsichtlich des spezifischen Objekts (ein Hindernis), das auf dem Anzeigebildschirm angezeigt wird, um die Koordinatenposition des Objekts in dem Kamerabild zu bestimmen. Zum Beispiel, wenn der Fahrer während eines Parkvorgangs unterstützt wird, erkennt die Kameraabstandsmessvorrichtung ein Hindernis, das in einem Parkplatz existiert, durch Verwenden einer existierenden Bilderkennungstechnik, um die Koordinaten der Position des Hindernisses in dem Kamerabild zu bestimmen. Durch Verarbeiten dieser Positionskoordinaten durch Verwenden einer Abstandsmessarithmetikbetriebseinheit 2A kann die Kameraabstandsmessvorrichtung den Abstand zwischen dem Hindernis und dem Fahrzeug dem Fahrer darstellen.
-
Obwohl in dem in 8 gezeigten Beispiel die Struktur gezeigt ist, in der die Bilderkennungseinheit 15 als die in der obigen Ausführungsform 2 gezeigte Bildschirmpositions-Bestimmungseinheit angeordnet ist, kann die Kameraabstandsmessvorrichtung alternativ auf solch eine Weise konstruiert sein, die Bilderkennungseinheit 15 als die Bildschirmpositions-Bestimmungseinheit 14 mit der Struktur zu enthalten, die erklärt wird durch Bezug auf 6 in der obigen Ausführungsform 3.
-
Wie oben angemerkt, da die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 4 die Bilderkennungseinheit 15 enthält zum Erfassen der Position eines Objekts in dem Kamerabild durch Ausführen einer Bilderkennung in dem Kamerabild, kann die Kameraabstandsmessvorrichtung eine beliebige Position (die Position eines Hindernisses) in dem Kamerabild erkennen entsprechend der Bilderkennung in dem Kamerabild, wodurch diese in der Lage ist, den Abstand zu dem Hindernis in dem Kamerabild einfach abzuschätzen.
-
GEWERBLICHE ANWENDBARKEIT
-
Da die Kameraabstandsmessvorrichtung in Übereinstimmung mit der vorliegenden Erfindung den Abstand zu einem Objekt in dem Kamerabild messen kann, kann die Kameraabstandsmessvorrichtung effizient in einer Parkunterstützvorrichtung oder dergleichen angewandt werden, die eine rückwärtige Kamera einem Bildaufnahmebereich in einer rückwärtigen Richtung hinter einem Fahrzeug verwendet.