-
QUERVERWEIS AUF EINE ZUGEHÖRIGE ANMELDUNG
-
Diese Anmeldung beansprucht die Priorität der
koreanischen Patentanmeldung Nr. 10-2015-0107054 , eingereicht am 29. Juli 2015, die hier für alle Zwecke so einbezogen wird, als ob sie hier vollständig beschrieben wäre.
-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung bezieht sich auf eine Kameravorrichtung eines Fahrzeugs. Insbesondere bezieht sich die vorliegende Erfindung auf eine Kameravorrichtung eines Fahrzeugs, die zwei oder mehrere Linsen bzw. Objektive einschließt.
-
2. Beschreibung des Standes der Technik
-
In letzter Zeit enthalten und verwenden Fahrzeuge bildsensorbasierte Kameras und die Kameras können vorne, hinten oder dergleichen an dem Fahrzeugs installiert sein und können Bilder um das Fahrzeug herum aufnehmen. Die Bilder können einfach eine Bildinformation an einen Fahrer liefern. Bei einer weiteren Analyse können jedoch die Bilder so verwendet werden, dass sie mit verschiedenen Systemen verknüpft sind, die automatisch das Fahren eines Fahrzeugs steuern oder einem Fahrer eine Warnung mitteilen.
-
Die Systeme schließen ein aktives Fahrregelsystem (ACC), ein Spurwechselassistenzsystem, ein Warnsystem bei Verlassen der Spur, ein Auffahrwarnsystem (FCW) und ein Parkassistenzsystem oder dergleichen ein.
-
Eine für eine Kamera verwendete Linse (Objektiv) hat einen vorbestimmten Feldwinkel und eine vorbestimmte Brennweite und ein von der Kamera aufgenommener Bereich kann durch den Feldwinkel und die Brennweite begrenzt sein. Somit kann ein System, das ein Bild von einer Kamera erhält, die einen vorbestimmten Feldwinkel aufweist, eine vorbestimmte Begrenzung haben. Beispielsweise ist im Fall einer Kamera, die eine Linse mit einem schmalen Feldwinkel und einer großen Brennweite zum Fotografieren eines entfernt liegenden Bildes verwendet, die Rechts-Links-Breite eines fotografierten Bereichs schmal. Ein System, das ein Bild über eine Kamera erhält, kann nicht normalerweise ein Objekt erkennen, das auf der Seite vorhanden ist, was eine Begrenzung des Systems ist. Als anderes Beispiel ist in dem Fall einer Kamera, die eine Linse bzw. ein Objektiv mit einem breiten Feldwinkel und einer kurzen Brennweite zum Fotografieren eines breiten Rechts-Links-Bereichs verwendet, die nach vorn gerichtete Länge des fotografierten Bereichs klein. Ein System, das ein Bild über die Kamera erhält, kann nicht normalerweise ein Objekt erkennen, das in einer weiten Entfernung liegt, was eine Begrenzung des Systems ist.
-
ABRISS DER ERFINDUNG
-
Bei diesem Hintergrund ist es ein Aspekt der vorliegenden Erfindung eine Kameravorrichtungstechnologie vorzusehen, die mindestens zwei Bilder erhält, deren fotografierte Bereiche durch Verwendung mindestens zweier Linsen bzw. Objektive mit unterschiedlichen Feldwinkeln und unterschiedlichen Brennweiten unterschiedlich sind.
-
Um das Obige zu erreichen, ist in Übereinstimmung mit einem Aspekt der vorliegenden Erfindung eine Kameravorrichtung für ein Fahrzeug vorgesehen, die umfasst: eine erste Bilderzeugungsvorrichtung, die einen ersten Bereich, der einen ersten Teilbereich und einen zweiten Teilbereich einschließt, durch eine erste Linse (Objektiv) fotografiert, die einen ersten Feldwinkel und eine erste Brennweite aufweist und ein erstes Bild erzeugt, das ein dem ersten Teilbereich zugeordnetes erstes Teilbild und ein zweites dem zweiten Teilbereich zugeordnetes Teilbild einschließt; eine zweite Bilderzeugungsvorrichtung, die einen zweiten Bereich, der den zweiten Teilbereich und einen dritten Teilbereich einschließt, durch eine zweite Linse (Objektiv) fotografiert, die einen zweiten Feldwinkel und eine zweite Brennweite aufweist und ein zweites Bild erzeugt, das ein dem zweiten Teilbereich zugeordnetes drittes Teilbild und ein dem dritten Teilbereich zugeordnetes viertes Teilbild einschließt und eine Bildanalysiereinheit, die ein erstes vorderes Objekt durch Analysieren des ersten Teilbilds erkennt, ein seitliches Objekt durch Analysieren des vierten Teilbildes erkennt, ein zweites vorderes Objekt durch Analysieren des zweiten Teilbildes und des dritten Teilbildes erkennt und einen Abstand zu dem zweiten vorderen Objekt misst.
-
Wie oben beschrieben kann die Kameravorrichtung entsprechend der vorliegenden Erfindung mindestens zwei Bilder erhalten, deren fotografierte Bereiche unterschiedlich sind und der Objekterkennungsbereich des Systems, das ein von einer Kamera fotografiertes Bild verwendet, kann breiter werden.
-
KURZBESCHREIBUNG DER ZEICHNUNG
-
Die vorgenannten und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden augenscheinlicher anhand der folgenden detaillierten Beschreibung, die in Verbindung mit der begleitenden Zeichnung gegeben ist, in der:
-
1 ein Blockbild ist, das eine Kameravorrichtung nach einem Ausführungsbeispiel der vorliegenden Erfindung darstellt;
-
2 eine Ansicht ist, die den fotografierten Bereich einer ersten Bilderzeugungseinheit und einer zweiten Bilderzeugungseinheit darstellt;
-
3 eine Darstellung ist, die ein Beispiel zeigt, in dem eine Kameravorrichtung eine Ampel an einer Kreuzung erkennt, entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung;
-
4 eine Darstellung ist, die ein Beispiel zeigt, in dem eine Kameravorrichtung eine Ampel an einer Gabelung erkennt, entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung;
-
5 ein Blockschaltbild ist, das den Informationsfluss einer Kameravorrichtung und peripherer Vorrichtungen entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung darstellt;
-
6 und 7 Darstellungen sind, die ein Beispiel des Messens einer Entfernung zu einem Objekt unter Verwendung von zwei Linsen (Objektiven) zeigt;
-
8A und 8B Ansichten eines ersten Bildes und eines zweites Bildes sind;
-
9 ein Blockschaltbild ist, das einen Aufbau eines gesamten Steuersystems für das Fahrzeug einschließlich einer Kameravorrichtung entsprechend der vorliegenden Erfindung zeigt; und
-
10 eine Ansicht ist, die verschiedene Beispiele eines Verfahrens zum Detektieren eines Objekts und eines Fahrzeugs, die um ein Fahrzeug herum vorhanden sind, unter Verwendung einer Kameravorrichtung nach 9 darstellen.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
Nachfolgend werden einige Ausführungsbeispiele der vorliegenden Erfindung detaillierter unter Bezug auf die begleitende Zeichnung beschrieben. Wenn Bezugszeichen den Elementen in jeder Figur hinzugefügt werden, werden, wenn möglich, gleiche Elemente durch die gleichen Bezugszeichen bezeichnet, obwohl sie in unterschiedlichen Figuren gezeigt werden. Außerdem wird in der folgenden Beschreibung der vorliegenden Erfindung eine detaillierte Beschreibung von bekannten Funktionen und Konfigurationen, die hier eingeschlossen sind, weggelassen, wenn eine Beschreibung den Gegenstand der vorliegenden Erfindung eher unklar macht.
-
Zusätzlich können Ausdrücke wie erste, zweite (A, B, (a), (b) oder dergleichen verwendet werden, wenn Komponenten der vorliegenden Erfindung beschrieben werden. Diese Ausdrücke werden lediglich verwendet, um ein strukturelles Element von anderen strukturellen Elementen zu unterscheiden und eine Eigenschaft, eine Reihenfolge, eine Sequenz und dergleichen eines entsprechenden strukturellen Elements sind nicht durch den Ausdruck beschränkt. Es ist festzustellen, dass, wenn in der Beschreibung beschrieben ist, dass eine Komponente mit einer anderen Komponente ”verbunden”, ”gekoppelt” oder ”vereinigt” ist, eine dritte Komponente zwischen der ersten und zweiten Komponente ”verbunden”, ”gekoppelt” und ”vereinigt” sein kann, obgleich die erste Komponente direkt mit der zweiten Komponente verbunden, gekoppelt oder vereinigt sein kann.
-
1 ist ein Blockbild, das eine Kameravorrichtung entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
-
Bezugnehmend auf 1 umfasst eine Kameravorrichtung 100 ein erstes Objektiv 120 (im Folgenden wird nur noch der Begriff „Objektiv” verwendet), ein zweites Objektiv 130, eine erste Bilderzeugungseinheit 122 und eine zweite Bilderzeugungseinheit 132, eine Bildanalysiereinheit 110 und dergleichen.
-
Das erste Objektiv 120 kann einen ersten Feldwinkel und eine erste Brennweite aufweisen und das zweite Objektiv 130 kann einen zweiten Feldwinkel und eine zweite Brennweite aufweisen. In diesem Fall können das erste Objektiv 120 und das zweite Objektiv 130 unterschiedliche Feldwinkel haben. Beispielsweise kann der erste Feldwinkel des ersten Objektivs 120 schmaler sein als der zweite Feldwinkel des zweiten Objektivs 130. Auch können das erste Objektiv 120 und das zweite Objektiv 130 unterschiedliche Brennweiten haben. Beispielsweise kann die erste Brennweite des ersten Objektivs 120 länger sein als die zweite Brennweite des zweiten Objektivs 130.
-
Ein Objektiv mit einem breiten Feldwinkel kann eine kurze Brennweite haben und ein Objektiv mit einem schmalen Feldwinkel kann eine lange Brennweite haben. Dies ist nur ein Beispiel in der Allgemeinheit von Fällen und nicht alle Objektive müssen auf diese Fälle begrenzt sein. Hier im Folgenden wird eine Beschreibung basierend auf einem Fall gegeben, der eine allgemeine Linse (general lens) bzw. Objektiv verwendet. Somit werden im Folgenden Beschreibungen aus der Perspektive eines Beispiels vorgesehen, in dem der ersten Feldwinkel des ersten Objektivs 120 schmaler als der zweite Feldwinkel des zweiten Objektivs 130 ist und die erste Brennweite des ersten Objektivs 120 länger als die zweite Brennweite des zweiten Objektivs 130 ist.
-
Die erste Bilderzeugungseinheit 122 erzeugt ein erstes Bild basierend auf einem einfallenden Licht, das über das erste Objektiv 120 einfällt. Das erste Bild kann als digitale Bilddaten ausgebildet sein, die eine Vielzahl von Pixeln einschließlich Farbinformationen oder Graustufeninformationen enthalten.
-
De zweite Bilderzeugungseinheit 132 erzeugt ein Bild basierend auf einem einfallenden Licht, das durch das zweite Objektiv 130 geliefert wird. Das zweite Bild kann als digitale Bilddaten ausgebildet sein, die eine Vielzahl von Pixeln einschließlich Farbinformationen oder Graustufeninformationen einschließt.
-
Die Bildanalysiereinheit 110 kann das erste Bild und das zweite Bild analysieren und kann ein Objekt um ein Fahrzeug herum erkennen. Auch kann die Bildanalysiereinheit 110 weitere zusätzliche Informationen erzeugen, wie eine Entfernungsinformation eines Objekts, eine Bewegungsrichtungsinformation eines Objekts, eine Geschwindigkeitsinformation eines Objekts oder dergleichen, basierend auf Informationen, die dem erkannten Objekt zugeordnet sind.
-
Die erste Bilderzeugungseinheit 122 kann das erste Bild unter Verwendung des ersten Objektivs 120 mit dem ersten Feldwinkel und der ersten Brennweite erzeugen und die zweite Bilderzeugungseinheit 132 kann das zweite Bild unter Verwendung des zweiten Objektivs 130 mit dem zweiten Feldwinkel und der zweiten Brennweite erzeugen und somit können die fotografierten Bereiche der ersten Bilderzeugungseinheit 122 und der zweiten Bilderzeugungseinheit 132 unterschiedlich sein.
-
2 ist eine Ansicht, die die aufgenommenen Bereiche einer ersten Bilderzeugungseinheit und einer zweiten Bilderzeugungseinheit darstellt.
-
Bezugnehmend auf 2 erzeugt die erste Bilderzeugungseinheit 122 ein erstes Bild durch Fotografieren eines ersten Bereichs 210 und die zweite Bilderzeugungseinheit 132 erzeugt ein zweites Bild durch Fotografieren eines zweiten Bereichs 220.
-
Die Brennweite des ersten Objektivs 120 ist länger als die Brennweite des zweiten Objektivs 130 und somit kann die Vorwärtslänge des ersten Bereichs 210 länger sein als die Vorwärtslänge des zweiten Bereichs 220. Auch ist der Feldwinkel des zweiten Objektivs 130 breiter als der Feldwinkel des ersten Objektivs 120 und somit ist die Rechts-Links-Breite des zweiten Bereichs 220 größer als die Rechts-Links-Breite des ersten Bereichs 210.
-
Der erste Bereich 210 kann einen ersten Teilbereich 212 und einen zweiten Teilbereich 214 einschließen. Im Wesentlichen kann der erste Bereich 210 aus dem ersten Teilbereich 212 und dem zweiten Teilbereich 214 gebildet sein. Abhängig von einem Ausführungsbeispiel kann der erste Bereich 210 noch andere Teilbereiche einschließen.
-
Der zweite Bereich 220 kann einen zweiten Teilbereich 214 und einen dritten Teilbereich 222 einschließen. Im Wesentlichen kann der zweite Bereich 220 aus dem zweiten Teilbereich 214 und dem dritten Teilbereich 222 gebildet sein. Abhängig von einem Ausführungsbeispiel kann der zweite Bereich 220 noch einen anderen Teilbereich aufweisen.
-
Der zweite Teilbereich 214 kann ein gemeinsamer Bereich sein, der sowohl in dem ersten Bereich 210 als auch in dem zweiten Bereich 220 eingeschlossen ist. Somit kann ein dem zweiten Teilbereich 214 zugeordnetes Bild in dem ersten Bild enthalten sein und ein dem zweiten Teilbereich 214 zugeordnetes Bild in dem zweiten Bild enthalten sein. Insbesondere kann die erste Bilderzeugungseinheit 122 das erste Bild erzeugen, das ein dem ersten Teilbereich 212 zugeordnetes erstes Teilbild und ein dem zweiten Teilbereich 214 zugeordnetes zweites Teilbild einschließt und die zweite Bilderzeugungseinheit 132 kann das zweite Bild erzeugen, das ein dem zweiten Teilbereich 214 zugeordnetes drittes Teilbild und ein dem dritten Teilbereich 222 zugeordnetes viertes Teilbild einschließt.
-
Die Bildanalysiereinheit 110 kann ein erstes vorderes Objekt 232 durch Analysieren des ersten Teilbilds erkennen, das durch Fotografieren des ersten Teilbereichs 212 erhalten wird. Die Bildanalysiereinheit 110 kann ein seitliches Objekt 236 durch Analysieren des vierten Teilbilds erkennen, das durch Fotografieren des dritten Teilbereichs 222 erhalten wird.
-
Das erste vordere bzw. vorausliegende Objekt 232 kann in einer großen Entfernung vom Fahrzeug geortet werden. Beispielsweise kann das erste vordere Objekt 232 bei mindestens 200 m vorwärts zum Fahrzeug gesehen festgestellt werden. Die Kameravorrichtung 100 kann als erstes Objektiv 120 eine Telelinse bzw. ein Teleobjektiv verwenden, dessen Brennweite lang ist, und somit kann sie das erste vorwärts gelegene Objekt 232 erkennen, das in einem Bereich angeordnet ist, der weit weg vom Fahrzeug ist.
-
Das seitliche Objekt 236 kann im rechten und linken Bereich des Fahrzeugs liegen. Die Kameravorrichtung 100 kann als zweites Objektiv 130 eine weite Linse bzw. ein Weitwinkelobjektiv verwenden, dessen Feldwinkel breit ist, und kann somit das seitliche Objekt 136, das in dem rechten und linken Bereich des Fahrzeugs liegt, erkennen.
-
Wenn eine einzige Linse bzw. ein einziges Objektiv verwendet wird, wie oben beschrieben, dessen Feldwinkel und dessen Brennweite vorbestimmt sind, können das erste vorwärts gelegene Objekt 232, das in einer großen Entfernung angeordnet ist, und das seitliche Objekt 136, das auf der Seite angeordnet ist, nicht gleichzeitig erkannt werden. Dahingegen kann die Kameravorrichtung 100 entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung zwei Linsen bzw. Objektive 120 und 130 verwenden, die unterschiedliche Feldwinkel oder unterschiedliche Brennweiten aufweisen und somit kann sie gleichzeitig das erste vorwärts gelegene Objekt 232, das in einer großen Entfernung angeordnet ist, und das seitliche Objekt 236, das seitlich angeordnet ist, erkennen.
-
Die Bildanalysiereinheit 110 kann ein zweites vorwärts gelegenes Objekt 134 durch Analysieren des zweiten Teilbildes und dritten Teilbildes, die durch Fotografieren des zweiten Teilbereichs 214 erhalten werden, erkennen. Die Bildanalysiereinheit 110 kann den Abstand zu dem zweiten vorwärts gelegenen Objekt 134 durch Analysieren des zweiten Teilbildes und des dritten Teilbildes messen. Wenn die Kameravorrichtung 100 zwei Bilder analysiert, die an unterschiedlichen Stellen fotografiert werden, kann die Kameravorrichtung 100 den Abstand zu einem über die korrespondierenden Bilder erkannten Objekt messen. Die Kameravorrichtung 100 entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung erzeugt ein zweites Teilbild durch Fotografieren des zweiten vorwärts gelegenen Objekts 234, das in dem zweiten Teilbereich 214 angeordnet ist, unter Verwendung des ersten Objektivs 120 und erzeugt ein drittes Teilbild durch Fotografieren desselben zweiten vorwärts gelegenen Objekts 234 unter Verwendung des zweiten Objektivs 130. Somit kann die Kameravorrichtung 100 zwei Bilder (das zweite Teilbild und das dritte Teilbild) erhalten, die dem zweiten vorwärts gelegenen Objekt 134 zugeordnet sind und kann die Entfernung zu dem zweiten vorwärts gelegenen Objekt 234 durch Analysieren der zwei Bilder (das zweite Teilbild und das dritte Teilbild) messen.
-
Die Bildanalysiereinheit 110 kann das zweite vorwärts gelegene Objekt 234 durch Analysieren des durch Fotografieren des zweiten Teilbereichs 214 erhaltenen zweiten Teilbilds erkennen und kann die Erkennung des zweiten vorwärts gelegenen Objekts 234 durch Analysieren des durch Fotografieren des dem gleichen zweiten Teilbereichs 214 zugeordneten dritten Teilbilds verifizieren, Umgekehrt kann die Bildanalysiereinheit 110 das zweite vorwärts gelegene Objekt 234 durch Analysieren des durch Fotografieren des zweiten Teilbereichs 214 erhaltenen dritten Teilbildes erkennen und kann die Erkennung des zweiten vorwärts gelegenen Objekts 234 durch Analysieren des durch Fotografieren desselben zweiten Teilbereichs 214 erhaltenen zweiten Teilbildes verifizieren. Durch die Verifizierung kann die Bildanalysiereinheit 110 die Zuverlässigkeit der Erkennung des zweiten vorwärts gelegenen Objekts 234 verbessern.
-
Wie oben beschrieben, kann die Kameravorrichtung 100 zwei Linsen bzw. Objektive 120 und 130 mit unterschiedlichen Feldwinkeln und unterschiedlichen Brennweiten verwenden und somit kann sie den Objekterkennungsbereich verbreitern, kann die Entfernung eines in einem gemeinsamen Bereich liegenden Objekts messen und kann die Zuverlässigkeit der Erkennung eines Objekts, das in dem gemeinsamen Bereich liegt, verbessern.
-
Das von der Kameravorrichtung 100 erkannte Objekt kann ein Fahrzeug sein oder alle um ein Fahrzeug herum liegenden Objekte, wie eine Fahrspur, ein Hindernis ein Fußgänger, eine Ampel oder dergleichen.
-
Im Folgenden wird eine Beschreibung unter Bezugnahme auf die 3 und 4 basierend auf einem Ausführungsbeispiel, bei dem ein Objekt eine Verkehrsampel und einem Ausführungsbeispiel, in dem ein Objekt eine Fahrspur ist, gegeben.
-
3 ist eine Ansicht, die ein Beispiel darstellt, bei dem eine Kameravorrichtung eine Verkehrsampel an einer Kreuzung entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung erkennt.
-
Bezugnehmend auf 3 kann die Kameravorrichtung 100 eine vorwärts gelegene Verkehrsampel 232a durch Analysieren eines ersten Teilbilds, das durch Fotografieren des ersten Teilbereichs 212 erhalten wird, erkennen. Auch kann die Kameravorrichtung 100 eine seitliche Verkehrsampel 236a und 236b durch Analysieren eines vierten Teilbilds erkennen, das durch Fotografieren des dritten Teilbereichs 222a und 222b erhalten wird. Wie oben beschrieben, kann die Kameravorrichtung 100 alle Verkehrsampeln 232a, 236a und 236b erkennen, die in Vorwärtsrichtung, Linksrichtung und Rechtsrichtung einer Kreuzung angeordnet sind.
-
4 ist eine Darstellung, die ein Beispiel zeigt, bei dem eine Kameravorrichtung eine Fahrspur an einem Abzweig bzw. einer Gabelung entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung erkennt.
-
Bezugnehmend auf 4 fotografiert die Kameravorrichtung 100 den ersten Bereich 210 unter Verwendung der ersten Linse bzw. des ersten Objektivs 120, dessen Brennweite groß ist und kann eine erste Fahrspur 232c durch Analysieren eines in den ersten Bereich 210 fotografierten ersten Bildes, erkennen. In diesem Fall kann die Krümmung der ersten Fahrspur 232 kleiner oder gleich einem vorbestimmten Wert sein. Beispielsweise kann die erste Fahrspur 232c eine geradlinige Fahrspur sein. Da die Brennweite des ersten Objektivs 120 größer wird, wird der fotografierte Bereich in Vorwärtsrichtung länger. Somit kann die Kameravorrichtung 100 das Bild eines Bereichs erhalten, der in Vorwärtsrichtung ausgedehnt ist. Die Kameravorrichtung 100 kann eine Fahrspur erkennen, die eine kleine Krümmung hat, unter Verwendung des Bildes der großen Ausdehnung in der Vorwärtsrichtung.
-
Die Kameravorrichtung 100 fotografiert den zweiten Bereich 220 unter Verwendung des zweiten Objektivs 130, dessen Feldwinkel weit ist, und kann eine zweite Fahrspur 236c durch Analysieren eines zweiten Bilds erkennen, das in dem zweiten Bereich 220 fotografiert wird. In diesem Fall kann die Krümmung der zweiten Fahrspur 236c größer als oder gleich einem vorbestimmten Wert sein. Beispielsweise kann die zweite Fahrspur 236c eine Kurvenspur sein. Da der Feldwinkel des zweiten Objektivs 130 weiter wird, wird der fotografierte Bereich in seitlicher Richtung breiter. Somit kann die Kameravorrichtung 100 ein Bild eines Bereichs erhalten, der in seitlicher Richtung ausgedehnt ist. Die Kameravorrichtung 100 kann eine Fahrspur mit einer großen Krümmung unter Verwendung des Bilds des Bereichs, der in der seitlichen Richtung ausgedehnt ist, erkennen.
-
Verkehrsampelinformationen oder Fahrspurinformationen, die durch die Kameravorrichtung 100 erkannt werden, können anderen Geräten oder Systemen übertragen werden und können zur Steuerung eines Fahrzeugs verwendet werden.
-
Das Fahrzeug kann eine Mehrzahl von Steuervorrichtungen einschließen, die Bildinformationen verwenden. Insbesondere kann das Fahrzeug ein System umfassen, das Fahrspurinformationen, die durch eine Kameravorrichtung 100 erkannt werden, verwenden. Beispielsweise kann ein System, wie ein Spurhalteassistenzsystem (lane departure warning system – LDWS), ein aktives Spurhalteassistenzsystem (lane keeping assist system – LKAS) und dergleichen in dem Fahrzeug vorhanden sein und das System kann warnen, wenn die Spur verlassen wir, oder assistieren, die Spur zu halten, basierend auf der Fahrspurinformation, die über die Kameravorrichtung 100 erkannt wird. Auch kann das Fahrzeug ein System enthalten, das eine Hindernisinformation, die von der Kameravorrichtung 100 erkannt wird, verwendet. Beispielsweise kann ein System, wie ein Notbremsassistenzsystem (collision avoidance system – CAS), ein Querverkehrsassistenzsystem (cross traffic assist system – CTA) und dergleichen in dem Fahrzeug enthalten sein, und das System kann die Kollision mit einem Fahrzeug verhindern oder davor warnen, basierend auf der Hindernisinformation, die über die Kameravorrichtung 100 erkannt wird. Auch kann ein Bremssteuersystem (z. B. automatische Notbremse (AEB)), ein Fahrregelsystem (z. B. ein Abstandsregeltempomat, smart cruise control – SCC) oder dergleichen in dem Fahrzeug vorhanden sein. Das System kann das Fahrzeug steuern oder die Fahrtregelung steuern, basierend auf einer Objektinformation oder einer Objektabstandsinformation, die über die Kameravorrichtung 100 erkannt wird.
-
Die Kameravorrichtung 100 kann an ein Bremssteuersystem oder ein Fahrtregelsystem die Erkennungsinformation, die einem ersten vorwärts liegenden Objekt (z. B. dem Objekt 232 nach 2) und einem zweiten vorwärts gelegenen Objekt (z. B. dem Objekt 234 der 2) zugeordnet ist, und eine Abstandsinformation, die dem zweiten vorwärts gelegenen Objekt 234 zugeordnet ist, übertragen. Das Bremssteuersystem oder das Fahrregelsystem kann eine Steuerung unter Verwendung der Information durchführen. Beispielsweise kann das Bremssteuersystem erkennen, dass ein Hindernis in einem ersten Teilbereich (z. B. der Teilbereich 212 in 2), der in der Vorwärtsrichtung liegt, basierend auf der Erkennungsinformation, die dem ersten vorwärts gelegenen Objekt 232 zugeordnet ist, erkennen. Das Bremssteuersystem kann den Abstand zwischen dem Fahrzeug und dem Hindernis, das in dem zweiten Teilbereich (z. B. dem Teilbereich 214 der 2) angeordnet ist, basierend auf der Erkennungsinformation und der Abstandsinformation, die dem zweiten vorwärts gelegenen Objekt 234 zugeordnet sind, bestimmen und kann konkret einen Bremspunkt und die Bremsstärke bestimmen.
-
Verschiedene Detektionsschemata unter Verwendung der Kameravorrichtung 100 der vorliegenden Erfindung und ein Fahrzeugsteuerverfahren unter Verwendung derselben werden im Detail unter Bezugnahme auf 9 beschrieben.
-
Die in jedem Teilbereich erkannte Information kann verschiedenen peripheren Vorrichtungen übertragen werden.
-
5 ist eine Darstellung, die den Informationsfluss einer Kameravorrichtung und peripheren Vorrichtungen entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
-
Bezugnehmend auf 5 können eine erste Steuervorrichtung 510, eine zweite Steuervorrichtung 520 und eine dritte Steuervorrichtung 530 in dem Fahrzeug montiert sein.
-
In dem Fahrzeug kann eine in einem ersten Teilbereich (z. B. dem Teilbereich 212 der 2) erkannte erste Information zu der ersten Steuervorrichtung 510 übertragen werden, eine in einem dritten Teilbereich (z. B. dem Teilbereich 222 der 2) erkannte zweite Information kann der zweiten Steuervorrichtung 520 übertragen werden und eine in einem zweiten Teilbereich (dem Teilbereich 214 der 2) erkannte dritte Information kann der dritten Steuervorrichtung 530 gesendet werden. Beispielsweise kann ein Fahrtregelsystem in der ersten Steuervorrichtung 510 angeordnet sein, ein Querverkehrssystem kann in der zweiten Steuervorrichtung 520 montiert sein und ein Bremssteuersystem kann in der dritten Steuervorrichtung 530 montiert sein. In diesem Fall kann die erste Steuervorrichtung 510 eine Fahrtregelung basierend auf einer Information, die einem in einer großen Entfernung liegenden Hindernis zugeordnet ist, durchführen, die zweite Steuervorrichtung 520 kann eine Querverkehrssteuerung basierend auf einer Information, die einem in einer seitlichen Richtung liegenden Hindernis zugeordnet ist, durchführen, und die dritte Steuervorrichtung 530 kann eine Bremssteuerung basierend auf einer Entfernungsinformation, die dem nahe in Vorwärtsrichtung liegenden Hindernis zugeordnet ist, durchführen.
-
Die Kameravorrichtung 100 erzeugt ein erstes Bild und ein zweites Bild unter Verwendung von zwei Linsen bzw. Objektiven 120 und 130, und die Kameravorrichtung 100 kann die Entfernung eines korrespondierenden Objekts unter Verwendung der zweit Bilder (des ersten Bildes und des zweiten Bildes), die demselben Objekt zugeordnet sind, messen.
-
Die 6 und 7 sind Darstellungen, die ein Beispiel des Messens einer Entfernung eines Objekts bzw. einem Abstand zu einem Objekt unter Verwendung von zwei Linsen bzw. Objektiven zeigen.
-
Bezugnehmend auf 6 enthält die Kameravorrichtung zwei Objektive 120 und 130, die mit einem vorbestimmten Abstand (g) beabstandet sind. Durch Verwendung der zwei Linsen bzw. Objektive 120 und 130 kann die Kameravorrichtung 100 zwei fotografierte Bilder (ein erstes Bild und ein zweites Bild) erzeugen, die dem zweiten vorwärts gelegenen Objekt 234, das in dem zweiten Teilbereich 214 liegt, zugeordnet sind, wobei das Objekt in einem vorbestimmten Abstand (d) zu dem Fahrzeug angeordnet ist.
-
Die Kameravorrichtung 100 kann den Abstand zu dem zweiten vorwärts gelegenen Objekt 234 durch Analysieren des ersten Bildes und des zweiten Bildes messen. Insbesondere kann die Kameravorrichtung 100 ein zweites Teilbild, das durch Fotografieren des zweiten Teilbereichs 214 unter Verwendung des ersten Objektivs 120 erhalten wird, und ein drittes Teilbild, das durch Fotografieren des zweiten Teilbereichs 214 unter Verwendung des zweiten Objektivs 130 erhalten wird, analysieren, kann das zweite vorwärts gelegene Objekt 234 erkennen und kann die Entfernung zu dem zweiten vorwärts gelegenen Objekt 234 messen.
-
Ein Verfahren zum Messen der Entfernung zu dem zweiten vorwärts gelegenen Objekt 234 wird unter Bezugnahme auf 7 beschrieben.
-
Bezugnehmend auf 7 kann das zweite vorwärts gelegene Objekt 234 zu dem Fahrzeug in einer ersten Richtung (x) um xd und um yd in einer zweiten Richtung beabstandet sein. Der Abstand (d) des zweiten vorwärts gelegenen Objekts 234 kann durch Berechnen einer Entfernung (xd) in der ersten Richtung (x) und einer Entfernung (yd) in der zweiten Richtung (y) gemessen werden.
-
Hier kann die Entfernung (xd) in der ersten Richtung (x) als Horizontalentfernung und der Abstand (yd) in der zweiten Richtung (y) als Vertikalentfernung ausgedrückt werden.
-
Zuerst kann der Abstand (yd) in der zweiten Richtung (y) über die folgende Gleichung basierend auf einer Differenz zwischen der ersten Richtungskoordinate (xr) des zweiten vorwärts gelegenen Objekts
234 in dem zweiten Teilbild, und die erste Richtungskoordinate (xl) des zweiten vorwärts gelegenen Objekts
234 in dem dritten Teilbild berechnet werden. [Gleichung 1]
wobei f eine Brennweite ist.
-
In diesem Fall wird angenommen, dass die Koordinaten der ersten Richtung (x) und der zweiten Richtung (y) des Bildes des zweiten vorwärts gelegenen Objekts 234 (xr, yr) sind, basierend auf der Mitte des zweiten Teilbildes, das über das erste Objektiv bzw. über die erste Linse erzeugt wird. Es wird angenommen, dass die Koordinaten der ersten Richtung (x) und der zweiten Richtung (y) des Bildes des zweiten vorwärts gelegenen Objekts 234 (xl, yl) sind, basierend auf der Mitte des dritten Teilbildes, das über das zweite Objektiv erzeugt wird.
-
Die Brennweite (fr) der ersten Linse bzw. des ersten Objektivs 120 und die Brennweite (fl) der zweiten Linse bzw. des zweiten Objektivs 130 sind unterschiedlich und somit kann die Kameravorrichtung 100 die Größe oder die Auflösung mindestens eines des zweiten Teilbilds und des dritten Teilbilds einstellen. Über die Einstellung kann die erste Richtungskoordinate (xr) des zweiten vorwärts gelegenen Objekts 234 in dem zweiten Teilbild oder die erste Richtungskoordinate (xl) des zweiten vorwärts gelegenen Objekts 234 in dem dritten Teilbild geändert werden.
-
Wenn beispielsweise die Größe oder die Auflösung des zweiten Teilbildes eingestellt ist zu fl/fr basierend auf der ersten Richtungskoordinate (xl) des zweiten vorwärts gelegenen Objekts
234 in dem dritten Teilbild, kann die erste Richtungskoordinate des zweiten vorwärts gelegenen Objekts
234 in dem zweiten Teilbild wie folgt geändert werden. [Gleichung 2]
wobei xr' die eingestellte erste Richtungskoordinate des zweiten vorwärts gelegenen Objekts
234 in dem zweiten Teilbild ist.
-
Gleichung 1 kann wie unten korrigiert werden. [Gleichung 3]
-
Der Abstand (xd) in der ersten Richtung (x), der der Abstand ist, mit dem das zweite vorwärts gelegene Objekt
234 in der ersten Richtung (x) von dem Mittelpunkt (P) der zwei Linsen bzw. Objektive beabstandet ist, kann wie folgt berechnet werden. [Gleichung 4]
-
Das heißt, basierend auf (xl, yl), die die Koordinaten des Ortes des Bildes des zweiten vorwärts gelegenen Objekts 234 in dem dritten Teilbild sind, können die Koordinaten (xr, yr) des Bildes des zweiten vorwärts gelegenen Objekts 234 in dem zweiten Teilbild, das durch das erste Objektiv erzeugt wird, so eingestellt werden, dass sie die identische Größe haben. In gleicher Weise kann der vertikale Abstand (yd) und der horizontale Abstand (xd) des zweiten vorwärts gelegenen Objekts 234 von dem Mittelpunkt des ersten Objektivs und des zweiten Objektivs berechnet werden.
-
Die Kameravorrichtung 100 kann das zweite Teilbild und/oder das dritte Teilbild so einstellen, dass die gleichen zweiten Richtungskoordinaten vorgesehen sind.
-
Die 8A und 8B sind Darstellungen, die ein erstes Bild und ein zweites Bild zeigen.
-
Bezugnehmend auf die 8A und 8B kann ein erstes Bild 810 aus einem ersten Teilbild 812 und einem zweiten Teilbild 814 gebildet werden, und das zweite Teilbild 814 kann unter dem ersten Teilbild 812 liegen. In diesem Fall kann die Größe des ersten Bildes 810 xa mal ya1 sein und die Größe des zweiten Teilbildes 814 kann xa mal ya2 sein. Ein zweites Bild 820 wird aus einem dritten Teilbild 822 und einem vierten Teilbild 824 gebildet und das vierte Teilbild 824 kann auf einer seitlichen Seite des dritten Teilbilds 822 liegen. In diesem Fall kann die Größe des zweiten Bilds 820 xb1 mal yb sein und die Größe des dritten Teilbilds 822 kann xb2 mal yb sein.
-
Die Größen des zweiten Teilbilds 814 und des dritten Teilbilds 822, die durch Fotografieren des gleichen zweiten vorwärts gelegenen Objekts 234 erhalten werden, können zueinander unterschiedlich sein. Beispielsweise kann das zweite Teilbild 814 eine kleine Länge in der y-Achse haben, und das dritte Teilbild 822 kann eine kleine Länge in der x-Achse haben.
-
Die Kameravorrichtung 100 kann mindestens ein Bild ausgewählt aus dem zweiten Teilbild 814 und dem dritten Teilbild 822, die dem zweiten vorwärts gelegenen Objekt 234 zugeordnet sind, so einstellen, dass sie die gleiche Koordinate der y-Achse haben.
-
Das zweite Teilbild 814 und das dritte Teilbild 822 sind Bilder, die durch Fotografieren desselben Objekts erhalten werden und somit erkennt die Kameravorrichtung das zweite vorwärts gelegene Objekt 234 durch Analysieren des zweiten Teilbilds 814 und verifiziert die Erkennung des zweiten vorwärts gelegenen Objekts 234 durch Analysieren des dritten Teilbilds 822; oder erkennt das zweite vorwärts gelegene Objekt 234 durch Analysieren des dritten Teilbilds 822 und verifiziert die Erkennung des zweiten vorwärts gelegenen Objekts 234 durch Analysieren des zweiten Teilbilds 814.
-
Obwohl das Ausführungsbeispiel, bei dem die Kameravorrichtung 100 zwei Linsen bzw. Objektive 120 und 130 enthält, beschrieben wurde, ist die vorliegende Erfindung nicht darauf begrenzt. Die Kameravorrichtung 100 kann drei oder mehrere Linsen bzw. Objektive einschließen.
-
Beispielsweise kann die Kameravorrichtung 100 außerdem eine dritte Bilderzeugungseinheit umfassen, die ein drittes Bild durch Fotografieren eines dritten Bereichs über eine dritte Linse bzw. ein drittes Objektiv, das einen dritten Feldwinkel und eine dritte Brennweite aufweist, erzeugt. Die Kameravorrichtung 100 kann den Abstand zu einem dritten vorwärts gelegenen Objekt, das in einem gemeinsamen Bereich des ersten Bereichs und des dritten Bereichs liegt, durch Analysieren des ersten Bildes und des dritten Bildes messen; oder kann den Abstand eines vierten vorwärts gelegenen Objekts, das in einem gemeinsamen Bereich des zweiten Bereichs und des dritten Bereichs liegt, durch Analysieren des zweiten Bildes und des dritten Bildes messen.
-
9 ist ein Blockbild, das einen Aufbau eines gesamten Fahrzeugsteuersystems einschließlich einer Kameravorrichtung entsprechend der vorliegenden Erfindung zeigt.
-
Das gesamte Fahrzeugsteuersystem umfasst: ein Bilderfassungsmodul 1100 einschließlich drei Kameras, die drei verschiedene Linsen bzw. Objektive entsprechend der vorliegenden Erfindung verwenden; ein Bildverarbeitungsmodul 1200, das einein von dem Bilderfassungsmodul erhaltenes Bild verarbeitet; einein Detektionsmodul 1300, das einein im Außenraum existierendes Objekt oder Fahrzeug unter Verwendung des Ergebnisses der von dem Bildverarbeitungsmodul durchgeführten Verarbeitung detektiert; und einein Steuermodul 1400, das einein Betriebssystem des Fahrzeugs unter Verwendung des Ergebnisses der von dem Detektionsmodul durchgeführten Detektion steuert.
-
Das Bilderfassungsmodul 1100 nach 9 umfasst: eine erste Kameraeinheit 1110, die eine erste Linse bzw. ein erstes Objektiv 1112 mit einem ersten Feldwinkel, der der schmalste Feldwinkel ist, und einer ersten Brennweite, die die längste Brennweite ist, und eine erste Bilderfassungseinheit 1114, die einein Bild über die erste Linse bzw. das erste Objektiv erhält, umfasst; eine zweite Kameraeinheit 1120, die eine zweite Linse bzw. einein zweites Objektiv 1122 mit einem zweiten Feldwinkel, der der breiteste Feldwinkel ist, und einer zweiten Brennweite, die die kürzeste Brennweite ist, und eine zweite Bilderfassungseinheit 1124, die einein Bild über die zweite Linse bzw. das zweite Objektiv erhält, umfasst; und eine dritte Kameraeinheit 1130, die eine dritte Linse bzw. Objektiv 1132 mit einem dritten Feldwinkel, der zwischen dem ersten Feldwinkel und dem zweiten Feldwinkel liegt, und einer dritten Brennweite, die zwischen der ersten Brennweite und der zweiten Brennweite liegt, und eine dritte Bilderfassungseinheit 1134, die einein Bild über die dritte Linse bzw. über das dritte Objektiv erhält, umfasst.
-
Zur Vereinfachung der Beschreibung kann das erste Objektiv und die erste Kameraeinheit als schmales Objektiv und schmale Kamera bezeichnet werden, das zweite Objektiv und die zweite Kameraeinheit können als einein weites Objektiv und eine weite Kamera bezeichnet werden, und das dritte Objektiv und die dritte Kameraeinheit können als normales Objektiv und normale Kamera bezeichnet werden.
-
Selbstverständlich ist die Kameraeinheit nicht auf eine Kameraeinheit mit drei Kameras beschränkt und die Kameraeinheit kann aus nur einem schmalen Objektiv (Kamera) und einem weiten Objektiv (Kamera) gebildet werden.
-
Das Bildverarbeitungsmodul 1200 kann umfassen: einen Einzelprozessor 1210, der nur Daten verarbeitet, die von einer von zwei aus mehreren Kameras, die in dem Bilderfassungsmodul 1100 eingeschlossen sind, erhält und einein Mehrprozessor 1220, der zusammen Daten verarbeitet, die von zwei oder mehreren Kameras erhalten werden.
-
Das Bildverarbeitungsmodul 1200 kann selektiv einein Signalverarbeitungsergebnis des Einzelprozessor 1210 und/oder des Mehrprozessor 1220 verwenden, basierend auf einem Typ der Detektionsoperation des Detektionsmoduls, das im Folgenden beschrieben wird.
-
Das Detektionsmodul 1300 dient zum Detektieren eines Objekts oder eines Fahrzeugs, die im Außenraum existieren, unter Verwendung des Ergebnisses der Verarbeitung, die von dem Bildverarbeitungsmodul durchgeführt wird. Insbesondere kann das Detektionsmodul 1300 ein oder mehrere Komponenten, ausgewählt aus dem Folgenden enthalten: eine Spurdetektionseinheit 1310, die eine Fahrspur einer Straße detektiert; eine Detektionseinheit 1315 des Schneidens des Fahrzeugs, die ein Fahrzeug detektiert, das vorne ein Fahrzeug des Fahrers schneidet; eine Fußgängerdetektionseinheit 1320, die einen Fußgänger um das Fahrzeug herum detektiert, eine Detektionseinheit 1325 für Fahrspuren mit scharfen Kurven, die eine Fahrspur mit einer scharfen Krümmung, die geringer als oder gleich einer vorgegebenen Schwellenradiuskrümmung ist, detektiert; eine Fahrzeugdetektionseinheit 1330 mit großer Reichweite, die ein anderes Fahrzeug in einer weiten Entfernung detektiert, eine Detektionseinheit 1335 für kreuzende Fahrräder, die ein Fahrrad oder ein Zweirad detektiert, das quer vor dem Fahrzeug des Fahrers eine Straße überquert; eine Verkehrszeichen-Detektionseinheit 1340, die ein Verkehrszeichen detektiert, das um eine Fahrspur herum oder auf einer Straße angeordnet ist; eine Detektionseinheit 1345 für kreuzende Fahrzeuge, die ein anderes Fahrzeug detektiert, das eine Straße vor dem Fahrzeug des Fahrers überquert; eine Detektionseinheit 1350 für allgemeine Objekte, die ein allgemeines Objekt detektiert; eine Verkehrsampel-Detektionseinheit 1355, die eine Verkehrsampel detektiert; eine Straßentiefe-Detektionseinheit 1360, die eine Tiefe einer vorwärts liegenden Straße misst; eine Freiraum-Detektionseinheit 1365, die einen leeren Raum um das Fahrzeug herum detektiert.
-
Das Steuermodul 1400 dient zur Steuerung verschiedener Betriebssysteme eines Fahrzeugs unter Verwendung des Detektionsergebnisses des Detektionsmoduls. Insbesondere kann das Steuermodul 1400 aus einem Spurverlassenswarnung-(LDW)- und Spurhalteassistenz(LKA)-System 1410, das bei einem Spurverlassen warnt oder eine Steuerung zum Halten einer Spur durchführt; einem automatischen Notbrems-(AEB)-Steuermodul 1420, das ein automatisches Notbremsen durchführt; einem adaptiven Fahrtregelmodul 1430, das eine autonome Fahrregelung durchführt, wie beispielsweise das automatische Folgen eines vorausfahrenden Fahrzeugs oder dergleichen; und einem Scheinwerfersteuermodul (HBA) 1420, das die Richtung der Scheinwerfer eines Fahrzeugs steuert, oder dergleichen gebildet sein.
-
Jede Detektionseinheit, die in dem Detektionsmodul 1200 enthalten ist, wie oben beschrieben, kann ein verlangtes Objekt basierend auf dem Verarbeitungsresultat, das von dem Einzelprozessor 1210 oder dem Mehrprozessor 1220 erhalten wird, die in dem Bildverarbeitungsmodul eingeschlossen sind, detektieren.
-
Insbesondere kann, in ähnlicher Weise wie bei den Beschreibungen nach 4, während des normalen Fahrens entlang einer Straße die Spurdetektionseinheit 1310, die in dem Detektionsmodul 1300 eingeschlossen ist, eine Fahrspur basierend auf Bildern detektieren, die von der ersten Kameraeinheit 1110 einschließlich eines schmalen Objektivs oder der dritten Kameraeinheit 1130 einschließlich eines normalen Objektivs und basierend auf Ergebnisdaten, die in dem Einzelprozessor 1210 verarbeitet werden, detektiert werden.
-
Wenn die Fahrspur, die während des oben beschriebenen Spurdetektionsvorgangs detektiert wird, gewechselt wird, und eine scharfe Kurve, die geringer als oder gleich einer vorbestimmten Schwellenradiuskrümmung ist, vorgesehen ist, kann die Fahrspur nicht basierend auf dem Bild, das von der ein schmales Objektiv einschließenden ersten Kameraeinheit 1110 oder der ein normales Objektiv einschließenden dritten Kameraeinheit 1130 erhalten wird, detektiert werden. Entsprechend kann die Detektionseinheit 1325 für Fahrspuren mit scharfer Kurve in Betrieb gehen, um eine scharf gekrümmte Fahrspur basierend auf einem Bild zu detektieren, das von der zweiten Kameraeinheit 1120 mit einem weiten Objektiv erhalten wird.
-
Die Detektionseinheit 1325 für Fahrspuren mit scharfen Kurven kann beispielsweise eine Fahrspur einer Straße (beispielsweise einer Straße an einer Autobahnzuführung) mit einer Radiuskrümmung detektieren, die geringer oder gleich ungefähr 125 m ist.
-
10A stellt Funktionsweisen einer Kameravorrichtung und eines Detektionsmoduls der vorliegenden Erfindung an einer Kreuzung dar.
-
Wie in 10A gezeigt, kann eine Mehrzahl von Spuren zum Leiten von Fahrzeugen an einem Kreuzungsbereich verlangt werden und somit können einige der Geradeausspuren unterbrochen sein.
-
Wenn in einem solchen Fall, bei dem eine konventionelle Spurdetektionsfunktion, die eine einzige Kamera verwendet, benutzt wird, ein Fahrzeug in den Kreuzungsbereich einfährt, scheitert das Fahrzeug in unerwarteter Weise an der Erkennung einer Geradeausspur und das Fahrzeug kann falsch gesteuert werden.
-
Auch kann eine Lenk- oder Bremssteuerung des Fahrzeugs basierend auf einer Fahrspur, einem vorausfahrenden Fahrzeugs oder einer Verkehrsampel an dem Kreuzungsbereich benötigt werden. An der Kreuzung müsste das Fahrzeug verschiedene Objekte (Fahrrad, ein anderes Fahrzeug oder dergleichen) erkennen, die die Straße vor dem Fahrzeug des Fahrers überqueren und es müsste eine zusätzliche Steuerung dafür durchführen.
-
Auch in dem Fall, bei dem das Fahrzeug im Kreuzungsbereich nach rechts abbiegt, müsste, wenn ein Fußgänger an dem Überweg entlang der rechten Seite detektiert wird, eine zusätzliche Steuerung durchgeführt werden.
-
Allerdings kann eine existierende nach vorn gerichtete Kameravorrichtung, die eine einzige Kamera verwendet, Schwierigkeiten haben, ausreichend verschiedene Typen der Steuerung zu unterstützen, die im Kreuzungsbereich verlangt werden, wie oben beschrieben.
-
Daher führt die vorliegende Erfindung eine detaillierte Steuerung im Kreuzungsbereich unter Verwendung einer Kameraeinheit, die zwei oder mehrere Feldwinkel einschließt, wie folgt durch.
-
10B stellt ein Fahrspurdetektionsschema an einer Kreuzung entsprechend der vorliegenden Erfindung dar.
-
Entsprechend der vorliegenden Erfindung kann in dem Fall, in dem das Spurdetektionsmodul 1310 des Detektionsmoduls 1300 eine Fahrspur unter Verwendung einer ersten Kameraeinheit, die ein schmales Objektiv einschließt, oder einer dritten Kameraeinheit, die ein normales Objektiv einschließt, detektiert, und detektiert, dass die detektierte Spur nicht in mindestens einer vorbestimmten Entfernung erkannt wird, oder detektiert, dass die detektierte Spur in mindestens einer vorbestimmten Entfernung unterbrochen ist, das Detektionsmodul 1300 den korrespondierenden Teil der Spur 1510 als einen Kreuzungsbereich bestimmen.
-
Wenn der korrespondierende Teil der Spur 1510 als Kreuzungsbereich bestimmt wird, steuert das Spurdetektionsmodul 1310 die zweite Kameraeinheit mit einem weiten Objektiv an und erhält ein breites Bild und somit kann eine von rechts nach links kreuzende Spur 1520 erkannt werden, die sich nach rechts und links erstreckt. Zusätzlich kann das Spurdetektionsmodul 1310 eine Spur 1530 mit großer Reichweite detektieren, die sich in einer Luftlinie hinter dem Kreuzungsbereich erstreckt, unter Verwendung der ersten Kamera mit einem schmalen Objektiv.
-
Daher können entsprechend der vorliegenden Erfindung beim Einfahren des Fahrzeugs in die Kreuzung die rechts-links kreuzende Spur 1520 und die Spur 1530 in großer Entfernung zusätzlich erkannt werden. Daher kann eine fehlerhafte Spurdetektion im Kreuzungsbereich und eine falsche Steuerung des Fahrzeugs basierend darauf vermieden werden.
-
10C stellt ein Detektionsschema für ein kreuzendes Fahrzeug oder einen kreuzenden Fahrradfahrer im Kreuzungsbereich dar.
-
Wenn wie in 10B gezeigt, durch das Detektionsmodul 1300 festgestellt wird, dass ein Fahrzeug einen Kreuzungsbereich befährt, kann eine Detektionseinheit 1335 für ein kreuzendes Fahrrad oder eine Detektionseinheit 1345 für ein kreuzendes Fahrzeug einen Fahrradfahrer oder ein anderes Fahrzeug detektieren, die eine Straße vor dem Fahrzeug überqueren und sich bewegen, unter Verwendung eines Bildes, das von einer zweiten Kameraeinheit mit einem weiten Objektiv erhalten wird, detektieren.
-
In diesem Fall kann eine Detektionseinheit 1330 für Fahrzeuge in großer Reichweite ein anderes Fahrzeug, das in einer weiten Entfernung zu dem Fahrzeug des Fahrers existiert, unter Verwendung einer ersten Kameraeinheit mit einem schmalen Objektiv und eines dazu entsprechenden Einzelprozessors 1210 detektieren und gleichzeitig kann zusätzlich die Detektionseinheit 1335 für einen kreuzenden Radfahrer oder die Detektionseinheit 1345 für ein kreuzenden Fahrzeug ein Fahrrad (ein Zweirad 1610) oder ein anderes Fahrzeug, das eine Straße vor dem Fahrzeug des Fahrers in einem Kreuzungsbereich überquert, unter Verwendung der zweiten Kameraeinheit mit einem weiten Objektiv und eines dazu entsprechenden Einzelprozessor 1210 detektieren.
-
In diesem Fall kann selbstverständlich der Mehrprozessor 1220, der in dem Bildverarbeitungsmodul 1200 enthalten ist, verwendet werden, um gleichzeitig Bilder zu verarbeiten, die von der ersten Kameraeinheit (oder der dritten Kameraeinheit) und der zweiten Kameraeinheit erhalten werden.
-
In diesem Fall kann die Detektionseinheit 1335 für einen kreuzenden Fahrradfahrer oder die Detektionseinheit 1345 für ein kreuzendes Fahrzeug ein Blob eines Objekts aus dem von der zweiten Kameraeinheit mit einem weiten Objektiv erhaltenen Bild detektieren und kann bestimmen, ob zwei ähnliche kreisförmige Muster aus dem Inneren des Blobs detektiert werden.
-
Wenn zwei ähnliche kreisförmige Muster aus dem Inneren desselben Blobs detektiert werden, kann das Objekt als ein kreuzendes Fahrzeug oder als ein kreuzendes Fahrrad erkannt werden.
-
Durch Verwenden der oben beschriebenen Architektur kann ein vorausfahrendes Fahrzeug, ein Fahrzeug, das eine Straße vor dem Fahrzeug des Fahrers überquert oder ein Fahrrad detektiert werden. Somit kann eine automatische Notbremssteuereinheit 1420 oder dergleichen, die weiter unten beschrieben wird, gesteuert werden, und daher kann ein Unfall, der im Kreuzungsbereich auftreten könnte, vermieden werden.
-
10D zeigt ein Beispiel des Detektierens eines schneidenden Fahrzeugs, das horizontal das Fahrzeug des Fahrers vorn schneidet.
-
Die Fahrzeugdetektionseinheit 1330 mit großer Reichweite detektiert ein erstes Fahrzeug 1710, das in Vorwärtsrichtung zu dem Fahrzeug des Fahrers in großer Entfernung existiert, unter Verwendung einer ersten Kameraeinheit mit schmalem Objektiv und einem dazu entsprechenden Einzelprozessor 1210, und gleichzeitig kann die Detektionseinheit 1315 für schneidende Fahrzeuge Ergebnisdaten von einer zweiten Kameraeinheit mit einem weiten Objektiv (zweites Objektiv) und einem dazu entsprechenden Prozessor empfangen und kann ein zweites Fahrzeug 1720 detektieren, das das Fahrzeug des Fahrers vorn schneidet.
-
10E zeigt eine Darstellung des Detektierens eines Fußgängerüberwegs, einer Fußgängerampel, eines Fußgängers und dergleichen, die in einer Abbiegespur einer kreuzenden Straße angeordnet sind.
-
Wenn, wie in 10B dargestellt, über das Detektionsmodul 1300 festgestellt wird, dass ein Fahrzeug einen Kreuzungsbereich befährt, und wenn das Fahrzeug links abbiegt/rechts abbiegt basierend auf dem Betätigungszustand des Fahrtrichtungsanzeigers des Fahrzeugs, kann die Verkehrsampel-Detektionseinheit 1355 eine Fußgängerampel 1810 erkennen, die in der Bewegungsrichtung (Linksbiegung oder Rechtsbiegung) des Fahrzeugs existiert, unter Verwendung eines Bildes, das von einer zweiten Kameraeinheit mit weitem Objektivs erhalten wird.
-
Das heißt, wenn festgestellt wird, dass das Fahrzeug in die Kreuzung einfährt und der rechte Fahrtrichtungsanzeiger des Fahrzeugs eingeschaltet ist, kann die Verkehrsampel-Detektionseinheit 1355 aktiviert werden und kann den Zustand einer Fußgängerampel feststellen, die im Laufe der rechten Seite existiert, unter Verwendung des Bildes, das von der zweiten Kameraeinheit mit weitem Objektiv erhalten wird.
-
Wenn in diesem Fall die Fußgängerampel, die im Laufe der rechten Seite existiert, grün ist, kann das Steuermodul 1400 die automatische Notbremssteuereinheit 1420 oder dergleichen steuern, so dass das Fahrzeug gestoppt wird.
-
Wenn ebenfalls bestimmt wird, dass das Fahrzeug in den Kreuzungsbereich einfährt und der rechte Fahrtrichtungsanzeiger des Fahrzeugs eingeschaltet ist, kann die Verkehrsampel-Detektionseinheit 1340 aktiviert werden und kann eine Überwegmarkierung 1820, die im Laufe der rechten Seite existiert, durch Verwendung des Bildes erkennen, das von der zweiten Kameraeinheit mit weitem Objektiv erhalten wird.
-
Zusammen mit der Erkennung des Überwegs kann ebenfalls die Fußgänger-Detektionseinheit 1320 einen Fußgänger 1830 unterscheiden, der auf oder an dem Übergang vorhanden ist, indem das Bild verwendet wird, das von der zweiten Kameraeinheit mit weitem Objektiv erhalten wird.
-
In diesem Fall kann ein detailliertes Fahrzeugsteuerschema wie folgt ausgebildet sein.
-
Wenn zuerst die Verkehrszeichen-Detektionseinheit 1340 den Überweg, der entlang der rechten Seite der Kreuzung vorhanden ist, unter Verwendung einer zweiten Kameraeinheit mit weitem Objektiv detektiert, setzt die Fußgänger-Detektionseinheit 1320 eine Fußgängerdetektionsempfindlichkeit auf hoch und erhöht einen Bremsdruck für die automatische Notbremsung, so dass eine Notbremsung möglich ist, wenn ein Fußgänger auftaucht.
-
Wenn in diesem Fall die Fußgänger-Detektionseinheit 1320 einen Fußgänger detektiert, kann die automatische Notbremssteuereinheit 1420 des Steuermoduls eine Notbremsung des Fahrzeugs durchführen.
-
Wie oben beschrieben, kann in einem Kreuzungsbereich mindestens eines der Elemente Überweg, Überwegverkehrsampel und Fußgänger, die entlang einer Abbiegespur vorhanden sind, unter Verwendung eines Bildes detektiert werden, das von einer Kameraeinheit mit einem weiten Objektiv erhalten wird. Somit kann darauf basierend ein Fahrzeug oder ein Lenksystem gesteuert werden und ein Unfall, der an einer Kreuzung auftreten könnte, kann vermieden werden.
-
Wenn eine Fußgängerverkehrsampel erkannt wird, wie in 10E dargestellt, kann eine vorausliegende Verkehrsampel gleichzeitig unter Verwendung einer ersten oder dritten Kameraeinheit mit schmalem Objektiv oder normalem Objektiv detektiert werden. Basierend darauf kann die Funktion des Detektierens einer Fußgängerampel oder eines Überweges, der entlang der rechten Seite existiert, verbessert werden.
-
Beispielsweise kann in einem Fall, in dem die Verkehrsampel-Detektionseinheit 1355 eine vorwärts liegende Verkehrsampel unter Verwendung der ersten oder dritten Kameraeinheit mit schmalem Objektiv oder normalem Objektiv detektiert, nur wenn das Ergebnis der Detektion eine grüne Verkehrsampel ist, eine Fußgängerampel oder ein Überweg entlang der rechten Seite unter Verwendung eines Bildes einer zweiten Kameraeinheit mit weitem Objektiv detektiert werden.
-
10F zeigt ein Beispiel, in dem die Verkehrszeichen-Detektionseinheit 1340 eine Straßenmarkierung unter Verwendung einer Mehrzahl von Kameraeinheiten erkennt.
-
Wie in 10F dargestellt, kann die Verkehrszeichen-Detektionseinheit 1314 eine Straßenmarkierung, wie eine Richtungsmarkierung, die auf der Straße vor einem Fahrzeug existiert, unter Verwendung einer ersten oder dritten Kameraeinheit einschließlich eines engen Objektivs oder eines normalen Objektivs detektieren.
-
In diesem Fall haben die erste oder dritte Kameraeinheit mit dem schmalen Objektiv oder dem normalen Objektiv einen schmalen Feldwinkel und somit können sie nur eine Richtungsmarkierung, die in einer einzigen Fahrspur eingeschlossen ist, detektieren, was eine Einschränkung ist.
-
Wenn daher die Verkehrszeichen-Detektionseinheit 1340 eine Richtungsmarkierung 1910 detektiert, die auf einer laufenden Straße vor dem Fahrzeug existiert, unter Verwendung der ersten oder dritten Kameraeinheit mit einem schmalen Objektiv oder einem normalen Objektiv, kann die Verkehrszeichen-Detektionseinheit 1340 zusätzlich eine Richtungsmarkierung 1920 und 1920' erkennen, die auf der linken und rechten Spur einer Straße existieren, unter Verwendung eines Bildes, das von der zweiten Kameraeinheit mit einem weiten Objektiv zum selben Zeitpunkt der Detektion oder nach einem vorbestimmten Zeitpunkt danach erhalten wird.
-
Durch das Obige kann die Gültigkeit der Detektion der Richtungsmarkierung auf der laufenden Straße, die durch die erste oder dritte Kameraeinheit mit schmalem Objektiv oder normalem Objektiv durchgeführt wird, festgestellt werden.
-
Beispielsweise wird in einem Zustand, in dem die Richtungsmarkierung 1910 auf der Geradeausspur, die unter Verwendung der ersten oder dritten Kameraeinheit mit schmalem Objektiv oder normalem Objektiv ein Geradeausfahren anzeigt, wenn eine Richtungsmarkierung auf der rechten Spur, die unter Verwendung der zweiten Kameraeinheit mit weitem Objektiv detektiert wird, eine Linksabbiegung angibt, bestimmt, dass die Richtungsmarkierung 1910 auf der Geradausspur, die unter Verwendung der ersten oder dritten Kameraeinheit mit einem engen Objektiv oder einem normalem Objektiv detektiert wird, einen Fehler aufweist.
-
Wenn eine auf einer Geradeausspur existierende Straßenmarkierung und eine benachbarte Spur genau erkannt werden unter Verwendung einer Mehrzahl von Kameras, wie oben beschrieben, kann die Leistungsfähigkeit des automatischen Fahrens eines autonomen Fahrzeugs verbessert werden.
-
Wenn beispielsweise bestimmt wird, dass das Fahrzeug eine Linksabbiegung basierend auf der Streckeninformation für das automatische Fahren, das von einer Navigation oder dergleichen empfangen wird, durchführen soll, und wenn eine Richtungsmarkierung, die auf einer Geradeausspur oder einer benachbarten Spur existiert, unter Verwendung einer Mehrzahl von Kameras, wie oben beschrieben, detektiert wird, kann basierend darauf ein Zeitpunkt, zu dem eine Fahrspur des Fahrzeugs gewechselt werden soll, optimiert werden.
-
Wie oben beschrieben, kann, entsprechend der vorliegenden Erfindung, die Kameravorrichtung 100 mindestens zwei Bilder erhalten, deren fotografierte Bereiche unterschiedlich sind, und der Objekterkennungsbereich eines Systems, das ein von einer Kamera fotografiertes Bild verwendet, kann weit gemacht werden.
-
Da Ausdrücke, wie ”einschließlich”, ”umfassend” und ”habend” meinen, dass eine oder mehrere korrespondierende Komponenten existieren können, es sei denn, sie sind speziell gegenteilig beschrieben, soll es ausgelegt werden, dass eine oder mehrere andere Komponenten eingeschlossen sein können. Alle Ausdrücke, die technisch, wissenschaftlich oder dergleichen sind, stimmen mit den Auslegungen, wie sie von den Fachleuten vorgenommen werden, überein, es sei denn sie sind unterschiedlich definiert. Übliche Begriffe, wie sie in Lexika gefunden werden, sollten im Kontext des bezogenen technischen Zusammenhangs nicht zu ideal oder unmöglich interpretiert werden, es sei denn die vorliegende Erfindung definiert sie ausdrücklich so.
-
Obwohl ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung zu veranschaulichenden Zwecken beschrieben wurde, ist es für den Fachmann augenscheinlich, dass verschiedene Modifikationen, Hinzufügungen und Substitutionen möglich sind, ohne den Bereich und den Geist der Erfindung zu verlassen, wie er in den angefügten Ansprüchen offenbart ist. Daher sollen die in der vorliegenden Erfindung offenbarten Ausführungsbeispiele den Schutzbereich der technischen Idee der vorliegenden Erfindung illustrieren und der Schutzbereich der vorliegenden Erfindung ist nicht auf das Ausführungsbeispiel begrenzt. Der Bereich der vorliegenden Erfindung soll auf der Grundlage der begleitenden Ansprüche in einer solchen ausgelegt werden, dass alle technischen Ideen, die innerhalb des zu den Ansprüchen äquivalenten Bereichs enthalten sind, zu der vorliegenden Erfindung gehören.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- KR 10-2015-0107054 [0001]
