DE102016213377A1

DE102016213377A1 - Verfahren und Vorrichtung zur Durchfahrtshöhenerkennung

Info

Publication number: DE102016213377A1
Application number: DE102016213377.2A
Authority: DE
Inventors: Stephan Hänert; Eugen Schneider
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2016-07-21
Filing date: 2016-07-21
Publication date: 2018-01-25
Anticipated expiration: 2036-07-22
Also published as: DE102016213377B4

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bestimmung der Durchfahrtshöhe H1,2,3 einer mit einem Fahrzeug 1 zu unterfahrenden Engstelle. Um eine Vorrichtung und ein Verfahren zur Bestimmung der Durchfahrtshöhe H1,2,3 einer mit einem Fahrzeug 1 zu unterfahrenden Engstelle anzugeben, das/die die eine zuverlässige, ressourcenschonende Durchfahrtshöhenbestimmung im Nah- und Fernbereich ermöglicht, wird vorgeschlagen, dass der vorausliegende Fahrweg 2 mit einer monokularen Kamera 4 aufgenommen wird und in der aufgenommenen Bilderfolge markante Merkmale identifiziert werden, aus denen mit Bezug auf ein Fahrzeugkoordinatensystem eine virtuelle 3D-Abildung der Fahrzeugumgebung erzeugt wird, ein virtuelles Höhenprofil des vorausliegenden Fahrwegs 2 mit einer Kamera 4 erstellt wird und in der virtuellen 3D-Abbildung der Fahrzeugumgebung potentielle Hindernisse identifiziert werden, indem der Abstand zwischen einem potentiellen Hindernis und dem Fahrweg 2 bestimmt wird, wobei ein Warnsignal abgeben wird und/oder ein Bremseingriff erfolgt, wenn der Abstand zwischen einem detektierten Hindernis und dem Fahrweg 2 einen kritischen und vorgebbaren Wert unterschreitet. Die erfindungsgemäße Vorrichtung besitzt eine monokulare Kamera 4, mit der der vorausliegende Fahrweg 2 des Fahrzeugs 1 aufgenommen wird und mit der potentielle Hindernisse identifiziert werden, um deren Position in einem dreidimensionalen virtuellen Höhenprofil zu bestimmen.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bestimmung der Durchfahrtshöhe einer mit einem Fahrzeug zu unterfahrenden Engstelle.
Im Straßenverkehr kommt es sowohl außerorts als auch innerorts regelmäßig zu Situationen, bei denen Fahrzeugführer mit nicht unterfahrbaren vertikalen Engstellen konfrontiert werden. Insbesondere bei Einfahrten in Parkhäuser, Tiefgaragen und Unterführungen ist die Durchfahrtshöhe begrenzt. Auch niedrig hängende Äste können ein solches Hindernis darstellen.
In solchen Situationen muss der Fahrzeugführer sowohl die Höhe des eigenen Fahrzeugs als auch die lichte Höhe der vertikalen Engstelle einschätzen, um eine Kollision zu vermeiden, die ansonsten zu massiven Fahrzeug- und Personenschäden führen kann.
Es hat bereits mehrfach Versuche einer automatischen Durchfahrtshöhenerkennung für Fahrzeuge gegeben, die jedoch entweder ungenügende Ergebnisse lieferten und/oder mit erheblichen Kosten verbunden waren, was beides nachteilbehaftet ist.
Die Bestimmung der Durchfahrtshöhe mit einem Ultraschallsensor, wie es beispielsweise in DE 10 2004 015 749 A1 beschrieben ist, setzt in der Praxis voraus, dass sich das Fahrzeug langsam an das vertikale Hindernis annähert, was im fließenden Verkehr nicht umsetzbar ist.
Die alternative Verwendung eines Radarsensors, was ebenfalls in DE 10 2004 015 749 A1 offenbart ist, ist aufgrund der eingeschränkt möglichen Winkelmessung nicht exakt genug, weil bereits eine abweichende Messung von 2° bei einer Entfernung von 30 m zu einer Ungenauigkeit von ±1,05 m führt. Ferner ist bei Radarsensoren der vertikale Öffnungswinkel gering, so dass vergleichsweise hohe Hindernisse im Nahbereich nicht erfasst werden können.
Für die Anwendung eines optischen Systems zur Durchfahrtshöhenerkennung, wie es in DE 10 2006 041 651 A1 angedacht wird, haben sich automotive 3D-Kameras ebenfalls als nachteilbehaftet herausgestellt, weil diese eine geringe Auflösung besitzen und insofern vertikale Hindernisse erst bei einer geringen Entfernung zuverlässig detektierbar sind, was unmittelbar mit einer verspäteten Warnung vor dem Hindernis verbunden ist. Darüber hinaus setzt die Verwendung von 3D-Kameras die Aussendung eines Lichtsignals voraus, wodurch die Kamera um ein Zusatzmodul erweitert werden müsste. Schließlich scheidet die Verwendung von automotiven 3D-Kameras aufgrund der Störempfindlichkeit gegenüber anderer Lichtquellen, wie beispielsweise dem entgegenkommenden Straßenverkehr, aus.
Stereokameras benötigen einen relativ großen Bauraum, um ausreichend Platz für zwei Linsen zu schaffen, was das Sichtfeld des Fahrers einschränkt. Schließlich besitzt das Tiefenbild solcher Stereokameras eine vergleichsweise geringe Reichweite, was zu Funktionseinschränkungen bei hohen Fahrgeschwindigkeiten führt.
Hiervon ausgehend ist es die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur Bestimmung der Durchfahrtshöhe einer mit einem Fahrzeug zu unterfahrenden Engstelle anzugeben, die/das die zuvor genannten Nachteile ausräumt. Insbesondere soll eine zuverlässige, ressourcenschonende Durchfahrtshöhenbestimmung im Nah- und Fernbereich angegeben werden, was auch bei hohen Geschwindigkeiten eine genaue Erkennung von Hindernissen gewährleistet.
Diese Aufgabe wird durch das Verfahren nach Anspruch 1 und die Vorrichtung nach Anspruch 6 gelöst.
Das erfindungsgemäße Verfahren weist mehrere Verfahrensschritte auf, auf die im folgenden und mit Hinweis auf optionale und bevorzugte Ausgestaltungen eingegangen wird.
Zunächst wird der vorausliegende Fahrweg mit einer monokularen Kamera aufgenommen und es werden in der ausgenommenen Bilderfolge markante Merkmale identifiziert, aus denen mit Bezug auf ein Fahrzeugkoordinatensystem eine virtuelle 3D-Abbildung der Fahrzeugumgebung erzeugt wird. Genauer gesagt werden initial markante Merkmale in einem Einzelbild der monokularen Kamera identifiziert. Diese Merkmale werden in den nachfolgenden Bildern des Bildstroms erneut detektiert. Aus der Verschiebung der Merkmale innerhalb der Bilderfolge werden über ein Triangulationsverfahren relative 3D-Positionen der Merkmale bestimmt. Für eine Skalierung im Fahrzeugkoordinatensystem wird die Eigenbewegung des Fahrzeugs berücksichtigt. Aus diesen Informationen wird eine virtuelle 3D-Abbildung der vorausliegenden Fahrzeugumgebung erzeugt.
Ferner wird ein virtuelles Höhenprofil des vorausliegenden Fahrwegs mit einer Kamera erstellt. Hierzu können aus der bereits vorhandenen virtuellen 3D-Abbildung der Fahrzeugumgebung die Punkte bestimmt werden, die dem vorausliegenden Fahruntergrund zuzuordnen sind, woraus das Höhenprofil berechnet wird. Um den Verlauf des vorausliegenden Fahrwegs zu ermitteln, können auch Spurinformationen aus dem aktuellen (zweidimensionalen) Kamerabild die dreidimensionalen Punkte der virtuellen Fahrzeugumgebung und/oder eine Prädiktion der aktuellen Eigenbewegung des Fahrzeugs genutzt werden.
Zeitgleich werden in der virtuellen 3D-Abbildung der Fahrzeugumgebung potentielle Hindernisse identifiziert, indem der Abstand zwischen einem potentiellen Hindernis und dem Fahrweg bestimmt wird, wobei ein Warnsignal abgegeben wird und/oder ein Bremseingriff erfolgt, wenn der Abstand zwischen einem detektierten Hindernis und dem Fahrweg einen kritischen und vorgebbaren Wert unterschreitet. Unterstützend für die Hinderniserkennung werden im zweidimensionalen Bild Algorithmen zur Kantendetektion angewendet. Die detektierten Kanten werden ebenfalls trianguliert und der dreidimensionalen Fahrzeugumgebung als Linie im Raum hinzugefügt. Zur Erhöhung der Detektionsrate von Hindernissen können zusätzlich lernende Algorithmen angewendet werden, wie beispielsweise Deep Learning. Diese Algorithmen können zuvor extern auf vertikale Hindernisse trainiert werden und sind dann in der Lage, Objekte innerhalb des Bildstroms als potentielle Hindernisse zu identifizieren.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens werden nachfolgend und in den Unteransprüchen angegeben.
Es wurde bereits angesprochen, dass ein Warnsignal (vorzugsweise optisch und/oder akustisch) abgegeben wird, wenn der Abstand zwischen einem detektieren Hindernis und dem Fahrweg einen kritischen Wert unterschreitet. Die Bestimmung des Abstands zwischen den potentiellen Hindernissen und der Fahrbahn erfolgt fallabhängig und in zumindest drei unterschiedlichen Weisen. In erster Näherung erfolgt die Abstandsbestimmung entlang einer Geraden, die senkrecht zur Aufstandsebenen des Fahrzeugs angeordnet ist, was eine schnelle und ressourcenschonende Abstandsbestimmung darstellt. Für den Fall einer ebenen Fahrbahn ist diese Berechnungsmethode präzise und liefert den tatsächlichen Abstand und mithin die zur Verfügung stehende Durchfahrtshöhe.
Wird abweichend hiervon ein dreidimensionaler Fahruntergrund registriert, wird die Durchfahrtshöhe zunächst lotrecht (senkrecht) zu einer Horizontalen bestimmt, deren Lage aufgrund der feststellbaren Fahrzeugneigung bekannt ist.
Sollte festgestellt werden, dass eine etwaige Krümmung des vorausliegenden Fahruntergrundes einen kritischen Wert überschreitet, wird das virtuelle dreidimensionale Höhenprofil im Bereich des potentiellen Hindernisses untersucht und es wird der tatsächliche Abstand zwischen der Fahrbahnoberfläche und dem Hindernis ermittelt, der vertikal zur Fahrbahnoberfläche zu bestimmen ist. Im Fall einer ebenen Fahrbahn, die unabhängig hiervon ein konstantes positives oder negatives Gefälle aufweisen kann, sind die Messergebnisse identisch und eine Überprüfung ist entbehrlich, weshalb bereits der ressourcenschonende Algorithmus korrekte Werte bestimmt.
Sollte der Fahrzeugführer auf das Warnsignal nicht reagieren, erfolgt ein automatischer Bremseingriff bis hin zum Stillstand des Fahrzeugs vor dem detektierten Hindernis. Die Durchfahrtshöhenerkennung kann zudem mit den vorhergesagten Streckendaten (PSD) und einer zusätzlichen Verkehrszeichenerkennung kombiniert werden. Die vorhergesagten Streckendaten beinhalten relative Informationen über die in der Navigation vorgeschlagene Route. Dabei können die Höhen von Brücken, Parkhäusern, Einfahrten hinterlegt werden und so vorab eine adäquate Route ausgewählt werden. Die Verkehrszeichenerkennung erfasst die Schilder zur Durchfahrtshöhenbegrenzung, deren Inhalt mit der Berechnung der Durchfahrtshöhe abgeglichen werden kann.
Ferner ist das vorgeschlagene Verfahren mit weiterer Umfeldsensorik kombinierbar, wie beispielsweise Radar- oder Lidarsystemen. Dabei können die Sensoren komplementär fusioniert werden.
Nach einer besonders bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass zusätzlich oder alternativ zur Bestimmung des Höhenprofils des Fahruntergrundes mit der monokularen Kamera eine Area-View-Kamera eingesetzt wird. Konkret werden in diesem Fall zur Erstellung des dreidimensionalen Höhenprofils des vorausliegenden Fahrwegs in definierten Zeitabständen Bilder des Fahrwegs mittels der Area-View-Kamera aufgenommen, auf denen relevante Merkmalspunkte des Fahrwegs identifiziert werden, deren Verschiebung in der Bilderfolge eine Bestimmung der jeweiligen Position erlaubt. Die aus dem Bildfluss der Area-View-Kamera erzeugten dreidimensionalen Punkte werden der dreidimensionalen Fahrzeugumgebung hinzugefügt, die durch die monokulare Kamera erzeugt wurden. Die ausschließliche Verwendung der monokularen Kamera, mit der auch die potentiellen Hindernisse detektiert werden, ist vorteilhaft für die Erstellung des virtuellen dreidimensionalen Höhenprofils, weil lediglich eine Kamera für die Erstellung des Höhenprofils und die Erkennung der Hindernisse eingesetzt wird.
Hierdurch ergeben sich nicht nur Raumvorteile, sondern das Verfahren kann ressourcenschonend angewendet werden. Auch sind Fehlberechnungen aufgrund ungenau vermessener Tiltwinkel der Kameras ausgeschlossen.
Die erfindungsgemäße Vorrichtung zur Bestimmung der Durchfahrtshöhe besitzt erfindungsgemäß eine monokulare Kamera, mit der der vorausliegende Fahrweg des Fahrzeugs aufgenommen wird und mit der potentielle Hindernisse identifiziert werden, um deren Position in einem dreidimensionalen virtuellen Höhenprofil zu bestimmen. Im Vergleich zu einer anderen Sensorik (Bifokale/Trifokale Kamera, Laserscanner etc.) ist die Verwendung einer monokularen Kamera wesentlich kostengünstiger und wird bereits erfolgreich für eine Vielzahl anderer Fahrer- und Fahrzeugassistenzsysteme verwendet. Dies vereinfacht eine Package- und Funktionsintegration ins Fahrzeug erheblich.
Vorzugsweise weist die monokulare Kamera einen horizontalen Öffnungswinkel von mindestens 75° auf, wobei der Öffnungswinkel auch abhängig von den dynamischen Grenzen des Fahrzeugs sein kann. Eine kleinere maximale Querbeschleunigung führt hierbei zu einem kleineren horizontalen Öffnungswinkel. Der vertikale Öffnungswinkel beträgt ebenfalls mindestens 75°. Dabei ist die Kamera vorzugsweise mit einem Tiltwinkel von 0° gegenüber der Fahrbahn ausgerichtet und die Kamera ist bevorzugt auf halber Fahrzeughöhe angeordnet, was die Abstandsberechnung nicht nur vereinfacht sondern auch zu genaueren Ergebnissen führt. Bei dieser Ausrichtung können insbesondere beim Losfahren Hindernisse detektiert werden, die 5 m vor dem Fahrzeug und in einer Höhe von 4 m sind.
Die erfindungsgemäße Vorrichtung zur Bestimmung der Durchfahrtshöhe kann auch für das Rückwärtsfahren angewendet werden. Dafür ist eine monokulare Kamera im Fahrzeug so anzuordnen, dass der rückwärtige Fahrweg erfasst wird.
Konkrete Ausführungsformen der Erfindung werden nachfolgend anhand der 1 bis 4 beschrieben, die unterschiedliche Situationen bei der Durchfahrtshöhenbestimmung zeigen.
1 zeigt ein Fahrzeug 1, dass auf einer horizontalen Fahrbahn 2 in Fahrrichtung 3 fährt. Das Fahrzeug 1 besitzt eine monokulare Kamera 4, die mit einem vertikalen Öffnungswinkel Įvon mindestens 75° die vorausliegende Umgebung aufnimmt. Gegenüber der Aufstandsebenen 5 des Fahrzeugs 1, die durch die Aufstandspunkte der Räder 8 auf der Fahrbahn 2 definiert ist, weist die Kamera 4 einen Tiltwinkel von 0° auf. Weil in 1 eine ebene Fahrbahn 2 dargestellt ist, die mit der Aufstandsebenen 5 zusammenfällt, ist die optische Achse 9 der monokularen Kamera 4 parallel zur Fahrbahn 2 ausgerichtet.
Die Kamera 4 nimmt in definierten Zeitpunkten die vorausliegende Fahrzeugumgebung auf und es werden automatisch markante Merkmale identifiziert. Im dargestellten Beispiel sind dies Punkte auf der Fahrbahnoberfläche 2 und die Kante 6 als potentielles Hindernis. Aus der Verschiebung der Punkte im Bilderstrom lässt sich mit Bezug auf ein Fahrzeugkoordinationensystem die relative Position der Merkmale bestimmen. Insbesondere lässt sich der Abstand der Kante 6 zur Aufstandsebenen 5 des Fahrzeugs 1 bestimmen, was eine erste Näherung der vorausliegenden Durchfahrtshöhe H₁ darstellt und für hinreichend ebene Fahrbahnoberflächen ausreicht. 1 zeigt, dass die Durchfahrtshöhe H₁ vertikal zur Fahrbahn 2 und zur aktuellen Aufstandsebenen 5 ist. Weil die Durchfahrtshöhe H₁ geringfügig größer ist als die Fahrzeughöhe H_F wird im vorliegenden Fall kein Warnsignal abgegeben und das Hindernis bzw. die Kante 6 kann unterfahren werden.
2 zeigt eine Situation, bei der die Fahrbahn 2 eine konstante (negative) Neigung gegenüber einer Horizontalen 10 besitzt. Auch in diesem Fall führt eine Abstandsberechnung zwischen dem Hindernis 6 und der Aufstandsebenen 5 zum korrekten Ergebnis der Höhe H₂ und die Näherung kann zur Bestimmung der Durchfahrtshöhe H₂ ohne weiteres verwendet werden.
Anders hingegen stellt sich die Situation in 3 dar. Dort weist die vorausliegende Fahrbahn 2 einen Knick 11 auf und der Abstand H₁ zur Aufstandsebenen 5 lässt eine hinreichende Durchfahrtshöhe H₁ vermuten. In einem solchen Fall, in dem ein gekrümmter bzw. nicht ebener Fahrbahnverlauf 2 detektiert wird, wird im Rahmen einer zweiten Näherung die Durchfahrtshöhe H₂ lotrecht zu einer Horizontalen 10 bestimmt. Weil im dargestellten Ausführungsbeispiel die Fahrbahn 2 unmittelbar unterhalb der Kante 6 ebenfalls horizontal angeordnet ist, entspricht die derart festgestellte Höhe H₂ der tatsächlichen Durchfahrtshöhe und die Berechnung ist hinreichend genau.
4 zeigt schließlich eine Situation, bei der weder eine Abstandsbestimmung zur Aufstandsebenen 5 noch eine lotrechte Bestimmung zu einer Horizontalen 10 zum richtigen Ergebnis der Durchfahrtshöhenmessung führt. In diesem Fall ist aufgrund der stark gekrümmten Fahrbahnoberfläche 2 der gesamte Bereich 12 unterhalb der Kante 6 zu untersuchen und es müssen die Punkte auf der Fahrbahnoberfläche 2 herausgefunden werden, bei dem eine Senkrechte zur Fahrbahnoberfläche das Hindernis schneidet.
Die hierfür erforderlichen Algorithmen sind im Vergleich zu den beiden anderen Alternativen wesentlich aufwendiger und daher nur in besonderen Fällen anzuwenden, bei denen aufgrund der starken Fahrbahnkrümmung ein Näherungsverfahren zu falschen Ergebnissen führt.
Bezugszeichenliste

1: Fahrzeug
2: Fahrbahn
3: Fahrtrichtung
4: monokulare Kamera
5: Aufstandsebene
6: Kante
8: Räder
9: optische Achse der monokularen Kamera
10: Horizontale
11: Knick
12: Bereich unterhalb der Kante
D: vertikaler Öffnungswinkel der monokularen Kamera
H_1,2,3: Durchfahrtshöhe
H_F: Fahrzeughöhe

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102004015749 A1 [0005, 0006]
DE 102006041651 A1 [0007]

Claims

Verfahren zur Bestimmung der Durchfahrtshöhe (H_1,2,3) einer mit einem Fahrzeug (1) zu unterfahrenden vertikalen Engstelle, dadurch gekennzeichnet, dass a) der vorausliegende Fahrweg (2) mit einer monokularen Kamera (4) aufgenommen wird und in der aufgenommenen Bilderfolge markante Merkmale identifiziert werden, aus denen mit Bezug auf ein Fahrzeugkoordinatensystem eine virtuelle 3D-Abildung der Fahrzeugumgebung erzeugt wird, b) ein virtuelles Höhenprofil des vorausliegenden Fahrwegs (2) mit einer Kamera erstellt wird und c) in der virtuellen 3D-Abbildung der Fahrzeugumgebung potentielle Hindernisse identifiziert werden, indem der Abstand zwischen einem potentiellen Hindernis und dem Fahrweg (2) bestimmt wird, wobei ein Warnsignal abgeben wird und/oder ein Bremseingriff erfolgt, wenn der Abstand zwischen einem detektierten Hindernis und dem Fahrweg (2) einen kritischen und vorgebbaren Wert unterschreitet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Abstand zwischen dem potentiellen Hindernis und der Fahrbahn (2) entlang einer Geraden bestimmt wird, die senkrecht zur Aufstandsebenen (5) des Fahrzeugs (1) angeordnet ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Abstand zwischen dem potentiellen Hindernis und der Fahrbahn (2) senkrecht zu einer Horizontalen (10) ermittelt wird, sofern die vorausliegende Fahrbahn (2) eine Krümmung aufweist, die einen kritischen Wert nicht überschreitet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Abstand zwischen dem potentiellen Hindernis und der Fahrbahn (2) senkrecht zur Fahrbahnoberfläche (2) ermittelt wird, sofern die vorausliegende Fahrbahn (2) eine Krümmung aufweist, die einen kritischen Wert überschreitet.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zur Erstellung des dreidimensionalen Höhenprofils des vorausliegenden Fahrwegs (2) in definierten Zeitabständen Bilder des Fahrwegs mittels der monokularen Kamera (4) oder einer Area-View-Kamera aufgenommen werden, auf denen relevante Merkmalspunkte des Fahrwegs (2) identifiziert werden, deren Verschiebung in der Bilderfolge eine Bestimmung der jeweiligen Position erlaubt.
Vorrichtung zur Bestimmung der Durchfahrtshöhe einer mit einem Fahrzeug (1) zu unterfahrenden vertikalen Engstelle, gekennzeichnet durch eine monokulare Kamera (4), mit der der vorausliegende Fahrweg (2) des Fahrzeugs (2) aufgenommen wird und mit der potentielle Hindernisse identifiziert werden, um deren Position in einem dreidimensionalen virtuellen Höhenprofil zu bestimmen.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die monokulare Kamera (2) einen vertikalen Öffnungswinkel (D) und/oder einen horizontalen Öffnungswinkel von jeweils mindestens 75° besitzt.
Vorrichtung nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass die Kamera (4) in einem Tiltwinkel gegenüber der Fahrbahn (2) von 0° angeordnet ist.
Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Kamera (4) auf halber Fahrzeughöhe (H_F) angeordnet ist.