DE102011113077A1

DE102011113077A1 - Verfahren zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer 3D-Kamera

Info

Publication number: DE102011113077A1
Application number: DE102011113077A
Authority: DE
Inventors: Stefan Hegemann; Stefan Lüke; Christoph Hassenpflug
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2011-09-07
Filing date: 2011-09-07
Publication date: 2013-03-07
Also published as: KR20140068157A; EP2753479B1; JP2014528063A; DE102011113077A8; WO2013034138A1; US9495603B2; DE112012003050A5; EP2753479A1; US20140218481A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer (räumlich auflösenden) 3D-Kamera. Mit einer 3D-Kamera wird dabei mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Es wird zumindest eine Trajektorie ermittelt, auf der sich das Fahrzeug wahrscheinlich bewegen wird. Aus den Bilddaten der 3D-Kamera wird ermittelt, ob ein über der Trajektorie befindliches Objekt erkannt wird und ob dieses eine oder mehrere Verbindungen zum Boden aufweist. Bei einem entsprechenden Objekt werden Abmessungen und Form der Fläche oder des Raumes zwischen Objekt und Fahrbahn, die bzw. der entsprechend der Trajektorie durchfahren werden soll, aus den Bilddaten ermittelt. Durch einen Vergleich der Abmessungen und Form der Eintrittsfläche bzw. des durchfahrbaren Raumes mit denen des Fahrzeugs wird ermittelt, ob und wie das Objekt durchfahren werden kann und es können weitere geeignete Maßnahmen ergriffen werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer (räumlich auflösenden) 3D-Kamera.
Objekte, die über einer Fahrbahn verlaufen, wie z. B. Brücken, Tunnel, Schilderbrücken, werden insbesondere von Radarsensoren als Hindernis erkannt, ohne dass aus den Radardaten eine zuverlässige Einschätzung getroffen werden kann, ob das Hindernis durchfahren werden kann. Auch mittels Monokameras gestaltet sich diese Einschätzung häufig schwierig.
Die DE 10234645 B4 zeigt eine vertikale Stereokameraanordnung für ein Fahrzeug, mittels der eine Durchfahrtshöhe einer Brücke aus der Position der waagrechten Unterkante der Tunneleinfahrt und der Position einer waagrechten Kante zwischen Tunnelvorderseite und Fahrbahnniveau hinreichend exakt geschätzt werden kann. Es wird ferner angegeben, dass eine Kombination aus einer horizontalen und einer vertikalen Stereoanordnung die Erfassung und Vermessung sämtlicher horizontaler und vertikaler Infrastrukturkomponenten im Straßenverkehrt ermöglicht.
DE 10 2004 015 749 A1 zeigt ebenfalls eine Vorrichtung zur Bestimmung einer Durchfahrtsmöglichkeit für ein Fahrzeug. Vor einem Hindernis wird die Durchfahrtsbreite und/oder Durchfahrtshöhe mittels einer Sensoreinheit gemessen. Zusätzlich wird vorgeschlagen mittels eines Sensors der Sensoreinheit den Verlauf der vorausliegenden Fahrbahn zu überwachen, um gegebenenfalls eine Höhendifferenz zwischen einer ansteigenden Fahrbahn und der Position eines die Fahrbahn überspannenden Trägers bestimmen zu können.
DE 10 2009 040 170 A1 schlägt vor, eine Sensoreinheit mit z. B. einer Stereokamera einzusetzen, um eine maximale Durchfahrtshöhe und/oder eine Mindestbodenfreiheit zu ermitteln und eine Fahrwerks-Aktoreinheit derart anzusteuern, dass die maximale Durchfahrtshöhe durch die Gesamthöhe des Fahrzeugs nicht überschritten wird und die Mindestbodenfreiheit eingehalten wird, sofern dies für den zu durchfahrenden Fahrbahnbereich möglich ist.
Einen Ansatz zur Objekterkennung bei der Stereobilddatenverarbeitung zeigen U. Franke et al. In 6D-Vision: Fusion of Stereo and Motion for Robust Environment Perception in Proceedings of DAGM-Symposium 2005, S. 216–223. Hierbei werden Positionen und Geschwindigkeiten vieler Bildpunkte in drei Dimensionen simultan geschätzt.
Es zeigt sich, dass die Verfahren und Vorrichtungen nach dem Stand der Technik Nachteile mit sich bringen und unter Umständen fehlerhafte Einschätzungen liefern, z. B. wenn Breite und Höhe des Eintrittsbereichs nicht ausreichen, um die Durchfahrbarkeit eines Hindernisses zu gewährleisten.
Es ist Aufgabe der vorliegenden Erfindung diese Nachteile zu überwinden und eine zuverlässigere Einschätzung zu liefern, ob und wie ein Objekt durchfahren werden kann.
Die Aufgabe wird gelöst, indem mit einer 3D-Kamera mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen wird, vorzugsweise in (möglicher) Fahrtrichtung. Es wird zumindest eine Trajektorie ermittelt, auf der sich das Fahrzeug wahrscheinlich bewegen wird. Die Trajektorie kann anhand von Bilddaten der 3D-Kamera ermittelt werden, sie könnte aber auch anderweitig ermittelt werden, in jedem Fall liegen dem Verfahren Positionsmerkmale der ermittelten Trajektorie vor, die einen Abgleich mit den Bilddaten der 3D-Kamera ermöglichen.
Aus den Bilddaten der 3D-Kamera wird ermittelt, ob ein über der Trajektorie befindliches Objekt erkannt wird und ob dieses eine oder mehrere Verbindungen zum Boden aufweist. Es können auch in oder nahe der Fahrzeug-Trajektorie liegende Objekte als potenzielle Hindernisse ermittelt werden und ob sich diese Objekte über der Trajektorie verbinden. Auch über der Fahrbahn „hängende” Objekte, die im Bereich der Trajektorie keine Verbindung zum Boden haben können ermittelt werden.
Bei einem entsprechenden Objekt werden Abmessungen und Form der Fläche zwischen Objekt und Fahrbahn (im Folgenden auch als Eintrittsfläche bezeichnet) aus den Bilddaten ermittelt, die entsprechend der Trajektorie durchfahren werden soll. Eine Ermittlung der Form kann auf Objekt-, Freiraum-, Bild- und/oder Disparitätsdaten der 3D-Kamera aufsetzen und diese als Ausgangspunkt zur Bestimmung der genauen Abmessungen der Fläche nutzen.
Das Verfahren ist jedoch nicht beschränkt auf Objekte mit einer abgeschlossenen Eintrittsfläche im Bildbereich. Sofern z. B. ein über der Fahrbahn hängendes Objekt erkannt wird, das im Bildbereich keine Verbindung zum Boden aufweist, weil die Brückenpfeiler außerhalb des Sichtbereichs der 3D-Kamera liegen, wird nur die im Bild abgebildete (Teil-)Fläche zwischen hängendem Objekt und Fahrbahn vermessen und deren Form bestimmt. Dasselbe Vorgehen ist möglich, falls z. B. bei einer sehr hohen Brücke nur die seitlichen Brückenpfeiler im Bild abgebildet sind.
Eine Präzisierung der Bestimmung von Abmessungen und Form der Eintrittsfläche kann vorteilhaft durch eine Sensorfusion erfolgen, indem die Daten der 3D-Kamera mit den Daten weiterer Sensoren fusioniert werden, wie z. B. Ultraschall, Lidar, Radar etc.
Durch einen Vergleich der Abmessungen und Form der Eintrittsfläche mit denen des Fahrzeugs wird ermittelt, ob und wie das Objekt durchfahren werden kann. Es kann also auch eine genaue Durchfahrtstrajektorie oder ein Durchfahrtskorridor bestimmt werden, entlang der bzw. dem das Fahrzeug nicht mit dem Objekt kollidieren wird.
Diese Informationen können vorzugsweise dem Fahrer mitgeteilt werden. Der Fahrer kann auch bei der Einfahrt unterstützt werden oder das Fahrzeug könnte automatisch in das Objekt gesteuert werden, wenn eine Durchfahrt möglich ist. Sofern eine Durchfahrt nicht möglich ist, kann eine Warnung des Fahrers oder sogar ein Eingriff in die Fahrzeugsteuerung erfolgen.
Aufgrund der präzisen Ermittlung von Abmessungen und insbesondere der Form einer Durchfahrtsfläche, ermöglicht die Erfindung auch die Erkennung, dass ein Fahrzeug nicht durch eine Durchfahrtsform passt, obwohl die Gesamthöhe des Fahrzeugs unter der maximalen Durchfahrtshöhe des Objekts liegt. Das ist z. B. der Fall, wenn ein LKW mit eckigem Querschnitt durch einen abgerundeten Tunnel fahren will, weil die Seitenhöhen des Tunnels zu niedrig sind.
In einer vorteilhaften Ausführungsform werden zusätzlich zur Eintrittsfläche auch Abmessungen und Form des Raumes zwischen Objekt und Fahrbahnoberfläche, der durchfahren werden soll, aus den Bilddaten ermittelt oder abgeschätzt. Dies ist mittels der Bilddaten der 3D-Kamera möglich. Sofern Teile des durchfahrbaren Raumes auf den Bilddaten verdeckt sind, können die Form und die Abmessungen des tatsächlichen Raumes aus den vorhandenen Daten abgeschätzt werden.
Die Ermittlung der Fläche oder des Raumes, die oder der durchfahren werden soll, kann bevorzugt anhand einer Tiefenkarte, insbesondere einer Disparitätskarte aus den Bilddaten der 3D-Kamera erfolgen.
Aus der Tiefenkarte bzw. Disparitätskarte können vorteilhaft Kanten der Eintrittsfläche und/oder des durchfahrbaren Raumes bestimmt werden.
Alternativ können die Kanten der Eintrittsfläche mittels eines Algorithmus zur Kantenerkennung aus den Bilddaten bestimmt werden, beispielsweise mittels eine Canny- oder Sobel-Operators.
Gemäß einer vorteilhaften Weiterbildung der Erfindung können die Bestimmung von Abmessungen und Form der Eintrittsfläche bzw. des durchfahrbaren Raumes aus der Tiefenkarte kombiniert werden mit denen aus der Kantenerkennung anhand einer Intensitäts- bzw. Farbauswertung der Bildpunkte.
Abmessungen und Form der Fläche oder des Raumes, die oder der durchfahren werden soll, können bevorzugt über eine Folge mehrerer Bilder der 3D-Kamera ermittelt werden. Dadurch kann beispielsweise eine anfangs teilweise verdeckte räumliche Gestalt eines Tunnels mit fortschreitender Einfahrt in den Tunnel aktualisiert und hinsichtlich der Abmessungen vervollständigt werden.
Die Abmessungen und Form der Fläche oder des Raumes, die oder der durchfahren werden soll, können insbesondere unter Berücksichtigung der Bewegung der 3D-Kamera aufgrund der Bewegung des eigenen Fahrzeugs ermittelt werden.
Hierzu kann vorteilhaft aus den Bilddaten der 3D-Kamera eine 3D-Szenen-Rekonstruktion durchgeführt werden, beispielsweise mit der Methode des Optischen Flusses.
Vorteilhaft erfolgt eine Bestimmung der Raumpunkte des Objekts, die dem Fahrzeug bzw. der 3D-Kamera am nächsten liegen, in verschiedenen Höhensegmenten unter der Annahme, dass die Raumpunkte (z. B. bei rechteckigen Abschnitten von Eintrittsflächen senkrecht übereinander liegen.
Hierbei können bevorzugt die gemessenen Abstände in Längs- und Quer-Richtung des Fahrzeugs bzw. der Trajektorie unterschiedlich gewichtet werden.
Die 3D-Kamera ist bevorzugt eine Stereokamera oder eine Photomischdetektor-Kamera bzw. PDM-Sensor.
Die Erfindung umfasst ferner eine Vorrichtung zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug. Die Vorrichtung umfasst eine 3D-Kamera zur Aufnahme mindestens eines Bildes von der vor dem Fahrzeug liegenden Umgebung. Außerdem umfasst die Vorrichtung Mittel zum Bestimmen mindestens einer Trajektorie, auf der sich das Fahrzeug wahrscheinlich bewegen wird. Zusätzlich sind Mittel vorgesehen zur Bestimmung aus den Bilddaten der 3D-Kamera, ob ein über der Trajektorie befindliches Objekt vorliegt und ob dieses eine oder mehrere Verbindungen zum Boden aufweist. Schließlich sind Mittel zur Bestimmung vorgesehen, ob eine Durchfahrt des Objekts möglich ist, durch Bestimmen von Abmessungen und Form der Fläche oder des Raumes zwischen Objekt und Fahrbahn aus den Bilddaten.
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert.
Es zeigen:
1 einen Tunnel, dessen Eintrittsfläche bogenförmig ist und in dem der Fahrbahnverlauf einer Kurve entspricht;
2 eine Brücke über der Fahrbahn, auf der das eigene Fahrzeug fährt.
In 1 ist ein Tunnel dargestellt, der eine bogenförmige Eintrittsfläche aufweist. Dadurch hängt die maximale Durchfahrtshöhe für ein Fahrzeug von mehreren Aspekten ab:
Neben der maximalen Höhe des Fahrzeugs auch von der Form (Höhenprofil) des Fahrzeugs, von der Breite des Fahrzeugs und von der lateralen Position des Fahrzeugs im Tunnel.
Die bogenförmige Eintrittsfläche des Tunnels wird definiert vom linken (a) und rechten Rand (b) des Tunneleingangs, die beide senkrecht verlaufen und der oberen Begrenzung (c) des Tunneleingangs, die gekrümmt ist.
Der Innenraum des Tunnels, d. h. der durchfahrbare Raum, ist definiert durch den linken (d) und rechten (f) Rand des Tunnelinneren, die man als Tunnelwände bezeichnen könnte, und durch die Tunneldecke (e) (bzw. oberer Rand des Tunnelinneren). Die Fahrbahn (g) beschreibt im Tunnel eine Kurve. Daher ist der Tunnelinnenraum in Längsrichtung entsprechend gekrümmt. Die Form des Raumes (des Tunnels), die durchfahren werden soll, ist vorgegeben durch den Innenraum des Tunnels und wird nach unten durch die Fahrbahnoberfläche (g) begrenzt.
Kanten der Eintrittsfläche liegen zwischen den Rändern des Tunneleingangs (a, b, c) und den Rändern des Tunnelinneren (d, f, e). Die untere Kante der Eintrittsfläche befindet sich dort, wo die durch die zuvor beschriebenen Kanten des Tunneleingangs definierte Fläche die Fahrbahnoberfläche (g) schneidet.
Aus den Bilddaten einer 3D-Kamera können Form und Abmessungen sowohl der (Eintritts-)Fläche als auch des Raums, der durchfahren werden soll, bestimmt werden.
Durch diese Bestimmungen lassen sich beispielsweise folgende Funktionen realisieren:

– Erkennung von Brücken oder Tunneln auf der Fahrbahn
– Erkennung, dass sich das Fahrzeug aktuell in einem Tunnel befindet (Durchfahrt ist von allen Seiten begrenzt)
– Unterstützung beim Navigieren, Rangieren und Einfahren durch enge Gassen, Parkhäuser, Tore und Garagen
– Automatisiertes Einfahren in Engstellen wie z. B. Garagen, Einfahrten, Gassen, Tordurchfahrten, Brückendurchfahrten usw.
– Durch eine Vermessung der Form einer Fläche bzw. eines Raumes zwischen einem oder mehreren Objekten und der Fahrbahn können Unfälle und Beschädigungen vermieden werden. Dazu kann eine Warnung des Fahrers oder ein Eingriff in die Fahrzeugsteuerung wie z. B. automatisches Bremsen erfolgen.

In 2 ist eine Brücke dargestellt, die über der Fahrbahn verläuft, auf der das eigene Fahrzeug fährt. Nahe der Fahrbahn weist die Brücke keine Verbindung zum Boden auf. Die beiden Brückenpfeiler sind aber über der Fahrbahn verbunden. Die Durchfahrtsbreite und -höhe kann mittels einer 3D-Kamera, z. B. einer Stereokamera bestimmt werden. Wenn der Sichtbereich der Stereokamera kleiner wäre, hätte die Brücke im Sichtbereich keine Verbindung zum Boden, weil die Brückenpfeiler nicht auf dem Bild enthalten wären. In diesem Fall kann ohne Schwierigkeiten die Durchfahrtshöhe unter der Brücke aus den Bilddaten ermittelt werden.
Obwohl diese Bestimmung prinzipiell bereits nach dem Stand der Technik möglich und in der Regel ausreichend ist, kann es Situationen geben, die kritisch sind: z. B. eine lokale Bodenerhebung auf der Fahrbahn unter der Brücke, auch z. B. aufgrund eines Gegenstands auf der Fahrbahn (nicht dargestellt in 2). Dies führt zu einer lokalen Verkürzung der maximal durchfahrbaren Höhe, was zu einem Unfall führen kann. Mittels der Stereokamera kann nach einem vorliegenden Verfahren der Raum zwischen Brückenunterseite und Fahrbahn präzise vermessen werden, wodurch auch lokale Erhebungen der Fahrbahn (oder Absenkungen der Brückenunterseite) berücksichtigt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10234645 B4 [0003]
DE 102004015749 A1 [0004]
DE 102009040170 A1 [0005]

Zitierte Nicht-Patentliteratur

U. Franke et al. In 6D-Vision: Fusion of Stereo and Motion for Robust Environment Perception in Proceedings of DAGM-Symposium 2005, S. 216–223 [0006]

Claims

Verfahren zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer 3D-Kamera, wobei mit der 3D-Kamera mindestens ein Bild von der vor dem Fahrzeug liegenden Umgebung aufgenommen wird; zumindest eine Trajektorie ermittelt wird, auf der sich das Fahrzeug wahrscheinlich bewegen wird; aus den Bilddaten der 3D-Kamera ermittelt wird: – ob ein über der Trajektorie befindliches Objekt vorliegt und – ob dieses eine oder mehrere Verbindung(en) zum Boden aufweist; und daraus ermittelt wird, ob eine Durchfahrt des Objekts möglich ist, wobei Abmessungen und Form der Eintrittsfläche zwischen Objekt und Fahrbahn aus den Bilddaten ermittelt werden.
Verfahren nach Anspruch 1, wobei zusätzlich zur Fläche auch Abmessungen und Form des Raumes zwischen Objekt und Fahrbahnoberfläche, der durchfahren werden soll, aus den Bilddaten ermittelt oder abgeschätzt werden.
Verfahren nach Anspruch 1 oder 2, wobei die Ermittlung anhand einer Tiefenkarte aus den Bilddaten der 3D-Kamera erfolgt.
Verfahren nach Anspruch 3, wobei die Tiefenkarte eine Disparitätskarte ist.
Verfahren nach Anspruch 3 oder 4, wobei Kanten der Eintrittsfläche aus der Tiefenkarte bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kanten der Eintrittsfläche mittels eines Algorithmus zur Kantenerkennung aus den Bilddaten bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bestimmung von Abmessungen und Form der Eintrittsfläche aus der Tiefenkarte kombiniert wird mit denen aus der Kantenerkennung.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Abmessungen und Form der Fläche oder des Raumes, die oder der durchfahren werden soll, über eine Folge mehrerer Bilder der 3D-Kamera ermittelt wird.
Verfahren nach Anspruch 8, wobei Abmessungen und Form der Fläche oder des Raumes, die oder der durchfahren werden soll, unter Berücksichtigung der Bewegung der 3D-Kamera ermittelt wird.
Verfahren nach Anspruch 9, wobei aus den Bilddaten der 3D-Kamera eine 3D-Szenen-Rekonstruktion durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die 3D-Kamera eine Stereokamera ist.
Verfahren nach einem der Ansprüche 1 bis 10, wobei die 3D-Kamera eine Photomischdetektor-Kamera ist.
Vorrichtung zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug, umfassend eine 3D-Kamera zur Aufnahme mindestens eines Bildes von der vor dem Fahrzeug liegenden Umgebung; Mittel zum Bestimmen mindestens einer Trajektorie, auf der sich das Fahrzeug wahrscheinlich bewegen wird; Mittel zur Bestimmung aus den Bilddaten der 3D-Kamera – ob ein über der Trajektorie befindliches Objekt vorliegt und – ob dieses eine oder mehrere Verbindungen zum Boden aufweist; und Mittel zur Bestimmung, ob eine Durchfahrt des Objekts möglich ist, durch Bestimmen von Abmessungen und Form der Eintrittsfläche zwischen Objekt und Fahrbahn aus den Bilddaten.