WO2014161691A1

WO2014161691A1 - Verfahren und vorrichtung zum führen eines fahrzeugs im umfeld eines objekts

Info

Publication number: WO2014161691A1
Application number: PCT/EP2014/053292
Authority: WO
Inventors: Yuefeng Ma; Thomas GUSSNER; Folko Flehmig
Original assignee: Robert Bosch Gmbh
Priority date: 2013-04-03
Filing date: 2014-02-20
Publication date: 2014-10-09
Also published as: CN105103210A; US9734719B2; US20160063865A1; DE102013205882A1; CN105103210B

Abstract

Die Erfindung betrifft ein Verfahren zum Führen eines Fahrzeugs (100) im Umfeld eines Objekts. Das Verfahren umfasst einen Schritt des Einlesens einer Mehrzahl von Sichtstrahlenendpunkten (110) in einem von einer Stereokamera (1 18) des Fahrzeugs (100) erzeugten dreidimensionalen Abbild einer das Objekt (102) enthaltenden Umgebung des Fahrzeugs (100), wobei mindestens einer der Sichtstrahlenendpunkte (110) eine Au ßenfläche des Objektes (102) repräsentiert, einen Schritt des Verbindens der Mehrzahl von Sichtstrahlenendpunkten (110) zur Bildung eines Polygons, das eine Freifläche zum Befahren durch das Fahrzeug (100) repräsentiert, und einen Schritt des Generierens eines für das Fahrzeug (100) vorgesehenen Fahrkorridors zum Umfahren des Objekts (102), basierend auf der Freifläche.

Description

Beschreibung

Titel

Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts

Stand der Technik

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.

Es existieren verschiedene Systeme, die den Fahrer eines Fahrzeugs aktiv bei der Querführung des Fahrzeugs unterstützen. Bekannt sind hier insbesondere LKS (Lane Keep System) und LDW (Lane Departure Warning System =

Spurhalteassistent). Diese Systeme reagieren üblicherweise auf Linien, z. B. auf Autobahnen und Landstraßen, die etwa mittels einer Mono-Kamera erfasst werden.

Die DE 10 2009 053 807 A1 offenbart ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs beim Einparken. Das Verfahren wird aktiviert, sobald der Fahrer den Rückwärtsgang des Fahrzeugs einstellt, und umfasst das Erkennen von Hindernissen im Bereich der durch den Lenkwinkel vorgegebenen Solltrajektorie aus den Daten mindestens eines Umfeldsensors und das

Aufbringen eines korrigierenden Lenkmomentes in die Richtung, die von einem erkannten Hindernis weg weist, um dem Fahrer das Ausweichen vor dem Hindernis zu erleichtern.

Offenbarung der Erfindung

Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes

Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt.

Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.

Mit einem Verfahren, das basierend auf einer Verbindung von Punkten in einem dreidimensionalen Abbild einer Umgebung eines Fahrzeugs eine virtuelle Freifläche zum Umfahren eines zeitlich veränderlichen Objekts ermittelt, kann ein Fahrer des Fahrzeugs bei einer Querführung insbesondere in städtischer Umgebung wirkungsvoll unterstützt werden.

Das hier vorgeschlagene Verfahren und ein entsprechendes System können beispielsweise ein Objekt in Form einer Randbebauung, insbesondere einer sich veränderlichen Randbebauung, eine sich öffnende Tür bei parkenden Autos, ein ausparkendes Auto oder Objekte, die z. B. von Fu ßgängern zwischen parkenden Autos in die Fahrbahn geschoben werden, berücksichtigen.

Ziel einer durch das hier vorgeschlagene Konzept realisierbaren Assistenz kann dabei statt eines Notausweichmanövers bzw. einer automatische Notbremsung lediglich z. B. ein Aufbringen eines begrenzten, automatisch aufgeschalteten Lenkmoments sein, das den - z. B. abgelenkten - Fahrer knapp am in die Fahrbahn ragenden Hindernis vorbeilenkt.

So kann vorteilhafterweise ein subjektives Sicherheitsempfinden des Fahrers bei knapper Vorbeifahrt an Hindernissen, wie parkenden Autos, steigen, indem beispielsweise bei zu starker Annäherung ein spürbares Gegenmoment am Lenkrad aufgebaut wird. Mit besonderem Augenmerk auf Hindernisse in städtischer Umgebung wie parkende Autos wird hierin ein Konzept zum vorteilhaften Umgang mit zeitlich veränderlicher Randbebauung vorgeschlagen, wie sie etwa auftritt, wenn ein am Rand parkendes Auto die Tür öffnet.

Ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts weist die folgenden Schritte auf:

Einlesen einer Mehrzahl von Sichtstrahlenendpunkten in einem

dreidimensionalen Abbild einer das Objekt enthaltenden Umgebung des Fahrzeugs, wobei das dreidimensionale Abbild ein von einer Stereokamera des Fahrzeugs erzeugtes Bild repräsentiert und mindestens einer der

Sichtstrahlenendpunkte eine Au ßenfläche des Objektes repräsentiert;

Verbinden der Mehrzahl von Sichtstrahlenendpunkten zur Bildung eines

Polygons, das eine Freifläche zum Befahren durch das Fahrzeug repräsentiert; und

Generieren eines für das Fahrzeug vorgesehenen Fahrkorridors zum Umfahren des zeitlich veränderlichen Objekts, basierend auf der Freifläche.

Das Verfahren ist beispielsweise zum Einsatz in einem Straßenfahrzeug wie einem Personenkraftwagen oder Lastkraftwagen geeignet. Unter Verwendung des Fahrkorridors kann das Objekt umfahren werden. Unter dem Umfahren des Objekts kann ein Vorbeifahren an dem Objekt in einem ausreichenden

Sicherheitsabstand, um das Objekt oder das Fahrzeug nicht zu beschädigen, verstanden werden. Das Fahrzeug kann das Objekt z. B. auf einer definierten Solltrajektorie umfahren. Das Umfahren kann insbesondere einen Lenkausschlag des Fahrzeugs voraussetzen. Unter dem Objekt kann ein Hindernis verstanden werden, das sich während eines Zeitraums einer Dauer der Umfahrung durch das Fahrzeug in seinem Umfang oder seiner Ausprägung in sich oder in Bezug zu dem vorbeifahrenden Fahrzeug verändert. Beispielsweise kann sich ein seitlicher Abstand zwischen dem Fahrzeug und dem Objekt verändern, während das Fahrzeug an dem Objekt vorbeifährt. Dies kann erfolgen, weil sich das Objekt selbst bewegt oder weil das Objekt auf der dem Fahrzeug zugewandten Seite eine unregelmäßige Au ßenkontur aufweist. Somit kann das Objekt als ein sich zeitlich tatsächlich oder aus Sicht des Fahrzeugs veränderndes Objekt betrachtet werden. Diese Veränderung kann dabei insbesondere von solcher Natur sein, dass sie eine Lenkbewegung für ein Ausweichmanöver des

Fahrzeugs während der Vorbeifahrt am Objekt oder zumindest eine Bereitschaft, ein solches Lenkmanöver u. U. schnell ausführen zu müssen, erfordert.

Beispielsweise kann es sich bei dem Objekt um ein am Straßenrand geparktes weiteres Fahrzeug handeln. Ein derartiges Objekt kann beispielsweise dahin gehend zeitlich veränderlich sein, dass sich während einer Vorbeifahrt des Fahrzeugs eine Tür des geparkten weiteren Fahrzeugs zur Straßenseite hin öffnet. Auch ein sich aus einer Lücke zwischen zwei geparkten Fahrzeugen in Richtung der Fahrbahn vorschiebendes weiteres Objekt oder eine sich am Straßenrand entlang bewegende Person können als sich zeitlich veränderliche Objekte charakterisiert werden. Als Sichtstrahlen können Wege zwischen der Stereokamera und einem Ende einer Sichtweite der Stereokamera bezeichnet werden. Das Ende der Sichtweite kann beispielsweise dadurch bestimmt werden, dass ein in einer bestimmten Entfernung in dem Sichtstrahl angeordnetes Objekt eine Sicht der Kamera auf ein hinter dem Objekt liegendes Umfeld verdeckt. Alternativ kann das Ende der Sichtweite auch durch ein Ende eines für die Stereokamera spezifizierten Sichtbereichs gekennzeichnet sein, etwa wenn ein Sichtstrahl auf einen unobstruierten Horizont gerichtet ist. Die

Sichtstrahlenendpunkte können entsprechend Positionen in dem

dreidimensionalen Abbild bezeichnen, an denen von der Stereokamera ausgehende Sichtstrahlen aufgrund eines der vorgenannten Faktoren enden. Bei der Umgebung des Fahrzeugs kann es sich um ein für das Fahrzeug relevantes Verkehrsgeschehen oder eine relevante Bebauung, insbesondere eine

Randbebauung, handeln. Die Randbebauung kann auch z. B. geparkte

Fahrzeuge mit einbeziehen. Bei dem Fahrkorridor kann es sich um einen virtuellen Verkehrsweg zum Befahren durch das Fahrzeug handeln. Er kann in Form und Verlauf auf einer zuvor ermittelten Solltrajektorie zur Umfahrung des Objekts basieren. Der Fahrkorridor kann durch virtuelle durchgezogene oder unterbrochene Seitenränder begrenzt sein, innerhalb derer die Umfahrung des Objekts vollzogen wird. Um eine Fahrt des Fahrzeugs innerhalb des

Fahrkorridors zu gewährleisten, kann an geeigneter Stelle ein Lenkmoment aufgebracht werden.

Gemäß einer Ausführungsform weist das Verfahren einen Schritt des Erstellens des dreidimensionalen Abbilds in Form einer Disparitätskarte basierend auf einem ersten Bild und einem zweiten Bild der Stereokamera auf. Dabei kann jedem einer Mehrzahl von Punkten des dreidimensionalen Abbilds ein

vorbestimmter Entfernungswert zugeordnet werden. Bei dem ersten und dem zweiten Bild kann es sich um je eine Aufnahme des vor dem Fahrzeug liegenden Umfelds von zwei optischen Sensoren der Stereokamera zur stereoskopischen Wiedergabe des Umfelds handeln. Zur Darstellung der räumlichen Tiefe kann die Disparitätskarte so aufgebaut sein, dass jedem Entfernungswert ein

vorbestimmter Farbwert zugeordnet ist. Damit können die spezifischen

Entfernungen von in dem dreidimensionalen Abbild enthaltenen Objekten farblich oder durch elektronisch verarbeitbare Parameter oder Werte dargestellt werden. Der Entfernungswert kann einen Abstand jedes Teilbereichs eines im Abbild enthaltenen Objekts von dem Fahrzeug bzw. der Stereokamera des Fahrzeugs beschreiben. Mit dieser Ausführungsform kann eine entfernungstechnische Zuordnung abgebildeter Objekte besonders einfach und schnell erfolgen.

Insbesondere kann das Verfahren einen Schritt des Bestimmens einer Auswahl von Punkten aus der Mehrzahl von Punkten des dreidimensionalen Abbilds, die das Objekt und/oder ein Sichtbereichsende der Stereokamera repräsentieren, als die Mehrzahl von Sichtstrahlenendpunkten des dreidimensionalen Abbildes aufweisen. Diese Ausführungsform weist den Vorteil auf, dass durch die

Bestimmung einer weniger relevanter Punkte des dreidimensionalen Abbilds eine Form bzw. ein Ausmaß der Freifläche zum Befahren des Fahrzeugs mit geringem Rechenaufwand bestimmt und aktualisiert werden kann.

Beispielsweise kann in dem Schritt des Bestimmens die Auswahl der Punkte durch zeilenweises Abtasten und spaltenweises Kombinieren der Mehrzahl von Punkten des dreidimensionalen Abbildes erfolgen. Mit dieser Ausführungsform können die Punkte der Auswahl anhand der Verifizierung durch das spaltenweise Kombinieren mit einer geringen Fehlerquote bestimmt werden.

Auch kann in dem Schritt des Bestimmens bei dem spaltenweisen Kombinieren eine Relativgeschwindigkeit zwischen dem Fahrzeug und dem Objekt und/oder dem Sichtbereichsende berücksichtigt werden, um einen zeilenweisen Versatz der Punkte innerhalb des dreidimensionalen Abbildes auszugleichen. So kann gewährleistet werden, dass eine Form bzw. ein Ausmaß der durch das Polygon beschriebenen Freifläche zu jedem Zeitpunkt der Fahrt des Fahrzeugs die tatsächlichen örtlichen Gegebenheiten korrekt widerspiegelt. Gemäß einer weiteren Ausführungsform des Verfahrens kann in dem Schritt des

Verbindens oder in dem Schritt des Bestimmens eine zeitliche Filterung eingesetzt werden. Mit einer derartigen Filterung kann die ermittelte Freifläche um Messfehler bereinigt werden. Diese Ausführungsform ermöglicht eine vorteilhafte Echtzeitberechnung und -aktualisierung der Freifläche zu jedem Zeitpunkt einer Fahrt des Fahrzeugs. Beispielsweise kann die zeitliche Filterung durch ein Kaiman-Filter erfolgen. Dadurch können relevante Parameter gut berücksichtigt werden.

Gemäß einer weiteren Ausführungsform kann in dem Schritt des Generierens ein Seitenrand des Fahrkorridors mit einem vorbestimmten Abstand zu dem Objekt ermittelt werden. So kann auf einfache Weise ein zusätzlicher

Sicherheitsabstand zu dem Objekt gewonnen werden, um zu verhindern, dass z. B. sehr schnelle Ortsveränderungen des Objekts, die nicht genügend Zeit für ein ausreichendes Lenkmoment lassen, zu einer Beschädigung des Fahrzeugs und/oder des Objekts führen.

In dem Schritt des Generierens kann ferner eine Größe des vorbestimmten Abstands in Abhängigkeit von einer Klassifizierung des Objekts bestimmt werden. So kann der Fahrkorridor in Form und Verlauf noch genauer an die aktuellen Gegebenheiten angepasst werden und beispielsweise in einem größeren Abstand zu dem Objekt verlaufen, wenn das Objekt z. B. als eine Person oder ein Fahrzeug klassifiziert ist und in einem geringeren Abstand zu dem Objekt verlaufen, wenn das Objekt z. B. als eine Bepflanzung klassifiziert ist. So kann vorteilhaft ein Sicherheitsempfinden eines Fahrers des Fahrzeugs geschult bzw. verbessert werden.

Eine Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts weist die folgenden Merkmale auf: eine Einleseeinrichtung zum Einlesen einer Mehrzahl von

Sichtstrahlenendpunkten in einem dreidimensionalen Abbild einer das Objekt enthaltenden Umgebung des Fahrzeugs, wobei das dreidimensionale Abbild ein von einer Stereokamera des Fahrzeugs erzeugtes Bild repräsentiert und mindestens einer der Sichtstrahlenendpunkte eine Au ßenfläche des Objektes repräsentiert; eine Verbindungseinrichtung zum Verbinden der Mehrzahl von

Sichtstrahlenendpunkten zur Bildung eines Polygons, das eine Freifläche zum Befahren durch das Fahrzeug repräsentiert; und eine Generiereinrichtung zum Generieren eines für das Fahrzeug vorgesehenen Fahrkorridors zum Umfahren des Objekts, basierend auf der Freifläche.

Die Vorrichtung kann ausgebildet sein, um die Schritte des erfindungsgemäßen Verfahrens in ihren entsprechenden Einrichtungen durchzuführen bzw.

umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem MikroController neben anderen Softwaremodulen vorhanden sind.

Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem

Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen

Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.

Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:

Fig. 1 ein Blockschaltbild einer Vorrichtung zum Umfahren eines Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; Fig. 2 eine Prinzipdarstellung eines dreidimensionalen Abbilds mit einem eine Freifläche zum Befahren durch das Fahrzeug bildenden Polygon, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 3 eine Darstellung von Seitenrändern eines Fahrkorridors zum Umfahren von Objekten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 4 ein Ablaufdiagramm eines Verfahrens zum Umfahren eines Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 5 Abbildungen zur Darstellung von Zwischenergebnissen von Algorithmen des Verfahrens aus Fig. 3; und

Fig. 6 einen Überblick über ein Gesamtsystem zum Umfahren eines Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren

dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche

Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Fig. 1 zeigt in vereinfachter Darstellung eine beispielhafte Verkehrsszene, in der sich ein Fahrzeug 100 kurz vor einer Vorbeifahrt an einem Objekt 102 am

Straßenrand befindet. Das Fahrzeug 100 bewegt sich in einer durch einen Pfeil in der Darstellung gekennzeichneten Fahrtrichtung 104 auf das Objekt 102 zu. Bei dem Objekt 102 handelt es sich um ein zeitlich veränderliches Objekt, das heißt, es verändert seine Position relativ zu dem Fahrzeug 100, während sich dieses an ihm vorbeibewegt. Wie es durch einen in Strichlinien in der Darstellung gekennzeichneten Umriss des zeitlich veränderlichen Objekts 102 angedeutet ist, bewegt sich hier das Objekt 102 zu einem aktuellen Zeitpunkt der Vorbeifahrt des Fahrzeugs 100 schräg auf das Fahrzeug 100 zu. Bei dem Objekt 102 handelt es sich im in Fig. 1 gezeigten Ausführungsbeispiel um ein aus einer Parklücke ausparkendes weiteres Fahrzeug. Es kann sich bei dem zeitlich veränderlichen Objekt 102 aber auch um eine sich am Straßenrand entlang bewegende Person oder ein Gebüsch, das in die Fahrbahn hineinragt, handeln. Die

Positionsveränderung des Objekts 102 relativ zu dem Fahrzeug 100 gestaltet sich gemäß einem weiteren Ausführungsbeispiel auch ohne, dass sich das Objekt 102 an sich bewegt, z. B. durch eine sich öffnende Fahrertür eines geparkten Fahrzeugs.

Wie die Darstellung in Fig. 1 zeigt, ist das Fahrzeug 100 mit einer Vorrichtung 106 zum Führen des Fahrzeugs 100 im Umfeld zumindest eines Objekts 102 und insbesondere zum Umfahren zumindest eines zeitlich veränderlichen Objekts 102 ausgestattet. Die Vorrichtung 106 umfasst eine Einleseeinrichtung 108 zum

Einlesen einer Mehrzahl von Sichtstrahlenendpunkten 1 10, eine

Verbindungseinrichtung 1 12 zum Verbinden der Mehrzahl von

Sichtstrahlenendpunkten 1 10 zur Bildung eines Polygons und eine

Generiereinrichtung 1 14 zum Generieren eines Fahrkorridors zum Umfahren des zeitlich veränderlichen Objekts 102. Wie aus der Darstellung ersichtlich ist, kennzeichnen die Sichtstrahlenendpunkte 1 10 jeweils ein Ende einer Mehrzahl von Sichtstrahlen 1 16, die von einer im Fahrzeug 100 installierten Stereokamera 1 18 ausgehen. Die Anzahl der in Fig. 1 gezeigten Sichtstrahlen 1 16 und der entsprechenden Sichtstrahlenendpunkte 1 10 ist lediglich der Übersichtlichkeit halber auf wenige reduziert. Selbstverständlich geht in der Realität eine hohe

Vielzahl von Sichtstrahlen 1 16 von der Kamera 1 18 aus. Wie es aus der Darstellung in Fig. 1 gut ersichtlich ist, trifft ein Teil der von der Stereokamera 1 18 ausgehenden Sichtstrahlen 1 16 auf dem Objekt 102 auf und endet dort. Entsprechend repräsentieren die Sichtstrahlenendpunkte 1 10 dieser

Sichtstrahlen 1 16 eine Außenfläche bzw. einen Abschnitt einer Außenfläche des

Objekts 102. Bei dem in Fig. 1 gezeigten Ausführungsbeispiel des zeitlich veränderlichen Objekts 102 repräsentieren die Sichtstrahlenendpunkte 1 10 Bereiche einer Karosserie des ausparkenden weiteren Fahrzeugs 102. Ein weiterer Teil der von der Kamera 1 18 ausgehenden Sichtstrahlen 1 16 kann sich in der in Fig. 1 dargestellten beispielhaften Szene ungehindert erstrecken und erreicht somit ein durch eine Punkt-Strich-Linie in der Darstellung

gekennzeichnetes Sichtbereichsende 120 der Stereokamera 1 18.

Die Vorrichtung 106 ist ausgebildet, um in einer geeigneten Einrichtung (in den Figuren nicht gezeigt) basierend auf sämtlichen Sichtstrahlenendpunkten 1 10 ein dreidimensionales Abbild einer das Objekt 102 aufweisenden Fahrzeugumgebung zu generieren. In Form einer Disparitätskarte kann ein derartiges dreidimensionales Abbild Entfernungswerte der

Sichtstrahlenendpunkte 1 10 darstellen, auf deren Basis eine geeignete

Fahrtrajektorie zur Umfahrung des zeitlich veränderlichen Objekts 102 berechnet wird. Darauf wird anhand der nachfolgenden Fig. 2 noch genauer eingegangen.

Die Einleseeinrichtung 108 der Vorrichtung 106 liest über eine geeignete Schnittstelle eine Information der Mehrzahl von Sichtstrahlenendpunkten 1 10 aus der Stereokamera 1 18 ein, bereitet die Information für die

Verbindungseinrichtung 1 12 auf und übergibt sie an diese über eine weitere geeignete Schnittstelle. Die Verbindungseinrichtung 1 12 verbindet die Mehrzahl von Sichtstrahlenendpunkten 1 10 zur Bildung eines Polygons, das eine

Freifläche zum Befahren durch das Fahrzeug 100 bildet, auf deren Basis in der mit der Verbindungseinrichtung 1 12 über eine weitere Schnittstelle gekoppelten Generiereinrichtung 1 14 der Fahrkorridor zum Umfahren des zeitlich

veränderlichen Objekts 102 ermittelt wird.

Fig. 2 zeigt in einer vereinfachten Darstellung ein dreidimensionales Abbild 200 einer beispielhaften Fahrzeugumgebung des Fahrzeugs aus Fig. 1 . Das dreidimensionale Abbild 200 basiert auf je einer Aufnahme von zwei optischen

Sensoren der Stereokamera aus Fig. 1 und liegt in Form einer Disparitätskarte vor. Das am Straßenrand angeordnete zu umfahrende zeitlich veränderliche Objekt 102 aus Fig. 1 ist am rechten Bildrand dargestellt. Zudem zeigt die Disparitätskarte 200 am linken Bildrand ein weiteres Objekt, das an einem gegenüberliegenden Straßenrand angeordnet ist. Die Disparitätskarte 200 ist aus einer Mehrzahl von Punkten zusammengesetzt, wobei jedem Punkt ein vorbestimmter Entfernungswert zugeordnet ist. Die Darstellung in Fig. 2 zeigt eine Mehrzahl von Sichtstrahlenendpunkten 1 10, die beispielsweise durch zeilenweises Abtasten des dreidimensionalen Abbildes 200 ausgewählt und durch spaltenweises Kombinieren der Auswahl bestimmt wurden. Der

Bestimmung zufolge repräsentieren die oben im Abbild 200 gezeigten

Sichtstrahlenendpunkte 1 10 ein Sichtbereichsende der Kamera und die weiteren gezeigten Sichtstrahlenendpunkte 1 10 Au ßenbereiche des Objekts 102 sowie des weiteren Objekts. Unter Verwendung einer zeitlichen Filterung mittels eines Kaiman-Filters werden die Sichtstrahlenendpunkte 1 10 zu einem Polygon verbunden, das eine Freifläche 202 zum Befahren durch das Fahrzeug bildet. Basierend auf der Freifläche 202 werden in ausreichendem Abstand zu dem Objekt 102 Seitenränder 204 eines Fahrkorridors 206 generiert, in dem das Fahrzeug das Objekt 102 umfährt. Wie die Darstellung in Fig. 2 zeigt, wurde der Fahrkorridor 206 bei diesem Ausführungsbeispiel so generiert, dass er einen durch einen Doppelpfeil gekennzeichneten vorbestimmten Abstand 208 zu dem

Objekt 102 aufweist. Gemäß einem Ausführungsbeispiel der Erfindung wird der Fahrkorridor 206 basierend auf einer in geeigneten Abstand zu dem Objekt verlaufenden Solltrajektorie 210 ermittelt. Entsprechend dieser Ausführung wird ein Lenkmoment aufgeschaltet, wenn der Fahrer des Fahrzeugs beim Umfahren des Objekts 102 die Solltrajektorie 210 verlässt. Bei dem anhand der Darstellung in Fig. 2 erläuterten Ausführungsbeispiel der hierin vorgestellten Vorrichtung ist die Größe des Abstands 208 von einer erfolgten Klassifizierung des zeitlich veränderlichen Objekts abhängig. Da hier das Objekt 102 als ein ausparkendes Fahrzeug klassifiziert wurde, ist der Abstand 210 größer als er es wäre, wenn das Objekt 102 beispielsweise als ein Gebüsch klassifiziert worden wäre.

Fig. 3 zeigt eine Darstellung von einem linken und einem rechten Seitenrand 204 eines Ausführungsbeispiels des Fahrkorridors 206 aus Fig. 2. Die Darstellung in Fig. 3 zeigt ein dreidimensionales Abbild 200 eines städtischen Szenarios.

Gezeigt ist eine Fahrbahn sowie links und rechts der Fahrbahn unterschiedliche

Hindernisse, hier in Form einer Randbebauung, geparkter Fahrzeuge sowie sich zwischen den geparkten Fahrzeugen und der Fahrbahn bewegender Personen. Die Seitenränder 204 des Fahrkorridors 206 sind zur Veranschaulichung des hierin vorgestellten Konzepts in der Darstellung in Fig. 3 durch virtuelle graue „Bänder" dargestellt. Die Fahrkorridorränder 204 überbrücken hier Lücken zwischen den Hindernissen, die zwar physikalisch vom Fahrzeug durchfahren werden können, aber wahrscheinlich nicht befahren werden. Die Seitenränder 204 bilden somit eine lückenlose Begrenzung für den Korridor 206. Ein Verlauf der Seitenränder 204 wurde basierend auf unterschiedlichen Klassifikatoren, die die Randbebauung, die geparkten Fahrzeuge und die sich bewegenden

Personen betreffen, generiert. Die in der Darstellung gezeigten Seitenränder 204 können beispielsweise mittels einer Blickfeldanzeige bzw. eines Head-Up- Displays für einen Fahrer des Fahrzeugs sichtbar gemacht werden. Dies ist aber für eine Funktion der hier vorgestellten Vorrichtung bzw. eines entsprechenden Verfahrens nicht notwendig. Fig. 4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zum Umfahren eines zeitlich veränderlichen Objekts oder zum Führen eines Fahrzeugs im Umfeld eines Objekts. In einem Schritt 402 wird basierend auf einem ersten Bild und einem zweiten Bild einer Stereokamera eines Fahrzeugs ein dreidimensionales Abbild einer das Objekt enthaltenden Umgebung des

Fahrzeugs in Form einer Disparitätskarte erstellt, wobei jedem einer Mehrzahl von Punkten des dreidimensionalen Abbilds ein vorbestimmter Entfernungswert zugeordnet wird. In einem Schritt 404 wird eine Auswahl dieser Punkte als eine Mehrzahl von Sichtstrahlenendpunkten des dreidimensionalen Abbildes bestimmt. Mindestens einer der Sichtstrahlenendpunkte repräsentiert dabei einen

Bereich einer Au ßenfläche des Objektes. In einem Schritt 406 wird die Mehrzahl von Sichtstrahlenendpunkten in eine Einleseeinrichtung einer das Verfahren 400 ausführenden Vorrichtung eingelesen. Die einzelnen Sichtstrahlenendpunkte werden anschließend in einem Schritt 408 in einer Verbindungseinrichtung der Vorrichtung zu einem Polygon verbunden. Dieses repräsentiert eine Freifläche zum Befahren durch das Fahrzeug. Basierend auf dieser Freifläche wird in einem Schritt 410 in einer Generiereinrichtung der Vorrichtung ein Fahrkorridor zum Umfahren des zeitlich veränderlichen Objekts generiert. Fig. 5 zeigt eine Reihe von Abbildungen zur Darstellung von

Zwischenergebnissen von Algorithmen des Verfahrens aus Fig. 3, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Ein erstes Bild 500 zeigt ein Ausführungsbeispiel des dreidimensionalen Abbilds 200 einer beispielhaften Fahrzeugumgebung in Form einer Disparitätskarte, wie sie in einer

Stereokamera eingesetzt wird. In der Disparitätskarte 200 ist in der rechten

Bildhälfte das zeitlich veränderliche Objekt 102 in Form eines Fahrzeugs gezeigt. Der Rest der Disparitätskarte 200 zeigt einen bis zum Horizont reichenden Straßenverlauf. Das spaltenweise Erfassen der Hindernisse ist anhand der Strukturierung in einem zweiten Bild 502 der Fahrzeugumgebung gut zu erkennen. Ein drittes Bild 504 der Fahrzeugumgebung zeigt Begrenzungen der zeitlich gefilterten Freifläche, und zwar einmal vom Typ„Hindernis" in Form eines Bandes 506 entlang des Objekts 102 und einmal vom Typ„Ende Sichtbereich" mit einer Knotenlinie entlang des Horizonts, der hier das Sichtbereichsende 120 der Kamera repräsentiert. Ein viertes Bild 508 zeigt einen beispielhaften rechten Seitenrand 204 eines Fahrkorridors zum Umfahren des zeitlich veränderlichen

Objekts 102. Fig. 6 zeigt einen Überblick über einen Funktionsablauf 600 eines

Gesamtsystems zum Umfahren eines zeitlich veränderlichen Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem ersten

Funktionsabschnitt 602 liefert die Stereokamera des Fahrzeugs zwei Bilder. Die

Disparitätsberechnung in einem zweiten Funktionsabschnitt 604 ergibt eine SD- Repräsentation des im Kameraerfassungsbereich liegenden Umfelds. Daraus werden in einem dritten Funktionsabschnitt 606 bildspaltenweise Hindernisse erkannt. Daraus und aus Fahrzeugdaten, wie z. B. Gierrate, Geschwindigkeit, berechnet die zeitliche Filterung in einem vierten Funktionsabschnitt 608 eine

Freifläche, die als Polygon repräsentiert wird. Aus der Freifläche werden - hier mit zusätzlichen Sicherheitsabständen - in einem fünften Funktionsabschnitt 610 ein rechter und linker Fahrkorridorrand geschätzt bzw. bestimmt. Innerhalb dieses Fahrkorridors wird in einem sechsten Funktionsabschnitt 612 eine kollisionsfreie Solltrajektorie geplant, die in einem siebten Funktionsabschnitt 614 von einer Regelung des Fahrzeugs mithilfe eines Lenkmoments eingeregelt wird.

Im Nachfolgenden wird das hierin vorgestellte Konzept der erweiterten

Querführungsassistenz in städtischer Umgebung mit veränderlicher

Randbebauung anhand einer beispielhaften Ausführung und unter Bezugnahme auf sämtliche Figuren nochmals umrissen.

Ein das erfindungsgemäße Verfahren 400 einsetzendes System verwendet die Stereo-Kamera 1 18 als Umfeldsensor. Aus der Disparitätskarte 200 wird für jede Bildzeile des u. U. rektifizierten Bildes bestimmt, ob ein kollisionsrelevantes

Hindernis 102 vorliegt, und welche Position es relativ zum eigenen Fahrzeug 100 hat. Um Messausreißer herauszufiltern und um den Einfluss des Messrauschens zu reduzieren, werden diese spaltenweise vorhandenen Hindernisse 102 mit einem Kaiman-Filter gefiltert und daraus eine gefilterte Freifläche 202 berechnet. Diese Freifläche 202 wird als Polygon dargestellt. Die Eckpunkte 1 10 des

Polygons entsprechen Sichtstrahlen 1 16, die von der Kamera 1 18 ausgehen. Jeder Sichtstrahl 1 16 bzw. Eckpunkt 1 10 des Polygons hat entweder die

Eigenschaft, dass er das Ende des Sichtbereichs 120 der Kamera 1 18 markiert, wenn kein Hindernis detektiert wurde, oder die Position des nächstliegenden Hindernisses 102 angibt. Die Filterung findet zunächst für jede Bildzeile - bzw. für jeden Sichtstrahl 1 16 - getrennt statt. Da sich das Ego-Fahrzeug 100 jedoch bewegt, muss vor jedem Filterupdate zunächst die gefilterte Freifläche 202 um die Ego-Bewegung des Fahrzeugs 100 verschoben werden. Da nun das

Freiflächenpolygon 202 nicht mehr die Eigenschaft hat, dass jeder Knotenpunkt 1 10 einer Bildspalte entspricht, wird anschließend das Polygon so neu abgetastet, dass dies wieder der Fall ist.

Um auf sich verändernde Randbebauung - wie etwa eine sich öffnende Tür eines Fahrzeugs - reagieren zu können, sind die Parameter des Kaiman-Filters so eingestellt, dass die gefilterte Freifläche 202 schnell genug den sich verändernden Hindernissen 102 folgen kann. Diese Eigenschaft wird

insbesondere über eine Kovarianzmatrix des Zustandsrauschens im Kaiman- Filter eingestellt. Deren Einträge sind entsprechend ausreichend groß bemessen. Messausreißer werden durch Gating vor dem Filter-Update aussortiert.

Au ßerdem werden für nachfolgende Rechenschritte nur solche Knotenpunkte 1 10 der Freifläche 202 verwendet, deren Varianz einen Maximalwert

unterschreitet.

Basierend auf dem gefilterten Freiflächenpolygon 202 wird der Fahrkorridor 206 bestimmt, der durch den rechten und linken Fahrkorridorrand 204 beschrieben wird. Die Fahrkorridorränder 204 können beispielsweise auch Lücken zwischen

Hindernissen 102 überbrücken, die zwar physikalisch vom Fahrzeug 100 durchfahren werden können, aber wahrscheinlich nicht befahren werden.

Nach der Fahrkorridorbestimmung werden die Sicherheitsabstände 208 zu beiden Fahrkorridorrändern 204 addiert, um sicherzustellen, dass die

Randbebauung mit geeignetem Sicherheitsabstand, z. B. 30 cm, passiert wird. Steht gemäß einem Ausführungsbeispiel der Erfindung ein geeigneter Mono- Klassifikator für die Randbebauung zur Verfügung, so wird dieser

Sicherheitsabstand 208 objektabhängig gewählt. So kann bei einer Vorbeifahrt an parkenden Autos ein höherer Sicherheitsabstand gewählt werden als bei der

Vorbeifahrt an Gebüschen.

Mithilfe der oben beschrieben bestimmten Fahrkorridorränder 204 wird gemäß einem Ausführungsbeispiel des hierin vorgestellten Verfahrens die Solltrajektorie 210 zwischen den Fahrkorridorrändern 204 geplant, die zu einer möglichst kleinen Sollgierrate führt, sodass das Fahrzeug 100 nicht die Fahrkorridorränder 204 berührt oder schneidet, wenn es der Solltrajektorie 210 folgt. Die

Solltrajektorie 210 wird schließlich von einem Regler eingeregelt, indem - vergleichbar zu LKS - ein Lenkmoment gestellt wird. Die Funktion bildet eine virtuelle Wand, an die sich der Fahrer anlehnt. Da die Solltrajektorie 210 in jedem Zyklus neu berechnet wird, wird auf sich verändernde Randbebauung wie eine sich öffnende Tür durch eine instantan angepasste Solltrajektorie 210 reagiert. Somit werden entsprechend angepasste Reglerlenkmomente sofort angepasst. Das Fahrzeug 100 wird dann um das neu erscheinende Hindernis 102 herum gelenkt.

Der beschriebenen Ansatz kann in einem Fahrerassistenzsystem, beispielsweise auch als Erweiterung eines sogenannten Baustellenassistenten eingesetzt werden.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.

Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.

Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (400) zum Führen eines Fahrzeugs (100) im Umfeld eines Objekts (102), wobei das Verfahren (400) die folgenden Schritte aufweist:

Einlesen (406) einer Mehrzahl von Sichtstrahlenendpunkten (1 10) in einem dreidimensionalen Abbild (200) einer das Objekt (102) enthaltenden

Umgebung des Fahrzeugs (100), wobei das dreidimensionale Abbild (200) ein von einer Stereokamera (1 18) des Fahrzeugs (100) erzeugtes Bild repräsentiert und mindestens einer der Sichtstrahlenendpunkte (1 10) eine Au ßenfläche des Objektes (102) repräsentiert;

Verbinden (408) der Mehrzahl von Sichtstrahlenendpunkten (1 10) zur Bildung eines Polygons, das eine Freifläche (202) zum Befahren durch das Fahrzeug (100) repräsentiert; und

Generieren (410) eines für das Fahrzeug (100) vorgesehenen Fahrkorridors (206) zum Umfahren des Objekts (102), basierend auf der Freifläche (202).

Verfahren (400) gemäß Anspruch 1 , mit einem Schritt des Erstellens (402) (402) des dreidimensionalen Abbilds (200) in Form einer Disparitätskarte basierend auf einem ersten Bild und einem zweiten Bild der Stereokamera (1 18), wobei jedem einer Mehrzahl von Punkten des dreidimensionalen Abbilds (200) ein vorbestimmter Entfernungswert zugeordnet wird.

Verfahren (400) gemäß Anspruch 2, mit einem Schritt des Bestimmens (404) einer Auswahl von Punkten aus der Mehrzahl von Punkten des

dreidimensionalen Abbilds (200), die das Objekt (102) und/oder ein

Sichtbereichsende (120) der Stereokamera (1 18) repräsentieren, als die Mehrzahl von Sichtstrahlenendpunkten (1 10) des dreidimensionalen Abbilds (200). Verfahren (400) gemäß Anspruch 3, bei dem in dem Schritt des Bestimmens (404) die Auswahl der Punkte durch zeilenweises Abtasten und

spaltenweises Kombinieren der Mehrzahl von Punkten des

dreidimensionalen Abbilds (200) erfolgt.

Verfahren (400) gemäß Anspruch 4, bei dem in dem Schritt des Bestimmens (404) bei dem spaltenweisen Kombinieren eine Relativgeschwindigkeit (104) zwischen dem Fahrzeug (100) und dem Objekt (102) und/oder dem

Sichtbereichsende (120) berücksichtigt wird, um einen zeilenweisen Versatz der Punkte innerhalb des dreidimensionalen Abbildes (200) auszugleichen.

Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem in dem Schritt des Verbindens (408) oder in dem Schritt des Bestimmens (404) eine zeitliche Filterung eingesetzt wird.

Verfahren (400) gemäß Anspruch 6, bei dem die zeitliche Filterung durch ein Kaiman-Filter erfolgt.

Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem in dem Schritt des Generierens (410) ein Seitenrand (204) des Fahrkorridors (206) mit einem vorbestimmten Abstand (208) zu dem Objekt (102) ermittelt wird.

Verfahren (400) gemäß Anspruch 8, bei dem in dem Schritt des Generierens (410) eine Größe des vorbestimmten Abstands (208) in Abhängigkeit von einer Klassifizierung des Objekts (102) bestimmt wird.

0. Vorrichtung (106) zum Führen eines Fahrzeugs (100) im Umfeld eines

Objekts (102), wobei die Vorrichtung (106) die folgenden Merkmale aufweist: eine Einleseeinrichtung (108) zum Einlesen einer Mehrzahl von

Sichtstrahlenendpunkten (1 10) in einem dreidimensionalen Abbild (200) einer das Objekt (102) enthaltenden Umgebung des Fahrzeugs (100), wobei das dreidimensionale Abbild (200) ein von einer Stereokamera (1 18) des Fahrzeugs (100) erzeugtes Bild repräsentiert und mindestens einer der Sichtstrahlenendpunkte (1 10) eine Außenfläche des Objektes (102) repräsentiert; eine Verbindungseinrichtung (1 12) zum Verbinden der Mehrzahl von Sichtstrahlenendpunkten (1 10) zur Bildung eines Polygons, das eine Freifläche (202) zum Befahren durch das Fahrzeug (100) repräsentiert; und eine Generiereinrichtung (1 14) zum Generieren eines für das Fahrzeug (100) vorgesehenen Fahrkorridors (206) zum Umfahren des Objekts (102), basierend auf der Freifläche (202). Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (400) nach einem der Ansprüche 1 bis 9, wenn das

Programmprodukt auf einer Vorrichtung (106) ausgeführt wird.