DE102018113344A1

DE102018113344A1 - Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung nach einer Lernfahrt; Steuereinrichtung sowie Fahrassistenzsystem

Info

Publication number: DE102018113344A1
Application number: DE102018113344.8A
Authority: DE
Inventors: Georg Arbeiter; Joerg SCHREPFER
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2019-12-05

Abstract

Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Kraftfahrzeugs (1) in einer Umgebung (U) anhand von Bildern eines Kamerasystems (2) des Kraftfahrzeugs (1), wobei zunächst eine Lernfahrt (16) durchgeführt wird, mit den Schritten:- Bereitstellen zweier Bilder (6) der Umgebung (U) unterschiedlicher Perspektive, die mit dem Kamerasystem (2) aufgenommen werden,- Extrahieren einer dreidimensionalen Punktwolke (8) aus den zwei Bildern (6),- Bestimmen eines dreidimensionalen Merkmals (4) anhand der dreidimensionalen Punktwolke (8), und- Eintragen des einen dreidimensionalen Merkmals (4) in eine digitale Karte (9) der Umgebung (U), und später eine Folgefahrt (17) mit den Schritten durchgeführt wird:- Bereitstellen zweier Folgefahrtbilder (7) der Umgebung (U) unterschiedlicher Perspektive,- Extrahieren einer dreidimensionalen Folgefahrtpunktwolke (10) aus den zwei Folgefahrtbildern (7),- Vergleichen der dreidimensionalen Folgefahrtpunktwolke (10) mit der digitalen Karte (9) der Umgebung (U), und basierend darauf- Lokalisieren des Kraftfahrzeugs (1) in der Umgebung (U).

Description

Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung anhand von Bildern eines Kamerasystems des Kraftfahrzeugs, wobei zunächst eine Lernfahrt und anschließend zumindest eine Folgefahrt durchgeführt werden. Ein zweiter Aspekt der Erfindung betrifft eine Steuereinrichtung zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung anhand von Bildern eines Kamerasystems des Kraftfahrzeugs. Weitere Aspekte der Erfindung betreffen ein Fahrassistenzsystem zum Lokalisieren eines Kraftfahrzeugs sowie ein Computerprogrammprodukt.
Zum autonomen Manövrieren eines Kraftfahrzeugs, beispielsweise durch ein autonomes Steuersystem des Kraftfahrzeugs, wird häufig auf Kartendaten zurückgegriffen. Derartige Kartendaten existieren üblicherweise jedoch nur für den öffentlichen Raum. Zum autonomen Manövrieren des Kraftfahrzeugs auf nicht öffentlichem Raum, beispielsweise einem Privatgrund, stehen somit üblicherweise keine Kartendaten zur Verfügung. Soll das Kraftfahrzeug in einer derartigen nicht kartierten Umgebung autonom bewegt werden, so stehen nur Sensordaten von den Sensoren des Kraftfahrzeugs für die autonome Navigation zur Verfügung. In diesem Kontext ist es bekannt, dass sich das Kraftfahrzeug anhand von Sensordaten, insbesondere Kamerabildern, bewegt.
Beispielsweise offenbart die DE 10 2015 200 167 A1 ein Verfahren zum automatischen Manövrieren eines Fahrzeugs auf eine vordefinierte Zielposition. Dabei werden während einer Trainingsphase, in der ein Fahrer das Kraftfahrzeug von einer ersten Startposition auf die vordefinierte Zielposition manövriert, erste Informationen über ein Fahrzeugumfeld gespeichert. In einer Anwendungsphase werden zweite Informationen über das Fahrzeugumfeld ermittelt und in Abhängigkeit von den ersten Informationen sowie den zweiten Informationen das Fahrzeug automatisch auf die vordefinierte Zielposition manövriert.
Die DE 10 2013 015 349 A1 betrifft ein Verfahren zum Anfahren eines Parkplatzes in einer nicht einsehbaren/straßenfernen Parkzone durch ein Fahrzeug, bei welchem Umgebungsdaten des Fahrzeugs erfasst werden, wobei beim Anfahren des Parkplatzes identifiziert wird, ob dieser ein Heimparkplatz ist und bei identifiziertem Heimparkplatz erfasste Umgebungsdaten oder Fahrerdaten gespeichert oder aktualisiert werden.
Die DE 10 2015 203 016 A1 offenbart ein Verfahren zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld mit einem ersten Verfahrensabschnitt und einem zweiten Verfahrensabschnitt. In dem ersten Verfahrensabschnitt werden mindestens zwei Abbildungen während der Fahrt des Kraftfahrzeugs mit dessen Kamera an unterschiedlichen Positionen erfasst, in den mindestens zwei Abbildungen Merkmale extrahiert und eine dreidimensionale Position der Merkmale stereoskopisch aus den mindestens drei Abbildungen ermittelt. Die Merkmale werden dann in eine dreidimensionale Karte eingetragen. In dem zweiten Verfahrensabschnitt wird im Rahmen einer Folgefahrt mindestens eine weitere Abbildung mit der Kamera erfasst, wobei in der mindestens einen weiteren Abbildung mehrere Merkmale ermittelt werden, für welche anschließend Relativorientierungen zum Kraftfahrzeug ermittelt werden. Anhand der Relativorientierungen wird auf eine Lokalisierungsinformation des Kraftfahrzeugs durch Triangulieren rückgeschlossen.
Es ist Aufgabe der vorliegenden Erfindung, die Erstellung einer dreidimensionalen digitalen Karte sowie die Berechnung von Position und Orientierung des Kraftfahrzeugs anhand der digitalen Karte zu verbessern.
Diese Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung geht aus von einem Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung anhand von Bildern eines Kamerasystems des Kraftfahrzeugs. Dabei wird zunächst eine Lernfahrt mit den folgenden Schritten durchgeführt: Bereitstellen zumindest zweier Bilder der Umgebung, die mit dem Kamerasystem aufgenommen werden, wobei ein Bereich der Umgebung in den zumindest zwei Bildern aus einer unterschiedlichen Perspektive erfasst wird, Extrahieren einer dreidimensionalen Punktwolke aus den zumindest zwei Bildern, Bestimmen zumindest eines dreidimensionalen Merkmals anhand der dreidimensionalen Punktwolke und Eintragen des zumindest einen dreidimensionalen Merkmals in eine digitale Karte der Umgebung. Zu einem späteren Zeitpunkt wird zumindest eine Folgefahrt mit den folgenden Schritten durchgeführt: Bereitstellen zumindest zweier Folgefahrtbilder der Umgebung, die mit dem Kamerasystem aufgenommen werden, wobei ein Bereich der Umgebung in den zumindest zwei Folgefahrtbildern aus einer unterschiedlichen Perspektive erfasst wird, Extrahieren einer dreidimensionalen Folgefahrtpunktwolke aus den zumindest zwei Folgefahrtbildern, Vergleichen der dreidimensionalen Folgefahrtpunktwolke mit der digitalen Karte der Umgebung und Lokalisieren des Kraftfahrzeugs in der Umgebung basierend darauf.
Zum Durchführen des Verfahrens kann eine Steuereinrichtung des Kraftfahrzeugs genutzt werden. Zum Bereitstellen der zwei Bilder können diese aus beziehungsweise von dem Kamerasystem empfangen werden. Insbesondere handelt es sich bei den zwei Bildern der Umgebung um einen sogenannten Front-View, also eine Darstellung eines dem Kraftfahrzeug vorausliegenden Bereichs. Somit kann die jeweilige Perspektive der zwei Bilder gemäß einer Fahrtrichtung des Kraftfahrzeugs ausgerichtet sein. Ein Erfassungsbereich des Kamerasystems kann im Wesentlichen einen dem Kraftfahrzeug in Fahrtrichtung vorausliegenden Bereich der Umgebung umfassen. Mit anderen Worten wird anhand der zwei Bilder der Umgebung vorteilhafterweise ein dem Kraftfahrzeug vorausliegender Bereich der Umgebung erfasst.
Die zwei Bilder können zu unterschiedlichen Zeitpunkten aufgenommen werden, während sich das Kraftfahrzeug bewegt. Somit werden die zwei Bilder ausgehend von unterschiedlichen Position aufgenommen, wodurch die unterschiedlichen Perspektiven entstehen. Aufgrund ihrer unterschiedlichen Perspektive ist in den zwei Bildern gemeinsam eine dreidimensionale Information betreffend die Umgebung enthalten. Mit anderen Worten enthalten die zwei Bilder zusammengenommen eine räumliche Information über die Umgebung. Dies wird vorliegend ausgenutzt, um die dreidimensionale Punktwolke aus den zumindest zwei Bildern zu extrahieren. Bei der dreidimensionalen Punktwolke handelt es sich vorzugsweise um eine semi-dichte oder dichte Verteilung dreidimensionaler Punkte, durch welche die Umgebung repräsentiert wird. Die Punktwolke kann einer Punktwolke, wie sie durch einen Radarsensor oder Lidarsensor bereitgestellt wird, nachempfunden sein. Beispielsweise werden die zwei Bilder auf Pixelebene miteinander verglichen, wobei korrespondierende Pixel ermittelt werden, anhand derer die dreidimensionale Punktwolke extrahiert beziehungsweise bestimmt wird. Vorteilhafterweise wird durch die Punktwolke eine Entfernung von Bereichen der Umgebung von dem Kraftfahrzeug repräsentiert. Beispielsweise wird durch die Punktwolke korrespondierenden Pixeln der zwei Bilder ein jeweiliger Entfernungswert zugeordnet. Somit kann die Punktwolke die räumliche Information, welche in den zumindest zwei Bildern der Umgebung enthalten ist, repräsentieren. Insbesondere sind Entfernungswerte der dreidimensionalen Punktwolke auf eine gemittelte Position bezogen. Die gemittelte Position kann durch Mittelung der jeweiligen Positionen, in denen jedes der zumindest zwei Bilder aufgenommen wurde, bestimmt werden. Zum Extrahieren der dreidimensionalen Punktwolke können die jeweiligen Positionen, in welchen jedes der zumindest zwei Bilder aufgenommen wurde, ausgewertet werden. Hierzu kann beispielsweise eine Position einer Kamera des Kamerasystems am Kraftfahrzeug und/oder eine Position des Kraftfahrzeugs ausgewertet werden.
Das dreidimensionale Merkmal wird nun anhand der dreidimensionalen Punktwolke bestimmt. Mit anderen Worten wird zunächst die räumliche beziehungsweise dreidimensionale Information in Form der dreidimensionalen Punktwolke aus den zumindest zwei Bildern extrahiert und erst anschließend das zumindest eine dreidimensionale Merkmal bestimmt. Das zumindest eine dreidimensionale Merkmal kann ein Objekt in der Umgebung des Kraftfahrzeugs repräsentieren. Im Falle mehrerer dreidimensionaler Merkmale kann jedes der dreidimensionalen Merkmale ein jeweiliges Objekt in der Umgebung des Kraftfahrzeugs repräsentieren. Beim Bestimmen des zumindest einen dreidimensionalen Merkmals können Punkte der Punktwolke bestimmt werden, welche zusammengehören. Beispielsweise werden zusammengehörende Punkte der Punktwolke anhand ihres räumlichen Abstands zueinander bestimmt. Mit anderen Worten können Punkte der dreidimensionalen Punktwolke als zusammengehörend bestimmt werden (insbesondere genau dann) wenn ihr (beispielsweise euklidischer) Abstand zueinander einen vorbestimmten Grenzwert nicht überschreitet. Alternativ oder zusätzlich kann das zumindest eine dreidimensionale Merkmal bestimmt werden, indem ein vorbestimmtes Muster in der dreidimensionalen Punktwolke gesucht beziehungsweise bestimmt wird. Ein solches vorbestimmtes Muster kann durch ein gespeichertes Abbild eines Objekts gegeben sein. Beispielsweise kann ein Abbild eines weiteren Kraftfahrzeugs als ein vorbestimmtes Muster gespeichert sein. Wird dieses Muster nun in der dreidimensionalen Punktwolke erkannt, so können die Pixel der Punktwolke, welche das Muster ausbilden, als das dreidimensionale Merkmal bestimmt werden. Das dreidimensionale Merkmal kann in diesem Fall als Repräsentation eines Fremdfahrzeugs gelten beziehungsweise bestimmt werden.
Anschließend wird das zumindest eine dreidimensionale Merkmal in die digitale Karte der Umgebung eingetragen. Beispielsweise wird die digitale Karte der Umgebung in diesem Schritt neu gebildet. Alternativ kann die digitale Karte durch Eintragen des zumindest einen dreidimensionalen Merkmals weitergebildet werden.
Die Lernfahrt wird insbesondere zum Erstellen der digitalen Karte durchgeführt. Beispielsweise ist vorgesehen, dass das Kraftfahrzeug während der Lernfahrt manuell durch einen Fahrer gesteuert wird. In diesem Fall kann weiter vorgesehen sein, dass das Kraftfahrzeug in den Folgefahrten beziehungsweise in der Folgefahrt anhand der digitalen Karte lokalisiert wird beziehungsweise navigiert. In diesem Fall kann das Kraftfahrzeug während der zumindest einen Folgefahrt teilweise oder vollständig autonom gesteuert werden. Die Folgefahrt wird nach der Lernfahrt zu einem späteren Zeitpunkt durchgeführt. Dieser spätere Zeitpunkt kann jederzeit sein, also beispielsweise direkt im Anschluss, nach einigen Minuten oder Stunden, am nächsten Tag, im Laufe des nächsten Monats oder noch später.
Die zumindest zwei Folgefahrtbilder können auf gleiche Art und Weise bereitgestellt werden wie die zumindest zwei Bilder der Umgebung. Mit anderen Worten handelt es sich bei den Folgefahrtbildern um zwei weitere Bilder der Umgebung. Die dreidimensionale Folgefahrtpunktwolke kann auf gleichartige Art und Weise aus den zumindest zwei Folgefahrtbildern extrahiert werden, wie die dreidimensionale Punktwolke aus den zumindest zwei Bildern der Umgebung. Mit anderen Worten handelt es sich bei der dreidimensionalen Folgefahrtpunktwolke um eine weitere dreidimensionale Punktwolke der Umgebung, welche die zumindest eine Folgefahrt betrifft. Im Falle mehrerer Folgefahrten wird für jede der Folgefahrten eine jeweilige dreidimensionale Folgefahrtpunktwolke aus jeweiligen Folgefahrtbildern extrahiert.
Anschließend kann während der zumindest einen Folgefahrt anhand der digitalen Karte der Umgebung sowie der dreidimensionalen Folgefahrtpunktwolke das Kraftfahrzeug in der Umgebung lokalisiert werden. Dieses Lokalisieren erfolgt durch Vergleichen der dreidimensionalen Folgefahrtpunktwolke mit der digitalen Karte.
Beispielsweise kann bei dem Vergleichen der dreidimensionalen Folgefahrtpunktwolke mit der digitalen Karte das zumindest eine dreidimensionale Merkmal in der dreidimensionalen Folgefahrtpunktwolke bestimmt werden und eine Relativposition des zumindest einen dreidimensionalen Merkmals relativ zu dem Kraftfahrzeug bestimmt werden. Anhand dieser Relativposition kann dann das Kraftfahrzeug in der Umgebung lokalisiert werden. Mit anderen Worten wird in der dreidimensionalen Folgefahrtpunktwolke, also während der zumindest einen Folgefahrt, dasselbe zumindest eine dreidimensionale Merkmal bestimmt, welches zuvor bereits anhand der dreidimensionalen Punktwolke, also während der Lernfahrt, bestimmt wurde. Die Position des zumindest einen dreidimensionalen Merkmals wurde während der Lernfahrt bereits in die digitale Karte eingetragen. Somit kann basierend auf der Relativposition des Kraftfahrzeugs relativ zu dem dreidimensionalen Merkmal das Kraftfahrzeug anhand der digitalen Karte lokalisiert werden. Dies ist besonders dann auf besonders vorteilhafte Weise durchführbar, wenn jeweils mehrere dreidimensionale Merkmale als das zumindest eine dreidimensionale Merkmal bestimmt werden. In diesem Fall kann die Lokalisierung basierend auf einer Trilateration oder Triangulation erfolgen. Da das zumindest eine dreidimensionale Merkmal jedoch dreidimensional ist, kann das Lokalisieren des Kraftfahrzeugs bereits mit einem dreidimensionalen Merkmal erfolgen. Beispielsweise werden zum Lokalisieren des Kraftfahrzeugs die dreidimensionalen Merkmale, welche anhand der dreidimensionalen Punktwolke sowie der dreidimensionalen Folgefahrtpunktwolke bestimmt werden, räumlich aneinander ausgerichtet. Bildlich gesprochen werden die dreidimensionalen Merkmale übereinandergelegt. Bei diesem Ausrichten beziehungsweise Übereinanderlegen wird eine räumliche Abweichung zwischen jeweils gleichen Merkmalen minimiert.
Gemäß einer Weiterbildung ist vorgesehen, dass bei der Lernfahrt zusätzlich die dreidimensionale Punktwolke in die digitale Karte eingetragen wird. Mit anderen Worten wird die dreidimensionale Punktwolke, welche im Rahmen der Lernfahrt extrahiert wird, als Teil der digitalen Karte abgespeichert. Dadurch kann die digitale Karte die Umgebung besonders umfassend beschreiben.
Gemäß einer Weiterbildung ist vorgesehen, dass bei dem Vergleichen der dreidimensionalen Folgefahrtpunktwolke mit der digitalen Karte die dreidimensionale Folgefahrtpunktwolke mit der dreidimensionalen Punktwolke, welche im Rahmen der Lernfahrt extrahiert wurde, verglichen wird. In diesem Fall kann beim Schritt des Vergleichens der dreidimensionalen Folgefahrtpunktwolke mit der digitalen Karte die dreidimensionale Folgefahrtpunktwolke mit der dreidimensionalen Punktwolke verglichen werden. Mit anderen Worten wird die während der zumindest einen Folgefahrt extrahierte dreidimensionale Folgefahrtpunktwolke mit der im Rahmen der Lernfahrt extrahierten dreidimensionalen Punktwolke verglichen. In diesem Fall kann das Lokalisieren des Kraftfahrzeugs in der Umgebung anhand eines Ergebnisses bei diesem Vergleichen erfolgen. Die dreidimensionale Punktwolke und die dreidimensionale Folgefahrtpunktwolke haben jeweils eine räumliche beziehungsweise dreidimensionale Ausdehnung, insbesondere mit dem Kraftfahrzeug als Zentrum oder auch Mittelpunkt. Bei dem Vergleichen der Punktwolke mit der Folgefahrtpunktwolke können die beiden Punktwolken so aneinander ausgerichtet werden, dass ein Fehler zwischen ihnen minimal wird. Daher ist ein Lokalisieren des Kraftfahrzeugs anhand der beiden Punktwolken besonders gut möglich.
Gemäß einer Weiterbildung ist vorgesehen, dass die zumindest zwei Bilder der Umgebung und/oder die zumindest zwei Folgefahrtbilder der Umgebung mittels derselben Kamera des Kamerasystems zeitlich versetzt erfasst werden. Mit anderen Worten können die zumindest zwei Bilder der Umgebung im Rahmen der Lernfahrt durch dieselbe Kamera des Kamerasystems zeitlich versetzt erfasst werden. Alternativ oder zusätzlich können die zumindest zwei Folgefahrtbilder im Rahmen der zumindest einen Folgefahrt zeitlich versetzt voneinander erfasst werden. Die zumindest zwei Bilder der Umgebung beziehungsweise die zumindest zwei Folgefahrtbilder der Umgebung können dann anhand von Odometriedaten bezüglich ihrer Perspektive ausgewertet werden. Anhand der Odometriedaten kann eine Bewegung der Kamera des Kamerasystems ermittelt werden. Somit lässt sich die Veränderung der Perspektive der Kamera zwischen der zeitlich versetzten Erfassung der zumindest zwei Bilder beziehungsweise der zumindest zwei Folgefahrtbilder berechnen. Mit anderen Worten wird beim Ermitteln der zumindest zwei Bilder beziehungsweise der zumindest zwei Folgefahrtbilder jeweils ein sogenanntes Bewegungs-Stereo, auch als Motion-Stereo bezeichnet, genutzt. Dadurch ist eine Kamera ausreichend, um stereoskopische Bilder der Umgebung zu erzeugen.
Gemäß einer Weiterbildung ist vorgesehen, dass im Rahmen der Folgefahrt die digitale Karte der Umgebung für eine weitere Folgefahrt aktualisiert wird. Insbesondere ist vorgesehen, dass die digitale Karte im Rahmen jeder von mehreren Folgefahrten aktualisiert wird. In diesem Fall steht während jeder der Folgefahrten eine möglichst aktuelle Karte, welche im Rahmen der vorherigen Folgefahrt beziehungsweise der Lernfahrt aktualisiert wurde, zur Verfügung. Während der weiteren Folgefahrt wird das Kraftfahrzeug dann vorteilhafterweise anhand der aktualisierten digitalen Karte der Umgebung lokalisiert. Mit anderen Worten ersetzt die aktualisierte digitale Karte die digitale Karte.
Zum Aktualisieren der digitalen Karte kann beispielsweise zumindest ein weiteres dreidimensionales Merkmal aus den zumindest zwei Folgefahrtbildern extrahiert und in die digitale Karte eingetragen werden. Mit anderen Worten wird während der zumindest einen Folgefahrt ein weiteres dreidimensionales Merkmal aus den zumindest zwei Folgefahrtbildern, welche im Rahmen dieser Folgefahrt erfasst werden, bestimmt. Dieses weitere dreidimensionale Merkmal kann dann zum Aktualisieren der digitalen Karte in diese eingetragen werden. Insbesondere handelt es sich bei dem weiteren dreidimensionalen Merkmal um ein Merkmal, welches im Rahmen der Lernfahrt noch nicht in den Bildern enthalten war. Mit anderen Worten kann das weitere dreidimensionale Merkmal ein Objekt in der Umgebung repräsentieren, welches sich während der Lernfahrten noch nicht in der Umgebung befunden hat. Auf diese Weise können neu hinzugekommene Objekte in der Umgebung schnellstmöglich in der digitalen Karte repräsentiert und eingetragen werden. In einer weiteren Folgefahrt kann dieses weitere dreidimensionale Merkmal dann alternativ oder zusätzlich zum Lokalisieren des Kraftfahrzeugs genutzt werden.
Alternativ oder zusätzlich ist vorgesehen, dass zum Aktualisieren der digitalen Karte das zumindest eine dreidimensionale Merkmal aus der digitalen Karte gelöscht wird, wenn das zumindest eine dreidimensionale Merkmal in den zumindest zwei Folgefahrtbildern nicht gefunden werden kann. Mit anderen Worten wird während der zumindest einen Folgefahrt überprüft, ob das zumindest eine dreidimensionale Merkmal, welches im Rahmen der Lernfahrt bestimmt wurde, in den zumindest zwei Folgefahrtbildern gefunden werden kann. Das bedeutet, es wird überprüft, ob das Objekt, welches durch das dreidimensionale Merkmal repräsentiert wird, sich während der zumindest einen Folgefahrt noch in der Umgebung befindet. Kann das zumindest eine dreidimensionale Merkmal in den zumindest zwei Folgefahrtbildern nicht gefunden werden, so kann davon ausgegangen werden, dass sich das Objekt nicht mehr in der Umgebung befindet. Aus diesem Grund kann es zum Aktualisieren der digitalen Karte aus derselben gelöscht werden.
Gemäß einer Weiterbildung ist vorgesehen, dass die dreidimensionale Folgefahrtpunktwolke zum Ersetzen und/oder Erweitern der dreidimensionalen Punktwolke in die digitale Karte eingetragen wird. Dabei kann es sich um ein weiteres Beispiel zum Aktualisieren der digitalen Karte im Rahmen der zumindest einen Folgefahrt handeln. Die dreidimensionale Punktwolke, welche im Rahmen der Lernfahrt extrahiert wurde, kann somit anhand der dreidimensionalen Folgefahrtpunktwolke, welche im Rahmen der zumindest einen Folgefahrt extrahiert wurde, ersetzt, erweitert und/oder aktualisiert werden. Dies wird anschließend zum Aktualisieren der digitalen Karte in die digitale Karte eingetragen. Mit anderen Worten wird die ersetzte, aktualisierte und/oder erweiterte dreidimensionale Punktwolke in die digitale Karte eingetragen. Ein Lokalisieren des Kraftfahrzeugs anhand der dreidimensionalen Punktwolke in einer nachfolgenden Folgefahrt erfolgt dann vorteilhafterweise anhand dieser ersetzten, erweiterten oder aktualisierten dreidimensionalen Punktwolke.
Ein weiterer Aspekt der Erfindung betrifft eine Steuereinrichtung zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung anhand von Bildern eines Kamerasystems des Kraftfahrzeugs, wobei die Steuereinrichtung eingerichtet ist, das zuvor beschriebene Verfahren nach einer oder mehrerer dessen Ausführungsformen durchzuführen. Hierzu kann die Steuereinrichtung dazu ausgebildet sein, Bilder, insbesondere die zumindest zwei Bilder der Umgebung sowie die zumindest zwei Folgefahrtbilder der Umgebung, aus dem Kamerasystem beziehungsweise aus einer Kamera des Kamerasystems zu empfangen. Die zuvor im Rahmen des Verfahrens beschriebenen Weiterbildungen und Ausführungsformen bilden ebenfalls die erfindungsgemäße Steuereinrichtung weiter.
Ein dritter Aspekt der Erfindung betrifft ein Fahrassistenzsystem zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung mit einem Kamerasystem mit zumindest einer Kamera zum Bereitstellen zumindest zweier Bilder der Umgebung, die mit dem Kamerasystem aufgenommen werden, wobei sie eine jeweilige Perspektive der zumindest zwei Bilder unterscheidet, und der genannten Steuereinrichtung. Zur Erfindung gehört außerdem ein Kraftfahrzeug, insbesondere ein Kraftwagen, vorteilhafterweise ein Personenkraftwagen oder ein Lastkraftwagen, mit einem solchen Fahrassistenzsystem. Die zumindest eine Kamera des Kamerasystems ist bei diesem Kraftfahrzeug vorteilhafterweise in einem Frontbereich des Kraftfahrzeugs angeordnet und/oder ist dazu ausgebildet, einen dem Kraftfahrzeug in Normalfahrtrichtung vorausliegenden Bereich zu erfassen. Mit anderen Worten handelt es sich bei der zumindest einen Kamera vorteilhafterweise um eine Frontkamera.
Zur Erfindung gehört außerdem ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung der oben beschriebenen Art durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinrichtung abgearbeitet wird. Dementsprechend gehört zur Erfindung außerdem ein computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um das Verfahren zum Lokalisieren des Kraftfahrzeugs in der Umgebung der zuvor beschriebenen Art durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuereinrichtung geladen und auf einem Prozessor der elektronischen Steuereinrichtung abgearbeitet werden.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Dabei zeigen:

1 in einer schematischen Vogelperspektive ein Kraftfahrzeug mit einem Fahrassistenzsystem zum Lokalisieren des Kraftfahrzeugs in dessen Umgebung U;
2 ein beispielhaftes Ablaufdiagramm einer Lernfahrt eines Verfahrens zum Lokalisieren des Kraftfahrzeugs; und
3 ein beispielhaftes Ablaufdiagramm einer Folgefahrt des Verfahrens zum Lokalisieren des Kraftfahrzeugs.

1 zeigt ein Kraftfahrzeug 1 mit einem Fahrassistenzsystem 19. Das Fahrassistenzsystem 19 weist ein Kamerasystem 2 mit einer Kamera 20 sowie eine Steuereinrichtung 3 auf. Ein Empfangsteil 30 der Steuereinrichtung 3 ist dazu ausgebildet, Bilder 6, 7 einer Umgebung U des Kraftfahrzeugs 1 aus der Kamerasystem 2 beziehungsweise aus der Kamera 20 zu empfangen und dieses für weitere Verarbeitungsschritte durch eine Rechnereinheit 31 der Steuereinrichtung 3 bereitzustellen. Durch die Rechnereinheit 31 werden nachfolgend genauer beschriebene Verfahrensschritte zum Lokalisieren des Kraftfahrzeugs 1 in der Umgebung U durchgeführt. Die Kamera 20 ist vorliegend als Frontkamera ausgeführt, das bedeutet, ihr Erfassungsbereich liegt zumindest im Wesentlichen in Normalfahrtrichtung, also Vorwärtsfahrtrichtung, vor dem Kraftfahrzeug 1.
Bei der Umgebung U handelt es sich vorliegend um einen nicht kartierten Umgebungsbereich, also einen Umgebungsbereich, der in öffentlichen Karten nicht kartiert ist. Eine Lokalisierung beziehungsweise Navigation in der Umgebung U anhand von Kartendaten ist somit nicht möglich. Beispielsweise handelt es sich bei der Umgebung U um eine private Parkplatzumgebung mit einem Parkplatz P. Beispielsweise ist die Umgebung U ein Privatgrundstück eines Fahrers des Kraftfahrzeugs 1. Der Parkplatz P kann beispielsweise eine Garage sein, die sich auf diesem Privatgrundstück befindet. Vorteilhafterweise ist vorgesehen, dass das Kraftfahrzeug 1 sich teilweise oder vollständig autonom in der Umgebung U bewegen kann. Besonders vorteilhafterweise ist vorgesehen, dass das Kraftfahrzeug 1 teilweise oder vollständig autonom auf dem Parkplatz P einparken kann. Hierfür ist jedoch eine Lokalisierung des Kraftfahrzeugs 1 in der Umgebung U nötig.
Das Verfahren zum Lokalisieren des Kraftfahrzeugs 1 in der Umgebung U ist zweiteilig ausgeführt. Zunächst wird eine Lernfahrt 16 in der Umgebung U durchgeführt, um diese zu kartieren. Während der Lernfahrt 16 kann vorgesehen sein, dass das Kraftfahrzeug 1 durch dessen Fahrer auf den Parkplatz P gefahren beziehungsweise eingeparkt wird. Anschließend kann das Kraftfahrzeug 1 während mehrerer Folgefahrten 17 in der Umgebung U lokalisiert werden. Insbesondere ist vorgesehen, dass sich das Kraftfahrzeug 1 während der Folgefahrten 17 autonom in der Umgebung U bewegt. Ein Ablaufdiagramm der Lernfahrt 16 ist in 2 beispielhaft dargestellt. Ein Ablaufdiagramm für die Folgefahrten 17 ist in 3 beispielhaft dargestellt.
Durch die Kamera 20 des Kraftfahrzeugs 1 werden während der Lernfahrt 16 zumindest zwei Bilder 6 erfasst. Diese Bilder 6 werden daraufhin zur weiteren Auswertung beziehungsweise Verarbeitung bereitgestellt. Dieses Bereitstellen der Bilder 6 kann also initialer Verfahrensschritt S0 (in der 2 nicht dargestellt) bezeichnet werden. Die Bilder 6 stellen jeweils die Umgebung U dar. Dafür unterscheidet sich eine jeweilige Perspektive der zumindest zwei Bilder 6. Vorliegend werden die Bilder 6 alle durch die Kamera 20 erfasst. Die jeweilige unterschiedliche Perspektive der Bilder 6 kommt durch eine Bewegung des Kraftfahrzeugs 1 zustande. Zusätzlich zu den Bildern 6 werden Odometriedaten des Kraftfahrzeugs 1 bereitgestellt, um diese Bewegung des Kraftfahrzeugs 1 auswerten zu können. Aus diesen Odometriedaten können die jeweiligen Perspektiven der Bilder 6 relativ zueinander ausgewertet werden. In einem Schritt S1 wird, insbesondere unter Ausnutzung der Odometriedaten, eine dreidimensionale Punktwolke 8 aus den Bildern 6 extrahiert. Hierzu werden korrespondierende Bildbereiche beziehungsweise korrespondierende Pixel in den Bildern 6 ermittelt. Aufgrund der räumlichen Information, welche aufgrund der unterschiedlichen Perspektive der Bilder 6 in diesen enthalten ist, kann diesen korrespondierenden Bereichen beziehungsweise korrespondierenden Pixeln eine jeweilige Koordinate im Raum zugeordnet werden. Die Punktwolke 8 ist aus einer Vielzahl derartiger Koordinaten im Raum gebildet. Mit anderen Worten sind in der Punktwolke 8 eine Vielzahl an korrespondierenden Bereichen beziehungsweise korrespondierenden Pixeln der Bilder 6 einer jeweiligen räumlichen Koordinate zugewiesen. Die Punktwolke 8 ist von ihrer Art insbesondere vergleichbar mit einer Reflexkarte aus einem Radarsensor oder einem Lidarsensor.
Aus der Punktwolke 8 werden in einem weiteren Schritt S2 dreidimensionale Merkmale 4 bestimmt. Die dreidimensionalen Merkmale 4 repräsentieren Objekte 14 in der Umgebung U. Beim Bestimmen der dreidimensionalen Merkmale 4 werden jeweils zusammengehörige Punkte der Punktwolke 8 bestimmt. Die jeweils zusammengehörigen Punkte der Punktwolke 8 zeichnen sich dadurch aus, dass sie jeweils eines der Objekte 14 in der Umgebung U repräsentieren. Beispielsweise können Punkte der Punktwolke 8 als zusammengehörig ermittelt werden, wenn ihr räumlicher beziehungsweise euklidischer Abstand zueinander einen vorbestimmten Grenzwert nicht überschreitet. Alternativ können in der Steuereinrichtung 3 Muster für Repräsentationen von Objekten 14, 15 gespeichert sein. Beispielsweise wird ein dreidimensionales Merkmal 4 bestimmt beziehungsweise erkannt, wenn ein solches Muster in der dreidimensionalen Punktwolke 8 erkannt beziehungsweise bestimmt wird.
In einem weiteren Schritt S3 wird anhand der dreidimensionalen Merkmale 4 eine digitale Karte 9 der Umgebung U erstellt. Vorliegend teilt sich der Schritt S3 in zwei Teilschritte S3a und S3b auf. In dem Schritt S3a werden die dreidimensionalen Merkmale 4 in die digitale Karte 9 eingetragen. In dem Schritt S3b wird die Punktwolke 8 in die digitale Karte 9 eingetragen. Somit werden im Rahmen des vorliegenden Ausführungsbeispiels sowohl die Punktwolke 8 als auch die dreidimensionalen Merkmale 4 in die digitale Karte 9 eingetragen. Beispielsweise werden die Punktwolke 8 und/oder die dreidimensionalen Merkmale 4 jeweils anhand einer oder mehrerer dreidimensionaler Koordinaten in die digitale Karte 9 eingezeichnet. Beispielsweise können jeweilige Punkte der Punktwolke 8 jeweils einzeln oder gruppiert anhand jeweiliger dreidimensionaler Koordinaten in die digitale Karte 9 eingetragen werden. Jedes der dreidimensionalen Merkmale 4 kann anhand einer oder mehrerer jeweiliger dreidimensionaler Koordinaten in die digitale Karte 9 eingetragen werden. Die digitale Karte 9 steht anschließend zum Lokalisieren beziehungsweise Navigieren des Kraftfahrzeugs 1 in der Umgebung U zur Verfügung.
Zusätzlich kann im Rahmen der Lernfahrt 16 der Parkplatz P in die digitale Karte 9 eingetragen werden. Mit anderen Worten fährt der Fahrer des Kraftfahrzeugs 1 dieses auf den Parkplatz P, woraufhin dieser Parkplatz P in die digitale Karte 9 eingetragen werden kann. Beispielsweise wird der Parkplatz P in der digitalen Karte 9 durch eine Bedienungshandlung des Fahrers festgelegt. Dadurch kann im Rahmen einer späteren Folgefahrt 17 anhand der digitalen Karte 9 durch Lokalisierung des Kraftfahrzeugs 1 die Relativposition des Kraftfahrzeugs 1 zum Parkplatz P bestimmt werden. Dadurch ist es möglich, das Kraftfahrzeug 1 in der Umgebung U zumindest teilweise autonom auf dem Parkplatz P zu parken. Beispielsweise kann anhand der digitalen Karte 9 dann eine Trajektorie zum Parken des Kraftfahrzeugs 1 auf dem Parkplatz P berechnet werden.
Dies ist anhand des Ausführungsbeispiels für die Folgefahrt 17 in 3 beschrieben. Im Rahmen der Folgefahrt 17 werden zumindest zwei Bilder 7 durch das Kamerasystem 2 beziehungsweise die Kamera 20 erfasst. Dabei können die zwei Bilder 7 auf analoge Art und Weise aufgenommen sein wie die zumindest zwei Bilder 6. Daher wird dies hier nicht erneut erläutert. Anschließend wird in einem Schritt S4, welcher analog zu dem Schritt S1 zu verstehen ist, eine dreidimensionale Folgefahrtpunktwolke 10 aus den Bildern 7 extrahiert. Die Folgefahrtpunktwolke 10 wird dabei auf gleichartige Art und Weise aus den Bildern 7, welche während der Folgefahrt 17 erfasst werden, extrahiert wie die Punktwolke 8 aus den Bildern 6, welche während der Lernfahrt 16 erfasst werden. Wiederum analog zu dem Schritt S2 werden anschließend in einem Schritt S5 dreidimensionale Merkmale 4, 5 in der Folgefahrtpunktwolke 10 bestimmt. Dabei ist vorliegend das dreidimensionale Merkmal 5 neu gegenüber den dreidimensionalen Merkmalen 4, hinzugekommen. Beispielsweise ist ein Objekt 15, welches durch das dreidimensionale Merkmal 5 repräsentiert wird, in der Folgefahrt 17 gegenüber der Lernfahrt 16 neu hinzugekommen. Mit anderen Worten befand sich das Objekt 15 während der Lernfahrt 16 nicht in der Umgebung U, nun während der Folgefahrt 17 jedoch schon.
Die dreidimensionalen Merkmale 4, welche im Schritt S5 anhand der Folgefahrtpunktwolke 10 bestimmt werden, werden anschließend in einem Schritt S8 mit den dreidimensionalen Merkmalen 4 aus der digitalen Karte 9 verglichen. Hierzu können die dreidimensionalen Merkmale 4 in einem Schritt S6 aus der digitalen Karte 9 geladen werden. In dem Schritt S6 kann zusätzlich die Punktwolke 8 aus der digitalen Karte 9 geladen werden. In diesem Fall kann im Rahmen des Schritts S8 zusätzlich die Folgefahrtpunktwolke10 mit der Punktwolke 8 verglichen werden.
Abhängig von einem Ergebnis bei dem Vergleichen der Punktwolke 8 mit der Folgefahrtpunktwolke 10 und/oder der dreidimensionalen Merkmale 4 kann das Kraftfahrzeug 1 in der Umgebung U lokalisiert beziehungsweise navigiert werden. Beispielsweise wird eine Relativposition des Kraftfahrzeugs 1 relativ zu den Objekten 14, 15 in der Umgebung U bestimmt. Diese Relativpositionen können anhand der Folgefahrtpunktwolke 10 und/oder den daraus extrahierten dreidimensionalen Merkmalen 4 bestimmt werden. Anschließend kann überprüft werden, ob die dreidimensionalen Merkmale 4, 5, welche aus der Folgefahrtpunktwolke 10 extrahiert wurden, mit den dreidimensionalen Merkmalen 4, welche aus der digitalen Karte 9 ausgelesen werden, übereinstimmen. Anhand der Relativpositionen der übereinstimmenden dreidimensionalen Merkmale 4 kann dann das Kraftfahrzeug 1 in der Umgebung U und/oder in der digitalen Karte 9 lokalisiert werden. Dabei kann eine Position 12 des Kraftfahrzeugs 1 ermittelt werden. Alternativ oder zusätzlich können die Punktwolke 8 und die Folgefahrtpunktwolke 10 verglichen werden. Beispielsweise wird das Kraftfahrzeug 1 in derjenigen Position lokalisiert, in der die Punktwolke 8 und die Folgefahrtpunktwolke 10 die größte Übereinstimmung haben. Beispielsweise wird hierzu versucht die Punktwolke 8 durch rechnerische Verschiebung und/oder Rotation möglichst kongruent mit der Punktwolke 8 zu machen. Bildlich gesprochen können die Punktwolken 8 und die Folgefahrtpunktwolke 10 möglichst deckungsgleich übereinander geschoben werden, und daraus die Position des Kraftfahrzeugs 1 ermittelt werden. Als Ergebnis des Schritts S8 wird die Position 12 des Kraftfahrzeugs 1 ausgegeben. Die Position 12 des Kraftfahrzeugs 1 kann auf die digitale Karte 9 beziehungsweise auf die Umgebung U bezogen sein.
In einem Schritt S7 wird die digitale Karte 9 anhand von Daten, welche im Rahmen der Folgefahrt 17 gesammelt wurden, aktualisiert. Vorliegend wird hierzu eine aktualisierte Karte 11 erzeugt. Die aktualisierte Karte 11 kann eine aktualisierte Punktwolke umfassen. Mit anderen Worten kann eine aktualisierte Punktwolke als Teil der aktualisierten Karte 11 gespeichert werden. Die aktualisierte Punktwolke kann der Folgefahrtpunktwolke10, welche im Rahmen der Folgefahrt 17 extrahiert wird, entsprechen. Alternativ kann die aktualisierte Punktwolke aus der Punktwolken 8 und der Folgefahrtpunktwolke 10 zusammengesetzt sein. Vorteilhafterweise werden ältere Punktwolken 8 betreffend die Umgebung U jedoch gelöscht, und nur die aktuellste Folgefahrtpunktwolke 10 aus der aktuellen Folgefahrt 17 beibehalten beziehungsweise gespeichert. Die aktualisierte digitale Karte 11 kann auf der digitalen Karte 9 basieren. Dabei werden im Vergleich zur digitalen Karte 9 in der aktualisierten digitalen Karte 11 alle Merkmale 4 gelöscht, welche in der Folgefahrtpunktwolke 10, während der Folgefahrt 17, nicht extrahiert wurden. Auf diese Weise dreidimensionale Merkmale 4, welche Objekte 14 der Umgebung U repräsentieren, welche im Vergleich zur Lernfahrt 16 während der Folgefahrt 17 nicht mehr in der Umgebung U vorhanden sind, aus der aktualisierten digitalen Karte 11 entfernt. Das Objekt 15, welches verglichen mit der Lernfahrt 16 während der Folgefahrt 17 neu in die Umgebung U hinzugekommen ist, wird demgegenüber in Form des dreidimensionalen Merkmals 5 in die aktualisierte digitale Karte 11 aufgenommen. Mit anderen Worten wird das dreidimensionale Merkmal 5, welches in der digitalen Karte 9 nicht enthalten ist, neu in der aktualisierten digitalen Karte 11 gespeichert. Auf diese Weise steht für eine weitere Folgefahrt eine möglichst aktuelle digitale Karte 11 zur Verfügung.
Das vorliegende Verfahren zur Lokalisierung von Fahrzeugen ist ein Beispiel für ein kamerabasiertes Verfahren zur simultanen Lokalisierung und Kartierung (auch Simultaneous Localization and Mapping, SLAM genannt), wobei eine semi-dichte oder dichte Umgebungskarte erzeugt wird. Die semi-dichte beziehungsweise dichte Umgebungskarte kann einerseits in Form der Punktwolke 8 und/oder den dreidimensionalen Merkmalen 4 bereitgestellt sein. Aufgrund der Extraktion von dreidimensionalen Merkmalen 4 beziehungsweise aufgrund der Verwendung der Punktwolken 8 und der Folgefahrtpunktwolke 10 ist das vorliegende Verfahren besonders robust gegenüber Veränderungen in der Umgebung U einerseits und gegenüber Beleuchtungsveränderungen andererseits. Ein Beispiel für eine Veränderung in der Umgebung U ist das neu hinzukommende Objekt 15. Beleuchtungsänderungen können sich ergeben durch unterschiedliche Tageszeiten, Wetterlagen und/oder Sonnenstände während unterschiedlichen Folgefahrten 17 und/oder der Lernfahrt 16. Dadurch kann die Genauigkeit der Lokalisierung insgesamt gesteigert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015200167 A1 [0003]
DE 102013015349 A1 [0004]
DE 102015203016 A1 [0005]

Claims

Verfahren zum Lokalisieren eines Kraftfahrzeugs (1) in einer Umgebung (U) anhand von Bildern eines Kamerasystems (2) des Kraftfahrzeugs (1), wobei zunächst eine Lernfahrt (16) durchgeführt wird, mit den Schritten: - Bereitstellen zumindest zweier Bilder (6) der Umgebung (U), die mit dem Kamerasystem (2) aufgenommen werden, wobei ein Bereich der Umgebung (U) in den zumindest zwei Bildern (6) aus einer unterschiedlichen Perspektive erfasst wird, - Extrahieren einer dreidimensionalen Punktwolke (8) aus den zumindest zwei Bildern (6), - Bestimmen zumindest eines dreidimensionalen Merkmals (4) anhand der dreidimensionalen Punktwolke (8), und - Eintragen des zumindest einen dreidimensionalen Merkmals (4) in eine digitale Karte (9) der Umgebung (U), und zu einem späteren Zeitpunkt zumindest eine Folgefahrt (17) mit den folgenden Schritten durchgeführt wird: - Bereitstellen zumindest zweier Folgefahrtbilder (7) der Umgebung (U), die mit dem Kamerasystem (2) aufgenommen werden, wobei ein Bereich der Umgebung (U) in den zumindest zwei Folgefahrtbildern (7) aus einer unterschiedlichen Perspektive erfasst wird, - Extrahieren einer dreidimensionalen Folgefahrtpunktwolke (10) aus den zumindest zwei Folgefahrtbildern (7), - Vergleichen der dreidimensionalen Folgefahrtpunktwolke (10) mit der digitalen Karte (9) der Umgebung (U), und basierend darauf - Lokalisieren des Kraftfahrzeugs (1) in der Umgebung (U).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei dem Vergleichen der dreidimensionalen Folgefahrtpunktwolke (10) mit der digitalen Karte (9) das zumindest eine dreidimensionale Merkmal (4) in der dreidimensionalen Folgefahrtpunktwolke (10) bestimmt wird und eine Relativposition des zumindest einen dreidimensionalen Merkmals (4) relativ zu dem Kraftfahrzeug (1) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Lernfahrt (16) zusätzlich die dreidimensionale Punktwolke (8) in die digitale Karte (9) eingetragen wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass bei dem Vergleichen der dreidimensionalen Folgefahrtpunktwolke (10) mit der digitalen Karte (9) die dreidimensionale Folgefahrtpunktwolke (10) mit der dreidimensionalen Punktwolke (8), welche im Rahmen der Lernfahrt (16) extrahiert wurde, verglichen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest zwei Bilder (6) der Umgebung und/oder die zumindest zwei Folgefahrtbilder (7) der Umgebung mittels derselben Kamera (20) des Kamerasystems (2) zeitlich versetzt erfasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der zumindest einen Folgefahrt (17) die digitale Karte (9) der Umgebung (U) für eine weitere Folgefahrt aktualisiert wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zum Aktualisieren der digitalen Karte (9) zumindest ein weiteres dreidimensionales Merkmal (5) aus den zumindest zwei Folgefahrtbildern (7) extrahiert und in die digitale Karte (9, 11) eingetragen wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass zum Aktualisieren der digitalen Karte (9) das zumindest eine dreidimensionale Merkmal (4) aus der digitalen Karte (9) gelöscht wird, wenn das zumindest eine dreidimensionale Merkmal (4) in den zumindest zwei Folgefahrtbildern (7) nicht gefunden werden kann.
Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die dreidimensionale Folgefahrtpunktwolke (10) zum Ersetzen und/oder Erweitern der dreidimensionalen Punktwolke (8) in die digitale Karte (9) eingetragen wird.
Steuereinrichtung (3) zum Lokalisieren eines Kraftfahrzeugs (1) in einer Umgebung (U) anhand von Bildern (7) eines Kamerasystems (2) des Kraftfahrzeugs (1), wobei die Steuereinrichtung (3) eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Fahrerassistenzsystem (19) zum Lokalisieren eines Kraftfahrzeugs (1) in einer Umgebung (U), mit - einem Kamerasystem (2) mit zumindest einer Kamera (20) zum Bereitstellen zumindest zweier Bilder (6, 7) der Umgebung (U), die mit dem Kamerasystem (2) aufgenommen werden, wobei sich eine jeweilige Perspektive der zumindest zwei Bilder (6, 7) unterscheidet, und - einer Steuereinrichtung nach Anspruch 10.
Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Lokalisieren eines Kraftfahrzeugs (1) in einer Umgebung (U) nach einem der vorhergehenden Ansprüche 1 bis 10 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinrichtung (3) abgearbeitet wird.