-
Die vorliegende Erfindung betrifft eine Eigenbewegungsschätzung eines Fahrzeugs, welche darauf beruht, dass vom Fahrzeug erfasst Objekte als ortsfest klassifiziert werden.
-
Die
DE 10 2014 223 363 A1 offenbart eine Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte. Dabei werden Objektpositionen im Umfeld des Kraftfahrzeugs aus einer Radarimpulsantwort bestimmt, wobei die aktuell bestimmten Objektpositionen eine Umgebungskarte bilden. Die Position des Kraftfahrzeugs in der Referenzkarte wird durch Vergleich der Umgebungskarte mit der Referenzkarte ermittelt. Eine Klassifikation für die Objektpositionen wird durchgeführt, und eine Klassifikation der Objekte innerhalb von Bereichen der Referenzkarte wird mit Hilfe von Verfahren des maschinellen Lernens durchgeführt.
-
Die
DE 10 2015 005 987 A1 beschreibt ein Abspeichern von statische Merkmale beschreibenden Referenzdaten für eine durch das Kraftfahrzeug zurückgelegte Strecke, um bei einem erneuten Befahren dieser Strecke die Auswertung aktuell aufgenommener Radardaten unter Berücksichtigung der Referenzdaten aufwandsreduziert durchführen zu können.
-
Die
DE 10 2011 118 147 A1 offenbart das Ermitteln einer Geschwindigkeit eines Fahrzeugs. Dazu wird bezüglich eines von einem Sensor des Fahrzeugs erfassten Objekts ermittelt, ob das erfasste Objekt ortsfest ist. Diese Ermittlung geschieht entweder basierend auf einer Bildauswertung abhängig von einer Änderung der Größe eines Objekts in einem Bild oder anhand einer Fahrzeug-zu-Infrastruktur-Kommunikation.
-
Die
DE 10 2012 203 037 A1 beschreibt ebenfalls die Ermittlung einer Geschwindigkeit eines Fahrzeugs. Dazu werden Umfelddaten des Fahrzeugs zu einem nicht-bewegten Objekt ermittelt, welches eine Information über seine Nicht-Bewegung aussendet. Aus den Umfelddaten des Fahrzeugs zu dem nicht-bewegten Objekt werden eine relative Bewegung des Fahrzeugs und daraus die Geschwindigkeit des Fahrzeugs ermittelt.
-
Die
DE 10 2011 119 762 A1 offenbart die Positionsbestimmung eines Fahrzeugs. Dazu umfasst das Fahrzeug eine digitale Karte, in der Daten über Landmarken einer geographischen Position zugeordnet sind. Dazu werden Bewegungsdaten anhand von translatorischen Bewegungen und Rotationsbewegungen des Fahrzeugs erfasst. Die Fahrzeugposition wird mittels der Bewegungsdaten anhand der Landmarken bestimmt.
-
Nach dem Stand der Technik werden die ortsfesten Objekte anhand einer digitalen Karte oder anhand einer Kommunikationsverbindung ermittelt. Daher ist die Ermittlung von ortsfesten Objekten nach dem Stand der Technik nicht möglich, wenn entweder die Kommunikationsverbindung nicht aufgebaut werden kann oder wenn für die aktuelle Position des Fahrzeugs keine digitale Karte vorhanden ist.
-
Daher stellt sich die vorliegende Erfindung die Aufgabe, die Eigenbewegung eines Fahrzeugs anhand von ortsfesten Objekten unabhängig von einer Kommunikationsverbindung oder von einer digitalen Karte zu bestimmen.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Bestimmen einer Eigenbewegung eines Fahrzeugs nach Anspruch 1, durch ein Computerprogramm nach Anspruch 7 und durch ein Steuergerät nach Anspruch 8 gelöst. Die abhängigen Ansprüche sind vorteilhafte und Bevorzugte Ausführungsformen der vorliegenden Erfindung.
-
Im Rahmen der vorliegenden Erfindung wird ein Verfahren zum Bestimmen einer Eigenbewegung eines Fahrzeugs bereitgestellt, welches folgende Schritte umfasst:
- • Erfassen von Bilddaten mit Hilfe von Sensormitteln des Fahrzeugs. Die Sensormittel können dabei beispielsweise einen LIDAR-Scanner, einen ESP-Sensor, ein Radar und/oder eine Kamera umfassen. Mit anderen Worten können die Bilddaten mit einem oder mit mehreren Sensoren detektiert werden. Beim Einsatz von mehreren Sensoren können die Ergebnisse dieser Sensoren zu den Bilddaten fusioniert werden. Dadurch ist es erfindungsgemäß möglich, die Odometrie redundant zu erfassen und gegebenenfalls die Genauigkeit zu erhöhen.
- • Identifizieren von ortsfesten Objekten mit Hilfe eines Klassifikators abhängig von den erfassten Bilddaten. Dabei arbeitet der Klassifikator mit einem Vorwissen über das Aussehen und/oder die Form von ortsfesten Objekten. Mit anderen Worten kann der Klassifikators durch sein Vorwissen in den Bilddaten ortsfeste Objekte erkennen und bestimmen. Bei solchen ortsfesten Objekten oder Landmarken kann es sich z.B. um pfostenförmige Objekte (Pfosten), Fahrbahnmarkierungen, Bordsteine, Gulli-Deckel, Ampeln oder Verkehrsschilder handeln.
- • Bestimmen der Eigenbewegung in Abhängigkeit von den ortsfesten Objekten. Diese ortsfesten Objekte oder Landmarken werden innerhalb der ständig von den Sensormitteln des Fahrzeugs erfassten Bilddaten von einem Zeitpunkt zum nächsten verfolgt und abhängig von der Bewegung eines ortsfesten Objekts in den Bilddaten über der Zeit wird die Eigenbewegung des Fahrzeugs geschätzt oder bestimmt. Dabei wird vorausgesetzt, dass ein ortsfestes Objekt statisch ist und seine Position nicht verändert.
-
Zur Identifikation von ortsfesten Objekten benötigt der Klassifikators weder eine Kommunikation vom Fahrzeug zu einem außerhalb des Fahrzeugs befindlichen Objekt noch irgendeine Karte. Daher erfüllt das erfindungsgemäße Verfahren die oben gestellte Aufgabe.
-
Nach dem Stand der Technik wird die Eigenbewegung eines Fahrzeugs häufig auch anhand von Scan- oder Bild-Punkten bestimmt, die zu dynamischen (d.h. nicht ortsfesten) Objekten gehören. Dadurch wird nachteiligerweise die Bestimmung der Eigenbewegung durch die Bewegung der dynamischen Objekte verfälscht. Indem erfindungsgemäß die Eigenbewegung oder Odometrie abhängig von ortsfesten Objekten bestimmt wird, wird dieses nach dem Stand der Technik häufig auftretende Problem vorteilhafterweise vermieden.
-
Gemäß einer bevorzugten erfindungsgemäßen Ausführungsform wird der Klassifikator vor seinem Einsatz zur Identifikation von ortsfesten Objekten anhand von Objekten, welche ortsfest sind, und anhand von Objekten, welche nicht ortsfest sind, trainiert. Gemäß dieser Ausführungsform lernt der Klassifikator, indem er Bilddaten von Objekten auswertet, für welche dem Klassifikator bekannt ist, ob sie ortsfest sind oder nicht. Häufig wird erfindungsgemäß als Klassifikator ein SVM-Klassifikator („Support Vector Machine“-Klassifikator) eingesetzt. Der Klassifikator (unabhängig vom eingesetzten Klassifikator-Typ) wird entsprechend trainiert, um ein Objekt als ortsfest oder nicht ortsfest klassifizieren zu können.
-
Diese Ausführungsform weist den Vorteil auf, dass sie für jede Art von ortsfestem Objekten eingesetzt werden kann, da das erfindungsgemäße Verfahren (genauer der erfindungsgemäße Klassifikator) für jede Art von ortsfesten Objekten entsprechend angelernt werden kann.
-
Gemäß einer weiteren bevorzugten erfindungsgemäßen Ausführungsform bestimmt der Klassifikator ein Objekt in den Bilddaten dann als ortsfest, wenn der Klassifikator ein vorbestimmtes Muster in den Bilddaten erkennt. Bei dieser Ausführungsform wird dem Klassifikator beispielsweise einprogrammiert, anhand welcher Muster in den Bilddaten ein ortsfestes Objekt erkannt wird.
-
Diese Ausführungsform weist zu der vorherigen Ausführungsform den Vorteil auf, dass kein Anlernen des Klassifikators benötigt wird.
-
Anhand der Bilddaten wird eine Relativbewegung zumindest eines ortsfesten Objekts bestimmt. Anhand dieser Relativbewegung des ortsfesten Objekts zum Fahrzeug (Eigenfahrzeug) wird dann die Eigenbewegung des Fahrzeugs bestimmt.
-
Dabei kann die Relativbewegung des ortsfesten Objekts mit einem Iterative-Closest-Point-Verfahren bestimmt werden, mit welchem eine Bewegung des ortsfesten Objekts in den Bilddaten über der Zeit bestimmt wird. Mit dem Iterative-Closest-Point-Verfahren kann der Abstand zwischen einer ein ortsfestes Objekt darstellender Punktwolke in den Bilddaten zu einem ersten Zeitpunkt zu einer dasselbe ortsfeste Objekt darstellenden Punktwolke in den Bilddaten zu einem zweiten Zeitpunkt bestimmt werden. Dazu wird die Punktwolke des einen Zeitpunkts derart verschoben, dass die Abstände zwischen korrespondierenden Punkten in den beiden Punktwolken minimal sind. Anhand der Verschiebung kann dann die Relativbewegung des ortsfesten Objekts vom ersten Zeitpunkt zum zweiten Zeitpunkt bestimmt werden.
-
Gemäß einer weiteren erfindungsgemäßen Ausführungsform umfasst das erfindungsgemäße Verfahren folgende weitere Schritte:
- • Bestimmen von Odometrie-Positionsdaten des Fahrzeugs in Abhängigkeit von den ortsfesten Objekten. Die Odometrie-Positionsdaten indizieren eine Relativbewegung des Fahrzeugs, zum Beispiel in einem willkürlich festgelegten Referenzkoordinatensystem oder im sogenannten Fahrzeugkoordinatensystem („body frame“). Dabei wird die Relativbewegung des Fahrzeugs insbesondere jeweils relativ in Bezug auf eine vorangegangene Position des Fahrzeugs abhängig von zumindest einem ortsfesten Objekt indiziert bzw. bestimmt.
- • Erfassen von Absolut-Positionsdaten des Fahrzeugs. Das Erfassen der Absolut-Positionsdaten kann vorteilhafterweise mit einfachen Absolut-Positioniersystemen (z.B. einem auf GPS basierenden Navigationssystem) durchgeführt werden. Die Absolut-Positionsdaten geben die gemessene Position des Fahrzeugs zu einem bestimmten Zeitpunkt in absoluten Werten, beispielsweise in einem UTM- oder WGS 84-Referenzkoordinatensystem, an. Optional können die Absolut-Positionsdaten auch eine Orientierung bzw. Richtung aufweisen, welche eine aktuelle Bewegungsrichtung des Fahrzeugs anzeigt. Eine Kombination aus Position und Orientierung wird häufig als Pose bezeichnet. Die zu einem bestimmten Zeitpunkt ermittelten Absolut-Positionsdaten können demnach ausreichen, um eine Pose zu diesem bestimmten Zeitpunkt zu bestimmen. Diese Pose gibt dann zu dem bestimmten Zeitpunkt die Position und die Fahrrichtung des Fahrzeugs an.
- • Erzeugen eines Posen-Graphen, bei welchem die Kanten und die Knoten des Posen-Graphen abhängig von den Odometrie-Positionsdaten und den Absolut-Positionsdaten erzeugt werden. Dabei wird unter einem Posen-Graphen ein Graph verstanden, dessen Knoten Posen und dessen Kanten Bedingungen entsprechen, welche zwischen denjenigen Knoten, die von der jeweiligen Kante verbunden werden, existiert. Ein Knoten des Posen-Graphen kann entweder ein Fixknoten oder ein Optimierungsknoten sein. Ein Fixknoten repräsentiert dabei eine absolute Positionsschätzung oder Positionsmessung. D.h. die Pose des Fixknotens entspricht der Position und der Richtung, die bei der entsprechenden Positionsschätzung bzw. Positionsmessung geschätzt bzw. gemessen wurden. Ein Optimierungsknoten entspricht einer Pose zu einem beliebigen Zeitpunkt, zu dem es keinen Fixknoten geben muss. Häufig ist jedoch ein Optimierungsknoten direkt mit einem oder mit mehreren Fixknoten verbunden.
-
Der Posen-Graph fusioniert die erfassten Odometrie-Positionsdaten und Absolut-Positionsdaten. Zur Erstellung des Posen-Graphen können mehrere Odometrieschätzer bzw. Odometrie-Positioniersysteme und auch mehrere Absolut-Positioniersysteme eingesetzt werden. Falls mehrere Odometrieschätzer eingesetzt werden, kann es zwischen zwei Optimierungsknoten auch der Anzahl der Odometrieschätzer entsprechend viele Kanten geben.
-
Die Fixknoten werden ausgehend von den Absolut-Positionsdaten bestimmt. Anhand der Odometrie-Positionsdaten werden die Kanten bestimmt, welche zwei Optimierungsknoten oder einen Optimierungsknoten mit einem Fixknoten verbinden.
- • Optimieren des Posen-Graphen abhängig von den Odometrie-Positionsdaten und den Absolut-Positionsdaten. Bei der Optimierung des Posen-Graphen werden die Optimierungsknoten (genauer die Posen der Optimierungsknoten) bestimmt. Dagegen werden die Fixknoten (genauer die Posen der Fixknoten) durch die Optimierung nicht beeinflusst. Zur Optimierung werden insbesondere Fehlerterme definiert, welche durch die Optimierung möglichst klein gehalten werden. Dabei beschreibt eine Art von Fehlerterm beispielsweise den Unterschied der Pose des Optimierungsknoten von einer Pose eines mit diesem Optimierungsknoten verbundenen Fixknotens. Eine andere Art eines Fehlerterms beschreibt den Unterschied zwischen den Posen der Optimierungsknoten und Odometriedaten (z.B. den Odometrie-Positionsdaten), welche anhand eines Odometrieschätzers zum Zeitpunkt eines Optimierungsknotens bestimmt werden. Durch die Optimierung des Posen-Graphen wird insbesondere versucht, einen möglichst guten Kompromiss zwischen den Absolut-Positionsdaten und den Odometrie-Positionsdaten zu finden.
- • Bestimmen der Eigenbewegung in Abhängigkeit von dem Posen-Graphen.
-
Indem der Posen-Graph zusätzlich zu den Odometrie-Positionsdaten Absolut-Positionsdaten umfasst, welche (insbesondere bei den Fixknoten) auf einer Absolut-Positionsmessung basieren, kann die Eigenbewegung vorteilhafterweise noch genauer geschätzt werden.
-
Wie bereits vorab beschrieben ist, können im Zusammenhang mit dem Posen-Graphen Fehlerterme definiert werden. Diese sind in der Regel umso größer (kleiner), umso weiter (weniger weit) sich die durch das Optimieren geschätzten Positionen (der Optimierungsknoten) von den Ausgaben der eingesetzten Positioniersysteme entfernen und je kleiner (größer) die Varianz der entsprechenden Ausgaben der Positioniersysteme ist. Durch die Optimierung kann der Posen-Graph derart geändert werden, dass die Fehlerterme möglichst klein sind. Mit anderen Worten ist es das Ziel der Optimierung, unter Randbedingungen eine entsprechende Fehlerfunktion global zu minimieren. Die Optimierung kann dabei numerisch erfolgen. Darüber hinaus kann die Optimierung iterativ erfolgen und somit mehrere Optimierungsiterationen umfassen. Die Optimierung kann beispielsweise eine Technik nichtlinearer minimaler Quadrate („nonlinear least-squares“) umfassen. Darüber hinaus kann die Optimierung mittels einer Gauß-Newton-Technik erfolgen und/oder mittels einer Levenberg-Marquardt-Technik erfolgen.
-
Das erfindungsgemäße Bestimmen der Eigenbewegung anhand des Posen-Graphen bietet zwei Vorteile. Zum einen wird das Erfassen oder Bestimmen der Odometrie-Positionsdaten, was zum Bestimmen des Posen-Graphen notwendig ist, durch die Kenntnis von ortsfesten Objekten verbessert. Zum anderen wird die Bestimmung der Eigenbewegung weiter verbessert, da bei dem Bestimmen der Eigenbewegung anhand des Posen-Graphen auch die Absolut-Positionsdaten (des Posen-Graphen) berücksichtigt werden.
-
Erfindungsgemäß kann die bestimmte Eigenbewegung des Fahrzeugs zur Durchführung einer automatischen Fahrfunktion oder Fahrerassistenzfunktion des Fahrzeugs eingesetzt werden. Eine solche Fahrerassistenzfunktion könnte ein autonomes, teilautomatisches oder hochautomatisches Fahren des Fahrzeugs umfassen. Die Fahrerassistenzfunktion kann beispielsweise einen Spurhalteassistenten, einen Abstandsassistenten und einen Einparkassistenten umfassen.
-
Viele Fahrerassistenzsysteme und automatische Fahrfunktionen eines Fahrzeugs benötigen eine Eigenbewegungsschätzung, um über kurze Zeiträume die gefahrene Trajektorie des Fahrzeugs schätzen zu können. Die vorliegende Erfindung ermöglicht genau diese Schätzung der gefahrenen Trajektorie mit einer im Vergleich zum Stand der Technik besseren Genauigkeit.
-
Des Weiteren beschreibt die vorliegende Erfindung ein Computerprogramm oder eine Software, welche man in einen Speicher einer programmierbaren Steuerung bzw. einer Recheneinheit eines Fahrzeugs laden kann. Mit diesem Computerprogramm können alle oder verschiedene vorab beschriebene Ausführungsformen des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogramm in der Steuerung oder Steuereinrichtung des Fahrzeugs läuft. Dabei benötigt das Computerprogramm eventuell Programmmittel, z.B. Bibliotheken und Hilfsfunktionen, um die entsprechenden Ausführungsformen der Verfahren zu realisieren. Mit anderen Worten soll mit dem auf das Computerprogramm gerichteten Anspruch insbesondere eine Software unter Schutz gestellt werden, mit welcher eine der oben beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens ausgeführt werden kann bzw. welche diese Ausführungsform ausführt. Dabei kann es sich bei der Software um einen Quellcode (z.B. C++), der noch compiliert (übersetzt) und gebunden oder der nur interpretiert werden muss, oder um einen ausführbaren Softwarecode handeln, der zur Ausführung nur noch in die entsprechende Recheneinheit bzw. Steuereinrichtung zu laden ist.
-
Im Rahmen der vorliegenden Erfindung wird auch ein Steuergerät bereitgestellt, welches eine Schnittstelle und einen Prozessor umfasst. Dabei ist die Schnittstelle ausgestaltet, um Bilddaten von Sensormitteln des Fahrzeugs zu erfassen. Der Prozessor ist ausgestaltet, um ortsfeste Objekte mit Hilfe eines Klassifikators auf Basis der Bilddaten zu identifizieren und um die Eigenbewegung abhängig von diesen ortsfesten Objekten zu bestimmen.
-
Die Vorteile des erfindungsgemäßen Steuergeräts entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens, welche vorab im Detail ausgeführt sind, so dass hier auf eine Wiederholung verzichtet wird.
-
Gemäß einer erfindungsgemäßen Ausführungsform ist das Steuergerät ausgestaltet, um irgendeine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen.
-
Im Rahmen der vorliegenden Erfindung wird auch ein Fahrzeug bereitgestellt, welches das erfindungsgemäße Steuergerät umfasst.
-
Im Folgenden wird die vorliegende Erfindung anhand bevorzugter erfindungsgemäßer Ausführungsformen im Detail mit Bezug zu den Figuren beschrieben.
-
Die vorliegende Erfindung bietet den Vorteil, dass die Eigenbewegung oder Odometrie mit weniger Fehlern bestimmt wird, da nicht mitgeschätzt werden muss, ob es sich bei bestimmten Bild-Merkmalen um zur Odometrie-Bestimmung geeignete Objekte (d.h. ortsfeste Objekte) handelt oder nicht. Falls zum Erfassen der Bilddaten die Ergebnisse von mehreren Sensoren oder Detektoren fusioniert werden, ist das erfindungsgemäße Vorgehen vorteilhafterweise robust gegenüber einem Sensorausfall.
-
1 stellt schematisch ein erfindungsgemäßes Fahrzeug mit einem erfindungsgemäßen Steuergerät dar.
-
In 2 ist der Flussplan eines erfindungsgemäßen Verfahrens dargestellt.
-
In 1 ist ein erfindungsgemäßes Fahrzeug 10 dargestellt, welches neben einem LIDAR-Scanner 1 eine Kamera 2 und ein erfindungsgemäßes Steuergerät 20 umfasst. Das Steuergerät 20 selbst umfasst eine Schnittstelle 3, um Bilddaten von dem LIDAR-Scanner 1 und der Kamera 2 zu erfassen, und einen Prozessor 4. Mit dem Prozessor 4 werden ortsfeste Objekte mit Hilfe eines Klassifikators in den Bilddaten identifiziert und die Eigenbewegung des Fahrzeugs 10 abhängig von den ortsfesten Objekten bestimmt.
-
In 2 ist der Flussplan eines erfindungsgemäßen Vorgehens dargestellt.
-
Im ersten Schritt S1 werden Bilddaten mit Sensormitteln des Fahrzeugs erfasst. In diesen Bilddaten werden dann im Schritt S2 Objekte bestimmt. Im folgenden Schritt S3 werden unter diesen Objekten mit Hilfe eines Klassifikators die ortsfesten Objekte als solche bestimmt. Mit Hilfe dieser ortsfesten Objekte werden im Schritt S4 Odometrie-Positionsdaten bestimmt. Im Schritt S5 wird mit diesen Odometrie-Positionsdaten und mit zusätzlich erfassten Absolut-Positionsdaten ein Posen-Graph erzeugt. Schließlich wird im Schritt S6 die Eigenbewegung des Fahrzeugs abhängig von diesem Posen-Graphen bestimmt.
-
Bezugszeichenliste
-
- 1
- LIDAR-Scanner
- 2
- Kamera
- 3
- Schnittstelle
- 4
- Prozessor
- 10
- Fahrzeug
- 20
- Steuergerät
- S1-S6
- Verfahrensschritt
