-
Die vorliegende Erfindung betrifft das Gebiet der Fahrzeugtechnik, insbesondere betrifft die Erfindung ein Verfahren und eine Auswertevorrichtung zum Erfassen einer Umgebung eines Fahrzeugs. Ferner betrifft die Erfindung ein Fahrerassistenzsystem, das mit der erfindungsgemäßen Auswertevorrichtung ausgestattet ist, und ein Fahrzeug, das mit der erfindungsgemäßen Auswertevorrichtung ausgestattet ist.
-
Es werden derzeit Systeme verwendet, um Fahrzeuge in einer Umgebung zu orten bzw. zu lokalisieren, um ausgehend von dieser Information das Fahrzeug zu navigieren oder zu steuern. Hierzu wird beispielsweise das Fahrzeug anhand von GPS-Daten (GPS = Global Positioning System) lokalisiert und zusätzlich mit Hilfe von optischen System die Umgebung des Fahrzeugs näher ermittelt. Hierbei ist es möglich, dass Hindernisse oder sonstige Ereignisse, die auf die Fahrtrichtung des Fahrzeuges einen Einfluss haben könnten, bei der Fahrzeugführung in Betracht gezogen werden, um Kollisionen oder andere Schäden zu verhindern.
-
In der Veröffentlichung „Probabilistic Scheme for Laser Based Motion detection“ von Roman Katz, Juan Nieto, Eduardo Nebot, 2006, wird eine Methode zur Unterscheidung von statischen und sich bewegenden Objekten auf Basis von Bildpunkten bzw. Scanpunkten vorgeschlagen. Hierbei werden zunächst zu unterschiedlichen Zeitpunkten gemessene Bilder bzw. Scans übereinandergelegt. Mittels einer Vorgehensweise nach dem sogenannten „Iterative Closest Point“-Algorithmus (ICP-Algorithmus) wird iterativ eine Transformationsmatrix berechnet, die die Drehung und die Translation der Punkte zwischen den aufgenommenen Bildern bzw. Scans repräsentiert. Die Transformationsmatrix wird anschließend auf das erste Bild bzw. den ersten Scan angewendet. Durch Vergleich mit dem zweiten Bild bzw. zweiten Scan kann mittels Bestimmung der Mahalanobis-Distanz für das „Center of gravity“ bzw. für den Schwerpunkt für jeden korrespondierenden Bereich bzw. für jedes korrespondierende Cluster bestimmt werden, ob das Cluster bzw. der analysierte Bereich innerhalb des Bildes statisch oder dynamisch ist. Hierbei ist unter der Mahalanobis-Distanz ein Distanzmaß zwischen Punkten in einem mehrdimensionalen Vektorraum zu verstehen. Auf der Basis dieser Clustererkennung wird auf ein sich bewegendes Objekt oder auf ein statisches Objekt geschlossen.
-
Nachteilig bei dem bisher verwendeten Verfahren zur Aufnahme von Bilddaten in der Umgebung eines Fahrzeuges ist, dass es ressourcen-intensiv ist, insbesondere sind die Anforderungen an die Hardware bzw. die technischen Einheiten zur Bereitstellung der erforderlichen Daten hoch.
-
Ziel der vorliegenden Erfindung ist es, eine Möglichkeit vorzuschlagen, um die Umgebung eines Fahrzeugs auf einfache Weise zu erfassen.
-
Diese Aufgabe wird mit einem Verfahren gemäß dem Anspruch 1 gelöst. Ferner wird diese Aufgabe mit einer Auswertevorrichtung gemäß Anspruch 10, mit einem Fahrerassistenzsystem gemäß Anspruch 11 und mit einem Fahrzeug gemäß Anspruch 12 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Die vorliegende Erfindung schlägt ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs vor. Das Verfahren weist ein Bereitstellen mindestens eines Sensors zum Erfassen der Umgebung des Fahrzeugs auf. Ferner werden bei dem Verfahren ein Erfassen eines ersten Bildes mit dem Sensor und ein Erfassen eines zweiten Bildes mit dem Sensor zeitlich nach dem Erfassen des ersten Bildes vorgesehen. Weiterhin weist das Verfahren ein Ermitteln von statischen und dynamischen Bereichen innerhalb des ersten und des zweiten Bildes durch Vergleichen der beiden Bilder auf. Ferner ist vorgesehen, dass bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges einbezogen werden, die von mindestens einem Odometrie-Sensor des Fahrzeugs bereitgestellt werden, der Odometrie-Daten bereitstellt.
-
Die vorliegende Erfindung schlägt ein Verfahren vor, um ein Fahrzeug in einer Umgebung verbessert fahren zu können, indem Bilddaten aus der Umgebung aufgenommen werden und diese ausschließlich mit Daten einer Fahrzeug-Sensor-Gruppe verrechnet werden. Hierzu werden Bild-Aufnahmen von beispielsweise einer Kamera verwendet, wobei die Kamera im oder an dem Fahrzeug installiert sein kann. Es können ferner eine 3D-Karten-Datenbank und Informationen von einer Fahrzeug-Sensor-Gruppe verwendet werden, wobei die Fahrzeug-Sensor-Gruppe mindestens einen Odometrie-Sensor aufweist, der Odometrie-Daten bereitstellt. Hierbei wird vor dem Durchführen des vorgeschlagenen Verfahrens auf der Grundlage von GPS-Daten eine relative Position des Fahrzeugs bestimmt, wobei auch eine Schätzung mit Hilfe der Fahrzeug-Sensor-Gruppe verwendet wird.
-
Mit der vorgeschlagenen Vorgehensweise ist es möglich, zwischen statischen und dynamischen Anteilen der Umgebung auf der niedrigsten Ebene zu unterscheiden. Dies wird erreicht, indem beispielsweise zwei zeitlich aufeinanderfolgende Bilder verglichen werden, beispielsweise als aufeinanderfolgende Laser-Scans.
-
Es werden demnach anhand von gewonnenen Daten basierend auf mindestens zwei Scans bzw. zwei aufgenommenen Bildern statische Objekte und sich bewegende Objekte in der untersuchten Umgebung eines Fahrzeuges ermittelt. Hierbei kann das bekannte verwendet werden, um einzelne Punkte auf den Bildern auszuwerten. Das „Iterative Closest Point“-Verfahren ermöglicht, überlappende Punktwolken aneinander anzupassen. Dazu werden die Punktwolken bereits vorab genähert zueinander ausgerichtet. Für die Punktwolken werden Koordinatentransformationen so bestimmt, dass die Abstände zwischen den Punktwolken minimiert werden. Dazu wird für jeden Punkt aus der einen Punktwolke der jeweils nächste Punkt (closest point) aus der anderen Punktwolke bestimmt. Die Summe der Quadrate der Abstände wird durch Anpassung von Transformationsparameter minimiert. Dieser Vorgang geschieht iterativ so lange, bis das Optimum gefunden ist. Das Berechnungsverfahren bzw. der Algorithmus kann vor allem zur relativen Orientierung (Registrierung) von Punktwolken verwendet werden, womit aus mehreren Punktwolken ein Gesamtmodell erzeugt werden kann. Die Einzelpunktwolken können dabei z.B. durch Laser-Scanning erzeugt werden.
-
Die Besonderheit gegenüber den bisher verwendeten Methoden auf der Grundlage des „Iterative Closest Point“-Verfahren ist bei der vorliegenden Erfindung, dass das vorgeschlagene Verfahren und die vorgeschlagene Vorrichtung autark arbeiten kann, ohne dass externe Daten außerhalb des Fahrzeuges verwendet werden. Demnach werden lediglich ein Sensor zur Erzeugung von Bildern der Umgebung und mindestens ein Odometrie-Sensor verwendet, um Daten aus der Umgebung des Fahrzeuges zu erfassen. Unter einem Odometrie-Sensor wird ein Sensor am oder im Fahrzeug verstanden, der zur Ermittlung der Position und/oder Orientierung des Fahrzeugs geeignet ist und für den Zweck der Ermittlung der Umgebung verwendet werden kann. Typische Odometrie-Sensoren sind Radsensoren, bei denen Radumdrehungen zwischen zwei Messzeitpunkten gezählt werden können. Auf diese Weise können durch eine Bewegung eines oder mehrerer Reifen am Fahrzeug Odometrie-Daten gewonnen werden, welche der Radsensor als Odometrie-Sensor bereitstellt.
-
Mit der vorliegenden Erfindung kann die Genauigkeit der bisher bekannten Methoden beibehalten werden, beispielsweise, wie diese unter Verwendung des ICP-Algorithmus erreicht wird, jedoch werden gleichzeitig die Hardwareanforderungen bzw. Komponentenanforderungen reduziert, indem bewusst nicht auf externe Datenquellen, wie GPS-Daten, außerhalb des Fahrzeugs zugegriffen wird.
-
In einem vorteilhaften Ausführungsbeispiel kann vorgesehen werden, dass der mindestens eine Odometrie-Sensor Winkeldaten bereitstellt. Unter Winkeldaten sind Daten zu verstehen, die beispielsweise aufgrund von Rotationsbewegungen mindestens eines Fahrzeugrades vorhanden sind.
-
In einem bevorzugten Ausführungsbeispiel kann vorgesehen werden, dass der mindestens eine Odometrie-Sensor Positionsdaten bereitstellt. Dies bedeutet, dass eine Position des Fahrzeugs mit dem Odometrie-Sensor erfassbar ist. Beispielsweise kann dies erreicht werden, indem anhand eines Odometrie-Sensors zu zwei verschiedenen Zeitpunkten Messdaten gewonnen werden und diese dann verglichen werden.
-
Ferner kann in einem bevorzugten Ausführungsbeispiel vorgesehen werden, dass die Positionsdaten mit den Winkeldaten gemeinsam ausgewertet werden. Demnach kann vorgesehen werden, dass zwei verschiedene Datenarten, die auch von zwei unterschiedlichen Odometrie-Sensoren aufgenommen werden können, miteinander verrechnet werden, um beispielsweise eine Fahrtrichtung des Fahrzeugs berücksichtigen zu können.
-
In einem weiteren bevorzugten Ausführungsbeispiel kann vorgesehen werden, dass das Verfahren ferner ein Feststellen einer Bewegung des Fahrzeugs aufweist, wobei aufgrund dieser Bewegung eine Kompensation der Bewegung des Fahrzeugs durchgeführt wird, bevor die beiden Bilder verglichen werden. Demnach wird die Fahrzeugbewegung bei der Auswertung berücksichtigt, indem diese vor einem Vergleichen der beiden aufgenommenen Bilder herausgerechnet wird. Dies hat den Vorteil, dass danach auf einfache Weise die beiden zeitlich hintereinander aufgenommenen Bilder übereinander gelegt werden können und Unterschiede leicht erfassbar sind. Aus diesen Unterschieden können Punktwolken gebildet werden, die auf einen dynamischen Bereich im aufgenommenen Bild und auf einen statischen Bereich im aufgenommenen Bild hinweisen.
-
Wenn sich das Fahrzeug während des Aufnahmevorgangs der beiden zeitlich aufgenommen Bilder, bzw. des Scanvorgangs bewegt, ist es vorteilhaft, wenn die Fahrzeugbewegung kompensiert bzw. herausgerechnet wird, bevor der Vergleich von aufgenommenen Bildern durchgeführt wird. Gewöhnlich wird das Matching bzw. die Anpassung iterativ durchgeführt, indem beispielsweise ein ICP-Algorithmus verwendet wird. Bei der vorliegenden Erfindung werden die gescannten Bilder verglichen, indem Winkel- und/oder Positionsdifferenzen auf der Grundlage von Sensordaten geschätzt werden, die aus dem Fahrzeug stammen, insbesondere von einer Fahrzeug-Sensor-Gruppe, hier mindestens einem Odometrie-Sensor und nicht aus GPS-Daten.
-
In einer weiteren bevorzugten Ausführungsform kann vorgesehen werden, dass bei dem Verfahren für die Ermittlung von statischen und dynamischen Bereichen eine Transformationsmatrix, ein Transformationsvektor und eine Rotationsmatix verwendet wird. Dies geschieht beispielsweise in Anlehnung an die vorbekannte Vorgehensweise nach dem „Iterative Closest Point“-Verfahren.
-
Im Hinblick auf die Anwendung im Fahrzeugbereich kann vorgesehen werden, dass die Transformationsmatrix basierend auf Odometrie-Daten bestimmt wird, der Translationsvektor basierend auf Daten in Bezug auf einer Geschwindigkeit und eine Fahrtrichtung des Fahrzeuges bestimmt wird und die Rotationsmatrix basierend auf einer Gierrate des Fahrzeuges bestimmt wird. Demnach werden unterschiedliche Fahrzeugparameter bei der Ermittlung der statischen und dynamischen Bereiche verwendet. Dies hat den Vorteil, dass möglichst viele charakteristische Parameter der vorhandenen Fahrsituation mit in die Auswertung zur Erfassung der Fahrzeugumgebung einbezogen werden. Die Gierrate des Fahrzeugs (auch Giergeschwindigkeit) bezeichnet die Winkelgeschwindigkeit der Drehung eines Fahrzeuges um eine Hochachse. Zusammen mit den Raddrehzahlen und der Querbeschleunigung ist die Gierrate eine geeignete Messgröße für die Funktion eines Stabilitätssystems von Landfahrzeugen. Das Gierträgheitsmoment, der ebenfalls bei dem erfindungsgemäßen Verfahren als weiterer Parameter berücksichtigt werden kann, beschreibt das Trägheitsmoment um die Achse.
-
In einem weiteren Ausführungsbeispiel des Verfahrens wird vorteilhafterweise vorgesehen, dass die Ermittlung von statischen und dynamischen Bereichen ohne eine Verwendung von GPS-Daten durchgeführt wird. Dies bedeutet, dass möglicherweise für die Lokalisierung des Fahrzeuges GPS-Daten verwendet werden, nicht jedoch für die Ermittlung der Umgebung des Fahrzeuges, die lediglich auf Bilddaten eines Sensors und auf Odometrie-Daten beruht.
-
Die Aufgabe der Erfindung wird ferner mit einer Auswertevorrichtung zum Erfassen der Umgebung eines Fahrzeugs gelöst. Hierzu weist die Auswertevorrichtung eine Empfangseinheit und eine Verarbeitungseinheit auf. Hierbei ist vorgesehen, dass mit der Empfangseinheit Daten mindestens eines Sensors des Fahrzeugs empfangbar sind. Ferner ist vorgesehen, dass die Empfangseinheit und die Verarbeitungseinheit in Wirkverbindung stehen und empfangene Daten von der Empfangseinheit an die Verarbeitungseinheit weiterleitbar sind. Hierbei sind mit der Verarbeitungseinheit statische und dynamische Bereiche von mindestens zwei aufgenommenen Bildern eines Sensors des Fahrzeugs durch Vergleichen der beiden Bilder ermittelbar. Ferner ist vorgesehen, dass die Verarbeitungseinheit bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges einbezieht, die von dem mindestens einen Odometrie-Sensor des Fahrzeugs bereitgestellt werden, der Odometrie-Daten bereitstellt.
-
Die erfindungsgemäße Auswertevorrichtung ist vorteilhafterweise innerhalb des Fahrzeugs installiert und kann mit der Empfangseinheit sowohl Odometrie-Daten wie auch Bilddaten eines installierten Sensors empfangen. Der Sensor kann hierbei als Abstandssensor, insbesondere als optischer Abstandssensor, ausgebildet sein, als Kamera, insbesondere einer Frontkamera, die beispielsweise als Laser-Kamera ausgeführt sein kann, als LIDAR-System, als RADAR-System oder als Ultraschall-System. Die Verbindungen zu den datengebenden Einrichtungen können drahtgebunden, beispielsweise als Feldbus ausgeführt sein, wie auch drahtlos ausgeführt sein, beispielsweise über eine drahtlose Funkverbindung. Dementsprechend kann die Empfangseinheit mindestens eine Funkschnittstelle aufweisen.
-
Es wird auch ein Fahrerassistenzsystem mit einer solchen Auswerteinheit bereitgestellt. Insbesondere kann damit das oben genannte Verfahren ausgeführt werden.
-
Ferner wird erfindungsgemäß ein Fahrzeug vorgeschlagen, das eine erfindungsgemäße Auswerteinheit oder ein entsprechendes Fahrerassistenzsystem insbesondere zur Ausführung des vorgeschlagenen Verfahrens aufweist. Das Fahrzeug ist vorzugsweise ein bodengebundenes Fahrzeug, wie ein Kraftfahrzeug oder Roboter. Das Fahrzeug kann beispielsweise ein Personenkraftfahrzeug oder ein Lastkraftfahrzeug sein.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
- 1 ein Ausführungsbeispiel eines Fahrzeugs, das mit Odometrie-Sensoren ausgerüstet ist und das erfindungsgemäße Verfahren durchführen kann; und
- 2 ein Ausführungsbeispiel für ein erfindungsgemäßes Verfahren.
-
Die nachfolgend näher geschilderten Ausführungsbeilspiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.
-
1 zeigt ein Fahrzeug 10 mit einem installierten optischen Sensor 11 in Form einer Kamera, die mit Hilfe von optischen Strahlen, hier mit Laserstrahlen 12 das Umfeld oder die Umgebung des Fahrzeugs 10 erfassen kann. Insbesondere kann die Kamera 11 die Umgebung vordem Fahrzeug 10 erfassen, während sich das Fahrzeug 10 in eine Fahrtrichtung 13 in Vorwärtsrichtung des Fahrzeugs 10 bewegt. Ferner weist das Fahrzeug 10 eine Vielzahl von Odometrie-Sensoren 14 auf. Im vorliegenden Ausführungsbeispiel weist jedes Rad des Fahrzeugs einen Odometrie-Sensor 14 auf, der Odometrie-Daten über eine Übertragungsverbindung 15 an eine Auswertevorrichtung 16 bereitstellen kann. Ferner werden Kameradaten der Kamera 11 über eine weitere Übertragungsverbindung 17 der Auswertevorrichtung 16 bereitgestellt. Zum Empfang der Odometrie-Daten und der Kamera-Daten weist die Auswertevorrichtung 16 eine Empfangseinheit 18, die die empfangenen Daten an eine Verarbeitungseinheit 19 weiterleitet. Die Verarbeitungseinheit 19 kann die empfangenen Daten auswerten und die Auswerteergebnisse dem Fahrzeug 10 zur Verfügung stellen. Vorteilhafterweise ist die Auswertevorrichtung 16 in dem Fahrzeug 10 installiert. Alternativ können jedoch auch Auswertevorrichtungen 16 außerhalb des Fahrzeugs 10 verwendet werden, die beispielsweise in einer Service-Zentrale installiert sind und die mit dem Fahrzeug über eine drahtlose Verbindung, beispielsweise über eine WLAN-Internet-Anbindung mit dem Fahrzeug Informationen austauschen können.
-
2 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 20 zur Erfassung einer Umgebung eines Fahrzeugs 10, wie es beispielsweise in 1 dargestellt ist. Das Verfahren 20 beginnt mit einer Ausgangssituation 21, in der eine Anfrage gestartet wird, um die Umgebung des Fahrzeugs 10 zu erfassen. Diese Anfrage kann beispielsweise manuell von dem Fahrer des Fahrzeuges eingeleitet werden oder durch eine Steuerungseinrichtung angefragt werden, die beispielsweise Teil eines Navigationssystems oder Teil einer Vorrichtung zum autonomen Fahren des Fahrzeuges 10 ist.
-
Bei dem Verfahren werden zunächst Daten erfasst, die sich auf die Erfassung von Bilddaten und auf die Erfassung von Odometrie-Daten beziehen. Hierbei ist die Erfassung der Daten symbolisch durch die Verfahrensschritte 22 und 23 gekennzeichnet. Hierbei können die Datenerfassungen 22, 23 zeitgleich oder zeitlich hintereinander geschehen, wobei die Reihenfolge der Verfahrensschritte 22,23 zeitlich auch umgekehrt sein kann. Demnach werden im Verfahrensschritt 22 mindestens zwei Bilder bzw. Scans der Umgebung mit einem optischen Sensor 11 aufgenommen, wie in 1 dargestellt ist. Ferner werden in dem Verfahrensschritt 23 Odometrie-Daten erfasst. Diese können beispielsweise von Odometrie-Sensoren an Fahrzeugreifen stammen, wie in 1 dargestellt ist.
-
In einem weiteren Verfahrensschritt 24 werden die gewonnenen Daten aus den Verfahrensschritten 22, 23 verarbeitet. Hierzu werden zunächst die beiden aufgenommenen Bilder verglichen. Durch den Vergleich werden statische und dynamische Bereiche innerhalb des ersten und des zweiten Bildes ermittelt. Werden beispielsweise identische Objekte an gleicher Stelle des Bildes festgestellt, so kann es sich um statische Objekte in der Umgebung des Fahrzeuges handeln, wie beispielsweise Bäume oder Häuser. Unterscheiden sich jedoch verschiedene Bereiche in den beiden Bildern, so handelt es sich eher um sich bewegende Objekte, die dann einen dynamischen Bereich eines Bildes kennzeichnen. Bei dem Vergleich der beiden Bilder sollte auch berücksichtigt werden, dass sich das Fahrzeug möglicherweise bereits selbst in dem Zeitraum von der Aufnahme des ersten Bildes zur Aufnahme des zweiten Bildes bewegt hat. Diese Bewegung kann auf einfache Weise mit der Auswerteeinrichtung herausgerechnet werden, so dass tatsächlich nur statische und dynamische Bereiche der Umgebung erkannt werden. Durch die Verwendung von Odometrie-Sensoren am Fahrzeug ist es leicht möglich sehr genau die Umgebung zu erfassen, ohne dass die Auswertevorrichtung weitere Daten von außerhalb des Fahrzeugs 10 benötigt.
-
Nach Abschluss der Auswertung in Verfahrensschritt 24 wird das Ergebnis der Auswertung dem Fahrzeug 10 zur weiteren Verwendung bereitgestellt, beispielsweise die Navigationseinrichtung, die die Anfrage einer Erfassung der Umgebung des Fahrzeugs gestartet hatte. Das Verfahren 20 mit den Schritten 21 - 25 kann beliebig oft wiederholt werden, so dass die Navigationseinrichtung zeitlich kontinuierlich über die Fahrsituation des Fahrzeuges über die ermittelte Umgebung informiert ist und entsprechend eingreifen kann.
