DE102021125653A1

DE102021125653A1 - Entfernen nicht relevanter Punkte aus einer Punktwolke

Info

Publication number: DE102021125653A1
Application number: DE102021125653.4A
Authority: DE
Inventors: Axel Jeanne
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-10-04
Filing date: 2021-10-04
Publication date: 2023-04-06
Also published as: WO2023057261A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Entfernen nicht relevanter Punkte einer Punktwolke (22), die einer Punktdarstellung einer Umgebung (20) eines Ego-Fahrzeugs (10) mit mehreren einzelnen Punkten (24) entspricht, umfassend die Schritte Bereitstellen der Punktwolke (22), die eine Position des Ego-Fahrzeugs (10) abdeckt, Erkennen der Umgebung (20) des Ego-Fahrzeugs (10) unter Verwendung mindestens eines Umgebungssensors (14) des Ego-Fahrzeugs (10), Bestimmen einer aktuellen Position des Ego-Fahrzeugs (10) innerhalb der Punktwolke (22) basierend auf der Erkennung der Umgebung (20) des Ego-Fahrzeugs (10), Bestimmen eines Projektionsbereichs (32) mit einer Projektion des Ego-Fahrzeugs (10) in die Punktwolke (22) auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs (10), und Entfernen einzelner Punkte (24) aus der Punktwolke (22) im Projektionsbereich (32) des Ego-Fahrzeugs (10) als nicht relevante Punkte. Die vorliegende Erfindung betrifft außerdem ein Fahrunterstützungssystem (12) mit mindestens einem Umgebungssensor (14) zur Erkennung einer Umgebung (20) eines Ego-Fahrzeugs (10) und einer Verarbeitungseinheit (16), die Sensorinformationen von dem mindestens einen Umgebungssensor (14) über eine Datenverbindung (18) empfängt und die Sensorinformationen verarbeitet, wobei das Fahrunterstützungssystem (12) ausgeführt ist, das obige Verfahren durchzuführen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Entfernen nicht relevanter Punkte aus einer Punktwolke, die einer Punktdarstellung einer Umgebung eines Ego-Fahrzeugs mit mehreren einzelnen Punkten entspricht.
Die vorliegende Erfindung betrifft ferner ein Fahrunterstützungssystem mit mindestens einem Umgebungssensor zur Erkennung einer Umgebung eines Ego-Fahrzeugs und einer Verarbeitungseinheit, die Sensorinformationen von dem mindestens einen Umgebungssensor über eine Datenverbindung empfängt und die Sensorinformationen verarbeitet, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen.
Eine Umgebung eines Ego-Fahrzeugs kann durch eine Punktwolke dargestellt werden, die mehrere einzelne Punkte aufweist. Diese einzelnen Punkte können auch als Merkmale bezeichnet werden. Jedes der Merkmale definiert zumindest teilweise ein Objekt oder eine Struktur in der Umgebung des Ego-Fahrzeugs.
Eine solche Punktwolke kann vom Ego-Fahrzeug selbst beim Fahren und Erfassen der Umgebung mit Hilfe von Umgebungssensoren erzeugt werden. Insbesondere Umgebungssensoren wie LiDAR oder Radar liefern eine Darstellung der Umgebung auf der Basis einzelner Messpunkte, die eine definierte Position in der Umgebung des Ego-Fahrzeugs aufweisen. Auch bei der Verwendung anderer Umgebungssensoren wie optischen Kameras, die eine zweidimensionale Darstellung der Umgebung liefern, können Merkmale z.B. aus den bereitgestellten Kamerabildern extrahiert werden. Sensorinformationen von mehreren Umgebungssensoren und/oder verschiedenen Arten von Umgebungssensoren können kombiniert werden, um die Punktwolke bereitzustellen.
Bei der Punktwolke kann es sich auch um eine voraufgezeichnete Punktwolke handeln, die z.B. von außerhalb des Ego-Fahrzeugs bereitgestellt werden kann. Die Punktwolke kann gespeichert oder als eine Art Karte zur Verwendung durch das Ego-Fahrzeug bereitgestellt werden.
Die Punktwolke hilft dem Ego-Fahrzeug, sich in der Umgebung zu bewegen, z. B. um eine detaillierte Position in Bezug auf die Punktwolke zu bestimmen oder um einen Kurs für das Bewegen des Ego-Fahrzeugs innerhalb der Umgebung zu ermitteln, um eine bestimmte Position zu erreichen. Solche Systeme sind z. B. als simultane Lokalisierung und Kartierung (simultaneous localization and mapping, SLAM) bekannt. Das Ego-Fahrzeug bestimmt seine aktuelle Umgebung mit Hilfe seiner Umgebungssensoren und gleicht die Erfassung der Umgebung mit der Punktwolke ab. Diese Systeme können hochdynamisch sein, so dass eine erzeugte Punktwolke für die Lokalisierung und fast sofort für die Lokalisierung verwendet werden kann. In jedem Fall können verschiedene Arten von Umgebungssensoren wie optische Kameras, LiDAR-basierte Umgebungssensoren oder Radarsensoren allein oder in Kombination verwendet werden.
Um die Umgebung zu definieren, ist es wünschenswert, dass die Punktwolke nur gültige und relevante Merkmale enthält. Unerwünschte Merkmale können jedoch z.B. durch mobile, insbesondere sich bewegende Objekte oder auch durch Rauschen entstehen. Solche unerwünschten Merkmale sind schwierig zu verarbeiten, da das Ego-Fahrzeug entscheiden muss, ob sie gültig sind oder nicht, d.h. welche Merkmale beibehalten und welche verworfen werden müssen. Außerdem erhöht die Verarbeitung solcher unerwünschten Merkmale die Anforderungen an die Rechenleistung des Ego-Fahrzeugs. Merkmale entlang des Kurses des Ego-Fahrzeugs sind von hohem Interesse, da sie für die Berechnung und Verfolgung des Kurses essentiell sind. Insbesondere mobile Objekte können einzelne Punkte in der Punktwolke erzeugen, die sich nicht auf die Umgebung beziehen. So kann z.B. ein Drittfahrzeug, das an einer roten Ampel wartet, als Teil der Umgebung erkannt werden, obwohl es sich bei grüner Ampel in Bewegung setzen wird.
Daher ist bei der Erzeugung einer Punktwolke ein hohes Maß an Genauigkeit erforderlich.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Entfernen nicht relevanter Punkte aus einer Punktwolke, die einer Punktdarstellung einer Umgebung eines Ego-Fahrzeugs mit einer Vielzahl von einzelnen Punkten entspricht, und ein Fahrunterstützungssystem zur Durchführung dieses Verfahrens bereitzustellen, die eine einfache und zuverlässige Art und Weise des Entfernens nicht relevanter Punkte aus der Punktwolke ermöglichen.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.
Insbesondere stellt die vorliegende Erfindung ein Verfahren zum Entfernen nicht relevanter Punkte aus einer Punktwolke, die einer Punktdarstellung einer Umgebung eines Ego-Fahrzeugs mit mehreren einzelnen Punkten entspricht, zur Verfügung, umfassend die Schritte Bereitstellen der Punktwolke, die eine Position des Ego-Fahrzeugs abdeckt, Erkennen der Umgebung des Ego-Fahrzeugs unter Verwendung mindestens eines Umgebungssensors des Ego-Fahrzeugs, Bestimmen einer aktuellen Position des Ego-Fahrzeugs innerhalb der Punktwolke basierend auf der Erkennung der Umgebung des Ego-Fahrzeugs, Bestimmen eines Projektionsbereichs mit einer Projektion des Ego-Fahrzeugs in die Punktwolke auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs, und Entfernen einzelner Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs als nicht relevante Punkte.
Die vorliegende Erfindung stellt ferner ein Fahrunterstützungssystem zur Verfügung mit mindestens einem Umgebungssensor zur Erkennung einer Umgebung eines Ego-Fahrzeugs und einer Verarbeitungseinheit, die Sensorinformationen von dem mindestens einen Umgebungssensor über eine Datenverbindung empfängt und die Sensorinformationen verarbeitet, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen.
Grundidee der Erfindung ist es, das Ego-Fahrzeug als eine Art Radiergummi zu verwenden. Wenn sich das Ego-Fahrzeug in der von der Punktwolke abgedeckten Umgebung befindet, deckt es einen bestimmten Bodenbereich ab, der dem Projektionsbereich in der Punktwolke entspricht. Da sich das Ego-Fahrzeug an dieser Position befindet, können sich keine relevanten Hindernisse oder Strukturen an der Position des Ego-Fahrzeugs befinden. Ansonsten hätte das Ego-Fahrzeug seine aktuelle Position nicht erreicht. Daher soll auch die Punktwolke an der entsprechenden Position, die durch den Projektionsbereich definiert ist, frei von relevanten Hindernissen oder Strukturen sein, und einzelne Punkte, die von dem Projektionsbereich überdeckt werden, können gelöscht werden, da sie nicht relevant sein können, unabhängig davon, ob diese nicht relevanten Punkte realen Objekten oder Strukturen entsprechen oder gar auf Rauschen oder anderen Erfassungsfehlern bei der Erfassung der Umgebung beruhen.
Die Punkte der Punktwolke haben Positionen, die mindestens zweidimensionale Positionen sind. Wenn die Punkte der Punktwolke eine zweidimensionale Position haben, können Hindernisse und/oder Strukturen unabhängig von ihrer vertikalen Position auf dem Boden abgebildet werden. Wenn die Punkte der Punktwolke dreidimensionale Positionen haben, können Hindernisse und/oder Strukturen in einer bestimmten Höhe vorhanden sein, müssen aber nicht unbedingt auf Bodenhöhe beginnen. So kann z. B. eine Ampel oder ein Verkehrsschild an einer Brücke angebracht sein, die die Straße horizontal überquert. Dies kann z. B. für Lastkraftwagen relevant sein, so dass einzelne Punkte, die dieser Brücke entsprechen, berücksichtigt werden können, aber nur für Lastkraftwagen und nicht für normale Personenkraftwagen, die eine geringere Höhe haben.
Wie bereits oben erwähnt, sind nicht relevante Punkte einzelne Punkte der Punktwolke, die verworfen werden können. Wenn das Ego-Fahrzeug einen bestimmten Bodenbereich passieren kann, können keine relevanten Hindernisse oder Strukturen vorhanden sein. Für den Fall, dass die Punkte der Punktwolke dreidimensionale Positionen haben, kann der Schritt des Entfernens einzelner Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs als nicht relevante Punkte unter Berücksichtigung der dreidimensionalen Positionen der einzelnen Punkte durchgeführt werden. Beispielsweise können in der Projektionsfläche nur Punkte in einem Raum entfernt werden, der legalen Fahrzeughöhen entspricht. Vorzugsweise wird der Schritt des Entfernens einzelner Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs als nicht relevante Punkte unter Berücksichtigung einer Höhe des Ego-Fahrzeugs durchgeführt. So können Punkte in einem Raum, der der Höhe des Ego-Fahrzeugs entspricht, im Projektionsbereich entfernt werden.
Das Ego-Fahrzeug kann ein beliebiges Fahrzeug sein, z.B. ein PKW oder ein LKW, das von einem menschlichen Fahrer oder autonom gefahren werden kann.
Die Umgebung des Ego-Fahrzeugs ist ein Bereich um das Ego-Fahrzeug herum. Die Umgebung des Ego-Fahrzeugs kann durch die Punktwolke dargestellt werden, welche die Vielzahl von einzelnen Punkten umfasst. Diese einzelnen Punkte können auch als Merkmale bezeichnet werden. Jedes der Merkmale definiert zumindest teilweise ein Objekt oder eine Struktur in der Umgebung des Ego-Fahrzeugs.
Die Punktwolke kann unterschiedliche Ausdehnungen haben. In einer horizontalen Ebene kann sich die Punktwolke von einigen zehn Metern bis zu Hunderten oder sogar Tausenden von Metern in jeder Ebenenrichtung erstrecken. Bei einer dreidimensionalen Punktwolke kann sich die Punktwolke bis zu mehreren zehn Metern erstrecken.
Die aktuelle Position kann auf zusätzlichen Positionsdaten, z. B. Satellitenortungsdaten, beruhen, so dass die Position z. B. mit Karteninformationen abgeglichen werden kann. Die Position des Ego-Fahrzeugs kann eine Orientierung des Ego-Fahrzeugs beinhalten. Dies kann z. B. wichtig sein, wenn das Fahrzeug keine kreisförmige Form hat, um die Ausrichtung des Projektionsbereichs zu definieren.
Der Projektionsbereich kann z. B. auf der Grundlage einer normalen oder durchschnittlichen Breite und Länge des Ego-Fahrzeugs definiert werden. Der Projektionsbereich basiert auf der aktuellen Position des Ego-Fahrzeugs. Es ist jedoch nicht erforderlich, dass die aktuelle Position des Ego-Fahrzeugs einen Mittelpunkt des Projektionsbereichs definiert.
Die Sensorinformationen werden von dem mindestens einen Umgebungssensor über die Datenverbindung an die Verarbeitungseinheit des Fahrunterstützungssystems geliefert. Bei den Sensorinformationen kann es sich um Rohdaten oder vorverarbeitete Daten handeln. Bei der Datenverbindung kann es sich um eine dedizierte Verbindung zur Übertragung der Sensorinformationen von dem mindestens einen Umgebungssensor an die Verarbeitungseinheit handeln, z. B. eine Punkt-zu-Punkt-Verbindung von jedem Umgebungssensor zur Verarbeitungseinheit, oder um einen Datenbus, der von einigen oder allen der mehreren Umgebungssensoren gemeinsam genutzt wird. Außerdem kann die Datenverbindung eine gemeinsame Datenverbindung sein, die von verschiedenen Arten von Geräten des Ego-Fahrzeugs genutzt wird, z. B. ein Mehrzweck-Datenbus. Die Datenverbindung kann z.B. als CAN-Bus, LIN-Bus oder andere implementiert sein.
Die Verarbeitungseinheit verarbeitet die empfangenen Sensordaten und entfernt die nicht-relevanten Punkte aus der Punktwolke. Die Verarbeitungseinheit kann jede Art von Verarbeitungseinheit sein, die für den Einsatz im Ego-Fahrzeug geeignet ist. Solche Verarbeitungseinheiten sind typischerweise als ECU (electronic control unit, elektronisches Steuergerät) bekannt. Die Verarbeitungseinheit kann zur Ausführung mehrerer Aufgaben oder Anwendungen gemeinsam genutzt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Bereitstellen der Punktwolke, die eine Position des Ego-Fahrzeugs abdeckt, das Erzeugen der Punktwolke durch das Ego-Fahrzeug. Die Punktwolke wird also erzeugt, wenn das Ego-Fahrzeug verwendet wird, insbesondere während der Fahrt. Bei der Punktwolke kann es sich um eine hochdynamische Punktwolke handeln, die für einen Teil der Umgebung erzeugt wird, der von dem mindestens einen Umgebungssensor erfasst wird. Dementsprechend können Teile der Punktwolke, die außerhalb eines Bereichs des mindestens einen Umgebungssensors liegen, sofort verworfen werden. Alternativ kann die Punktwolke nach der Erzeugung zur weiteren Verwendung gespeichert werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Bereitstellen der Punktwolke, die eine Position des Ego-Fahrzeugs abdeckt, das Empfangen der Punktwolke als extern erzeugte Punktwolke. Die Punktwolke kann als externe Information bereitgestellt werden, die von dem Ego-Fahrzeug z.B. über eine Datenverbindung empfangen wird. In einer alternativen Ausführungsform kann die Punktwolke im Ego-Fahrzeug gespeichert sein. Ebenso kann auch die über die Datenverbindung empfangene Punktwolke im Ego-Fahrzeug zur weiteren Verwendung gespeichert werden.
Im Allgemeinen kann das Verfahren ohne Kenntnis des Ego-Fahrzeugs durchgeführt werden. Für die Projektion des Ego-Fahrzeugs kann eine allgemeine Vorlage verwendet werden. Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Ermittelns von Fahrzeugabmessungen des Ego-Fahrzeugs, und der Schritt des Bestimmens eines Projektionsbereichs mit einer Projektion des Ego-Fahrzeugs in die Punktwolke auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs umfasst das Bestimmen einer Größe des Projektionsbereichs auf der Grundlage der ermittelten Fahrzeugabmessungen des Ego-Fahrzeugs. Da sich aktuelle Fahrzeuge in ihrer Größe stark unterscheiden können, kann die Projektion bei Kenntnis der Fahrzeugabmessungen des Ego-Fahrzeugs verbessert werden. Dabei ist es nicht erforderlich, dass die Projektion auf die Größe des Ego-Fahrzeugs beschränkt ist. Zum Beispiel können zu den Fahrzeugabmessungen Ränder hinzugefügt werden.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Speicherns mindestens einer vorherigen Position des Ego-Fahrzeugs, und der Schritt des Bestimmens eines Projektionsbereichs mit einer Projektion des Ego-Fahrzeugs in die Punktwolke umfasst zumindest eine Projektion des Ego-Fahrzeugs für die mindestens eine vorherige Position des Ego-Fahrzeugs. Durch die Speicherung der vorherigen Positionen des Ego-Fahrzeugs kann das gleiche Prinzip wie für die aktuelle Position des Ego-Fahrzeugs auf die vorherige(n) Position(en) angewandt werden. Es wird somit davon ausgegangen, dass in einem Bereich, den das Ego-Fahrzeug bereits passiert hat, keine Umgebungsmerkmale auftauchen. Beispielsweise kann ein kombinierter Projektionsbereich als eine Art Gürtel bereitgestellt werden, der die aktuelle und die vorherige(n) Position(en) abdeckt, und die nicht relevanten Punkte können in diesem Bereich aus der Punktwolke entfernt werden. So wird der Gürtel frei von einzelnen Punkten gehalten. Das Gleiche kann gelten, wenn ein dreidimensionales Entfernen nicht relevanter Punkte aus der Punktwolke durchgeführt wird. In diesem Fall werden die nicht relevanten Punkte in einem kubischen oder röhrenförmigen Bereich entfernt.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Übertragens der ermittelten aktuellen Position des Ego-Fahrzeugs innerhalb der Punktwolke an einen entfernten Ort zum Entfernen der einzelnen Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs. Somit können die Schritte des Bestimmens eines Projektionsbereichs mit einer Projektion des Ego-Fahrzeugs in die Punktwolke auf Basis der ermittelten aktuellen Position des Ego-Fahrzeugs und das Entfernen einzelner Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs als nicht relevante Punkte an dem entfernten Ort durchgeführt werden. Die Schritte können zusätzlich zur Durchführung dieser Schritte im Ego-Fahrzeug durchgeführt werden. Die Verarbeitung am entfernten Ort kann insbesondere durchgeführt werden, um die am entfernten Ort gespeicherten Punktwolkendaten zu aktualisieren. Wenn die Punktwolke einem Ego-Fahrzeug zur Verfügung gestellt wird, kann die Punktwolke daher ohne die nicht relevanten Punkte bereitgestellt werden. Die aktuelle(n) Position(en) können sofort übertragen werden. Alternativ können auch mehrere aktuelle Positionen gespeichert und gemeinsam übertragen werden, z. B. je nach Verfügbarkeit einer Datenverbindung. Die Verarbeitung am entfernten Ort kann online oder offline erfolgen. In einer Ausführungsform wird der Projektionsbereich im Ego-Fahrzeug ermittelt und zusammen mit der Position an den entfernten Ort übertragen. Alternativ kann die Projektionsfläche auch am entfernten Ort ermittelt werden. In letzterem Fall erhält der entfernte Ort vorzugsweise Fahrzeugabmessungen vom Ego-Fahrzeug oder ermittelt die Fahrzeugabmessungen des Ego-Fahrzeugs, z.B. anhand einer Identifikation des Ego-Fahrzeugs.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Übertragens der Punktwolke nach dem Entfernen der einzelnen Punkte im Projektionsbereich des Ego-Fahrzeugs an einen entfernten Ort. Somit wird eine Aktualisierung der Punktwolke nach dem Entfernen der nicht relevanten Punkte im Projektionsbereich des Ego-Fahrzeugs vom Ego-Fahrzeug an den entfernten Ort übertragen. Dementsprechend kann die aktualisierte Punktwolke zur weiteren Verwendung bereitgestellt werden, z. B. durch andere Fahrzeuge oder durch das Ego-Fahrzeug selbst, wenn es erneut in der gleichen Umgebung fährt.
Alternativ werden Informationen zu den entfernten einzelnen Punkten im Projektionsbereich des Ego-Fahrzeugs an den entfernten Ort übermittelt. Es werden also nur Informationen über die entfernten einzelnen Punkte im Projektionsbereich des Ego-Fahrzeugs an den entfernten Ort übertragen. Dies kann die jeweiligen Punkte, insbesondere einschließlich ihrer Position, oder eine Definition eines Bereichs umfassen, in dem die nicht relevanten Punkte entfernt werden sollen.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Speicherns der aktuellen Position des Ego-Fahrzeugs, und die Schritte des Bestimmens eines Projektionsbereichs mit einer Projektion des Ego-Fahrzeugs in die Punktwolke auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs und des Entfernens einzelner Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs als nicht relevante Punkte werden als Offline-Verarbeitungsschritte durchgeführt. Die Schritte des Bestimmens eines Projektionsbereichs mit einer Projektion des Ego-Fahrzeugs in die Punktwolke auf Basis der ermittelten aktuellen Position des Ego-Fahrzeugs und des Entfernens einzelner Punkte aus der Punktwolke im Projektionsbereich des Ego-Fahrzeugs als nicht relevante Punkte werden als am zeitaufwändigsten angenommen, da sie sich auf eine Verarbeitung der Punktwolke beziehen. Indem diese Schritte offline durchgeführt werden, können diese Schritte z.B. je nach Verfügbarkeit von Ressourcen durchgeführt werden. Wenn das Ego-Fahrzeug z.B. angehalten ist oder sogar nicht benutzt wird, kann die Verarbeitung mit den verfügbaren Ressourcen durchgeführt werden. Somit kann das Verfahren unabhängig von einer aktuellen Nutzung des Ego-Fahrzeugs durchgeführt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der mindestens eine Umgebungssensor mindestens einen aus einem LiDAR-basierten Umgebungssensor, einem Radarsensor oder einer optischen Kamera. Insbesondere Umgebungssensoren wie LiDAR oder Radar liefern ohne weitere Verarbeitung eine Menge von einzelnen Messpunkten mit einer Position von Objekten und/oder Strukturen in der Umgebung des Ego-Fahrzeugs. Bei der Verwendung anderer Umgebungssensoren wie optischen Kameras, die eine zweidimensionale Darstellung der Umgebung liefern, können in einem weiteren Verarbeitungsschritt Merkmale z.B. aus den gelieferten Kamerabildern extrahiert werden. Verschiedene Arten von Umgebungssensoren können allein oder in Kombination verwendet werden. Sensorinformationen von mehreren Umgebungssensoren und/oder verschiedenen Arten von Umgebungssensoren können kombiniert werden, um die Punktwolke bereitzustellen.
Die oben in Bezug auf das erfindungsgemäße Verfahren beschriebenen Merkmale und Vorteile gelten gleichermaßen für das erfindungsgemäße Fahrunterstützungssystem und umgekehrt.
Diese und weitere Aspekte der Erfindung werden aus den nachfolgend beschriebenen Ausführungsformen ersichtlich und durch diese verdeutlicht. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung darstellen. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform in eine andere Ausführungsform übertragen werden.
In der Zeichnung:

1 zeigt eine schematische Ansicht eines Ego-Fahrzeugs mit einem Fahrunterstützungssystem gemäß einer ersten, bevorzugten Ausführungsform,
2 zeigt ein erstes Fahrszenario mit dem Ego-Fahrzeug aus 1, das in einer geraden Richtung auf einer Straße mit drei Fahrspuren und zwei vor und hinter dem Ego-Fahrzeug angeordneten Drittfahrzeugen sowie einem gürtelähnlichen Projektionsbereich fährt,
3 zeigt eine Illustration eines ersten Fahrszenarios mit dem Ego-Fahrzeug aus 1, das in gerader Richtung fährt, wobei eines der Drittfahrzeuge als nicht relevant entfernt ist,
4 zeigt ein zweites Fahrszenario mit dem Ego-Fahrzeug aus 1, das auf einer Straße mit drei Fahrspuren fährt, wobei das Ego-Fahrzeug einen Fahrspurwechsel durchführt, mit mehreren Projektionsbereichen,
5 zeigt ein drittes Fahrszenario, bei dem das Ego-Fahrzeug aus 1 in einem städtischen Gebiet entlang einer Straße fährt und eine Rechtskurve durchführt, als Draufsicht mit einer kartenähnlichen Darstellung,
6 zeigt eine Darstellung des dritten Fahrszenarios aus 5 als Punktwolke,
7 zeigt die Ansicht von 6 mit einem zusätzlichen Fahrweg des Ego-Fahrzeugs wie in 5 dargestellt,
8 zeigt eine Darstellung des dritten Fahrszenarios von 5 als Punktwolke nach dem Entfernen von nicht relevanten Punkten im Bereich des Ego-Fahrzeugs, das entlang des Fahrwegs fährt,
9 zeigt eine schematische Darstellung einer Punktwolke mit einem Fahrweg als viertes Fahrszenario,
10 zeigt eine schematische Darstellung einer Punktwolke mit einem Fahrweg als fünftes Fahrszenario, wobei die Punktwolke Teil einer globalen Punktwolke ist,
11 zeigt eine schematische Ansicht eines Fahrweges als sechstes Fahrszenario, wobei der Fahrweg eine dreidimensionale Röhrenform aufweist, und
12 zeigt ein Ablaufdiagramm eines Verfahrens zum Entfernen nicht relevanter Punkte aus einer Punktwolke, das mit dem Ego-Fahrzeug aus 1 durchgeführt wird.

1 zeigt ein Ego-Fahrzeug 10 gemäß einer ersten, bevorzugten Ausführungsform. Das Ego-Fahrzeug 10 kann jede Art von Fahrzeug sein, z. B. ein Pkw oder ein Lkw, das von einem menschlichen Fahrer oder autonom gefahren werden kann.
Das Ego-Fahrzeug 10 umfasst ein Fahrunterstützungssystem 12. Wie in 1 im Detail zu erkennen ist, umfasst das Fahrunterstützungssystem 12 in dieser Ausführungsform einen Umgebungssensor 14 und eine Verarbeitungseinheit 16, die über eine Datenverbindung 18 verbunden sind. Der Umgebungssensor 14 der ersten Ausführungsform ist als LiDAR-basierter Umgebungssensor vorgesehen, der einzelne Messpunkte mit einer Position von Objekten und/oder Strukturen in einer Umgebung 20 des Ego-Fahrzeugs 10 ohne weitere Verarbeitung bereitstellt.
In einer alternativen Ausführungsform kann das Ego-Fahrzeug 10 als Umgebungssensor 14 einen oder mehrere LiDAR-basierte Umgebungssensor(en) allein oder zusammen mit z.B. optischen Kameras oder Radar umfassen. Die Sensorinformationen der Umgebungssensoren 14 können kombiniert werden, um die Umgebung 20 des Ego-Fahrzeugs 10 abzudecken.
Somit erkennt der Umgebungssensor 14 die Umgebung 20 des Ego-Fahrzeugs 10. Die Umgebung 20 des Ego-Fahrzeugs 10 ist ein Bereich um das Ego-Fahrzeug 10.
Der Umgebungssensor 14 erzeugt Sensorinformationen, die über die Datenverbindung 18 an die Verarbeitungseinheit 16 übertragen werden. Bei den Sensorinformationen kann es sich um Rohdaten oder vorverarbeitete Daten handeln.
Die Verarbeitungseinheit 16 kann jede Art von Verarbeitungseinheit 16 sein, die für den Einsatz im Ego-Fahrzeug 10 geeignet ist. Solche Verarbeitungseinheiten 16 sind im Automobilbereich typischerweise als ECU (elektronisches Steuergerät, electronic control unit) bekannt. Die Verarbeitungseinheit 16 kann zur Ausführung mehrerer Aufgaben oder Anwendungen gemeinsam genutzt werden.
Die Datenverbindung 18 kann eine dedizierte Verbindung zur Übertragung der Sensorinformationen vom Umgebungssensor 14 zur Verarbeitungseinheit 16 oder ein Datenbus sein. Außerdem kann die Datenverbindung 18 eine gemeinsam genutzte Datenverbindung 18 sein, die von verschiedenen Arten von Geräten des Ego-Fahrzeugs 10 genutzt wird, z. B. ein Mehrzweck-Datenbus. Die Datenverbindung 18 kann z.B. als CAN-Bus, LIN-Bus oder anderes ausgeführt sein.
Die Verarbeitungseinheit 16 verarbeitet die Sensorinformationen, wobei das Fahrunterstützungssystem 12 dazu ausgeführt ist, das Verfahren zum Entfernen nicht relevanter Punkte aus einer Punktwolke 22, das im Folgenden näher erläutert wird, durchzuführen.
Nachfolgend wird ein Verfahren zum Entfernen der nicht relevanten Punkte aus der Punktwolke 22 beschrieben. Die Punktwolke 22 entspricht einer Punktdarstellung der Umgebung 20 des Ego-Fahrzeugs 10 mit mehreren einzelnen Punkten 24, wie in 12 dargestellt ist. Das Verfahren wird unter zusätzlicher Bezugnahme auf die 2 bis 9 erläutert.
Das Verfahren beginnt mit dem Schritt S100 und dem Bereitstellen der Punktwolke 22, die eine Position des Ego-Fahrzeugs 10 abdeckt.
In dieser Ausführungsform wird die Punktwolke 22 durch das Ego-Fahrzeug 10, insbesondere durch die Verarbeitungseinheit 16, erzeugt. Die Punktwolke 22 wird also erzeugt, wenn das Ego-Fahrzeug 10 benutzt wird, insbesondere während der Fahrt. Die Punktwolke 22 wird unter Verwendung des Umgebungssensors 14 des Ego-Fahrzeugs 10 als eine Menge von einzelnen Punkten 24 erzeugt. Die einzelnen Punkte 24 weisen Positionen auf, die in dieser Ausführungsform zweidimensionale Positionen sind, die zusammen die Umgebung 20 des Ego-Fahrzeugs 10 wiedergeben. Diese einzelnen Punkte 24 werden auch als Merkmale bezeichnet. Die Punktwolke 22 ist in 9 schematisch dargestellt. Weiterhin zeigt 6 eine Punktwolke 22, die sich aus den einzelnen Punkten 24 zusammensetzt, die zusammen Objekte oder Strukturen 26 definieren. Somit definiert jeder der einzelnen Punkte 24 zumindest teilweise ein Objekt oder eine Struktur 26 in der Umgebung 20 des Ego-Fahrzeugs 10.
Die Punktwolke 22 der 6 entspricht einer Fahrszene, die in 5 als kartenartige Darstellung mit einem zusätzlich dargestellten Fahrweg 28 des Ego-Fahrzeugs 10 gezeigt ist. Der Fahrweg 28 ist auch in 9 sichtbar.
In einer abgewandelten Ausführungsform empfängt das Ego-Fahrzeug 10 die Punktwolke 22 als extern generierte Punktwolke 22 über eine Datenverbindung. In einer weiteren alternativen Ausführungsform ist die Punktwolke 22 im Ego-Fahrzeug 10 gespeichert. Die Punktwolke 22 wird also aus dem Speicher bereitgestellt. Wie in 10 zu sehen ist, entspricht in diesem Fall eine aktuelle Punktwolke 22 einer Teilmenge eines globalen Punktwolken-Datensatzes 30.
Schritt S110 betrifft das Erkennen der Umgebung 20 des Ego-Fahrzeugs 10 unter Verwendung des Umgebungssensors 14 des Ego-Fahrzeugs 10. In dieser Ausführungsform wird das Erkennen der Umgebung 20 als Teil eines Algorithmus zur Durchführung der gleichzeitigen Lokalisierung und Kartierung (simultaneous localization and mapping, SLAM) durchgeführt.
Schritt S120 betrifft das Bestimmen der Fahrzeugabmessungen des Ego-Fahrzeugs 10. Die Fahrzeugabmessungen werden aus einem Speicher des Ego-Fahrzeugs 10 ermittelt, der eine Identifikation des Ego-Fahrzeugs 10 mit den Fahrzeugabmessungen enthält.
Schritt S130 betrifft das Ermitteln einer aktuellen Position des Ego-Fahrzeugs 10 innerhalb der Punktwolke 22 basierend auf der Erkennung der Umgebung 20 des Ego-Fahrzeugs 10. In dieser Ausführungsform wird die aktuelle Position des Ego-Fahrzeugs 10 innerhalb der Punktwolke 22 im Rahmen des Algorithmus zur Durchführung der simultanen Lokalisierung und Kartierung (SLAM) bestimmt. Die aktuelle Position des Ego-Fahrzeugs 10 umfasst eine Ausrichtung des Ego-Fahrzeugs 10, z.B. eine Winkelausrichtung des Ego-Fahrzeugs 10.
Schritt S140 betrifft die Bestimmung eines Projektionsbereichs 32 mit einer Projektion des Ego-Fahrzeugs 10 in die Punktwolke 22 auf Basis der ermittelten aktuellen Position des Ego-Fahrzeugs 10.
Der Projektionsbereich 32 ist am besten in 3 des ersten Fahrbeispiels zu erkennen. Das erste Fahrbeispiel umfasst die 2 und 3. Gemäß dem ersten Fahrbeispiel fährt das Ego-Fahrzeug 10 auf einer Straße 34 mit drei Fahrspuren 36, wobei sich das Ego-Fahrzeug 10 auf einer mittleren Fahrspur 36 befindet. In Fahrtrichtung 40 vor dem Ego-Fahrzeug 10 befindet sich eine Ampel 38. Weiterhin befindet sich das Ego-Fahrzeug 10 zwischen zwei Drittfahrzeugen 42.
Eine Größe des Projektionsbereichs 32 wird auf der Grundlage der ermittelten Fahrzeugabmessungen des Ego-Fahrzeugs 10 bestimmt. Wie in 3 gut zu erkennen ist, ist die Projektionsfläche 32 größer als das Ego-Fahrzeug 10. Dementsprechend werden zu den Fahrzeugabmessungen des Ego-Fahrzeugs 10 Ränder addiert, um den Projektionsbereich 32 zu definieren.
Schritt S150 betrifft das Entfernen einzelner Punkte 24 aus der Punktwolke 22 im Projektionsbereich 32 des Ego-Fahrzeugs 10 als nicht relevante Punkte.
Nicht relevante Punkte sind einzelne Punkte 24 der Punktwolke 22, die verworfen werden können. Wenn das Ego-Fahrzeug 10 einen bestimmten Bodenbereich passiert, können keine relevanten Hindernisse oder Strukturen vorhanden sein. Dieses Entfernen von nicht relevanten Punkten lässt sich am besten anhand des dritten Fahrszenarios der 5 bis 8 erkennen und verstehen. Wie in 6 zu sehen ist, enthält die Punktwolke 22, die der in 5 als kartenartige Darstellung gezeigten Fahrszene entspricht, alle einzelnen Punkte 24 vor dem Entfernen der nicht-relevanten Punkte. Das Ego-Fahrzeug 10 durchfährt die Fahrszene entlang des Fahrwegs 28, wie z. B. in den 5 und 7 dargestellt ist. Somit werden die einzelnen Punkte 24 entlang des Fahrweges 28 als nicht relevante Punkte identifiziert und entfernt, was zu der in 8 gezeigten Punktwolke 22 führt, welche die nicht relevanten Punkte, die in 6 vor dem Entfernen der nicht relevanten Punkte noch zu sehen sind, nicht enthält.
Schritt S160 betrifft das Abspeichern der aktuellen Position des Ego-Fahrzeugs 10 als vorherige Position des Ego-Fahrzeugs 10. Dementsprechend wird bei wiederholter Durchführung der zuvor beschriebenen Verfahrensschritte in Schritt S140 der Projektionsbereich 32 für die aktuelle Position zusammen mit den vorherigen Positionen des Ego-Fahrzeugs 10 bestimmt, wie z.B. in 4 dargestellt ist. Das gleiche Prinzip wie für die aktuelle Position des Ego-Fahrzeugs 10 wird auf die vorherige(n) Position(en) angewandt. Ein kombinierter Projektionsbereich 32 ist als eine Art gürtelähnlicher Bereich 44 vorgesehen, der die aktuelle und die vorherige(n) Position(en) überdeckt. Somit können in diesem Bereich die nicht relevanten Punkte aus der Punktwolke 22 entfernt werden und der gürtelähnliche Bereich 44 wird von einzelnen Punkten 24, die nicht relevant sind, freigehalten.
Dies ist im zweiten Fahrszenario von 4 im Detail zu sehen. Das Ego-Fahrzeug 10 fährt entsprechend dem ersten Fahrszenario der 2 und 3 auf einer Straße 34 mit drei Fahrspuren 36, wobei das Ego-Fahrzeug 10 seine Fahrspur 36 wechselt. Entlang des Fahrwegs 28 sind mehrere einzelne Projektionsflächen 32 vorgesehen, die zusammen den gürtelähnlichen Bereich 44 bilden.
In Bezug auf das erste Fahrbeispiel ist in 2 der gürtelähnliche Bereich 44 als durchgehender gürtelähnlicher Bereich 44 dargestellt, was eine vereinfachte Darstellung der einzelnen Projektionsbereiche 32 ist. 2 zeigt eine typische Situation an der Ampel 38, wenn die Ampel 38 rot ist. Das Ego-Fahrzeug 10 und die Drittfahrzeuge 42 halten an der Ampel 38 an. Dementsprechend sind die Drittfahrzeuge 42 vorübergehend statisch und können in der Punktwolke 22 als Teil der Umgebung 20 erfasst werden. Anhand des gürtelähnlichen Bereichs 44 kann das in Fahrtrichtung 40 hinter dem Ego-Fahrzeug 10 befindliche Drittfahrzeug 42 automatisch entfernt werden, d.h. einzelne Punkte 24, die dem in Fahrtrichtung 40 hinter dem Ego-Fahrzeug 10 befindlichen Drittfahrzeug 42 entsprechen, werden als nicht relevante Punkte identifiziert und entfernt. Der gürtelähnliche Bereich 44 ist in 2 bereits mit einer Ausdehnung in Fahrtrichtung 40 vor dem Ego-Fahrzeug 10 dargestellt. Dieser Teil des gürtelähnlichen Bereichs 44 wird dem gürtelähnlichen Bereich 44 hinzugefügt, wenn die Ampel 38 auf Grün schaltet und das Ego-Fahrzeug 10 weiter in Fahrtrichtung 40 fährt. Daher kann das im ersten Fahrszenario in Fahrtrichtung 40 vor dem Ego-Fahrzeug 10 gezeigte Drittfahrzeug 42 nicht entfernt werden, bevor das Ego-Fahrzeug 10 die Position dieses Drittfahrzeug 42 passiert hat.
In einer alternativen Ausführungsform umfasst das Verfahren einen zusätzlichen Schritt des Speicherns der aktuellen Position des Ego-Fahrzeugs 10. Weiterhin werden die Schritte des Bestimmens eines Projektionsbereichs 32 mit einer Projektion des Ego-Fahrzeugs 10 in die Punktwolke 22 auf Basis der ermittelten aktuellen Position des Ego-Fahrzeugs 10 und das Entfernen einzelner Punkte 24 aus der Punktwolke 22 im Projektionsbereich 32 des Ego-Fahrzeugs 10 als nicht relevante Punkte als Offline-Verarbeitungsschritte durchgeführt. Dementsprechend kann die Verarbeitung zum Entfernen der nicht relevanten Punkte jederzeit unabhängig von einem Fahrzustand oder einer Fahrbedingung des Ego-Fahrzeugs 10 durchgeführt werden. Vorzugsweise wird die aktuelle Position des Ego-Fahrzeugs 10 wiederholt gespeichert, so dass der gesamte Fahrweg 28 des Ego-Fahrzeugs 10 für die Offline-Verarbeitung und das Entfernen der nicht relevanten Punkte aus der Punktwolke 22 zur Verfügung gestellt werden kann.
In einer alternativen Ausführungsform ist die Punktwolke 22 eine dreidimensionale Punktwolke 22. Dementsprechend definiert das Ego-Fahrzeug 10, wie in 11 dargestellt ist, eine Projektionsfläche 32 mit einer vertikalen Ausdehnung, was zu einem röhrenförmigen Körper 46 führt. Darüber hinaus kann der röhrenförmige Körper 46 in Abhängigkeit von dem Fahrweg 28 des Ego-Fahrzeugs 10, der ein dreidimensionaler Fahrweg 28 sein kann, eine beliebige dreidimensionale Form aufweisen. Der Schritt des Entfernens einzelner Punkte 24 aus der Punktwolke 22 im Projektionsbereich 32 des Ego-Fahrzeugs 10 als nicht relevante Punkte wird unter Berücksichtigung der dreidimensionalen Positionen der einzelnen Punkte 32 durchgeführt und die nicht relevanten Punkte werden aus der Punktwolke 22 im röhrenförmigen Körper 46 entfernt.
Bezugszeichenliste

10: Ego-Fahrzeug
12: Fahrunterstützungssystem
14: Umgebungssensor, LiDAR-basierter Umgebungssensor
16: Verarbeitungseinheit
18: Datenverbindung
20: Umgebung
22: Punktwolke
24: einzelner Punkt
26: Objekt oder Struktur
28: Fahrweg
30: globaler Punktwolken-Datensatz
32: Projektionsfläche
34: Straße
36: Fahrspur
38: Ampel
40: Fahrtrichtung
42: Drittfahrzeug
44: gürtelähnlicher Bereich
46: röhrenförmiger Körper

Claims

Verfahren zum Entfernen nicht relevanter Punkte aus einer Punktwolke (22), die einer Punktdarstellung einer Umgebung (20) eines Ego-Fahrzeugs (10) mit mehreren einzelnen Punkten (24) entspricht, umfassend die Schritte Bereitstellen der Punktwolke (22), die eine Position des Ego-Fahrzeugs (10) abdeckt, Erkennen der Umgebung (20) des Ego-Fahrzeugs (10) unter Verwendung mindestens eines Umgebungssensors (14) des Ego-Fahrzeugs (10), Bestimmen einer aktuellen Position des Ego-Fahrzeugs (10) innerhalb der Punktwolke (22) basierend auf der Erkennung der Umgebung (20) des Ego-Fahrzeugs (10), Bestimmen eines Projektionsbereichs (32) mit einer Projektion des Ego-Fahrzeugs (10) in die Punktwolke (22) auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs (10), und Entfernen einzelner Punkte (24) aus der Punktwolke (22) im Projektionsbereich (32) des Ego-Fahrzeugs (10) als nicht relevante Punkte.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bereitstellen der Punktwolke (22), die eine Position des Ego-Fahrzeugs (10) abdeckt, das Erzeugen der Punktwolke (22) durch das Ego-Fahrzeug (10) umfasst.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bereitstellen der Punktwolke (22), die eine Position des Ego-Fahrzeugs (10) abdeckt, das Empfangen der Punktwolke (22) als extern erzeugte Punktwolke (22) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Ermittelns von Fahrzeugabmessungen des Ego-Fahrzeugs (10) umfasst, und der Schritt des Bestimmens eines Projektionsbereichs (32) mit einer Projektion des Ego-Fahrzeugs (10) in die Punktwolke (22) auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs (10) das Bestimmen einer Größe des Projektionsbereichs (32) auf der Grundlage der ermittelten Fahrzeugabmessungen des Ego-Fahrzeugs (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Speicherns mindestens einer vorherigen Position des Ego-Fahrzeugs (10) umfasst, und der Schritt des Bestimmens eines Projektionsbereichs (32) mit einer Projektion des Ego-Fahrzeugs (10) in die Punktwolke (22) zumindest eine Projektion des Ego-Fahrzeugs (10) für die zumindest eine vorherige Position des Ego-Fahrzeugs (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Übertragens der ermittelten aktuellen Position des Ego-Fahrzeugs (10) innerhalb der Punktwolke (22) an einen entfernten Ort zum Entfernen der einzelnen Punkte (24) aus der Punktwolke (22) im Projektionsbereich (32) des Ego-Fahrzeugs (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Übertragens der Punktwolke (22) nach dem Entfernen der einzelnen Punkte (24) im Projektionsbereich (32) des Ego-Fahrzeugs (10) an einen entfernten Ort umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Speicherns der aktuellen Position des Ego-Fahrzeugs (10) umfasst, und die Schritte des Bestimmens eines Projektionsbereichs (32) mit einer Projektion des Ego-Fahrzeugs (10) in die Punktwolke (22) auf der Grundlage der ermittelten aktuellen Position des Ego-Fahrzeugs (10) und des Entfernens einzelner Punkte (24) aus der Punktwolke (22) im Projektionsbereich (32) des Ego-Fahrzeugs (10) als nicht relevante Punkte als Offline-Verarbeitungsschritte durchgeführt werden.
Fahrunterstützungssystem (12) mit mindestens einem Umgebungssensor (14) zur Erkennung einer Umgebung (20) eines Ego-Fahrzeugs (10) und einer Verarbeitungseinheit (16), die Sensorinformationen von dem mindestens einen Umgebungssensor (14) über eine Datenverbindung (18) empfängt und die Sensorinformationen verarbeitet, dadurch gekennzeichnet, dass das Fahrunterstützungssystem (12) ausgeführt ist, das Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen.
Fahrunterstützungssystem (12) nach Anspruch 9, dadurch gekennzeichnet, dass der mindestens eine Umgebungssensor (14) mindestens einen aus einem LiDAR-basierten Umgebungssensor, einem Radarsensor oder einer optischen Kamera umfasst.