-
Die Erfindung betrifft ein Verfahren zum spurgenauen Lokalisieren von mindestens einem Fahrzeug durch mindestens eine Servereinheit sowie eine Servereinheit zum Herstellen einer Kommunikationsverbindung zu mindestens einem Fahrzeug.
-
Stand der Technik
-
Es sind bereits Verfahren zum spurgenauen Orten von Fahrzeugen bekannt, welche fahrzeugintern Messdaten auswerten und somit eine Lokalisierung vornehmen. Neben der Nutzung von GPS-Sensoren sind auch Verfahren bekannt, die Bilddaten von Kameras analysieren und daraus Rückschlüsse auf die eigene Fahrspur ziehen.
-
Derartige Verfahren benötigen jedoch einen Rechenaufwand, der einen Rechenaufwand üblicher Steuergeräte übersteigt. Hierdurch kann die Zuverlässigkeit einer fahrzeuginternen spurgenauen Ortung auf Straßen mit einer Vielzahl an Fahrspuren und der Präsenz von Fahrzeugen im Messbereich der Sensoren nicht gewährleistet werden.
-
Offenbarung der Erfindung
-
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren und eine Servereinheit vorzuschlagen, welche eine kosteneffiziente und robuste Lokalisierung von Fahrzeugen ermöglichen
-
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zum spurgenauen Lokalisieren von mindestens einem Fahrzeug durch mindestens eine Servereinheit bereitgestellt. In einem Schritt werden Messdaten eines Fahrzeugumfelds von der Servereinheit empfangen. Eine Spurbreite einer vom Fahrzeug befahrenen Fahrspur wird aus den empfangenen Messdaten durch die Servereinheit ermittelt oder von der Servereinheit definiert.
-
Anschließend wird aufgrund der empfangenen Messdaten von der Servereinheit eine Fahrbahn ermittelt. Hierbei können ein oder mehrere Segmente bzw. Bereiche in den Messdaten als Fahrbahn durch die Servereinheit identifiziert werden.
-
Basierend auf der ermittelten Spurbreite der Fahrbahn wird eine spurgenaue Position des Fahrzeugs ermittelt.
-
Dabei kann gemäß einer Ausführungsform basierend auf der ermittelten Spurbreite eine Anzahl von Fahrspuren der Fahrbahn und die spurgenau Position des Fahrzeuges ermittelt werden. Insbesondere kann somit ermittelt werden auf welcher Fahrspur von den vorhandenen Fahrspuren sich das Fahrzeug gegenwärtig befindet oder welche Fahrspuren das Fahrzeug befahren hat.
-
Die spurgenaue Position des Fahrzeugs wird an ein Steuergerät ausgegeben. Somit kann das mindestens eine Fahrzeug seine eigene Position erfahren und sich beispielsweise innerhalb einer Karte identifizieren. Die spurgenaue Position des Fahrzeugs kann auch über eine Kommunikationsverbindung an das Fahrzeug bzw. das Steuergerät des Fahrzeugs übertragen werden.
-
Nach einer weiteren Ausführungsform werden die Messdaten als segmentierte Messdaten von der Servereinheit empfangen. Dabei können von mindestens einem Sensor des Fahrzeugs ermittelte und fahrzeugintern von einem Steuergerät segmentierte Messdaten eines Fahrzeugumfelds über eine Kommunikationsverbindung von der Servereinheit empfangen werden. Eine Spurbreite der vom Fahrzeug befahrenen Fahrspur kann somit aus den empfangenen Messdaten durch die Servereinheit ermittelt oder von der Servereinheit definiert werden. Basierend auf der ermittelten Spurbreite wird eine Anzahl an Fahrspuren der Fahrbahn durch die Servereinheit berechnet und eine spurgenaue Position des Fahrzeugs ermittelt. Anschließend kann die spurgenaue Position des Fahrzeugs an ein Steuergerät des Fahrzeugs über die Kommunikationsverbindung übertragen werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird eine Servereinheit zum Herstellen einer Kommunikationsverbindung zu mindestens einem Fahrzeug bereitgestellt, wobei die Servereinheit dazu eingerichtet ist, zumindest eines der Verfahren auszuführen.
-
Durch das Verfahren kann eine kosteneffiziente und robuste Lokalisierung von Fahrzeugen bereitgestellt werden. Die Lokalisierung kann hierbei spurgenau erfolgen, wodurch dem Fahrzeug mitgeteilt wird, auf welcher Fahrspur sich das Fahrzeug auf dem aktuell befahrenen Straßenabschnitt befindet.
-
Der mindestens eine fahrzeuginterne Sensor kann eine Frontkamera, Rückfahrkamera, Spiegelersatzkamera, LIDAR-Sensor, Radarsensor und dergleichen sein. Die durch den Sensor ermittelten Messdaten können in Form einer Tabelle, eines Bildes oder in Form von bewegten Bildern bzw. einer Bildsequenz vorliegen. Die jeweiligen Messdaten können von einem fahrzeuginternen Steuergerät empfangen und über eine Kommunikationseinheit an die Servereinheit übermittelt werden. Hierzu kann eine drahtlose Kommunikationsverbindung zwischen mindestens einem fahrzeugseitigen Steuergerät bzw. Kommunikationseinheit und der fahrzeugexternen Servereinheit hergestellt werden.
-
Die Kommunikationsverbindung kann vorzugsweise eine drahtlose Verbindung sein, welche auf einem WLAN, GSM, UMTS, LTE oder dergleichen Standard basiert.
-
Die Messdaten können komprimiert oder un-komprimiert an die Servereinheit übermittelt werden. Hierdurch kann der Rechenaufwand in ein Backendsystem bzw. die Servereinheit verlagert werden. Die Servereinheit kann stationär oder mobil, beispielsweise in einem Lastkraftwagen, angeordnet sein. Dieses Backendsystem kann eine höhere Rechenleistung als ein fahrzeuginternes Steuergerät aufweisen und beispielsweise neuronale Netze einsetzen, um die von einem Fahrzeug aufgenommenen Messdaten zu analysieren. Die Analyseergebnisse der Servereinheit können über die Kommunikationsverbindung an das mindestens eine Fahrzeug zurückgesendet werden.
-
Durch das Verfahren und die Servereinheit kann eine hohe Güte der spurgenauen Ortung der Fahrzeuge bei gleichzeitig reduzierter Komplexität innerhalb des Fahrzeuges realisiert werden.
-
Das Auslagern der rechenintensiven Berechnung in die mindestens eine Servereinheit, können die Kosten und die Komplexität der Onboard-Elektronik der Fahrzeuge gesenkt werden.
-
Nach einer Ausführungsform werden die empfangenen Messdaten durch die Servereinheit und/oder durch ein Steuergerät des Fahrzeugs semantisch in Klassen segmentiert. Die von den Sensoren ermittelten Messdaten können beispielsweise in Form eines Bildes vorliegen. Das Bild kann beispielsweise von einer Rückfahrkamera, einer Frontkamera oder einer Dashcam oder von einer Spiegelersatzkamera aufgezeichnet werden. Das vom Fahrzeug an die Servereinheit übermittelte Bild kann unter Zuhilfenahme eines neuronalen Netzes semantisch segmentiert werden. Dabei werden jedem Bildpunkt eine oder mehrere semantische Klassen zugeordnet. Derartige Klassen können beispielsweise Fahrzeuge, Fahrbahn, Gehweg, Vegetation, Gebäude, Fußgänger und dergleichen sein. Insbesondere können zumindest die Klassen Fahrbahn und Fahrzeuge durch das Verfahren genutzt werden. Des Weiteren kann der Einsatz von mindestens einer weiteren Klasse vorteilhaft sein, welche alle restlichen Bildpunkte beinhaltet, die den anderen Klassen nicht zugeordnet werden können.
-
Gemäß einer weiteren Ausführungsform wird die semantische Segmentierung der Messdaten durch mindestens ein neuronales Netz der Servereinheit und/oder des Steuergeräts des Fahrzeugs durchgeführt. Dadurch, dass Techniken der semantischen Segmentierung mittels neuronaler Netze verwendet werden, kann gewährleistet werden, dass die Lokalisierung der Fahrzeuge auch unter wechselnden Licht- und Umweltbedingungen zuverlässig funktioniert.
-
Nach einem weiteren Ausführungsbeispiel wird die semantische Segmentierung der Messdaten anhand von einer Datenfusion von Messdaten von mindestens zwei Sensoren von der Servereinheit und/oder dem Steuergerät des Fahrzeugs ausgeführt. Die Segmentierung kann somit, alternativ zur Erstellung der semantischen Segmentierung beispielsweise eines Bildes einer Kamera durch ein neuronales Netz, auch durch ein anderes Verfahren erstellt werden. Beispielsweise kann die Segmentierung der Messdaten der mindestens einen Kamera durch eine Interpretation und/oder Fusion von Daten aus einer Stereokamera, einem Radarsensor oder einem LI DAR-Sensor erfolgen.
-
Gemäß einem weiteren Ausführungsbeispiel wird ein Fahrbahnsegment durch das Segmentieren der empfangenen Messdaten durch die Servereinheit und/oder das Steuergerät des Fahrzeugs berechnet. Das Fahrbahnsegment wird anschließend in Teilabschnitte unterteilt, wobei durch Objekte unverdeckte Teilabschnitte des Fahrbahnsegments zum Bestimmen einer Anzahl an Fahrspuren von der Servereinheit ausgewählt werden. Hierdurch ist es ausreichend, wenn lediglich Teilabschnitte einer Fahrbahn sichtbar sind. Eine derartige Situation kann beispielsweise bei einem erhöhten Verkehrsaufkommen auftreten, bei dem die Fahrbahn im Sichtbereich der Sensoren durch andere Fahrzeuge bedeckt ist. Der durch die Segmentierung als Fahrbahn klassifizierte Abschnitt des Bildes wird in Teilabschnitte aufgeteilt. Dies können beispielsweise rechteckige Teilabschnitte sein. Die Pixel der jeweiligen Teilabschnitte können anschließend analysiert werden. Gehören beispielsweise mehr als die Hälfte der Pixel in einem Teilabschnitt zur selben semantischen Klasse bzw. zu der Fahrbahn, so kann der gesamte Teilabschnitt der Fahrbahn zugeordnet werden. Hierdurch kann insbesondere eine Plausibilisierung der ermittelten Fahrspuren durchgeführt werden. Besitzt beispielsweise mindestens ein Teilabschnitt die semantische Klasse Fahrbahn, so gilt die Spur zu der der Teilabschnitt gehört als existent.
-
Nach einer weiteren Ausführungsform werden die Messdaten des Fahrzeugumfelds als mindestens ein Bild oder als bewegte Bilder von der Servereinheit empfangen. Bevorzugterweise können die Messdaten von einer heckgerichteten Kamera, einer frontgerichteten Kamera oder einer in Fahrtrichtung des Fahrzeugs seitlich gerichteten Kamera ermittelt werden.
-
Gemäß einer weiteren Ausführungsform wird die von dem Fahrzeug befahrene Fahrspur anhand von Messdaten von mindestens zwei Sensoren des Fahrzeugs durch die Servereinheit ermittelt. Hierdurch können Messdaten mehrerer Sensoren dazu eingesetzt werden eine Fahrspur des Fahrzeugs zu lokalisieren.
-
Beispielsweise können die Messdaten mehrerer Sensoren redundant eingesetzt werden, um die Fahrspur basierend auf Messdaten eines vor einem Fahrzeug liegenden Umfelds und/oder basierend auf Messdaten des hinter dem Fahrzeug liegenden Umfelds zu bestimmen.
-
Nach einem weiteren Ausführungsbeispiel wird die Spurbreite einer Fahrspur von der Servereinheit als eine konstante Fahrspur oder abhängig von einer Fahrbahnart definiert. Alternativ zu der Berechnung bzw. Schätzung der aktuellen Spurbreite basierend auf Messdaten, kann auch eine fest definierte Spurbreite durch die Servereinheit bestimmt werden. Beispielsweise kann eine universelle Spurbreite von 3,5 m definiert werden. Alternativ oder zusätzlich kann eine Straßenklasse anhand der Messdaten identifiziert und der jeweiligen Straßenklasse eine konstante Spurbreite zugewiesen werden. Hierbei können beispielsweise Autobahnen eine Spurbreite von 4,5 m, Straßen innerhalb von geschlossenen Ortschaften 3,5 m und Landstraßen 4,0 m aufweisen.
-
Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
- 1 schematische Darstellung einer Anordnung mit einem Fahrzeug und einem externen Servereinheit,
- 2 ein schematisches Ablaufdiagramm zum Veranschaulichen eines Verfahrens,
- 3 ein von einer Rückfahrkamera ermittelte Messdaten in Form eines Bildes, und
- 4 das in 3 gezeigte semantisch segmentierte Bild mit dargestellten Teilabschnitten in einem Fahrbahnsegment.
-
Die 1 zeigt eine schematische Darstellung einer Anordnung 1 mit einem Fahrzeug 2 und einem externen Servereinheit 4. Das Fahrzeug 2 befährt eine Fahrbahn 6 mit zwei Fahrspuren 8.
-
Das Fahrzeug 2 weist eine Frontkamera 10 und eine Rückfahrkamera 12 auf. Die Frontkamera 10 und die Rückfahrkamera 12 können somit das Umfeld hinter dem Fahrzeug 2 und vor dem Fahrzeug 2 aufzeichnen. Hierzu werden durch die Frontkamera 10 und die Rückfahrkamera 12 Messdaten ermittelt. Die Messdaten können durch die Frontkamera 10 und die Rückfahrkamera 12 auch während der Fahrt des Fahrzeugs 2 aufgezeichnet werden.
-
Des Weiteren weist das Fahrzeug 2 ein Steuergerät 14 auf. Das Steuergerät 14 ist datenleitend mit der Frontkamera 10 und der Rückfahrkamera 12 verbunden und kann somit die ermittelten Messdaten auslesen und zumindest temporär speichern.
-
Das Steuergerät 14 weist eine fahrzeugseitige Kommunikationseinheit 16 auf. Mit Hilfe der Kommunikationseinheit 16 kann das Steuergerät 14 die ermittelten Messdaten der Frontkamera 10 und der Rückfahrkamera 12 an die fahrzeugexterne Servereinheit 4 übertragen.
-
Gemäß dem Ausführungsbeispiel kann die Kommunikationseinheit 16 eine drahtlose Kommunikationsverbindung 18 zu der externen Servereinheit 4 herstellen. Die Kommunikationsverbindung 18 ist hier eine Mobilfunkverbindung, welche beispielsweise aus einem LTE- oder UMTS-Mobilfunkstandard basiert.
-
Über die Kommunikationsverbindung 18 können die fahrzeugseitig ermittelten Messdaten an die Servereinheit 4 übertragen werden. Die Servereinheit 4 weist mindestens ein neuronales Netz 20 auf, welches dazu eingesetzt werden kann die Messdaten auszuwerten.
-
In der 2 ist ein schematisches Ablaufdiagramm zum Veranschaulichen eines Verfahrens 22 zum spurgenauen Lokalisieren von mindestens einem Fahrzeug 2 dargestellt.
-
In einem Schritt 23 werden Messdaten durch mindestens einen fahrzeugseitigen Sensor 10, 12 ermittelt. Dies kann beispielsweise durch ein Aufnehmen eines Fotos durch die Rückfahrkamera 12 erfolgen. Das Bild bzw. die Messdaten werden anschließend über das Steuergerät 14 und über die Kommunikationseinheit 16 an die externe Servereinheit 4 übertragen 24. Die Kommunikationseinheit 16 dient hier als eine Funkschnittstelle.
-
In der 3 ist beispielhaft ein Foto der Rückfahrkamera 12 dargestellt. Hierbei sind die Messdaten in Form des Fotos ausgestaltet und zeigen eine Fahrbahn 6 mit drei Fahrspuren 8. Die Fahrspuren 8 sind teilweise durch Fahrzeuge verdeckt.
-
Das Bild bzw. die Messdaten werden in einem weiteren Schritt 25 des Verfahrens 22 von der Servereinheit 4 empfangen.
-
Die Servereinheit 4 ermittelt in einem weiteren Schritt 26 die Spurbreite D des in den Messdaten abgebildeten Straßenabschnitts. Dies geschieht, indem die zu der aktuellen Fahrspur 8 zugehörige linken und rechten Fahrbahnmarkierung M identifiziert und aus deren Lage die Spurbreite D der befahrenen Spur 8 geschätzt wird.
-
Parallel oder anschließend hierzu kann das vom Fahrzeug 2 übertragene Bild in der Servereinheit 4 unter Zuhilfenahme des neuronalen Netzes 20 semantisch segmentiert werden 27. Durch die semantische Segmentierung wird jeder Bildpunkt einer beispielsweise vordefinierten Klasse zugeordnet. Gemäß dem Ausführungsbeispiel werden für Fahrzeuge 32, die Fahrbahn 6, die Gehwege 34, die Vegetation 36 und für Gebäude 38 Klassen eingesetzt.
-
Die 4 zeigt das in 3 dargestellte Foto der Rückfahrkamera 12, welches perspektivisch entzerrt und durch das neuronale Netz 20 segmentiert wurde. Somit zeigt die 4 das Resultat der semantischen Segmentierung.
-
In einem weiteren Schritt 28 des Verfahrens 22 wird in dem semantisch segmentierten Bild ein Spurmodel angelegt. Dabei werden die Fahrspuren 8 beispielsweise basierend auf den identifizierten Fahrbahnmarkierungen M und der ermittelten Spurbreite D auf das Bild projiziert.
-
Anschließend wird für jede Fahrspur 8 geprüft 29, welchen Klassen die jeweilig auf der Fahrspur 8 positionierten Pixel zugeordnet sind. Hierdurch kann geprüft werden, ob die jeweilige Fahrspur 8 existiert. Basierend auf der Anzahl der existierenden Fahrspuren 8 kann abgeleitet werden, auf welcher Fahrspur 8 das Fahrzeug 2 sich befindet.
-
Das in der 4 dargestellte segmentierte Bild zeigt die relevanten rechteckigen Teilbereiche 40 an, die zum Ermitteln der Anzahl an Fahrspuren 8 herangezogen wurden. Dabei werden drei weitere reguläre Fahrspuren 8 rechts neben dem Fahrzeug 2 durch die Servereinheit 4 identifiziert. Somit befindet sich das Fahrzeug 2 auf der dritten Fahrspur 8.
-
Die ermittelte Fahrspur bzw. die spurgenaue Position des Fahrzeugs 2 wird in einem weiteren Schritt 30 von der Servereinheit 4 an das Steuergerät 14 des Fahrzeugs 2 gesendet. In einem weiteren Schritt 31 wird die spurgenaue Position des Fahrzeugs 2 vom Steuergerät 14 empfangen.
-
Die spurgenaue Position des Fahrzeugs 2 kann hier beispielsweise eine explizite Fahrspur sein, welche durch das Fahrzeug 2 zum Zeitpunkt der Messung befahren wird. Alternativ oder zusätzlich kann die spurgenaue Position auch eine relative Position des Fahrzeugs 2 quer zur Fahrtrichtung bzw. einem Fahrbahnverlauf sein.
-
Die 4 verdeutlicht, dass das Verfahren 22 robust gegenüber teilweisen Verdeckungen von Fahrspuren 8 ist. In der 4 sind die verschiedenen Segmente bzw. Bildbereiche dargestellt, die unterschiedlichen Klassen zugeordnet wurden. Für das Verfahren ist es ausreichend, wenn beispielsweise zumindest ein Teilabschnitt 40 einer Fahrbahn 6 sichtbar ist. Dazu wird jede Fahrbahn in mehrere Teilabschnitte 40 aufgeteilt und die Pixel in diesen Teilabschnitten 40 analysiert. Gemäß dem Ausführungsbeispiel sind die Teilabschnitte rechteckig.
-
Gehören mehr als die Hälfte der Pixel in einem Teilabschnitt 40 zur selben semantischen Klasse, so wird dieses Teilstück dieser Klasse zugeordnet. Die 4 veranschaulicht dieses Vorgehen. Dabei sind einige Teilabschnitte 40 der Klasse Fahrzeug 32, der Klasse Fahrbahn 6 und der Klasse Fußgängerweg 34 zugeordnet. Besitzt mindestens ein Teilabschnitt 40 die semantische Klasse Fahrbahn, so gilt die Fahrspur 8 zu der der Teilabschnitt 40 gehört als existent.
-
Um einen Konfidenzwert für die Schätzung der eigenen Fahrspur zu berechnen, wird die Information verwendet, wie viel potentieller Fahrspuren
8 durch andere Fahrzeuge
32 verdeckt werden. Dazu wird die folgende Formel eingesetzt:
-
Hierbei ist #PixelAuto die Summe aller Bildpunkte innerhalb aller Teilabschnitte 40, die der Klasse Fahrzeuge 32 zugeordnet sind. Die Variable #PixelTotal beschreibt die Summe aller Bildpunkte von allen Teilabschnitten 40.
