-
Die Erfindung betrifft ein Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs, welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs erfasst wird. Die Beschreibung der Umgebung kann insbesondere dem Ausführen mindestens einer Fahrerassistenzfunktion zugrunde gelegt werden.
-
Bekannt ist eine Detektion von Fahrspurmarkierungen aus Kamerabildern, die dem Ausführen einer Spurassistenzfunktion zugrunde gelegt wird. Bei der Assistenzfunktion Spurverlassenswarnung (Lane Departure Warning, LDW) wird der Fahrer gewarnt, wenn ein Verlassen der aktuellen Fahrspur unmittelbar droht, ohne dass der Fahrer den Fahrtrichtungsanzeiger betätigt hat. Bei der Spurhalte-Assistenzfunktion (Lane Keeping Assist, LKA), wird durch aktive Lenkeingriffe typischerweise sichergestellt, dass das Fahrzeug stets in der Mitte der Fahrspur fährt. Bei der Assistenzfunktion Fahrbahnverlassensschutz (Road Departure Protection, RDP) wird das Abkommen des Fahrzeugs von der Straße/Fahrbahn verhindert, indem im Notfall automatisch die Fahrzeugausrichtung angepasst wird.
-
WO 2016/188523 A1 zeigt ein Verfahren zur Schätzung von Fahrstreifen, welches u.a. Merkmalsvektoren als Eingangsdaten aus mehreren unterschiedlichen Sensoren verwendet. Ein Merkmalsvektor wird gebildet durch eine Position im Ego-Fahrzeugkoordinatensystem, die einen Punkt auf dem Rand eines Fahrstreifens beschreibt, und einer Richtung bzw. einem Winkel, der angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft. Durch eine Fusion der Eingangsdaten wird die Geometrie von Fahrstreifen geschätzt und die geschätzte Geometrie wird ausgegeben.
-
Aus Kartendaten, z.B. eines Navigationssystems, sind Informationen über die Anzahl an Fahrspuren einer mehrspurigen Richtungsfahrbahn verfügbar.
-
Mittels semantischer Segmentierung können Pixel(-segmente) eines Kamerabilds einer Klasse wie z.B. Straßenoberfläche, Fahrbahnmarkierung, Grünstreifen, Randbebauung oder ähnlichem zugeordnet werden.
-
Jedoch gestaltet sich die Detektion bzw. Erkennung von Fahrbahnmarkierungen aufwendig und ist fehleranfällig. Kartenmaterial ist nicht immer vorhanden oder vor allem nicht immer aktuell. Zudem ist die Genauigkeit der Lokalisierung mittels eines Navigationssystems zur Bestimmung der eigenen Position auf einer mehrspurigen Richtungsfahrbahn oft nicht ausreichend.
-
Eine Grundidee der vorliegenden Erfindung besteht darin, eine Straße durch ihre Topologie zu beschreiben:
Die Topologie beschreibt die Anordnung/Zusammenstellung einer Straße, d.h. beispielsweise die Anzahl der Spuren, deren Anordnung und Typ (z.B.: Autobahnspur, Autobahnabfahrt, Standstreifen, Haltebucht)
-
Mittels der bekannten Verfahren kann die Topologie nicht direkt gemessen, sondern nur indirekt aus Detektionen der Umfeldsensorik, wie beispielsweise erkannten Fahrstreifenmarkierungen, inferiert werden.
-
Ein erster Aspekt der Erfindung besteht in einer Verbesserung der Eigen-Lokalisierung für hochautonome Fahrzeuge Ein zweiter Aspekt besteht in einer Verbesserung der Straßengeometrie-Schätzung mittels der vorhandenen Umfeldsensorik Ein dritter Aspekt besteht in der Detektion von Straßentypen und -merkmalen wie beispielsweise der Detektion der Existenz von Standstreifen, Beschleunigungs- und/oder Verzögerungsstreifen.
-
Ein vierter Aspekt besteht in der Anwendung eines erfindungsgemäßen Verfahrens auf komplexere Straßenszenarien wie in Städten: z.B. zur Zuordnung von Ampeln oder Bodenpfeilen zu Fahrstreifen.
-
Ein erfindungsgemäßes Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs, welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs erfasst wird, besteht darin, dass die Topologie einer aktuell vom Fahrzeug befahrenen Straße beschrieben wird durch einen Vektor. Basierend auf dem die Topologie der aktuell vom Fahrzeug befahrenen Straße beschreibenden Vektor kann mindestens eine Fahrerassistenzfunktion ausgeführt werden. Die Fahrerassistenzfunktion, wie z.B. LDW, LKA, RDP, Spurwechselassistent (Lane Change Assist, LCA), Überholassistent, Baustellenassistent, Notbremsassistent (Emergency Brake Assist, EBA), Notlenkassistent (Emergency Steer Assist, ESA), erhält durch die Beschreibung der Straßentopologie wichtige Informationen, auf deren Grundlage die Warnung an den Fahrer oder der automatische Eingriff in die Fahrzeugsteuerung an die aktuelle Situation angepasst werden kann. Insbesondere kann die Beschreibung der Straßentopologie mit anderen Umgebungsinformationen, wie z.B. der Erkennung anderer Objekte als weitere Verkehrsteilnehmer, fusioniert werden, um z.B. ein sicheres Notlenkmanöver zu planen und ggfs. durchzuführen.
-
Ein erfindungsgemäßes Verfahren bietet die folgenden Vorteile: Es ermöglicht eine direkte Bestimmung der Straßentopologie aus dem Kamerabild (oder anderen Sensordaten) ohne aufwendige Vorverarbeitungsschritte.
-
Es stellt einen alternativen Absicherungspfad zur Plausibilisierung und Stützung des durch Sensoren detektierten Straßenmodells dar (z.B. Fehldetektion der Anzahl der erkannten Spuren durch Spurmarkierungen). Straßentypen, bzw. die Fahrspurklassen, wie beispielsweise ein Standstreifen (dessen momentane Bestimmung sehr kompliziert ist, da die Trennung vom Standstreifen zum Straßenrand sehr vielfältig ist), Verzögerungs- oder Beschleunigungsstreifen können bestimmt werden. Die ermittelten Informationen über die Straßentopologie sind auch in komplexeren Szenarien von großem Nutzen, wie beispielsweise bei Kreuzungen in Städten. Die Daten bezüglich der Straßentopologie können als weiterer Input zur Verbesserung der Lokalisierung oder der Fusion mit Kartendaten verwendet werden. Das Verfahren kann direkt auf einem Umgebungssensor implementiert werden, z.B. als intelligente Kamera.
-
Vorzugsweise enthält der Vektor binäre Werte, die jeweils angeben, ob ein vorgegebener Topologieaspekt erfüllt ist, in diesem Fall beträgt der Wert = 1, oder nicht, dann beträgt der Wert = 0.
-
Vorteilhaft umfasst die Topologie als Topologieaspekte eine Mehrzahl von Fahrspuren.
-
Bevorzugt enthält der Vektor fünf binäre Werte, die in einer definierten Reihenfolge angeben, ob
- eine zweite Spur links;
- eine benachbarte Spur links;
- eine benachbarte Spur rechts;
- eine zweite Spur rechts; und
- ein Standstreifen innerhalb von zwei Spuren rechts;
- der aktuell befahrenen Fahrspur existieren.
-
Gemäß einer vorteilhaften Ausgestaltung enthält der Vektor Zahlenwerte, die die Breite einer Fahrspur angeben. Bei einem Vektor mit beispielsweise fünf Werten, geben diese in der Reihenfolge die Breite der zweiten Spur links; der benachbarten Spur links; der aktuell befahrenen (eigenen) Fahrspur; der benachbarten Spur rechts; und der zweiten Spur rechts (der eigenen Fahrspur) . Sofern eine Fahrspur nicht existiert, ist der entsprechende Zahlenwert gleich Null. Optional könnte ein sechster binärer Wert des Vektors angeben, ob ein Standstreifen innerhalb von zwei Spuren rechts der aktuell befahrenen Fahrspur existiert.
-
In einer weiteren vorteilhaften Ausführungsform wird die Topologie durch Existenz und Art von Fahrspurmarkierungen oder Fahrspurbegrenzungen in einer definierten Reihenfolge beschrieben. Der Topologievektor enthält vorzugsweise die Markierungstypen der Spuren bzw. beschreibt die Spurränder bzw. deren Markierungstyp. Anstelle der binären Werte für die Existenz von Spuren kann mittels eines Integers (einer ganzen Zahl) der Spurmarkierungstyp definiert werden. Beispielsweise steht ,0' für keine Spur/Spurmarkierung, ,1' für eine durchgezogene Linie, ,2' für eine gestrichelte Linie und ,3' für die äußere Begrenzung eines Standstreifens. Ein Vektor mit sechs Elementen beschreibt somit drei Spurränder links und drei Spurränder rechts vom eigenen Fahrzeug. Der Wertebereich der Einträge des Vektors kann beliebig für weitere Markierungstypen erweitert werden (z.B. ,Block-Linien‘; ,doppelt durchgezogene Linie‘; ,Doppellinie: links durchgezogen und rechts gestrichelt‘; Doppellinie: links gestrichelt und rechts durchgezogen‘; ,gelbe durchgezogene Linie V‘; ,gelbe gestrichelte Linie‘; ,Randsteine‘; etc.). Mit ,Block-Linien‘ sind fett gestrichelte Linien gemeint, die z.B. zwei sich teilende Autobahnen trennen und bei denen rechts überholt werden darf.
-
Des Weiteren kann in einer erweiterten Ausführungsform zusätzlich ein Geometrievektor definiert werden, der beispielsweise die lateralen Abstände der Markierungslinien angibt, z.B. [-10m, -6m, -2m, 2m, 6m, 10m].
-
In weiteren vorteilhaften Ausführungsformen kann der Topologievektor durch zusätzliche Einträge erweitert werden. Vorteilhaft umfasst die Topologie als Topologieaspekt Kreuzungen, Einmündungen und/oder Ausfahrten. Alternativ oder kumulativ kann sie zusätzliche Nachbarspuren, Autobahn-Abfahrten und -Einfahrten, Randbebauung und/oder Haltebuchten umfassen.
-
Im Allgemeinen kann diese Methode auch für komplexere Straßenszenarien verwendet werden: z.B. Landstraßen mit entgegenkommenden Fahrstreifen, Straßen / Kreuzungen in Städten mit Abbiegefahrstreifen, usw. Oder zum Lernen weiterer Straßentypen oder -attribute, wie beispielsweise Standstreifen, Bus- oder Taxilinien, Einbahnstraßen, Fahrrad- oder Fußgängerzonen, Zebrastreifen etc. Vorteilhaft kann die Topologie als Topologieaspekt Zebrastreifen, Haltelinien und/oder sonstige Bodensymbole umfassen.
-
Vorzugsweise ist zumindest ein Umgebungssensor eine Frontkamera, bevorzugt eine im Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe angeordnete und in Fahrtrichtung gerichtete Kamera. Die Frontkamera kann eine monokulare Kamera, eine Stereokamera, oder eine sonstige bildaufnehmende 3D-Kamera sein. Die Kamera umfasst insbesondere ein optisches Modul, z. B. ein Objektiv mit einer oder mehrerer Linsen, und einem Bildsensor, vorzugsweise einem Halbleiter-basierten Bildaufnahmesensor, zum Beispiel einen CMOS-Sensor.
-
In diesem Fall erfolgt bevorzugt eine Zuordnung eines Kamerabilds der Frontkamera zu einem Vektor, der die Topologie der im Kamerabild abgebildeten Straße beschreibt. Diese Zuordnung wird in einer Lernphase gelernt, anhand von gelabelten Trainingsdaten. Anschließend kann das gelernte Zuordnungsverfahren auf der Frontkamera bzw. im Fahrerassistenzsystem hinterlegt werden, so dass neu aufgenommenen Bildern im fahrenden Fahrzeug ein Topologievektor zugeordnet wird. Alternativ kann die gesamte Methode direkt auf dem Umgebungs(-erfassungs-)sensor implementiert werden, z.B. als intelligente Kamera.
-
Das Lernen erfolgt besonders bevorzugt mittels eines (Deep Convolutional) Neuronalen Netzwerks. Ein definiertes neuronales Netzwerk, vorzugsweise ein „deep convolutional neural network“ (auf Deutsch etwa „tiefgehendes faltendes neuronales Netzwerk“, im Folgenden DCNN) kann hierzu mit den gelabelten Daten trainiert werden, also z.B. Kamerabildern, denen bereits der jeweilige Topologievektor zugeordnet wurde. Die Kamerabilder (oder andere Sensordaten) werden als Eingangsdaten verwendet und der Topologievektor T stellt das Zielergebnis dar.
-
Das trainierte Netzwerk kann nun im Fahrzeug im laufenden Betrieb verwendet werden um die Kameradaten (oder andere Sensordaten) zu verarbeiten und somit die Topologie der aktuell befahrenen Straße zu bestimmen. Damit kann die Algorithmik direkt auf dem Sensor implementiert und angewendet werden.
-
Das vorgestellte Verfahren zur Bestimmung der Topologie kann vorteilhaft so erweitert werden, dass das Netz zusätzlich den Straßenverlauf bestimmt. Somit könnte aus dem Bild eine Darstellung der Straße erzeugt werden, die direkt für das autonome Fahren verwendet werden kann.
-
Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Beschreibung einer Umgebung eines Fahrzeugs, welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs erfasst wird. Die Vorrichtung ist dazu konfiguriert bzw. ausgebildet, dass sie die Topologie einer aktuell vom Fahrzeug befahrenen Straße durch einen Vektor beschreibt.
-
Die Vorrichtung kann insbesondere einen Mikrocontroller oder -prozessor, einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen. Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung näher erläutert und anhand von Figuren illustriert.
-
Hierbei zeigen:
- 1 ein erstes exemplarisches Bild einer vorwärtsgerichteten Fahrzeugkamera,
- 2 ein zweites exemplarisches Bild einer vorwärtsgerichteten Fahrzeugkamera,
- 3 ein drittes exemplarisches Bild einer vorwärtsgerichteten Fahrzeugkamera, 4 eine schematische Zeichnung der Situation, in der das Bild aus 3 aufgenommen wurde, aus der Vogelperspektive, und
- 5 einen Fahrbahnabschnitt, anhand dessen eine Beschreibung der Topologie mittels eines Vektors illustriert wird, der die Spurränder bzw. deren Markierungstyp beschreibt.
-
1 zeigt exemplarisch ein Bild einer vorwärtsgerichteten Fahrzeugkamera, welches aufgenommen wurde, während das Fahrzeug auf der zweiten Spur von links auf einer vierspurigen Autobahn fuhr. Es herrscht Rechtsverkehr. Auf der Autobahn ist kein Standstreifen vorhanden.
-
Bekannte Verfahren zur Querführungsunterstützung erkennen die einzelnen Fahrspuren vor allem anhand der Markierungen, die eine Fahrspur links bzw. rechts begrenzen.
-
Im vorliegend beschriebenen Ausführungsbeispiel erfolgt die Bestimmung der Straßentopologie durch ein DCNN (deep convolutional neural network). Nach dem Trainieren dieses DCNN kann dieses die Topologie der Straße aus dem Kamerabild oder den Daten anderer Umgebungssensoren extrahieren und als Ausgabe eine entsprechende Topologie-Beschreibung liefern.
-
Für das Trainieren des DCNN werden Daten gelabelt. Dazu wird einer Vielzahl von Kamerabildern (oder anderen Sensordaten) jeweils eine Topologie-Beschreibung zugeordnet. Die Topologie-Beschreibung kann in einer einfachen (hier beschriebenen) Ausführung durch einen Vektor mit fünf Elementen (betreffend jeweils einen Topologieaspekt) beschrieben werden: T = [„übernächste Spur linke Seite (LL) vorhanden“, „Nachbarspur links (L) vorhanden“, „Nachbarspur rechts (R) vorhanden“, „übernächste Spur rechte Seite (RR) vorhanden“, „rechter Standstreifen (SL) maximal zwei Spuren entfernt vorhanden“], wobei jedes Element des Vektors entweder 0 oder 1 entspricht und somit die Existenz dieser Spur widerspiegelt.
-
Das in 1 exemplarisch dargestellte Bild wird mit dem Topologievektor T = [0,1,1,1,0] beschrieben, da die Straße aus einer linken (L) und zwei rechten (R, RR) Spuren besteht. Da der Standstreifen (SL) nicht vorhanden ist, bleibt der letzte Eintrag 0.
-
Die Straßentopologie, die in 2 dargestellt ist, kann durch den Topologievektor T = [0,1,0,0,1] beschrieben werden, da eine nächste linke (L) Spur und ein Standstreifen (SL) vorhanden ist, jedoch keine rechten (R; RR) Spuren und keine übernächste linke (LL) Spur.
-
Die vorgestellte Methode wird zur Bestimmung der Topologie von Autobahnen angewendet: Hierfür wurden mehrere tausend Bilder der Frontkamera eines Fahrzeugs (s. 1 und 2) auf Autobahnen mit der Topologieinformation bzw. dem Topologievektor gelabelt und ein DCNN mit diesen Daten trainiert.
-
Mit dem trainierten Netz wird nun die Topologie für Kamerabilder (die nicht für das Trainieren des Netzes verwendet wurden) von Autobahnen bestimmt. Ein Beispiel ist das in 3 dargestellt Bild.
-
Als Ergebnis für das Bild aus 3 liefert das trainierte DCNN den korrekten Topologievektor T =[0,1,1,0,1]. Bei der Aufnahme des Bildes aus 3 befand sich das Fahrzeug auf der mittleren Spur (E) einer dreispurigen Autobahn mit Standstreifen (SL). Es gibt also eine benachbarte linke (L) und rechte (R) Spur.
-
4 veranschaulicht die Situation, in der das Bild aus 3 aufgenommen wurde, in einer schematischen Zeichnung aus der Vogelperspektive. Das Fahrzeug (1) mit der vorwärtsgerichteten Fahrzeugkamera (2), die hinter der Windschutzscheibe angeordnet ist, befindet sich auf der mittleren Fahrspur (E) einer dreispurigen Autobahn mit Standstreifen (SL) rechts. Die mittlere Fahrspur (E) wird von den beiden gestrichelten Fahrbahnmarkierungen (4) links bzw. (5) rechts begrenzt. Links der eigenen Fahrspur (E) befindet sich eine benachbarte linke Fahrspur (L), die nach links von einer durchgezogenen Fahrbahnmarkierung (3) und nach rechts von der linken gestrichelten Fahrbahnmarkierung (4) begrenzt wird. Rechts der eigenen Fahrspur (E) befindet sich eine benachbarte rechte Fahrspur (R), die nach links von der rechten gestrichelten Fahrbahnmarkierung (5) und nach rechts von einer weiteren durchgezogenen Fahrbahnmarkierung (6) begrenzt wird. Letztere begrenzt zugleich den Standstreifen (SL) nach links. Nach rechts ist der Standstreifen (SL) z.B. durch eine Leitplanke oder das seitliche Fahrbahnende (7) begrenzt.
-
Mit dem trainierten Netz konnte die Topologie in über 93 % der Testbilder richtig bestimmt werden.
-
In 5 ist ein Fahrbahnabschnitt schematisch dargestellt, der grundsätzlich dieselbe Topologie wie in 4 aufweist. Alternativ zu der anhand der 1 bis 4 erläuterten binären Vektorformulierung [0,1,1,0,1], welcher beschreibt das eine linke Spur (L), eine rechte Spur (R) sowie ein Standstreifen (SL) vorhanden ist, kann ein anders aufgebauter Topologievektor folgendermaßen definiert werden: Anstelle der binären Werte für die Existenz von Spuren kann mittels eines Integers der Spurmarkierungstyp definiert werden. Der alternative Vektor T' = [0, 1, 2, 2, 1, 3] beschreibt die Spurränder bzw. deren Markierungstyp für die Topologie gemäß 5. Ein Vektor mit sechs Elementen beschreibt somit drei Spurränder links ([0, 1, 2]) und drei Spurränder rechts ([2, 1, 3]) vom Fahrzeug.
-
In diesem Fall steht ,0' für keine Spur/Spurmarkierung, was in 5 durch das Bezugszeichen N symbolisiert wird, da dort keine Fahrspur in der vom Fahrzeug befahrenen Richtung existiert bzw. links der linken durchgezogenen Fahrspurmarkierung (3) keine befahrbare Fahrspur existiert. Der Integer ,1' steht für eine durchgezogene Linie, entsprechend den durchgezogenen Fahrbahnmarkierungen links (3) und rechts (6) in 5. Der Integer ,2' repräsentiert eine gestrichelte Linie, was in 5 den gestrichelten Markierungen links (4) und rechts (5) des eigenen Fahrzeugs bzw. der aktuell befahrenen Fahrspur (E) entspricht. Der Integer ,3' steht für die äußere Begrenzung eines Standstreifens, in 5 beschrieben durch das schraffierte Rechteck (7). Somit beschreibt der oben angegebene Topologievektor T' = [0, 1, 2, 2, 1, 3] eine linke Nachbarspur (L), die links von einer durchgezogenen Linie (3) und rechts von einer gestrichelten Markierung (4) begrenzt wird, einer rechten Nachbarspur (R), die links von einer gestrichelten Markierung (5) und rechts von einer durchgezogenen Markierung (6) begrenzt wird, sowie einem Standstreifen (SL) auf der übernächsten Spur rechts, der links von einer durchgezogenen Markierung (6) begrenzt wird und rechts von einer Standstreifen-Begrenzung (7).
-
Zusätzlich kann ein Geometrievektor zu dem alternativen Topologievektor T' definiert werden, der beispielsweise die lateralen Abstände der Markierungslinien angibt [-10m, -6m, -2m, 2m, 6m, 10m]. Der erste Wert von -10m ist hierbei ohne Bedeutung, da keine relevante dritte linke Fahrspurmarkierung (drei „Stellen“ links der aktuell befahrenen Fahrspur) existiert, weshalb der erste Wert des Vektors T' Null ist. Durch den Geometrievektor kann zusätzlich zur Topologie der Fahrbahn auch die Geometrie der Fahrbahn angegeben werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
