DE102018211368A1

DE102018211368A1 - A method of describing an environment of a vehicle through the topology of the busy road

Info

Publication number: DE102018211368A1
Application number: DE102018211368.8A
Authority: DE
Inventors: Claudia Loy; Claudio Heller; Christopher Bayer; Alexey Abramov
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2017-07-19
Filing date: 2018-07-10
Publication date: 2019-01-24

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beschreibung einer Umgebung eines Fahrzeugs (1), welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs (1) erfasst wird. Das Verfahren besteht darin bzw. die Vorrichtung ist dazu konfiguriert, dass die Topologie einer aktuell vom Fahrzeug (1) befahrenen Straße beschrieben wird durch einen Vektor. Basierend auf dem die Topologie der aktuell vom Fahrzeug (1) befahrenen Straße beschreibenden Vektor kann mindestens eine Fahrerassistenzfunktion ausgeführt werden.

The invention relates to a method and a device for describing an environment of a vehicle (1), which is detected by one or more environmental sensor (s) of the vehicle (1). The method consists in that the device is configured such that the topology of a road currently being traveled by the vehicle (1) is described by a vector. At least one driver assistance function can be executed based on the vector describing the topology of the road currently being traveled by the vehicle (1).

Description

Die Erfindung betrifft ein Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs, welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs erfasst wird. Die Beschreibung der Umgebung kann insbesondere dem Ausführen mindestens einer Fahrerassistenzfunktion zugrunde gelegt werden.The invention relates to a method for describing an environment of a vehicle, which is detected by one or more environmental sensor (s) of the vehicle. The description of the environment can in particular be based on the execution of at least one driver assistance function.

Bekannt ist eine Detektion von Fahrspurmarkierungen aus Kamerabildern, die dem Ausführen einer Spurassistenzfunktion zugrunde gelegt wird. Bei der Assistenzfunktion Spurverlassenswarnung (Lane Departure Warning, LDW) wird der Fahrer gewarnt, wenn ein Verlassen der aktuellen Fahrspur unmittelbar droht, ohne dass der Fahrer den Fahrtrichtungsanzeiger betätigt hat. Bei der Spurhalte-Assistenzfunktion (Lane Keeping Assist, LKA), wird durch aktive Lenkeingriffe typischerweise sichergestellt, dass das Fahrzeug stets in der Mitte der Fahrspur fährt. Bei der Assistenzfunktion Fahrbahnverlassensschutz (Road Departure Protection, RDP) wird das Abkommen des Fahrzeugs von der Straße/Fahrbahn verhindert, indem im Notfall automatisch die Fahrzeugausrichtung angepasst wird.A detection of lane markings from camera images, which is based on the execution of a lane assist function, is known. The Lane Departure Warning (LDW) Assistance feature warns the driver when they are about to leave the current lane without the driver having activated the direction indicator. Lane Keeping Assist (LKA) typically uses active steering interventions to ensure that the vehicle is always in the middle of the lane. The Road Departure Protection (RDP) assistance function prevents the vehicle from entering the road / lane by automatically adjusting the vehicle orientation in the event of an emergency.

WO 2016/188523 A1 zeigt ein Verfahren zur Schätzung von Fahrstreifen, welches u.a. Merkmalsvektoren als Eingangsdaten aus mehreren unterschiedlichen Sensoren verwendet. Ein Merkmalsvektor wird gebildet durch eine Position im Ego-Fahrzeugkoordinatensystem, die einen Punkt auf dem Rand eines Fahrstreifens beschreibt, und einer Richtung bzw. einem Winkel, der angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft. Durch eine Fusion der Eingangsdaten wird die Geometrie von Fahrstreifen geschätzt und die geschätzte Geometrie wird ausgegeben. WO 2016/188523 A1 shows a method for estimating lanes, which uses, among other feature vectors as input data from several different sensors. A feature vector is formed by a position in the ego vehicle coordinate system that describes a point on the edge of a lane and a direction or angle indicating in which direction the edge of the lane is at that position. By merging the input data, the geometry of lanes is estimated and the estimated geometry is output.

Aus Kartendaten, z.B. eines Navigationssystems, sind Informationen über die Anzahl an Fahrspuren einer mehrspurigen Richtungsfahrbahn verfügbar.From map data, e.g. of a navigation system, information about the number of lanes of a multi-lane directional lane is available.

Mittels semantischer Segmentierung können Pixel(-segmente) eines Kamerabilds einer Klasse wie z.B. Straßenoberfläche, Fahrbahnmarkierung, Grünstreifen, Randbebauung oder ähnlichem zugeordnet werden.By means of semantic segmentation, pixels (segments) of a camera image of a class such as e.g. Road surface, road marking, green strips, edge development or the like can be assigned.

Jedoch gestaltet sich die Detektion bzw. Erkennung von Fahrbahnmarkierungen aufwendig und ist fehleranfällig. Kartenmaterial ist nicht immer vorhanden oder vor allem nicht immer aktuell. Zudem ist die Genauigkeit der Lokalisierung mittels eines Navigationssystems zur Bestimmung der eigenen Position auf einer mehrspurigen Richtungsfahrbahn oft nicht ausreichend.However, the detection or recognition of lane markings is complicated and error-prone. Map material is not always available or, above all, not always up-to-date. In addition, the accuracy of localization by means of a navigation system for determining one's own position on a multi-lane directional lane is often insufficient.

Eine Grundidee der vorliegenden Erfindung besteht darin, eine Straße durch ihre Topologie zu beschreiben:
Die Topologie beschreibt die Anordnung/Zusammenstellung einer Straße, d.h. beispielsweise die Anzahl der Spuren, deren Anordnung und Typ (z.B.: Autobahnspur, Autobahnabfahrt, Standstreifen, Haltebucht)A basic idea of the present invention is to describe a road by its topology:
The topology describes the arrangement / compilation of a road, ie, for example, the number of lanes, their arrangement and type (eg: motorway lane, motorway exit, hard shoulder, stop bay)

Mittels der bekannten Verfahren kann die Topologie nicht direkt gemessen, sondern nur indirekt aus Detektionen der Umfeldsensorik, wie beispielsweise erkannten Fahrstreifenmarkierungen, inferiert werden.By means of the known methods, the topology can not be measured directly, but only indirectly from detections of the environment sensors, such as detected lane markings, be inferiert.

Ein erster Aspekt der Erfindung besteht in einer Verbesserung der Eigen-Lokalisierung für hochautonome Fahrzeuge Ein zweiter Aspekt besteht in einer Verbesserung der Straßengeometrie-Schätzung mittels der vorhandenen Umfeldsensorik Ein dritter Aspekt besteht in der Detektion von Straßentypen und -merkmalen wie beispielsweise der Detektion der Existenz von Standstreifen, Beschleunigungs- und/oder Verzögerungsstreifen.A first aspect of the invention is an improvement of self-localization for highly autonomous vehicles. A second aspect is an improvement of the road geometry estimation by means of existing environment sensors. A third aspect is the detection of road types and features such as the detection of the existence of Streaks, acceleration and / or deceleration strips.

Ein vierter Aspekt besteht in der Anwendung eines erfindungsgemäßen Verfahrens auf komplexere Straßenszenarien wie in Städten: z.B. zur Zuordnung von Ampeln oder Bodenpfeilen zu Fahrstreifen.A fourth aspect is the application of a method according to the invention to more complex road scenarios, such as in cities: e.g. for assignment of traffic lights or ground arrows to lanes.

Ein erfindungsgemäßes Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs, welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs erfasst wird, besteht darin, dass die Topologie einer aktuell vom Fahrzeug befahrenen Straße beschrieben wird durch einen Vektor. Basierend auf dem die Topologie der aktuell vom Fahrzeug befahrenen Straße beschreibenden Vektor kann mindestens eine Fahrerassistenzfunktion ausgeführt werden. Die Fahrerassistenzfunktion, wie z.B. LDW, LKA, RDP, Spurwechselassistent (Lane Change Assist, LCA), Überholassistent, Baustellenassistent, Notbremsassistent (Emergency Brake Assist, EBA), Notlenkassistent (Emergency Steer Assist, ESA), erhält durch die Beschreibung der Straßentopologie wichtige Informationen, auf deren Grundlage die Warnung an den Fahrer oder der automatische Eingriff in die Fahrzeugsteuerung an die aktuelle Situation angepasst werden kann. Insbesondere kann die Beschreibung der Straßentopologie mit anderen Umgebungsinformationen, wie z.B. der Erkennung anderer Objekte als weitere Verkehrsteilnehmer, fusioniert werden, um z.B. ein sicheres Notlenkmanöver zu planen und ggfs. durchzuführen.An inventive method for describing an environment of a vehicle, which is detected by one or more environmental sensor (s) of the vehicle, is that the topology of a road currently being traveled by the vehicle is described by a vector. At least one driver assistance function can be executed based on the vector describing the topology of the road currently being traveled by the vehicle. The driver assistance function, such as LDW, LKA, RDP, Lane Change Assist (LCA), Overtemp Assistant, Construction Site Assistant, Emergency Brake Assist (EBA), Emergency Steer Assist (ESA), receives important information by describing the road topology, on the basis of which Warning to the driver or the automatic intervention in the vehicle control can be adapted to the current situation. In particular, the description of the road topology may be related to other environmental information, such as recognition of other objects than other road users, are fused to e.g. to plan a safe emergency steering maneuver and if necessary to carry out.

Ein erfindungsgemäßes Verfahren bietet die folgenden Vorteile: Es ermöglicht eine direkte Bestimmung der Straßentopologie aus dem Kamerabild (oder anderen Sensordaten) ohne aufwendige Vorverarbeitungsschritte.An inventive method offers the following advantages: It allows a direct determination of the road topology from the camera image (or other sensor data) without complex pre-processing steps.

Es stellt einen alternativen Absicherungspfad zur Plausibilisierung und Stützung des durch Sensoren detektierten Straßenmodells dar (z.B. Fehldetektion der Anzahl der erkannten Spuren durch Spurmarkierungen). Straßentypen, bzw. die Fahrspurklassen, wie beispielsweise ein Standstreifen (dessen momentane Bestimmung sehr kompliziert ist, da die Trennung vom Standstreifen zum Straßenrand sehr vielfältig ist), Verzögerungs- oder Beschleunigungsstreifen können bestimmt werden. Die ermittelten Informationen über die Straßentopologie sind auch in komplexeren Szenarien von großem Nutzen, wie beispielsweise bei Kreuzungen in Städten. Die Daten bezüglich der Straßentopologie können als weiterer Input zur Verbesserung der Lokalisierung oder der Fusion mit Kartendaten verwendet werden. Das Verfahren kann direkt auf einem Umgebungssensor implementiert werden, z.B. als intelligente Kamera. It represents an alternative hedging path for plausibility checking and support of the road model detected by sensors (eg misdetection of the number of recognized lanes by lane markings). Road types, or lane classes, such as a hard shoulder (whose present determination is very complicated as the separation from hard shoulder to roadside is very diverse), deceleration or acceleration stripes can be determined. The information obtained on the road topology is also very useful in more complex scenarios, such as intersections in cities. Road topology data can be used as further input to improve localization or merge with map data. The method can be implemented directly on an environmental sensor, eg as an intelligent camera.

Vorzugsweise enthält der Vektor binäre Werte, die jeweils angeben, ob ein vorgegebener Topologieaspekt erfüllt ist, in diesem Fall beträgt der Wert = 1, oder nicht, dann beträgt der Wert = 0.Preferably, the vector contains binary values each indicating whether a given topology aspect is met, in which case the value = 1 or not, then the value = 0.

Vorteilhaft umfasst die Topologie als Topologieaspekte eine Mehrzahl von Fahrspuren.Advantageously, the topology comprises a plurality of lanes as topological aspects.

Bevorzugt enthält der Vektor fünf binäre Werte, die in einer definierten Reihenfolge angeben, ob

eine zweite Spur links;
eine benachbarte Spur links;
eine benachbarte Spur rechts;
eine zweite Spur rechts; und
ein Standstreifen innerhalb von zwei Spuren rechts;
der aktuell befahrenen Fahrspur existieren.

Preferably, the vector contains five binary values which indicate in a defined order whether

a second track on the left;
an adjacent lane to the left;
an adjacent lane to the right;
a second track on the right; and
a hard shoulder within two tracks on the right;
the currently traveled lane exist.

Gemäß einer vorteilhaften Ausgestaltung enthält der Vektor Zahlenwerte, die die Breite einer Fahrspur angeben. Bei einem Vektor mit beispielsweise fünf Werten, geben diese in der Reihenfolge die Breite der zweiten Spur links; der benachbarten Spur links; der aktuell befahrenen (eigenen) Fahrspur; der benachbarten Spur rechts; und der zweiten Spur rechts (der eigenen Fahrspur) . Sofern eine Fahrspur nicht existiert, ist der entsprechende Zahlenwert gleich Null. Optional könnte ein sechster binärer Wert des Vektors angeben, ob ein Standstreifen innerhalb von zwei Spuren rechts der aktuell befahrenen Fahrspur existiert.According to an advantageous embodiment, the vector contains numerical values which indicate the width of a lane. For example, for a vector with five values, they will give the width of the second track to the left in the order; the adjacent lane on the left; the currently traveled (own) lane; the adjacent lane on the right; and the second lane on the right (own lane). If a lane does not exist, the corresponding numerical value is zero. Optionally, a sixth binary value of the vector could indicate whether a hard shoulder exists within two lanes to the right of the currently traveled lane.

In einer weiteren vorteilhaften Ausführungsform wird die Topologie durch Existenz und Art von Fahrspurmarkierungen oder Fahrspurbegrenzungen in einer definierten Reihenfolge beschrieben. Der Topologievektor enthält vorzugsweise die Markierungstypen der Spuren bzw. beschreibt die Spurränder bzw. deren Markierungstyp. Anstelle der binären Werte für die Existenz von Spuren kann mittels eines Integers (einer ganzen Zahl) der Spurmarkierungstyp definiert werden. Beispielsweise steht ,0' für keine Spur/Spurmarkierung, ,1' für eine durchgezogene Linie, ,2' für eine gestrichelte Linie und ,3' für die äußere Begrenzung eines Standstreifens. Ein Vektor mit sechs Elementen beschreibt somit drei Spurränder links und drei Spurränder rechts vom eigenen Fahrzeug. Der Wertebereich der Einträge des Vektors kann beliebig für weitere Markierungstypen erweitert werden (z.B. ,Block-Linien‘; ,doppelt durchgezogene Linie‘; ,Doppellinie: links durchgezogen und rechts gestrichelt‘; Doppellinie: links gestrichelt und rechts durchgezogen‘; ,gelbe durchgezogene Linie V‘; ,gelbe gestrichelte Linie‘; ,Randsteine‘; etc.). Mit ,Block-Linien‘ sind fett gestrichelte Linien gemeint, die z.B. zwei sich teilende Autobahnen trennen und bei denen rechts überholt werden darf.In a further advantageous embodiment, the topology is described by existence and type of lane markings or lane boundaries in a defined order. The topology vector preferably contains the marking types of the tracks or describes the track edges or their marking type. Instead of the binary values for the existence of tracks, the track marking type can be defined by means of an integer (an integer). For example, '0' stands for no track / lane marker, '1' for a solid line, '2' for a dashed line and '3' for the perimeter of a streak. A vector with six elements thus describes three lane borders on the left and three lane borders on the right of one's own vehicle. The value range of the entries of the vector can be extended arbitrarily for further marking types (eg 'block lines',' double solid line ',' double line: left through and right dashed ', double line: left dashed and right through', yellow solid line V ';' yellow dashed line ';' curbs'; etc.). By 'block-lines' is meant bold dashed lines, e.g. split two dividing highways and where right may be overtaken.

Des Weiteren kann in einer erweiterten Ausführungsform zusätzlich ein Geometrievektor definiert werden, der beispielsweise die lateralen Abstände der Markierungslinien angibt, z.B. [-10m, -6m, -2m, 2m, 6m, 10m].Furthermore, in an extended embodiment, a geometry vector may additionally be defined, for example indicating the lateral distances of the marking lines, e.g. [-10m, -6m, -2m, 2m, 6m, 10m].

In weiteren vorteilhaften Ausführungsformen kann der Topologievektor durch zusätzliche Einträge erweitert werden. Vorteilhaft umfasst die Topologie als Topologieaspekt Kreuzungen, Einmündungen und/oder Ausfahrten. Alternativ oder kumulativ kann sie zusätzliche Nachbarspuren, Autobahn-Abfahrten und -Einfahrten, Randbebauung und/oder Haltebuchten umfassen.In further advantageous embodiments, the topology vector can be extended by additional entries. Advantageously, the topology includes, as a topological aspect, intersections, junctions and / or exits. Alternatively or cumulatively, it may include additional neighbor lanes, highway exits and entrances, edge edging, and / or hold bays.

Im Allgemeinen kann diese Methode auch für komplexere Straßenszenarien verwendet werden: z.B. Landstraßen mit entgegenkommenden Fahrstreifen, Straßen / Kreuzungen in Städten mit Abbiegefahrstreifen, usw. Oder zum Lernen weiterer Straßentypen oder -attribute, wie beispielsweise Standstreifen, Bus- oder Taxilinien, Einbahnstraßen, Fahrrad- oder Fußgängerzonen, Zebrastreifen etc. Vorteilhaft kann die Topologie als Topologieaspekt Zebrastreifen, Haltelinien und/oder sonstige Bodensymbole umfassen.In general, this method can also be used for more complex road scenarios: e.g. Highway with oncoming lanes, roads / intersections in cities with turn lanes, etc. Or for learning other types of road or attributes, such as hard shoulder, bus or taxi lines, one-way streets, bicycle or pedestrian areas, crosswalks, etc. Advantageously, the topology as a topological aspect zebra stripes , Stop lines and / or other bottom symbols include.

Vorzugsweise ist zumindest ein Umgebungssensor eine Frontkamera, bevorzugt eine im Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe angeordnete und in Fahrtrichtung gerichtete Kamera. Die Frontkamera kann eine monokulare Kamera, eine Stereokamera, oder eine sonstige bildaufnehmende 3D-Kamera sein. Die Kamera umfasst insbesondere ein optisches Modul, z. B. ein Objektiv mit einer oder mehrerer Linsen, und einem Bildsensor, vorzugsweise einem Halbleiter-basierten Bildaufnahmesensor, zum Beispiel einen CMOS-Sensor.Preferably, at least one environmental sensor is a front camera, preferably a camera arranged in the interior of the motor vehicle behind the windshield and directed in the direction of travel. The front camera can be a monocular camera, a stereo camera, or any other 3D image-capturing camera. The camera comprises in particular an optical module, for. Example, a lens with one or more lenses, and an image sensor, preferably a semiconductor-based image sensor, for example, a CMOS sensor.

In diesem Fall erfolgt bevorzugt eine Zuordnung eines Kamerabilds der Frontkamera zu einem Vektor, der die Topologie der im Kamerabild abgebildeten Straße beschreibt. Diese Zuordnung wird in einer Lernphase gelernt, anhand von gelabelten Trainingsdaten. Anschließend kann das gelernte Zuordnungsverfahren auf der Frontkamera bzw. im Fahrerassistenzsystem hinterlegt werden, so dass neu aufgenommenen Bildern im fahrenden Fahrzeug ein Topologievektor zugeordnet wird. Alternativ kann die gesamte Methode direkt auf dem Umgebungs(-erfassungs-)sensor implementiert werden, z.B. als intelligente Kamera. In this case, it is preferable to associate a camera image of the front camera with a vector that describes the topology of the road depicted in the camera image. This assignment is learned in a learning phase based on labeled training data. Subsequently, the learned assignment method can be stored on the front camera or in the driver assistance system so that newly recorded images in the vehicle in motion are assigned a topology vector. Alternatively, the entire method can be implemented directly on the environment (detection) sensor, eg as an intelligent camera.

Das Lernen erfolgt besonders bevorzugt mittels eines (Deep Convolutional) Neuronalen Netzwerks. Ein definiertes neuronales Netzwerk, vorzugsweise ein „deep convolutional neural network“ (auf Deutsch etwa „tiefgehendes faltendes neuronales Netzwerk“, im Folgenden DCNN) kann hierzu mit den gelabelten Daten trainiert werden, also z.B. Kamerabildern, denen bereits der jeweilige Topologievektor zugeordnet wurde. Die Kamerabilder (oder andere Sensordaten) werden als Eingangsdaten verwendet und der Topologievektor T stellt das Zielergebnis dar.The learning is particularly preferably carried out by means of a (deep convolutional) neural network. A defined neural network, preferably a "deep convolutional neural network" (in the following example DCNN) can be trained with the labeled data, e.g. Camera images to which the respective topology vector has already been assigned. The camera images (or other sensor data) are used as input data and the topology vector T represents the target result.

Das trainierte Netzwerk kann nun im Fahrzeug im laufenden Betrieb verwendet werden um die Kameradaten (oder andere Sensordaten) zu verarbeiten und somit die Topologie der aktuell befahrenen Straße zu bestimmen. Damit kann die Algorithmik direkt auf dem Sensor implementiert und angewendet werden.The trained network can now be used in the vehicle during operation to process the camera data (or other sensor data) and thus determine the topology of the currently traveled road. This allows the algorithms to be implemented and applied directly on the sensor.

Das vorgestellte Verfahren zur Bestimmung der Topologie kann vorteilhaft so erweitert werden, dass das Netz zusätzlich den Straßenverlauf bestimmt. Somit könnte aus dem Bild eine Darstellung der Straße erzeugt werden, die direkt für das autonome Fahren verwendet werden kann.The presented method for determining the topology can advantageously be extended so that the network additionally determines the course of the road. Thus, from the image could be generated a representation of the road that can be used directly for autonomous driving.

Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Beschreibung einer Umgebung eines Fahrzeugs, welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs erfasst wird. Die Vorrichtung ist dazu konfiguriert bzw. ausgebildet, dass sie die Topologie einer aktuell vom Fahrzeug befahrenen Straße durch einen Vektor beschreibt.The invention further relates to a device for describing an environment of a vehicle, which is detected by one or more environmental sensor (s) of the vehicle. The device is configured to describe the topology of a road currently being traveled by the vehicle through a vector.

Die Vorrichtung kann insbesondere einen Mikrocontroller oder -prozessor, einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen. Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein.In particular, the device may comprise a microcontroller or processor, a Digital Signal Processor (DSP), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array) and the like, as well as software for carrying out the corresponding method steps. The present invention may thus be implemented in digital electronic circuits, computer hardware, firmware or software.

Im Folgenden werden Ausführungsbeispiele der Erfindung näher erläutert und anhand von Figuren illustriert.In the following, embodiments of the invention will be explained in more detail and illustrated by means of figures.

Hierbei zeigen:

1 ein erstes exemplarisches Bild einer vorwärtsgerichteten Fahrzeugkamera,
2 ein zweites exemplarisches Bild einer vorwärtsgerichteten Fahrzeugkamera,
3 ein drittes exemplarisches Bild einer vorwärtsgerichteten Fahrzeugkamera, 4 eine schematische Zeichnung der Situation, in der das Bild aus 3 aufgenommen wurde, aus der Vogelperspektive, und
5 einen Fahrbahnabschnitt, anhand dessen eine Beschreibung der Topologie mittels eines Vektors illustriert wird, der die Spurränder bzw. deren Markierungstyp beschreibt.

Hereby show:

1 a first exemplary image of a forward-looking vehicle camera,
2 a second exemplary image of a forward-looking vehicle camera,
3 a third exemplary image of a forward-looking vehicle camera, 4 a schematic drawing of the situation in which the picture is made 3 was taken, from a bird's eye view, and
5 a lane section, on the basis of which a description of the topology is illustrated by means of a vector which describes the lane borders or their marker type.

1 zeigt exemplarisch ein Bild einer vorwärtsgerichteten Fahrzeugkamera, welches aufgenommen wurde, während das Fahrzeug auf der zweiten Spur von links auf einer vierspurigen Autobahn fuhr. Es herrscht Rechtsverkehr. Auf der Autobahn ist kein Standstreifen vorhanden. 1 shows an example of an image of a forward-looking vehicle camera, which was taken while the vehicle was driving on the second lane from the left on a four-lane highway. There is legal traffic. There is no hard shoulder on the highway.

Bekannte Verfahren zur Querführungsunterstützung erkennen die einzelnen Fahrspuren vor allem anhand der Markierungen, die eine Fahrspur links bzw. rechts begrenzen.Known methods for the transverse guidance support recognize the individual lanes mainly on the basis of the markings that limit a lane to the left or right.

Im vorliegend beschriebenen Ausführungsbeispiel erfolgt die Bestimmung der Straßentopologie durch ein DCNN (deep convolutional neural network). Nach dem Trainieren dieses DCNN kann dieses die Topologie der Straße aus dem Kamerabild oder den Daten anderer Umgebungssensoren extrahieren und als Ausgabe eine entsprechende Topologie-Beschreibung liefern.In the presently described embodiment, the determination of the road topology is performed by a DCNN (deep convolutional neural network). After training this DCNN, this can extract the topology of the road from the camera image or other environmental sensor data and provide as output a corresponding topology description.

Für das Trainieren des DCNN werden Daten gelabelt. Dazu wird einer Vielzahl von Kamerabildern (oder anderen Sensordaten) jeweils eine Topologie-Beschreibung zugeordnet. Die Topologie-Beschreibung kann in einer einfachen (hier beschriebenen) Ausführung durch einen Vektor mit fünf Elementen (betreffend jeweils einen Topologieaspekt) beschrieben werden: T = [„übernächste Spur linke Seite (LL) vorhanden“, „Nachbarspur links (L) vorhanden“, „Nachbarspur rechts (R) vorhanden“, „übernächste Spur rechte Seite (RR) vorhanden“, „rechter Standstreifen (SL) maximal zwei Spuren entfernt vorhanden“], wobei jedes Element des Vektors entweder 0 oder 1 entspricht und somit die Existenz dieser Spur widerspiegelt.Data is labeled for training the DCNN. For this purpose, a plurality of camera images (or other sensor data) is assigned a topology description. The topology description can be described in a simple (described here) embodiment by a vector with five elements (concerning one topology aspect in each case): T = ["second left track ( LL ) "", "Neighbor track left ( L ) "", "neighbor track right ( R ) present "," next but one track right side ( RR ) "," right hard shoulder ( SL ) two tracks at most "], where each element of the vector corresponds to either 0 or 1, thus reflecting the existence of this track.

Das in 1 exemplarisch dargestellte Bild wird mit dem Topologievektor T = [0,1,1,1,0] beschrieben, da die Straße aus einer linken (L) und zwei rechten (R, RR) Spuren besteht. Da der Standstreifen (SL) nicht vorhanden ist, bleibt der letzte Eintrag 0.This in 1 Exemplary image is displayed with the topology vector T = [0,1,1,1,0] described as the road from a left ( L ) and two right ( R . RR ) Traces exists. Because the hard shoulder ( SL ) is missing, the last entry remains 0.

Die Straßentopologie, die in 2 dargestellt ist, kann durch den Topologievektor T = [0,1,0,0,1] beschrieben werden, da eine nächste linke (L) Spur und ein Standstreifen (SL) vorhanden ist, jedoch keine rechten (R; RR) Spuren und keine übernächste linke (LL) Spur.The road topology in 2 can be described by the topology vector T = [0,1,0,0,1] since a next left ( L ) Track and a hard shoulder ( SL ), but no right ( R ; RR ) Tracks and no left next ( LL ) Track.

Die vorgestellte Methode wird zur Bestimmung der Topologie von Autobahnen angewendet: Hierfür wurden mehrere tausend Bilder der Frontkamera eines Fahrzeugs (s. 1 und 2) auf Autobahnen mit der Topologieinformation bzw. dem Topologievektor gelabelt und ein DCNN mit diesen Daten trainiert.The presented method is used to determine the topology of highways: For this purpose, several thousand images of the front camera of a vehicle (s. 1 and 2 ) on highways with the topology information or the topology vector and trained a DCNN with this data.

Mit dem trainierten Netz wird nun die Topologie für Kamerabilder (die nicht für das Trainieren des Netzes verwendet wurden) von Autobahnen bestimmt. Ein Beispiel ist das in 3 dargestellt Bild.The trained network now determines the topology for camera images (which were not used to train the network) of highways. An example is the in 3 shown picture.

Als Ergebnis für das Bild aus 3 liefert das trainierte DCNN den korrekten Topologievektor T =[0,1,1,0,1]. Bei der Aufnahme des Bildes aus 3 befand sich das Fahrzeug auf der mittleren Spur (E) einer dreispurigen Autobahn mit Standstreifen (SL). Es gibt also eine benachbarte linke (L) und rechte (R) Spur.As a result, look for the picture 3 the trained DCNN provides the correct topology vector T = [0,1,1,0,1]. When taking the picture out 3 the vehicle was on the middle lane ( e ) of a three-lane highway with hard shoulder strips ( SL ). So there is an adjacent left ( L ) and right ( R ) Track.

4 veranschaulicht die Situation, in der das Bild aus 3 aufgenommen wurde, in einer schematischen Zeichnung aus der Vogelperspektive. Das Fahrzeug (1) mit der vorwärtsgerichteten Fahrzeugkamera (2), die hinter der Windschutzscheibe angeordnet ist, befindet sich auf der mittleren Fahrspur (E) einer dreispurigen Autobahn mit Standstreifen (SL) rechts. Die mittlere Fahrspur (E) wird von den beiden gestrichelten Fahrbahnmarkierungen (4) links bzw. (5) rechts begrenzt. Links der eigenen Fahrspur (E) befindet sich eine benachbarte linke Fahrspur (L), die nach links von einer durchgezogenen Fahrbahnmarkierung (3) und nach rechts von der linken gestrichelten Fahrbahnmarkierung (4) begrenzt wird. Rechts der eigenen Fahrspur (E) befindet sich eine benachbarte rechte Fahrspur (R), die nach links von der rechten gestrichelten Fahrbahnmarkierung (5) und nach rechts von einer weiteren durchgezogenen Fahrbahnmarkierung (6) begrenzt wird. Letztere begrenzt zugleich den Standstreifen (SL) nach links. Nach rechts ist der Standstreifen (SL) z.B. durch eine Leitplanke oder das seitliche Fahrbahnende (7) begrenzt. 4 illustrates the situation in which the picture is out 3 was taken in a schematic drawing from a bird's eye view. The vehicle ( 1 ) with the forward-facing vehicle camera ( 2 ), which is located behind the windshield, located in the middle lane ( e ) of a three-lane highway with hard shoulder strips ( SL ) right. The middle lane ( e ) is indicated by the two dashed lane markings ( 4 ) left or ( 5 ) bounded on the right. Left of your own lane ( e ) is an adjacent left lane ( L ) to the left of a solid road mark ( 3 ) and to the right of the left-hand dashed road mark ( 4 ) is limited. Right of your own lane ( e ) is an adjacent right lane ( R ) pointing to the left of the right dashed road mark ( 5 ) and to the right of another solid road marking ( 6 ) is limited. The latter also limits the hard shoulder ( SL ) to the left. To the right is the hard shoulder ( SL ) eg by a guardrail or the side of the roadway ( 7 ) limited.

Mit dem trainierten Netz konnte die Topologie in über 93 % der Testbilder richtig bestimmt werden.With the trained network, the topology could be determined correctly in over 93% of the test images.

In 5 ist ein Fahrbahnabschnitt schematisch dargestellt, der grundsätzlich dieselbe Topologie wie in 4 aufweist. Alternativ zu der anhand der 1 bis 4 erläuterten binären Vektorformulierung [0,1,1,0,1], welcher beschreibt das eine linke Spur (L), eine rechte Spur (R) sowie ein Standstreifen (SL) vorhanden ist, kann ein anders aufgebauter Topologievektor folgendermaßen definiert werden: Anstelle der binären Werte für die Existenz von Spuren kann mittels eines Integers der Spurmarkierungstyp definiert werden. Der alternative Vektor T' = [0, 1, 2, 2, 1, 3] beschreibt die Spurränder bzw. deren Markierungstyp für die Topologie gemäß 5. Ein Vektor mit sechs Elementen beschreibt somit drei Spurränder links ([0, 1, 2]) und drei Spurränder rechts ([2, 1, 3]) vom Fahrzeug. In 5 is a roadway section shown schematically, basically the same topology as in 4 having. Alternatively to the basis of the 1 to 4 explained binary vector formulation [0,1,1,0,1], which describes the one left lane ( L ), a right lane ( R ) as well as a hard shoulder ( SL ), a differently constructed topology vector can be defined as follows: Instead of the binary values for the existence of tracks, the track marking type can be defined by means of an integer. The alternative vector T '= [0, 1, 2, 2, 1, 3] describes the track margins or their tag type for the topology according to FIG 5 , A vector with six elements thus describes three lane borders on the left ([0, 1, 2]) and three lane borders on the right ([2, 1, 3]) from the vehicle.

In diesem Fall steht ,0' für keine Spur/Spurmarkierung, was in 5 durch das Bezugszeichen N symbolisiert wird, da dort keine Fahrspur in der vom Fahrzeug befahrenen Richtung existiert bzw. links der linken durchgezogenen Fahrspurmarkierung (3) keine befahrbare Fahrspur existiert. Der Integer ,1' steht für eine durchgezogene Linie, entsprechend den durchgezogenen Fahrbahnmarkierungen links (3) und rechts (6) in 5. Der Integer ,2' repräsentiert eine gestrichelte Linie, was in 5 den gestrichelten Markierungen links (4) und rechts (5) des eigenen Fahrzeugs bzw. der aktuell befahrenen Fahrspur (E) entspricht. Der Integer ,3' steht für die äußere Begrenzung eines Standstreifens, in 5 beschrieben durch das schraffierte Rechteck (7). Somit beschreibt der oben angegebene Topologievektor T' = [0, 1, 2, 2, 1, 3] eine linke Nachbarspur (L), die links von einer durchgezogenen Linie (3) und rechts von einer gestrichelten Markierung (4) begrenzt wird, einer rechten Nachbarspur (R), die links von einer gestrichelten Markierung (5) und rechts von einer durchgezogenen Markierung (6) begrenzt wird, sowie einem Standstreifen (SL) auf der übernächsten Spur rechts, der links von einer durchgezogenen Markierung (6) begrenzt wird und rechts von einer Standstreifen-Begrenzung (7).In this case, 0 stands for no track / lane mark, which is in 5 symbolized by the reference symbol N, since there is no lane in the direction traveled by the vehicle or left of the left solid lane marking ( 3 ) no traffic lane exists. The integer, 1 'stands for a solid line, corresponding to the solid road markings on the left ( 3 ) and right ( 6 ) in 5 , The integer, 2 'represents a dashed line, which is in 5 the dashed marks on the left ( 4 ) and right (5) of the own vehicle or the currently traveled lane ( e ) corresponds. The integer, 3 'stands for the outer boundary of a streak, in 5 described by the hatched rectangle ( 7 ). Thus, the topology vector T '= [0, 1, 2, 2, 1, 3] described above describes a left neighbor track ( L ) to the left of a solid line ( 3 ) and to the right of a dashed marking ( 4 ), a right neighbor lane ( R ), to the left of a dashed mark ( 5 ) and to the right of a solid mark ( 6 ), and a hard shoulder ( SL ) on the next track to the right, the one to the left of a solid line ( 6 ) and to the right of a hard shoulder boundary ( 7 ).

Zusätzlich kann ein Geometrievektor zu dem alternativen Topologievektor T' definiert werden, der beispielsweise die lateralen Abstände der Markierungslinien angibt [-10m, -6m, -2m, 2m, 6m, 10m]. Der erste Wert von -10m ist hierbei ohne Bedeutung, da keine relevante dritte linke Fahrspurmarkierung (drei „Stellen“ links der aktuell befahrenen Fahrspur) existiert, weshalb der erste Wert des Vektors T' Null ist. Durch den Geometrievektor kann zusätzlich zur Topologie der Fahrbahn auch die Geometrie der Fahrbahn angegeben werden.In addition, a geometry vector may be added to the alternative topology vector T ' defining, for example, the lateral distances of the marking lines [-10m, -6m, -2m, 2m, 6m, 10m]. The first value of -10m is irrelevant, since there is no relevant third left lane marking (three "digits" to the left of the currently traveled lane), which is why the first value of the vector T ' Is zero. Due to the geometry vector, the geometry of the roadway can be specified in addition to the topology of the roadway.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2016/188523 A1 [0003]WO 2016/188523 A1 [0003]

Claims

Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs (1), welche von einem oder mehreren Umgebungssensor(en) des Fahrzeugs (1) erfasst wird, wobei die Topologie einer aktuell vom Fahrzeug (1) befahrenen Straße beschrieben wird durch einen Vektor.A method of describing an environment of a vehicle (1) detected by one or more environmental sensors of the vehicle (1), wherein the topology of a road currently being traveled by the vehicle (1) is described by a vector.

Verfahren nach Anspruch 1 wobei der Vektor binäre Werte enthält, die jeweils angeben, ob ein vorgegebener Topologieaspekt erfüllt ist (Wert = 1) oder nicht (Wert = 0) .Method according to Claim 1 where the vector contains binary values, each indicating whether a given topology aspect is met (value = 1) or not (value = 0).

Verfahren nach Anspruch 1 oder 2, wobei die Topologie als Topologieaspekte eine Mehrzahl von Fahrspuren (LL, L, R, RR, SL) umfasst.Method according to Claim 1 or 2 wherein the topology comprises a plurality of lanes (LL, L, R, RR, SL) as topology aspects.

Verfahren nach Anspruch 2 und 3, wobei der Topologie-Vektor fünf binäre Werte umfasst, die in einer definierten Reihenfolge angeben, ob eine zweite Spur links (LL); eine benachbarte Spur links (L); eine benachbarte Spur rechts (R); eine zweite Spur rechts (RR); und ein Standstreifen (SL) innerhalb von zwei Spuren rechts; der aktuell vom Fahrzeug (1) befahrenen Fahrspur (E) existieren.Method according to Claim 2 and 3 wherein the topology vector comprises five binary values specifying, in a defined order, whether a second track is left (LL); an adjacent lane to the left (L); an adjacent lane to the right (R); a second lane to the right (RR); and a hard shoulder (SL) within two tracks on the right; the lane (E) currently being traveled by the vehicle (1) exist.

Verfahren nach Anspruch 1, wobei die Topologie durch Existenz und Art von Fahrspurmarkierungen oder Fahrspurbegrenzungen in einer definierten Reihenfolge beschrieben wird.Method according to Claim 1 wherein the topology is described by existence and type of lane markings or lane boundaries in a defined order.

Verfahren nach Anspruch 5, wobei die Umgebung des Fahrzeugs zusätzlich durch einen Geometrievektor beschrieben wird, der die lateralen Abstände der Fahrspurmarkierungen oder Fahrspurbegrenzungen angibt.Method according to Claim 5 wherein the environment of the vehicle is additionally described by a geometry vector indicating the lateral distances of the lane markings or lane boundaries.

Verfahren nach einem der vorherigen Ansprüche, wobei die Topologie als Topologieaspekt Kreuzungen, Einmündungen und/oder Ausfahrten umfasst.Method according to one of the preceding claims, wherein the topology as a topology aspect includes intersections, junctions and / or exits.

Verfahren nach einem der vorherigen Ansprüche, wobei die Topologie als Topologieaspekt Zebrastreifen, Haltelinien und/oder sonstige Bodensymbole umfasst.Method according to one of the preceding claims, wherein the topology as a topology aspect comprises zebra stripes, stop lines and / or other soil symbols.

Verfahren nach einem der vorherigen Ansprüche, wobei zumindest ein Umgebungssensor des Fahrzeugs (1) eine Frontkamera (2) ist.Method according to one of the preceding claims, wherein at least one environmental sensor of the vehicle (1) is a front camera (2).

Verfahren nach Anspruch 9, wobei eine Zuordnung eines Kamerabilds zu einem Vektor, der die Topologie der im Kamerabild abgebildeten Straße beschreibt, gelernt wird, anhand von gelabelten Trainingsdaten.Method according to Claim 9 wherein an association of a camera image with a vector describing the topology of the road imaged in the camera image is learned on the basis of labeled training data.

Verfahren nach Anspruch 10, wobei das Lernen mittels eines Neuronalen Netzwerks erfolgt.Method according to Claim 10 in which the learning takes place by means of a neural network.

Vorrichtung zur Beschreibung einer Umgebung eines Fahrzeugs (1), welche von einem oder mehreren Umgebungssensor (en) des Fahrzeugs (1) erfasst wird, wobei die Vorrichtung dazu konfiguriert ist, dass sie die Topologie einer aktuell vom Fahrzeug (1) befahrenen Straße durch einen Vektor beschreibt.A device for describing an environment of a vehicle (1) detected by one or more environmental sensors of the vehicle (1), the device being configured to intersect the topology of a road currently being traveled by the vehicle (1) Vector describes.