DE112018005749T5

DE112018005749T5 - Fahrbahnmarkierungsbestimmungsvorrichtung zum automatisierten Fahren

Info

Publication number: DE112018005749T5
Application number: DE112018005749.6T
Authority: DE
Inventors: Bharath Shivapuram; Skanda Bharadwaj; Venkatesh Munirathnam
Original assignee: Continental Automotive GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2017-12-11
Filing date: 2018-11-30
Publication date: 2020-08-13
Also published as: US20210097310A1; WO2019115253A1; US11157754B2; CN111465938A; EP3495993A1

Abstract

Die Erfindung betrifft eine Fahrbahnmarkierungsbestimmungsvorrichtung (1). Die Fahrbahnmarkierungsbestimmungsvorrichtung (1) umfasst eine Bildaufnahmeeinrichtung (10), die dazu ausgestaltet ist, Bilddaten einer Straße zu erfassen, ein neuronales Netz (20) und ein zweites neuronales Netz (30). Die Bildaufnahmeeinrichtung (10) ist dazu ausgestaltet, dem neuronalen Netz (20) die erfassten Bilddaten bereitzustellen, und das neuronale Netz (20) ist dazu ausgestaltet, Merkmale in den erfassten Bilddaten zu extrahieren, wobei die extrahierten Merkmale der Fahrbahnmarkierung zugeordnet sind. Ferner ist das neuronale Netz (20) dazu ausgestaltet, dem zweiten neuronalen Netz (30) die extrahierten Merkmale bereitzustellen. Schließlich ist das zweite neuronale Netz (30) dazu ausgestaltet, basierend auf den bereitgestellten Merkmalen des neuronalen Netzes (20) die Fahrbahnmarkierung zu bestimmen.

Description

Die Erfindung betrifft eine Fahrbahnmarkierungsbestimmungsvorrichtung, ein Fahrzeug, das die Fahrbahnmarkierungsbestimmungsvorrichtung umfasst, ein Verfahren, ein Programmelement und ein computerlesbares Medium.
Seit dem Beginn der Entwicklung von Kraftfahrzeugen ist der Komfort der Insassen ein wichtiges Kriterium. Einige wichtige Meilensteine diesbezüglich sind die Luftfederung, die Einparkhilfe und die Fahrgeschwindigkeitsregelung. Insbesondere in den letzten 10 Jahren sind zahlreiche weitere aktive Komfortfunktionen für Fahrzeuge entwickelt worden, wie etwa autonome Fahrfunktionen. Die Welt und die Forschung im Automobilbereich bewegen sich vom hochentwickelten Fahrerassistenzsystem (Advanced Driver Assistance System - ADAS) zum automatisierten Fahren (Automated Driving - AD). Das zentrale Merkmal, um automatisiertes Fahren als erfolgreich zu kennzeichnen, ist zu gewährleisten, dass die gesamte Szene verstanden wird, wobei Verkehrszeichen und Fahrbahnmarkierungen eine grundlegende Rolle spielen. Neuronale Netze sind erwiesenermaßen hochgradig erfolgreich bei der Erkennung und Klassifizierung von Aufgaben, da neuronale Netze imstande sind, komplexe Merkmale automatisch zu erlernen.
Es kann eine Aufgabe der vorliegenden Erfindung sein, Fahrbahnmarkierung auf einer Straße zu erkennen und die Fahrsicherheit zu verbessern.
Die Aufgabe der vorliegenden Erfindung wird mit dem Gegenstand der unabhängigen Ansprüche gelöst, wobei weitere Ausführungsformen in die abhängigen Ansprüche integriert sind.
In dem Maße wie die Anzahl von Fahrzeugen auf der Straße zunimmt, nimmt die Wahrscheinlichkeit, dass eine Fahrbahnmarkierung in ihrer Gesamtheit zu sehen ist, ab. Beispielsweise kann die Fahrbahnmarkierung, die das System gern erkennen würde, durch andere Fahrzeuge oder Hindernisse verdeckt sein.
Die Verfahren des Standes der Technik berücksichtigen nicht die Schwierigkeiten normaler Straßenszenarien, wie

1. Verkehrsbedingte Verdeckung: Bei normalem Verkehr ist es sehr schwierig, die gesamte Fahrbahnmarkierung in einem einzigen Frame oder Bild von Bilddaten zu sehen, da die voraus fahrenden Fahrzeuge die Sicht auf die Fahrbahnmarkierungen verdecken können. Es ist also schwierig, die Fahrbahnmarkierung zu detektieren und zu klassifizieren, oder kann zu vielen Fehlklassifizierungen führen.
2. Lang gestreckte Fahrbahnmarkierung: Im Allgemeinen kann die gesamte Fahrbahnmarkierung innerhalb des Sichtbereichs der Bildaufnahmeeinrichtung sichtbar sein, wenn sie nicht durch ein sich voran bewegendes Fahrzeug verdeckt wird. Es gibt jedoch Fälle, in denen möglicherweise nicht die gesamte Markierung sichtbar ist, da sie sich über eine große Strecke erstreckt.

Im Allgemeinen werden werden handgemachte Merkmale wie Histogram of Oriented Gradients (HOG) verwendet, um eine Fahrbahnmarkierung zu extrahieren und zu klassifizieren. Dieses Verfahren funktioniert jedoch nicht gut, wenn Szenarien mit dichtem Verkehr vorliegen oder die Sichtbarkeit der Fahrbahnmarkierung sich über mehrere Frames oder Bilder von Bilddaten erstreckt.
Ein erster Aspekt der Erfindung betrifft eine Fahrbahnmarkierungbestimmungs- (oder -erkennungs-) Vorrichtung. Diese Fahrbahnmarkierungsbestimmungsvorrichtung umfasst eine Bildaufnahmeeinrichtung, die dazu ausgestaltet ist, Bilddaten einer Straße zu erfassen, ein erstes neuronales Netz und ein zweites neuronales Netz. Die Bildaufnahmeeinrichtung ist ferner dazu ausgestaltet, dem ersten neuronalen Netz die erfassten Bilddaten bereitzustellen, und das erste neuronale Netz ist dazu ausgestaltet, Merkmale in den erfassten Bilddaten zu extrahieren, wobei die extrahierten Merkmale der Fahrbahnmarkierung zugeordnet sind. Ferner ist das erste neuronale Netz dazu ausgestaltet, dem zweiten neuronalen Netz die extrahierten Merkmale bereitzustellen. Schließlich ist das zweite neuronale Netz dazu ausgestaltet, basierend auf den bereitgestellten Merkmalen des ersten neuronalen Netzes die Fahrbahnmarkierung zu bestimmen.
Die Fahrbahnmarkierungsbestimmungsvorrichtung bestimmt die Fahrbahnmarkierung auch dann, wenn die Fahrbahnmarkierung zu einer bestimmten Zeit (z. B. in einem Frame oder Bild der Bilddaten) nicht vollständig sichtbar ist - aufgrund der Tatsache, dass die Fahrbahnmarkierung sich über eine längere Strecke auf der Straße erstreckt (lang gestreckte Fahrbahnmarkierung), und in Fällen, in denen die Sichtbarkeit der Fahrbahnmarkierung nicht gegeben ist, weil andere Fahrzeuge die Fahrbahnmarkierung verdecken.
Die Fahrbahnmarkierungsbestimmungsvorrichtung löst mithin folgende Probleme:

1. Das Problem der Sichtbarkeit von Fahrbahnmarkierungen in Szenarien mit dichtem Verkehr oder Verkehrsstaus.
2. Lang gestreckte Fahrbahnmarkierung, die sich über eine größere Strecke erstreckt und in einem einzigen Frame oder Bild nicht als Ganzes sichtbar ist.

Die über die Bildaufnahmeeinrichtung in die Fahrbahnmarkierungsbestimmungsvorrichtung eingegebenen Bilddaten können ein(e) Videostream oder -sequenz, eine Mehrzahl von Bildern oder eine Mehrzahl von Einzelbildern sein. Die Fahrbahnmarkierungsbestimmungsvorrichtung verarbeitet die Bilddaten sequenziell, also ein(en) Bild oder Frame nach dem anderen. Das erste neuronale Netz extrahiert in jedem der einzelnen Bilder oder Frames oder in jedem einzelnen Bild Merkmale, die der Fahrbahnmarkierung zugeordnet sind.
Das erste neuronale Netz fungiert als Merkmalsextraktor. Zu diesem Zweck kann ein vortrainiertes neuronales Netz verwendet werden. Dadurch kann die Notwendigkeit entfallen, das erste neuronale Netz von Null an trainieren zu müssen. Die extrahierten Merkmale können dann in einen 1D-Vektor umgewandelt und an das zweite neuronale Netz weitergeleitet werden. Die durch das erste neuronale Netz extrahierten Merkmale können Elemente in bestimmten Farben, wie etwa weiße, gelbe, rote, blaue oder grüne Elemente, auf der Straße vor dem Fahrzeug sein. Also Elemente, die einen Kontrast zur dunklen Farbe der Asphalt- oder Betonstraße aufweisen. Insbesondere können die extrahierten Merkmale ein Rand zwischen der Fahrbahnmarkierung und der Fahrbahn sein.
Ferner werden, nachdem das erste neuronale Netz die Merkmale extrahiert hat, die Merkmale dem zweiten neuronalen Netz bereitgestellt, das wenigstens zwei Gates, wie etwa ein Input- und ein Forget-Gate, und optional Output-Gates aufweisen kann, die eine bessere Kontrolle über den Gradientenfluss gestatten und eine bessere Bewahrung von „Fernbereichsabhängigkeiten“ ermöglicht. Das zweite neuronale Netz kann ein dichtes neuronales Netz sein, das aus einer Anordnung von Speicherschichten, gefolgt von einer dichten Schicht, mit einigen Dropout-Schichten dazwischen bestehen kann. Die Ausgabe des zweiten neuronalen Netzes kann die Art der Fahrbahnmarkierung angeben. Die extrahierten Merkmale des ersten neuronalen Netzes können also in dem zweiten neuronalen Netz als Ganzes analysiert werden, indem die Polarität von Merkmalen zum Bestimmen der Fahrbahnmarkierung kombiniert wird.
Mit anderen Worten: Die Bestimmung der Fahrbahnmarkierung kann in zwei separaten Schritten erreicht werden, die durch zwei separate neuronale Netze, d. h. das erste neuronale Netz und das zweite neuronale Netz, durchgeführt werden. Der erste Schritt wird durch das erste neuronale Netz, beispielsweise ein faltendes neuronales Netz, durchgeführt, das Merkmale aus Bilddaten, wie etwa einem Video oder einem Bild, extrahiert. Der zweite Schritt wird durch das zweite neuronale Netz, beispielsweise einen langen Kurzzeitspeicher, durchgeführt, das die extrahierten Merkmale des neuronalen Netzes empfängt und unter Berücksichtigung von Merkmalen, die über einen Zeitraum extrahiert werden, die Fahrbahnmarkierung bestimmt. Die Kombination aus einem faltenden neuronalen Netz und einem langen Kurzzeitspeicher kann eine verlässliche und wiederholbare Bestimmung der Fahrbahnmarkierung ermöglichen, auch wenn die Fahrbahnmarkierung in einem einzelnen Frame oder Bild der Bilddaten nicht vollständig sichtbar ist. Dies kann der Fall sein, wenn ein anderes Fahrzeug auf der Straße die Fahrbahnmarkierung teilweise verdeckt oder die Fahrbahnmarkierung eine lang gestreckte Fahrbahnmarkierung ist. Die Fahrbahnmarkierungsbestimmungsvorrichtung kann also eine Fahrbahnmarkierung in Bilddaten durch Speichern, Puffern und Zusammenführen wichtiger Merkmale der erfassten Bilddaten bestimmen.
Eine Fahrbahnmarkierung gemäß dieser Anmeldung kann eine Markierung sein, die auf eine Straße gemalt oder geklebt ist, wie etwa ein die Richtung zeigender Pfeil, eine Geschwindigkeitsbegrenzung, ein Fußgängerüberweg, eine Parkverbotszone, eine Halteverbotszone, eine Bushaltestelle, eine spezielle Spur (z. B. Fuhrpark oder Bus), ein „Vorfahrt gewähren“-Zeichen, ein Stoppzeichen und/oder ein Fahrradweg.
Gemäß einer Ausführungsform der Erfindung ist das erste neuronale Netz ein faltendes neuronales Netz (convolutional neural network - CNN) und das zweite neuronale Netz ein langer Kurzzeitspeicher (long short-term memory - LSTM).
Das erste neuronale Netz kann eine Mehrzahl von Schichten mit einer Mehrzahl von Knoten umfassen. Die Knoten der Schichten können mit anderen Knoten anderer Schichten verbunden sein, um das erste neuronale Netz auszubilden. Ferner kann jede Verbindung ihr eigenes Gewicht aufweisen. Man beachte, dass die Anzahl an Schichten nicht begrenzt ist. Ferner ist das erste neuronale Netz dazu ausgestaltet, autonom zu lernen. Dies kann durch Trainieren des ersten neuronalen Netzes vorab oder während des Betriebs des ersten neuronalen Netzes erreicht werden.
Das zweite neuronale Netz kann ein einfaches neuronales Netz sein, das rekurrente Verbindungen zwischen den einzelnen Schichten und/oder Knoten enthalten kann. Das zweite neuronale Netz kann vier Elemente umfassen: eine Zelle, ein Input-Gate, ein Output-Gate und ein Forget-Gate. Die Zelle ist zum „In-Erinnerung-Behalten“ von Werten über frei wählbare Zeitintervalle zuständig (daher das Wort „Speicher“ in „langer Kurzzeitspeicher“). Jedes der drei Gates kann man sich als ein „herkömmliches“ künstliches Neuron vorstellen, wie in einem mehrschichtigen (oder Feedforward-) neuronalen Netz: Das heißt, sie berechnen (unter Verwendung einer Aktivierungsfunktion) eine Aktivierung einer gewichteten Summe. Jedes der Gates kann seine eigenen Parameter aufweisen, wie Gewichte und Vorspannungen. Intuitiv kann man sie sich als Regler des Flusses von Werten vorstellen, der über die Verbindungen des zweiten neuronalen Netzes erfolgt (daher die Bezeichnung „Gate“ (Tor)). Die Zellen und die Gates können durch Verbindungen verbunden sein. Man beachte, dass die Verbindungen rekurrent sein können oder nicht. Ihre Ausgabe kann mit der Ausgabe der Zelle oder der Eingabe in den langen Kurzzeitspeicher multipliziert werden, um ein Fließen von Informationen in oder aus den/m Speicher teilweise zu gestatten oder zu verweigern. Konkreter kann das Input-Gate das Ausmaß steuern, in dem ein neuer Wert in den Speicher fließt, das Forget-Gate kann das Ausmaß steuern, in dem ein Wert im Speicher verbleibt, und das Output-Gate kann das Ausmaß steuern, in dem der Wert im Speicher verwendet wird, um die Ausgabe-Aktivierung des LSTM-Blocks zu berechnen.
Alternativ oder zusätzlich können das Input- und das Forget-Gate zu einem einzigen Gate zusammengeführt sein.
Der Ausdruck „langer Kurzzeit...“ bezieht sich auf die Tatsache, dass der lange Kurzzeitspeicher ein neuronales Netz für den Kurzzeitspeicher ist, das über einen langen Zeitraum bestehen kann.
Gemäß einer weiteren Ausführungsform der Erfindung umfassen die erfassten Bilddaten wenigstens zwei aufeinander folgende Bilder, die zu unterschiedlichen Zeiten aufgenommen wurden, und jedes der Bilder zeigt nur einen Teil der Fahrbahnmarkierung.
Die erfassten Bilddaten können ein(e) Videosequenz oder -stream oder eine Mehrzahl einzelner oder unabhängiger Bilder oder Frames sein. Die einzelnen Bilder sollten einen ähnlichen Blickwinkel aufweisen und die Zeit zwischen den Bildern sollte einen vorgegebenen Schwellenwert, wie etwa 15 s, nicht überschreiten. Das erste neuronale Netz extrahiert die Merkmale aus jedem der einzelnen Frames oder Bilder und stellt die extrahierten Merkmale dem zweiten neuronalen Netz bereit. Das zweite neuronale Netz kann dazu ausgestaltet sein, die extrahierten Merkmale der erfassten Bilddaten als Ganzes zu analysieren. Also die Merkmale einer Mehrzahl von Frames oder Bildern zu kombinieren. Ferner kann das zweite neuronale Netz dazu ausgestaltet sein, basierend auf den extrahierten Merkmalen der Mehrzahl von Frames oder Bildern die Fahrbahnmarkierung zu bestimmen.
Gemäß einer weiteren Ausführungsform der Erfindung ist die Bildaufnahmeeinrichtung eine Kamera.
Die Bildaufnahmeeinrichtung kann auch eine Schnittstelle zum Empfangen von Bilddaten von anderen Quellen, wie etwa über die Luft oder von einer externen Kamera, sein.
Ein weiterer Aspekt der Erfindung betrifft einen Prozessor. Der Prozessor ist für Folgendes ausgestaltet:

- Extrahieren von Merkmalen in einem Bilddatensatz durch ein erstes neuronales Netz, wobei die Merkmale einer Fahrbahnmarkierung zugeordnet sind;
- Bereitstellen der extrahierten Merkmale an ein zweites neuronales Netz; und
- Bestimmen - durch das zweite neuronale Netz - der Fahrbahnmarkierung anhand der extrahierten Merkmale in den erfassten Bilddaten.

In einem ersten Schritt kann der Prozessor Bilddaten einer Straße empfangen. Der Prozessor kann dazu ausgestaltet sein, aus den empfangenen Bilddaten Merkmale zu extrahieren, die der Fahrbahnmarkierung zugeordnet sind. Dies kann durch das erste neuronale Netz, beispielsweise ein faltendes neuronales Netz, erreicht werden, das durch den Prozessor ausgeführt wird oder auf diesem läuft. In einem weiteren Schritt kann der Prozessor dazu ausgestaltet sein, die extrahierten Merkmale dem zweiten neuronalen Netz, beispielsweise dem langen Kurzzeitspeicher, bereitzustellen. Alternativ oder zusätzlich kann der Prozessor selbst das zweite neuronale Netz ausführen. Schließlich kann der Prozessor das zweite neuronale Netz ausführen, um basierend auf den extrahierten Merkmalen des ersten neuronalen Netzes die Fahrbahnmarkierung auf der Straße zu bestimmen.
Man beachte, dass der Prozessor in eine Schaltung oder eine elektronische Steuereinheit (electronic control unit - ECU) eines Fahrzeugs eingebettet sein kann. Ferner können neben dem Prozessor auch Eingänge, Ausgänge (z. B. Schnittstellen) und ein Speicher Teil der Schaltung oder der ECU sein.
Die Begriffe „Prozessor“, „Steuereinrichtung“, „Steuereinheit“ und „Steuerschaltung“ können austauschbar verwendet werden und erfüllen die gleiche oder ähnliche Funktion gemäß dieser Anmeldung.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, das eine Fahrbahnmarkierungsbestimmungsvorrichtung umfasst.
Das Fahrzeug kann beispielsweise ein Kraftfahrzeug, wie etwa ein Pkw, ein Bus oder ein Lkw, sein.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Fahrbahnmarkierung auf einer Straße, wobei das Verfahren folgende Schritte umfasst:

- Erfassen von Bilddaten der Straße;
- Extrahieren von Merkmalen, die der Fahrbahnmarkierung zugeordnet sind, in den erfassten Bilddaten durch ein faltendes neuronales Netz (convolutional neural network - CNN);
- Bereitstellen der Merkmale der erfassten Bilddaten, die durch das faltende neuronale Netz (convolutional neural network - CNN) extrahiert wurden, an einen langen Kurzzeitspeicher (long short-term memory - LSTM); und
- Bestimmen - durch den langen Kurzzeitspeicher (long short-term memory - LSTM) - der Fahrbahnmarkierung anhand der extrahierten Merkmale der erfassten Bilddaten.

Gemäß einer Ausführungsform der Erfindung umfassen die Bilddaten wenigstens zwei aufeinander folgende Bilder, die zu unterschiedlichen Zeiten aufgenommen wurden.
Vorteilhafterweise enthalten die erfassten Bilddaten mehr als ein(en) einzelnen/s Frame oder Bild, wie etwa eine(n) Videosequenz oder -stream oder eine Mehrzahl einzelner aufeinander folgender Bilder. Ferner sollte, da die Informationen von mehr als einem Bild kombiniert werden sollten, um die Fahrbahnmarkierung zu bestimmen, die Mehrzahl von Bildern zu unterschiedlichen Zeiten aufgenommen werden oder der Videostream sollte ein fortlaufender Videostream sein.
Gemäß einer weiteren Ausführungsform der Erfindung zeigt jedes der aufeinander folgenden Bilder nur einen Teil der Fahrbahnmarkierung.
Mit anderen Worten: Die Fahrbahnmarkierung, die bestimmt werden soll, ist in einem einzelnen Bild oder Frame der erfassten Bilddaten nicht vollständig sichtbar.
Gemäß einer weiteren Ausführungsform der Erfindung werden das faltende neuronale Netz und der lange Kurzzeitspeicher zusammen trainiert.
Um optimale Bestimmungs- und Erkennungsergebnisse bezüglich der Fahrbahnmarkierung zu erreichen, werden das erste neuronale Netz und das zweite neuronale Netz, also das faltende neuronale Netz und der lange Kurzzeitspeicher, entsprechend zusammen trainiert und feinabgestimmt. So kann das zweite neuronale Netz basierend auf Merkmalen, die durch das erste neuronale Netz extrahiert wurden, für eine Erkennung optimiert werden.
Training eines neuronalen Netzes bedeutet im Wesentlichen Auswählen eines Modells aus dem die Kosten minimierenden Satz zulässiger Modelle. Es sind zahlreiche Algorithmen zum Trainieren neuronaler Netzmodelle verfügbar; die meisten von ihnen können als eine unmittelbare Anwendung von Optimierungstheorie und statistischer Schätzung angesehen werden.
Die meisten nutzen eine Form von Gradientenabstieg unter Verwendung von Backpropagation, um die tatsächlichen Gradienten zu berechnen. Dies erfolgt, indem einfach die Ableitung der Kostenfunktion bezüglich der Netzparameter hergenommen wird und diese Parameter dann in einer gradientenbezogenen Richtung geändert werden.
Ein neuronales Netz oder die Kombination von zwei neuronalen Netzen kann mit Trainingsdaten trainiert werden, bevor es/sie in Betrieb genommen wird. Die Schichten können aus miteinander verbundenen Knoten bestehen. Den Knoten sind jeweils Aktivierungsfunktionen zugewiesen. Die Verbindungen zwischen den Knoten können durch Gewichte quantifiziert sein. Während des Trainings können diese Knoten in den einzelnen Schichten erzeugt werden, nachdem die Gewichte, durch die die einzelnen Schichten und/oder Knoten verbunden sind, initialisiert wurden. Die Knoten in den Schichten können beim späteren Betrieb des neuronalen Netzes jeweils für ein(e) bestimmte(s) Merkmal oder Merkmalskomponente zuständig sein. Während des Trainings können die Ausgaben des neuronalen Netzes mit einer gewünschten Ausgabe des neuronalen Netzes (wie die Ausgabe sein sollte) abgeglichen werden. Die Ausgabe kann mittels der Knoten, der Schichten und der Gewichte zwischen den Schichten für die gewünschte Ausgabe optimiert werden, so dass das trainierte neuronale Netz für spezifische Eingangsdaten die gewünschte Ausgabe erzeugt.
Gemäß einem anderen Aspekt der Erfindung wird ein Computerprogrammelement zum Steuern der zuvor beschriebenen Fahrbahnmarkierungsbestimmungsvorrichtung bereitgestellt, das, wenn das Computerprogrammelement durch eine Verarbeitungseinheit ausgeführt wird, dazu ausgelegt ist, die zuvor beschriebenen Verfahrensschritte durchzuführen.
Es wird auch ein computerlesbares Medium bereitgestellt, auf dem das zuvor beschriebene Computerelement gespeichert ist.
Vorteilhafterweise gelten die positiven Wirkungen, die durch einen der obenstehenden Aspekte bereitgestellt werden, gleichermaßen für alle anderen Aspekte und umgekehrt.
Die obenstehenden Aspekte und Beispiele erschließen sich aus den nachstehend beschriebenen Ausführungsformen und werden unter Bezugnahme auf diese erläutert.
Nachfolgend werden Ausführungsbeispiele beschrieben - unter Bezugnahme auf die folgenden Zeichnungen:

1 zeigt ein Blockdiagramm einer Fahrbahnmarkierungsbestimmungsvorrichtung gemäß einer Ausführungsform der Erfindung.
2 zeigt eine Darstellung von Eingangsdaten, eines tiefen faltenden neuronalen Netzes, eines langen Kurzzeitspeichers und von Ausgangsdaten gemäß einer Ausführungsform der Erfindung.
3 zeigt einen schematischen Aufbau eines Fahrzeugs mit der Fahrbahnmarkierungsbestimmungsvorrichtung und einer Kamera gemäß einer Ausführungsform der Erfindung.
4 zeigt ein Ablaufdiagramm eines Verfahrens zum Bestimmen einer Fahrbahnmarkierung gemäß einer Ausführungsform der Erfindung.

1 zeigt ein schematisches Blockdiagramm einer Fahrbahnmarkierungsbestimmungsvorrichtung 1. Die Fahrbahnmarkierungsbestimmungsvorrichtung 1 umfasst eine Bildaufnahmeeinrichtung 10, ein erstes neuronales Netz 20, beispielsweise ein faltendes neuronales Netz, und ein zweites neuronales Netz 30, beispielsweise einen langen Kurzzeitspeicher. Die Bildaufnahmeeinrichtung 10 kann eine Kamera oder eine Schnittstelle zum Erhalten von Bilddaten von einer anderen Einheit, wie etwa einer Kamera, sein. Die Bildaufnahmeeinrichtung 10 erfasst Bilddaten von einer Straße und stellt die erfassten Bilddaten dem ersten neuronalen Netz 20, insbesondere einem faltenden neuronalen Netz (convolutional neural network - CNN), bereit. Die Bilddaten können eine Mehrzahl einzelner Frames oder Bilder enthalten, die nacheinander aufgenommen wurden. Das erste neuronale Netz 20 kann dazu ausgestaltet sein, bestimmte Merkmale aus jedem der bereitgestellten Frames oder Bilder zu extrahieren. Diese extrahierten Merkmale können einer Fahrbahnmarkierung auf einer Straße zugeordnet sein. Beispielsweise Farben, wie etwa Weiß, Gelb, Rot, Grün oder Blau, im Kontrast zur dunklen Farbe von Asphalt oder Beton der Straße. Nachfolgend stellt das erste neuronale Netz 20 die extrahierten Merkmale dem zweiten neuronalen Netz 30, insbesondere einem langen Kurzzeitspeicher, bereit. Das zweite neuronale Netz 30 bestimmt basierend auf den bereitgestellten Merkmalen des ersten neuronalen Netzes 20 die Fahrbahnmarkierung. Das zweite neuronale Netz 30 kann durch Kombinieren der Merkmale die Merkmale der Mehrzahl von Frames oder Bildern als Ganzes analysieren. In einem nachfolgenden Prozess kann die bestimmte Fahrbahnmarkierung verwendet werden, um ein Fahrzeug, z. B. automatisiertes Fahren, oder eine Funktion eines Fahrzeugs zu steuern.
2 zeigt eine detailliertere Darstellung der Fahrbahnmarkierungsbestimmungsvorrichtung 1. Die Bildaufnahmeeinrichtung 10 erfasst eine Mehrzahl aufeinander folgender Bilder, die zu unterschiedlichen Zeitpunkten aufgenommen wurden. Diese sind in 2 durch eine Mehrzahl hintereinander angeordneter Quadrate mit der Beschriftung F_N-1, F_N, F_N+1 und F_N+2 angezeigt, wobei jedes Quadrat einen einzelnen Frame oder ein Bild anzeigt und F_N die Zeit der Aufnahme des Bildes angibt. Die erfassten Bilddaten können als Eingangsdaten bezeichnet werden. Diese erfassten Bilder würden an das erste neuronale Netz 20 übertragen werden, wobei das erste neuronale Netz 20 ein faltendes neuronales Netz mit einer Mehrzahl unterschiedlicher Schichten, Knoten, Verbindungen und unterschiedlicher Gewichte zwischen den einzelnen Elementen des ersten neuronalen Netzes 20 sein kann. Die unterschiedlichen Schichten des ersten neuronalen Netzes 20 wurden durch die Mehrzahl hintereinander angeordneter Quadrate in unterschiedlichen Größen angezeigt. Die Verbindung zwischen den Schichten des ersten neuronalen Netzes 20 sind durch die gestrichelten Linien angezeigt. Jede Schicht des ersten neuronalen Netzes 20 kann für ein Erkennen und Extrahieren eines bestimmten Merkmals optimiert sein oder jede Schicht kann einem anderen Teil der Bilder zugewiesen sein. Die extrahierten Merkmale würden dem zweiten neuronalen Netz 30 bereitgestellt. Das zweite neuronale Netz 30 kann ein langer Kurzzeitspeicher sein, der das extrahierte Merkmal des ersten neuronalen Netzes 20 empfängt. Das zweite neuronale Netz 30 kann dazu ausgestaltet sein, die extrahierten Merkmale gemäß ihrer Wichtigkeit zu klassifizieren und extrahierte Merkmale von dem ersten neuronalen Netz über einen bestimmten Zeitraum zusammenzuführen oder zu kombinieren. Mit anderen Worten: Das zweite neuronale Netz speichert bestimmte Merkmale, die durch das erste neuronale Netz 20 extrahiert wurden, und kombiniert sie mit neu extrahierten Merkmalen des ersten neuronalen Netzes 20, um die Fahrbahnmarkierung zu bestimmen. Dadurch ist das zweite neuronale Netz 30 dazu ausgestaltet, basierend auf den extrahierten Merkmalen des ersten neuronalen Netzes 20 über eine Mehrzahl einzelner Bilder oder Frames hinweg die Fahrbahnmarkierung zu bestimmen. Die Vorteile eines Kombinierens von zwei spezialisierten neuronalen Netzen kann sein, dass eine Fahrbahnmarkierung auch dann bestimmt werden kann, wenn sie (durch andere Fahrzeuge) teilweise verdeckt ist oder wenn es sich um eine lang gestreckte Fahrbahnmarkierung handelt, die nicht in ein(en) einzelnen/s Rahmen oder Bild der Aufnahmeeinrichtung 10 passt.
3 zeigt ein Fahrzeug 2 mit einer Fahrbahnmarkierungsbestimmungsvorrichtung 1 und einer Kamera 3. Die Fahrbahnmarkierungsbestimmungsvorrichtung 1 kann in eine(n) Steuereinheit, Steuerschaltung, Steuereinrichtung oder Prozessor des Fahrzeugs integriert sein. Alternativ oder zusätzlich kann die Fahrbahnmarkierungsbestimmungsvorrichtung 1 direkt in die Kamera 3 oder die Kamerasteuereinheit des Fahrzeugs integriert sein. Ferner kann die Fahrbahnmarkierungsbestimmungsvorrichtung 1 in der Lage sein, auf die Informationen anderer Einheiten, Einrichtungen, Sensoren oder Schaltungen des Fahrzeugs 2, wie etwa der Frontkamera 3, zuzugreifen und diese zu verwenden, um die Fahrbahnmarkierung auf einer Straße zu bestimmen.
4 zeigt ein Ablaufdiagramm eines Verfahrens zum Bestimmen einer Fahrbahnmarkierung auf einer Straße. In einem ersten Schritt S1 werden Bilddaten einer Straße mit der Fahrbahnmarkierung erfasst, vorzugsweise durch eine Bildaufnahmeeinrichtung. Im Schritt S2 werden die erfassten Bilddaten an ein faltendes neuronales Netz übertragen und das faltende neuronale Netz extrahiert Merkmale, die der Fahrbahnmarkierung zugeordnet sind. Im Schritt S3 stellt das faltende neuronale Netz die extrahierten Merkmale einem langen Kurzzeitspeicher bereit. Schließlich wird im Schritt S4 durch den langen Kurzzeitspeicher basierend auf den extrahierten Merkmalen in den erfassten Bilddaten die Fahrbahnmarkierung bestimmt.

Claims

Fahrbahnmarkierungsbestimmungsvorrichtung (1), umfassend: - eine Bildaufnahmeeinrichtung (10), die dazu ausgestaltet ist, Bilddaten einer Straße zu erfassen; - ein erstes neuronales Netz (20); und - ein zweites neuronales Netz (30); wobei die Bildaufnahmeeinrichtung (10) dazu ausgestaltet ist, die erfassten Bilddaten dem ersten neuronalen Netz (20) bereitzustellen, und wobei das erste neuronale Netz (20) dazu ausgestaltet ist, Merkmale in den erfassten Bilddaten zu extrahieren, wobei die extrahierten Merkmale der Fahrbahnmarkierung zugeordnet sind, wobei das erste neuronale Netz (20) dazu ausgestaltet ist, die extrahierten Merkmale dem zweiten neuronalen Netz (30) bereitzustellen, wobei das zweite neuronale Netz (30) dazu ausgestaltet ist, basierend auf den bereitgestellten Merkmalen des ersten neuronalen Netzes (20) die Fahrbahnmarkierung zu bestimmen.
Vorrichtung (1) nach Anspruch 1, wobei das erste neuronale Netz (20) ein faltendes neuronales Netz (convolutional neural network - CNN) umfasst und das zweite neuronale Netz (30) einen langen Kurzzeitspeicher (long short-term memory - LSTM) umfasst.
Vorrichtung (1) nach den Ansprüchen 1 und 2, wobei die erfassten Bilddaten wenigstens zwei aufeinander folgende Bilder umfassen, die zu unterschiedlichen Zeiten aufgenommen wurden, und jedes der Bilder nur einen Teil der Fahrbahnmarkierung zeigt.
Vorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die Bildaufnahmeeinrichtung (10) eine Kamera (3) ist.
Prozessor, der für Folgendes ausgestaltet ist: - Extrahieren von Merkmalen in einem Bilddatensatz durch ein erstes neuronales Netz (20), wobei die Merkmale einer Fahrbahnmarkierung zugeordnet sind; - Bereitstellen der extrahierten Merkmale an ein zweites neuronales Netz (30); und - Bestimmen - durch das zweite neuronale Netz (30) - der Fahrbahnmarkierung anhand der extrahierten Merkmale in den erfassten Bilddaten.
Fahrzeug (2) mit einer Vorrichtung (1) nach einem der Ansprüche 1 bis 4 oder Prozessor nach Anspruch 5.
Verfahren zum Bestimmen einer Fahrbahnmarkierung auf einer Straße, folgende Schritte umfassend: - Erfassen (S1) von Bilddaten der Straße; - Extrahieren (S2) von Merkmalen, die der Fahrbahnmarkierung zugeordnet sind, in den erfassten Bilddaten durch ein faltendes neuronales Netz (convolutional neural network - CNN) ; - Bereitstellen (S3) der Merkmale der erfassten Bilddaten, die durch das faltende neuronale Netz (convolutional neural network - CNN) extrahiert wurden, an einen langen Kurzzeitspeicher (long short-term memory - LSTM); und - Bestimmen (S4) - durch den langen Kurzzeitspeicher (long short-term memory - LSTM) - der Fahrbahnmarkierung anhand der extrahierten Merkmale der erfassten Bilddaten.
Verfahren nach Anspruch 7, wobei die Bilddaten wenigstens zwei aufeinander folgende Bilder umfassen, die zu unterschiedlichen Zeiten aufgenommen wurden.
Verfahren nach Anspruch 8, wobei jedes der aufeinander folgenden Bilder nur einen Teil der Fahrbahnmarkierung zeigt.
Verfahren nach einem der Ansprüche 7 bis 9, wobei das faltende neuronale Netz und der lange Kurzzeitspeicher zusammen trainiert werden.
Computerprogrammelement zum Steuern einer Vorrichtung (1) nach einem der Ansprüche 1 bis 4 und/oder eines Fahrzeugs (2) nach Anspruch 6, das, wenn es durch einen Prozessor ausgeführt wird, dazu ausgestaltet ist, das Verfahren nach einem der Ansprüche 7 bis 10 durchzuführen.
Computerlesbares Medium, auf dem ein Computerprogrammelement nach Anspruch 11 gespeichert ist.