-
Stand der Technik
-
Für die Steuerung zumindest teilautomatisierter Systeme, wie z.B. selbstfahrende Fahrzeuge oder Roboter als Beispiele für mobile Plattformen, muss für einen sicheren und effektiven Betrieb eine Interpretation der Umgebung der mobilen Plattform für z. B. Entscheidungsprozesse wie Trajektorienplanung und -steuerung der mobilen Plattformen erfolgen.
-
Ein wesentlicher Bestandteil solcher, zumindest teilweise automatisierter Systeme ist ihre Fähigkeit, komplexe Situationen in Bezug auf ihre Umgebung wahrzunehmen, so dass sie für die jeweilige Aufgabe adaptiert werden können.
-
Ein solches Umfeldverständnis ist schwer zu formalisieren, weshalb der Stand der Technik auf Modellierung mittels tiefer neuronaler Netzwerke (NNs) setzt.
-
Offenbarung der Erfindung
-
Eine Sensorik von automatisierten Fahrzeugen hat starke Limitierungen. Gegenüber einem menschlichen Fahrer besteht die Limitierung oft nicht nur in einer Reichweite, sondern z.B. das Fehlen der technologischen Umsetzung eines „Sehens durch die Scheiben vorausfahrender Fahrzeuge“ oder eines Erkennens von vorausfahrenden Fahrzeugen anhand ihres Schattens. Darüber hinaus verfügen Menschen über herausragende Modelle für die Situationsanalyse und -antizipation, welche menschliche sensorische Fähigkeiten ergänzen, bzw. kompensieren können. Umfeldmodelle, die mittels neuronaler Netzwerke generiert werden, werden i.d.R. aus aufgezeichneten, d.h. vorverarbeiteten, Realdaten, als Repräsentationen von Umfeldmodellen für die neuronalen Netzwerke abgeleitet. Die Einschränkung besteht dabei darin, dass aus dem Datenpool der Realdaten oft die Ursache, weshalb sich eine Situation so entwickelt hat und nicht anders, nicht ersichtlich ist. Wenn z.B. in einer 30er Zone der Vorausfahrer plötzlich zur Seite ausschert, kann es ein Hinweis für den menschlichen Fahrer sein, dass ein Fußgänger plötzlich von der Seite auf die Straße treten wird. Dieser Fußgänger ist noch nicht im Umfeldmodell des Fahrers vorhanden, wird für einen menschlichen Fahrer aber dennoch aus der Erfahrung antizipiert. Selbst wenn man diesen Fußgänger anschließend nicht sieht, weil er z.B. wieder zurückgetreten ist, ist das Verhalten des Vorausfahrers für den menschlichen Fahrer plausibel. Für ein neuronales Netzwerk, das basierend auf Ego-Fahrzeug-Daten, d.h. in den Daten aus der Sensorik einer mobilen Plattform, keinen Fußgänger detektiert hat, ist es jedoch nicht plausibel. Das neuronale Netzwerk kann zwar lernen, auf das Ausscheren des Vorausfahrers zu reagieren und z.B. selbst auszuscheren oder langsamer zu fahren, aber das ist ein implizites Modell mit falscher Korrelation. Es wäre vorteilhaft ein Lernen eines neuronalen Netzwerkes mit solchen falschen Korrelationen zu vermeiden.
-
Erfindungsgemäß werden Verfahren zum Trainieren eines neuronalen Umfeld-Netzwerks zum Bestimmen eines Objekt-angereicherten Umfeldmodells eines Umfelds einer mobilen Plattform, Verfahren zum Bestimmen eines Objekt-angereicherten Umfeldmodells eines Umfelds einer mobilen Plattform, eine Vorrichtung zur Datenverarbeitung, ein Steuergerät, eine mobile Plattform und eine Verwendung der Vorrichtung gemäß den Merkmalen der unabhängigen Ansprüche angegeben, welche zumindest zum Teil die genannten Wirkungen aufweisen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
-
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Trainieren eines neuronalen Umfeld-Netzwerks zum Bestimmen eines Objekt-angereicherten Umfeldmodells eines Umfelds einer mobilen Plattform mit einer Vielzahl von Trainings-Zyklen vorgeschlagen, wobei jeder Trainings-Zyklus die folgenden Schritte aufweist: In einem Schritt wird eine Repräsentation eines internen Umfeldmodells des Umfelds bereitgestellt, wobei die Repräsentation des internen Umfeldmodells auf Daten von Onboard-Sensorsystemen der mobilen Plattform basiert. In einem weiteren Schritt wird eine Repräsentation eines externen Umfeldmodells des Umfelds, wobei die Repräsentation des externen Umfeldmodells auf Daten von externen Sensorsystemen basiert, bereitgestellt. In einem weiteren Schritt wird die Repräsentation des internen Umfeldmodells dem neuronalen Umfeld-Netzwerks als Eingangssignal bereitgestellt. In einem weiteren Schritt wird das jeweilige Objekt-angereicherte Umfeldmodell mit dem neuronalen Umfeld-Netzwerk generiert. In einem weiteren Schritt wird zumindest eine Abweichung des jeweiligen, mit dem neuronalen Umfeld-Netzwerk generierten, Objekt-angereicherten Umfeldmodell von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells bestimmt. In einem weiteren Schritt wird bei zumindest einem ersten Teil der Trainings-Zyklen das neuronalen Umfeld-Netzwerk adaptiert, um bei einem Generieren des Objekt-angereicherten Umfeldmodells durch das neuronale Umfeld-Netzwerk eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells zu minimieren. Die Repräsentation des internen Umfeldmodells und/oder des externen Umfeldmodells kann ein Teil eines Umfeldmodells und/oder eine Objektliste und/oder ein Gittermodell und/oder eine optische Abbildung unterschiedlicher Form des Umfelds sein. Mit anderen Worten kann das jeweilige Objekt-angereicherten Umfeldmodell, in dem jeweiligen Trainingszyklus mit den jeweiligen bereitgestellten Repräsentationen generiert werden.
-
Dabei kann unter einer mobilen Plattform ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
-
Beispiele für Onboard-und/oder externe Sensorsysteme sind Lidar-Sensorsysteme und/oder Radar Sensorsysteme und/oder Videokameras, Ultraschallsysteme etc.
-
Ein neuronales Netzwerk stellt einen Rahmen für viele verschiedene Algorithmen, beispielsweise zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben, zur Verfügung. Solche neuronalen Netzwerke lernen Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.
-
Ein solches neuronales Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann weitere damit verbundene künstliche Neuronen aktivieren.
-
Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.
-
Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.
-
Ergänzend zu den Ausführungen zu neuronalen Netzen besteht der Aufbau eines künstlichen Neuronalen-Faltungs-Netzes (Convolutional Neural Network) aus einer oder mehreren Faltungs-Schichten (convolutional layer), gegebenenfalls gefolgt von einem Pooling Layer. Die Abfolge von Schichten kann mit oder ohne Normalisierungs-Schichten (z.B. Batch-Normalisierung), Zero-Padding-Schichten, Dropout-Schichten und Aktivierungs-Funktionen, wie z.B. Rectified Linear Unit ReLU, sigmoid-Funktion, tanh-Funktion oder softmax-Funktion, verwendet werden.
-
Diese Einheiten können sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks. Ein solches neuronales Faltungsnetzwerk kann eine Abfolge von Schichten aufweisen, die die Eingangsgitter bzw. Eingangssignale auf eine niedrigere Auflösung herunter abtasten, um die gewünschten Informationen zu erhalten und die redundanten Informationen zu speichern.
-
Insbesondere kann das neuronale Netzwerk ein Backbone zur Vorverarbeitung und ein Head zur problemspezifischen Verarbeitung aufweisen, wobei Instanzen von Backbones und Heads beliebig verschaltet werden können. Dabei kann ein individueller Backbone mit einem Faltungsnetzwerkes CNN (Convolution Neural Network) realisiert werden und für einen Eingang des jeweiligen neuronalen Netzes können Objektdaten des Umfelds in einem räumlichen Gitter (Grid) bereitgestellt werden. Insbesondere kann ein solches Faltungsnetzwerk als eine Abwandlung von ResNet18 realisiert werden.
-
Der Backbone kann dabei mehrere Convolutional Layern aufweisen, wie beispielsweise drei Convolutional Layer mit 16, 32, 32 Output-Channels mit Kernel Size 4x4, Stride 4x4 und Padding 1x1, gefolgt von jeweils einem Nichtlinearitätenlayer wie ReLU.
Der Head kann aus mehreren Deconvolution Layers bestehen, beispielsweise ebenfalls aus drei Layern mit 32, 16, 3 Output-Channels mit Kernel Size 4x4, Stride 4x4 und Padding 1x1, gefolgt von jeweils einem Nichtlinearitätenlayer wie ReLU.
Zusätzlich können zur Dimensionsanpassung, d. h. sofern z.B. die Anzahl der Input-Channels des Heads nicht gleich der Anzahl der Output-Channels des Backbones ist, eines oder mehrere Linear Layers mit oder ohne Nichtlinearitäten-Layer eingebaut werden.
-
Alternativ oder zusätzlich kann das Backbone, in Form eines Graph Neural Network (GNN) realisiert werden, dessen Nodes direkt mit den Daten aus einer Objektliste initialisiert werden können, die beispielsweise in Form eines numerischen Tensors realisiert werden kann.
-
Beim Training neuronaler Netzen unterscheidet man typischerweise zwischen einer Trainingsphase und einer Testphase, die auch Ausbreitungsphase genannt wird. In der Trainingsphase, die aus einer Vielzahl von Trainingsdurchläufen besteht, lernt das neuronale Netz anhand eines Trainings-Datensets. Dementsprechend werden in der Regel die Gewichte zwischen den einzelnen Neuronen modifiziert. Lernregeln geben dabei die Art und Weise an, wie das neuronale Netz diese Veränderungen vornimmt.
Bei dem supervised learning (überwachtes bzw. beaufsichtigtes Lernen) wird der korrekte Output als „teaching vector“ vorgegeben anhand derer die Parameter des neuronalen Netzes bzw. die Gewichte, wie beispielsweise Gewichte eines Faltungs-Kerns, optimiert werden.
In der Testphase werden hingegen keine Parameter oder Gewichte verändert. Stattdessen wird hier auf Grundlage der bereits modifizierten Gewichte aus der Trainingsphase untersucht, ob das Netz korrekt gelernt hat. Dazu präsentiert man dem Eingang des neuronalen Netzes Daten und prüft, welchen Output das neuronale Netz bestimmt. Dabei kann mit den dem neuronalen Netz schon gezeigten Ausgangsreizen geprüft werden, ob das neuronale Netz das Trainingsmaterial erfasst hat.
Durch Präsentation neuer Reize kann man feststellen, ob das Netz generalisierend Aufgaben löst.
-
Eine Repräsentation eines internen und/oder externen Umfeldmodelles kann semantische Elemente des Umfeldmodells, wie beispielsweise Spurmarkierungen und/oder wahrgenommene Objekte und/oder sowie ein Ego-Fahrzeug jeweils in ein eigenes, Ego-Fahrzeug-zentriertes binäres Grid (Koordinatengitter) mit einem festgelegten Field of View, z.B. je 50 m zu den Seiten, 40 m nach hinten und 100 m nach Vorne und einer Auflösung von 0.7 m/Pixel, aufweisen und darstellen. Dabei kann das Ego-Fahrzeug im Zentrum seines binären Grids angesehen werden und muss daher nicht eingezeichnet werden.
-
Eine solches binäres Grid kann durch eine Vorverarbeitungseinheit Daten des Onboard-Sensorsystems und/oder Daten eines externen Sensorsystems in einer solchen Grid-Darstellung, beispielsweise in Tensorform, dem jeweiligen neuronalen Umfeld-Netzwerk bereitstellen.
Insbesondere kann die Repräsentation des internen Umfeldmodells in unterschiedlichem Format zu dem Objekt-angereicherten Umfeldmodell bestimmt werden. Beispielsweise kann die Repräsentation des internen Umfeldmodells Rohsensordaten, wie z. B. Lidar-Reflexe, mit dem entsprechenden Format aufweisen und ein Ausgabeformat des Objekt-angereicherten Umfeldmodells kann eine Liste von Bounding Boxes aufweisen.
-
Alternativ oder zusätzlich kann das Verfahren auf Sequenzen von Repräsentationen des internen und/oder externen Umfeldmodells basieren, wie weiter unten beschrieben ist. Dann kann das Ego-Fahrzeug sowie andere wahrgenommenen Objekte, bzw. andere semantische Objekte, aus den vergangenen Zeitpunkten, z.B. zwei vergangene Zeitpunkte mit einem zeitlichen Abstand von 200 ms untereinander und ein aktuellen, im aus der Sicht des Ego-Fahrzeugs zu einem aktuell betrachteten Zeitpunkt, in jeweils dedizierte binäre
Grids eingezeichnet werden.
Alternativ oder zusätzlich können sämtliche semantischen Objekte des Umfelds
in einen Tensor mit drei Kanälen, die beispielsweise als ein RGB Bild interpretierbar sind, mit unterschiedlichen Farben für die jeweilige Semantik eingezeichnet werden. Die Daten aus den vergangenen Zeitpunkten können dabei als zunehmend transparent eingezeichnet werden.
-
Ein externes Umfeldmodell kann analog zu internen Umfeldmodellen durch eine Vorverarbeitungseinheit in einen Tensor mit binären Grids für jedes semantische Objekt, bzw. einen RGB-Tensor, falls die Darstellung des internen Umfeldmodells als ein Tensor mit drei Kanälen gewählt wurde, überführt werden. Dabei wird ein Umfeldmodell zum aktuellen Zeitpunkt dargestellt. Die Größe des resultieren Tensors entspricht dabei der Ausgabegröße des neuronalen Umfeld-Netzwerks.
-
Eine Kostenfunktion (Loss) misst, wie gut ein vorliegendes neuronales Netz einen gegebenen Datensatz abbildet. Beim Training eines neuronalen Netzes werden die Gewichte schrittweise so geändert, dass die Kostenfunktion minimal wird, und somit der Trainingsdatensatz (fast) vollständig durch das neuronale Netz abgebildet wird.
-
Für ein Anwenden des Backpropagation Algorithmus, der verwendet werden kann, um die Parameter des neuronalen Umfeld-Netzwerks zu adaptieren, kann die Kostenfunktion (Loss) als eine Summe der quadrierten pixel-weiser Differenz zwischen dem vom jeweiligen neuronalen Umfeld-Netzwerk ausgegebenen Tensor und einem Tensor, welcher das externe Umfeldmodell darstellt, definiert werden.
-
Vorteilhafterweise kann das Verfahren Objekt-angereicherte Umfeldmodelle bestimmen, bei denen beispielsweise eine Objektliste, die basierend auf Onboard-Sensorsystemen generiert wurde, mit zumindest einem halluzinierten Objekt, d. h. einem Objekt, das mit dem vorgeschlagenen Verfahren generiert wurde, weil in einer gewissen Umfeld-Situation dieses Objekt mit einer gewissen Wahrscheinlichkeit existiert, angereichert wird.
Dadurch kann eine limitierte Wahrnehmung durch eine Fahrzeugsensorik, d. h. basierend auf Daten von Onboard-Sensorsystemen, erweitert werden. Eine menschliche Wahrnehmung, beispielsweise eine Wahrnehmung eines Staus durch Scheiben vorausfahrender Fahrzeuge, kann mittels des neuronalen Umfeld-Netzwerks durch ein solches Training adaptiert werden, was für ein reines On-Board-Sensorsystem sonst nicht realisiert werden kann.
Eine so angereicherte Objektliste reduziert eine Notwendigkeit, Heuristiken in ein Planungsframework für eine zumindest teilautomatisierte mobile Plattform einzubauen, was nicht skaliert werden kann und auch zu Widersprüchen führen kann.
-
In einem Beispiel kann das Verfahren mit der folgenden Situation erläutert werden. Es wird angenommen, dass ein Ego-Fahrzeug im Stau in der Innenstadt zu weit von einer Ampel entfernt steht, als dass die Ampel vom Ego-Fahrzeug erkannt werden kann und somit auch von einem Planner des Ego-Fahrzeugs nicht berücksichtigt werden kann. Wenn dann vom Ego-Fahrzeug wahrgenommen wird, dass Fahrzeuge links des Egofahrzeugs losfahren, kann das von einem menschlichen Fahrer auf eine Ampelschaltung ausschließlich für die linke Fahrspur interpretiert werden. Ein automatisiertes Fahrzeug könnte jetzt versuchen, sich links einzufädeln und das stehende Fahrzeug vor sich zu umfahren, da ein solches Verhalten kostenoptimal wäre, da die meisten Planner u.a. die Zeit zum Durchfahren der Route minimieren. Um das zu vermeiden, müsste eine solche Ampel-Information explizit als Heuristik programmiert werden. Das vorgeschlagene Verfahren verhindert ein solches Fehlverhalten, weil das neuronale Umfeld-Netzwerk trainiert wurde weitere Fahrzeuge vor dem automatisierten Fahrzeug zu ergänzen (zu „halluzinieren") und so entsprechend der Stausituation korrekte Grundlage für einen Planner zu liefern.
-
Insbesondere kann ein, entsprechend mit einem „Auxiliary Loss“ trainierten, Verhaltens-Planer für eine zumindest teilautomatisierte mobile Plattform direkt auf einem solchen trainierten neuronalen Umfeld-Netzwerk basieren und direkt eine entsprechende Trajektorie und/oder Steuerkommandos ausgeben, die entsprechend ergänzte, bzw. halluzinierte, Objekten und/oder Fahrzeugen berücksichtigt. Dies ist weiter unten dargestellt.
-
Mit anderen Worten kann mit diesem Verfahren eine Objekt-angereichertes Umfeldmodell bestimmt werden, das eine Repräsentation eines internen Umfeldmodells, welches auf Daten von und Board-Sensorsystemen basiert, um Objekte erweitert, die von dem und Board-Sensorsystem selbst nicht direkt wahrgenommen werden können.
Dieses Objekt-angereicherte Umfeldmodell kann anschließend für eine Situationsanalyse und -Prädiktion sowie für die Ego-Verhaltens- und Bewegungsplanung verwendet werden.
-
D. h. Repräsentationen eines internen Umfeldmodells, die aus der Onboard-sensorik abgeleitet werden, können verwendet werden, gemeinsam mit Repräsentationen eines externen Umfeldmodells, die aus einer externen Quelle, wie z.B. einer Drohnenaufnahme stammen, ein neuronales Umfeld-Netzwerk zu Trainieren ein Objekt-angereichertes Umfeldmodell zu bestimmen, welches auf den Daten der Onboard-Sensorik basiert. Auf diese Weise können falsche Korrelationen beim Trainieren von NN-Modellen vermieden werden, sodass das Verhalten des neuronalen Umfeld-Netzwerks interpretierbar und nachvollziehbar wird. Dazu können die Repräsentationen des externen Umfeldmodells mit den Repräsentation des internen Umfeldmodells, das aus der Onboard verfügbaren Sensorik abgeleitet wird, synchronisiert werden, falls keine Vehicle-2-X Kommunikation vorhanden ist. Eine solche Repräsentation eines externen Umfeldmodells kann beispielsweise mittels Drohnenaufnahmen oder Daten aus Infrastruktursensorik erstellt werden.
-
Dazu wird das neuronale Umfeld-Netzwerk mit Repräsentationen eines internen Umfeldmodells, am Eingang des neuronalen Umfeld-Netzwerks, trainiert, ein Objekt-angereichertes Umfeld Modell zu bestimmen, das möglichst wenig von einem externen Umfeldmodelle abweicht. D.h. das externe Umfeldmodell kann ein Label zum Trainieren des neuronalen Umfeld-Netzwerks bilden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass bei zumindest einem zweiten Teil der Vielzahl von Trainings-Zyklen:
- - das Objekt-angereicherte Umfeldmodell des neuronalen Umfeld-Netzwerks einem neuronalen Planning-Netzwerk bereitgestellt wird; und
- - das neuronale Planning-Netzwerk und/oder das neuronale Umfeld-Netzwerk adaptiert wird, um beim Generieren einer geschätzten Trajektorie durch das neuronale Planning-Netzwerk eine Abweichung der geschätzten Trajektorie der mobilen Plattform von einer bereitgestellten Trajektorie der mobilen Plattform zu minimieren und/oder eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells zu minimieren.
-
Dabei kann das neuronale Planning-Netzwerk und/oder das neuronale Umfeld-Netzwerk auch nur bei einem Teil des zweiten Teils der Vielzahl von Trainingszyklen adaptiert werden.
-
Die mittels des Verfahrens zum Trainieren des neuronalen Umfeld-Netzwerks bestimmten Objekt-angereicherten Umfeldmodelle können in nachgelagerten Planungskomponenten des automatisierten Fahrzeugs verwendet werden. Insbesondere können diese Planungskomponenten, wie in diesem Aspekt des Verfahrens beschrieben, als neuronales Planning-Netzwerk ausgelegt werden. Für das Training dieser neuronalen Netzwerke kann eine holistische Trainingsarchitektur verwendet werden, bei der zusätzlich ein Auxiliary Loss bestimmt wird, wie weiter unten beschrieben wird.
-
Insbesondere kann das neuronale Planning-Netzwerk ein Backbone-Netzwerk und ein Head-Netzwerk aufweisen, wobei eine Struktur des Backbone-Netzwerk des Planning-Netzwerks analog zu einer Struktur des Backbone-Netzwerks des neuronalen Umfeld-Netzwerks ausgebildet sein kann.
-
Insbesondere kann das neuronale Head-Netzwerk als ein Feed Forward neuronales Netz realisiert werden, das Zielpositionen x/y (Waypoints) in einem fixen zeitlichen Abstand, wie z.B. 200 ms, ausgibt. Alternativ oder zusätzlich kann das Head Deconvolution-Layer, bzw. Transposed-Convolutions, aufweisen, das eine Kostenfunktion für die Bewertung von Trajektorien, die durch ein anderes Modul generiert werden, erzeugen kann. Der Head des Planning-Netzwerks kann beispielsweise als ein Feed-Forward Netzwerk mit zwei Hidden-Layern mit 128 und 256 Output-Features, gefolgt von einem Nichtlinearitäten-Layer wie ReLU, ausgelegt werden. Der Output-Layer des Heads hat kann ohne Nichtlinearität ausgelegt sein. Seine Dimension hängt davon ab, wie lange die prädizierte Ego-Trajektorie sein soll und wie sie dargestellt ist. Beispielsweise kann eine Trajektorie in Form von Waypoints, d. h. x-y Positionen in einem Koordinatensystem eines Ego-Fahrzeugs zum aktuellen Zeitpunkt, dargestellt werden, wobei die Waypoints einen zeitlichen Abstand von 500 ms aufweisen können. Um nun einen Planungshorizont einer Trajektorie von 5 s zu haben, werden 9 Waypoints benötigt, was zu einer Dimension des Output-Layer des Heads von 18 führt.
-
Als Loss für die ausgegebenen Waypoints kann beispielsweise ein L2-Loss gewählt werden. Die gewichtete Summe dieses Losses und des Losses für das Umfeld-Netzwerk kann für eine Backpropagation verwendet werden, um das neuronale Netzwerk zu adaptieren. Trainings-Zyklen des neuronalen Umfeld-Netzwerks und das neuronalen Planning-Netzwerks können sich, sowohl in Bezug auf eine Gesamt-Anzahl als auch von einer Abfolge her, unterscheiden. Am Anfang eines Trainings, das beispielsweise ca. 10-20 Epochen aufweisen kann, kann es vorteilhaft sein, das neuronale Umfeld-Netzwerk stärker zu trainieren. Das kann entweder durch mehr Evaluationen des Umfeld-Netzwerks und/oder die stärkere Gewichtung des Losses für das Umfeld-Netzwerk erreicht werden. Außerdem hat sich eine Anwendung des sogenannten „Teacher Forcing" als hilfreich für das Trainieren des Planning-Netzwerks erwiesen.
-
Für das Adaptieren des neuronalen Umfeld-Netzwerks, bzw. des neuronalen Planning-Nemapstzwerks kann sowohl ein Planning-Loss, der eine Abweichung der jeweiligen geschätzten Trajektorie von der bereitgestellten Trajektorie angibt, als auch ein Auxiliary Loss, der eine Abweichung des jeweiligen generierten Objekt-angereicherten Umfeldmodells von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells angibt, bestimmt werden. Das Training des neuronalen Umfeld-Netzwerks kann mit einer gewichteten Summe aus Planning-Loss und Auxiliary-Loss durchgeführt werden. Die jeweiligen Gewichte der gewichteten Summe können über die Zeit, entsprechend eines „ Scheduling" verändert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Umfeld-Netzwerk ein neuronales Backbone-Netzwerk und ein neuronales Umfeld-Head-Netzwerk aufweist, und das neuronale Backbone-Netzwerk einen Ausgangstensor generiert, der dem Umfeld-Head-Netzwerk bereitgestellt wird, um das Objekt-angereicherte Umfeldmodell zu generieren. Weiterhin wird der Ausgangstensor einem neuronalen Planning-Head-Netzwerk zum Generieren einer geschätzten Trajektorie für die mobile Plattform bereitgestellt.
-
In zumindest einem dritten Teil der Vielzahl der Trainingszyklen wird dabei das neuronale Planning-Head-Netzwerk und/oder das neuronale Umfeld-Head-Netzwerk und/oder das neuronale Backbone-Netzwerk adaptiert, um beim Generieren einer geschätzten Trajektorie durch das neuronale Planning-Head-Netzwerk eine Abweichung der geschätzten Trajektorie von einer bereitgestellten Trajektorie und/oder eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells zu minimieren.
-
Entsprechend diesem Aspekt des Verfahrens können dem Planning-Head-Netzwerk direkt Output-Features des Umfeld-Backbones bereitgestellt werden. Das Planning-Head-Netzwerk kann entsprechend dem Head des Planning-Netzwerks ausgelegt werden. Ein L2-Loss kann für die Output-Features des Planning-Heads angewandt werden, wenn diese als Waypoints interpretiert werden. Für ein Backpropagation Verfahren zum Adaptieren des jeweiligen neuronalen Netzwerks kann entsprechend, wie oben dargestellt, eine gewichtete Summe der beiden Losses, einem Umfeld-Loss (Auxiliary Loss) und einem Waypoints-Loss (Planning-Loss), gebildet werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass bei der Bestimmung der zumindest einen Abweichung des jeweiligen, mit dem neuronalen Umfeld-Netzwerk generierten, Objekt-angereicherten Umfeldmodell von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells zumindest eine Abweichung der geschätzten Trajektorie von der bereitgestellten Trajektorie bestimmt wird, wobei für die Adaptierung des neuronalen Umfeld-Netzwerks die beiden jeweiligen Abweichungen gewichtet eingehen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Umfeld-Netzwerk und/oder das neuronale Planning-Netzwerk und/oder das neuronale Planning-Head-Netzwerk ein fully connected neuronales Netzwerk und/oder ein neuronales Faltungsnetzwerk und/oder ein neuronales Graphnetzwerk enthält.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Daten der externen Sensorsysteme Daten von Drohnen-Sensorsystemen und/oder Daten von Sensorsystemen weiterer mobiler Plattformen im Umfeld der mobilen Plattform und/oder Daten von Infrastruktur-Sensorsystemen enthalten.
-
Gemäß einem Aspekt wird vorgeschlagen, dass zumindest eine Abweichung des jeweiligen, mit dem neuronalen Umfeld-Netzwerk generierten, Objekt-angereicherten Umfeldmodell von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells und/oder der jeweiligen bereitgestellten Repräsentation des internen Umfeldmodells des Umfelds bestimmt wird. Dann wird, in zumindest einem vierten Teil der Trainings-Zyklen, das neuronale Umfeld-Netzwerk adaptiert, um bei einem Generieren des Objekt-angereicherten Umfeldmodells durch das neuronale Umfeld-Netzwerk eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells zu minimieren. Herr Dolgov, ist das in Bezug auf die Adaptierung zu dem externen Umfeldmodell so richtig?
-
Gemäß einem Aspekt wird vorgeschlagen, dass in einem Schritt eine Sequenz von Repräsentationen eines internen Umfeldmodells des Umfelds, die auf Daten von Onboard-Sensorsystemen der mobilen Plattform basieren, bereitgestellt werden. Zusätzlich oder alternativ wird in einem weiteren Schritt eine Sequenz von Repräsentationen eines externen Umfeldmodells des Umfelds bereitgestellt, die auf Daten der externen Sensorsysteme basieren. In einem weiteren Schritt wird die Sequenz von Repräsentationen eines internen Umfeldmodells des Umfelds und/oder die Sequenz von Repräsentationen des externen Umfeldmodells des Umfelds dem neuronalen Umfeld-Netzwerk als Eingangssignal bereitgestellt. In einem weiteren Schritt wird das jeweilige Objekt-angereicherte Umfeldmodell mit dem neuronalen Umfeld-Netzwerk generiert. In einem weiteren Schritt wird zumindest eine Abweichung des jeweiligen, mit dem neuronalen Umfeld-Netzwerk generierten, Objekt-angereicherten Umfeldmodell von der jeweiligen bereitgestellten Sequenz der Repräsentationen des externen Umfeldmodells bestimmt. In einem weiteren Schritt wird zumindest einem fünften Teil der Trainings-Zyklen das neuronale Umfeld-Netzwerk adaptiert, um bei einem Generieren des Objekt-angereicherten Umfeldmodells durch das neuronale Umfeld-Netzwerk eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Sequenz der Repräsentationen des externen Umfeldmodells zu minimieren.
-
Vorteilhafterweise kann mit diesem Aspekt des Verfahrens eine Performance des Objekt-angereicherten Umfeldmodells verbessert werden, wenn Sequenzen von Repräsentation des internen Umfeldmodellen des und/oder Sequenzen von Repräsentation des externen Umfeldmodells berücksichtigt werden. Beispielsweise können, wie schon oben dargestellt wurde, zwei vergangene Repräsentation im zeitlichen Abstand von 200ms in der Sequenz verwendet werden.
-
Mit anderen Worten, kann nicht nur eine aktuelle Repräsentation eines internen Umfeldmodells als Eingangssignal für das neuronale Umfeld-Netzwerk verwendet werden, sondern eine Sequenz von vorhergehenden, insbesondere transformierten, Repräsentationen des internen Umfeldmodells kann, z.B. mittels eines neuronalen Umfeld-Netzwerks, basierend auf einem rückgekoppelten neuronalen Netzwerk, verwendet werden. Dabei kann eine solche Sequenz von vorhergehenden Repräsentation des internen Umfeldsmodells in aggregierter Form dem neuronalen Umfeld-Netzwerk bereitgestellt werden. Zusätzlich oder alternativ kann das neuronale Umfeld-Netzwerk eingerichtet sein und trainiert sein, eine Sequenz von Objekt-angereicherten Umfeldmodellen auszugeben.
-
Insbesondere kann durch die Berücksichtigung von Sequenzen vorhergehender Repräsentation des internen Umfeldmodells eine verbesserte Performanz eines Plannings von Trajektorien, insbesondere mittels eines neuronalen Planner-Netzwerks, mit Objekt-angereicherten Umfeldmodellen erreicht werden. Beispielsweise können zwei vorhergehende Repräsentationen des internen Umfeldmodells in einem zeitlichen Abstand von 200 ms dafür bereitgestellt werden.
Dazu können Objekt-angereicherte Umfeldmodelle zum aktuellen Zeitpunkt und zu den jeweiligen vorhergehenden Zeitpunkten, beispielsweise in einer Grid-Repräsentation der von den Onboard-Sensorsystemen detektierten Objekte und angereicherten Objekte, dem neuronalen Planner-Netzwerk bereitgestellt werden. Die zu vorhergehenden Zeitpunkten bestimmten Objekt-angereicherten Umfeldmodelle werden dazu, beispielsweise basierend auf einer Pose eines Objektes, wie zum Beispiel eines Fahrzeugs, zum jetzigen Zeitpunkt und der Pose des Objektes zum jeweiligen vergangenen Zeitpunkt, in die Grid-Repräsentation des aktuellen Zeitpunkts transformiert.
Insbesondere kann dem neuronalen Planning-Netzwerk eine Grid-Repräsentation bereitgestellt werden, in dem ein jeweiliges Ego-Fahrzeug zu einem aktuellen Zeitpunkt dargestellt ist. Weiterhin kann dem neuronalen Planning-Netzwerk jeweils eine Grid-Repräsentation bereitgestellt werden, in der das Umfeldmodell zum aktuellen Zeitpunkt und zu den vorhergehenden Zeitpunkten, deren Objekte in das aktuelle Koordinatensystem transformiert wurden, dargestellt ist. Darüber hinaus kann dem neuronalen Planning-Netzwerk eine Grid-Repräsentation bereitgestellt werden, in dem Spurmarkierungen im Koordinatensystem der Grid-Repräsentation zum aktuellen Zeitpunkt dargestellt sind. Insbesondere können die Umfeldmodelle, die zu einem vorhergehenden Zeitpunkt bestimmt wurden, auf eine Darstellung von beweglichen Objekten, wie beispielsweise Fahrzeugen, inklusive der angereicherten Objekte, beschränkt werden.
-
Entsprechend diesem Aspekt wird das Verfahren nicht nur einzelbildbasiert ausgeführt, sondern mittels einer sequenzbasierten Betrachtung wird auch eine zeitliche Veränderung der Objekte für die Bestimmung des Objekt-angereicherten Umfeld Modells ausgewertet. Das neuronale Umfeld-Netzwerk kann dann beispielsweise auf einem Recurrent Neural Network basieren.
Die entsprechenden Repräsentationen können dann in mehreren Schichten des Eingangssensors abgebildet werden, um sie als Eingangsgröße für das neuronale Umfeld-Netzwerk bereitzustellen. Dabei kann die Anzahl der verwendeten Zeitpunkte der Sequenz, von der Aufnahmefrequenz des jeweiligen Sensorsystems abhängig gemacht werden und eine bestimmte Zeitdauer überstreichen. Eine typische Zeitdauer kann dabei im Bereich von 1 Sekunde bis 2 Sekunden liegen.
-
Ein rückgekoppeltes neuronales Netz (engl. Recurrent Neural Network, RNN) ist ein neuronales Netz, das im Gegensatz zu den Feed-Forward Netzen auch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht besitzen. Diese Struktur eignet sich dabei besonders, um zeitlich kodierte Informationen in den Daten zu entdecken.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der erste Teil der Vielzahl der Trainingszyklen und/oder der zweite Teil der Vielzahl der Trainingszyklen und/oder der dritte Teil der Vielzahl der Trainingszyklen und/oder der vierte Teil der Vielzahl der Trainingszyklen und/oder der fünfte Teil der Vielzahl der Trainingszyklen die gleichen Trainingszyklen umfasst.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Umfeld-Netzwerk eingerichtet ist, eine Sequenz von Objekt-angereicherten Umfeldmodellen zu generieren.
-
Es wird ein Verfahren zum Bestimmen eines Objekt-angereicherten Umfeldmodells eines Umfelds einer mobilen Plattform mit den folgenden Schritten vorgeschlagen:
- In einem Schritt werden Daten von Onboard-Sensorsystemen der mobilen Plattform bereitgestellt. In einem weiteren Schritt wird eine Repräsentation eines internen Umfeldmodells des Umfelds, das auf Daten von Onboard-Sensorsystemen der mobilen Plattform basiert, generiert. In einem weiteren Schritt wird die Repräsentation des internen Umfeldmodells als Eingangssignal eines trainierten neuronalen Umfeld-Netzwerks bereitgestellt, wobei das trainierte neuronale Umfeld-Netzwerk gemäß einem der oben beschriebenen Verfahren trainiert, und insbesondere konfiguriert,
- wurde. In einem weiteren Schritt wird das jeweilige Objekt-angereicherten Umfeldmodell mit dem trainierten neuronalen Umfeld-Netzwerk, zum Erweitern der Repräsentation des internen Umfeldmodells in Bezug auf zumindest ein Objekt des Umfelds der mobilen Plattform, generiert.
-
Mit anderen Worten wird das Objekt-angereicherte Umfeldmodell generiert, indem mittels Repräsentation des internen Umfeldmodells des Umfelds, das auf Daten von Onboard-Sensorsystemen basiert, ein Umfeldmodell erstellt wird, das gegenüber einem Umfeldmodell, das aus der Sicht eines Ego-Fahrzeugs, d. h. aus Sicht der mobilen Plattform, ausgerüstet mit einem Onboard-Sensorsystem, um zumindest ein Objekt erweitert ist, das von dem Onboard-Sensorsystem der mobilen Plattform nicht erfasst wurde, bzw. nicht erfasst werden konnte.
-
Es wird eine Vorrichtung zur Datenverarbeitung vorgeschlagen, um ein Objekt-angereichertes Umfeldmodell eines Umfelds einer mobilen Plattform zu bestimmen, die einen Eingang zum Bereitstellen einer Repräsentation des internen Umfeldmodells hat, wobei die Repräsentation des internen Umfeldmodells auf Daten von Onboard-Sensorsystemen der mobilen Plattform basiert. Weiterhin hat die Vorrichtung eine Recheneinheit und/oder ein System-on-Chip, wobei die Recheneinheit und/oder das System-on-Chip eingerichtet, und insbesondere konfiguriert, ist, eines der oben beschriebenen Verfahren zum Bestimmen eines Objekt-angereicherten Umfeldmodells durchzuführen. Weiterhin hat die Vorrichtung einen Ausgang zur Bereitstellung des Objekt-angereicherten Umfeldmodells. Mit einer solchen Vorrichtung kann das entsprechende Verfahren, zum Bestimmen eines Objekt-angereicherten Umfeldmodells, leicht in unterschiedliche Systeme integriert werden.
-
Es wird ein Steuergerät zur Verwendung in einem Fahrzeug vorgeschlagen, das eine oben beschriebene Vorrichtung zur Datenverarbeitung aufweist. Mit einem solchen Steuergerät kann das oben beschriebene Verfahren, zum Bestimmen eines Objekt-angereicherten Umfeldmodells, leicht in unterschiedliche Systeme integriert werden
-
Es wird eine mobile Plattform, insbesondere ein zumindest teilautomatisiertes Fahrzeug, vorgeschlagen, das ein oben beschriebenes Steuergerät aufweist.
-
Es wird eine Verwendung einer oben beschriebenen Vorrichtung zum Generieren eines Objekt-angereicherten Umfeldmodells eines Umfelds einer mobilen Plattform vorgeschlagen.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass das neuronale Umfeld-Netzwerk ein Feed-Forward-Netzwerk und/oder ein rekurrentes Netzwerk
und/oder ein neuronales-Faltungs-Netzwerk und/oder ein mehrschichtiges Netzwerk ist.
Das Verfahren kann also vorteilhafterweise auf eine Vielzahl von Typen von neuronalen Netzen angewendet werden, bzw. kann ein Typ eines geeigneten neuronales Netzes für das jeweilige Verfahren ausgewählt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Umfeld-Netzwerk eine Mehrzahl von Netzwerkschichten aufweist und die Netzwerkschichten zumindest eine fully connected Schicht und/oder zumindest eine recurrente Schicht und/oder zumindest eine Faltungsschicht aufweist.
-
Gemäß einem weiteren Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren, zum Bestimmen eines Objekt-angereicherten Umfeldmodells, auszuführen, wenn dem Computer die jeweiligen Eingangssignale bereitgestellt werden. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
-
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in den 1 bis 4 dargestellt und werden im Folgenden näher erläutert. Es zeigt:
- 1 a) Aufsicht auf ein Umfeld mit einer Verkehrssituation;
- b) Modell eines Umfeldes der Verkehrssituation;
- 2 skizziert ein Verfahren zum Trainieren eines neuronalen Umfeld-Netzwerks;
- 3 skizziert ein Verfahren zum Trainieren eines neuronalen Umfeld-Head-Netzwerk; und
- 4 skizziert ein Verfahren zum Trainieren eines neuronalen Umfeld-Netzwerks zusammen mit einem neuronalen Planning-Netzwerk.
-
Die 1a skizziert schematisch eine Aufsicht auf ein Umfeld 120 einer mobilen Plattform mit einer vollständigen Darstellung einer Verkehrssituation, entsprechend einer Aufsicht, beispielsweise aus einer Drohnenperspektive. Dies stellt eine Repräsentation eines externen Umfeldmodells dar. Ein Ego-Fahrzeug 100 nähert sich an einen Lieferwagen von hinten an, welcher in zweiter Reihe parkt. Der Vorausfahrer 102 des Ego-Fahrzeugs 100 schert aus, um über die Entgegenkommerspur der Fahrbahn 106 auf einer Trajektorie 104 den Lieferwagen als Hindernis zu umfahren, und kehrt nicht unmittelbar hinter dem Lieferwagen in die eigene Spur wieder zurück, da dort weitere Fahrzeuge 110 abgestellt sind.
-
Die 1b skizziert schematisch ein internes Umfeldmodell des Umfelds 130, aus dem die Ursache für das späte Wiedereinscheren des Vorausfahrers 102, aufgrund von Verdeckungen aus der Perspektive des Ego-Fahrzeug 100, nicht ersichtlich ist.
-
Die 2 skizziert ein Flussdiagramm des Verfahrens zum Trainieren eines neuronalen Umfeld-Netzwerks 210 zum Bestimmen eines Objekt-angereicherten Umfeldmodells eines Umfelds einer mobilen Plattform. Dabei ist das jeweilige Objekt-angereicherte Umfeldmodell das Ausgangssignal des neuronalen Umfeld-Netzwerks 210 in dem jeweiligen Trainingsschritt.
Das Training wird mit einer Vielzahl von Trainings-Zyklen durchgeführt bis ein Loss 220, der eine Abweichung des jeweiligen generierten Objekt-angereicherten Umfeldmodells von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells 120 angibt, ausreichend klein ist.
-
In jedem Trainings-Zyklus werden die folgenden Schritte durchlaufen:
- - es wird dem Verfahren eine Repräsentation eines internen Umfeldmodells des Umfelds 130 bereitgestellt, das auf Daten von Onboard-Sensorsystemen der mobilen Plattform basiert.
- - es wird dem Verfahren eine Repräsentation eines externen Umfeldmodells des Umfelds 120, das auf Daten von externen Sensorsystemen basiert bereitgestellt.
- - es wird die Repräsentation des internen Umfeldmodells 130 dem neuronalen Umfeld-Netzwerk 210 als Eingangssignal bereitgestellt.
- - es wird das jeweilige Objekt-angereicherte Umfeldmodell mit dem neuronalen Umfeld-Netzwerk 210 generiert.
- - es wird zumindest eine Abweichung 220 des jeweiligen, mit dem neuronalen Umfeld-Netzwerk generierten, Objekt-angereicherten Umfeldmodell von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells bestimmt.
- - es wird bei zumindest einem ersten Teil der Trainings-Zyklen das neuronalen Umfeld-Netzwerk 210 adaptiert, um bei einem Generieren des Objekt-angereicherten Umfeldmodells durch das neuronale Umfeld-Netzwerk 210 eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells 120 zu minimieren 230.
-
Mit anderen Worten bildet die Repräsentation des externen Umfeldsmodells 120 ein Label zum Trainieren des neuronalen Umfeld-Netzwerks 210.
-
Das Verfahren zum Trainieren des neuronalen Umfeld-Netzwerks kann dabei auch Sequenzen von vorherigen Repräsentationen von internen Umfeldmodellen als Input und/oder Sequenzen von Repräsentationen von externen Umfeldmodellen als Label verwenden. Dabei kann das neuronale Umfeld-Netzwerk eingerichtet sein, Sequenzen von Objekt-angereicherten Umfeldmodellen zu generieren.
-
Die in der 2 skizzierten funktionalen Blöcke 202, 204, 206 können dabei das Format der an den jeweiligen funktionalen Blöcke 202, 204, 206 als Eingangsdaten anliegenden Signale für die nächste funktionale Einheit, wie sie oben beschrieben ist, wie beispielsweise eine Generierung eines Grids, anpassen.
-
Beispielsweise kann eine Objektliste, wie sie von einem Perception-Modul des ego-Fahrzeugs als Repräsentation eines internen Umfeldmodells 130 und/oder als Repräsentation eines externen Umfeldmodells 120 bereitgestellt wird, für die Verarbeitung in einem Faltungs-Netzwerk/Backbone (CNN) in einen Grid-Tensor umgewandelt werden.
Dazu können Objekte, und insbesondere ihre vorhergehenden Positionen, in Bildkanälen abhängig von ihrer Semantik eingezeichnet werden.
-
Dies kann durch Farbdarstellungen charakterisiert werden, in denen bspw. das Ego-Fahrzeug 100 in einer anderen Farbe als andere Fahrzeuge dargestellt werden und insbesondere können zeitlich vorherige Positionen von Objekten bzw. Fahrzeugen mit zunehmender Transparenz eingezeichnet werden, je weiter die entsprechende vorherige Position in der Vergangenheit liegt. Alternativ oder zusätzlich, kann in einer anderen Darstellung das Ego-Fahrzeug 100 in einem anderen Kanal eines Grid-Tensor dargestellt werden, als andere Fahrzeuge und zusätzlich können in zusätzlichen Kanälen Spurmarkierungen und ähnliche, die Umgebung charakterisierende, Objekte, usw. dargestellt werden.
-
Die 3 skizziert ein Flussdiagramm des Verfahrens zum Trainieren eines neuronalen Umfeld-Netzwerks, wobei das neuronale Umfeld-Netzwerk ein neuronales Backbone-Netzwerk 310 und ein neuronales Umfeld-Head-Netzwerk 312 umfasst. Dabei wird das jeweilige Objekt-angereicherte Umfeldmodell basierend auf dem Umfeld-Head-Netzwerk 312 generiert, während ein zusätzliches neuronales Planning-Head-Netzwerk 314 trainiert wird, eine Trajektorie der mobilen Plattform, bzw. des Ego-Fahrzeugs, zu schätzen. Dabei wird ein Ausgangssignal des neuronalen Backbone-Netzwerks 310 sowohl für das Umfeld-Head-Netzwerk 312 als auch für das Planning-Head-Netzwerk 314 als Eingangssignal verwendet.
-
D. h., dass, ergänzend zu den Verfahrensschritten, die zu der 2 beschrieben wurden, das neuronale Backbone-Netzwerk 310 einen Ausgangstensor generiert, der dem Umfeld-Head-Netzwerk 312 bereitgestellt wird, um das Objekt-angereicherte Umfeldmodell zu generieren und der Ausgangstensor dem neuronalen Planning-Head-Netzwerk 314 zum Generieren einer geschätzten Trajektorie für die mobile Plattform bereitgestellt wird.
In zumindest einem dritten Teil der Vielzahl der Trainingszyklen, wird das neuronale Planning-Head-Netzwerk 314 und/oder das neuronale Umfeld-Head-Netzwerk 312 und/oder das neuronale Backbone-Netzwerk 310 adaptiert 330a, 330b, um beim Generieren einer geschätzten Trajektorie durch das neuronale Planning-Head-Netzwerk 114 eine Abweichung der geschätzten Trajektorie von einer bereitgestellten Trajektorie und/oder eine Abweichung des generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells 120 zu minimieren.
-
Für das Adaptieren 330a, 330b der jeweiligen neuronalen Netzwerke wird das Training mit einer Vielzahl von Trainings-Zyklen durchgeführt bis ein Auxiliary Loss 320, der eine Abweichung des jeweiligen generierten Objekt-angereicherten Umfeldmodells von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells 120 angibt, ausreichend klein ist und/oder ein Planning-Loss 322, der eine Abweichung der jeweiligen geschätzten Trajektorie von der bereitgestellten Trajektorie angibt, ausreichend klein ist.
-
Die in der 3 skizzierten funktionalen Blöcke 302, 304, 306, 308 können dabei das Format der an den jeweiligen funktionalen Blöcke 302, 304, 306, 308 als Eingangsdaten anliegenden Signale für die nächste funktionale Einheit, wie schon oben beschrieben ist, anpassen.
-
Die 4 skizziert ein Flussdiagramm des Verfahrens zum Trainieren eines neuronalen Umfeld-Netzwerks 410, bei dem zusätzlich ein neuronales Planning-Netzwerk 412 trainiert wird, eine Trajektorie zu schätzen. Dabei wird das von dem neuronalen Umfeld-Netzwerk für 110 generierte Objekt-angereicherte Umfeld Modell dem Planning-Netzwerk 412 als Eingangssignal bereitgestellt.
-
D. h., dass, ergänzend zu den Verfahrensschritten die zu der 2 beschrieben wurden, bei zumindest einem zweiten Teil der Vielzahl von Trainings-Zyklen:
- - das Objekt-angereicherte Umfeldmodell des neuronalen Umfeld-Netzwerks 410 dem neuronalen Planning-Netzwerk 412 bereitgestellt wird, und
- - das neuronale Planning-Netzwerk 412 und/oder das neuronale Umfeld-Netzwerk 410 adaptiert wird 330a, 330b, um beim Generieren einer geschätzten Trajektorie durch das neuronale Planning-Netzwerk 412 eine Abweichung der geschätzten Trajektorie der mobilen Plattform von einer bereitgestellten Trajektorie der mobilen Plattform zu minimieren und/oder eine Abweichung des von dem neuronalen Umfeld-Netzwerk 410 generierten Objekt-angereicherten Umfeldmodells von der bereitgestellten Repräsentation des externen Umfeldmodells 120 zu minimieren.
-
Für das Adaptieren 330a, 330b der jeweiligen neuronalen Netzwerke wird das Training mit einer Vielzahl von Trainings-Zyklen durchgeführt bis ein Auxiliary Loss 420, der eine Abweichung des jeweiligen generierten Objekt-angereicherten Umfeldmodells von der jeweiligen bereitgestellten Repräsentation des externen Umfeldmodells 120 angibt, ausreichend klein ist und/oder ein Planning-Loss 422, der eine Abweichung der jeweiligen geschätzten Trajektorie von der bereitgestellten Trajektorie angibt, ausreichend klein ist.
-
Die in der 4 skizzierten funktionalen Blöcke 402, 404, 406 können dabei das Format der an den jeweiligen funktionalen Blöcke 402, 404, 406 als Eingangsdaten anliegenden Signale für die nächste funktionale Einheit, wie schon oben beschrieben ist, anpassen.
