DE102021202080A1

DE102021202080A1 - Computerimplementiertes Verfahren und Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene, computerimplementiertes Verfahren und Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene und Steuerungssystem für ein automatisiertes Fahrsystem zur Trajektorienplanung

Info

Publication number: DE102021202080A1
Application number: DE102021202080.1A
Authority: DE
Inventors: Yue Yao; Elam Parithi Balasubramanian
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2021-03-04
Filing date: 2021-03-04
Publication date: 2022-09-08

Abstract

Computerimplementiertes Verfahren zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene umfassend die Schritte Bereitstellen eines Trainingsdatensatz (T) (V1) und Trainieren eines künstlichen neuronalen Netzwerks (NN) mit dem Trainingsdatensatz (T) (V2), wobei zu gleichen Zeitstempeln (t1, t2, ..., tm) für jede der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) ein Vorhersagefehler bestimmt wird basierend auf einem Vergleich mit Referenzdaten und das künstliche neuronale Netzwerk (NN) lernt, zu jedem Zeitstempel, in Abhängigkeit der Daten (I) des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung (Ot1, Ot2, ..., Otm) mit geringstem Vorhersagefehler auszuwählen,

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren und ein Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Ferner betrifft die Erfindung ein computerimplementiertes Verfahren und ein Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Außerdem betrifft die Erfindung ein Steuerungssystem für ein automatisiertes Fahrsystem zur Trajektorienplanung.
Der Beitrag DIETMAYER, K.: Prädiktion von maschineller Wahrnehmungsleistung beim automatisierten Fahren., in MAURER M et al. (Hrsg.): Autonomes Fahren. DOI 10.1007/978-3-662-45854-9_20 offenbart eine Grobstruktur der Informationsverarbeitung bei der automatisierten Führung von Fahrsystemen. Ein Wahrnehmungsmodul, auch Perzeptionsmodul oder SEE-Modul genannt, erzeugt basierend auf einer sensoriellen Wahrnehmung eines Umfeldes ein Umfeldmodell, in dem das Ego-Fahrsystem und andere Verkehrsteilnehmer durch Bewegungsmodelle und Infrastrukturelemente repräsentiert sind, und berechnet ein maschinelles Szenenverständnis. Darauf aufbauend berechnet ein Vorhersagemodul, auch Prädiktionsmodul genannt, verschiedene zeitliche Entwicklungen einer Verkehrsszene. Das Vorhersagemodul kann auch ein Teil des SEE-Moduls sein. Darauf aufbauend ermittelt ein Handlungsplanungsmodul, auch THINK-Modul genannt, Fahrmanöver umfassend Umfahren eines Objekts und/oder Überholen eines Objektes umfassend Trajektorien zum Ausführen der geplanten Fahrmanöver. Die Trajektorien sind in der Regel in einem typischen Zeithorizont von wenigen Sekunden vorausberechnet und gegebenenfalls mit Komfort bewertet. Das Vorhersagemodul kann auch ein Teil des Think-Moduls sein. Die nach vorgegebenen Kriterien optimale Trajektorie wird von einem Steuerungsmodul, auch ACT-Modul genannt, ausgeführt. Wahrnehmungsmodul, Vorhersagemodul, Handlungsplanungsmodul und Steuerungsmodul des beanspruchten Gegenstandes erfüllen die genannten Funktionen.
Um beim automatisierten Fahren eine erfolgreiche Fahrentscheidung treffen zu können, ist die Genauigkeit der Vorhersage einer zeitlichen Entwicklung einer Verkehrsszene, beispielsweise der Objektbewegung, in den nächsten Sekunden von großer Bedeutung.
Im bekannten Stand der Technik ist es schwierig, mit nur einem Vorhersagealgorithmus alle Situationen abzudecken, da es verschiedene Faktoren gibt, die die Bewegung eines Objekts beeinflussen können. Ferner ist nur ein Vorhersagealgorithmus nicht redundant. Die parallele Verwendung verschiedener Vorhersagealgorithmen könnte die Vorteile der Algorithmen in verschiedenen Szenarien kombinieren. Die Entscheidung über das endgültige Vorhersageergebnis ist jedoch die nächste Herausforderung.
Wenn mehrere Vorhersageansätze parallel verwendet werden, dann sollte jede Vorhersage vom Handlungsplanungsmodul in einem automatisierten Fahrsystem analysiert werden, was den Handlungsplanungsalgorithmus überfordert.
Aufgabe der Erfindung war es, wie Vorhersageergebnisse ausgewählt werden können, um sichere Trajektorien zu bestimmen und auszuführen.
Die Gegenstände der unabhängigen oder nebengeordneten Ansprüche lösen jeweils diese Aufgabe.
Nach einem Aspekt wird ein computerimplementiertes Verfahren bereitgestellt zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Das Verfahren umfasst die Schritte

• Bereitstellen
- ◯ von Daten wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts;
- ◯ von parallelen Zeitreihen, die durch Prozessieren der Daten des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallele Entwicklungen der Verkehrsszene mit jeweiligen Zeitstempeln,
als Trainingsdatensatz;
• Trainieren eines künstlichen neuronalen Netzwerks mit dem Trainingsdatensatz, wobei
- ◯ zu gleichen Zeitstempeln für jede der vorausberechneten zeitlich parallelen Entwicklungen ein Vorhersagefehler bestimmt wird basierend auf einem Vergleich mit Referenzdaten;
- ◯ das künstliche neuronale Netzwerk lernt, zu jedem Zeitstempel, in Abhängigkeit der Daten des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung mit geringstem Vorhersagefehler auszuwählen,

Dieses Verfahren ist ein Trainingsverfahren.
Nach einem weiteren Aspekt wird ein Computerprogramm bereitgestellt zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Das Computerprogramm umfasst Befehle, die bewirken, dass ein Hardwaremodul umfassend Hardware Beschleuniger, die Matrizen- und/oder Tensoroperationen optimieren, das beanspruchte Verfahren zum maschinellen Lernen der Auswahl ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.
Mit diesem Computerprogramm wird ein Maschinenlernalgorithmus trainiert.
Nach einem weiteren Aspekt wird ein computerimplementiertes Verfahren bereitgestellt zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene, wobei

• Daten wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts und
• parallele Zeitreihen, die durch Prozessieren der Daten des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallel Entwicklungen der Verkehrsszene mit jeweiligen Zeitstempeln, wobei das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen ausführt und die Vorhersagealgorithmen parallele Zeitreihen ausgeben, wobei jeder der Vorhersagealgorithmen eine der vorausberechneten zeitlich parallelen Entwicklungen der Verkehrsszene ausgibt; oder
• parallele Zeitreihen, die durch Prozessieren der Daten des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus ausführt, erhalten wurden oder werden,

• das künstliche neuronale Netzwerk zu jedem Zeitstempel die beste von den Vorhersagemodulen vorausberechneten zeitlichen Entwicklungen auswählt;
• die ausgewählten vorausberechneten zeitlichen Entwicklungen einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung.

Dieses Verfahren setzt einen bereits trainierten Maschinenlernalgorithmus ein.
Nach einem weiteren Aspekt wird ein Computerprogramm bereitgestellt zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Das Computerprogramm umfasst Befehle, die bewirken, dass ein Hardwaremodul das beanspruchte Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.
Mit diesem Computerprogramm wird ein trainierter Maschinenlernalgorithmus ausgeführt.
Nach einem weiteren Aspekt wird Steuerungssystem bereitgestellt für ein automatisiertes Fahrsystem zur Trajektorienplanung. Das Steuerungssystem umfasst

• ein Hardwaremodul, das ausgeführt ist, das beanspruchte Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen durchzuführen und ausgewählte vorausberechnete zeitliche Entwicklungen einer Verkehrsszene an ein Handlungsplanungsmodul auszugeben;
• das Handlungsplanungsmodul, das ausgeführt ist, Fahrmanöver basierend auf den ausgewählten vorausberechneten zeitlichen Entwicklungen umfassend Umfahren eines Objekts und/oder Überholen eines Objektes zu planen umfassend Trajektorien zum Ausführen der Pläne;
• ein Steuerungsmodul, das ausgeführt ist, Regelungs- und/oder Steuerungssignale an eine Aktuatorik des Fahrsystems auszugeben zum Ausführen einer der geplanten Trajektorien.

Bei mehreren Vorhersagemethoden gibt es für jedes Objekt mehrere Vorhersagen zu jedem Zeitstempel, was den Rechenaufwand für das Handlungsplanungsmodul erhöht. Die manuelle Auswahl der besten Vorhersage aus mehreren Vorhersagen und die Abstimmung der Parameter ist jedoch sehr zeitaufwändig. Das besondere technische Merkmal der Erfindung ist, dass basierend auf mehreren Vorhersagen zu jedem Zeitstempel eine einzelne beste Vorhersage ausgewählt und einem Handlungsplanungsmodul bereitgestellt wird zur Trajektorienplanung und deren Ausführung. Der erhaltene Maschinenlernalgorithmus wählt das Vorhersageergebnis basierend auf impliziten Informationen und Kriterien aus, die der Algorithmus selbst extrahiert und lernt. Durch den Maschinenlernalgorithmus werden sichere Trajektorien erhalten bei reduziertem Arbeitsaufwand für die Datenanalyse und die Parameterabstimmung.
Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
Die einzelnen Module sind als Software oder Hardware oder als eine Kombination aus Software und Hardware realisiert. Die jeweilige Funktion ist in Software-Programmbefehlen oder in einer Hardwarebeschreibungssprache ausgedrückt.
Beispielsweise umfasst das Wahrnehmungs-, Vorhersage-, Handlungsplanungs- und/oder Steuerungsmodul jeweils einen eigenen oder insgesamt einen gemeinsamen integrierten Schaltkreis. Nach einem Aspekt sind das Wahrnehmungs-, Vorhersage-, Handlungsplanungs- und Steuerungsmodul in einem System-on-Chip integriert.
Nach einem Aspekt der Erfindung umfasst der integrierte Schaltkreis neuromorphe Hardwarekomponenten, beispielsweise neuromorphe Mikrochips. Neuromorphe Chips weisen eine hohe Interkonnektivität und mehrere Rückkopplungen auf. Neuromorphe Chips haben im Gegensatz zu Von-Neumann-Architekturen den Vorteil, dass Daten nicht gespeichert, sondern gelernt und gegebenenfalls vergessen werden.
Nach einem weiteren Aspekt der Erfindung umfasst der integrierte Schaltkreis ein Multiprozessor-System-on-Chip umfassend Zentralprozessoren, auf Graphikprozessoren basierende Hardwarebeschleuniger und Speichereinheiten.
In der Speichereinheit sind Software-Programmbefehle gespeichert. Der Schaltkreis führt die Funktionen aus durch Prozessieren der Software-Programmbefehle. Die Software-Programmbefehle umfassen Assemblersprache, Quelltext oder Objektcode geschrieben in einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C; dies trifft auch auf die beanspruchten Computerprogramme zu.
Nach einem weiteren Aspekt umfasst ein Modul eine programmierbare Anordnung, in die eine logische Schaltung ladbar ist. Die jeweilige Funktion wird dadurch realisiert, dass eine Schaltungsstruktur, durch die die Funktion ausführbar ist, in einer Hardwarebeschreibungssprache formuliert ist. Beispielsweise umfasst ein Modul einen Field Programmable Gate Array Schaltkreis.
Das Wahrnehmungsmodul ist beispielsweise ein Kamera-, Radar- oder Lidarlesemodul, das Kamera-, Radar- oder Lidarrohdaten einliest. Die Module führen Algorithmen beispielsweise zur Spurerkennung, Objekterkennung und zur Bestimmung einer Bewegung des Fahrsystems mittels visueller Odometrie aus. Beispielsweise wird eine Objektgeschwindigkeit mit x- und y- Komponente und eine Bewegungsrichtung des Objekts bestimmt. Die Algorithmen, die diese Module ausführen, sind nach einem Aspekt datengetriebene Algorithmen, beispielsweise Maschinenlernalgorithmen umfassend semantische Klassifizierungsalgorithmen, beispielsweise iterative closest point Algorithmen. Ein weiteres Beispiel ist ein Kartenlokalisationsmodul, das eine gegebene hochauflösende Karte des Umfeldes, auch high definition map, nutzt, um die absolute Position des Fahrsystems zu bestimmen durch Vergleich von beispielsweise Abtastungen der Strahlensensoren wie Radar und/oder Lidar mit der Karte.
Die Daten des Wahrnehmungsmoduls werden beispielsweise während Testfahrten mit Testfahrsystemen, die Umfelderfassungssensoren, beispielsweise Kamera, Lidar und Radar, und ein Wahrnehmungsmodul, das Rohdaten der Umfelderfassungssensoren auswertet, eingefahren. Nach einem Aspekt werden die Daten des Wahrnehmungsmoduls mittels Sensormodellen simuliert. Die Referenzdaten sind Daten eines Referenzsystems als ground truth, beispielsweise Daten eines hochauflösenden Lidars.
Die hochauflösende Karte wird beispielsweise über Funkschnittstellen zu einem Cloud-basierten Kartendienstanbieter erhalten. Ein weiteres Beispiel ist ein GPS Lesemodul, das rohe Positionsdaten einliest und diese Informationen einem GPS Datenverarbeitungsmodul als weiteres Wahrnehmungsmodul bereitstellt. Das GPS Datenverarbeitungsmodul schätzt beispielsweise die absolute Pose des Fahrsystems.
Die Vorhersagemodule prädizieren Zustände, beispielsweise mittels Bayes-Schätzung, Kalman-Filtern oder Markov-Ketten.
Eine Zeitreihe ist eine zeitlich geordnete diskrete Folge von Beobachtungen einer bestimmten Größe. Zeitstempel bezeichnen die einzelnen Beobachtungszeitpunkte, wobei nach einem Aspekt für jeden Zeitstempel genau eine Beobachtung vorliegt. Beispielsweise klassifiziert das Wahrnehmungsmodul ein vorausfahrendes Fahrsystem. Die Zeitreihe ist dann eine zeitlich diskrete Folge von Beobachtungen dieses Fahrsystems. Parallele Zeitreihen sind mehrere Zeitreihen mit gleichen Zeitstempeln. Beispielsweise liegt bei einer ersten Zeitreihe und einer zweiten, zu der ersten parallelen Zeitreihe zu einem ersten Zeitstempel eine erste Beobachtung aus der ersten Zeitreihe und eine erste Beobachtung aus der zweiten Zeitreihe vor; zu einem i-ten Zeitstempel eine i-te Beobachtung aus der ersten Zeitreihe und eine i-te Beobachtung aus der zweiten Zeitreihe.
Nach einem Aspekt wird aus einem zeitkontinuierlichen Messsignal oder der kontinuierlichen Aufzeichnung eines Messsignals eine Zeitreihe durch eine diskrete Abtastung erhalten.
Dadurch, dass das künstliche neuronale Netzwerk in Abhängigkeit der Daten des Wahrnehmungsmoduls lernt, die beste Vorhersage auszuwählen, kann im trainierten Fall das Vorhersageergebnis auf der Grundlage selbst extrahierter und/oder gelernter impliziter Informationen und Kriterien aus den Daten des Wahrnehmungsmoduls ausgewählt werden.
Ein automatisierte Fahrsystem umfasst Hardwarekomponenten, beispielsweise Umfelderfassungssensoren, beispielsweise bildgebende Sensoren wie Kamera, Strahlensensoren wie Radar und/oder Lidar, Mikrofone, Geruchssensoren, inertiale Messeinheiten, Positionssensoren, Steuergeräte, Aktuatoren, Antriebs- und Fahrwerkskomponenten, und Softwarekomponenten, beispielsweise Software zum Auswerten von Rohdaten der Umfelderfassungssensoren, zum Bestimmen von Umfeldmodellen oder zum Planen einer Trajektorie oder Mission. Ein Automatisierungslevel bestimmt beispielsweise die Norm SAE J3016. Die Erfindung betrifft insbesondere SAE J3016 Level 4 und 5 Systeme, kann aber auch beispielsweise für Level 2 und 3 verwendet werden. Das Fahrsystem ist beispielsweise ein PKW, LKW, Bus, people mover, cargo mover, Personenshuttle, Transportsystem, ein Roboter oder ein Flugobjekt, beispielsweise eine Drohne. Nach einem Aspekt ist das Fahrsystem ein autonomes Straßenfahrsystem.
Die Computerprogramme werden beispielsweise als Hardware unabhängige Anwendungssoftware oder als Firmware eines Steuergeräts für automatisierte Fahrfunktionen oder eines System-on-Chip bereitgestellt. Beispielsweise wird das Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene als Hardware unabhängige Anwendungssoftware bereitgestellt, beispielsweise über einen Cloud-Dienst. Das Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene wird beispielsweis als Firmware bereitgestellt.
Die Hardware Beschleuniger des Hardwaremoduls, das das Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene ausführt, ermöglichen eine relativ schnelle Durchführung des rechenintensiven Trainingsverfahrens. Die Hardware Beschleuniger umfassen nach einem Aspekt der Erfindung neuromorphe Hardwarekomponenten. Nach einem anderen Aspekt der Erfindung umfassen die Hardwarebeschleuniger Graphikprozessoren, auch graphics processing units genannt, oder CUDA-APIs. Graphikprozessoren haben eine Mikroarchitektur zum parallelen Prozessieren von Rechenaufgaben und zum Beschleunigen von Matrix- und Tensoroperationen. Mehrdimensionale Datenfelder sind im Kontext der Erfindung Tensoren. CUDA-APIs sind Compute Unified Device Architecture Application Programming Interfaces. Über CUDA-APIs können Zentralprozessoren, auch central processing units genannt, haben Zentralprozessoren Zugriff auf die Mikroarchitektur von Graphikprozessoren.
Nach einem weiteren Aspekt führt das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen aus und die Vorhersagealgorithmen geben parallele Zeitreihen aus, wobei jeder der Vorhersagealgorithmen eine der vorausberechneten zeitlich parallelen Entwicklungen der Verkehrsszene ausgibt. Alternativ wurden oder werden die parallelen Zeitreihen durch Prozessieren der Daten des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus ausführt, erhalten.
Nach einem weiteren Aspekt werden die Daten des Wahrnehmungsmoduls durch einen Karten basierten Vorhersagealgorithmus prozessiert und eine erste Zeitreihe wird erhalten und die Daten des Wahrnehmungsmoduls werden durch einen Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus zeitlich parallel prozessiert und eine zweite Zeitreihe wird erhalten. Der Karten basierte Vorhersagealgorithmus und der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus laufen zeitlich parallel. Der Karten basierte Vorhersagealgorithmus hat das Wissen über die dynamischen Informationen der Objekte und die Straßengeometrie. Der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus wird von Daten der Umfelderfassungssensoren des Fahrsystems gespeist und sagt die Bewegung von Objekten auf der Grundlage von impliziten Informationen vorher, die der Algorithmus selbst gelernt hat. Der Karten basierte Vorhersagealgorithmus und der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus werden von einem Vorhersagemodul ausgeführt. Alternativ wird der Karten basierte Vorhersagealgorithmus von einem ersten Vorhersagemodul und der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus von einem zweiten Vorhersagemodul ausgeführt.
Nach einem Aspekt der Erfindung ist der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus ein Maschinenlernalgorithmus, beispielsweise ein Deep Learning Algorithmus, der mit real eingefahrenen Sensordaten des Fahrsystems oder mit simulierten Sensordaten trainiert und/oder prozessiert wird. Der Karten basierte Vorhersagealgorithmus kann ein klassischer Algorithmus sein, der Karteninformationen, umfassend Informationen aus High Definition Maps, verarbeitet.
Das erfindungsgemäße Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene wurde in ein autonomes Fahrsystem integriert und getestet. Die durch das Verfahren erhaltenen Ergebnisse wurden jeweils mit einem einzelnen Vorhersagealgorithmus, nämlich dem Karten basierten und dem Daten gesteuerten Algorithmus, verglichen. Die Leistungen der verschiedenen Algorithmen wurden mit zwei Kriterien getestet. Als erstes Kriterium dient der Prozentsatz (%), um das bessere Ergebnis mit weniger Vorhersagefehler unter zwei Vorhersagemethoden zu haben. Das zweite Kriterium ist der mittlere absolute Fehler (MAE) der Bewegungsvorhersage. Das Ergebnis ist in der folgenden Tabelle aufgeführt:

Kriterium Karten basiert Daten gesteuert Erfindung

% 68.77% 31.23% 82.77%

MAE 3.89 m 4.13 m 3.61 m
Die Ergebnisse zeigen, dass der vorgestellte Ansatz die jeweils besten Vorhersagen zu verschiedenen Zeitstempeln auswählen und somit den Vorhersagefehler im Vergleich zu einem einzelnen Vorhersagealgorithmus reduzieren kann.
Nach einem weiteren Aspekt umfassen die die parallelen Zeitreihen vorausberechnete Trajektorien des Objekts. Die Trajektorien werden nach einem Aspekt in einem Zeithorizont von 2 bis 5 Sekunden vorausberechnet. Damit kann die Bewegung von Objekten, beispielsweise von Fremdfahrzeugen, vorteilhaft prädiziert werden.
Nach einem weiteren Aspekt werden Gewichte des künstlichen neuronalen Netzwerks mit einem Backpropagation Algorithmus bestimmt. Alternativ umfasst das künstliche neuronale Netzwerk Rückkopplungen und die Gewichte werden mit einem Backpropagation Through Time Algorithmus bestimmt.
Backpropagation Algorithmus bezeichnet einen Algorithmus für Forward und Backward Speisung eines künstlichen neuronalen Netzwerks, wobei Gradienten basiertes Lernen durch Backpropagation von Fehlern erfolgt.
Bei einem künstlichen neuronalen Netzwerk, das Rückkopplungen umfasst, sind beispielsweise Ausgänge von Neuronen mit Eingängen von wenigstens einem Neuron einer vorhergehenden Schicht verbunden. Zusätzlich oder alternativ zu diesen sogenannten indirekten Rückkopplungen kann das künstliche neuronale Netzwerk direkte Rückkopplung, bei der ein eigener Ausgang eines Neurons als weiterer Eingang genutzt, und/oder seitliche Rückkopplung, bei der ein Ausgang eines Neurons mit einem anderen Neuron derselben Schicht verbunden wird, umfassen. Mittels Rückkopplungen, beispielsweise indirekten Rückkopplungen, lassen sich Zeitreihen vorteilhaft bearbeiten.
Nach einem Aspekt der Erfindung ist das künstliche neuronale Netzwerk ein rekurrentes neuronales Netzwerk. Ein rekurrentes neuronales Netzwerk ist ein rückgekoppeltes neuronales Netzwerk umfassend direkte, indirekte und/oder seitliche Rückkopplungen.
Der Backpropagation Through Time Algorithmus ist beispielsweise in Mozer, Michael. (1995). A Focused Backpropagation Algorithm for Temporal Pattern Recognition. Complex Systems. 3. offenbart und ist ein Gradienten basierter Algorithmus, der ein schnelles Training von künstlichen neuronalen Netzwerken umfassend Rückkopplungen ermöglicht. Beispielsweise werden rekurrente neuronale Netzwerke mittels Backpropagation Through Time trainiert. In PyTorch kann der Backpropagation Through Time Algorithmus durch den Code

 loss = loss_function(predictions, targets)
 loss.backward()
 optimizer.step()

ausgeführt werden.

Das künstliche neuronale Netzwerk, nach einem Aspekt der Erfindung das rekurrente neuronale Netzwerk, kann auf einer für maschinelles Lernen ausgerichteten Open-Source-Programmbibliothek trainiert werden, beispielsweise auf PyTorch oder Keras in der Programmiersprache Python.

Nach einem weiteren Aspekt umfasst das künstliche neuronale Netzwerk mehrere Schichten mit jeweils mehreren Long Short-Term Memory Zellen. Long Short-Term Memory Zellen sind in Sepp Hochreiter, Jürgen Schmidhuber: Long short-term memory In: Neural Computation (journal), vol. 9, issue 8, S. 1735-1780, 1997 offenbart. Künstliche neuronale Netzwerke mit Long Short-Term Memory Zellen werden auch LSTM Netzwerke genannt. Eine Long Short-Term Memory Zelle umfasst

• ein Input Gate, das bestimmt, in welchem Ausmaß ein neuer Wert in die Zelle fließt,
• ein Forget Gate, das bestimmt, in welchem Ausmaß ein Wert in der Zelle verbleibt bzw. vergessen wird und
• ein Output Gate, das bestimmt, in welchem Ausmaß der Wert in der Zelle zur Berechnung für das nächste Modul der Kette verwendet wird.

Durch dynamische Adressierung der Gates erhält die Long Short-Term Memory Zelle ein Gedächtnis, was insbesondere für Zeitreihen und die erfindungsgemäße Auswahl von vorausberechneten zeitlichen Entwicklungen vorteilhaft ist.

Nach einem Aspekt der Erfindung wird das künstliche neuronale Netzwerk umfassend Rückkopplungen, das rekurrente neuronale Netzwerk oder das LSTM Netzwerk auf einer neuromorphen Hardwarekomponente trainiert. Durch die hohe Interkonnektivität und die mehreren Rückkopplungen ist die neuromorphe Hardwarekomponente damit vorteilhafterweise ausgezeichnet, ein künstliches neuronales Netzwerk umfassend Rückkopplungen zu trainieren. Insbesondere können auf einer neuromorphen Hardwarekomponente Long Short-Term Memory Zellen vorteilhaft dynamisch adressiert werden und damit ein Gedächtnis geschaffen werden, was für Zeitreihen und die erfindungsgemäße Auswahl von vorausberechneten zeitlichen Entwicklungen vorteilhaft ist.

Nach einem weiteren Aspekt umfasst das künstliche neuronale Netzwerk vier Schichten mit jeweils 60 Long Short-Term Memory Zellen. Damit ist das künstliche neuronale Netzwerk tiefes neuronales Netzwerk, auch deep neural network genannt. Es wurde erkannt, dass diese Architektur gute Ergebnisse erzielt bei relativ geringem Rechenaufwand für das Training und für den Einsatz des trainierten künstlichen neuronalen Netzwerks. Die Daten des Wahrnehmungsmoduls sind beispielsweise Geschwindigkeitsvektoren mit x-Komponente, y-Komponente und Bewegungsrichtung. In jeder Schicht werden diese 3 Werte durch die 60 Long Short-Term Memory Zellen auf jeweils 60 Werte abgebildet.

Nach einem weiteren Aspekt umfassen die parallelen Zeitreihen wenigstens 50 Zeitstempel und/oder je Trainingsepoche werden wenigstens 100 bis 1000 Trainingsproben des Trainingsdatensatzes durch das künstliche neuronale Netzwerk prozessiert. Es wurde erkannt, dass 50 Zeitstempel des Objekts in der Vergangenheit ausreichend sind, um die bessere Bewegungsvorhersage durch Auswahl aus den Vorhersagen der einzelnen Vorhersagealgorithmen zu erhalten. Beispielsweise dauert jeder Zeitstempel ca. 0.04 Sekunden, sodass insgesamt Daten für 2 Sekunden erhalten werden. Ein kompletter Durchlauf von Input Daten wird als Epoche bezeichnet. Die Anzahl der Trainingsproben, die je Trainingsepoche verwendet wird, wird auch Batch-Größe genannt. Wenn pro Epoche nur 100 Trainingsproben und nicht der vollständige Trainingsdatensatz in einer Epoche durch das künstliche neuronale Netzwerk prozessiert werden, kann das künstliche neuronale Netzwerk schneller lernen und Begrenzungen der Rechenkapazität des ausführenden Hardwaremoduls können eingehalten werden. In einem Ausführungsbeispiel ist die Batch-Größe 100.

Nach einem Aspekt der Erfindung umfassen die parallelen Zeitreihen wenigstens 50 Zeitstempel und/oder je Trainingsepoche werden wenigstens 100 Trainingsproben des Trainingsdatensatzes durch das rekurrente neuronale Netzwerk oder das LSTM-Netzwerk prozessiert.

Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:

1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Auswählen von vorausberechneten zeitlichen Entwicklungen;
2 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen und
3 eine schematische Darstellung des Verfahrens basierend auf 2.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.

1 zeigt die beste Auswahl A für eine vorausberechnete zeitliche Entwicklung einer Verkehrsszene V basierend auf Ergebnissen multipler Vorhersagealgorithmen P1, P2. In einem ersten Verfahrensschritt S1 werden Daten I eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts der Verkehrsszene V und parallele Zeitreihen, die durch Prozessieren der Daten I des Wahrnehmungsmoduls die Vorhersagealgorithmen P1, P2 erhalten werden, in ein wie in 2 gezeigtes trainiertes künstliches neuronales Netzwerks NN eingegeben. In einem Verfahrensschritt S2 wählt das künstliche neuronale Netzwerk NN zu jedem Zeitstempel t1, t2, ..., tm die beste von den Vorhersagealgorithmen P1, P2 vorausberechneten zeitlichen Entwicklungen Ot1, Ot2, ..., Otm aus resultierend in der Auswahl A. Beispielsweise werden tm=50 Zeitstempel betrachtet, das heißt jede Zeitreihe hat 50 Datenpunkte Ot1, Ot2, ..., Otm. In einem dritten Verfahrensschritt S3 wird die Auswahl der vorausberechneten zeitlichen Entwicklung einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt für dessen Trajektorienplanung.

2 veranschaulicht den Trainingsprozess. Im Training werden die Daten I des Wahrnehmungsmoduls und die Ausgaben Ot1, Ot2, ..., Otm der verschiedenen Vorhersagealgorithmen P1, P2, ..., Pn zu gleichen Zeitstempeln t1, t2, ..., tm als Trainingsdatensatz I bereitgestellt. Mit dem gesammelten Trainingsdatensatz T wird ein künstliches neuronale Netzwerk NN, das beispielsweise ein LSTM Netzwerk ist, trainiert. In einem Validierungsprozess, der in einem Echtzeitsystem stattfindet, wird die gelernte Auswahl A getestet.

3 zeigt schematisch das Verfahren zum maschinellen Lernen der Auswahl A. In einem ersten Verfahrensschritt V1 werden die Daten I des Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts bereitgestellt. Ferner werden parallelen Zeitreihen bereitgestellt, die durch Prozessieren der Daten I des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallele Entwicklungen Ot1, Ot2, ..., Otm der Verkehrsszene V mit jeweiligen Zeitstempeln t1, t2, ..., tm. In einem zweiten Verfahrensschritt V2 wird das künstliche neuronale Netzwerk NN trainiert. Zu gleichen Zeitstempeln t1, t2, ..., tm wird für jede der vorausberechneten zeitlich parallelen Entwicklungen Ot1, Ot2, ..., Otm ein Vorhersagefehler bestimmt basierend auf einem Vergleich mit Referenzdaten. Das künstliche neuronale Netzwerk NN lernt, zu jedem Zeitstempel t1, t2, ..., tm, in Abhängigkeit der Daten I des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung Ot1, Ot2, ..., Otm mit geringstem Vorhersagefehler auszuwählen. In einem dritten Verfahrensschritt V3 werden die ausgewählten vorausberechneten zeitlichen Entwicklungen Ot1, Ot2, ..., Otm einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt für Trajektorienplanung.

Bezugszeichenliste

V1-V3: Verfahrensschritte
S1-S3: Verfahrensschritte
V: Verkehrsszene
A: Auswahl einer vorausberechneten zeitlichen Entwicklung
Ot1, Ot2, ..., Otm: vorausberechnete zeitliche Entwicklungen
t1, t2, ..., tm: Zeitstempel
P1, P2, ..., Pn: Vorhersagealgorithmen
I: Daten
T: Trainingsdatensatz
NN: künstliches neuronales Netzwerk

Claims

Computerimplementiertes Verfahren zum maschinellen Lernen einer Auswahl (A) aus vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene (V) umfassend die Schritte • Bereitstellen ◯ von Daten (I) wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts; ◯ von parallelen Zeitreihen, die durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallele Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) mit jeweiligen Zeitstempeln (t1, t2, ..., tm), als Trainingsdatensatz (T) (V1); • Trainieren eines künstlichen neuronalen Netzwerks (NN) mit dem Trainingsdatensatz (T) (V2), wobei ◯ zu gleichen Zeitstempeln (t1, t2, ..., tm) für jede der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) ein Vorhersagefehler bestimmt wird basierend auf einem Vergleich mit Referenzdaten; ◯ das künstliche neuronale Netzwerk (NN) lernt, zu jedem Zeitstempel (t1, t2, ..., tm), in Abhängigkeit der Daten (I) des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung (Ot1, Ot2, ..., Otm) mit geringstem Vorhersagefehler auszuwählen, wobei die ausgewählten vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung (V3).
Verfahren nach Anspruch 1, wobei • das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen (P1, P2, ..., Pn) ausführt und die Vorhersagealgorithmen (P1, P2, ..., Pn) parallele Zeitreihen ausgeben, wobei jeder der Vorhersagealgorithmen (P1, P2, ..., Pn) eine der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) ausgibt; oder • die parallelen Zeitreihen durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus (P1, P2, ..., Pn) ausführt, erhalten wurden oder werden.
Verfahren nach Anspruch 1 oder 2, wobei die Daten (I) des Wahrnehmungsmoduls durch • einen Karten basierten Vorhersagealgorithmus (P1, P2, ..., Pn) prozessiert werden und eine erste Zeitreihe erhalten wird; • einen Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus (P1, P2, ..., Pn) zeitlich parallel prozessiert werden und eine zweite Zeitreihe erhalten wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei die parallelen Zeitreihen vorausberechnete Trajektorien des Objekts umfassen.
Verfahren nach einem der vorangehenden Ansprüche, wobei Gewichte des künstlichen neuronalen Netzwerks (NN) mit einem Backpropagation Algorithmus bestimmt werden, oder das künstliche neuronale Netzwerk Rückkopplungen umfasst und die Gewichte mit einem Backpropagation Through Time Algorithmus bestimmt werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netzwerk (NN) mehrere Schichten mit jeweils mehreren Long Short-Term Memory Zellen umfasst.
Verfahren einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netzwerk (NN) vier Schichten mit jeweils 60 Long Short-Term Memory Zellen umfasst.
Verfahren nach einem der vorangehenden Ansprüche, wobei die parallelen Zeitreihen wenigstens 50 Zeitstempel umfassen und/oder je Trainingsepoche wenigstens 100 bis 1000 Trainingsproben des Trainingsdatensatzes (T) durch das künstliche neuronale Netzwerk (NN) prozessiert werden.
Computerprogramm zum maschinellen Lernen einer Auswahl (A) aus vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene (V) umfassend Befehle, die bewirken, dass ein Hardwaremodul umfassend Hardware Beschleuniger, die Matrizen- und/oder Tensoroperationen optimieren, das Verfahren nach einem der vorangehenden Ansprüche ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.
Computerimplementiertes Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene (V), wobei • Daten (I) wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts und • parallele Zeitreihen, die durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallel Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) mit jeweiligen Zeitstempeln (t1, t2, ..., tm), wobei das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen (P1, P2, ..., Pn) ausführt und die Vorhersagealgorithmen (P1, P2, ..., Pn) parallele Zeitreihen ausgeben, wobei jeder der Vorhersagealgorithmen (P1, P2, ..., Pn) eine der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) ausgibt; oder • parallele Zeitreihen, die durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus (P1, P2, ..., Pn) ausführt, erhalten wurden oder werden, in ein nach dem Verfahren nach einem der Ansprüche 1 bis 8 trainiertes künstliches neuronales Netzwerks (NN) eingegeben werden (S1); • das künstliche neuronale Netzwerk (NN) zu jedem Zeitstempel (t1, t2, ..., tm) die beste von den Vorhersagemodulen vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) auswählt (S2); • die ausgewählten vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung (S3).
Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene umfassend Befehle, die bewirken, dass ein Hardwaremodul das Verfahren nach Anspruch 10 ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.
Steuerungssystem für ein automatisiertes Fahrsystem zur Trajektorienplanung umfassend • ein Hardwaremodul, das ausgeführt ist, das Verfahren nach Anspruch 10 durchzuführen und ausgewählte vorausberechnete zeitliche Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene an ein Handlungsplanungsmodul auszugeben; • das Handlungsplanungsmodul, das ausgeführt ist, Fahrmanöver basierend auf den ausgewählten vorausberechneten zeitlichen Entwicklungen umfassend Umfahren eines Objekts und/oder Überholen eines Objektes zu planen umfassend Trajektorien zum Ausführen der Pläne; • ein Steuerungsmodul, das ausgeführt ist, Regelungs- und/oder Steuerungssignale an eine Aktuatorik des Fahrsystems auszugeben zum Ausführen einer der geplanten Trajektorien.