DE102021202080A1

DE102021202080A1 - Computer-implemented method and computer program for machine learning of a selection of precalculated developments over time in a traffic scene, computer-implemented method and computer program for selecting precalculated developments over time in a traffic scene and control system for an automated driving system for trajectory planning

Info

Publication number: DE102021202080A1
Application number: DE102021202080.1A
Authority: DE
Inventors: Yue Yao; Elam Parithi Balasubramanian
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2021-03-04
Filing date: 2021-03-04
Publication date: 2022-09-08

Abstract

Computerimplementiertes Verfahren zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene umfassend die Schritte Bereitstellen eines Trainingsdatensatz (T) (V1) und Trainieren eines künstlichen neuronalen Netzwerks (NN) mit dem Trainingsdatensatz (T) (V2), wobei zu gleichen Zeitstempeln (t1, t2, ..., tm) für jede der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) ein Vorhersagefehler bestimmt wird basierend auf einem Vergleich mit Referenzdaten und das künstliche neuronale Netzwerk (NN) lernt, zu jedem Zeitstempel, in Abhängigkeit der Daten (I) des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung (Ot1, Ot2, ..., Otm) mit geringstem Vorhersagefehler auszuwählen,Computer-implemented method for machine learning of a selection of precalculated temporal developments (Ot1, Ot2, ..., Otm) of a traffic scene, comprising the steps of providing a training data set (T) (V1) and training an artificial neural network (NN) with the training data set (T ) (V2), whereby a prediction error is determined at the same time stamps (t1, t2, ..., tm) for each of the precalculated temporally parallel developments (Ot1, Ot2, ..., Otm) based on a comparison with reference data and that artificial neural network (NN) learns to select the predicted temporal evolution (Ot1, Ot2, ..., Otm) with the smallest prediction error for each time stamp, depending on the data (I) of the perception module,

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren und ein Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Ferner betrifft die Erfindung ein computerimplementiertes Verfahren und ein Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Außerdem betrifft die Erfindung ein Steuerungssystem für ein automatisiertes Fahrsystem zur Trajektorienplanung.The invention relates to a computer-implemented method and a computer program for machine learning of a selection from precalculated temporal developments in a traffic scene. Furthermore, the invention relates to a computer-implemented method and a computer program for selecting precalculated temporal developments of a traffic scene. The invention also relates to a control system for an automated driving system for trajectory planning.

Der Beitrag DIETMAYER, K.: Prädiktion von maschineller Wahrnehmungsleistung beim automatisierten Fahren., in MAURER M et al. (Hrsg.): Autonomes Fahren. DOI 10.1007/978-3-662-45854-9_20 offenbart eine Grobstruktur der Informationsverarbeitung bei der automatisierten Führung von Fahrsystemen. Ein Wahrnehmungsmodul, auch Perzeptionsmodul oder SEE-Modul genannt, erzeugt basierend auf einer sensoriellen Wahrnehmung eines Umfeldes ein Umfeldmodell, in dem das Ego-Fahrsystem und andere Verkehrsteilnehmer durch Bewegungsmodelle und Infrastrukturelemente repräsentiert sind, und berechnet ein maschinelles Szenenverständnis. Darauf aufbauend berechnet ein Vorhersagemodul, auch Prädiktionsmodul genannt, verschiedene zeitliche Entwicklungen einer Verkehrsszene. Das Vorhersagemodul kann auch ein Teil des SEE-Moduls sein. Darauf aufbauend ermittelt ein Handlungsplanungsmodul, auch THINK-Modul genannt, Fahrmanöver umfassend Umfahren eines Objekts und/oder Überholen eines Objektes umfassend Trajektorien zum Ausführen der geplanten Fahrmanöver. Die Trajektorien sind in der Regel in einem typischen Zeithorizont von wenigen Sekunden vorausberechnet und gegebenenfalls mit Komfort bewertet. Das Vorhersagemodul kann auch ein Teil des Think-Moduls sein. Die nach vorgegebenen Kriterien optimale Trajektorie wird von einem Steuerungsmodul, auch ACT-Modul genannt, ausgeführt. Wahrnehmungsmodul, Vorhersagemodul, Handlungsplanungsmodul und Steuerungsmodul des beanspruchten Gegenstandes erfüllen die genannten Funktionen.The article DIETMAYER, K.: Prediction of machine perception performance in automated driving., in MAURER M et al. (Ed.): Autonomous driving. DOI 10.1007/978-3-662-45854-9_20 discloses a rough structure of information processing in the automated guidance of driving systems. A perception module, also called a perception module or SEE module, creates an environment model based on a sensory perception of an environment, in which the ego driving system and other road users are represented by movement models and infrastructure elements, and calculates a machine understanding of the scene. Based on this, a prediction module, also called a prediction module, calculates various temporal developments in a traffic scene. The prediction module can also be part of the SEE module. Based on this, an action planning module, also known as a THINK module, determines driving maneuvers including driving around an object and/or overtaking an object including trajectories for executing the planned driving maneuvers. As a rule, the trajectories are precalculated within a typical time horizon of a few seconds and optionally evaluated with comfort. The prediction module can also be part of the think module. The trajectory that is optimal according to specified criteria is executed by a control module, also known as an ACT module. Perception module, prediction module, action planning module and control module of the claimed subject matter fulfill the functions mentioned.

Um beim automatisierten Fahren eine erfolgreiche Fahrentscheidung treffen zu können, ist die Genauigkeit der Vorhersage einer zeitlichen Entwicklung einer Verkehrsszene, beispielsweise der Objektbewegung, in den nächsten Sekunden von großer Bedeutung.In order to be able to make a successful driving decision in automated driving, the accuracy of the prediction of a temporal development of a traffic scene, for example the movement of objects, in the next few seconds is of great importance.

Im bekannten Stand der Technik ist es schwierig, mit nur einem Vorhersagealgorithmus alle Situationen abzudecken, da es verschiedene Faktoren gibt, die die Bewegung eines Objekts beeinflussen können. Ferner ist nur ein Vorhersagealgorithmus nicht redundant. Die parallele Verwendung verschiedener Vorhersagealgorithmen könnte die Vorteile der Algorithmen in verschiedenen Szenarien kombinieren. Die Entscheidung über das endgültige Vorhersageergebnis ist jedoch die nächste Herausforderung.In the known state of the art it is difficult to cover all situations with only one prediction algorithm, since there are various factors that can influence the movement of an object. Furthermore, only one prediction algorithm is not redundant. Using different prediction algorithms in parallel could combine the advantages of the algorithms in different scenarios. However, deciding the final prediction result is the next challenge.

Wenn mehrere Vorhersageansätze parallel verwendet werden, dann sollte jede Vorhersage vom Handlungsplanungsmodul in einem automatisierten Fahrsystem analysiert werden, was den Handlungsplanungsalgorithmus überfordert.If multiple prediction approaches are used in parallel, then each prediction should be analyzed by the action planning module in an automated driving system, which overwhelms the action planning algorithm.

Aufgabe der Erfindung war es, wie Vorhersageergebnisse ausgewählt werden können, um sichere Trajektorien zu bestimmen und auszuführen.The object of the invention was how prediction results can be selected in order to determine and execute safe trajectories.

Die Gegenstände der unabhängigen oder nebengeordneten Ansprüche lösen jeweils diese Aufgabe.The subjects of the independent or subordinate claims each solve this problem.

Nach einem Aspekt wird ein computerimplementiertes Verfahren bereitgestellt zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Das Verfahren umfasst die Schritte

• Bereitstellen
- ◯ von Daten wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts;
- ◯ von parallelen Zeitreihen, die durch Prozessieren der Daten des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallele Entwicklungen der Verkehrsszene mit jeweiligen Zeitstempeln,
als Trainingsdatensatz;
• Trainieren eines künstlichen neuronalen Netzwerks mit dem Trainingsdatensatz, wobei
- ◯ zu gleichen Zeitstempeln für jede der vorausberechneten zeitlich parallelen Entwicklungen ein Vorhersagefehler bestimmt wird basierend auf einem Vergleich mit Referenzdaten;
- ◯ das künstliche neuronale Netzwerk lernt, zu jedem Zeitstempel, in Abhängigkeit der Daten des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung mit geringstem Vorhersagefehler auszuwählen,

wobei die ausgewählten vorausberechneten zeitlichen Entwicklungen einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung.According to one aspect, a computer-implemented method is provided for machine learning of a selection of predicted temporal developments of a traffic scene. The procedure includes the steps

• Provide
- ◯ of data from at least one perception module comprising at least speeds of an object;
- ◯ of parallel time series, which were or are obtained by processing the data of the perception module by at least one prediction module, comprising precalculated temporally parallel developments of the traffic scene with respective time stamps,
as a training data set;
• Training an artificial neural network with the training data set, where
- ◯ a prediction error is determined based on a comparison with reference data at the same time stamps for each of the predicted temporally parallel developments;
- ◯ the artificial neural network learns to select the predicted temporal development with the lowest prediction error for each time stamp, depending on the data of the perception module,

wherein the selected precalculated developments over time are provided to an action planning module of an automated driving system for trajectory planning.

Dieses Verfahren ist ein Trainingsverfahren.This procedure is a training procedure.

Nach einem weiteren Aspekt wird ein Computerprogramm bereitgestellt zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Das Computerprogramm umfasst Befehle, die bewirken, dass ein Hardwaremodul umfassend Hardware Beschleuniger, die Matrizen- und/oder Tensoroperationen optimieren, das beanspruchte Verfahren zum maschinellen Lernen der Auswahl ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.According to a further aspect, a computer program is provided for machine learning of a selection from precalculated temporal developments of a traffic scene. The computer program comprises instructions that cause a hardware module comprising hardware accelerators that optimize matrix and/or tensor operations to execute the claimed selection machine learning method when the computer program is executed by the hardware module.

Mit diesem Computerprogramm wird ein Maschinenlernalgorithmus trainiert.A machine learning algorithm is trained with this computer program.

Nach einem weiteren Aspekt wird ein computerimplementiertes Verfahren bereitgestellt zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene, wobei

• Daten wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts und
• parallele Zeitreihen, die durch Prozessieren der Daten des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallel Entwicklungen der Verkehrsszene mit jeweiligen Zeitstempeln, wobei das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen ausführt und die Vorhersagealgorithmen parallele Zeitreihen ausgeben, wobei jeder der Vorhersagealgorithmen eine der vorausberechneten zeitlich parallelen Entwicklungen der Verkehrsszene ausgibt; oder
• parallele Zeitreihen, die durch Prozessieren der Daten des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus ausführt, erhalten wurden oder werden,

in ein nach dem beanspruchten Verfahren zum maschinellen Lernen der Auswahl trainiertes künstliches neuronales Netzwerk eingegeben werden;

• das künstliche neuronale Netzwerk zu jedem Zeitstempel die beste von den Vorhersagemodulen vorausberechneten zeitlichen Entwicklungen auswählt;
• die ausgewählten vorausberechneten zeitlichen Entwicklungen einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung.

According to a further aspect, a computer-implemented method is provided for selecting predicted temporal developments of a traffic scene, where

• Data from at least one perception module comprising at least speeds of an object and
• Parallel time series that were or are obtained by processing the data of the perception module by at least one prediction module, comprising precalculated temporally parallel developments of the traffic scene with respective time stamps, wherein the at least one prediction module executes multiple prediction algorithms and the prediction algorithms output parallel time series, each of the prediction algorithms outputs one of the predicted temporally parallel developments of the traffic scene; or
• parallel time series that were or are obtained by processing the data of the perception module by a prediction module, each of which executes a specific prediction algorithm,

are input to an artificial neural network trained according to the claimed method for machine learning of selection;

• the artificial neural network selects, for each time stamp, the best temporal developments predicted by the prediction modules;
• the selected precalculated developments over time are made available to an action planning module of an automated driving system for trajectory planning.

Dieses Verfahren setzt einen bereits trainierten Maschinenlernalgorithmus ein.This method uses a machine learning algorithm that has already been trained.

Nach einem weiteren Aspekt wird ein Computerprogramm bereitgestellt zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene. Das Computerprogramm umfasst Befehle, die bewirken, dass ein Hardwaremodul das beanspruchte Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.According to a further aspect, a computer program is provided for selecting predicted temporal developments of a traffic scene. The computer program includes instructions that cause a hardware module to execute the claimed method for selecting predicted temporal developments when the computer program is executed by the hardware module.

Mit diesem Computerprogramm wird ein trainierter Maschinenlernalgorithmus ausgeführt.A trained machine learning algorithm is executed with this computer program.

Nach einem weiteren Aspekt wird Steuerungssystem bereitgestellt für ein automatisiertes Fahrsystem zur Trajektorienplanung. Das Steuerungssystem umfasst

• ein Hardwaremodul, das ausgeführt ist, das beanspruchte Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen durchzuführen und ausgewählte vorausberechnete zeitliche Entwicklungen einer Verkehrsszene an ein Handlungsplanungsmodul auszugeben;
• das Handlungsplanungsmodul, das ausgeführt ist, Fahrmanöver basierend auf den ausgewählten vorausberechneten zeitlichen Entwicklungen umfassend Umfahren eines Objekts und/oder Überholen eines Objektes zu planen umfassend Trajektorien zum Ausführen der Pläne;
• ein Steuerungsmodul, das ausgeführt ist, Regelungs- und/oder Steuerungssignale an eine Aktuatorik des Fahrsystems auszugeben zum Ausführen einer der geplanten Trajektorien.

According to a further aspect, a control system is provided for an automated driving system for trajectory planning. The control system includes

• a hardware module which is designed to carry out the claimed method for selecting precalculated developments over time and to output selected precalculated developments over time in a traffic scene to an action planning module;
• the action planning module, which is designed to plan driving maneuvers based on the selected precalculated developments over time, including driving around an object and/or overtaking an object, including trajectories for executing the plans;
• a control module that is designed to output regulation and/or control signals to an actuator system of the driving system in order to execute one of the planned trajectories.

Bei mehreren Vorhersagemethoden gibt es für jedes Objekt mehrere Vorhersagen zu jedem Zeitstempel, was den Rechenaufwand für das Handlungsplanungsmodul erhöht. Die manuelle Auswahl der besten Vorhersage aus mehreren Vorhersagen und die Abstimmung der Parameter ist jedoch sehr zeitaufwändig. Das besondere technische Merkmal der Erfindung ist, dass basierend auf mehreren Vorhersagen zu jedem Zeitstempel eine einzelne beste Vorhersage ausgewählt und einem Handlungsplanungsmodul bereitgestellt wird zur Trajektorienplanung und deren Ausführung. Der erhaltene Maschinenlernalgorithmus wählt das Vorhersageergebnis basierend auf impliziten Informationen und Kriterien aus, die der Algorithmus selbst extrahiert und lernt. Durch den Maschinenlernalgorithmus werden sichere Trajektorien erhalten bei reduziertem Arbeitsaufwand für die Datenanalyse und die Parameterabstimmung.With multiple prediction methods, there are multiple predictions for each object at each timestamp, which increases the computational burden on the action planning module. However, manually selecting the best prediction from multiple predictions and tuning the parameters is very time consuming. The special technical feature of the invention is that based on multiple predictions for each time stamp, a single best prediction is selected and made available to an action planning module for trajectory planning and its execution. The obtained machine learning algorithm selects the prediction result based on implicit information and criteria that the algorithm itself extracts and learns. Thanks to the machine learning algorithm, safe trajectories are obtained with reduced workload for data analysis and parameter adjustment.

Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.Advantageous refinements of the invention result from the definitions, the dependent claims, the drawings and the description of preferred exemplary embodiments.

Die einzelnen Module sind als Software oder Hardware oder als eine Kombination aus Software und Hardware realisiert. Die jeweilige Funktion ist in Software-Programmbefehlen oder in einer Hardwarebeschreibungssprache ausgedrückt. The individual modules are implemented as software or hardware or as a combination of software and hardware. The respective function is expressed in software program instructions or in a hardware description language.

Beispielsweise umfasst das Wahrnehmungs-, Vorhersage-, Handlungsplanungs- und/oder Steuerungsmodul jeweils einen eigenen oder insgesamt einen gemeinsamen integrierten Schaltkreis. Nach einem Aspekt sind das Wahrnehmungs-, Vorhersage-, Handlungsplanungs- und Steuerungsmodul in einem System-on-Chip integriert.For example, the perception, prediction, action planning and/or control module each includes its own integrated circuit or a common integrated circuit overall. In one aspect, the perception, prediction, action planning, and control modules are integrated into a system-on-chip.

Nach einem Aspekt der Erfindung umfasst der integrierte Schaltkreis neuromorphe Hardwarekomponenten, beispielsweise neuromorphe Mikrochips. Neuromorphe Chips weisen eine hohe Interkonnektivität und mehrere Rückkopplungen auf. Neuromorphe Chips haben im Gegensatz zu Von-Neumann-Architekturen den Vorteil, dass Daten nicht gespeichert, sondern gelernt und gegebenenfalls vergessen werden.According to one aspect of the invention, the integrated circuit includes neuromorphic hardware components, such as neuromorphic microchips. Neuromorphic chips exhibit high interconnectivity and multiple feedbacks. In contrast to von Neumann architectures, neuromorphic chips have the advantage that data is not stored but learned and, if necessary, forgotten.

Nach einem weiteren Aspekt der Erfindung umfasst der integrierte Schaltkreis ein Multiprozessor-System-on-Chip umfassend Zentralprozessoren, auf Graphikprozessoren basierende Hardwarebeschleuniger und Speichereinheiten.According to a further aspect of the invention, the integrated circuit comprises a multiprocessor system-on-chip comprising central processors, graphics processor-based hardware accelerators and memory units.

In der Speichereinheit sind Software-Programmbefehle gespeichert. Der Schaltkreis führt die Funktionen aus durch Prozessieren der Software-Programmbefehle. Die Software-Programmbefehle umfassen Assemblersprache, Quelltext oder Objektcode geschrieben in einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C; dies trifft auch auf die beanspruchten Computerprogramme zu.Software program instructions are stored in the memory unit. The circuit performs the functions by processing the software program instructions. The software program instructions include assembly language, source code, or object code written in an object-oriented programming language, such as C++, or in a procedural programming language, such as C; this also applies to the claimed computer programs.

Nach einem weiteren Aspekt umfasst ein Modul eine programmierbare Anordnung, in die eine logische Schaltung ladbar ist. Die jeweilige Funktion wird dadurch realisiert, dass eine Schaltungsstruktur, durch die die Funktion ausführbar ist, in einer Hardwarebeschreibungssprache formuliert ist. Beispielsweise umfasst ein Modul einen Field Programmable Gate Array Schaltkreis.According to a further aspect, a module comprises a programmable arrangement into which a logic circuit can be loaded. The respective function is implemented by formulating a circuit structure, through which the function can be executed, in a hardware description language. For example, a module includes a field programmable gate array circuit.

Das Wahrnehmungsmodul ist beispielsweise ein Kamera-, Radar- oder Lidarlesemodul, das Kamera-, Radar- oder Lidarrohdaten einliest. Die Module führen Algorithmen beispielsweise zur Spurerkennung, Objekterkennung und zur Bestimmung einer Bewegung des Fahrsystems mittels visueller Odometrie aus. Beispielsweise wird eine Objektgeschwindigkeit mit x- und y- Komponente und eine Bewegungsrichtung des Objekts bestimmt. Die Algorithmen, die diese Module ausführen, sind nach einem Aspekt datengetriebene Algorithmen, beispielsweise Maschinenlernalgorithmen umfassend semantische Klassifizierungsalgorithmen, beispielsweise iterative closest point Algorithmen. Ein weiteres Beispiel ist ein Kartenlokalisationsmodul, das eine gegebene hochauflösende Karte des Umfeldes, auch high definition map, nutzt, um die absolute Position des Fahrsystems zu bestimmen durch Vergleich von beispielsweise Abtastungen der Strahlensensoren wie Radar und/oder Lidar mit der Karte.The perception module is, for example, a camera, radar or lidar reading module that reads in raw camera, radar or lidar data. The modules execute algorithms, for example for lane recognition, object recognition and for determining a movement of the driving system using visual odometry. For example, an object speed with x and y components and a direction of movement of the object are determined. The algorithms that these modules execute are, in one aspect, data-driven algorithms, such as machine learning algorithms including semantic classification algorithms, such as iterative closest point algorithms. Another example is a map localization module that uses a given high-resolution map of the environment, also known as a high-definition map, to determine the absolute position of the driving system by comparing, for example, scans from radiation sensors such as radar and/or lidar with the map.

Die Daten des Wahrnehmungsmoduls werden beispielsweise während Testfahrten mit Testfahrsystemen, die Umfelderfassungssensoren, beispielsweise Kamera, Lidar und Radar, und ein Wahrnehmungsmodul, das Rohdaten der Umfelderfassungssensoren auswertet, eingefahren. Nach einem Aspekt werden die Daten des Wahrnehmungsmoduls mittels Sensormodellen simuliert. Die Referenzdaten sind Daten eines Referenzsystems als ground truth, beispielsweise Daten eines hochauflösenden Lidars.The data from the perception module are entered, for example, during test drives with test driving systems that use surroundings detection sensors, such as cameras, lidar and radar, and a perception module that evaluates raw data from the surroundings detection sensors. According to one aspect, the Data from the perception module simulated using sensor models. The reference data are data from a reference system as ground truth, for example data from a high-resolution lidar.

Die hochauflösende Karte wird beispielsweise über Funkschnittstellen zu einem Cloud-basierten Kartendienstanbieter erhalten. Ein weiteres Beispiel ist ein GPS Lesemodul, das rohe Positionsdaten einliest und diese Informationen einem GPS Datenverarbeitungsmodul als weiteres Wahrnehmungsmodul bereitstellt. Das GPS Datenverarbeitungsmodul schätzt beispielsweise die absolute Pose des Fahrsystems.The high-resolution map is obtained, for example, via radio interfaces to a cloud-based map service provider. Another example is a GPS reader module that reads in raw position data and provides this information to a GPS data processing module as another perception module. For example, the GPS data processing module estimates the absolute pose of the driving system.

Die Vorhersagemodule prädizieren Zustände, beispielsweise mittels Bayes-Schätzung, Kalman-Filtern oder Markov-Ketten.The prediction modules predict states, for example using Bayesian estimation, Kalman filters or Markov chains.

Eine Zeitreihe ist eine zeitlich geordnete diskrete Folge von Beobachtungen einer bestimmten Größe. Zeitstempel bezeichnen die einzelnen Beobachtungszeitpunkte, wobei nach einem Aspekt für jeden Zeitstempel genau eine Beobachtung vorliegt. Beispielsweise klassifiziert das Wahrnehmungsmodul ein vorausfahrendes Fahrsystem. Die Zeitreihe ist dann eine zeitlich diskrete Folge von Beobachtungen dieses Fahrsystems. Parallele Zeitreihen sind mehrere Zeitreihen mit gleichen Zeitstempeln. Beispielsweise liegt bei einer ersten Zeitreihe und einer zweiten, zu der ersten parallelen Zeitreihe zu einem ersten Zeitstempel eine erste Beobachtung aus der ersten Zeitreihe und eine erste Beobachtung aus der zweiten Zeitreihe vor; zu einem i-ten Zeitstempel eine i-te Beobachtung aus der ersten Zeitreihe und eine i-te Beobachtung aus der zweiten Zeitreihe.A time series is a time-ordered discrete sequence of observations of a certain size. Time stamps designate the individual observation times, with one aspect being that there is exactly one observation for each time stamp. For example, the perception module classifies a driving system ahead. The time series is then a temporally discrete sequence of observations of this driving system. Parallel time series are multiple time series with the same time stamps. For example, in the case of a first time series and a second time series parallel to the first, there is a first observation from the first time series and a first observation from the second time series for a first time stamp; for an i-th time stamp, an i-th observation from the first time series and an i-th observation from the second time series.

Nach einem Aspekt wird aus einem zeitkontinuierlichen Messsignal oder der kontinuierlichen Aufzeichnung eines Messsignals eine Zeitreihe durch eine diskrete Abtastung erhalten.According to one aspect, a time series is obtained from a time-continuous measurement signal or the continuous recording of a measurement signal by discrete sampling.

Dadurch, dass das künstliche neuronale Netzwerk in Abhängigkeit der Daten des Wahrnehmungsmoduls lernt, die beste Vorhersage auszuwählen, kann im trainierten Fall das Vorhersageergebnis auf der Grundlage selbst extrahierter und/oder gelernter impliziter Informationen und Kriterien aus den Daten des Wahrnehmungsmoduls ausgewählt werden.Because the artificial neural network learns to select the best prediction based on the data from the perception module, in the trained case the prediction result can be selected from the data from the perception module on the basis of self-extracted and/or learned implicit information and criteria.

Ein automatisierte Fahrsystem umfasst Hardwarekomponenten, beispielsweise Umfelderfassungssensoren, beispielsweise bildgebende Sensoren wie Kamera, Strahlensensoren wie Radar und/oder Lidar, Mikrofone, Geruchssensoren, inertiale Messeinheiten, Positionssensoren, Steuergeräte, Aktuatoren, Antriebs- und Fahrwerkskomponenten, und Softwarekomponenten, beispielsweise Software zum Auswerten von Rohdaten der Umfelderfassungssensoren, zum Bestimmen von Umfeldmodellen oder zum Planen einer Trajektorie oder Mission. Ein Automatisierungslevel bestimmt beispielsweise die Norm SAE J3016. Die Erfindung betrifft insbesondere SAE J3016 Level 4 und 5 Systeme, kann aber auch beispielsweise für Level 2 und 3 verwendet werden. Das Fahrsystem ist beispielsweise ein PKW, LKW, Bus, people mover, cargo mover, Personenshuttle, Transportsystem, ein Roboter oder ein Flugobjekt, beispielsweise eine Drohne. Nach einem Aspekt ist das Fahrsystem ein autonomes Straßenfahrsystem.An automated driving system includes hardware components, for example environment detection sensors, for example imaging sensors such as cameras, radiation sensors such as radar and/or lidar, microphones, odor sensors, inertial measuring units, position sensors, control units, actuators, drive and chassis components, and software components, for example software for evaluating raw data of environment detection sensors, to determine environment models or to plan a trajectory or mission. An automation level is determined by the SAE J3016 standard, for example. The invention relates in particular to SAE J3016 Level 4 and 5 systems, but can also be used for Level 2 and 3, for example. The driving system is, for example, a car, truck, bus, people mover, cargo mover, passenger shuttle, transport system, a robot or a flying object, for example a drone. In one aspect, the driving system is an autonomous road driving system.

Die Computerprogramme werden beispielsweise als Hardware unabhängige Anwendungssoftware oder als Firmware eines Steuergeräts für automatisierte Fahrfunktionen oder eines System-on-Chip bereitgestellt. Beispielsweise wird das Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene als Hardware unabhängige Anwendungssoftware bereitgestellt, beispielsweise über einen Cloud-Dienst. Das Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene wird beispielsweis als Firmware bereitgestellt.The computer programs are provided, for example, as hardware-independent application software or as firmware for a control device for automated driving functions or a system-on-chip. For example, the computer program for machine learning of a selection from precalculated temporal developments of a traffic scene is provided as hardware-independent application software, for example via a cloud service. The computer program for selecting predicted temporal developments of a traffic scene is provided as firmware, for example.

Die Hardware Beschleuniger des Hardwaremoduls, das das Computerprogramm zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene ausführt, ermöglichen eine relativ schnelle Durchführung des rechenintensiven Trainingsverfahrens. Die Hardware Beschleuniger umfassen nach einem Aspekt der Erfindung neuromorphe Hardwarekomponenten. Nach einem anderen Aspekt der Erfindung umfassen die Hardwarebeschleuniger Graphikprozessoren, auch graphics processing units genannt, oder CUDA-APIs. Graphikprozessoren haben eine Mikroarchitektur zum parallelen Prozessieren von Rechenaufgaben und zum Beschleunigen von Matrix- und Tensoroperationen. Mehrdimensionale Datenfelder sind im Kontext der Erfindung Tensoren. CUDA-APIs sind Compute Unified Device Architecture Application Programming Interfaces. Über CUDA-APIs können Zentralprozessoren, auch central processing units genannt, haben Zentralprozessoren Zugriff auf die Mikroarchitektur von Graphikprozessoren.The hardware accelerators of the hardware module, which executes the computer program for machine learning of a selection of precalculated temporal developments of a traffic scene, enable the computationally intensive training method to be carried out relatively quickly. According to one aspect of the invention, the hardware accelerators comprise neuromorphic hardware components. According to another aspect of the invention, the hardware accelerators comprise graphics processors, also called graphics processing units, or CUDA APIs. Graphics processors have a microarchitecture for processing computational tasks in parallel and for speeding up matrix and tensor operations. In the context of the invention, multidimensional data fields are tensors. CUDA APIs are Compute Unified Device Architecture Application Programming Interfaces. Central processors, also called central processing units, can access the microarchitecture of graphics processors via CUDA APIs.

Nach einem weiteren Aspekt führt das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen aus und die Vorhersagealgorithmen geben parallele Zeitreihen aus, wobei jeder der Vorhersagealgorithmen eine der vorausberechneten zeitlich parallelen Entwicklungen der Verkehrsszene ausgibt. Alternativ wurden oder werden die parallelen Zeitreihen durch Prozessieren der Daten des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus ausführt, erhalten.According to a further aspect, the at least one prediction module executes a number of prediction algorithms and the prediction algorithms output parallel time series, with each of the prediction algorithms outputting one of the precalculated temporally parallel developments of the traffic scene. Alternatively, the parallel time series were or are obtained by processing the data of the perception module by a respective prediction module, each of which executes a specific prediction algorithm.

Nach einem weiteren Aspekt werden die Daten des Wahrnehmungsmoduls durch einen Karten basierten Vorhersagealgorithmus prozessiert und eine erste Zeitreihe wird erhalten und die Daten des Wahrnehmungsmoduls werden durch einen Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus zeitlich parallel prozessiert und eine zweite Zeitreihe wird erhalten. Der Karten basierte Vorhersagealgorithmus und der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus laufen zeitlich parallel. Der Karten basierte Vorhersagealgorithmus hat das Wissen über die dynamischen Informationen der Objekte und die Straßengeometrie. Der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus wird von Daten der Umfelderfassungssensoren des Fahrsystems gespeist und sagt die Bewegung von Objekten auf der Grundlage von impliziten Informationen vorher, die der Algorithmus selbst gelernt hat. Der Karten basierte Vorhersagealgorithmus und der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus werden von einem Vorhersagemodul ausgeführt. Alternativ wird der Karten basierte Vorhersagealgorithmus von einem ersten Vorhersagemodul und der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus von einem zweiten Vorhersagemodul ausgeführt.According to a further aspect, the data from the perception module is processed by a map-based prediction algorithm and a first time series is obtained and the data from the perception module is processed in parallel in time by a driving system sensor data-controlled prediction algorithm and a second time series is obtained. The map-based prediction algorithm and the prediction algorithm controlled by the driving system sensor data run parallel in time. The map-based prediction algorithm has knowledge of the dynamic information of the objects and the road geometry. The driving system sensor data-driven prediction algorithm is fed by data from the driving system's environment detection sensors and predicts the movement of objects based on implicit information learned by the algorithm itself. The map-based prediction algorithm and the driving system sensor data-controlled prediction algorithm are executed by a prediction module. Alternatively, the map-based prediction algorithm is executed by a first prediction module and the prediction algorithm controlled by the driving system sensor data by a second prediction module.

Nach einem Aspekt der Erfindung ist der Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus ein Maschinenlernalgorithmus, beispielsweise ein Deep Learning Algorithmus, der mit real eingefahrenen Sensordaten des Fahrsystems oder mit simulierten Sensordaten trainiert und/oder prozessiert wird. Der Karten basierte Vorhersagealgorithmus kann ein klassischer Algorithmus sein, der Karteninformationen, umfassend Informationen aus High Definition Maps, verarbeitet.According to one aspect of the invention, the prediction algorithm controlled by the driving system sensor data is a machine learning algorithm, for example a deep learning algorithm, which is trained and/or processed with actually run-in sensor data of the driving system or with simulated sensor data. The map-based prediction algorithm can be a classic algorithm that processes map information, including information from high definition maps.

Das erfindungsgemäße Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen einer Verkehrsszene wurde in ein autonomes Fahrsystem integriert und getestet. Die durch das Verfahren erhaltenen Ergebnisse wurden jeweils mit einem einzelnen Vorhersagealgorithmus, nämlich dem Karten basierten und dem Daten gesteuerten Algorithmus, verglichen. Die Leistungen der verschiedenen Algorithmen wurden mit zwei Kriterien getestet. Als erstes Kriterium dient der Prozentsatz (%), um das bessere Ergebnis mit weniger Vorhersagefehler unter zwei Vorhersagemethoden zu haben. Das zweite Kriterium ist der mittlere absolute Fehler (MAE) der Bewegungsvorhersage. Das Ergebnis ist in der folgenden Tabelle aufgeführt: Kriterium Karten basiert Daten gesteuert Erfindung % 68.77% 31.23% 82.77% MAE 3.89 m 4.13 m 3.61 m The method according to the invention for selecting precalculated temporal developments of a traffic scene was integrated into an autonomous driving system and tested. The results obtained by the method were each compared with a single prediction algorithm, namely the map-based and the data-driven algorithm. The performances of the different algorithms were tested with two criteria. The first criterion is the percentage (%) to have the better result with less prediction error among two prediction methods. The second criterion is the mean absolute error (MAE) of the motion prediction. The result is shown in the table below: criteria maps based data driven invention % 68.77% 31.23% 82.77% MAE 3.89 m 4.13 m 3.61 m

Die Ergebnisse zeigen, dass der vorgestellte Ansatz die jeweils besten Vorhersagen zu verschiedenen Zeitstempeln auswählen und somit den Vorhersagefehler im Vergleich zu einem einzelnen Vorhersagealgorithmus reduzieren kann.The results show that the presented approach can select the best predictions at different timestamps and thus reduce the prediction error compared to a single prediction algorithm.

Nach einem weiteren Aspekt umfassen die die parallelen Zeitreihen vorausberechnete Trajektorien des Objekts. Die Trajektorien werden nach einem Aspekt in einem Zeithorizont von 2 bis 5 Sekunden vorausberechnet. Damit kann die Bewegung von Objekten, beispielsweise von Fremdfahrzeugen, vorteilhaft prädiziert werden.According to a further aspect, the parallel time series include precalculated trajectories of the object. According to one aspect, the trajectories are precalculated in a time horizon of 2 to 5 seconds. The movement of objects, for example other vehicles, can thus be advantageously predicted.

Nach einem weiteren Aspekt werden Gewichte des künstlichen neuronalen Netzwerks mit einem Backpropagation Algorithmus bestimmt. Alternativ umfasst das künstliche neuronale Netzwerk Rückkopplungen und die Gewichte werden mit einem Backpropagation Through Time Algorithmus bestimmt.According to a further aspect, weights of the artificial neural network are determined using a backpropagation algorithm. Alternatively, the artificial neural network includes feedback and the weights are determined using a backpropagation through time algorithm.

Backpropagation Algorithmus bezeichnet einen Algorithmus für Forward und Backward Speisung eines künstlichen neuronalen Netzwerks, wobei Gradienten basiertes Lernen durch Backpropagation von Fehlern erfolgt.Backpropagation algorithm designates an algorithm for forward and backward feeding of an artificial neural network, with gradient-based learning taking place through backpropagation of errors.

Bei einem künstlichen neuronalen Netzwerk, das Rückkopplungen umfasst, sind beispielsweise Ausgänge von Neuronen mit Eingängen von wenigstens einem Neuron einer vorhergehenden Schicht verbunden. Zusätzlich oder alternativ zu diesen sogenannten indirekten Rückkopplungen kann das künstliche neuronale Netzwerk direkte Rückkopplung, bei der ein eigener Ausgang eines Neurons als weiterer Eingang genutzt, und/oder seitliche Rückkopplung, bei der ein Ausgang eines Neurons mit einem anderen Neuron derselben Schicht verbunden wird, umfassen. Mittels Rückkopplungen, beispielsweise indirekten Rückkopplungen, lassen sich Zeitreihen vorteilhaft bearbeiten.For example, in an artificial neural network comprising feedbacks, outputs of neurons are connected to inputs of at least one neuron of a previous layer. In addition or as an alternative to this so-called indirect feedback, the artificial new ronal network include direct feedback, in which a neuron's own output is used as another input, and/or lateral feedback, in which an output of a neuron is connected to another neuron in the same layer. Time series can be advantageously processed by means of feedback, for example indirect feedback.

Nach einem Aspekt der Erfindung ist das künstliche neuronale Netzwerk ein rekurrentes neuronales Netzwerk. Ein rekurrentes neuronales Netzwerk ist ein rückgekoppeltes neuronales Netzwerk umfassend direkte, indirekte und/oder seitliche Rückkopplungen.According to one aspect of the invention, the artificial neural network is a recurrent neural network. A recurrent neural network is a feedback neural network comprising direct, indirect and/or lateral feedback.

Der Backpropagation Through Time Algorithmus ist beispielsweise in Mozer, Michael. (1995). A Focused Backpropagation Algorithm for Temporal Pattern Recognition. Complex Systems. 3. offenbart und ist ein Gradienten basierter Algorithmus, der ein schnelles Training von künstlichen neuronalen Netzwerken umfassend Rückkopplungen ermöglicht. Beispielsweise werden rekurrente neuronale Netzwerke mittels Backpropagation Through Time trainiert. In PyTorch kann der Backpropagation Through Time Algorithmus durch den Code

 loss = loss_function(predictions, targets)
 loss.backward()
 optimizer.step()

ausgeführt werden.The backpropagation through time algorithm is described, for example, in Mozer, Michael. (1995). A Focused Backpropagation Algorithm for Temporal Pattern Recognition. complex systems. 3. discloses and is a gradient-based algorithm that enables rapid training of artificial neural networks involving feedback. For example, recurrent neural networks are trained using backpropagation through time. In PyTorch, the Backpropagation Through Time algorithm can be run through the code

 loss = loss_function(predictions, targets)
 loss.backward()
 optimizer.step()

to be executed.

Das künstliche neuronale Netzwerk, nach einem Aspekt der Erfindung das rekurrente neuronale Netzwerk, kann auf einer für maschinelles Lernen ausgerichteten Open-Source-Programmbibliothek trainiert werden, beispielsweise auf PyTorch oder Keras in der Programmiersprache Python.The artificial neural network, according to one aspect of the invention the recurrent neural network, can be trained on an open source program library designed for machine learning, for example on PyTorch or Keras in the Python programming language.

Nach einem weiteren Aspekt umfasst das künstliche neuronale Netzwerk mehrere Schichten mit jeweils mehreren Long Short-Term Memory Zellen. Long Short-Term Memory Zellen sind in Sepp Hochreiter, Jürgen Schmidhuber: Long short-term memory In: Neural Computation (journal), vol. 9, issue 8, S. 1735-1780, 1997 offenbart. Künstliche neuronale Netzwerke mit Long Short-Term Memory Zellen werden auch LSTM Netzwerke genannt. Eine Long Short-Term Memory Zelle umfasst

• ein Input Gate, das bestimmt, in welchem Ausmaß ein neuer Wert in die Zelle fließt,
• ein Forget Gate, das bestimmt, in welchem Ausmaß ein Wert in der Zelle verbleibt bzw. vergessen wird und
• ein Output Gate, das bestimmt, in welchem Ausmaß der Wert in der Zelle zur Berechnung für das nächste Modul der Kette verwendet wird.

According to a further aspect, the artificial neural network comprises a number of layers, each with a number of long-short-term memory cells. Long short-term memory cells are described in Sepp Hochreiter, Jürgen Schmidhuber: Long short-term memory In: Neural Computation (journal), vol. 9, issue 8, pp. 1735-1780, 1997. Artificial neural networks with long short-term memory cells are also called LSTM networks. A long short-term memory cell includes

• an input gate that determines the extent to which a new value flows into the cell,
• a forget gate that determines the extent to which a value remains in the cell or is forgotten, and
• an output gate that determines to what extent the value in the cell is used in the calculation for the next module in the chain.

Durch dynamische Adressierung der Gates erhält die Long Short-Term Memory Zelle ein Gedächtnis, was insbesondere für Zeitreihen und die erfindungsgemäße Auswahl von vorausberechneten zeitlichen Entwicklungen vorteilhaft ist.Dynamic addressing of the gates gives the long-short-term memory cell a memory, which is advantageous in particular for time series and the inventive selection of precalculated developments over time.

Nach einem Aspekt der Erfindung wird das künstliche neuronale Netzwerk umfassend Rückkopplungen, das rekurrente neuronale Netzwerk oder das LSTM Netzwerk auf einer neuromorphen Hardwarekomponente trainiert. Durch die hohe Interkonnektivität und die mehreren Rückkopplungen ist die neuromorphe Hardwarekomponente damit vorteilhafterweise ausgezeichnet, ein künstliches neuronales Netzwerk umfassend Rückkopplungen zu trainieren. Insbesondere können auf einer neuromorphen Hardwarekomponente Long Short-Term Memory Zellen vorteilhaft dynamisch adressiert werden und damit ein Gedächtnis geschaffen werden, was für Zeitreihen und die erfindungsgemäße Auswahl von vorausberechneten zeitlichen Entwicklungen vorteilhaft ist.According to one aspect of the invention, the artificial neural network is trained comprehensively using feedback, the recurrent neural network or the LSTM network on a neuromorphic hardware component. Due to the high level of interconnectivity and the multiple feedbacks, the neuromorphic hardware component is thus advantageously excellent for training an artificial neural network comprehensively feedbacks. In particular, long-short-term memory cells can advantageously be dynamically addressed on a neuromorphic hardware component and a memory can thus be created, which is advantageous for time series and the inventive selection of precalculated temporal developments.

Nach einem weiteren Aspekt umfasst das künstliche neuronale Netzwerk vier Schichten mit jeweils 60 Long Short-Term Memory Zellen. Damit ist das künstliche neuronale Netzwerk tiefes neuronales Netzwerk, auch deep neural network genannt. Es wurde erkannt, dass diese Architektur gute Ergebnisse erzielt bei relativ geringem Rechenaufwand für das Training und für den Einsatz des trainierten künstlichen neuronalen Netzwerks. Die Daten des Wahrnehmungsmoduls sind beispielsweise Geschwindigkeitsvektoren mit x-Komponente, y-Komponente und Bewegungsrichtung. In jeder Schicht werden diese 3 Werte durch die 60 Long Short-Term Memory Zellen auf jeweils 60 Werte abgebildet.According to a further aspect, the artificial neural network comprises four layers, each with 60 long short-term memory cells. The artificial neural network is thus a deep neural network, also known as a deep neural network. It has been recognized that this architecture achieves good results with relatively little computing effort for training and for using the trained artificial neural network. The data of the perception module are, for example, velocity vectors with x-component, y-component and direction of movement. In each layer, these 3 values are mapped to 60 values each by the 60 long-short-term memory cells.

Nach einem weiteren Aspekt umfassen die parallelen Zeitreihen wenigstens 50 Zeitstempel und/oder je Trainingsepoche werden wenigstens 100 bis 1000 Trainingsproben des Trainingsdatensatzes durch das künstliche neuronale Netzwerk prozessiert. Es wurde erkannt, dass 50 Zeitstempel des Objekts in der Vergangenheit ausreichend sind, um die bessere Bewegungsvorhersage durch Auswahl aus den Vorhersagen der einzelnen Vorhersagealgorithmen zu erhalten. Beispielsweise dauert jeder Zeitstempel ca. 0.04 Sekunden, sodass insgesamt Daten für 2 Sekunden erhalten werden. Ein kompletter Durchlauf von Input Daten wird als Epoche bezeichnet. Die Anzahl der Trainingsproben, die je Trainingsepoche verwendet wird, wird auch Batch-Größe genannt. Wenn pro Epoche nur 100 Trainingsproben und nicht der vollständige Trainingsdatensatz in einer Epoche durch das künstliche neuronale Netzwerk prozessiert werden, kann das künstliche neuronale Netzwerk schneller lernen und Begrenzungen der Rechenkapazität des ausführenden Hardwaremoduls können eingehalten werden. In einem Ausführungsbeispiel ist die Batch-Größe 100.According to a further aspect, the parallel time series include at least 50 time stamps and/or at least 100 to 1000 training samples of the training data set are processed by the training epoch artificial neural network processed. It was recognized that 50 timestamps of the object in the past are sufficient to get the better motion prediction by selecting from the predictions of the individual prediction algorithms. For example, each timestamp lasts about 0.04 seconds, so a total of 2 seconds of data is obtained. A complete run of input data is called an epoch. The number of training samples used per training epoch is also called the batch size. If only 100 training samples per epoch and not the complete training data set in an epoch are processed by the artificial neural network, the artificial neural network can learn faster and limitations of the computing capacity of the executing hardware module can be complied with. In one embodiment, the batch size is 100.

Nach einem Aspekt der Erfindung umfassen die parallelen Zeitreihen wenigstens 50 Zeitstempel und/oder je Trainingsepoche werden wenigstens 100 Trainingsproben des Trainingsdatensatzes durch das rekurrente neuronale Netzwerk oder das LSTM-Netzwerk prozessiert.According to one aspect of the invention, the parallel time series include at least 50 time stamps and/or at least 100 training samples of the training data set are processed by the recurrent neural network or the LSTM network for each training epoch.

Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:

1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Auswählen von vorausberechneten zeitlichen Entwicklungen;
2 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum maschinellen Lernen einer Auswahl aus vorausberechneten zeitlichen Entwicklungen und
3 eine schematische Darstellung des Verfahrens basierend auf 2.

The invention is illustrated in the following exemplary embodiments. Show it:

1 an embodiment of a method according to the invention for selecting precalculated developments over time;
2 an exemplary embodiment of a method according to the invention for machine learning of a selection from precalculated temporal developments and
3 a schematic representation of the method based on 2 .

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.In the figures, the same reference symbols denote the same or functionally similar reference parts. For the sake of clarity, only the relevant reference parts are highlighted in the individual figures.

1 zeigt die beste Auswahl A für eine vorausberechnete zeitliche Entwicklung einer Verkehrsszene V basierend auf Ergebnissen multipler Vorhersagealgorithmen P1, P2. In einem ersten Verfahrensschritt S1 werden Daten I eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts der Verkehrsszene V und parallele Zeitreihen, die durch Prozessieren der Daten I des Wahrnehmungsmoduls die Vorhersagealgorithmen P1, P2 erhalten werden, in ein wie in 2 gezeigtes trainiertes künstliches neuronales Netzwerks NN eingegeben. In einem Verfahrensschritt S2 wählt das künstliche neuronale Netzwerk NN zu jedem Zeitstempel t1, t2, ..., tm die beste von den Vorhersagealgorithmen P1, P2 vorausberechneten zeitlichen Entwicklungen Ot1, Ot2, ..., Otm aus resultierend in der Auswahl A. Beispielsweise werden tm=50 Zeitstempel betrachtet, das heißt jede Zeitreihe hat 50 Datenpunkte Ot1, Ot2, ..., Otm. In einem dritten Verfahrensschritt S3 wird die Auswahl der vorausberechneten zeitlichen Entwicklung einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt für dessen Trajektorienplanung. 1 shows the best selection A for a precalculated temporal development of a traffic scene V based on the results of multiple prediction algorithms P1, P2. In a first method step S1, data I from a perception module comprising at least the speeds of an object in the traffic scene V and parallel time series, which are obtained by processing the data I from the perception module using the prediction algorithms P1, P2, are converted into a format as in 2 shown trained artificial neural network NN entered. In a method step S2, the artificial neural network NN selects for each time stamp t1, t2, . . . , tm the best temporal developments Ot1, Ot2, tm=50 time stamps are considered, i.e. each time series has 50 data points Ot1, Ot2, ..., Otm. In a third method step S3, the selection of the precalculated development over time is made available to an action planning module of an automated driving system for its trajectory planning.

2 veranschaulicht den Trainingsprozess. Im Training werden die Daten I des Wahrnehmungsmoduls und die Ausgaben Ot1, Ot2, ..., Otm der verschiedenen Vorhersagealgorithmen P1, P2, ..., Pn zu gleichen Zeitstempeln t1, t2, ..., tm als Trainingsdatensatz I bereitgestellt. Mit dem gesammelten Trainingsdatensatz T wird ein künstliches neuronale Netzwerk NN, das beispielsweise ein LSTM Netzwerk ist, trainiert. In einem Validierungsprozess, der in einem Echtzeitsystem stattfindet, wird die gelernte Auswahl A getestet. 2 illustrates the training process. In the training, the data I of the perception module and the outputs Ot1, Ot2, . . . , Otm of the various prediction algorithms P1, P2, . An artificial neural network NN, which is an LSTM network, for example, is trained with the collected training data set T. The learned selection A is tested in a validation process that takes place in a real-time system.

3 zeigt schematisch das Verfahren zum maschinellen Lernen der Auswahl A. In einem ersten Verfahrensschritt V1 werden die Daten I des Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts bereitgestellt. Ferner werden parallelen Zeitreihen bereitgestellt, die durch Prozessieren der Daten I des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallele Entwicklungen Ot1, Ot2, ..., Otm der Verkehrsszene V mit jeweiligen Zeitstempeln t1, t2, ..., tm. In einem zweiten Verfahrensschritt V2 wird das künstliche neuronale Netzwerk NN trainiert. Zu gleichen Zeitstempeln t1, t2, ..., tm wird für jede der vorausberechneten zeitlich parallelen Entwicklungen Ot1, Ot2, ..., Otm ein Vorhersagefehler bestimmt basierend auf einem Vergleich mit Referenzdaten. Das künstliche neuronale Netzwerk NN lernt, zu jedem Zeitstempel t1, t2, ..., tm, in Abhängigkeit der Daten I des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung Ot1, Ot2, ..., Otm mit geringstem Vorhersagefehler auszuwählen. In einem dritten Verfahrensschritt V3 werden die ausgewählten vorausberechneten zeitlichen Entwicklungen Ot1, Ot2, ..., Otm einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt für Trajektorienplanung. 3 shows schematically the method for machine learning of selection A. In a first method step V1, the data I of the perception module are provided, comprising at least speeds of an object. Furthermore, parallel time series are provided, which were or are obtained by processing the data I of the perception module by at least one prediction module, comprising precalculated temporally parallel developments Ot1, Ot2, ..., Otm of the traffic scene V with respective time stamps t1, t2, ... , tm. In a second method step V2, the artificial neural network NN is trained. At the same time stamps t1, t2, . The artificial neural network NN learns, for each time stamp t1, t2, . In a third method step V3, the selected precalculated temporal developments Ot1, Ot2, . . . , Otm are made available to an action planning module of an automated driving system for trajectory planning.

BezugszeichenlisteReference List

V1-V3V1-V3: Verfahrensschritteprocess steps
S1-S3S1-S3: Verfahrensschritteprocess steps
VV: Verkehrsszenetraffic scene
AA: Auswahl einer vorausberechneten zeitlichen EntwicklungSelection of a predicted development over time
Ot1, Ot2, ..., OtmOt1, Ot2, ..., Otm: vorausberechnete zeitliche Entwicklungenpredicted developments over time
t1, t2, ..., tmt1, t2, ..., tm: Zeitstempeltime stamp
P1, P2, ..., PnP1, P2, ..., Pn: Vorhersagealgorithmenprediction algorithms
II: DatenData
TT: Trainingsdatensatztraining data set
NNNN: künstliches neuronales Netzwerkartificial neural network

Claims

Computerimplementiertes Verfahren zum maschinellen Lernen einer Auswahl (A) aus vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene (V) umfassend die Schritte • Bereitstellen ◯ von Daten (I) wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts; ◯ von parallelen Zeitreihen, die durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallele Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) mit jeweiligen Zeitstempeln (t1, t2, ..., tm), als Trainingsdatensatz (T) (V1); • Trainieren eines künstlichen neuronalen Netzwerks (NN) mit dem Trainingsdatensatz (T) (V2), wobei ◯ zu gleichen Zeitstempeln (t1, t2, ..., tm) für jede der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) ein Vorhersagefehler bestimmt wird basierend auf einem Vergleich mit Referenzdaten; ◯ das künstliche neuronale Netzwerk (NN) lernt, zu jedem Zeitstempel (t1, t2, ..., tm), in Abhängigkeit der Daten (I) des Wahrnehmungsmoduls, die vorausberechnete zeitliche Entwicklung (Ot1, Ot2, ..., Otm) mit geringstem Vorhersagefehler auszuwählen, wobei die ausgewählten vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung (V3).Computer-implemented method for machine learning of a selection (A) from precalculated temporal developments (Ot1, Ot2, ..., Otm) of a traffic scene (V) comprising the steps • Provide ◯ of data (I) of at least one perception module comprising at least speeds of an object; ◯ of parallel time series, which were or are obtained by processing the data (I) of the perception module by at least one prediction module, comprising precalculated temporally parallel developments (Ot1, Ot2, ..., Otm) of the traffic scene (V) with respective time stamps (t1 , t2, ..., tm), as a training data set (T) (V1); • Training an artificial neural network (NN) with the training data set (T) (V2), where ◯ a prediction error is determined at the same time stamps (t1, t2, ..., tm) for each of the precalculated temporally parallel developments (Ot1, Ot2, ..., Otm) based on a comparison with reference data; ◯ the artificial neural network (NN) learns, for each time stamp (t1, t2, ..., tm), depending on the data (I) of the perception module, the predicted temporal development (Ot1, Ot2, ..., Otm) with the smallest prediction error, the selected precalculated temporal developments (Ot1, Ot2, ..., Otm) being provided to an action planning module of an automated driving system for trajectory planning (V3).

Verfahren nach Anspruch 1, wobei • das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen (P1, P2, ..., Pn) ausführt und die Vorhersagealgorithmen (P1, P2, ..., Pn) parallele Zeitreihen ausgeben, wobei jeder der Vorhersagealgorithmen (P1, P2, ..., Pn) eine der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) ausgibt; oder • die parallelen Zeitreihen durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus (P1, P2, ..., Pn) ausführt, erhalten wurden oder werden.procedure after claim 1 , where • the at least one prediction module executes several prediction algorithms (P1, P2, ..., Pn) and the prediction algorithms (P1, P2, ..., Pn) output parallel time series, each of the prediction algorithms (P1, P2, .. ., Pn) outputs one of the precalculated temporally parallel developments (Ot1, Ot2, ..., Otm) of the traffic scene (V); or • the parallel time series were or are obtained by processing the data (I) of the perception module by a respective prediction module, each executing a specific prediction algorithm (P1, P2, ..., Pn).

Verfahren nach Anspruch 1 oder 2, wobei die Daten (I) des Wahrnehmungsmoduls durch • einen Karten basierten Vorhersagealgorithmus (P1, P2, ..., Pn) prozessiert werden und eine erste Zeitreihe erhalten wird; • einen Fahrsystem-Sensordaten gesteuerten Vorhersagealgorithmus (P1, P2, ..., Pn) zeitlich parallel prozessiert werden und eine zweite Zeitreihe erhalten wird.procedure after claim 1 or 2 , wherein the data (I) of the perception module are processed by • a map-based prediction algorithm (P1, P2, ..., Pn) and a first time series is obtained; • a prediction algorithm (P1, P2, . . . , Pn) controlled by a driving system sensor data is processed in parallel and a second time series is obtained.

Verfahren nach einem der vorangehenden Ansprüche, wobei die parallelen Zeitreihen vorausberechnete Trajektorien des Objekts umfassen.A method according to any one of the preceding claims, wherein the parallel time series include predicted trajectories of the object.

Verfahren nach einem der vorangehenden Ansprüche, wobei Gewichte des künstlichen neuronalen Netzwerks (NN) mit einem Backpropagation Algorithmus bestimmt werden, oder das künstliche neuronale Netzwerk Rückkopplungen umfasst und die Gewichte mit einem Backpropagation Through Time Algorithmus bestimmt werden.Method according to one of the preceding claims, wherein weights of the artificial neural network (NN) are determined using a backpropagation algorithm, or the artificial neural network comprises feedback and the weights are determined using a backpropagation through time algorithm.

Verfahren nach einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netzwerk (NN) mehrere Schichten mit jeweils mehreren Long Short-Term Memory Zellen umfasst.Method according to one of the preceding claims, in which the artificial neural network (NN) comprises a plurality of layers each having a plurality of long short-term memory cells.

Verfahren einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netzwerk (NN) vier Schichten mit jeweils 60 Long Short-Term Memory Zellen umfasst.Method according to one of the preceding claims, wherein the artificial neural network (NN) comprises four layers, each with 60 long short-term memory cells.

Verfahren nach einem der vorangehenden Ansprüche, wobei die parallelen Zeitreihen wenigstens 50 Zeitstempel umfassen und/oder je Trainingsepoche wenigstens 100 bis 1000 Trainingsproben des Trainingsdatensatzes (T) durch das künstliche neuronale Netzwerk (NN) prozessiert werden.Method according to one of the preceding claims, wherein the parallel time series include at least 50 time stamps and/or at least 100 to 1000 training samples of the training data set (T) are processed by the artificial neural network (NN) per training epoch.

Computerprogramm zum maschinellen Lernen einer Auswahl (A) aus vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene (V) umfassend Befehle, die bewirken, dass ein Hardwaremodul umfassend Hardware Beschleuniger, die Matrizen- und/oder Tensoroperationen optimieren, das Verfahren nach einem der vorangehenden Ansprüche ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.Computer program for machine learning of a selection (A) from precalculated temporal developments (Ot1, Ot2, ..., Otm) of a traffic scene (V) including instructions that cause a hardware module including hardware accelerators that optimize matrix and/or tensor operations Executing the method according to any one of the preceding claims when the computer program is executed by the hardware module.

Computerimplementiertes Verfahren zum Auswählen von vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene (V), wobei • Daten (I) wenigstens eines Wahrnehmungsmoduls umfassend wenigstens Geschwindigkeiten eines Objekts und • parallele Zeitreihen, die durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch wenigstens ein Vorhersagemodul erhalten wurden oder werden, umfassend vorausberechnete zeitlich parallel Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) mit jeweiligen Zeitstempeln (t1, t2, ..., tm), wobei das wenigstens eine Vorhersagemodul mehrere Vorhersagealgorithmen (P1, P2, ..., Pn) ausführt und die Vorhersagealgorithmen (P1, P2, ..., Pn) parallele Zeitreihen ausgeben, wobei jeder der Vorhersagealgorithmen (P1, P2, ..., Pn) eine der vorausberechneten zeitlich parallelen Entwicklungen (Ot1, Ot2, ..., Otm) der Verkehrsszene (V) ausgibt; oder • parallele Zeitreihen, die durch Prozessieren der Daten (I) des Wahrnehmungsmoduls durch jeweils ein Vorhersagemodul, das jeweils einen spezifischen Vorhersagealgorithmus (P1, P2, ..., Pn) ausführt, erhalten wurden oder werden, in ein nach dem Verfahren nach einem der Ansprüche 1 bis 8 trainiertes künstliches neuronales Netzwerks (NN) eingegeben werden (S1); • das künstliche neuronale Netzwerk (NN) zu jedem Zeitstempel (t1, t2, ..., tm) die beste von den Vorhersagemodulen vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) auswählt (S2); • die ausgewählten vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einem Handlungsplanungsmodul eines automatisierten Fahrsystems bereitgestellt werden für Trajektorienplanung (S3).Computer-implemented method for selecting precalculated temporal developments (Ot1, Ot2, ..., Otm) of a traffic scene (V), wherein • data (I) of at least one perception module comprising at least speeds of an object and • parallel time series that are obtained by processing the data ( I) the perception module was or will be obtained by at least one prediction module, comprising precalculated temporally parallel developments (Ot1, Ot2, ..., Otm) of the traffic scene (V) with respective time stamps (t1, t2, ..., tm), wherein the at least one prediction module executes multiple prediction algorithms (P1, P2, ..., Pn) and the prediction algorithms (P1, P2, ..., Pn) output parallel time series, each of the prediction algorithms (P1, P2, ..., Pn ) outputs one of the precalculated temporally parallel developments (Ot1, Ot2, ..., Otm) of the traffic scene (V); or • parallel time series obtained by processing the data (I) of the perception module by a respective prediction module, each executing a specific prediction algorithm (P1, P2, ..., Pn), into a according to the method according to a the Claims 1 until 8th trained artificial neural network (NN) are input (S1); • the artificial neural network (NN) selects (S2) the best temporal developments (Ot1, Ot2, ..., Otm) predicted by the prediction modules for each time stamp (t1, t2, ..., tm); • the selected precalculated temporal developments (Ot1, Ot2, ..., Otm) are made available to an action planning module of an automated driving system for trajectory planning (S3).

Computerprogramm zum Auswählen von vorausberechneten zeitlichen Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene umfassend Befehle, die bewirken, dass ein Hardwaremodul das Verfahren nach Anspruch 10 ausführt, wenn das Computerprogramm von dem Hardwaremodul ausgeführt wird.Computer program for selecting predicted developments over time (Ot1, Ot2, ..., Otm) of a traffic scene including commands that cause a hardware module to perform the method claim 10 executes when the computer program is executed by the hardware module.

Steuerungssystem für ein automatisiertes Fahrsystem zur Trajektorienplanung umfassend • ein Hardwaremodul, das ausgeführt ist, das Verfahren nach Anspruch 10 durchzuführen und ausgewählte vorausberechnete zeitliche Entwicklungen (Ot1, Ot2, ..., Otm) einer Verkehrsszene an ein Handlungsplanungsmodul auszugeben; • das Handlungsplanungsmodul, das ausgeführt ist, Fahrmanöver basierend auf den ausgewählten vorausberechneten zeitlichen Entwicklungen umfassend Umfahren eines Objekts und/oder Überholen eines Objektes zu planen umfassend Trajektorien zum Ausführen der Pläne; • ein Steuerungsmodul, das ausgeführt ist, Regelungs- und/oder Steuerungssignale an eine Aktuatorik des Fahrsystems auszugeben zum Ausführen einer der geplanten Trajektorien.Control system for an automated driving system for trajectory planning comprising • a hardware module that is designed according to the method claim 10 carry out and output selected precalculated temporal developments (Ot1, Ot2, ..., Otm) of a traffic scene to an action planning module; • the action planning module, which is designed to plan driving maneuvers based on the selected precalculated developments over time, including driving around an object and/or overtaking an object, including trajectories for executing the plans; • a control module that is designed to output regulation and/or control signals to an actuator system of the driving system in order to execute one of the planned trajectories.