DE102017007136A1 - Method and device for training self-learning algorithms for an automated mobile vehicle - Google Patents

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug mit einem vorgegebenen Automatisierungsmodul durch Erzeugung von Lernsituationen, umfassend eine Initialisierungseinheit zur Vorgabe bzw. selbständigen Erzeugung einer Simulationsumgebung, eine Ego-Fahrzeug-Einheit, welche hinsichtlich der physikalischen Daten und eines KI-Moduls identisch ist zu einem existierenden Fahrzeug, eine Umgebungseinheit, welche Daten einer virtuellen Umgebung der Ego-Fahrzeug-Einheit enthält, eine Simulationseinheit, welche eine Simulation einer Fahrt des Ego-Fahrzeugs durchführt und überprüft, ob eine relevante Lernsituation vorliegt, sowie eine Trainings-Einheit, welche auf der Grundlage der erzeugten Lernsituation einen Fahralgorithmus für automatisiertes Fahren trainiert.

The invention relates to an apparatus and a method for training self-learning algorithms for an automated mobile vehicle with a predetermined automation module by generating learning situations, comprising an initialization unit for independently generating a simulation environment, an ego-vehicle unit, which in terms of physical data and an AI module is identical to an existing vehicle, an environment unit that contains data of a virtual environment of the ego vehicle unit, a simulation unit that performs a simulation of a drive of the ego vehicle and checks whether a relevant learning situation exists, and a training unit that trains an automated driving method based on the generated learning situation.

Description

Die Erfindung betrifft ein Verfahren zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug mit einem vorgegebenen Automatisierungsmodul durch Erzeugung von Lernsituationen.The invention relates to a method for training self-learning algorithms for an automated mobile vehicle with a predetermined automation module by generating learning situations.

Automatisiert fahrbare Fahrzeuge werden zukünftig eine immer größere Rolle im Straßenverkehr spielen. Dafür müssen solche Fahrzeuge sog. Automatisierungsmodule umfassen, welche mit Umgebungssensoren verbunden sind und mittels eines Künstliche-Intelligenz-Moduls (KI-Moduls) in der Lage ist, auf möglichst alle real vorkommenden Verkehrs- und Gefahrensituationen angemessen zu reagieren. Um dies zu erreichen, wäre es wünschenswert, die Absichten anderer Fahrer in bestimmten Situationen einschätzen zu können, also die Wahrscheinlichkeiten bestimmter Reaktionen zu bestimmen. Hierfür ist es nötig, das KI-Modul zu trainieren, also mit Daten zu einer Vielzahl von verschiedenen Verkehrssituationen zu füttern, welche von einem Maschinenlern-Algorithmus erfasst, ausgewertet und abstrahiert werden, um daraus im späteren realen automatisierten Fahrbetrieb bei auftretenden ähnlichen Verkehrssituationen geeignete Handlungsanweisungen bereitzustellen.Automated mobile vehicles will play an increasingly important role in road traffic in the future. For this purpose, such vehicles must include so-called. Automation modules, which are connected to environmental sensors and by means of an artificial intelligence module (AI module) is able to respond to all possible real occurring traffic and dangerous situations appropriately. In order to achieve this, it would be desirable to be able to assess the intentions of other drivers in certain situations, ie to determine the probabilities of certain reactions. For this purpose, it is necessary to train the AI module, that is to feed with data on a variety of different traffic situations, which are detected by a machine learning algorithm, evaluated and abstracted, in order from this later real automated driving in occurring similar traffic situations appropriate instructions provide.

Besonders geeignet hierfür sind selbstlernende Algorithmen, zum Beispiel für die Fahrstrategie-Entscheidung oder die Bewegungsprädiktion anderer Verkehrsteilnehmer. Dies ist deshalb wichtig, weil in reellen Fahrsituationen auf unerwartete Manöver und Situationen reagiert werden muss, wobei für die Unmenge an Einzelfällen keine Einzelplanung verfügbar sein kann.Particularly suitable for this are self-learning algorithms, for example for the driving strategy decision or the motion prediction of other road users. This is important because in real driving situations, unexpected maneuvers and situations have to be addressed, with no individual planning being available for the vast number of individual cases.

Bisher werden die Daten für die selbstlernenden Algorithmen über Realfahrtdatensätze gewonnen, es werden also aus realen Fahrten mit einer Vielzahl an Datengewinnungsfahrzeugen (Ego-Fahrzeugen), welche über entsprechende Datenaufzeichnungsmittel verfügen, entsprechende Lernsituationen bzw. Lernszenarien erzeugt, welche dann zum Trainieren der selbstlernenden Algorithmen Verwendung finden. Zum einen ist diese herkömmliche Datengewinnung sehr aufwändig und teuer und zum anderen ist es problematisch, besondere Gefahrensituationen zu erfassen, welche aber gerade für das Trainieren besonders wichtig sind. Denn erstens kommen solche Gefahrensituationen angesichts der überwiegend vernünftigen Fahrweisen der meisten Verkehrsteilnehmer nur selten vor und zweitens ist es ethisch verwerflich, solche realen Gefahrensituationen für die Fahrer der Datengewinnungsfahrzeuge und der umgebenen Fahrzeuge zwecks Datengewinnung bewusst herbeizuführen.So far, the data for the self-learning algorithms are obtained via real-life data sets, so that corresponding learning situations or learning scenarios are generated from real trips with a large number of data acquisition vehicles (ego vehicles) which have corresponding data recording means, which are then used to train the self-learning algorithms Find. On the one hand, this conventional data acquisition is very complex and expensive, and on the other hand, it is problematic to detect special dangerous situations, which are especially important for training. Firstly, such dangerous situations rarely occur in the face of the predominantly rational driving style of most road users and secondly, it is ethically reprehensible to intentionally bring about such real dangerous situations for the drivers of the data collection vehicles and the surrounding vehicles for the purposes of data acquisition.

Darüber hinaus haben die mittels Realfahrt-Studien gewonnenen Datensätze den Nachteil, dass die Daten von den umgebenen Verkehrsteilnehmern nur insoweit vorliegen, wie diese von der Sensorik des Datengewinnungsfahrzeugs erfasst wurden. Für ein optimales Training wäre die Berücksichtigung weiterer objektiver Daten der anderen Verkehrsteilnehmer, z.B. die physikalischen Daten der Umgebungsfahrzeuge oder physiologische Informationen zu den jeweiligen Fahrern (z.B. ob diese aggressiv oder defensiv fahren bzw. aufmerksam oder unaufmerksam sind) von erheblichem Vorteil.In addition, the data sets obtained by means of real-life studies have the disadvantage that the data from the surrounding road users are present only to the extent that they were detected by the sensors of the data acquisition vehicle. For optimal training, consideration of other objective data of other road users, e.g. the physical data of the surrounding vehicles or physiological information to the respective drivers (for example, whether they are aggressive or defensive drive or attentive or inattentive) of considerable advantage.

Hiervon ausgehend liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug bereitzustellen, welches die o.g. Nachteile vermeidet und mit geringem Aufwand eine verbesserte Datengewinnung für das Trainieren selbstlernender Algorithmen bereitzustellen.Proceeding from this, the object of the invention is to provide a method and a device for training self-learning algorithms for an automated mobile vehicle, which the above-mentioned. Avoid disadvantages and provide improved data acquisition for training self-learning algorithms with little effort.

Die Erfindung ergibt sich aus den Merkmalen des unabhängigen Anspruchs. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.The invention results from the features of the independent claim. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description, as well as the explanation of embodiments of the invention, which are illustrated in the figures.

Die Aufgabe wird hinsichtlich des Verfahrens dadurch gelöst, dass ein Verfahren zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug mit einem vorgegebenen Automatisierungsmodul M_Vehicle durch Erzeugung von Lernsituationen bereitgestellt wird, bei dem die Lernsituationen wie folgt erzeugt werden:

• - Durchführung einer Verkehrs-Simulation, bei der ein virtuelles Ego-Fahrzeug mit dem Automatisierungsmodul M_Vehicle des realen Fahrzeugs in ein virtuelles Szenario gesetzt wird, das Szenario umfassend eine Fahrwegestruktur mit einer vorgegebenen Fahrtroute, ferner umfassend automatisiert erzeugte weitere virtuelle bewegte Objekte mit individuell vorgebbaren Objekteigenschaften und Verhaltensmodellen, wobei die Objekte im Zuge der fortschreitenden Simulation miteinander selbständig und adaptiv auf der Grundlage der jeweiligen Objekteigenschaften und Verhaltensmodelle interagieren,
• - Durchführung einer Fahrdynamik-Simulation auf der Grundlage des Automatisierungsmoduls M_Vehicle sowie von virtuellen Sensorsignalen der bewegten Objekte einer dem Ego-Fahrzeug zugeordneten virtuellen Sensorik, die einer Sensorik des real existierenden Fahrzeugs entsprechen, bei der Reaktionen des Ego-Fahrzeugs erzeugt werden,
• - Identifikation einer relevanten Lernsituation anhand von Auswahlkriterien, die auf der Grundlage von vorgebbaren Metriken bestimmt werden.

The object is achieved with respect to the method by providing a method for training self-learning algorithms for an automated mobile vehicle with a predetermined automation module M _Vehicle by generating learning situations in which the learning situations are generated as follows:

• - Carrying out a traffic simulation, in which a virtual ego vehicle is set with the automation module M _{Vehicle of} the real vehicle in a virtual scenario, the scenario comprising a track structure with a predetermined route, further comprising automatically generated further virtual moving objects with individually definable Object properties and behavioral models, whereby the objects interact independently and adaptively in the course of the progressive simulation on the basis of the respective object properties and behavioral models,
• Carrying out a vehicle dynamics simulation on the basis of the automation module M _Vehicle and of virtual sensor signals of the moving objects of a virtual sensor system assigned to the ego vehicle, that of a sensor system of the vehicle actually existing in which reactions of the ego vehicle are generated,
• - Identification of a relevant learning situation based on selection criteria, which are determined on the basis of predeterminable metrics.

Die Aufgabe wird hinsichtlich ferner durch eine Trainingsvorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug mit einem vorgegebenen Automatisierungsmodul durch Erzeugung von Lernsituationen gelöst, das folgende Bestandteile umfasst: eine Initialisierungseinheit zur Vorgabe bzw. selbständigen Erzeugung einer Simulationsumgebung, eine Ego-Fahrzeug-Einheit, welche hinsichtlich der physikalischen Daten und eines KI-Moduls identisch ist zu einem existierenden Fahrzeug, einer Umgebungseinheit, welche Daten einer virtuellen Umgebung der Ego-Fahrzeug-Einheit enthält, eine Simulationseinheit, welche eine Simulation einer Fahrt des Ego-Fahrzeugs durchführt und überprüft, ob eine relevante Lernsituation vorliegt, eine Trainings-Einheit, welche auf der Grundlage der erzeugten Lernsituation einen Fahralgorithmus für automatisiertes Fahren trainiert.The object is further solved by a training device for training self-learning algorithms for an automated mobile vehicle with a predetermined automation module by generating learning situations, comprising the following components: an initialization unit for independently generating a simulation environment, an ego vehicle unit, which is identical with respect to the physical data and an AI module to an existing vehicle, an environment unit containing data of a virtual environment of the ego vehicle unit, a simulation unit that performs a simulation of driving the ego vehicle and checks whether a relevant learning situation exists, a training unit which trains a driving algorithm for automated driving on the basis of the generated learning situation.

Mit anderen Worten wird ein selbstlernender Algorithmus zum kooperativen automatisierten Fahren als Modul in eine kombinierte Verkehrs- und Fahrdynamik-Simulation eingebunden, um durch eine Vielzahl von automatisch erzeugten Szenarien möglichst umfassend und optimal trainiert zu werden. In der Verkehrs-Simulation wird die Verkehrsumgebung mit dem Fahrverhalten anderer (virtueller) Verkehrsteilnehmer simuliert, in der Fahrdynamik-Simulation werden kooperative und hoch automatisierte Fahrfunktionen wie die Fahrdynamik, Sensorik, Fahrstrategie, Trajektorienplanung des Ego-Fahrzeugs sowie Kartenfehler simuliert und mit der Verkehrs-Simulation gekoppelt.In other words, a self-learning algorithm for cooperative automated driving is integrated as a module in a combined traffic and driving dynamics simulation in order to be trained as comprehensively and optimally as possible by a multiplicity of automatically generated scenarios. In traffic simulation, the traffic environment is simulated with the driving behavior of other (virtual) road users. In driving dynamics simulation, cooperative and highly automated driving functions such as driving dynamics, sensors, driving strategy, trajectory planning of the ego vehicle and map errors are simulated. Simulation coupled.

Durch die zufällige und automatisierte Erzeugung von Lernszenarien können durch Expertenwissen nicht identifizierbare Szenarien (z.B. „Black Swan Phänomen“) erhoben werden.Random and automated generation of learning scenarios can raise the level of expertise that unidentifiable scenarios (such as the black swan phenomenon) can cause.

Dabei ist vorzugsweise die virtuelle Umgebung in beiden Simulationen und für das KI-Modul gleich und diese können auch stochastisch variiert werden. Beispielsweise können die Auffahrtlänge, die Soll-Geschwindigkeit oder die Anzahl von Fahrspuren variiert werden. Beide Umgebungen tauschen sich dynamisch und statisch aus, so dass die gesamte virtuelle Welt, von den Straßen bis zu den Geschwindigkeiten aller virtuellen Verkehrsteilnehmer änderbar ist.Preferably, the virtual environment in both simulations and for the AI module is the same and these can also be varied stochastically. For example, the driveway length, the target speed or the number of lanes can be varied. Both environments interact dynamically and statically so that the entire virtual world, from the roads to the speeds of all virtual road users, can be changed.

Die Aufgabe der Erfindung ist weiterhin gelöst durch ein Computersystem, mit einer Datenverarbeitungsvorrichtung, wobei die Datenverarbeitungsvorrichtung derart ausgestaltet ist, dass ein entsprechendes Verfahren ausführbar ist.The object of the invention is further achieved by a computer system having a data processing device, wherein the data processing device is configured such that a corresponding method can be executed.

Gegenüber einer Datengewinnung mittels Fahrversuchen mit realen Fahrzeugen ergibt sich eine Reihe von Vorteilen. So gibt es keine Gefährdung des Fahrers eines Ego-Fahrzeuges sowie der umgebenden Fahrzeuge. Ferner lässt sich eine große Bandbreite von automatisiert erzeugten Szenarien zum Trainieren nutzen, dies kann zudem bei geeigneter Rechnerleistung schneller als in Realzeit stattfinden. Durch den Entfall der Notwendigkeit von Datensätzen aus Realfahrt-Studien vermeidet man einen Verbrauch an Ressourcen finanzieller wie energetischer Natur.Compared to data acquisition by means of driving tests with real vehicles results in a number of advantages. So there is no danger to the driver of an ego vehicle and the surrounding vehicles. Furthermore, a wide range of automatically generated scenarios can be used for training, and this can also take place faster than in real time with suitable computer performance. By eliminating the need for records from real-life studies to avoid a consumption of resources financial and energetic nature.

Ein wesentlicher Vorteil besteht darin, dass sich Szenarien darstellen lassen, die nahe an den Systemgrenzen sind und die daher im öffentlichen Raum nicht getestet werden können. Bei Realfahrtversuchen ist außerdem die Überwachung des Fahrverhaltens anderer Verkehrsteilnehmer nicht möglich und nicht reproduzierbar.A key advantage is that scenarios can be represented that are close to the system boundaries and therefore can not be tested in public space. In real driving tests also the monitoring of the driving behavior of other road users is not possible and not reproducible.

Außerdem können bestimmte Verkehrssituationen durch produzierte und unterschiedliche Stadien des selbstlernenden Algorithmus damit verglichen werden. Es sind im Gegensatz zum Realfahrtversuch gezielte Lernstrategien möglich.In addition, certain traffic situations can be compared with produced and different stages of the self-learning algorithm. In contrast to the real driving test, targeted learning strategies are possible.

Beide Teilsimulationen (Verkehrs-Simulation und Fahrdynamik-Simulation) sind stochastisch unabhängig, daher können auch ungeplante Situationen generiert und gelernt werden. Ferner können Teilsysteme unkompliziert ausgetauscht werden, zum Beispiel ein autonomes Kompaktfahrzeug durch einen autonomen SUV oder einen autonomen Truck mit den jeweiligen Sensorsets und dynamischen Eigenschaften.Both partial simulations (traffic simulation and driving dynamics simulation) are stochastically independent, therefore unplanned situations can also be generated and learned. Furthermore, subsystems can be easily replaced, for example, an autonomous compact vehicle by an autonomous SUV or an autonomous truck with the respective sensor sets and dynamic properties.

Unbekanntes Territorium kann sehr schnell in das System via Einlesen neuer Kartendaten integriert werden, daher ist das System generell einsetzbar für Lernszenarien von Autobahnen bis hin zu urbanen Anwendungen. Schließlich können reale Kartendaten realer Straßen verwendet werden.Unknown territory can be integrated into the system very quickly by reading in new map data, so the system is generally applicable for learning scenarios from highways to urban applications. Finally, real map data of real roads can be used.

Gemäß einer vorteilhaften Ausbildung der Erfindung wird bei dem Verfahren die identifizierte Lernsituation vor einer Speicherung einer Plausibilitätsprüfung unterzogen im Hinblick darauf, ob diese physikalisch plausibel ist. Hierdurch wird verhindert, dass unplausible Lernsituationen zum Bestandteil der Trainingsdaten werden und damit das Trainingsergebnis negativ beeinflussen. Die Plausibilitätsprüfung erfasst eine Reihe von möglichen Plausibilitäten, beispielsweise unrealistische Ausreißer in z.B. der Geschwindigkeit. (Bsp.: Ein Fahrzeug fährt mit 200 km/h durch die Stadt), bzw. stark unrealistische Situationen.According to an advantageous embodiment of the invention, in the method the identified learning situation is subjected to a plausibility check prior to storage with regard to whether it is physically plausible. This prevents implausible learning situations from becoming part of the training data and thus having a negative impact on the training result. The plausibility check detects a number of possible plausibilities, for example, unrealistic outliers in e.g. the speed. (Ex: A vehicle drives at 200 km / h through the city), or very unrealistic situations.

Gemäß einer weiteren vorteilhaften Ausbildung der Erfindung wird die identifizierte Lernsituation vor einer Speicherung einer Relevanzprüfung unterzogen, wobei bei Unterschreiten eines Relevanzschwellwertes automatisiert Parameter verändert werden und die kombinierte Verkehrs-Simulation und Fahrdynamik-Simulation erneut durchlaufen wird. In accordance with a further advantageous embodiment of the invention, the identified learning situation is subjected to a relevance check prior to storage, wherein parameters are changed automatically when a relevance threshold value is undershot and the combined traffic simulation and vehicle dynamics simulation are run through again.

Beispielsweise kann die Verzögerung eines dem Ego-Fahrzeug vorausfahrenden Fahrzeuges verstärkt werden, damit ein Zeitraum bis zu einer Kollision (Time-to-collision bzw. TTC) noch näher an den Relevanzschwellwert geführt wird. Oder die Länge der Auffahrt wird verkürzt, dass die Gefährdungssituation noch grenzwertiger wird. Oder die Fahrbahnbreite wird verengt in Analogie zu Baustellen.For example, the delay of a vehicle driving ahead of the ego vehicle can be increased so that a time to collision (time-to-collision or TTC) is brought even closer to the relevance threshold value. Or the length of the driveway is shortened, that the risk situation is even borderline. Or the road width is narrowed in analogy to construction sites.

Ein anderes Beispiel wäre ein detektierter Fußgänger, der an der Straße steht. Eine erste Parameterveränderung könnte sein, dass der Fußgänger über die Straße geht, eine zweite Parameterveränderung, dass der Fußgänger auf die Straße rennt.Another example would be a detected pedestrian standing on the road. A first parameter change could be that the pedestrian crosses the street, a second parameter change that causes the pedestrian to run onto the street.

Noch ein Beispiel wäre ein Ampelphasenwechsel auf Rot in 5 sek. Eine Parameterveränderung wäre beispielsweise eine Zeitverkürzung in 1 sek.Another example would be a traffic light phase change to red in 5 sec. A parameter change would be, for example, a time reduction in 1 sec.

Gemäß einer weiteren vorteilhaften Ausbildung der Erfindung beinhaltet bei dem Verfahren die Fahrwegestruktur geometrische und semantische Straßeninformationen. Vorzugsweise umfassen diese Verkehrsschilder, Lichtsignalanlagen, und/oder Signalphaseninformationen.According to a further advantageous embodiment of the invention, in the method, the infrastructure structure includes geometric and semantic road information. Preferably, these include traffic signs, traffic lights, and / or signal phase information.

Vorzugsweise umfassen die Straßeninformationen virtuelle Abbildungen der statischen Umgebung, insbesondere Leitplanken, Schilderbrücken, Pfosten.The road information preferably comprises virtual images of the static environment, in particular crash barriers, gantries, posts.

Gemäß einer weiteren vorteilhaften Ausbildung der Erfindung umfassen die bewegten Objekte Kraftfahrzeuge, Motorräder, Fahrräder, Fußgänger und Tiere. Hierdurch können die möglichen Trainingssituationen alle möglichen Gefahrensituationen umfassen.According to a further advantageous embodiment of the invention, the moving objects include motor vehicles, motorcycles, bicycles, pedestrians and animals. As a result, the possible training situations can include all possible dangerous situations.

Durch entsprechende Vorgaben der Umgebung mit bestimmten Rahmenbedingungen wie Ampelsituationen kann durch Variation der Parameter (z.B. die Anzahl der an einer Ampel stehenden Personen oder deren Verhalten, Durchspielen unterschiedlicher Grünphasen, Durchspielen verschiedener Eigengeschwindigkeiten) können für Szenarien, die aufgrund empirischer Daten als problematisch erkannt wurden, in kurzer Zeit eine Vielzahl von Trainings-Datensätzen in Form von Lernsituationen erzeugt, auf Relevanz und Plausibilität überprüft und der Trainingseinheit zugeführt werden.By appropriate specifications of the environment with certain framework conditions such as traffic light situations, by varying the parameters (eg the number of people standing at a traffic light or their behavior, playing through different green phases, playing through different intrinsic speeds) can be considered as problematic for scenarios that have been identified as problematic on the basis of empirical data. a large number of training data sets in the form of learning situations can be generated in a short time, checked for relevance and plausibility and fed to the training session.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnungen - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details will become apparent from the following description, in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. The same, similar and / or functionally identical parts are provided with the same reference numerals.

Es zeigen:

• 1: ein Blockschaltbild des erfindungsgemäßen Verfahrens,
• 2: eine Darstellung einer Verkehrssituation,
• 3: ein Flussdiagramm des Grundprozesses,
• 4: ein Flussdiagramm eines modifizierten Prozesses.

Show it:

• 1 : a block diagram of the method according to the invention,
• 2 : a representation of a traffic situation,
• 3 : a flowchart of the basic process,
• 4 : a flowchart of a modified process.

In 1 ist ein Blockschaltbild des erfindungsgemäßen Verfahrens dargestellt, bei dem im Schritt 10 die wesentlichen Parameter der Simulation festgelegt werden, insbesondere statische Umgebung, Verkehrsparameter (Fluss, Dichte), Route, grundlegende Fahrzeugdaten wie Fahrzeuggröße, Sensor-Setup und -eigenschaften.In 1 a block diagram of the method according to the invention is shown, in which in step 10 the main parameters of the simulation are set, in particular static environment, traffic parameters (flow, density), route, basic vehicle data such as vehicle size, sensor setup and characteristics.

Im Schritt 12 wird die Simulation durchgeführt und zwar in Wechselwirkungen eines Ego-Fahrzeugmodels 14 und der Fahrzeugumgebung 16. Daraus werden Trainingsdatensätze 18 gewonnen, die in einem Trainingsschritt 20 zum Trainieren bzw. Anlernen des Algorithmus verwendet werden. Im Schritt 22 erfolgt schließlich die Auswertung des Trainingsergebnisses.In step 12 the simulation is carried out in interactions of an ego vehicle model 14 and the vehicle environment 16 , This will become training records 18 won in a training step 20 be used for training or learning the algorithm. In step 22 Finally, the evaluation of the training result.

In 2 oben ist schematisch eine Verkehrs-Simulation 24 dargestellt, in der ein Ego-Fahrzeug 26 von einer Anzahl von virtuellen Umgebungsfahrzeugen 28 umgeben auf einer Straße 30 fährt. Die Straße 30 kann eine real existierende Straßenkarte oder eine modifizierte Straßensituation oder eine Fantasieumgebung sein. Die Umgebungsfahrzeuge 28 weisen individuell unterschiedliche und einstellbare Objekteigenschaften und Verhaltensmodelle auf. So können beliebige Fahrzeuge mit ihren physikalischen Daten wie Maße, Größe, Gewicht, Leistung zugrunde gelegt werden. Als Verhaltensmodelle können unterschiedliche Verhaltensweisen von Fahrern vorgegeben werden. Anstellte von Umgebungsfahrzeugen 28 können auch andere bewegte Objekte wie Personen oder Tiere in die virtuelle Umgebung gesetzt und bewegt werden.In 2 above is a schematic traffic simulation 24 pictured in an ego vehicle 26 from a number of virtual environment vehicles 28 surrounded on a street 30 moves. The street 30 may be a real existing road map or a modified road situation or a fantasy environment. The surrounding vehicles 28 have individually different and adjustable object properties and behavioral models. So any vehicles can be based on their physical data such as dimensions, size, weight, performance. As behavioral models, different behaviors of drivers can be specified. Employed by surrounding vehicles 28 Other moving objects such as people or animals can also be set and moved into the virtual environment.

In 2 unten ist schematisch eine Fahrdynamik-Simulation dargestellt, welche die für die Simulation relevanten Umgebungsfahrzeugen 28 umfasst. Hingegen bleiben solche in 2 oben dargestellte Drittfahrzeuge 32, welche keine unmittelbaren Wechselwirkungen mit dem Egofahrzeug 26 erwarten lassen, außer Betracht.In 2 Below is shown schematically a vehicle dynamics simulation, which are relevant for the simulation surrounding vehicles 28 includes. On the other hand, such remain in 2 Third vehicles shown above 32 which have no direct interactions with the ego vehicle 26 expect to be ignored.

In 3 ist ein Flussdiagramm des Grundprozesses dargestellt. Im Initialisierungsschritt 40 werden die wesentlichen Parameter der Simulation festgelegt. Daraus wird im Schritt 42 die Simulationsumgebung gemäß 2 oben erstellt. Im Schritt 44 wird die Simulation gestartet. Im Schritt 46 wird geprüft, ob eine Sollzeit T_Soll erreicht ist. Wenn nicht, wird im Schritt 48 die Simulation fortgesetzt. Falls hingegen die Sollzeit T_Soll überschritten wurde, wird gemäß Schritt 50 die Simulation abgebrochen. Dann wird im Schritt 52 geprüft, ob die gewonnenen Trainingsdaten plausibel sind, also keine unrealistischen Ausreißer in z.B. der Geschwindigkeit. (Bsp.: Ein Fahrzeug fährt mit 200 km/h durch die Stadt) oder stark unrealistische Situationen.In 3 a flow chart of the basic process is shown. In the initialization step 40 the essential parameters of the simulation are defined. This will be in the step 42 the simulation environment according to 2 created above. In step 44 the simulation is started. In step 46 it is checked whether a target time T _{target is} reached. If not, will step in 48 the simulation continues. If, on the other hand, the setpoint time T _{setpoint has been} exceeded, the step S4 50 the simulation was aborted. Then in step 52 checked whether the obtained training data are plausible, so no unrealistic outliers in eg the speed. (Ex: A vehicle drives at 200 km / h through the city) or very unrealistic situations.

Wenn dies nicht der Fall ist, wird das gesamte Szenario verworfen und es wird zum Schritt 40 zurückgekehrt. Wenn hingegen im Schritt 52 festgestellt, wird, dass die Trainingsdaten plausibel sind, dann wird die Lernsituation im Schritt 54 gespeichert und im Trainingsschritt 56 das KI-Modul damit trainiert.If not, the entire scenario is discarded and it becomes the step 40 returned. If, however, in step 52 is determined that the training data is plausible, then the learning situation in the step 54 saved and in the training step 56 training the AI module with it.

In 4 ist ein Flussdiagramm eines modifizierten Prozesses mit überwachtem Lernen (supervised learning) dargestellt. Im Initialisierungsschritt 60 werden wie im Schritt 40 von 3 die wesentlichen Parameter der Simulation festgelegt und im Schritt 62 die Simulation durchgeführt. Im Schritt 64 wird ein Lernsituationstyp bestimmt, z.B. ein Spurwechsel anderer Verkehrsteilnehmer, Gefahrenbremse eines vorausfahrenden Fahrzeuges, Kind läuft auf die Straße, etc.In 4 FIG. 3 is a flowchart of a modified supervised learning process. FIG. In the initialization step 60 become like step 40 from 3 set the essential parameters of the simulation and in the step 62 the simulation was done. In step 64 a learning situation type is determined, eg a lane change of other road users, danger brake of a preceding vehicle, child runs on the road, etc.

Im Schritt 66 wird geprüft, ob der bestimmte Lernsituationstyp relevant ist, z.B. ein Spurwechsel, Gefahrenbremsung, Fußgänger überqueren die Straße, die Ampelphase verändert sich. Wenn nicht, erfolgt im Schritt 68 eine zufällige Änderung einzelner Parameter, beispielsweise von Fahrzeugeigenschaften oder Fahrereigenschaften oder der Positionierung von Umgebungsfahrzeugen 28 (2) und es wird zum Initialisierungsschritt 60 zurückgekehrt und die Simulation neu gestartet. Wenn hingegen im Schritt 66 die hinreichende Relevanz des Lernsituationstyps festgestellt wurde, so wird im Speicherschritt 70 die Lernsituation gespeichert und im Trainingsschritt 72 das KI-Modul damit trainiert. Im Schritt 74 erfolgt dann eine systematische Änderung von Parametern, entweder automatisiert oder manuell.In step 66 It is checked whether the specific type of learning situation is relevant, for example a lane change, emergency braking, pedestrians cross the street, the traffic light phase changes. If not, done in step 68 a random change of individual parameters, such as vehicle characteristics or driver characteristics or the positioning of surrounding vehicles 28 ( 2 ) and it becomes the initialization step 60 returned and restarted the simulation. If, however, in step 66 the sufficient relevance of the learning situation type has been determined, then is in the storage step 70 saved the learning situation and in the training step 72 training the AI module with it. In step 74 then a systematic change of parameters occurs, either automated or manual.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description of the figures enable one skilled in the art to practice the exemplary embodiments, and those of skill in the knowledge of the disclosed inventive concept may make various changes, for example as to the function or arrangement of particular elements recited in an exemplary embodiment, without Protection area defined by the claims and their legal equivalents, such as further explanations in the description.

Claims (11)

Verfahren zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug (26) mit einem vorgegebenen Automatisierungsmodul M_Vehicle durch Erzeugung von Lernsituationen, wobei die Lernsituationen wie folgt erzeugt werden: - Durchführung einer Verkehrs-Simulation, bei der ein virtuelles Ego-Fahrzeug (26) mit dem Automatisierungsmodul M_Vehicle (14) des realen Fahrzeugs in ein virtuelles Szenario gesetzt wird, das Szenario umfassend eine Fahrwegestruktur (16) mit einer vorgegebenen Fahrtroute, ferner umfassend automatisiert erzeugte weitere virtuelle bewegte Objekte (28, 32) mit individuell vorgebbaren Objekteigenschaften und Verhaltensmodellen, wobei die Objekte (28, 32) im Zuge der fortschreitenden Simulation miteinander selbständig und adaptiv auf der Grundlage der jeweiligen Objekteigenschaften und Verhaltensmodelle interagieren, - Durchführung einer Fahrdynamik-Simulation (48, 62) auf der Grundlage des Automatisierungsmoduls M_Vehicle (14) sowie von virtuellen Sensorsignalen der bewegten Objekte einer dem Ego-Fahrzeug (26) zugeordneten virtuellen Sensorik, die einer Sensorik des real existierenden Fahrzeugs entsprechen, bei der Reaktionen des Ego-Fahrzeugs (26) erzeugt werden, - Identifikation einer relevanten Lernsituation (46, 52, 66) anhand von Auswahlkriterien, die auf der Grundlage von vorgebbaren Metriken bestimmt werden.A method for training self-learning algorithms for an automated mobile vehicle (26) with a predetermined automation module M _Vehicle by generating learning situations, wherein the learning situations are generated as follows: - Carrying out a traffic simulation in which a virtual ego vehicle (26) with the automation module M _Vehicle (14) of the real vehicle is set in a virtual scenario, the scenario comprising a route structure (16) with a predetermined route, further comprising automatically generated further virtual moving objects (28, 32) with individually definable object properties and behavioral models, wherein the objects (28, 32) interact independently and adaptively in the course of the progressive simulation on the basis of the respective object properties and behavioral models, - Carrying out a vehicle dynamics simulation (48, 62) on the basis of the automation module M _Vehicle (14) and of virtual sensor signals of the moving objects of a virtual sensor system associated with the ego vehicle (26), which correspond to a sensor system of the actually existing vehicle, in which reactions of the ego vehicle (26) are generated, identification of a relevant learning situation (46, 52, 66 ) based on selection criteria, which are determined on the basis of predefined metrics. Verfahren nach Anspruch 1, wobei die identifizierte Lernsituation vor einer Speicherung einer Plausibilitätsprüfung unterzogen wird (52) im Hinblick darauf, ob diese physikalisch plausibel ist.Method according to Claim 1 wherein the identified learning situation is subjected to a plausibility check before storage (52) as to whether it is physically plausible. Verfahren nach Anspruch 1 oder 2, wobei die identifizierte Lernsituation vor einer Speicherung einer Relevanzprüfung (66) unterzogen wird, wobei bei Unterschreiten eines Relevanzschwellwertes automatisiert Parameter verändert werden (68) und die kombinierte Verkehrs-Simulation und Fahrdynamik-Simulation erneut durchlaufen wird.Method according to Claim 1 or 2 , wherein the identified learning situation before a storage is subjected to a relevance check (66), whereby parameters are changed automatically when a relevance threshold is undershot (68) and the combined traffic simulation and vehicle dynamics simulation will be run again. Verfahren nach Anspruch 3, wobei bei Überschreitung des Relevanzschwellwertes die Lernsituation einer Trainingseinheit (72) zugeführt wird und anschließend systematisch Parameter verändert werden (74) und die kombinierte Verkehrs-Simulation und Fahrdynamik-Simulation erneut durchlaufen wird.Method according to Claim 3 , wherein when the relevance threshold value is exceeded, the learning situation is supplied to a training unit (72) and then systematically parameters are changed (74) and the combined traffic simulation and vehicle dynamics simulation is run through again. Verfahren nach Anspruch 1, wobei die Fahrwegestruktur geometrische und semantische Straßeninformationen beinhaltet.Method according to Claim 1 wherein the infrastructure structure includes geometric and semantic road information. Verfahren nach Anspruch 5, wobei die Straßeninformationen Verkehrsschilder, Lichtsignalanlagen und/oder Signalphaseninformationen umfassen.Method according to Claim 5 wherein the road information comprises traffic signs, traffic lights and / or signal phase information. Verfahren nach Anspruch 5, wobei die Straßeninformationen virtueller Abbildungen der statischen Umgebung, insbesondere Leitplanken, Schilderbrücken und/oder Pfosten umfassen.Method according to Claim 5 in which the road information comprises virtual images of the static environment, in particular crash barriers, gantries and / or posts. Verfahren nach Anspruch 1, wobei die bewegten Objekte Kraftfahrzeuge, Motorräder, Fahrräder, Fußgänger und Tiere umfassen.Method according to Claim 1 , wherein the moving objects include motor vehicles, motorcycles, bicycles, pedestrians and animals. Verfahren nach Anspruch 1, wobeiauf der Grundlage der Lernsituationen die Wahrscheinlichkeiten von möglichen Manöver-Alternativen der bewegten Objekte bestimmt werden.Method according to Claim 1 in which the probabilities of possible maneuver alternatives of the moving objects are determined on the basis of the learning situations. Verfahren nach einem der vorherigen Ansprüche, wobei bei identifizierten Lernsituationen einzelne Parameter stochastisch variiert werden.Method according to one of the preceding claims, wherein in identified learning situations individual parameters are varied stochastically. Trainingsvorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug mit einem vorgegebenen Automatisierungsmodul M_Vehicle durch Erzeugung von Lernsituationen, umfassend eine Initialisierungseinheit (40, 60) zur Vorgabe bzw. selbständigen Erzeugung einer Simulationsumgebung, eine Ego-Fahrzeug-Einheit (14), welche hinsichtlich der physikalischen Daten und eines KI-Moduls identisch ist zu einem existierenden Fahrzeug, eine Umgebungseinheit, welche Daten einer virtuellen Umgebung der Ego-Fahrzeug-Einheit enthält, eine Simulationseinheit (12), welche eine Simulation einer Fahrt des Ego-Fahrzeugs durchführt und überprüft, ob eine relevante Lernsituation vorliegt, sowie eine Trainings-Einheit, welche auf der Grundlage der erzeugten Lernsituation einen Fahralgorithmus für automatisiertes Fahren trainiert.Training device for training self-learning algorithms for an automated mobile vehicle with a predetermined automation module M _Vehicle by generating learning situations, comprising an initialization unit (40, 60) for the specification or autonomous generation of a simulation environment, an ego vehicle unit (14), with respect the physical data and an AI module is identical to an existing vehicle, an environment unit that contains data of a virtual environment of the ego vehicle unit, a simulation unit (12) that performs and verifies a simulation of a drive of the ego vehicle, whether a relevant learning situation exists, as well as a training unit, which trains a driving algorithm for automated driving on the basis of the generated learning situation.

Images